Apache Hive
Hive sprístupňuje tabuľkový pohľad a SQL nad veľkými analytickými dátami. Metastore zaznamenáva schému a umiestnenie dát.
Príklad z pracovného postupu
Účtovníctvo potrebuje predaj za jediný októbrový týždeň, hoci archív obsahuje niekoľko rokov. Pri vhodnom členení vieme zo spracovania vylúčiť veľkú časť histórie a presne pomenovať súbory zahrnuté do výsledku.
Ako výsledok overiť
Pri dopyte za konkrétny mesiac kontrolujeme plán čítania, pridanie nových súborov a výsledok po zmene schémy.
Čas udalosti a dodatočné opravy
Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.
Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.
Zmeny významu stĺpca treba zachytiť aj pri nezmenenom dátovom type
Zdrojový systém mohol pôvodne posielať sumu pred zľavou a po úprave používať ten istý číselný stĺpec pre cenu po zľave. Metadáta tabuľky zostanú typovo správne a historický report môže bez chyby sčítať rozdielne veličiny. Pri prevzatí novej dávky preto evidujeme verziu významu.
V analytickom pohľade vytvoríme konzistentne pomenované hodnoty alebo jasne označíme obdobie, pre ktoré prevod nemožno dopočítať. Na hraničných dokladoch používateľ uvidí, ako bola odvodená konečná suma za obe verzie exportu.
Otázky z praxe
Prečo je dôležitý typ a význam stĺpca použitého na členenie tabuľky?
Denný oddiel môže predstavovať deň prijatia súboru alebo deň udalosti v miestnom čase. Ak report používa druhý význam a súbory sú členené podľa prvého, oneskorené udalosti môžu vypadnúť z výberu. V dokumentácii tabuľky preto určíme aj spôsob spracovania oneskorení a opráv.
Čo sa stane, keď dodávateľ zmení poradie stĺpcov v exporte?
Dôsledok závisí od formátu dát a spôsobu ich mapovania na stĺpce. Ak čítanie predpokladá pôvodné poradie, dve textové polia sa môžu potichu zameniť. Skúšobný súbor s ľahko odlíšiteľnými hodnotami overí skutočnú interpretáciu údajov ešte pred sprístupnením dávky analytikom.
Ako skontrolovať úplnosť tabuľky po pridaní nového obdobia?
Porovnáme dostupné dátové súbory s oddielmi viditeľnými v metadátach a overíme počet riadkov aj rozsah dátumov. Nové súbory na úložisku nemusia automaticky znamenať, že ich vidí každý používaný dotaz. Zahrnieme aj prázdny pracovný deň, aby sa absencia predaja dala odlíšiť od chýbajúceho importu.
Súvisiace stránky
-
Apache ZooKeeper
ZooKeeper koordinuje distribuované procesy prostredníctvom hierarchických uzlov, relácií a oznámení o zmene.
Otvoriť -
Apache HBase
HBase je distribuované stĺpcovo orientované úložisko s riadkami usporiadanými podľa kľúča.
Otvoriť -
Veľké objemy dát
Zber a spracovanie meraní, transakcií a prevádzkových záznamov. Podľa objemu, rýchlosti prítoku a doby uchovania navrhneme vhodné úložisko aj prehľady.
Otvoriť