Apache Hive

Hive sprístupňuje tabuľkový pohľad a SQL nad veľkými analytickými dátami. Metastore zaznamenáva schému a umiestnenie dát.

Rozhodnutia pri návrhu

Správne členenie na partície vie obmedziť objem skenovaných súborov. Priveľa malých partícií zvyšuje režijné náklady.

Príklad z pracovného postupu

Účtovníctvo potrebuje predaj za jediný októbrový týždeň, hoci archív obsahuje niekoľko rokov. Pri vhodnom členení vieme zo spracovania vylúčiť veľkú časť histórie a presne pomenovať súbory zahrnuté do výsledku.

Ako výsledok overiť

Pri dopyte za konkrétny mesiac kontrolujeme plán čítania, pridanie nových súborov a výsledok po zmene schémy.

Čas udalosti a dodatočné opravy

Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.

Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.

Pôvodný odborný zdroj – Apache Hive

Zmeny významu stĺpca treba zachytiť aj pri nezmenenom dátovom type

Zdrojový systém mohol pôvodne posielať sumu pred zľavou a po úprave používať ten istý číselný stĺpec pre cenu po zľave. Metadáta tabuľky zostanú typovo správne a historický report môže bez chyby sčítať rozdielne veličiny. Pri prevzatí novej dávky preto evidujeme verziu významu.

V analytickom pohľade vytvoríme konzistentne pomenované hodnoty alebo jasne označíme obdobie, pre ktoré prevod nemožno dopočítať. Na hraničných dokladoch používateľ uvidí, ako bola odvodená konečná suma za obe verzie exportu.

Otázky z praxe

Prečo je dôležitý typ a význam stĺpca použitého na členenie tabuľky?

Denný oddiel môže predstavovať deň prijatia súboru alebo deň udalosti v miestnom čase. Ak report používa druhý význam a súbory sú členené podľa prvého, oneskorené udalosti môžu vypadnúť z výberu. V dokumentácii tabuľky preto určíme aj spôsob spracovania oneskorení a opráv.

Čo sa stane, keď dodávateľ zmení poradie stĺpcov v exporte?

Dôsledok závisí od formátu dát a spôsobu ich mapovania na stĺpce. Ak čítanie predpokladá pôvodné poradie, dve textové polia sa môžu potichu zameniť. Skúšobný súbor s ľahko odlíšiteľnými hodnotami overí skutočnú interpretáciu údajov ešte pred sprístupnením dávky analytikom.

Ako skontrolovať úplnosť tabuľky po pridaní nového obdobia?

Porovnáme dostupné dátové súbory s oddielmi viditeľnými v metadátach a overíme počet riadkov aj rozsah dátumov. Nové súbory na úložisku nemusia automaticky znamenať, že ich vidí každý používaný dotaz. Zahrnieme aj prázdny pracovný deň, aby sa absencia predaja dala odlíšiť od chýbajúceho importu.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?