Apache Hadoop

Hadoop zahŕňa distribuované súbory HDFS, správu zdrojov YARN a dávkové výpočty MapReduce. Pri sekvenčnom čítaní veľkých vstupov možno rozdeliť prácu medzi uzly.

Rozhodnutia pri návrhu

Množstvo malých súborov zvyšuje nároky na metadáta. Pri návrhu zohľadníme spôsob príjmu, formát súborov a veľkosť blokov.

Príklad z pracovného postupu

Výrobná linka vytvorí tisíce malých meracích súborov za smenu. Pred plánovaním výpočtu porovnáme pôvodné rozloženie s väčšími súbormi rovnakého obsahu. Sledujeme čas otvorenia aj čas samotného čítania.

Ako výsledok overiť

Zopakujeme výpočet po nedostupnosti časti dátových uzlov a odsúhlasíme výsledný počet zdrojových záznamov.

Čas udalosti a dodatočné opravy

Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.

Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.

Pôvodný odborný zdroj – Apache Hadoop

Pôvod dát sa má dať nájsť aj po zlúčení vstupných súborov

Pri nočnom výpočte môže jedna chybná dodávka údajov ovplyvniť report viacerých prevádzok. Po zlúčení malých vstupov do väčších celkov sa samotný názov výsledného súboru na dohľadanie pôvodu nehodí. Pre každý zdroj preto uchováme identitu dávky a hranice spracovaných záznamov.

Ak pobočka opraví jeden export, možno vymedziť dotknuté obdobie a obnoviť príslušný výstup. Kontrolný súčet a počet záznamov porovnáme pred zverejnením, aby sa opravou jedného zdroja neprepísali prijaté údaje iných prevádzok.

Otázky z praxe

Kedy spôsobujú malé súbory problém aj pri dostatočnej kapacite diskov?

Každý súbor a jeho bloky vyžadujú metadáta a každý nový vstup môže priniesť réžiu plánovania a otvárania. Pri stovkách exportov za smenu preto porovnáme čítanie pôvodných súborov a rovnakej dávky vo väčších celkoch. Zoskupenie musí zachovať dohľadateľnosť pôvodu chybného záznamu.

Ako oddeliť čakajúcu úlohu od pomalej úlohy v MapReduce?

Pri dlhom nočnom spracovaní rozlíšime čas čakania na pridelenie zdrojov, čas čítania, presun medzivýsledkov a čas redukcie. Úloha môže mať rýchly výpočet a napriek tomu nedodržať termín pre súbeh s inou dávkou. Rozdelenie času pomáha určiť, či upraviť plánovanie alebo samotnú transformáciu.

Ako zachovať rovnaký výsledok aj pri opakovanom výpočte za deň?

Vstup vymedzíme konkrétnou sadou súborov a zaznamenáme, ktoré oneskorené prírastky obsahuje. Výsledky nového výpočtu zverejníme ako ucelenú verziu až po kontrole počtov a súčtov. Report tak neprečíta časť súborov zo starého behu spolu s časťou z nového.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?