Apache Hadoop
Hadoop zahŕňa distribuované súbory HDFS, správu zdrojov YARN a dávkové výpočty MapReduce. Pri sekvenčnom čítaní veľkých vstupov možno rozdeliť prácu medzi uzly.
Príklad z pracovného postupu
Výrobná linka vytvorí tisíce malých meracích súborov za smenu. Pred plánovaním výpočtu porovnáme pôvodné rozloženie s väčšími súbormi rovnakého obsahu. Sledujeme čas otvorenia aj čas samotného čítania.
Ako výsledok overiť
Zopakujeme výpočet po nedostupnosti časti dátových uzlov a odsúhlasíme výsledný počet zdrojových záznamov.
Čas udalosti a dodatočné opravy
Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.
Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.
Pôvod dát sa má dať nájsť aj po zlúčení vstupných súborov
Pri nočnom výpočte môže jedna chybná dodávka údajov ovplyvniť report viacerých prevádzok. Po zlúčení malých vstupov do väčších celkov sa samotný názov výsledného súboru na dohľadanie pôvodu nehodí. Pre každý zdroj preto uchováme identitu dávky a hranice spracovaných záznamov.
Ak pobočka opraví jeden export, možno vymedziť dotknuté obdobie a obnoviť príslušný výstup. Kontrolný súčet a počet záznamov porovnáme pred zverejnením, aby sa opravou jedného zdroja neprepísali prijaté údaje iných prevádzok.
Otázky z praxe
Kedy spôsobujú malé súbory problém aj pri dostatočnej kapacite diskov?
Každý súbor a jeho bloky vyžadujú metadáta a každý nový vstup môže priniesť réžiu plánovania a otvárania. Pri stovkách exportov za smenu preto porovnáme čítanie pôvodných súborov a rovnakej dávky vo väčších celkoch. Zoskupenie musí zachovať dohľadateľnosť pôvodu chybného záznamu.
Ako oddeliť čakajúcu úlohu od pomalej úlohy v MapReduce?
Pri dlhom nočnom spracovaní rozlíšime čas čakania na pridelenie zdrojov, čas čítania, presun medzivýsledkov a čas redukcie. Úloha môže mať rýchly výpočet a napriek tomu nedodržať termín pre súbeh s inou dávkou. Rozdelenie času pomáha určiť, či upraviť plánovanie alebo samotnú transformáciu.
Ako zachovať rovnaký výsledok aj pri opakovanom výpočte za deň?
Vstup vymedzíme konkrétnou sadou súborov a zaznamenáme, ktoré oneskorené prírastky obsahuje. Výsledky nového výpočtu zverejníme ako ucelenú verziu až po kontrole počtov a súčtov. Report tak neprečíta časť súborov zo starého behu spolu s časťou z nového.
Súvisiace stránky
-
Apache Spark
Spark rozkladá dávkové aj priebežné transformácie na úlohy nad oddielmi dát.
Otvoriť -
Apache Cassandra
Cassandra rozkladá zápisy do oddielov podľa partition key.
Otvoriť -
Veľké objemy dát
Zber a spracovanie meraní, transakcií a prevádzkových záznamov. Podľa objemu, rýchlosti prítoku a doby uchovania navrhneme vhodné úložisko aj prehľady.
Otvoriť