Apache Spark
Spark rozkladá dávkové aj priebežné transformácie na úlohy nad oddielmi dát. Preskupenie podľa kľúča môže znamenať nákladný sieťový presun.
Príklad z pracovného postupu
V predajnom reporte pripadá polovica všetkých riadkov na jediného veľkoodberateľa. Pri agregácii podľa zákazníka môže tento jediný kľúč zdržať dokončenie výpočtu. Preto porovnávame doby jednotlivých úloh a rozdelenie objemu.
Ako výsledok overiť
Zaznamenáme najdlhšie úlohy, dočasný zápis na disk a čas spracovania oneskorene prijatých udalostí.
Čas udalosti a dodatočné opravy
Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.
Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.
Súhrn po oddieloch závisí od vlastností použitej agregácie
Celkový priemer trvania zásahov nevypočítame správne obyčajným priemerom priemerov jednotlivých oddielov, ak oddiely obsahujú rozdielne počty záznamov. Medzivýsledok preto prenáša súčet aj počet platných pozorovaní. Až zo spoločných údajov sa vypočíta hodnota za celé obdobie.
Pri skúške zámerne rozdelíme rovnaké dáta raz rovnomerne a raz veľmi nerovnomerne. Zhodný vecný výsledok potom porovnáme s jednoduchým kontrolným výpočtom, vrátane oddielu s chýbajúcimi alebo prázdnymi hodnotami počas celého sledovaného obdobia.
Otázky z praxe
Prečo posledná úloha zdržiava spracovanie už takmer dokončenej dávky?
Pri nerovnomernom rozdelení dát môže jediný oddiel obsahovať násobne viac práce ako ostatné. Pozrieme veľkosť vstupov, trvanie úloh a kľúče, ktoré v pomalom oddiele prevládajú. Pridanie výpočtových zdrojov pomôže len vtedy, ak dokážeme danú prácu aj ďalej rozdeliť.
Kedy má význam uchovávať medzivýsledok v pamäti?
Ak viac výpočtov opakovane používa rovnakú náročnú transformáciu, jej uloženie môže obmedziť opakované čítanie a spracovanie. Prínos zmeriame pre celý beh vrátane prvého naplnenia a následného uvoľnenia pamäte. Pri jedinom použití môže uloženie pridať réžiu bez úspory ďalšieho výpočtu.
Ako zistíme, že agregácia po spojení tabuliek zachovala význam?
Zvolíme ľahko dohľadateľný doklad s viacerými položkami na oboch stranách spojenia. Skontrolujeme počet vzniknutých riadkov a súčty pred spojením aj po ňom, ideálne ešte pred rozdelením na oddiely. Distribuovaný výpočet môže dokončiť všetky úlohy úspešne a predsa viackrát započítať ten istý predaj.
Súvisiace stránky
-
Apache Cassandra
Cassandra rozkladá zápisy do oddielov podľa partition key.
Otvoriť -
Apache Kafka
Kafka ukladá udalosti do partícií tém.
Otvoriť -
Veľké objemy dát
Zber a spracovanie meraní, transakcií a prevádzkových záznamov. Podľa objemu, rýchlosti prítoku a doby uchovania navrhneme vhodné úložisko aj prehľady.
Otvoriť