Apache Kafka
Kafka ukladá udalosti do partícií tém. Poradie sa zachováva v rámci partície, preto musí výber kľúča zodpovedať objektu, ktorého históriu sledujeme.
Príklad z pracovného postupu
Objednávka bola najprv vytvorená a potom zrušená. Ak príjemca uvidí zrušenie dvakrát, počet rezervovaných kusov má zostať rovnaký. Pri udalostiach od viacerých objednávok odlíšime požadované poradie na záznam od globálneho poradia.
Ako výsledok overiť
Zastavíme spotrebiteľa po uložení zmeny a pred potvrdením offsetu. Po obnove porovnáme cieľový stav s históriou udalostí.
Čas udalosti a dodatočné opravy
Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.
Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.
Dĺžka uchovania správ ovplyvňuje možnosť obnoviť odvodený prehľad
Nová verzia skladu môže potrebovať prepočítať denné súčty od začiatku roka. Ak téma uchováva len kratšiu históriu, samotný posun príjemcu na začiatok už dávno odstránené udalosti nevráti. Obnovu preto navrhneme vo vzťahu k retenčným pravidlám a dostupnosti zdrojového archívu.
Pri skúške vytvoríme prehľad z existujúceho snímku a nadviažeme presne určenou pozíciou v prúde zmien. Kontrola udalostí na hranici oboch zdrojov ukáže, či súčty vynechávajú alebo zdvojujú niektoré pohyby.
Otázky z praxe
Ako má príjemca reagovať na udalosť po obnovení zo staršieho offsetu?
Po návrate na skoršiu pozíciu môže príjemca opäť spracovať už vybavenú správu. Pri obchodnom účinku, napríklad rezervácii kusu, uloží výsledok s identitou operácie tak, aby ďalšie spracovanie zachovalo rovnaký stav. Treba otestovať aj pád medzi zápisom do cieľa a potvrdením postupu.
Čo vyjadruje rast rozdielu medzi pozíciou producenta a príjemcu?
Ukazuje, že príjemca ešte nespracoval časť správ v príslušnej partícii. Rovnaký počet čakajúcich správ môže znamenať sekundy alebo hodiny práce podľa ich obsahu a prílevu. Pri servisnom záväzku má preto význam sledovať aj vek najstaršej nespracovanej potrebnej udalosti a stav jednotlivých partícií.
Ako upraviť podobu správy, keď odberatelia nemôžu nasadiť zmenu naraz?
Najprv zistíme, ktoré polia staršie verzie vyžadujú a aký význam má chýbajúca hodnota. Novú aj starú správu prečítame oboma podporovanými verziami podľa dohodnutej kompatibility. Zmenu jednotky množstva alebo významu stavu označíme osobitne, lebo samotný zhodný dátový typ takú zmenu nezachytí.
Súvisiace stránky
-
Apache Hive
Hive sprístupňuje tabuľkový pohľad a SQL nad veľkými analytickými dátami.
Otvoriť -
Apache ZooKeeper
ZooKeeper koordinuje distribuované procesy prostredníctvom hierarchických uzlov, relácií a oznámení o zmene.
Otvoriť -
Veľké objemy dát
Zber a spracovanie meraní, transakcií a prevádzkových záznamov. Podľa objemu, rýchlosti prítoku a doby uchovania navrhneme vhodné úložisko aj prehľady.
Otvoriť