Apache Cassandra
Cassandra rozkladá zápisy do oddielov podľa partition key. Dátový model sa navrhuje podľa čítaní a požadovanej dostupnosti.
Príklad z pracovného postupu
Priebežné údaje elektromera sa často čítajú za konkrétny deň. Kľúč kombinujúci zariadenie a časové obdobie je kandidátom na porovnanie so samotným zariadením. Pri rozhodovaní zmeriame čítanie týždňa aj najväčší denný objem.
Ako výsledok overiť
Zmeriame veľkosť najväčších oddielov a overíme správanie aplikácie pri dočasnej nedostupnosti repliky.
Čas udalosti a dodatočné opravy
Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.
Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.
Opätovné načítanie histórie potrebuje pravidlá pre neskoršie opravy
Meradlo môže po výpadku odoslať staršie dáta a pracovník medzitým manuálne opravil hodnotu za rovnaký čas. Návrh zápisu musí rozlíšiť vstupný čas merania, čas prijatia a prioritu schválenej opravy. Samotné poradie doručenia nemusí určovať správny výsledný obchodný záznam.
Pri preverení prehodíme poradie automatickej a manuálnej zmeny v dvoch výpočtoch. Používateľ má vedieť dohľadať pôvodnú aj opravenú hodnotu a prehľad spotreby musí použiť tú, ktorá zodpovedá pravidlu evidencie.
Otázky z praxe
Ako zvoliť časové obdobie v kľúči údajov zo snímača?
Dlhé obdobie sústredí veľa zápisov do jedného oddielu, krátke obdobie zase rozdelí dlhší graf medzi množstvo čítaní. Voľbu preveríme na zariadení s najhustejším záznamom a na najčastejšej požiadavke používateľov. Pri teste zohľadníme aj skokové doposlanie údajov po výpadku siete.
Prečo môže byť potrebná osobitná tabuľka pre druhú obrazovku?
Prehľad posledných hlásení zariadenia a prehľad všetkých nedokončených hlásení v regióne používajú rôzne vstupné kľúče. Model pripravený na prvý prístup nemusí hospodárne zvládnuť druhý. Pri duplikovanom zázname preto určíme aj režim opráv, aby sa zmena stavu premietla do oboch pohľadov.
Čo sa má overiť pri čítaní hneď po potvrdenom zápise?
Dohodneme požadovanú viditeľnosť zápisu a skontrolujeme konfiguráciu replík aj úroveň konzistencie pre konkrétne čítanie a zápis. Výsledok závisí aj od dostupnosti jednotlivých uzlov. Používateľská skúška má zahŕňať bežnú prevádzku aj situáciu, v ktorej aplikácia žiadanú konzistenciu nevie dosiahnuť.
Súvisiace stránky
-
Apache Kafka
Kafka ukladá udalosti do partícií tém.
Otvoriť -
Apache Hive
Hive sprístupňuje tabuľkový pohľad a SQL nad veľkými analytickými dátami.
Otvoriť -
Veľké objemy dát
Zber a spracovanie meraní, transakcií a prevádzkových záznamov. Podľa objemu, rýchlosti prítoku a doby uchovania navrhneme vhodné úložisko aj prehľady.
Otvoriť