Apache HBase
HBase je distribuované stĺpcovo orientované úložisko s riadkami usporiadanými podľa kľúča. Kľúč ovplyvňuje prístup k rozsahom aj rozdelenie záťaže.
Príklad z pracovného postupu
Zariadenia odošlú údaje presne na začiatku minúty. Pri nevhodnom poradí častí kľúča môžu všetky nové záznamy smerovať do tej istej časti tabuľky. Správanie počas tejto špičky porovnáme s priemernou hodinou.
Ako výsledok overiť
Sledujeme rozdelenie zápisov medzi regióny a čas prečítania úseku histórie pri realistickej dátovej záťaži.
Čas udalosti a dodatočné opravy
Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.
Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.
Rozsah čítania určuje, kde sa vyplatí držať podrobné merania
Servis obvykle potrebuje konkrétny stroj a krátky výsek jeho priebehu, vedenie požaduje súčet za celú prevádzku. Jeden detailný spôsob uloženia nemusí efektívne obslúžiť obe požiadavky. Pri návrhu HBase preto vychádzame z najdôležitejších rozsahových čítaní a samostatne posúdime odvodený súhrn.
Súhrn potom musí uviesť verziu a úplnosť podkladov. Pri oprave starého merania overíme, že detail zobrazuje novú hodnotu a že správne časové okno bude zahrnuté do opravy manažérskeho výstupu.
Otázky z praxe
Ako ovplyvní poradie súčastí kľúča čítanie časovej série?
Ak je na začiatku identita zariadenia, záznamy jedného prístroja možno čítať ako súvislý rozsah podľa následnej časti kľúča. Iné poradie lepšie poslúži inému dotazu. Skúšku preto založíme na reálnom časovom okne a zistíme, koľko nesúvisiacich rozsahov musí klient prejsť.
Prečo môže rovnomerný počet nových riadkov preťažovať jedinú oblasť?
Nové kľúče s rovnakým začiatkom alebo stále rastúcou hodnotou môžu smerovať zápisy na úzky rozsah. Samotný celkový počet riadkov tak zakryje nerovnomernú záťaž. Rozloženie zápisov skontrolujeme na typickej špičke a posúdime, ako prípadné rozptýlenie kľúčov ovplyvní čítanie pre používateľa.
Ako opísať, ktorú verziu merania má zobrazovať používateľský graf?
Meranie možno neskôr opraviť a jeho podnikový čas sa môže líšiť od okamihu vykonaného zápisu. V údajovom modeli preto určíme, čo označuje verzia bunky a ako sa uchová pôvodná hodnota. Pri kontrole porovnáme graf pred opravou, po nej aj historický výpis pre audit.
Súvisiace stránky
-
Azure Cosmos DB
Cosmos DB je rodina spravovaných databázových služieb.
Otvoriť -
Azure Blob Storage
Blob Storage ukladá objekty do kontajnerov.
Otvoriť -
Veľké objemy dát
Zber a spracovanie meraní, transakcií a prevádzkových záznamov. Podľa objemu, rýchlosti prítoku a doby uchovania navrhneme vhodné úložisko aj prehľady.
Otvoriť