Apache HBase

HBase je distribuované stĺpcovo orientované úložisko s riadkami usporiadanými podľa kľúča. Kľúč ovplyvňuje prístup k rozsahom aj rozdelenie záťaže.

Rozhodnutia pri návrhu

Monotónne rastúci začiatok kľúča môže nasmerovať zápisy do jediného regiónu. Návrh kľúča musí zároveň zachovať potrebné čítanie histórie.

Príklad z pracovného postupu

Zariadenia odošlú údaje presne na začiatku minúty. Pri nevhodnom poradí častí kľúča môžu všetky nové záznamy smerovať do tej istej časti tabuľky. Správanie počas tejto špičky porovnáme s priemernou hodinou.

Ako výsledok overiť

Sledujeme rozdelenie zápisov medzi regióny a čas prečítania úseku histórie pri realistickej dátovej záťaži.

Čas udalosti a dodatočné opravy

Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.

Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.

Pôvodný odborný zdroj – Apache HBase

Rozsah čítania určuje, kde sa vyplatí držať podrobné merania

Servis obvykle potrebuje konkrétny stroj a krátky výsek jeho priebehu, vedenie požaduje súčet za celú prevádzku. Jeden detailný spôsob uloženia nemusí efektívne obslúžiť obe požiadavky. Pri návrhu HBase preto vychádzame z najdôležitejších rozsahových čítaní a samostatne posúdime odvodený súhrn.

Súhrn potom musí uviesť verziu a úplnosť podkladov. Pri oprave starého merania overíme, že detail zobrazuje novú hodnotu a že správne časové okno bude zahrnuté do opravy manažérskeho výstupu.

Otázky z praxe

Ako ovplyvní poradie súčastí kľúča čítanie časovej série?

Ak je na začiatku identita zariadenia, záznamy jedného prístroja možno čítať ako súvislý rozsah podľa následnej časti kľúča. Iné poradie lepšie poslúži inému dotazu. Skúšku preto založíme na reálnom časovom okne a zistíme, koľko nesúvisiacich rozsahov musí klient prejsť.

Prečo môže rovnomerný počet nových riadkov preťažovať jedinú oblasť?

Nové kľúče s rovnakým začiatkom alebo stále rastúcou hodnotou môžu smerovať zápisy na úzky rozsah. Samotný celkový počet riadkov tak zakryje nerovnomernú záťaž. Rozloženie zápisov skontrolujeme na typickej špičke a posúdime, ako prípadné rozptýlenie kľúčov ovplyvní čítanie pre používateľa.

Ako opísať, ktorú verziu merania má zobrazovať používateľský graf?

Meranie možno neskôr opraviť a jeho podnikový čas sa môže líšiť od okamihu vykonaného zápisu. V údajovom modeli preto určíme, čo označuje verzia bunky a ako sa uchová pôvodná hodnota. Pri kontrole porovnáme graf pred opravou, po nej aj historický výpis pre audit.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?