Azure Data Lake Storage

Data Lake Storage Gen2 pridáva nad Blob Storage analytické možnosti vrátane hierarchického menného priestoru. Adresáre a ich prístupové zoznamy ovplyvňujú návrh správy dát.

Rozhodnutia pri návrhu

Prijaté súbory, očistené dáta a publikované tabuľky potrebujú rozličné oprávnenia a pravidlá uchovania.

Príklad z pracovného postupu

Výrobný export uloží merania do prijatej vrstvy a analytická úloha vytvorí očistenú dennú tabuľku. Ak chýba jeden časový úsek, pôvodný súbor musí zostať dohľadateľný spolu s pravidlom jeho zaradenia.

Ako výsledok overiť

Na vzorovom súbore skontrolujeme zápis integračnou identitou, čítanie analytikom a odmietnutie zmeny zdrojového záznamu.

Čas udalosti a dodatočné opravy

Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.

Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.

Pôvodný odborný zdroj – Azure Data Lake Storage

Oddelenie surovej a publikovanej vrstvy chráni vysvetliteľnosť reportu

Zdrojová pobočka môže spätne zmeniť identifikátor zákazky a poslať úplný export znova. Ak nové súbory prepíšu pôvodný podklad, neskôr bude ťažké vysvetliť hodnotu už odovzdaného výkazu. Pri návrhu preto rozlíšime prijatú dávku, opravnú dávku a verziu dát určenú na čítanie.

Každá verzia výsledku odkáže na použité vstupy a pravidlá spracovania. Pri budúcom prepočte možno doklad zaradiť podľa nového identifikátora a súčasne zachovať možnosť reprodukovať výkaz z obdobia pred opravou.

Otázky z praxe

Ako usporiadať adresáre pri opakovanom prepočte minulého obdobia?

Je vhodné odlíšiť prijaté zdrojové súbory od vyčistených a publikovaných výsledkov. Verzia prepočtu tak môže použiť pôvodný vstup, vytvoriť nový výsledok a nezasiahnuť čitateľov do momentu jeho schválenia. Pri návrhu názvov zachytíme význam dátumu, verziu transformácie a pôvod údajov.

Ako overiť oprávnenia analytika pri prístupe ku konkrétnemu adresáru?

Rozlíšime možnosť prechádzať cestu, vylistovať obsah a čítať samotný súbor. Pri účte s rovnakými právami ako analytik preveríme požadovaný súbor aj susedný adresár s inou úrovňou citlivosti. Zohľadníme použité mechanizmy udeľovania práv, aby kontrola neprehliadla prístup získaný inou cestou.

Prečo sledovať veľkosť súborov po čistení dát?

Priebežný zber môže vyrobiť veľa malých výsledkov v každom oddiele. Následný analytický dotaz potom venuje čas otváraniu objektov aj pri skromnom celkovom objeme. Pred spájaním súborov si určíme okno, počas ktorého sa ešte môžu dopĺňať oneskorené dáta, a zachováme možnosť vystopovať zdroj.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?