Azure Data Lake Storage
Data Lake Storage Gen2 pridáva nad Blob Storage analytické možnosti vrátane hierarchického menného priestoru. Adresáre a ich prístupové zoznamy ovplyvňujú návrh správy dát.
Príklad z pracovného postupu
Výrobný export uloží merania do prijatej vrstvy a analytická úloha vytvorí očistenú dennú tabuľku. Ak chýba jeden časový úsek, pôvodný súbor musí zostať dohľadateľný spolu s pravidlom jeho zaradenia.
Ako výsledok overiť
Na vzorovom súbore skontrolujeme zápis integračnou identitou, čítanie analytikom a odmietnutie zmeny zdrojového záznamu.
Čas udalosti a dodatočné opravy
Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.
Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.
Oddelenie surovej a publikovanej vrstvy chráni vysvetliteľnosť reportu
Zdrojová pobočka môže spätne zmeniť identifikátor zákazky a poslať úplný export znova. Ak nové súbory prepíšu pôvodný podklad, neskôr bude ťažké vysvetliť hodnotu už odovzdaného výkazu. Pri návrhu preto rozlíšime prijatú dávku, opravnú dávku a verziu dát určenú na čítanie.
Každá verzia výsledku odkáže na použité vstupy a pravidlá spracovania. Pri budúcom prepočte možno doklad zaradiť podľa nového identifikátora a súčasne zachovať možnosť reprodukovať výkaz z obdobia pred opravou.
Otázky z praxe
Ako usporiadať adresáre pri opakovanom prepočte minulého obdobia?
Je vhodné odlíšiť prijaté zdrojové súbory od vyčistených a publikovaných výsledkov. Verzia prepočtu tak môže použiť pôvodný vstup, vytvoriť nový výsledok a nezasiahnuť čitateľov do momentu jeho schválenia. Pri návrhu názvov zachytíme význam dátumu, verziu transformácie a pôvod údajov.
Ako overiť oprávnenia analytika pri prístupe ku konkrétnemu adresáru?
Rozlíšime možnosť prechádzať cestu, vylistovať obsah a čítať samotný súbor. Pri účte s rovnakými právami ako analytik preveríme požadovaný súbor aj susedný adresár s inou úrovňou citlivosti. Zohľadníme použité mechanizmy udeľovania práv, aby kontrola neprehliadla prístup získaný inou cestou.
Prečo sledovať veľkosť súborov po čistení dát?
Priebežný zber môže vyrobiť veľa malých výsledkov v každom oddiele. Následný analytický dotaz potom venuje čas otváraniu objektov aj pri skromnom celkovom objeme. Pred spájaním súborov si určíme okno, počas ktorého sa ešte môžu dopĺňať oneskorené dáta, a zachováme možnosť vystopovať zdroj.
Súvisiace stránky
-
Amazon DynamoDB
DynamoDB poskytuje spravované úložisko typu kľúč–hodnota a dokumentov.
Otvoriť -
Amazon Redshift
Redshift je analytický dátový sklad určený pre agregácie a kombinovanie rozsiahlych tabuliek.
Otvoriť -
Veľké objemy dát
Zber a spracovanie meraní, transakcií a prevádzkových záznamov. Podľa objemu, rýchlosti prítoku a doby uchovania navrhneme vhodné úložisko aj prehľady.
Otvoriť