Amazon Redshift
Redshift je analytický dátový sklad určený pre agregácie a kombinovanie rozsiahlych tabuliek. Náklady dotazu ovplyvňuje objem čítania aj presun dát pri spojení.
Príklad z pracovného postupu
Prepojenie faktúr s položkami dodávok môže násobiť riadky, ak majú obe tabuľky viac záznamov na doklad. Pred sumarizovaním ich privedieme na vhodnú granularitu a výsledok skontrolujeme na jednej dohľadateľnej faktúre.
Ako výsledok overiť
Overíme trvanie súbežných reportov a výsledky prepočtu po dodatočne doručenom opravnom doklade.
Čas udalosti a dodatočné opravy
Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.
Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.
Čas opravy dát ovplyvňuje interpretáciu už odovzdaného reportu
Vedúci môže v pondelok odovzdať súhrn minulého týždňa a v utorok dostane sklad opravu jednej ceny. Ak report vždy prepočíta celý výber podľa posledného stavu, pondelkové a utorkové číslo sa budú líšiť bez vysvetlenia. Pri návrhu odlíšime čas obchodnej udalosti od času jej opravy.
Pre zúčtované obdobia môžeme uchovať identitu zverejnenej verzie a samostatný aktualizovaný pohľad. Na konkrétnom doklade potom overíme rozdiel aj spôsob, akým sa doplní do nasledujúceho súhrnu.
Otázky z praxe
Ako rozhodnúť, či distribuovať tabuľku podľa kľúča zákazníka?
Pozrieme plán najdôležitejších spojení, objem prenášaných údajov a podiel najväčších zákazníkov. Spoločný kľúč môže znížiť presuny pri spojení, no nevyvážené hodnoty môžu sústrediť prácu na malú časť zdrojov. Porovnáme typický report aj obdobie s nezvyčajne veľkou zákazkou.
Prečo zmerať report pri súbehu s načítaním čerstvých dát?
Krátke spustenie samostatného reportu nevystihuje rannú prevádzku, keď sa dokončuje import a vedenie súčasne otvára viac prehľadov. Zaznamenáme čas čakania i samotného vykonania a verziu dát, ktorú výstup zachytil. Až potom možno posúdiť, či úpravu potrebuje dotaz, vstupná dávka alebo harmonogram.
Ako vysvetliť rozdiel medzi tržbou podľa zákazky a podľa položiek faktúry?
Jeden záznam zákazky môže pokrývať viac faktúr a položka môže zahŕňať zľavu alebo čiastočné plnenie. Pred spojeniami preto jasne opíšeme, čo predstavuje jeden riadok a kedy sa suma započítava. Na konkrétnej zákazke zosúladíme medzisúčty až po účtovne použiteľný výsledok.
Súvisiace stránky
-
Amazon DocumentDB
DocumentDB je spravovaná dokumentová databáza s kompatibilitou s vybranými rozhraniami MongoDB.
Otvoriť -
Amazon ElastiCache
ElastiCache poskytuje spravované pamäťové úložisko.
Otvoriť -
Veľké objemy dát
Zber a spracovanie meraní, transakcií a prevádzkových záznamov. Podľa objemu, rýchlosti prítoku a doby uchovania navrhneme vhodné úložisko aj prehľady.
Otvoriť