Amazon Redshift

Redshift je analytický dátový sklad určený pre agregácie a kombinovanie rozsiahlych tabuliek. Náklady dotazu ovplyvňuje objem čítania aj presun dát pri spojení.

Rozhodnutia pri návrhu

Dátumové filtre, spôsob načítania a distribúcia tabuliek musia zodpovedať opakovaným reportom. Izolujeme priebežný import od časovo citlivej uzávierky.

Príklad z pracovného postupu

Prepojenie faktúr s položkami dodávok môže násobiť riadky, ak majú obe tabuľky viac záznamov na doklad. Pred sumarizovaním ich privedieme na vhodnú granularitu a výsledok skontrolujeme na jednej dohľadateľnej faktúre.

Ako výsledok overiť

Overíme trvanie súbežných reportov a výsledky prepočtu po dodatočne doručenom opravnom doklade.

Čas udalosti a dodatočné opravy

Pred spracovaním rozlíšime čas vzniku údaja, prijatia do systému a vydania reportu. Meranie zo vzdialeného zariadenia môže doraziť po skončení zmeny. Podľa toho, ktorý čas použijeme, sa jeho hodnota započíta do iného obdobia alebo opraví už vydaný výsledok.

Pre kontrolu úplnosti uložíme identitu vstupnej dávky alebo rozsah spracovaných udalostí. Overujeme počty, vybrané súčty aj vyradené položky. Súlad celkovej sumy ešte nemusí odhaliť chýbajúci a súčasne zdvojený záznam rovnakej hodnoty.

Pôvodný odborný zdroj – Amazon Redshift

Čas opravy dát ovplyvňuje interpretáciu už odovzdaného reportu

Vedúci môže v pondelok odovzdať súhrn minulého týždňa a v utorok dostane sklad opravu jednej ceny. Ak report vždy prepočíta celý výber podľa posledného stavu, pondelkové a utorkové číslo sa budú líšiť bez vysvetlenia. Pri návrhu odlíšime čas obchodnej udalosti od času jej opravy.

Pre zúčtované obdobia môžeme uchovať identitu zverejnenej verzie a samostatný aktualizovaný pohľad. Na konkrétnom doklade potom overíme rozdiel aj spôsob, akým sa doplní do nasledujúceho súhrnu.

Otázky z praxe

Ako rozhodnúť, či distribuovať tabuľku podľa kľúča zákazníka?

Pozrieme plán najdôležitejších spojení, objem prenášaných údajov a podiel najväčších zákazníkov. Spoločný kľúč môže znížiť presuny pri spojení, no nevyvážené hodnoty môžu sústrediť prácu na malú časť zdrojov. Porovnáme typický report aj obdobie s nezvyčajne veľkou zákazkou.

Prečo zmerať report pri súbehu s načítaním čerstvých dát?

Krátke spustenie samostatného reportu nevystihuje rannú prevádzku, keď sa dokončuje import a vedenie súčasne otvára viac prehľadov. Zaznamenáme čas čakania i samotného vykonania a verziu dát, ktorú výstup zachytil. Až potom možno posúdiť, či úpravu potrebuje dotaz, vstupná dávka alebo harmonogram.

Ako vysvetliť rozdiel medzi tržbou podľa zákazky a podľa položiek faktúry?

Jeden záznam zákazky môže pokrývať viac faktúr a položka môže zahŕňať zľavu alebo čiastočné plnenie. Pred spojeniami preto jasne opíšeme, čo predstavuje jeden riadok a kedy sa suma započítava. Na konkrétnej zákazke zosúladíme medzisúčty až po účtovne použiteľný výsledok.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?