Azure Synapse Analytics

Azure Synapse prepája analytické dotazovanie a dátové inžinierstvo. Serverless SQL, vyhradené SQL zdroje a Spark majú odlišný model čítania a účtovania.

Rozhodnutia pri návrhu

Mesačný report nad objektovými súbormi potrebuje vhodný stĺpcový formát a členenie podľa obdobia. Pre pravidelnú záťaž posúdime aj vyhradenú kapacitu.

Príklad z pracovného postupu

Októbrový report potrebuje tri stĺpce z archívu obsahujúceho desiatky stĺpcov. Pri porovnaní súborových formátov sledujeme fyzicky prečítané bajty a cenu opakovania rovnakého reportu po oprave uzávierky.

Ako výsledok overiť

Zmeriame prečítané dáta, čas studeného dotazu a dopad súbežného načítania nového obdobia.

Konzistencia medzi evidenciou a jej prílohami

Pri prijatí dokladu môže aplikácia ukladať štruktúrované údaje a pôvodný súbor rôznymi cestami. Ak časť operácie zlyhá, záznam môže zostať bez prílohy alebo súbor bez väzby. Návrh definuje, v akom stave je takáto položka viditeľná a kto ju môže opraviť.

Pri skúške obnovenia porovnáme časové body jednotlivých zdrojov. Nestačí skontrolovať počet riadkov. Pre vybrané doklady dohľadáme konkrétnu prílohu, jej verziu a správne oprávnenia používateľa.

Pôvodný odborný zdroj – Azure Synapse Analytics

Cena prepočtu závisí aj od počtu dotazov, ktoré vytvorí jedna návšteva dashboardu

Jedno otvorenie dashboardu môže spustiť niekoľko vizuálnych súhrnov s rôznymi filtrami. Každý z nich môže samostatne čítať rovnaké rozsiahle súbory. Pri porovnaní možností preto sledujeme súčet práce za celú návštevu a počet opakovaných otvorení v rušnom čase.

Ak viac zobrazení potrebuje zhodnú dennú granularitu, zvážime spoločný pripravený súhrn. Súčasťou návrhu bude aj jeho čas platnosti, aby používateľ pri oprave podkladov rozoznal čerstvý detail od staršieho agregovaného grafu.

Otázky z praxe

Kedy porovnávať serverless SQL s pripraveným analytickým skladom?

Občasný dotaz nad surovým archívom a pravidelný prehľad s mnohými používateľmi majú odlišné nároky na odozvu, prípravu dát aj náklady. Porovnáme očakávanú frekvenciu, objem fyzicky čítaných údajov a potrebu opakovaných spojení. Do výpočtu zahrnieme aj nové spracovanie po oprave zdroja.

Ako navrhnúť súborové členenie pre dashboard za posledný týždeň?

Členenie má zodpovedať časovému významu filtra, napríklad dňu uskutočnenia objednávky. Súbory nemajú byť ani natoľko drobné, že ich otváranie preváži samotné čítanie. Pri porovnaní vykonáme rovnaký dotaz nad viacerými usporiadaniami a zmeriame načítané dáta pri bežnom aj širšom období.

Ako riešiť rozdiel medzi surovou vrstvou a publikovaným reportom?

Na konkrétnych dokladoch sledujeme pôvodný súbor, normalizované dáta, spojenia a konečnú agregáciu. Rozdiel môže vyplývať z inej uzávierky, vyradeného riadka alebo nesprávneho priradenia číselníka. Aby sa opravila príčina, potrebujeme vedieť, v ktorom kroku sa výsledok prvýkrát odlišuje od očakávania.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?