Spracovanie veľkých objemov dát

Pri meraniach zo strojov môže pribudnúť za deň viac záznamov, než plánovač dokáže použiť. Najprv zistíme, ktoré podrobnosti musí obsluha vidieť hneď, ako dlho má zostať dostupná surová história a čo stačí uchovať ako hodinový či denný súčet.

Kontrola importovaných záznamov s grafom a označenými chybami v údajoch.
Modelová ukážka rozhrania

Veľké objemy dát: podrobnejšie

Typické zdroje veľkých dát

  • Zariadenia a senzory

    Merania každých pár sekúnd z desiatok zariadení.

  • Transakcie

    Veľký počet objednávok, platieb alebo pohybov.

  • Záznamy systémov

    Logy, prístupy a udalosti na analýzu a bezpečnosť.

Kedy ide naozaj o veľké dáta

SituáciaBežná databázaRiešenie pre veľké dáta
Desaťtisíce objednávok ročneOverte čas načítania pri uzávierkeRozhoduje zložitosť výpočtov aj počet súčasných požiadaviek
Sekundové merania z výrobnej halyZmerajte rýchlosť zápisu a vyhľadania poslednej zmenyZvážte pri narastajúcom oneskorení alebo nákladoch na históriu
Roky histórie transakcií na analýzuČasto stačí so správnym návrhomPodľa objemu
Záznamy prístupov a udalostí na bezpečnosťKrátkodobo ánoPri dlhodobom uchovaní

Prevádzkové nároky pri veľkých objemoch údajov

  • Pravidlá, ako dlho sa ktoré údaje uchovávajú
  • Zhusťovanie starých údajov (napríklad hodinové priemery namiesto sekundových hodnôt)
  • Sledovanie rastu úložiska a nákladov
  • Zálohy, ktoré sa dajú obnoviť v rozumnom čase

Udalosť môže prísť až po uzávierke časového okna

Meracia jednotka môže zozbierať záznam o 08.10, no odoslať ho až o 10.30. V dátovom toku preto odlíšte čas udalosti od času prijatia. Pri dennom prehľade sa rozhodnite, ako neskorú udalosť priradiť k pôvodnému obdobiu a či sa už zverejnený výsledok prepočíta alebo vznikne opravná verzia.

Pri skúške pošlite rovnakú udalosť dvakrát a potom pridajte meranie so starším časom. Porovnajte počet pôvodných udalostí s počtom unikátnych meraní po spracovaní. Súčet za deň sa má dať vysvetliť aj pri opakovaní celej dávky po poruche.

Ako neskorú opravu preniesť do mesačného súčtu

Denný súhrn môže mať verzie pre prvé zverejnenie, doplnenie oneskorených meraní a opravu chybného zdroja. V metadátach uchovajte čas prepočtu, časový rozsah vstupov a odkaz na použitú verziu pravidiel. Ak mesačný report čerpá z denných súčtov, po oprave musí vedieť vybrať správne verzie bez sčítania starého a nového výsledku. Pri preberaní dohľadajte jednu oneskorenú udalosť zo zdroja až po opravenú zostavu vrátane času, kedy ju mohol používateľ prvýkrát vidieť.

Oneskorené udalosti v dennom prehľade

Zariadenie v teréne môže odoslať ranný záznam až popoludní. Ak sa všetko zoskupuje podľa času prijatia na server, poludňajší výsledok sa môže líšiť od neskôr zostaveného prehľadu toho istého dopoludnia.

Pri návrhu spracovania väčšieho objemu udalostí sa oplatí uchovať čas udalosti aj čas prijatia. Prevádzka má potom možnosť odlíšiť predbežný prehľad od uzavretého obdobia a určiť, dokedy sa starší výsledok po príchode ďalších záznamov ešte prepočíta.

Otázky z praxe

Čo ak údaje prišli až po uzavretí hodinového súčtu?

Uchovajte čas udalosti aj čas prijatia. Podľa účelu rozhodnite, či oneskorená udalosť opraví pôvodné obdobie alebo sa ukáže ako neskoršia korekcia. Pri skúške porovnajte výsledok priebežného spracovania s úplným prepočtom toho istého obdobia.

Ako rozoznať druhé doručenie od novej udalosti?

Pomáha stabilný identifikátor zo zdroja a jasný popis jeho životnosti. Dve merania s rovnakým časom môžu byť rozdielne vzorky, zatiaľ čo opakovane doručený súbor môže obsahovať tie isté udalosti. Toto pravidlo sa oplatí overiť na skutočnom formáte zdroja.

Ktoré rozdelenie dát bude užitočné pre konkrétny prehľad?

Pozrite sa, podľa čoho ho ľudia najčastejšie vyberajú, napríklad obdobie a prevádzka. Vyskúšajte pritom bežný dotaz aj dodatočnú opravu staršieho obdobia. Rozdelenie, ktoré zrýchli denný prehľad, môže skomplikovať častý prepočet historických údajov.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?