Spracovanie veľkých objemov dát
Pri meraniach zo strojov môže pribudnúť za deň viac záznamov, než plánovač dokáže použiť. Najprv zistíme, ktoré podrobnosti musí obsluha vidieť hneď, ako dlho má zostať dostupná surová história a čo stačí uchovať ako hodinový či denný súčet.
Veľké objemy dát: podrobnejšie
-
Apache Hadoop
Hadoop zahŕňa distribuované súbory HDFS, správu zdrojov YARN a dávkové výpočty MapReduce.
Otvoriť -
Apache Spark
Spark rozkladá dávkové aj priebežné transformácie na úlohy nad oddielmi dát.
Otvoriť -
Apache Cassandra
Cassandra rozkladá zápisy do oddielov podľa partition key.
Otvoriť -
Apache Kafka
Kafka ukladá udalosti do partícií tém.
Otvoriť -
Apache Hive
Hive sprístupňuje tabuľkový pohľad a SQL nad veľkými analytickými dátami.
Otvoriť -
Apache ZooKeeper
ZooKeeper koordinuje distribuované procesy prostredníctvom hierarchických uzlov, relácií a oznámení o zmene.
Otvoriť -
Apache HBase
HBase je distribuované stĺpcovo orientované úložisko s riadkami usporiadanými podľa kľúča.
Otvoriť -
Azure Cosmos DB
Cosmos DB je rodina spravovaných databázových služieb.
Otvoriť -
Azure Blob Storage
Blob Storage ukladá objekty do kontajnerov.
Otvoriť -
Azure Data Lake Storage
Data Lake Storage Gen2 pridáva nad Blob Storage analytické možnosti vrátane hierarchického menného priestoru.
Otvoriť -
Amazon DynamoDB
DynamoDB poskytuje spravované úložisko typu kľúč–hodnota a dokumentov.
Otvoriť -
Amazon Redshift
Redshift je analytický dátový sklad určený pre agregácie a kombinovanie rozsiahlych tabuliek.
Otvoriť -
Amazon DocumentDB
DocumentDB je spravovaná dokumentová databáza s kompatibilitou s vybranými rozhraniami MongoDB.
Otvoriť -
Amazon ElastiCache
ElastiCache poskytuje spravované pamäťové úložisko.
Otvoriť -
MongoDB
MongoDB ukladá dokumenty BSON do kolekcií.
Otvoriť -
Google Cloud Datastore
Datastore používa entity, kľúče a indexované dotazy.
Otvoriť -
Dávkové spracovanie
Dávka spracúva obmedzenú množinu záznamov podľa dohodnutej hranice.
Otvoriť -
Spracovanie udalostí
Spracovanie udalostí prenáša informáciu o zmene medzi komponentmi, ktoré nemusia byť dostupné súčasne.
Otvoriť
Typické zdroje veľkých dát
Zariadenia a senzory
Merania každých pár sekúnd z desiatok zariadení.
Transakcie
Veľký počet objednávok, platieb alebo pohybov.
Záznamy systémov
Logy, prístupy a udalosti na analýzu a bezpečnosť.
Kedy ide naozaj o veľké dáta
| Situácia | Bežná databáza | Riešenie pre veľké dáta |
|---|---|---|
| Desaťtisíce objednávok ročne | Overte čas načítania pri uzávierke | Rozhoduje zložitosť výpočtov aj počet súčasných požiadaviek |
| Sekundové merania z výrobnej haly | Zmerajte rýchlosť zápisu a vyhľadania poslednej zmeny | Zvážte pri narastajúcom oneskorení alebo nákladoch na históriu |
| Roky histórie transakcií na analýzu | Často stačí so správnym návrhom | Podľa objemu |
| Záznamy prístupov a udalostí na bezpečnosť | Krátkodobo áno | Pri dlhodobom uchovaní |
Prevádzkové nároky pri veľkých objemoch údajov
- Pravidlá, ako dlho sa ktoré údaje uchovávajú
- Zhusťovanie starých údajov (napríklad hodinové priemery namiesto sekundových hodnôt)
- Sledovanie rastu úložiska a nákladov
- Zálohy, ktoré sa dajú obnoviť v rozumnom čase
Udalosť môže prísť až po uzávierke časového okna
Meracia jednotka môže zozbierať záznam o 08.10, no odoslať ho až o 10.30. V dátovom toku preto odlíšte čas udalosti od času prijatia. Pri dennom prehľade sa rozhodnite, ako neskorú udalosť priradiť k pôvodnému obdobiu a či sa už zverejnený výsledok prepočíta alebo vznikne opravná verzia.
Pri skúške pošlite rovnakú udalosť dvakrát a potom pridajte meranie so starším časom. Porovnajte počet pôvodných udalostí s počtom unikátnych meraní po spracovaní. Súčet za deň sa má dať vysvetliť aj pri opakovaní celej dávky po poruche.
Ako neskorú opravu preniesť do mesačného súčtu
Denný súhrn môže mať verzie pre prvé zverejnenie, doplnenie oneskorených meraní a opravu chybného zdroja. V metadátach uchovajte čas prepočtu, časový rozsah vstupov a odkaz na použitú verziu pravidiel. Ak mesačný report čerpá z denných súčtov, po oprave musí vedieť vybrať správne verzie bez sčítania starého a nového výsledku. Pri preberaní dohľadajte jednu oneskorenú udalosť zo zdroja až po opravenú zostavu vrátane času, kedy ju mohol používateľ prvýkrát vidieť.
Oneskorené udalosti v dennom prehľade
Zariadenie v teréne môže odoslať ranný záznam až popoludní. Ak sa všetko zoskupuje podľa času prijatia na server, poludňajší výsledok sa môže líšiť od neskôr zostaveného prehľadu toho istého dopoludnia.
Pri návrhu spracovania väčšieho objemu udalostí sa oplatí uchovať čas udalosti aj čas prijatia. Prevádzka má potom možnosť odlíšiť predbežný prehľad od uzavretého obdobia a určiť, dokedy sa starší výsledok po príchode ďalších záznamov ešte prepočíta.
Otázky z praxe
Čo ak údaje prišli až po uzavretí hodinového súčtu?
Uchovajte čas udalosti aj čas prijatia. Podľa účelu rozhodnite, či oneskorená udalosť opraví pôvodné obdobie alebo sa ukáže ako neskoršia korekcia. Pri skúške porovnajte výsledok priebežného spracovania s úplným prepočtom toho istého obdobia.
Ako rozoznať druhé doručenie od novej udalosti?
Pomáha stabilný identifikátor zo zdroja a jasný popis jeho životnosti. Dve merania s rovnakým časom môžu byť rozdielne vzorky, zatiaľ čo opakovane doručený súbor môže obsahovať tie isté udalosti. Toto pravidlo sa oplatí overiť na skutočnom formáte zdroja.
Ktoré rozdelenie dát bude užitočné pre konkrétny prehľad?
Pozrite sa, podľa čoho ho ľudia najčastejšie vyberajú, napríklad obdobie a prevádzka. Vyskúšajte pritom bežný dotaz aj dodatočnú opravu staršieho obdobia. Rozdelenie, ktoré zrýchli denný prehľad, môže skomplikovať častý prepočet historických údajov.
Súvisiace stránky
-
Internet vecí
IoT pre zber údajov zo strojov a senzorov. Rozlíšte výpadok spojenia od odstávky stroja a preneste merania do zákaziek, servisu alebo výrobných prehľadov.
Otvoriť -
Dátové sklady
Dátový sklad pre reporting spojí účtovníctvo, zákazky a predaj. Navrhneme kontroly pri načítaní a uchovanie uzávierky aj po neskoršej oprave dokladu.
Otvoriť -
Cloud
Cloud, hosting a vlastný server pre firemný softvér. Porovnáme náklady, nároky na správu, dostupnosť údajov a podmienky obnovy po výpadku.
Otvoriť