Apache Spark MLlib
MLlib poskytuje nad Sparkom strojové učenie a dátové pipeline. Transformátory aplikujú už definovanú zmenu, estimátory sa učia z dát.
Príklad z pracovného postupu
Kategória výrobku sa prvýkrát objaví až po nasadení. Pipeline potrebuje definovať správanie pre neznámy štítok, inak môže jediná nová položka zastaviť spracovanie celej dávky.
Ako výsledok overiť
Uloženú pipeline overíme na novej dávke s dovtedy nevidenou kategóriou a chýbajúcou hodnotou.
Reprodukovateľnosť výpočtu
Verzia knižnice, predspracovanie a poradie vstupných atribútov sú súčasťou správania výsledného výpočtu. Na opätovné použitie preto uchovávame aj schému, jednotky a malú sadu overených vstupov s očakávanými výstupmi.
Pri prenose medzi prostrediami zohľadníme rozdiely numerických typov a toleranciu vhodnú pre konkrétnu úlohu. Ak malá zmena čísla preklopí rozhodnutie na druhej strane prahu, praktický dopad môže byť významný aj pri malej priemernej chybe.
Pri dávkovom skórovaní je podstatná aj úplnosť výsledkov
Model môže správne vyhodnotiť každý spracovaný záznam, zatiaľ čo časť vstupov vypadne v prípravnej transformácii. Pred skúškou preto vytvoríme prehľad vstupných identifikátorov a určujeme, ktoré prípady majú dostať predikciu, ktoré vysvetliteľné odmietnutie a ktoré sa majú riešiť manuálne.
Pri spojení výsledku späť do evidencie porovnáme pôvodnú a konečnú množinu identít. Rozdiel tak odhalí aj stratené alebo zdvojené záznamy pri distribúcii práce mimo samotnej kvality natrénovaného modelu.
Otázky z praxe
V ktorom bode sa má vytvoriť slovník kategórií pre model?
Najprv rozdelíme dáta na tréningovú a hodnotiacu časť podľa skutočného použitia. Slovník, škálovanie aj ďalšie naučené transformácie vzniknú len na tréningovej časti. Rovnaký výsledný postup potom prejde hodnotiace dáta vrátane kategórie, ktorá pri učení chýbala, aby výsledok zodpovedal nasadeniu.
Ako porovnať dve verzie pipeline, ktoré predpovedajú inú hodnotu?
Pre konkrétny záznam zachytíme vstupné stĺpce, zakódované kategórie a konečný vektor príznakov v oboch verziách. Rovnaká dĺžka vektora ešte nezaručuje rovnaké poradie alebo význam prvkov. Až pri zhode týchto krokov má porovnanie parametrov a výstupu modelu jednoznačnú interpretáciu.
Čo môže skresliť hodnotenie dát zo zariadení jednej výrobnej linky?
Náhodné delenie jednotlivých meraní môže rozložiť takmer totožné pozorovania z jedného cyklu do oboch množín. Ak má nasadenie hodnotiť nové cykly alebo nové zariadenia, oddelíme ich ako celé skupiny. Výsledok potom kontrolujeme aj po linkách, aby početná skupina neprekryla slabý výsledok inde.
Súvisiace stránky
-
Theano
Theano opisuje matematické výrazy symbolicky a kompiluje z nich výpočty aj derivácie.
Otvoriť -
scikit-learn
scikit-learn poskytuje jednotné rozhranie estimátorov pre predspracovanie, klasifikáciu, regresiu aj vyhodnotenie.
Otvoriť -
Strojové učenie
Model strojového učenia môže triediť doklady alebo správy. Na označenej vzorke porovnáme chyby s ručným postupom a nastavíme, ktoré prípady preverí človek.
Otvoriť