Apache Spark MLlib

MLlib poskytuje nad Sparkom strojové učenie a dátové pipeline. Transformátory aplikujú už definovanú zmenu, estimátory sa učia z dát.

Rozhodnutia pri návrhu

Fitovanie škálovania či kategorizácie má prebehnúť iba na tréningovej množine. Inak informácie z testov ovplyvnia pripravené atribúty.

Príklad z pracovného postupu

Kategória výrobku sa prvýkrát objaví až po nasadení. Pipeline potrebuje definovať správanie pre neznámy štítok, inak môže jediná nová položka zastaviť spracovanie celej dávky.

Ako výsledok overiť

Uloženú pipeline overíme na novej dávke s dovtedy nevidenou kategóriou a chýbajúcou hodnotou.

Reprodukovateľnosť výpočtu

Verzia knižnice, predspracovanie a poradie vstupných atribútov sú súčasťou správania výsledného výpočtu. Na opätovné použitie preto uchovávame aj schému, jednotky a malú sadu overených vstupov s očakávanými výstupmi.

Pri prenose medzi prostrediami zohľadníme rozdiely numerických typov a toleranciu vhodnú pre konkrétnu úlohu. Ak malá zmena čísla preklopí rozhodnutie na druhej strane prahu, praktický dopad môže byť významný aj pri malej priemernej chybe.

Pôvodný odborný zdroj – Apache Spark MLlib

Pri dávkovom skórovaní je podstatná aj úplnosť výsledkov

Model môže správne vyhodnotiť každý spracovaný záznam, zatiaľ čo časť vstupov vypadne v prípravnej transformácii. Pred skúškou preto vytvoríme prehľad vstupných identifikátorov a určujeme, ktoré prípady majú dostať predikciu, ktoré vysvetliteľné odmietnutie a ktoré sa majú riešiť manuálne.

Pri spojení výsledku späť do evidencie porovnáme pôvodnú a konečnú množinu identít. Rozdiel tak odhalí aj stratené alebo zdvojené záznamy pri distribúcii práce mimo samotnej kvality natrénovaného modelu.

Otázky z praxe

V ktorom bode sa má vytvoriť slovník kategórií pre model?

Najprv rozdelíme dáta na tréningovú a hodnotiacu časť podľa skutočného použitia. Slovník, škálovanie aj ďalšie naučené transformácie vzniknú len na tréningovej časti. Rovnaký výsledný postup potom prejde hodnotiace dáta vrátane kategórie, ktorá pri učení chýbala, aby výsledok zodpovedal nasadeniu.

Ako porovnať dve verzie pipeline, ktoré predpovedajú inú hodnotu?

Pre konkrétny záznam zachytíme vstupné stĺpce, zakódované kategórie a konečný vektor príznakov v oboch verziách. Rovnaká dĺžka vektora ešte nezaručuje rovnaké poradie alebo význam prvkov. Až pri zhode týchto krokov má porovnanie parametrov a výstupu modelu jednoznačnú interpretáciu.

Čo môže skresliť hodnotenie dát zo zariadení jednej výrobnej linky?

Náhodné delenie jednotlivých meraní môže rozložiť takmer totožné pozorovania z jedného cyklu do oboch množín. Ak má nasadenie hodnotiť nové cykly alebo nové zariadenia, oddelíme ich ako celé skupiny. Výsledok potom kontrolujeme aj po linkách, aby početná skupina neprekryla slabý výsledok inde.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?