Azure Machine Learning

Azure Machine Learning organizuje úlohy, výpočtové prostredia, modely a nasadenia. Reprodukovateľný experiment potrebuje údaje, kód aj identifikáciu prostredia.

Rozhodnutia pri návrhu

Pri novej verzii modelu oddelíme výpočet metrík od rozhodnutia presmerovať produkčné predikcie. Pri prístupe k dátam sledujeme identitu úlohy.

Príklad z pracovného postupu

Dva experimenty dosiahnu rovnaké skóre, ale jeden používa dátovú množinu po oprave firemného číselníka. Pri registrácii modelu uvedieme aj identitu dát. Ďalší tím tak dokáže vysvetliť odlišný výsledok opakovaného tréningu.

Ako výsledok overiť

Registráciu modelu preveríme opakovaným nasadením z uložených artefaktov a porovnaním výsledkov na kontrolných vstupoch.

Ako vyhodnotiť pracovnú záťaž

Pri konkrétnom projekte zaznamenáme typ vstupu, verziu služby alebo modelu a podmienky vyhodnotenia. Ukážka na jednom dobre čitateľnom či jasnom príklade nedokáže určiť, koľko pracovných prípadov potrebuje ďalšiu kontrolu.

Hodnotenie preto rozdelíme podľa dostupného jazyka, zdroja, zložitosti a významu chyby. Pri menšej vzorke uvádzame aj absolútny počet omylov. Evidujeme spotrebu, čas spracovania a oprávnenia potrebné na spätne vysvetliteľný výsledok.

Pôvodný odborný zdroj – Azure Machine Learning

Výber tréningovej vzorky patrí k identite experimentu

Dve spustenia rovnakého kódu môžu používať iné vstupy, ak zdrojová tabuľka medzitým dostala opravu. Pri porovnaní experimentov preto zaznamenáme verziu výberu dát, spôsob rozdelenia aj význam cieľovej hodnoty. Osobitne uchováme posledný čas, z ktorého sa pri výpočte mohli použiť údaje.

Ak je nový model presnejší, vieme porovnať aj výsledky na pevnej malej vzorke s ručne skontrolovanými prípadmi. Pomôže to rozlíšiť zlepšenie modelu od ľahšej hodnotiacej množiny po oprave importu.

Otázky z praxe

Prečo môžu dve úlohy s rovnakým kódom vrátiť iný model?

Môžu používať inú verziu pomôcok, odlišnú dátovú množinu alebo prípravu vstupu. Pri porovnaní preto identifikujeme prostredie, vstupné súbory a ich rozdelenie. Pri náhodných postupoch evidujeme nastavenia opakovateľnosti a kontrolujeme rozdiely praktických rozhodnutí, nielen číslo spoločnej metriky.

Čo má rozhodnúť o povýšení modelu do používania?

Určíme kritérium pre konkrétnu prevádzkovú úlohu, napríklad zachytenie neskorých úhrad pri prípustnom počte ručných preverení. Výsledok porovnáme s predchádzajúcou verziou a jednoduchým východiskom. Registrácia modelu bez kontrolného výsledku a schváleného postupu nasadenia sama nemusí zmeniť žiadne reálne predikcie.

Ako overiť nasadenie bez pôvodného tréningového prostredia?

Z uložených artefaktov vytvoríme oddelené skúšobné nasadenie a pošleme mu referenčné vstupy v skutočnom aplikačnom formáte. Porovnáme predikcie aj typ chýb pri chýbajúcom poli. Ak služba potrebuje súbor, ktorý existuje len u autora notebooku, skúška to musí odhaliť ešte pred prechodom.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?