Azure Machine Learning
Azure Machine Learning organizuje úlohy, výpočtové prostredia, modely a nasadenia. Reprodukovateľný experiment potrebuje údaje, kód aj identifikáciu prostredia.
Príklad z pracovného postupu
Dva experimenty dosiahnu rovnaké skóre, ale jeden používa dátovú množinu po oprave firemného číselníka. Pri registrácii modelu uvedieme aj identitu dát. Ďalší tím tak dokáže vysvetliť odlišný výsledok opakovaného tréningu.
Ako výsledok overiť
Registráciu modelu preveríme opakovaným nasadením z uložených artefaktov a porovnaním výsledkov na kontrolných vstupoch.
Ako vyhodnotiť pracovnú záťaž
Pri konkrétnom projekte zaznamenáme typ vstupu, verziu služby alebo modelu a podmienky vyhodnotenia. Ukážka na jednom dobre čitateľnom či jasnom príklade nedokáže určiť, koľko pracovných prípadov potrebuje ďalšiu kontrolu.
Hodnotenie preto rozdelíme podľa dostupného jazyka, zdroja, zložitosti a významu chyby. Pri menšej vzorke uvádzame aj absolútny počet omylov. Evidujeme spotrebu, čas spracovania a oprávnenia potrebné na spätne vysvetliteľný výsledok.
Výber tréningovej vzorky patrí k identite experimentu
Dve spustenia rovnakého kódu môžu používať iné vstupy, ak zdrojová tabuľka medzitým dostala opravu. Pri porovnaní experimentov preto zaznamenáme verziu výberu dát, spôsob rozdelenia aj význam cieľovej hodnoty. Osobitne uchováme posledný čas, z ktorého sa pri výpočte mohli použiť údaje.
Ak je nový model presnejší, vieme porovnať aj výsledky na pevnej malej vzorke s ručne skontrolovanými prípadmi. Pomôže to rozlíšiť zlepšenie modelu od ľahšej hodnotiacej množiny po oprave importu.
Otázky z praxe
Prečo môžu dve úlohy s rovnakým kódom vrátiť iný model?
Môžu používať inú verziu pomôcok, odlišnú dátovú množinu alebo prípravu vstupu. Pri porovnaní preto identifikujeme prostredie, vstupné súbory a ich rozdelenie. Pri náhodných postupoch evidujeme nastavenia opakovateľnosti a kontrolujeme rozdiely praktických rozhodnutí, nielen číslo spoločnej metriky.
Čo má rozhodnúť o povýšení modelu do používania?
Určíme kritérium pre konkrétnu prevádzkovú úlohu, napríklad zachytenie neskorých úhrad pri prípustnom počte ručných preverení. Výsledok porovnáme s predchádzajúcou verziou a jednoduchým východiskom. Registrácia modelu bez kontrolného výsledku a schváleného postupu nasadenia sama nemusí zmeniť žiadne reálne predikcie.
Ako overiť nasadenie bez pôvodného tréningového prostredia?
Z uložených artefaktov vytvoríme oddelené skúšobné nasadenie a pošleme mu referenčné vstupy v skutočnom aplikačnom formáte. Porovnáme predikcie aj typ chýb pri chýbajúcom poli. Ak služba potrebuje súbor, ktorý existuje len u autora notebooku, skúška to musí odhaliť ešte pred prechodom.
Súvisiace stránky
-
Microsoft Bot Framework
Bot Framework slúžil na tvorbu konverzačných aplikácií a napojenie komunikačných kanálov.
Otvoriť -
Amazon SageMaker AI
SageMaker AI poskytuje služby pre tréning a nasadenie modelov v AWS.
Otvoriť -
Strojové učenie
Model strojového učenia môže triediť doklady alebo správy. Na označenej vzorke porovnáme chyby s ručným postupom a nastavíme, ktoré prípady preverí človek.
Otvoriť