scikit-learn
scikit-learn poskytuje jednotné rozhranie estimátorov pre predspracovanie, klasifikáciu, regresiu aj vyhodnotenie. Pipeline spája transformácie a model do testovateľného celku.
Príklad z pracovného postupu
Pri označovaní oneskorených platieb môže model správne predpovedať všetky časté platby a prehliadnuť malú skupinu výrazných omeškaní. Vyhodnotíme zachytené prípady a hodnotu pohľadávok, ktoré model minul.
Ako výsledok overiť
Okrem priemernej metriky kontrolujeme kalibráciu skóre a výsledky na menej častých skupinách.
Reprodukovateľnosť výpočtu
Verzia knižnice, predspracovanie a poradie vstupných atribútov sú súčasťou správania výsledného výpočtu. Na opätovné použitie preto uchovávame aj schému, jednotky a malú sadu overených vstupov s očakávanými výstupmi.
Pri prenose medzi prostrediami zohľadníme rozdiely numerických typov a toleranciu vhodnú pre konkrétnu úlohu. Ak malá zmena čísla preklopí rozhodnutie na druhej strane prahu, praktický dopad môže byť významný aj pri malej priemernej chybe.
Rozdielne skupiny môžu potrebovať samostatné vyhodnotenie rovnakej predikcie
Pri triedení požiadaviek môže veľká pobočka dominovať výsledku a zároveň používať ustálenejší slovník ako malé prevádzky. Celková presnosť potom dobre opisuje najväčšiu skupinu, no menej povie o použití inde. Vyhodnocovaciu množinu preto rozdelíme aj podľa pobočky alebo zdroja požiadavky.
Pri malých skupinách uvedieme počet prípadov a ukážky omylov. Rozhodnutie o nasadení môže byť rozdielne podľa dostupnosti manuálnej kontroly, hoci technicky ide o rovnaký model a rovnakú prípravu vstupu.
Otázky z praxe
Ako postupovať, keď má jeden zákazník mnoho podobných záznamov?
Ak sa jeho záznamy dostanú do učenia aj hodnotenia, model môže dobre rozoznať konkrétneho zákazníka a slabo zvládnuť nového. Skupinové delenie podľa zákazníka lepšie simuluje tento spôsob nasadenia. Pri predpovedaní jeho budúceho správania naopak potrebujeme rešpektovať poradie záznamov v čase.
Čo určuje prah rozhodnutia pri klasifikácii podnetov?
Omyl môže poslať jednoduchú správu na drahé manuálne posúdenie alebo prehliadnuť naliehavý podnet. Na validačných dátach preto porovnáme počty oboch druhov chýb a kapacitu pracovníkov. Konečný prah zachytíme s konkrétnou verziou modelu a až potom posúdime výsledok na odloženej testovacej vzorke.
Prečo skúšať predikciu aj na zázname s chýbajúcim stĺpcom?
Prázdna bunka, chýbajúci stĺpec a neznáma kategória majú rozdielny význam. Pipeline musí mať pre povinné polia dohodnuté správanie ešte pred výpočtom predikcie. Pri preberaní porovnáme reakciu na každý typ vstupu a overíme, že zmenené poradie stĺpcov nepriradí hodnotu nesprávnemu príznaku.
Súvisiace stránky
-
Gensim
Gensim spracúva textové korpusy a modely tém či vektorových reprezentácií slov.
Otvoriť -
spaCy
spaCy skladá jazykové spracovanie z komponentov pre tokenizáciu, entity a ďalšie úlohy.
Otvoriť -
Strojové učenie
Model strojového učenia môže triediť doklady alebo správy. Na označenej vzorke porovnáme chyby s ručným postupom a nastavíme, ktoré prípady preverí človek.
Otvoriť