scikit-learn

scikit-learn poskytuje jednotné rozhranie estimátorov pre predspracovanie, klasifikáciu, regresiu aj vyhodnotenie. Pipeline spája transformácie a model do testovateľného celku.

Rozhodnutia pri návrhu

Pri opakovaných záznamoch jedného zákazníka rozdeľujeme vzorky podľa skupiny alebo času, aby podobné prípady neboli súčasne v tréningu aj teste.

Príklad z pracovného postupu

Pri označovaní oneskorených platieb môže model správne predpovedať všetky časté platby a prehliadnuť malú skupinu výrazných omeškaní. Vyhodnotíme zachytené prípady a hodnotu pohľadávok, ktoré model minul.

Ako výsledok overiť

Okrem priemernej metriky kontrolujeme kalibráciu skóre a výsledky na menej častých skupinách.

Reprodukovateľnosť výpočtu

Verzia knižnice, predspracovanie a poradie vstupných atribútov sú súčasťou správania výsledného výpočtu. Na opätovné použitie preto uchovávame aj schému, jednotky a malú sadu overených vstupov s očakávanými výstupmi.

Pri prenose medzi prostrediami zohľadníme rozdiely numerických typov a toleranciu vhodnú pre konkrétnu úlohu. Ak malá zmena čísla preklopí rozhodnutie na druhej strane prahu, praktický dopad môže byť významný aj pri malej priemernej chybe.

Pôvodný odborný zdroj – scikit-learn

Rozdielne skupiny môžu potrebovať samostatné vyhodnotenie rovnakej predikcie

Pri triedení požiadaviek môže veľká pobočka dominovať výsledku a zároveň používať ustálenejší slovník ako malé prevádzky. Celková presnosť potom dobre opisuje najväčšiu skupinu, no menej povie o použití inde. Vyhodnocovaciu množinu preto rozdelíme aj podľa pobočky alebo zdroja požiadavky.

Pri malých skupinách uvedieme počet prípadov a ukážky omylov. Rozhodnutie o nasadení môže byť rozdielne podľa dostupnosti manuálnej kontroly, hoci technicky ide o rovnaký model a rovnakú prípravu vstupu.

Otázky z praxe

Ako postupovať, keď má jeden zákazník mnoho podobných záznamov?

Ak sa jeho záznamy dostanú do učenia aj hodnotenia, model môže dobre rozoznať konkrétneho zákazníka a slabo zvládnuť nového. Skupinové delenie podľa zákazníka lepšie simuluje tento spôsob nasadenia. Pri predpovedaní jeho budúceho správania naopak potrebujeme rešpektovať poradie záznamov v čase.

Čo určuje prah rozhodnutia pri klasifikácii podnetov?

Omyl môže poslať jednoduchú správu na drahé manuálne posúdenie alebo prehliadnuť naliehavý podnet. Na validačných dátach preto porovnáme počty oboch druhov chýb a kapacitu pracovníkov. Konečný prah zachytíme s konkrétnou verziou modelu a až potom posúdime výsledok na odloženej testovacej vzorke.

Prečo skúšať predikciu aj na zázname s chýbajúcim stĺpcom?

Prázdna bunka, chýbajúci stĺpec a neznáma kategória majú rozdielny význam. Pipeline musí mať pre povinné polia dohodnuté správanie ešte pred výpočtom predikcie. Pri preberaní porovnáme reakciu na každý typ vstupu a overíme, že zmenené poradie stĺpcov nepriradí hodnotu nesprávnemu príznaku.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?