Gensim
Gensim spracúva textové korpusy a modely tém či vektorových reprezentácií slov. Vie iterovať nad dokumentmi bez načítania celého korpusu do pamäte.
Príklad z pracovného postupu
Názov nového výrobku sa v staršom slovníku nevyskytoval. Ak prichádza vo väčšine nových hlásení, pokles pokrytia slovníka môže zmeniť kvalitu tém skôr, než si tím všimne zmenu celkového počtu hlásení.
Ako výsledok overiť
Sledujeme pokrytie slovnej zásoby aj zmysluplnosť tém na ručne posúdených slovenských textoch.
Reprodukovateľnosť výpočtu
Verzia knižnice, predspracovanie a poradie vstupných atribútov sú súčasťou správania výsledného výpočtu. Na opätovné použitie preto uchovávame aj schému, jednotky a malú sadu overených vstupov s očakávanými výstupmi.
Pri prenose medzi prostrediami zohľadníme rozdiely numerických typov a toleranciu vhodnú pre konkrétnu úlohu. Ak malá zmena čísla preklopí rozhodnutie na druhej strane prahu, praktický dopad môže byť významný aj pri malej priemernej chybe.
Zmeny slovníka môžu rozbiť väzbu medzi modelom a dokumentmi
Model tém používa konkrétne mapovanie výrazov na interné identifikátory. Ak po čistení korpusu vznikne nový slovník, rovnaké číslo už nemusí označovať rovnaké slovo. Uložený model preto viažeme na pôvodnú podobu slovníka aj pravidlá tokenizácie a filtrovania.
Pri opätovnom použití si vyberieme krátky referenčný dokument s menej častým slovom a preveríme jeho reprezentáciu. Zachytíme tiež, ktoré výrazy vypadli, aby bolo možné posúdiť výsledok pri neskoršej zmene firemnej terminológie.
Otázky z praxe
Ako zistíme, či majú témy z korpusu obchodný význam?
K často sa vyskytujúcim slovám priradíme niekoľko reprezentatívnych dokumentov aj dokumenty na hranici dvoch tém. Ak kategóriu spája iba pätička správ alebo názov pobočky, výsledok prehľadne popisuje formu dokumentov, no nemusí pomáhať pri triedení požiadaviek. Vtedy upravíme prípravu korpusu a porovnanie zopakujeme.
Prečo pri priebežnom načítaní korpusu záleží na opakovateľnosti?
Niektoré postupy prechádzajú dokumenty viackrát, napríklad pri zostavení slovníka a neskôr pri učení. Jednorazový generátor sa môže po prvom prechode vyčerpať. Pri veľkom archíve preto overíme počet dokumentov a stabilitu ich výberu pri každom priechode bez nutnosti držať celý text v pamäti.
Ako interpretovať blízkosť dvoch slov vo vektorovom priestore?
Blízke vektory často odrážajú podobné jazykové prostredie. V hláseniach sa tak môžu k sebe dostať aj protichodné stavy, ktoré pracovníci používajú v rovnakých vetách. Pred použitím podobnosti na zlúčenie položiek skontrolujeme konkrétne výskyty a zistíme, či by zlúčenie nezmazalo dôležitý rozdiel.
Súvisiace stránky
-
spaCy
spaCy skladá jazykové spracovanie z komponentov pre tokenizáciu, entity a ďalšie úlohy.
Otvoriť -
Apache Mahout
Mahout je projekt zameraný na matematické výpočty a škálovateľné metódy strojového učenia.
Otvoriť -
Strojové učenie
Model strojového učenia môže triediť doklady alebo správy. Na označenej vzorke porovnáme chyby s ručným postupom a nastavíme, ktoré prípady preverí človek.
Otvoriť