Gensim

Gensim spracúva textové korpusy a modely tém či vektorových reprezentácií slov. Vie iterovať nad dokumentmi bez načítania celého korpusu do pamäte.

Rozhodnutia pri návrhu

Slovník musí mať pri ďalšom spracovaní rovnaké mapovanie slov na identifikátory. Nové výrazy inak skreslia porovnanie medzi obdobiami.

Príklad z pracovného postupu

Názov nového výrobku sa v staršom slovníku nevyskytoval. Ak prichádza vo väčšine nových hlásení, pokles pokrytia slovníka môže zmeniť kvalitu tém skôr, než si tím všimne zmenu celkového počtu hlásení.

Ako výsledok overiť

Sledujeme pokrytie slovnej zásoby aj zmysluplnosť tém na ručne posúdených slovenských textoch.

Reprodukovateľnosť výpočtu

Verzia knižnice, predspracovanie a poradie vstupných atribútov sú súčasťou správania výsledného výpočtu. Na opätovné použitie preto uchovávame aj schému, jednotky a malú sadu overených vstupov s očakávanými výstupmi.

Pri prenose medzi prostrediami zohľadníme rozdiely numerických typov a toleranciu vhodnú pre konkrétnu úlohu. Ak malá zmena čísla preklopí rozhodnutie na druhej strane prahu, praktický dopad môže byť významný aj pri malej priemernej chybe.

Pôvodný odborný zdroj – Gensim

Zmeny slovníka môžu rozbiť väzbu medzi modelom a dokumentmi

Model tém používa konkrétne mapovanie výrazov na interné identifikátory. Ak po čistení korpusu vznikne nový slovník, rovnaké číslo už nemusí označovať rovnaké slovo. Uložený model preto viažeme na pôvodnú podobu slovníka aj pravidlá tokenizácie a filtrovania.

Pri opätovnom použití si vyberieme krátky referenčný dokument s menej častým slovom a preveríme jeho reprezentáciu. Zachytíme tiež, ktoré výrazy vypadli, aby bolo možné posúdiť výsledok pri neskoršej zmene firemnej terminológie.

Otázky z praxe

Ako zistíme, či majú témy z korpusu obchodný význam?

K často sa vyskytujúcim slovám priradíme niekoľko reprezentatívnych dokumentov aj dokumenty na hranici dvoch tém. Ak kategóriu spája iba pätička správ alebo názov pobočky, výsledok prehľadne popisuje formu dokumentov, no nemusí pomáhať pri triedení požiadaviek. Vtedy upravíme prípravu korpusu a porovnanie zopakujeme.

Prečo pri priebežnom načítaní korpusu záleží na opakovateľnosti?

Niektoré postupy prechádzajú dokumenty viackrát, napríklad pri zostavení slovníka a neskôr pri učení. Jednorazový generátor sa môže po prvom prechode vyčerpať. Pri veľkom archíve preto overíme počet dokumentov a stabilitu ich výberu pri každom priechode bez nutnosti držať celý text v pamäti.

Ako interpretovať blízkosť dvoch slov vo vektorovom priestore?

Blízke vektory často odrážajú podobné jazykové prostredie. V hláseniach sa tak môžu k sebe dostať aj protichodné stavy, ktoré pracovníci používajú v rovnakých vetách. Pred použitím podobnosti na zlúčenie položiek skontrolujeme konkrétne výskyty a zistíme, či by zlúčenie nezmazalo dôležitý rozdiel.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?