spaCy
spaCy skladá jazykové spracovanie z komponentov pre tokenizáciu, entity a ďalšie úlohy. Natrénovaná pipeline musí zodpovedať jazyku a doméne.
Príklad z pracovného postupu
Veta „Servis NOVÁK, s. r. o., preverí ventil“ obsahuje názov firmy a popis úkonu. Pri extrakcii odberateľa treba odlíšiť, že firma je vykonávateľ servisu. Rozpoznaný názov ešte neurčuje jej obchodnú rolu.
Ako výsledok overiť
Na vyznačených dokumentoch meriame presný rozsah entity a správnosť kategórie vrátane príkladov bez výskytu.
Reprodukovateľnosť výpočtu
Verzia knižnice, predspracovanie a poradie vstupných atribútov sú súčasťou správania výsledného výpočtu. Na opätovné použitie preto uchovávame aj schému, jednotky a malú sadu overených vstupov s očakávanými výstupmi.
Pri prenose medzi prostrediami zohľadníme rozdiely numerických typov a toleranciu vhodnú pre konkrétnu úlohu. Ak malá zmena čísla preklopí rozhodnutie na druhej strane prahu, praktický dopad môže byť významný aj pri malej priemernej chybe.
Rozpoznaná entita musí byť naviazaná na správny záznam v evidencii
Text môže pomenovať firmu zaužívaným skráteným názvom, zatiaľ čo interný číselník obsahuje dve právnické osoby podobného mena. Rozpoznanie hraníc názvu rieši prvú časť úlohy. Priradenie k obchodnému partnerovi potrebuje ďalší kontext, napríklad prevádzku, číslo objednávky alebo adresu.
Pri viacerých možných výsledkoch uchováme nájdenú textovú podobu a dôvody, podľa ktorých sa majú kandidáti rozlíšiť. Človek následne môže rozhodnúť bez toho, aby systém prepísal pôvodné znenie prijatej správy.
Otázky z praxe
Ako otestovať slovenské názvy firiem s interpunkciou?
Pripravíme vety s iniciálami, skratkami právnej formy, rôznymi medzerami a názvami uprostred vety. Sledujeme presný začiatok a koniec rozpoznaného úseku aj jeho typ. Ak systém neskôr anonymizuje dokument, vynechané slovo v názve môže byť rovnako závažné ako úplne nerozpoznaná firma.
Kedy stačia pravidlá a kedy potrebujeme anotované príklady?
Kód zákazky s ustáleným tvarom sa dá vyhľadať pravidlom, ktoré zvládne aj nový dovtedy nevidený kód. Pri osobách alebo značkách s nejednoznačným pomenovaním pomáha kontext a označená vzorka viet. Pre oba postupy má zmysel uchovať prípady, ktoré sa na hľadaný výraz iba podobajú.
Ako sa chyba tokenizácie dostane až do výstupných polí?
Ak sa skratka alebo číslo dokladu rozdelí inak, než predpokladajú nasledujúce pravidlá, tie sa nemusia spustiť. Pri diagnostike preto zobrazíme tokeny aj ich polohu v pôvodnom reťazci. Aplikácia môže potom bezpečne zvýrazniť nájdený údaj aj v texte s odlišným počtom medzier.
Súvisiace stránky
-
Apache Mahout
Mahout je projekt zameraný na matematické výpočty a škálovateľné metódy strojového učenia.
Otvoriť -
Apache MXNet
MXNet spracúval neurónové siete pomocou tensorových operácií a výpočtových grafov.
Otvoriť -
Strojové učenie
Model strojového učenia môže triediť doklady alebo správy. Na označenej vzorke porovnáme chyby s ručným postupom a nastavíme, ktoré prípady preverí človek.
Otvoriť