spaCy

spaCy skladá jazykové spracovanie z komponentov pre tokenizáciu, entity a ďalšie úlohy. Natrénovaná pipeline musí zodpovedať jazyku a doméne.

Rozhodnutia pri návrhu

Pri vyberaní názvov firiem rozhodujú hranice entity aj skratky právnych foriem. Pravidlá a naučený komponent môžu výsledky meniť navzájom.

Príklad z pracovného postupu

Veta „Servis NOVÁK, s. r. o., preverí ventil“ obsahuje názov firmy a popis úkonu. Pri extrakcii odberateľa treba odlíšiť, že firma je vykonávateľ servisu. Rozpoznaný názov ešte neurčuje jej obchodnú rolu.

Ako výsledok overiť

Na vyznačených dokumentoch meriame presný rozsah entity a správnosť kategórie vrátane príkladov bez výskytu.

Reprodukovateľnosť výpočtu

Verzia knižnice, predspracovanie a poradie vstupných atribútov sú súčasťou správania výsledného výpočtu. Na opätovné použitie preto uchovávame aj schému, jednotky a malú sadu overených vstupov s očakávanými výstupmi.

Pri prenose medzi prostrediami zohľadníme rozdiely numerických typov a toleranciu vhodnú pre konkrétnu úlohu. Ak malá zmena čísla preklopí rozhodnutie na druhej strane prahu, praktický dopad môže byť významný aj pri malej priemernej chybe.

Pôvodný odborný zdroj – spaCy

Rozpoznaná entita musí byť naviazaná na správny záznam v evidencii

Text môže pomenovať firmu zaužívaným skráteným názvom, zatiaľ čo interný číselník obsahuje dve právnické osoby podobného mena. Rozpoznanie hraníc názvu rieši prvú časť úlohy. Priradenie k obchodnému partnerovi potrebuje ďalší kontext, napríklad prevádzku, číslo objednávky alebo adresu.

Pri viacerých možných výsledkoch uchováme nájdenú textovú podobu a dôvody, podľa ktorých sa majú kandidáti rozlíšiť. Človek následne môže rozhodnúť bez toho, aby systém prepísal pôvodné znenie prijatej správy.

Otázky z praxe

Ako otestovať slovenské názvy firiem s interpunkciou?

Pripravíme vety s iniciálami, skratkami právnej formy, rôznymi medzerami a názvami uprostred vety. Sledujeme presný začiatok a koniec rozpoznaného úseku aj jeho typ. Ak systém neskôr anonymizuje dokument, vynechané slovo v názve môže byť rovnako závažné ako úplne nerozpoznaná firma.

Kedy stačia pravidlá a kedy potrebujeme anotované príklady?

Kód zákazky s ustáleným tvarom sa dá vyhľadať pravidlom, ktoré zvládne aj nový dovtedy nevidený kód. Pri osobách alebo značkách s nejednoznačným pomenovaním pomáha kontext a označená vzorka viet. Pre oba postupy má zmysel uchovať prípady, ktoré sa na hľadaný výraz iba podobajú.

Ako sa chyba tokenizácie dostane až do výstupných polí?

Ak sa skratka alebo číslo dokladu rozdelí inak, než predpokladajú nasledujúce pravidlá, tie sa nemusia spustiť. Pri diagnostike preto zobrazíme tokeny aj ich polohu v pôvodnom reťazci. Aplikácia môže potom bezpečne zvýrazniť nájdený údaj aj v texte s odlišným počtom medzier.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?