Anotácia a označovanie dát

Anotácia priraďuje vzorke triedu, časový úsek, oblasť obrazu alebo štruktúrovaný údaj podľa vopred určených pravidiel.

Rozhodnutia pri návrhu

Dopyt môže súčasne obsahovať reklamáciu aj novú objednávku. Pokyn pre anotátorov musí vysvetliť viacero štítkov, neistotu aj rozhodovanie pri neúplnom kontexte.

Príklad z pracovného postupu

Pri úlohe „označte názov firmy“ sa musia dvaja posudzovatelia zhodnúť, či je súčasťou rozsahu aj „s. r. o.“. Bez tohto pravidla môže model správne nájsť firmu, ale pri každom hodnotení dostať odlišný výsledok.

Ako výsledok overiť

Nezávisle označená vzorka odhalí nejasné hranice. Sporné prípady použijeme na spresnenie príručky a znovu ich vyhodnotíme.

Ako vyhodnotiť účinok zmeny v tréningu

Pre experiment si odložíme nemenný referenčný súbor. Záznamy od jednej organizácie alebo varianty rovnakého dokumentu môžu byť takmer totožné. Ich náhodné rozdelenie medzi tréning a test by vytvorilo zavádzajúci dojem, že model spoľahlivo zovšeobecňuje aj na nové prípady.

Pri porovnaní verzií evidujeme pôvod dát, rozhodnutie o čistení, konfiguráciu experimentu a rozdelenie chýb. O nasadení má rozhodnúť využiteľnosť na cieľovom procese spolu s nákladmi na správu a obnovu.

Pôvodný odborný zdroj – Anotácia a označovanie dát

Hranice anotovaných úsekov menia využiteľnosť výsledku

Pri príprave textov na anonymizáciu nestačí vedieť, že veta obsahuje adresu. Musíme rozhodnúť, či anotácia zahŕňa číslo domu, poštové smerovacie číslo a doplňujúcu poznámku o vchode. Rozhodnutia zapíšeme na konkrétnych vetách s odôvodnením podľa účelu použitia.

Sporné vety si označia dvaja ľudia nezávisle. Pri porovnaní oddelíme nezhodu v druhu údaja od nezhody v hranici textu. Oprava usmernenia potom môže zlepšiť konzistentnosť ďalšej dávky aj bez zmeny nástroja.

Otázky z praxe

Ako riešiť trvalý nesúlad medzi dvoma anotátormi?

Najprv oddelíme nepozornosť od prípadu, ktorý pripúšťa viac vecne správnych výkladov. Sporný text spolu s dôvodmi oboch rozhodnutí posúdi osoba zodpovedná za význam triedy. Spresnené pravidlo následne vyskúšame aj na už označených príkladoch, aby zmena definície nevytvorila dve neporovnateľné časti dát.

Má sa nevyplnené pole označiť ako chyba?

Prázdne môže znamenať, že údaj na doklade chýba, nepatrí k danému typu alebo ho človek nevie spoľahlivo prečítať. Každá možnosť vedie k inej procesnej reakcii. Anotačná príručka ich preto rozlíši a stanoví, kedy doplnenie vyžaduje originál alebo nové potvrdenie klienta.

Ako anotovať jednu vetu s dvoma obchodnými zámermi?

Rozhodneme, či evidujeme zámery pre celú správu alebo aj textové úseky, ktoré ich dokazujú. V žiadosti o náhradu chybného kusu a objednanie ďalšieho môžu zámery zdieľať rovnaké číslo produktu. Označenie zachová obidve požiadavky a vysvetlí, ku ktorej patrí výsledné množstvo.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?