Anotácia a označovanie dát
Anotácia priraďuje vzorke triedu, časový úsek, oblasť obrazu alebo štruktúrovaný údaj podľa vopred určených pravidiel.
Príklad z pracovného postupu
Pri úlohe „označte názov firmy“ sa musia dvaja posudzovatelia zhodnúť, či je súčasťou rozsahu aj „s. r. o.“. Bez tohto pravidla môže model správne nájsť firmu, ale pri každom hodnotení dostať odlišný výsledok.
Ako výsledok overiť
Nezávisle označená vzorka odhalí nejasné hranice. Sporné prípady použijeme na spresnenie príručky a znovu ich vyhodnotíme.
Ako vyhodnotiť účinok zmeny v tréningu
Pre experiment si odložíme nemenný referenčný súbor. Záznamy od jednej organizácie alebo varianty rovnakého dokumentu môžu byť takmer totožné. Ich náhodné rozdelenie medzi tréning a test by vytvorilo zavádzajúci dojem, že model spoľahlivo zovšeobecňuje aj na nové prípady.
Pri porovnaní verzií evidujeme pôvod dát, rozhodnutie o čistení, konfiguráciu experimentu a rozdelenie chýb. O nasadení má rozhodnúť využiteľnosť na cieľovom procese spolu s nákladmi na správu a obnovu.
Hranice anotovaných úsekov menia využiteľnosť výsledku
Pri príprave textov na anonymizáciu nestačí vedieť, že veta obsahuje adresu. Musíme rozhodnúť, či anotácia zahŕňa číslo domu, poštové smerovacie číslo a doplňujúcu poznámku o vchode. Rozhodnutia zapíšeme na konkrétnych vetách s odôvodnením podľa účelu použitia.
Sporné vety si označia dvaja ľudia nezávisle. Pri porovnaní oddelíme nezhodu v druhu údaja od nezhody v hranici textu. Oprava usmernenia potom môže zlepšiť konzistentnosť ďalšej dávky aj bez zmeny nástroja.
Otázky z praxe
Ako riešiť trvalý nesúlad medzi dvoma anotátormi?
Najprv oddelíme nepozornosť od prípadu, ktorý pripúšťa viac vecne správnych výkladov. Sporný text spolu s dôvodmi oboch rozhodnutí posúdi osoba zodpovedná za význam triedy. Spresnené pravidlo následne vyskúšame aj na už označených príkladoch, aby zmena definície nevytvorila dve neporovnateľné časti dát.
Má sa nevyplnené pole označiť ako chyba?
Prázdne môže znamenať, že údaj na doklade chýba, nepatrí k danému typu alebo ho človek nevie spoľahlivo prečítať. Každá možnosť vedie k inej procesnej reakcii. Anotačná príručka ich preto rozlíši a stanoví, kedy doplnenie vyžaduje originál alebo nové potvrdenie klienta.
Ako anotovať jednu vetu s dvoma obchodnými zámermi?
Rozhodneme, či evidujeme zámery pre celú správu alebo aj textové úseky, ktoré ich dokazujú. V žiadosti o náhradu chybného kusu a objednanie ďalšieho môžu zámery zdieľať rovnaké číslo produktu. Označenie zachová obidve požiadavky a vysvetlí, ku ktorej patrí výsledné množstvo.
Súvisiace stránky
-
Fine-tuning
Doladenie upravuje parametre predtrénovaného modelu pomocou ďalších príkladov.
Otvoriť -
Instruction tuning
Doladenie na inštrukciách využíva dvojice zadania a požadovanej odpovede.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť