Tréning od začiatku

Predtrénovanie od náhodne inicializovaných váh vyžaduje korpus, tokenizér, tréningovú úlohu a nezávislé hodnotenie. Jeho výsledkom je nový základný model.

Rozhodnutia pri návrhu

Náklady súvisia s objemom spracovaných tokenov aj konfiguráciou hardvéru. Pred veľkým behom má zmysel malý experiment, kontrola duplicít a skúška obnovy z kontrolného bodu.

Príklad z pracovného postupu

Ak jeden technický manuál existuje v PDF, HTML a ako interná kópia, ide prevažne o ten istý obsah. Jeho tri podoby by pri nesprávnom delení mohli zvýhodniť test aj zavážiť doménu pri tréningu.

Ako výsledok overiť

Na zadržanej množine sledujeme kvalitu podľa domény. Výsledok porovnáme s dostupným základným modelom pri rovnakom zadaní.

Ako vyhodnotiť účinok zmeny v tréningu

Pre experiment si odložíme nemenný referenčný súbor. Záznamy od jednej organizácie alebo varianty rovnakého dokumentu môžu byť takmer totožné. Ich náhodné rozdelenie medzi tréning a test by vytvorilo zavádzajúci dojem, že model spoľahlivo zovšeobecňuje aj na nové prípady.

Pri porovnaní verzií evidujeme pôvod dát, rozhodnutie o čistení, konfiguráciu experimentu a rozdelenie chýb. O nasadení má rozhodnúť využiteľnosť na cieľovom procese spolu s nákladmi na správu a obnovu.

Pôvodný odborný zdroj – Tréning od začiatku

Rozpočet na výpočet musí počítať aj so slepými vetvami experimentu

Pri tréningu od začiatku sa čas nespotrebuje iba na výsledný beh. Prieskum rozdelenia dát, voľba slovníka, ladenie a opakovanie po chybe potrebujú vlastné kapacity. Pred rozsiahlym výpočtom preto vytvoríme krátky overovací beh s rovnakým postupom ukladania a vyhodnotenia.

Už v ňom vyskúšame návrat k uloženému stavu a porovnanie ďalšieho vývoja so zaznamenanými podmienkami. Takýto výsledok pomáha odhadnúť dôsledok výpadku aj cenu rozhodnutia, že sa tréningová množina po začatí zásadne zmení.

Otázky z praxe

Kedy má tréning vlastného základného modelu ekonomický význam?

Rozhoduje, či existujúce modely zlyhávajú na dôležitej úlohe aj po rozumnej príprave vstupu a príkladov. K výpočtovým zdrojom pripočítame získanie použiteľných dát, čistenie, hodnotenie a prevádzku. Rozhodnutie podloží menší porovnateľný experiment, nie samotná veľkosť interného archívu.

Prečo riešiť tokenizér pred dlhým tréningom?

Tokenizér určuje, na aké jednotky sa rozloží slovenský text, odborný názov aj katalogizačný kód. Pri rovnakom počte strán môže nešikovné delenie využiť oveľa väčšiu časť kontextu. Na firemnej vzorke preto skúmame rozklad, dĺžku a možnosť presne obnoviť pôvodné hodnoty.

Čo má obsahovať skúška obnovy prerušeného tréningu?

Vyberieme uložený stav a skúsime z neho pokračovať v samostatnom behu. Okrem váh podľa použitého postupu potrebujeme pozíciu v dátach, nastavenia optimalizácie a identitu konfigurácie. Kontrolujeme, či sa časť vstupov omylom nevynechala alebo opakovane nezapočítala a či sa chyby nezmenili neočakávaným spôsobom.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?