Malé jazykové modely (SLM)

Menší jazykový model môže obslúžiť úzku úlohu s obmedzenou pamäťou zariadenia. Typickým kandidátom je priradenie správy k jednému z niekoľkých oddelení.

Rozhodnutia pri návrhu

Veľkosť váh je iba časťou potrebnej pamäte. S dĺžkou kontextu a počtom súbežných požiadaviek rastie aj priestor pre pracovné údaje.

Príklad z pracovného postupu

Pri triedení správy „pošlite znovu faktúru, pôvodná prišla poškodená“ sledujeme, či lokálny model rozpozná súvislosť výrazu „poškodená“ s prílohou. Prípad nemá automaticky smerovať do skladu ako reklamovaný výrobok.

Ako výsledok overiť

Na rovnakých slovenských správach porovnáme zámenu tried, čas prvej odpovede a nároky na konkrétnom hardvéri.

Čo ukáže meranie na firemných vstupoch

Pri porovnaní dvoch modelov je dobré uchovať pôvodný vstup, jeho prípadnú transformáciu a cieľový výsledok oddelene. Dajú sa tak rozlíšiť chyby získania vstupu, chyby samotného modelu a chyby pri prevode jeho výstupu do formulára či hlasovej odpovede. Príklady majú zahŕňať aj situáciu, v ktorej človek potrebuje rozhodnutie odložiť a vyžiadať doplnenie.

Meranie priemeru doplníme o rozdelenie chýb podľa jazyka, kvality vstupu a typu údaja. Omyl v nezáväznom súhrne má inú cenu ako chybné číslo dokladu. Pri výbere riešenia preto vyčíslime aj počet prípadov určených na ľudskú kontrolu.

Pôvodný odborný zdroj – Malé jazykové modely (SLM)

Úzky slovník môže menšiemu modelu uľahčiť rozhodnutie

Pri triedení hlásení do niekoľkých stálych skupín môžeme zúžiť výstup na identifikátory schválených kategórií. Ku každej pridáme krátku definíciu a dvojicu podobných prípadov, ktoré už patria do rozdielnych skupín. Dôležité sú miestne skratky pracovníkov a označenia zariadení.

Na preberacej vzorke osobitne vyhodnotíme neurčité jednovetové hlásenia. Pri nich môže systém vyžiadať chýbajúci údaj alebo odovzdať prípad pracovníkovi. Porovnanie menších modelov potom zohľadní aj počet takýchto odovzdaní a čas potrebný na ich vybavenie.

Otázky z praxe

Ako zistiť, či menší model zvládne lokálne triedenie správ?

Vyberieme reálne kategórie a pripravíme aj hraničné správy, ktoré by človek mohol zaradiť dvomi spôsobmi. Na cieľovom počítači meriame kvalitu pri rovnakej dĺžke vstupu a počte súbežných požiadaviek, aké čakáme v prevádzke. Osobitne vyčíslime, koľko správ musí ďalej overiť pracovník.

Čo sa má stať pri správe s dvomi požiadavkami?

Pri jedinej povolenej triede model vyberie jednu aj vtedy, keď správa žiada dobropis aj novú zásielku. Zmeníme výstupný kontrakt na viac požiadaviek alebo zavedieme stav pre nejednoznačnú správu. Ak nadväzujúci systém prijíma iba jednu triedu, musí o rozdelení rozhodnúť samostatný krok.

Je malý súbor s váhami postačujúcim dôkazom, že model pobeží na zariadení?

Po načítaní model potrebuje aj pracovnú pamäť na spracovanie vstupu a generovanie odpovede. Rozdiel býva viditeľný pri dlhšej histórii alebo súbehu viacerých úloh. Meranie preto zahŕňa najdlhšiu očakávanú správu a používanie ostatných aplikácií na rovnakom zariadení počas pracovnej zmeny.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?