Malé jazykové modely (SLM)
Menší jazykový model môže obslúžiť úzku úlohu s obmedzenou pamäťou zariadenia. Typickým kandidátom je priradenie správy k jednému z niekoľkých oddelení.
Príklad z pracovného postupu
Pri triedení správy „pošlite znovu faktúru, pôvodná prišla poškodená“ sledujeme, či lokálny model rozpozná súvislosť výrazu „poškodená“ s prílohou. Prípad nemá automaticky smerovať do skladu ako reklamovaný výrobok.
Ako výsledok overiť
Na rovnakých slovenských správach porovnáme zámenu tried, čas prvej odpovede a nároky na konkrétnom hardvéri.
Čo ukáže meranie na firemných vstupoch
Pri porovnaní dvoch modelov je dobré uchovať pôvodný vstup, jeho prípadnú transformáciu a cieľový výsledok oddelene. Dajú sa tak rozlíšiť chyby získania vstupu, chyby samotného modelu a chyby pri prevode jeho výstupu do formulára či hlasovej odpovede. Príklady majú zahŕňať aj situáciu, v ktorej človek potrebuje rozhodnutie odložiť a vyžiadať doplnenie.
Meranie priemeru doplníme o rozdelenie chýb podľa jazyka, kvality vstupu a typu údaja. Omyl v nezáväznom súhrne má inú cenu ako chybné číslo dokladu. Pri výbere riešenia preto vyčíslime aj počet prípadov určených na ľudskú kontrolu.
Úzky slovník môže menšiemu modelu uľahčiť rozhodnutie
Pri triedení hlásení do niekoľkých stálych skupín môžeme zúžiť výstup na identifikátory schválených kategórií. Ku každej pridáme krátku definíciu a dvojicu podobných prípadov, ktoré už patria do rozdielnych skupín. Dôležité sú miestne skratky pracovníkov a označenia zariadení.
Na preberacej vzorke osobitne vyhodnotíme neurčité jednovetové hlásenia. Pri nich môže systém vyžiadať chýbajúci údaj alebo odovzdať prípad pracovníkovi. Porovnanie menších modelov potom zohľadní aj počet takýchto odovzdaní a čas potrebný na ich vybavenie.
Otázky z praxe
Ako zistiť, či menší model zvládne lokálne triedenie správ?
Vyberieme reálne kategórie a pripravíme aj hraničné správy, ktoré by človek mohol zaradiť dvomi spôsobmi. Na cieľovom počítači meriame kvalitu pri rovnakej dĺžke vstupu a počte súbežných požiadaviek, aké čakáme v prevádzke. Osobitne vyčíslime, koľko správ musí ďalej overiť pracovník.
Čo sa má stať pri správe s dvomi požiadavkami?
Pri jedinej povolenej triede model vyberie jednu aj vtedy, keď správa žiada dobropis aj novú zásielku. Zmeníme výstupný kontrakt na viac požiadaviek alebo zavedieme stav pre nejednoznačnú správu. Ak nadväzujúci systém prijíma iba jednu triedu, musí o rozdelení rozhodnúť samostatný krok.
Je malý súbor s váhami postačujúcim dôkazom, že model pobeží na zariadení?
Po načítaní model potrebuje aj pracovnú pamäť na spracovanie vstupu a generovanie odpovede. Rozdiel býva viditeľný pri dlhšej histórii alebo súbehu viacerých úloh. Meranie preto zahŕňa najdlhšiu očakávanú správu a používanie ostatných aplikácií na rovnakom zariadení počas pracovnej zmeny.
Súvisiace stránky
-
Multimodálne modely
Multimodálny model dokáže podmieniť výstup kombináciou vstupov, napríklad fotografiou výrobného štítku a textovou otázkou.
Otvoriť -
Analýza obrazu
Čítanie štítkov, textu a výrobných čísel zo snímok. Na vzorke z prevádzky zmeriame nesprávne prečítané údaje a určíme, kedy treba nový záber.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť