Veľké jazykové modely (LLM)

Jazykový model prijíma postupnosť tokenov a odhaduje pokračovanie. Pri spracovaní dopytu môže z voľného textu pripraviť štruktúrovaný návrh položiek.

Rozhodnutia pri návrhu

Do rozpočtu kontextu patrí zadanie, história, vyhľadané podklady aj priestor na výstup. Dlhý preposlaný e-mail môže vytlačiť pôvodnú objednávku.

Príklad z pracovného postupu

Zákazník v e-maile opraví pôvodné množstvo z 12 kusov na 8 a citovaná história stále obsahuje obe čísla. Správny návrh uvedie 8 ako aktuálnu požiadavku a zachová odkaz na vetu, v ktorej zmena nastala.

Ako výsledok overiť

Hodnotíme správnosť konkrétnych polí a schopnosť modelu priznať chýbajúci údaj. Plynulá odpoveď sama nepotvrdzuje správnu sumu.

Čo ukáže meranie na firemných vstupoch

Pri porovnaní dvoch modelov je dobré uchovať pôvodný vstup, jeho prípadnú transformáciu a cieľový výsledok oddelene. Dajú sa tak rozlíšiť chyby získania vstupu, chyby samotného modelu a chyby pri prevode jeho výstupu do formulára či hlasovej odpovede. Príklady majú zahŕňať aj situáciu, v ktorej človek potrebuje rozhodnutie odložiť a vyžiadať doplnenie.

Meranie priemeru doplníme o rozdelenie chýb podľa jazyka, kvality vstupu a typu údaja. Omyl v nezáväznom súhrne má inú cenu ako chybné číslo dokladu. Pri výbere riešenia preto vyčíslime aj počet prípadov určených na ľudskú kontrolu.

Pôvodný odborný zdroj – Veľké jazykové modely (LLM)

Rozhodnutie o výnimke zostáva dohľadateľné aj po úprave návrhu

Pri písaní odpovede na reklamáciu môže jazykový model vytvoriť presvedčivé vysvetlenie a omylom prisľúbiť výmenu tovaru. Návrh preto skladáme z doložených údajov o objednávke, platných podmienok a jasne označenej možnosti požiadať o výnimku. Každá časť má iného vlastníka.

Pracovník môže upraviť tón aj zdôvodnenie. Zmena s obchodným účinkom však prejde vlastným schválením a uloží sa s pôvodnou aj výslednou podobou. Pri posudzovaní modelu tak vieme oddeliť jazykovú kvalitu od rozhodnutí, na ktoré má právo konkrétna osoba.

Otázky z praxe

Prečo model zamení pôvodnú objednávku s jej opravou?

V preposlanom vlákne môže mať stará aj nová správa rovnaké číslo dokladu. Pri extrakcii preto zachováme poradie správ, odosielateľa a hranicu citovanej histórie. Ak z textu nevyplýva, či ide o opravu alebo samostatnú objednávku, systém uloží návrh na preverenie a nezmení potvrdené množstvo.

Má model priamo vypočítať výslednú cenu ponuky?

Model sa hodí na nájdenie položiek, množstiev a uvedených zliav. Samotnú cenu spočíta verziované pravidlo aplikácie so známym poradím zaokrúhľovania a sadzbou dane. Pri reklamácii sa potom dá zopakovať rovnaký výpočet a vysvetliť rozdiel medzi sumou v e-maile a sumou v evidencii.

Ako odhaliť, že dlhý dokument pripravil odpoveď o podstatnú výnimku?

Do kontroly zaradíme dokument, v ktorom úvodné pravidlo mení podmienka v prílohe. Uložíme si presný obsah, ktorý model pri otázke dostal, a overíme prítomnosť oboch častí. Ak sa príloha do vstupu nedostala, treba opraviť výber podkladov ešte pred porovnávaním modelov.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?