RAG

Retrieval-augmented generation najprv vyberie podklady a až potom ich poskytne generátoru. Pri odpovedi na otázku o zmluve má byť dostupná príslušná verzia aj odkaz na konkrétnu časť.

Rozhodnutia pri návrhu

Dokumenty delíme podľa významových celkov. Ak sa tabuľka oddelí od nadpisu, model môže použiť správne číslo s nesprávnou jednotkou.

Príklad z pracovného postupu

Dve servisné príručky uvádzajú rozdielny interval výmeny filtra pre staršiu a novšiu revíziu zariadenia. Kritériom úspechu je nájsť správnu revíziu podľa výrobného čísla a použiť k nej prislúchajúcu tabuľku.

Ako výsledok overiť

Chybu vo vyhľadaní meriame samostatne od chyby pri formulovaní odpovede. Vyradený dokument musí prestať poskytovať odpovede po aktualizácii indexu.

Ako rozlíšiť kvalitu indexu a odpovede

Na test vyberieme otázky s vopred označeným zdrojovým úsekom. Najprv posúdime, či sa úsek vôbec objavil medzi nájdenými kandidátmi. Potom skontrolujeme jeho poradie a až následne to, či výsledná odpoveď využila relevantný dôkaz. Tieto tri výsledky môžu byť rozdielne.

Pri zmene verzie dokumentu overíme prechod od starého záznamu k novému a odstránenie už neplatných podkladov z dohľadateľných výsledkov. Rovnakú otázku položia dve rôzne roly, aby sa preverilo filtrovanie aj pri podobných dokumentoch.

Pôvodný odborný zdroj – RAG

Zmena platnosti dokumentu má ovplyvniť aj rozpracovanú odpoveď

Pracovník otvorí otázku o doprave ešte pred zmenou cenníka, ale výsledok dostane až po jej zverejnení. Systém musí mať dohodnuté, či odpovedá podľa času otázky, času objednávky alebo aktuálneho stavu. Takýto výber sa premieta do metadát vyhľadávaných úsekov.

V odpovedi preto uvedieme dátum platnosti použitých podmienok. Pri kontrole zverejníme dve po sebe idúce verzie s odlišným poplatkom a sledujeme, či výber zdrojov zodpovedá času, ktorý je pre pracovníka rozhodujúci.

Otázky z praxe

Ako odlíšiť chybu vyhľadávania od chyby pri odpovedi?

Pre kontrolné otázky vopred označíme odsek, ktorý obsahuje dôkaz. Pozrieme sa, či bol medzi kandidátmi, či sa dostal do kontextu modelu a či odpoveď jeho obsah vyložila správne. Takto vieme upraviť index, zostavenie kontextu alebo generovanie podľa miesta skutočnej chyby.

Čo urobiť s dvoma platnými, ale rozdielnymi návodmi?

Pri načítaní ukladáme identitu zariadenia, revíziu, obdobie platnosti a pôvod dokumentu. Otázka podľa výrobného čísla môže potom vybrať správny návod. Ak podstatné rozlíšenie chýba, odpoveď uvedie rozdiel alebo si vyžiada chýbajúci údaj. Zlúčenie intervalov z oboch návodov by vytvorilo neexistujúce pravidlo.

Ako zabezpečiť, aby odobranie prístupu platilo aj pri odpovedi z indexu?

Pôvodné oprávnenie musí mať dohľadateľnú väzbu na indexovaný úsek a na aktuálnu identitu používateľa. Pri teste pracovník najskôr vidí dokument, následne prístup odoberieme a zopakujeme rovnakú otázku. Overíme aj výsledky uložené v cache a možnosť otvoriť starší odkaz na zdroj.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?