RAG
Retrieval-augmented generation najprv vyberie podklady a až potom ich poskytne generátoru. Pri odpovedi na otázku o zmluve má byť dostupná príslušná verzia aj odkaz na konkrétnu časť.
Príklad z pracovného postupu
Dve servisné príručky uvádzajú rozdielny interval výmeny filtra pre staršiu a novšiu revíziu zariadenia. Kritériom úspechu je nájsť správnu revíziu podľa výrobného čísla a použiť k nej prislúchajúcu tabuľku.
Ako výsledok overiť
Chybu vo vyhľadaní meriame samostatne od chyby pri formulovaní odpovede. Vyradený dokument musí prestať poskytovať odpovede po aktualizácii indexu.
Ako rozlíšiť kvalitu indexu a odpovede
Na test vyberieme otázky s vopred označeným zdrojovým úsekom. Najprv posúdime, či sa úsek vôbec objavil medzi nájdenými kandidátmi. Potom skontrolujeme jeho poradie a až následne to, či výsledná odpoveď využila relevantný dôkaz. Tieto tri výsledky môžu byť rozdielne.
Pri zmene verzie dokumentu overíme prechod od starého záznamu k novému a odstránenie už neplatných podkladov z dohľadateľných výsledkov. Rovnakú otázku položia dve rôzne roly, aby sa preverilo filtrovanie aj pri podobných dokumentoch.
Zmena platnosti dokumentu má ovplyvniť aj rozpracovanú odpoveď
Pracovník otvorí otázku o doprave ešte pred zmenou cenníka, ale výsledok dostane až po jej zverejnení. Systém musí mať dohodnuté, či odpovedá podľa času otázky, času objednávky alebo aktuálneho stavu. Takýto výber sa premieta do metadát vyhľadávaných úsekov.
V odpovedi preto uvedieme dátum platnosti použitých podmienok. Pri kontrole zverejníme dve po sebe idúce verzie s odlišným poplatkom a sledujeme, či výber zdrojov zodpovedá času, ktorý je pre pracovníka rozhodujúci.
Otázky z praxe
Ako odlíšiť chybu vyhľadávania od chyby pri odpovedi?
Pre kontrolné otázky vopred označíme odsek, ktorý obsahuje dôkaz. Pozrieme sa, či bol medzi kandidátmi, či sa dostal do kontextu modelu a či odpoveď jeho obsah vyložila správne. Takto vieme upraviť index, zostavenie kontextu alebo generovanie podľa miesta skutočnej chyby.
Čo urobiť s dvoma platnými, ale rozdielnymi návodmi?
Pri načítaní ukladáme identitu zariadenia, revíziu, obdobie platnosti a pôvod dokumentu. Otázka podľa výrobného čísla môže potom vybrať správny návod. Ak podstatné rozlíšenie chýba, odpoveď uvedie rozdiel alebo si vyžiada chýbajúci údaj. Zlúčenie intervalov z oboch návodov by vytvorilo neexistujúce pravidlo.
Ako zabezpečiť, aby odobranie prístupu platilo aj pri odpovedi z indexu?
Pôvodné oprávnenie musí mať dohľadateľnú väzbu na indexovaný úsek a na aktuálnu identitu používateľa. Pri teste pracovník najskôr vidí dokument, následne prístup odoberieme a zopakujeme rovnakú otázku. Overíme aj výsledky uložené v cache a možnosť otvoriť starší odkaz na zdroj.
Súvisiace stránky
-
Graph RAG
Grafové vyhľadávanie dopĺňa časti textu o entity a vzťahy.
Otvoriť -
Faiss
Faiss je knižnica na hľadanie podobných vektorov.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť