Faiss
Faiss je knižnica na hľadanie podobných vektorov. Index môže pracovať s presným porovnaním alebo vymeniť časť presnosti za rýchlosť a nižšiu pamäť.
Príklad z pracovného postupu
Ak má presný výpočet pre jednu otázku desať známych najbližších vektorov, môžeme zmerať, koľko z tejto desiatky nájde rýchlejší index. Výsledok posudzujeme spolu s latenciou a veľkosťou indexu pri cieľovom počte dokumentov.
Ako výsledok overiť
Na kontrolnej vzorke porovnáme najbližších susedov s presným výpočtom a zmeriame pamäť aj čas obnovy indexu.
Ako rozlíšiť kvalitu indexu a odpovede
Na test vyberieme otázky s vopred označeným zdrojovým úsekom. Najprv posúdime, či sa úsek vôbec objavil medzi nájdenými kandidátmi. Potom skontrolujeme jeho poradie a až následne to, či výsledná odpoveď využila relevantný dôkaz. Tieto tri výsledky môžu byť rozdielne.
Pri zmene verzie dokumentu overíme prechod od starého záznamu k novému a odstránenie už neplatných podkladov z dohľadateľných výsledkov. Rovnakú otázku položia dve rôzne roly, aby sa preverilo filtrovanie aj pri podobných dokumentoch.
Vyhľadávací index potrebuje pevnú väzbu na význam uloženého vektora
Vektor zaevidovaného výrobku môže pochádzať z názvu, súhrnu parametrov alebo fotografie. Aj pri rovnakej dĺžke vektora môže každá reprezentácia dávať iný význam blízkosti. Pri vytvorení indexu preto zaznamenáme spôsob tvorby vektorov, použité meranie vzdialenosti a mapovanie výsledkov na verzie položiek.
Pri výmene modelu vytvoríme porovnateľný nový index a prejdeme hraničné dotazy. Výsledky udržíme dohľadateľné aj v období, keď sa v číselníku jeden výrobok rozdelí na dve nové položky.
Otázky z praxe
Podľa čoho vybrať metriku podobnosti?
Vychádzame z toho, na akú metriku a prípadnú normalizáciu bol embeddingový model pripravený. Pre kontrolnú sadu uložíme referenčné poradie a vyskúšame zhodnú prípravu pri indexovaní aj dotazovaní. Zámena prípravy vektorov môže zmeniť výsledky aj bez akejkoľvek zmeny dokumentov.
Ako posúdiť cenu rýchlejšieho približného indexu?
Na vzorke dotazov vypočítame presnú referenciu a zmeriame, koľko relevantných susedov zostáva v požadovanom počte výsledkov. Súčasne preveríme pamäť, čas zostavenia a latenciu pri bežnej záťaži. Pre úzku servisnú otázku môže vynechanie jediného kritického návodu zavážiť viac než malá úspora času.
Kde má zostať väzba z výsledného vektora na dokument?
Ku každej položke udržíme stabilný identifikátor dokumentu, jeho revízie a úseku v autoritatívnej evidencii. Poradie záznamov vo vstupnom poli nie je spoľahlivá dlhodobá identita. Po prebudovaní indexu overíme, že rovnaký identifikátor smeruje na správny text s oprávnením aktuálneho používateľa.
Súvisiace stránky
-
ChromaDB
Chroma spája dokumenty, embeddingy a metadáta do kolekcií.
Otvoriť -
Qdrant
Qdrant ukladá vektory spolu s dátami označovanými payload.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť