Faiss

Faiss je knižnica na hľadanie podobných vektorov. Index môže pracovať s presným porovnaním alebo vymeniť časť presnosti za rýchlosť a nižšiu pamäť.

Rozhodnutia pri návrhu

Metrika musí zodpovedať spôsobu, akým vznikli embeddingy. Informácie o prístupe a pôvodnom dokumente musí aplikácia spojiť so správnym identifikátorom výsledku.

Príklad z pracovného postupu

Ak má presný výpočet pre jednu otázku desať známych najbližších vektorov, môžeme zmerať, koľko z tejto desiatky nájde rýchlejší index. Výsledok posudzujeme spolu s latenciou a veľkosťou indexu pri cieľovom počte dokumentov.

Ako výsledok overiť

Na kontrolnej vzorke porovnáme najbližších susedov s presným výpočtom a zmeriame pamäť aj čas obnovy indexu.

Ako rozlíšiť kvalitu indexu a odpovede

Na test vyberieme otázky s vopred označeným zdrojovým úsekom. Najprv posúdime, či sa úsek vôbec objavil medzi nájdenými kandidátmi. Potom skontrolujeme jeho poradie a až následne to, či výsledná odpoveď využila relevantný dôkaz. Tieto tri výsledky môžu byť rozdielne.

Pri zmene verzie dokumentu overíme prechod od starého záznamu k novému a odstránenie už neplatných podkladov z dohľadateľných výsledkov. Rovnakú otázku položia dve rôzne roly, aby sa preverilo filtrovanie aj pri podobných dokumentoch.

Pôvodný odborný zdroj – Faiss

Vyhľadávací index potrebuje pevnú väzbu na význam uloženého vektora

Vektor zaevidovaného výrobku môže pochádzať z názvu, súhrnu parametrov alebo fotografie. Aj pri rovnakej dĺžke vektora môže každá reprezentácia dávať iný význam blízkosti. Pri vytvorení indexu preto zaznamenáme spôsob tvorby vektorov, použité meranie vzdialenosti a mapovanie výsledkov na verzie položiek.

Pri výmene modelu vytvoríme porovnateľný nový index a prejdeme hraničné dotazy. Výsledky udržíme dohľadateľné aj v období, keď sa v číselníku jeden výrobok rozdelí na dve nové položky.

Otázky z praxe

Podľa čoho vybrať metriku podobnosti?

Vychádzame z toho, na akú metriku a prípadnú normalizáciu bol embeddingový model pripravený. Pre kontrolnú sadu uložíme referenčné poradie a vyskúšame zhodnú prípravu pri indexovaní aj dotazovaní. Zámena prípravy vektorov môže zmeniť výsledky aj bez akejkoľvek zmeny dokumentov.

Ako posúdiť cenu rýchlejšieho približného indexu?

Na vzorke dotazov vypočítame presnú referenciu a zmeriame, koľko relevantných susedov zostáva v požadovanom počte výsledkov. Súčasne preveríme pamäť, čas zostavenia a latenciu pri bežnej záťaži. Pre úzku servisnú otázku môže vynechanie jediného kritického návodu zavážiť viac než malá úspora času.

Kde má zostať väzba z výsledného vektora na dokument?

Ku každej položke udržíme stabilný identifikátor dokumentu, jeho revízie a úseku v autoritatívnej evidencii. Poradie záznamov vo vstupnom poli nie je spoľahlivá dlhodobá identita. Po prebudovaní indexu overíme, že rovnaký identifikátor smeruje na správny text s oprávnením aktuálneho používateľa.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?