Qdrant
Qdrant ukladá vektory spolu s dátami označovanými payload. Pri hľadaní možno kombinovať podobnosť s filtrom, napríklad výberom príručiek pre jeden typ zariadenia.
Príklad z pracovného postupu
Dva servisné podniky používajú rovnakého výrobcu čerpadiel. Podobnosť opisu poruchy by mohla uprednostniť správu cudzieho podniku. Povinný filter zdrojovej organizácie sa musí uplatniť skôr, než sa výsledok odovzdá používateľovi.
Ako výsledok overiť
Meriame presnosť najlepších výsledkov a latenciu pri bežnom aj veľmi úzkom filtri. Osobitne overíme izoláciu zákazníkov.
Ako rozlíšiť kvalitu indexu a odpovede
Na test vyberieme otázky s vopred označeným zdrojovým úsekom. Najprv posúdime, či sa úsek vôbec objavil medzi nájdenými kandidátmi. Potom skontrolujeme jeho poradie a až následne to, či výsledná odpoveď využila relevantný dôkaz. Tieto tri výsledky môžu byť rozdielne.
Pri zmene verzie dokumentu overíme prechod od starého záznamu k novému a odstránenie už neplatných podkladov z dohľadateľných výsledkov. Rovnakú otázku položia dve rôzne roly, aby sa preverilo filtrovanie aj pri podobných dokumentoch.
Význam podobnosti sa pri filtrovaní môže zúžiť na veľmi malú skupinu
Pracovník hľadajúci vhodný náhradný diel potrebuje výsledky len z kompatibilného radu a schváleného skladu. Vektorová podobnosť textu sama tieto obmedzenia nevyjadruje. Vstupné záznamy preto vybavíme metadátami, ktorých pôvod a aktualizáciu pozná vlastník číselníka.
Pre najmenšie skupiny ručne preveríme, čo má používateľ dostať, ak existuje iba vzdialene podobná položka. Zobrazenie menšieho počtu výsledkov s vysvetlením môže byť vhodnejšie než ponuka nekompatibilného dielu, ktorý sa iba podobne volá.
Otázky z praxe
Ako testovať vyhľadávanie s veľmi úzkym filtrom?
Zostavíme otázky pre veľkú organizáciu aj pre pobočku s niekoľkými dokumentmi. Výsledky porovnáme s prípustnou množinou zdrojov a zmeriame počet vrátených relevantných výsledkov aj čas. Pri globálnom priemere by sa pomalosť alebo prázdne výsledky malej pobočky mohli úplne stratiť.
Kedy vytvárať index pre údaj v payloade?
Najprv zistíme, ktoré polia používa skutočná aplikácia vo filtroch a ako často sa ich hodnoty menia. Index môže zrýchliť čítanie, ale pridáva prácu pri zápise a zaberá úložisko. Rozhodujeme podľa porovnania typických dotazov a dávky aktualizácií na podobnom objeme.
Čo kontrolovať pri importe opravených servisných záznamov?
Opravený záznam musí mať správnu identitu aj metadáta platnej verzie. Ak sa zmenil text, preveríme, že sa prepočítala aj zodpovedajúca vektorová reprezentácia. Po importe spustíme dotaz na pôvodnú i novú formuláciu a porovnáme použité dôkazy so skutočným stavom zdroja.
Súvisiace stránky
-
Weaviate
Weaviate môže spájať vektorové a textové vyhľadávanie.
Otvoriť -
OpenSearch
OpenSearch slúži na indexovanie a vyhľadávanie textu a podporuje aj vektorové dotazy.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť