ChromaDB
Chroma spája dokumenty, embeddingy a metadáta do kolekcií. Umožňuje vyhľadávať podobné záznamy a obmedziť výsledky podmienkami na metadáta.
Príklad z pracovného postupu
Po vydaní novej revízie manuálu môžu byť zmenené dva z päťdesiatich úsekov. Identifikácia revízie musí zabrániť tomu, aby odpoveď skombinovala starý interval kontroly s novým číslom dielu.
Ako výsledok overiť
Porovnáme návratnosť pre presné názvy výrobkov a voľne formulované otázky. Skúška obsahuje aj odobratie dokumentu.
Ako rozlíšiť kvalitu indexu a odpovede
Na test vyberieme otázky s vopred označeným zdrojovým úsekom. Najprv posúdime, či sa úsek vôbec objavil medzi nájdenými kandidátmi. Potom skontrolujeme jeho poradie a až následne to, či výsledná odpoveď využila relevantný dôkaz. Tieto tri výsledky môžu byť rozdielne.
Pri zmene verzie dokumentu overíme prechod od starého záznamu k novému a odstránenie už neplatných podkladov z dohľadateľných výsledkov. Rovnakú otázku položia dve rôzne roly, aby sa preverilo filtrovanie aj pri podobných dokumentoch.
Veľkosť dokumentového úseku ovplyvňuje aj citovanie výnimiek
Krátky úsek môže obsahovať zákaz a až nasledujúci odsek uviesť výnimku. Dlhý úsek zachová ich významovú väzbu, ale prinesie do vyhľadania aj nesúvisiace pokyny. Pri príprave kolekcie preto vyberieme niekoľko dokumentov so zoznamami, tabuľkami a podmienkami rozdelenými cez stranu.
Na priamych otázkach porovnáme, ktoré úseky sa vrátia a či sa odpoveď dá oprieť o celý platný pokyn. Delenie textu potom prispôsobíme štruktúre dokumentu a identifikátorom jeho pôvodných častí.
Otázky z praxe
Môžu byť staré a nové embeddingy v jednej kolekcii?
Rovnaký počet rozmerov ešte nezaručuje rovnaký význam vektorového priestoru dvoch modelov. Pri výmene preto zostavíme novú verziu kolekcie a porovnáme vyhľadanie referenčných materiálov. Až po kontrole úplnosti presmerujeme čítanie a zachováme dohľadateľnosť použitého modelu pri starších výsledkoch.
Ako vybrať metadáta pri indexácii manuálu?
Pri servisných návodoch sú praktické výrobné rady, jazyk, revízia a identita zdrojového súboru. Tieto polia musia byť odvodené z kontrolovaného zdroja, nie len z voľného názvu dokumentu. Na otázke k staršiemu zariadeniu preveríme, že filter nevyradí jeho stále platný manuál.
Kedy je zmazanie dokumentu skutočne dokončené?
Dokument môže mať viacero úsekov a každý vlastný vektor. Po prijatí požiadavky na odstránenie preto dohľadáme celú množinu súvisiacich identifikátorov a preveríme výsledky vyhľadávania aj cache odpovedí. Samotné odstránenie riadka so zoznamom súborov nemusí odstrániť podklady z čítacej vrstvy.
Súvisiace stránky
-
Qdrant
Qdrant ukladá vektory spolu s dátami označovanými payload.
Otvoriť -
Weaviate
Weaviate môže spájať vektorové a textové vyhľadávanie.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť