ChromaDB

Chroma spája dokumenty, embeddingy a metadáta do kolekcií. Umožňuje vyhľadávať podobné záznamy a obmedziť výsledky podmienkami na metadáta.

Rozhodnutia pri návrhu

Pri zmene embeddingového modelu sa mení význam súradníc. Novú verziu kolekcie naplníme samostatne a skontrolujeme úplnosť identifikátorov.

Príklad z pracovného postupu

Po vydaní novej revízie manuálu môžu byť zmenené dva z päťdesiatich úsekov. Identifikácia revízie musí zabrániť tomu, aby odpoveď skombinovala starý interval kontroly s novým číslom dielu.

Ako výsledok overiť

Porovnáme návratnosť pre presné názvy výrobkov a voľne formulované otázky. Skúška obsahuje aj odobratie dokumentu.

Ako rozlíšiť kvalitu indexu a odpovede

Na test vyberieme otázky s vopred označeným zdrojovým úsekom. Najprv posúdime, či sa úsek vôbec objavil medzi nájdenými kandidátmi. Potom skontrolujeme jeho poradie a až následne to, či výsledná odpoveď využila relevantný dôkaz. Tieto tri výsledky môžu byť rozdielne.

Pri zmene verzie dokumentu overíme prechod od starého záznamu k novému a odstránenie už neplatných podkladov z dohľadateľných výsledkov. Rovnakú otázku položia dve rôzne roly, aby sa preverilo filtrovanie aj pri podobných dokumentoch.

Pôvodný odborný zdroj – ChromaDB

Veľkosť dokumentového úseku ovplyvňuje aj citovanie výnimiek

Krátky úsek môže obsahovať zákaz a až nasledujúci odsek uviesť výnimku. Dlhý úsek zachová ich významovú väzbu, ale prinesie do vyhľadania aj nesúvisiace pokyny. Pri príprave kolekcie preto vyberieme niekoľko dokumentov so zoznamami, tabuľkami a podmienkami rozdelenými cez stranu.

Na priamych otázkach porovnáme, ktoré úseky sa vrátia a či sa odpoveď dá oprieť o celý platný pokyn. Delenie textu potom prispôsobíme štruktúre dokumentu a identifikátorom jeho pôvodných častí.

Otázky z praxe

Môžu byť staré a nové embeddingy v jednej kolekcii?

Rovnaký počet rozmerov ešte nezaručuje rovnaký význam vektorového priestoru dvoch modelov. Pri výmene preto zostavíme novú verziu kolekcie a porovnáme vyhľadanie referenčných materiálov. Až po kontrole úplnosti presmerujeme čítanie a zachováme dohľadateľnosť použitého modelu pri starších výsledkoch.

Ako vybrať metadáta pri indexácii manuálu?

Pri servisných návodoch sú praktické výrobné rady, jazyk, revízia a identita zdrojového súboru. Tieto polia musia byť odvodené z kontrolovaného zdroja, nie len z voľného názvu dokumentu. Na otázke k staršiemu zariadeniu preveríme, že filter nevyradí jeho stále platný manuál.

Kedy je zmazanie dokumentu skutočne dokončené?

Dokument môže mať viacero úsekov a každý vlastný vektor. Po prijatí požiadavky na odstránenie preto dohľadáme celú množinu súvisiacich identifikátorov a preveríme výsledky vyhľadávania aj cache odpovedí. Samotné odstránenie riadka so zoznamom súborov nemusí odstrániť podklady z čítacej vrstvy.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?