OpenSearch
OpenSearch slúži na indexovanie a vyhľadávanie textu a podporuje aj vektorové dotazy. Mapovanie poľa určuje, či ho možno analyzovať ako text alebo filtrovať presnou hodnotou.
Príklad z pracovného postupu
Kód „S-12/4“ môže textový analyzér rozdeliť. Pre výber presného dielu evidujeme aj presnú reprezentáciu a pri vyhľadávaní opisu využijeme textové pole. Skontrolujeme oba pohľady po rovnakom importe.
Ako výsledok overiť
Na skúšobnom indexe porovnáme výsledky s diakritikou, skratkou aj presným kódom položky. Overíme prepnutie na novú generáciu indexu.
Ako rozlíšiť kvalitu indexu a odpovede
Na test vyberieme otázky s vopred označeným zdrojovým úsekom. Najprv posúdime, či sa úsek vôbec objavil medzi nájdenými kandidátmi. Potom skontrolujeme jeho poradie a až následne to, či výsledná odpoveď využila relevantný dôkaz. Tieto tri výsledky môžu byť rozdielne.
Pri zmene verzie dokumentu overíme prechod od starého záznamu k novému a odstránenie už neplatných podkladov z dohľadateľných výsledkov. Rovnakú otázku položia dve rôzne roly, aby sa preverilo filtrovanie aj pri podobných dokumentoch.
Jazykový analyzátor a produktový kód potrebujú odlišné polia
Pri bežnom opise je užitočné vyhľadať aj príbuznú slovnú formu. Pri označení súčiastky však môže pomlčka alebo jedna číslica rozlišovať dva výrobky s rozdielnymi parametrami. Pri navrhovaní indexu preto rozdelíme presný identifikátor, alternatívne zápisy a textový opis.
Na niekoľkých skutočných tvaroch dopytu preveríme poradie aj zvýraznenie nájdených častí. Keď dodávateľ zmení formát katalógového kódu, môžeme upraviť jeho mapovanie a vyhodnotiť výsledky samostatne od zmien vyhľadávania v slovenčine.
Otázky z praxe
Ako indexovať názov dielu, ktorý slúži aj ako presný identifikátor?
Celý normalizovaný reťazec môžeme používať na presný výber a jeho analyzovanú reprezentáciu na hľadanie častí názvu. Zdrojová hodnota zostáva dohľadateľná. Pri akceptácii použijeme kódy s pomlčkou, lomkou aj úvodnou nulou a skontrolujeme výber jediného zákazníkom požadovaného dielu.
Čo treba preveriť pri zmene analyzéra slovenského textu?
Zmena delenia alebo normalizácie ovplyvní to, aké výrazy sú v indexe uložené. Nové nastavenie vyskúšame na samostatnej generácii indexu a porovnáme poradie výsledkov pri skratkách, diakritike a odborných menách. Overíme aj úplnosť dokumentov pridaných počas tohto prechodu.
Prečo sú prázdne vyhľadávania po migrácii dôležitým signálom?
Priemerný počet výsledkov môže zostať podobný a súčasne môžu prestať fungovať dôležité krátke kódy. Porovnáme počet dotazov bez výsledku podľa typu otázky a otvoríme reprezentatívne príklady. Je rozdiel medzi správne nenájdeným neexistujúcim dielom a chybou nového mapovania.
Súvisiace stránky
-
pgvector
Rozšírenie pgvector pridáva PostgreSQL vektorové typy a operátory vzdialenosti.
Otvoriť -
Amazon Neptune GraphRAG Toolkit
AWS GraphRAG Toolkit ponúka stavebné prvky na tvorbu grafového kontextu nad dokumentmi vrátane podpory pre nasadenia s Amazon Neptune.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť