OpenSearch

OpenSearch slúži na indexovanie a vyhľadávanie textu a podporuje aj vektorové dotazy. Mapovanie poľa určuje, či ho možno analyzovať ako text alebo filtrovať presnou hodnotou.

Rozhodnutia pri návrhu

Pre slovenské názvy a technické identifikátory často potrebujeme dve reprezentácie rovnakého poľa. Pri zmene analyzéra môže byť potrebné preindexovanie.

Príklad z pracovného postupu

Kód „S-12/4“ môže textový analyzér rozdeliť. Pre výber presného dielu evidujeme aj presnú reprezentáciu a pri vyhľadávaní opisu využijeme textové pole. Skontrolujeme oba pohľady po rovnakom importe.

Ako výsledok overiť

Na skúšobnom indexe porovnáme výsledky s diakritikou, skratkou aj presným kódom položky. Overíme prepnutie na novú generáciu indexu.

Ako rozlíšiť kvalitu indexu a odpovede

Na test vyberieme otázky s vopred označeným zdrojovým úsekom. Najprv posúdime, či sa úsek vôbec objavil medzi nájdenými kandidátmi. Potom skontrolujeme jeho poradie a až následne to, či výsledná odpoveď využila relevantný dôkaz. Tieto tri výsledky môžu byť rozdielne.

Pri zmene verzie dokumentu overíme prechod od starého záznamu k novému a odstránenie už neplatných podkladov z dohľadateľných výsledkov. Rovnakú otázku položia dve rôzne roly, aby sa preverilo filtrovanie aj pri podobných dokumentoch.

Pôvodný odborný zdroj – OpenSearch

Jazykový analyzátor a produktový kód potrebujú odlišné polia

Pri bežnom opise je užitočné vyhľadať aj príbuznú slovnú formu. Pri označení súčiastky však môže pomlčka alebo jedna číslica rozlišovať dva výrobky s rozdielnymi parametrami. Pri navrhovaní indexu preto rozdelíme presný identifikátor, alternatívne zápisy a textový opis.

Na niekoľkých skutočných tvaroch dopytu preveríme poradie aj zvýraznenie nájdených častí. Keď dodávateľ zmení formát katalógového kódu, môžeme upraviť jeho mapovanie a vyhodnotiť výsledky samostatne od zmien vyhľadávania v slovenčine.

Otázky z praxe

Ako indexovať názov dielu, ktorý slúži aj ako presný identifikátor?

Celý normalizovaný reťazec môžeme používať na presný výber a jeho analyzovanú reprezentáciu na hľadanie častí názvu. Zdrojová hodnota zostáva dohľadateľná. Pri akceptácii použijeme kódy s pomlčkou, lomkou aj úvodnou nulou a skontrolujeme výber jediného zákazníkom požadovaného dielu.

Čo treba preveriť pri zmene analyzéra slovenského textu?

Zmena delenia alebo normalizácie ovplyvní to, aké výrazy sú v indexe uložené. Nové nastavenie vyskúšame na samostatnej generácii indexu a porovnáme poradie výsledkov pri skratkách, diakritike a odborných menách. Overíme aj úplnosť dokumentov pridaných počas tohto prechodu.

Prečo sú prázdne vyhľadávania po migrácii dôležitým signálom?

Priemerný počet výsledkov môže zostať podobný a súčasne môžu prestať fungovať dôležité krátke kódy. Porovnáme počet dotazov bez výsledku podľa typu otázky a otvoríme reprezentatívne príklady. Je rozdiel medzi správne nenájdeným neexistujúcim dielom a chybou nového mapovania.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?