Multimodálne modely

Multimodálny model dokáže podmieniť výstup kombináciou vstupov, napríklad fotografiou výrobného štítku a textovou otázkou.

Rozhodnutia pri návrhu

Pri prevode fotografie na menšie rozlíšenie sa môže stratiť desatinná čiarka alebo znak jednotky. Originál má vlastný identifikátor a výsledok musí smerovať späť ku konkrétnemu výrezu.

Príklad z pracovného postupu

Technik pošle fotografiu zariadenia a samostatný detail štítku. Obidve snímky patria k jednému úkonu. Pri povoľovaní ďalšieho kroku servis skontroluje sériové číslo zo štítku a model zariadenia z celkového záberu oddelene.

Ako výsledok overiť

Skúška zahŕňa naklonený štítok, neostrý snímok a dva podobné výrobky. Sledujeme chyby v presnej hodnote aj v priradení k snímke.

Čo ukáže meranie na firemných vstupoch

Pri porovnaní dvoch modelov je dobré uchovať pôvodný vstup, jeho prípadnú transformáciu a cieľový výsledok oddelene. Dajú sa tak rozlíšiť chyby získania vstupu, chyby samotného modelu a chyby pri prevode jeho výstupu do formulára či hlasovej odpovede. Príklady majú zahŕňať aj situáciu, v ktorej človek potrebuje rozhodnutie odložiť a vyžiadať doplnenie.

Meranie priemeru doplníme o rozdelenie chýb podľa jazyka, kvality vstupu a typu údaja. Omyl v nezáväznom súhrne má inú cenu ako chybné číslo dokladu. Pri výbere riešenia preto vyčíslime aj počet prípadov určených na ľudskú kontrolu.

Pôvodný odborný zdroj – Multimodálne modely

Obrazová príloha potrebuje väzbu na konkrétnu položku

Jeden servisný protokol môže obsahovať viac fotografií rozdielnych súčiastok a spoločný opis poruchy. Ak pošleme všetky podklady bez väzieb, model môže správne prečítať štítok a priradiť ho k nesprávnemu dielu. Každý výrez preto spojíme s fotografiou, položkou protokolu a pôvodným rozlíšením.

Pri kontrole použijeme aj prípad, keď text tvrdí niečo iné ako fotografia. Výstup má rozpor pomenovať a uviesť oba podklady, aby technik vedel skontrolovať práve sporné miesto.

Otázky z praxe

Čo robiť, keď si opis technika a fotografia odporujú?

Zachováme oba vstupy aj ich pôvod. Ak technik uvedie typ A, ale na štítku sa črtá typ B, výsledok má pomenovať rozpor a vyžiadať lepší záber alebo kontrolu osoby na mieste. Automatické zlúčenie do jediného typu by odstránilo informáciu potrebnú pri servisnom rozhodnutí.

Ako porovnávať odpovede z celej fotografie a detailného výrezu?

Oba pokusy musia použiť rovnakú otázku, rovnaký model a reprodukovateľnú úpravu obrázka. Oddelíme, či model rozpoznal značky, jednotky a príslušnosť štítka ku konkrétnemu zariadeniu. Detailný výrez môže zlepšiť prečítanie čísla a súčasne zakryť okolnosť dôležitú na priradenie k výrobku.

Kedy má systém požiadať o novú snímku?

Ak odlesk prekrýva podstatný znak alebo sú na obrázku dva podobné štítky, ďalšie spracovanie nemusí neistotu odstrániť. Aplikácia má technikovi povedať, ktorý údaj je sporný a aký záber potrebuje. Pôvodnú snímku zachová pri rozpracovanom prípade, aby sa dala neskôr vysvetliť oprava.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?