Multimodálne modely
Multimodálny model dokáže podmieniť výstup kombináciou vstupov, napríklad fotografiou výrobného štítku a textovou otázkou.
Príklad z pracovného postupu
Technik pošle fotografiu zariadenia a samostatný detail štítku. Obidve snímky patria k jednému úkonu. Pri povoľovaní ďalšieho kroku servis skontroluje sériové číslo zo štítku a model zariadenia z celkového záberu oddelene.
Ako výsledok overiť
Skúška zahŕňa naklonený štítok, neostrý snímok a dva podobné výrobky. Sledujeme chyby v presnej hodnote aj v priradení k snímke.
Čo ukáže meranie na firemných vstupoch
Pri porovnaní dvoch modelov je dobré uchovať pôvodný vstup, jeho prípadnú transformáciu a cieľový výsledok oddelene. Dajú sa tak rozlíšiť chyby získania vstupu, chyby samotného modelu a chyby pri prevode jeho výstupu do formulára či hlasovej odpovede. Príklady majú zahŕňať aj situáciu, v ktorej človek potrebuje rozhodnutie odložiť a vyžiadať doplnenie.
Meranie priemeru doplníme o rozdelenie chýb podľa jazyka, kvality vstupu a typu údaja. Omyl v nezáväznom súhrne má inú cenu ako chybné číslo dokladu. Pri výbere riešenia preto vyčíslime aj počet prípadov určených na ľudskú kontrolu.
Obrazová príloha potrebuje väzbu na konkrétnu položku
Jeden servisný protokol môže obsahovať viac fotografií rozdielnych súčiastok a spoločný opis poruchy. Ak pošleme všetky podklady bez väzieb, model môže správne prečítať štítok a priradiť ho k nesprávnemu dielu. Každý výrez preto spojíme s fotografiou, položkou protokolu a pôvodným rozlíšením.
Pri kontrole použijeme aj prípad, keď text tvrdí niečo iné ako fotografia. Výstup má rozpor pomenovať a uviesť oba podklady, aby technik vedel skontrolovať práve sporné miesto.
Otázky z praxe
Čo robiť, keď si opis technika a fotografia odporujú?
Zachováme oba vstupy aj ich pôvod. Ak technik uvedie typ A, ale na štítku sa črtá typ B, výsledok má pomenovať rozpor a vyžiadať lepší záber alebo kontrolu osoby na mieste. Automatické zlúčenie do jediného typu by odstránilo informáciu potrebnú pri servisnom rozhodnutí.
Ako porovnávať odpovede z celej fotografie a detailného výrezu?
Oba pokusy musia použiť rovnakú otázku, rovnaký model a reprodukovateľnú úpravu obrázka. Oddelíme, či model rozpoznal značky, jednotky a príslušnosť štítka ku konkrétnemu zariadeniu. Detailný výrez môže zlepšiť prečítanie čísla a súčasne zakryť okolnosť dôležitú na priradenie k výrobku.
Kedy má systém požiadať o novú snímku?
Ak odlesk prekrýva podstatný znak alebo sú na obrázku dva podobné štítky, ďalšie spracovanie nemusí neistotu odstrániť. Aplikácia má technikovi povedať, ktorý údaj je sporný a aký záber potrebuje. Pôvodnú snímku zachová pri rozpracovanom prípade, aby sa dala neskôr vysvetliť oprava.
Súvisiace stránky
-
Analýza obrazu
Čítanie štítkov, textu a výrobných čísel zo snímok. Na vzorke z prevádzky zmeriame nesprávne prečítané údaje a určíme, kedy treba nový záber.
Otvoriť -
Modely na generovanie obrázkov
Generatívny obrazový model vytvára obraz podľa podmienok, medzi ktoré môže patriť textový opis, referenčný obrázok alebo maska.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť