Google AI Studio
Google AI Studio umožňuje skúšať vstupy a konfiguráciu modelov Gemini v interaktívnom prostredí. Návrh sa dá preniesť do aplikácie volajúcej API.
Príklad z pracovného postupu
Prototyp nad 20-stranovým katalógom dá správnu odpoveď v editore. Pred integráciou skontrolujeme aj prázdny katalóg, nahratie neúplného dokumentu a reakciu rozhrania, ak odpoveď nevyhovuje schéme očakávanej aplikáciou.
Ako výsledok overiť
Rovnaký scenár spustíme cez rozhranie aplikácie s obmedzeným časom a neúplným vstupom.
Prevádzkové hranice volania modelu
Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.
Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.
Prototyp má zachytiť aj vstupy, ktoré sa neskôr neposielajú ručne
Pri ručnom skúšaní človek ľahko doplní súvislosť, opraví názov prílohy alebo vynechá nečitateľnú stranu. Automatické volanie dostane vstup v stave, v akom ho odovzdá firemný proces. Preto do pokusov pridáme pôvodné prílohy a presnú podobu pokynu, ktorú dokáže zostaviť aplikácia.
Pri prevode prototypu porovnáme ukážkovú odpoveď s požadovaným formátom pre ďalší krok. Výsledkom experimentu je potom aj zoznam chýbajúcich údajov, pravidiel validácie a situácií, ktoré pracovník pri ručnej skúške vyriešil intuitívne.
Otázky z praxe
Čo treba preniesť z prototypu do automatizovanej aplikácie?
Spolu so zadaním uchováme identitu modelu, poradie vstupov, nastavenia a podobu očakávaného výstupu. Aplikácia musí navyše rozhodnúť, čo urobiť s neúplnou alebo chybnou odpoveďou. Pred nasadením porovnáme rovnaké vstupy v skúšobnom prostredí a v programe, ktorý výsledok naozaj spotrebuje.
Ako vyhodnotiť úpravu promptu bez výberu len úspešných ukážok?
Pred úpravou odložíme meniace sa príklady bokom a vytvoríme nemennú sadu vrátane výnimiek. Každú verziu posúdime na všetkých týchto vstupoch rovnakým pravidlom. Okrem zlepšených prípadov zaznamenáme aj výsledky, ktoré pôvodná verzia zvládla správne a po úprave sa zhoršili.
Čo robiť, ak prototyp úspešne spracuje iba krátku prílohu?
Dĺžku dokumentu vyhodnotíme spolu s jeho štruktúrou a umiestnením dôležitých informácií. Pri delení na časti napríklad potrebuje tabuľka opakovať význam stĺpcov. V kontrolnom dokumente umiestnime podmienku až na koniec a sledujeme, či sa dostane do skutočnej produkčnej požiadavky.
Súvisiace stránky
-
Hugging Face Inference
Inference Providers sprostredkúva volanie podporovaných modelov cez dostupných poskytovateľov.
Otvoriť -
Oracle Cloud AI
OCI Generative AI sprístupňuje modely na generovanie textu a ďalšie podporované úlohy v Oracle Cloud Infrastructure.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť