Microsoft Foundry
Microsoft Foundry spája modely, agentov, nástroje a hodnotenia v prostredí Azure. Projekt poskytuje spoločný kontext pre prístupy a sledovanie činnosti.
Príklad z pracovného postupu
Pri agentovi nad interným katalógom sú odlišné dve otázky. Prvá je, kto môže upraviť konfiguráciu modelu. Druhá je, či predajca v odpovedi smie vidieť nákupnú cenu. Test roly v projekte preto dopĺňame kontrolou zdrojovej aplikácie.
Ako výsledok overiť
Testovacia požiadavka preverí identitu, konfiguráciu nasadenia a možnosť dohľadať verziu použitého agenta.
Prevádzkové hranice volania modelu
Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.
Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.
Porovnanie experimentov potrebuje spoločnú definíciu výsledku
Pri výbere medzi dvoma nasadeniami môže jedna konfigurácia lepšie písať a druhá dôslednejšie zachovať čísla z dodacieho listu. Pred skúškou preto stanovíme, čo sa počíta ako správny výstup, a ktoré chyby by vyžadovali zásah človeka. Tieto rozhodnutia naviažeme na verziu vyhodnocovacej vzorky.
Pri importe nových dokumentov vyhodnotíme starú aj upravenú konfiguráciu nad rovnakým výberom. Rozdiel tak možno priradiť k zmene konfigurácie alebo zloženiu vzorky a dohľadať dokumenty, ktoré rozhodli o výbere.
Otázky z praxe
Ako preveriť prístupy projektu a jeho znalostného zdroja?
Do testu vložíme dva podklady s rozdielnou dostupnosťou pre dve roly. Potom posúdime oprávnenie spravovať konfiguráciu projektu, spustiť model aj prečítať konkrétny zdroj. Úspešný prístup vývojára v portáli nedokazuje, že agent v službe použije pri odpovedaní správne práva koncového pracovníka.
Čo má obsahovať záznam o zmene konfigurácie agenta?
Pri porovnaní výstupov potrebujeme vedieť, aký model, zadanie, schéma nástrojov a verzia zdrojov sa použili. Stav jednej časti sa môže zmeniť aj bez úpravy ostatných. Referenčná otázka má preto odkazovať na konkrétny vstup a očakávaný pracovný výsledok, ktorý vieme zopakovať.
Kto má vidieť stopy požiadaviek zo skúšobného projektu?
Identita správcu projektu automaticky neznamená dôvod prezerať každú užívateľskú otázku alebo citlivú prílohu. Rozsah záznamu, dobu uloženia a oprávnenie na diagnostiku určíme podľa účelu. Pri overení vytvoríme modelový záznam a v rôznych rolách skontrolujeme prístup k dátam aj k prevádzkovej konfigurácii.
Súvisiace stránky
-
Amazon Bedrock
Bedrock poskytuje v AWS rozhrania k základným modelom od viacerých poskytovateľov.
Otvoriť -
Google Vertex AI
Vertex AI je pôvodné označenie nástrojov Google Cloud pre tréning, hodnotenie a nasadenie modelov.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť