Microsoft Foundry

Microsoft Foundry spája modely, agentov, nástroje a hodnotenia v prostredí Azure. Projekt poskytuje spoločný kontext pre prístupy a sledovanie činnosti.

Rozhodnutia pri návrhu

Návrh rozlišuje oprávnenie použiť model od oprávnenia čítať firemný zdroj. Pri zdieľanom projekte preveríme, ktorým rolám sú viditeľné stopy vykonania.

Príklad z pracovného postupu

Pri agentovi nad interným katalógom sú odlišné dve otázky. Prvá je, kto môže upraviť konfiguráciu modelu. Druhá je, či predajca v odpovedi smie vidieť nákupnú cenu. Test roly v projekte preto dopĺňame kontrolou zdrojovej aplikácie.

Ako výsledok overiť

Testovacia požiadavka preverí identitu, konfiguráciu nasadenia a možnosť dohľadať verziu použitého agenta.

Prevádzkové hranice volania modelu

Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.

Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.

Pôvodný odborný zdroj – Microsoft Foundry

Porovnanie experimentov potrebuje spoločnú definíciu výsledku

Pri výbere medzi dvoma nasadeniami môže jedna konfigurácia lepšie písať a druhá dôslednejšie zachovať čísla z dodacieho listu. Pred skúškou preto stanovíme, čo sa počíta ako správny výstup, a ktoré chyby by vyžadovali zásah človeka. Tieto rozhodnutia naviažeme na verziu vyhodnocovacej vzorky.

Pri importe nových dokumentov vyhodnotíme starú aj upravenú konfiguráciu nad rovnakým výberom. Rozdiel tak možno priradiť k zmene konfigurácie alebo zloženiu vzorky a dohľadať dokumenty, ktoré rozhodli o výbere.

Otázky z praxe

Ako preveriť prístupy projektu a jeho znalostného zdroja?

Do testu vložíme dva podklady s rozdielnou dostupnosťou pre dve roly. Potom posúdime oprávnenie spravovať konfiguráciu projektu, spustiť model aj prečítať konkrétny zdroj. Úspešný prístup vývojára v portáli nedokazuje, že agent v službe použije pri odpovedaní správne práva koncového pracovníka.

Čo má obsahovať záznam o zmene konfigurácie agenta?

Pri porovnaní výstupov potrebujeme vedieť, aký model, zadanie, schéma nástrojov a verzia zdrojov sa použili. Stav jednej časti sa môže zmeniť aj bez úpravy ostatných. Referenčná otázka má preto odkazovať na konkrétny vstup a očakávaný pracovný výsledok, ktorý vieme zopakovať.

Kto má vidieť stopy požiadaviek zo skúšobného projektu?

Identita správcu projektu automaticky neznamená dôvod prezerať každú užívateľskú otázku alebo citlivú prílohu. Rozsah záznamu, dobu uloženia a oprávnenie na diagnostiku určíme podľa účelu. Pri overení vytvoríme modelový záznam a v rôznych rolách skontrolujeme prístup k dátam aj k prevádzkovej konfigurácii.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?