Azure OpenAI Service
Služba sprístupňuje modely OpenAI cez prostredie Azure. Klientská aplikácia smeruje požiadavku na nakonfigurované nasadenie modelu.
Príklad z pracovného postupu
Účtovná aplikácia používa pracovné nasadenie na skúšanie nového spôsobu sumarizácie. Pred prepnutím porovná rovnakých päť typov dokladov s doterajším výsledkom a overí dostupnosť kapacity pre ranné špičky.
Ako výsledok overiť
Sledujeme chybné odpovede, oneskorenie a odmietnuté požiadavky pri špičke. Aplikácia má prechodné preťaženie odlíšiť od chybného zadania.
Prevádzkové hranice volania modelu
Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.
Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.
Jednotlivé použitia modelu potrebujú odlišné časové limity
Interaktívne dopĺňanie poznámky čaká na odpoveď pred očami pracovníka. Nočný rozbor ukončených servisov môže počkať dlhšie a spracovanie rozdeliť na menšie dávky. Obe úlohy môžu použiť rovnakú rodinu modelov, ale majú odlišné požiadavky na kapacitu a opakovanie.
Pred nasadením preveríme spoločnú špičku aj obmedzenie dostupnej služby. Výsledok má ukázať, či dávkovú prácu stačí odložiť, ktoré odpovede používateľ ešte stihne využiť a ako klient rozpozná neskoro doručené spracovanie.
Otázky z praxe
Čo sa mení pri zámene modelu za rovnakým názvom nasadenia?
Aplikácia môže naďalej volať rovnaké rozhranie, ale odpovede môžu mať odlišnú štruktúru, dĺžku alebo správanie pri neistote. Pri zmene preto zaznamenáme konkrétnu konfiguráciu, porovnáme anonymizovanú referenčnú sadu a skontrolujeme rozpočet odpovedí. Pri kritických poliach overíme aj nadväzujúci zápis v aplikácii.
Ako rozlíšiť preťaženie služby a príliš dlhý vstup?
Zaznamenáme typ chyby, veľkosť vstupu a čas požiadavky bez zbytočného ukladania obsahu dokumentu. Prechodné obmedzenie kapacity môže viesť k riadenému opakovaniu, príliš dlhý vstup vyžaduje zmenu prípravy. Opakované zaslanie rovnakého neplatného dokumentu by zvyšovalo iba oneskorenie frontu.
Prečo oddeliť skúšobné spracovanie archívu od interaktívnej práce?
Veľká dávka môže súťažiť s odpoveďami pracovníkom o tú istú dostupnú kapacitu. Fronty a limity nastavíme vzhľadom na prioritu a prípustné čakanie každej činnosti. V skúške zapneme obe naraz a sledujeme skutočnú rýchlosť práce, chybové odpovede aj stav nedokončených položiek.
Súvisiace stránky
-
Microsoft Foundry
Microsoft Foundry spája modely, agentov, nástroje a hodnotenia v prostredí Azure.
Otvoriť -
Amazon Bedrock
Bedrock poskytuje v AWS rozhrania k základným modelom od viacerých poskytovateľov.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť