Azure OpenAI Service

Služba sprístupňuje modely OpenAI cez prostredie Azure. Klientská aplikácia smeruje požiadavku na nakonfigurované nasadenie modelu.

Rozhodnutia pri návrhu

Nasadenie má identitu, región a prevádzkové limity. Pri zmene modelu je potrebné opätovne vyhodnotiť očakávanú štruktúru odpovedí aj čas spracovania.

Príklad z pracovného postupu

Účtovná aplikácia používa pracovné nasadenie na skúšanie nového spôsobu sumarizácie. Pred prepnutím porovná rovnakých päť typov dokladov s doterajším výsledkom a overí dostupnosť kapacity pre ranné špičky.

Ako výsledok overiť

Sledujeme chybné odpovede, oneskorenie a odmietnuté požiadavky pri špičke. Aplikácia má prechodné preťaženie odlíšiť od chybného zadania.

Prevádzkové hranice volania modelu

Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.

Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.

Pôvodný odborný zdroj – Azure OpenAI Service

Jednotlivé použitia modelu potrebujú odlišné časové limity

Interaktívne dopĺňanie poznámky čaká na odpoveď pred očami pracovníka. Nočný rozbor ukončených servisov môže počkať dlhšie a spracovanie rozdeliť na menšie dávky. Obe úlohy môžu použiť rovnakú rodinu modelov, ale majú odlišné požiadavky na kapacitu a opakovanie.

Pred nasadením preveríme spoločnú špičku aj obmedzenie dostupnej služby. Výsledok má ukázať, či dávkovú prácu stačí odložiť, ktoré odpovede používateľ ešte stihne využiť a ako klient rozpozná neskoro doručené spracovanie.

Otázky z praxe

Čo sa mení pri zámene modelu za rovnakým názvom nasadenia?

Aplikácia môže naďalej volať rovnaké rozhranie, ale odpovede môžu mať odlišnú štruktúru, dĺžku alebo správanie pri neistote. Pri zmene preto zaznamenáme konkrétnu konfiguráciu, porovnáme anonymizovanú referenčnú sadu a skontrolujeme rozpočet odpovedí. Pri kritických poliach overíme aj nadväzujúci zápis v aplikácii.

Ako rozlíšiť preťaženie služby a príliš dlhý vstup?

Zaznamenáme typ chyby, veľkosť vstupu a čas požiadavky bez zbytočného ukladania obsahu dokumentu. Prechodné obmedzenie kapacity môže viesť k riadenému opakovaniu, príliš dlhý vstup vyžaduje zmenu prípravy. Opakované zaslanie rovnakého neplatného dokumentu by zvyšovalo iba oneskorenie frontu.

Prečo oddeliť skúšobné spracovanie archívu od interaktívnej práce?

Veľká dávka môže súťažiť s odpoveďami pracovníkom o tú istú dostupnú kapacitu. Fronty a limity nastavíme vzhľadom na prioritu a prípustné čakanie každej činnosti. V skúške zapneme obe naraz a sledujeme skutočnú rýchlosť práce, chybové odpovede aj stav nedokončených položiek.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?