NVIDIA AI Enterprise
NVIDIA AI Enterprise zahŕňa podnikové softvérové komponenty pre AI na podporovaných konfiguráciách. Pri plánovaní treba zosúladiť hardvér, ovládač a použitý kontajner.
Príklad z pracovného postupu
Obraz pripravený na jednom type GPU sa má spustiť aj na cieľovom uzle. Referenčný test kontroluje nielen štart kontajnera, ale aj plnú veľkosť vstupu a spotrebu pamäte pri viacerých súbežných požiadavkách.
Ako výsledok overiť
Meranie použije model a dĺžku vstupu z cieľového procesu. Kontroluje priepustnosť, latenciu a reprodukovateľné spustenie na inom uzle.
Prevádzkové hranice volania modelu
Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.
Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.
Grafická pamäť sa rozdeľuje aj medzi súbežné požiadavky
Model sa môže pri samostatnom skúšobnom vstupe bez problémov zmestiť na vybranú kartu. Pri dlhších otázkach a súbehu však pamäť potrebujú aj priebežné medzivýsledky a obslužné procesy. Pri plánovaní pripravíme záťaž s krátkymi aj dlhými vstupmi v pomere zodpovedajúcom aplikácii.
Meriame čas čakania, trvanie výpočtu a podiel požiadaviek, ktoré treba odložiť. Na tomto základe možno oddeliť interaktívne použitie od nočných dávok a povedať, pre akú kombináciu verzií a hardvéru boli výsledky zistené.
Otázky z praxe
Prečo uložiť presnú zostavu ovládača a obrazu prostredia?
Pri rovnakých váhach modelu môže odlišné výpočtové prostredie ovplyvniť dostupné operácie, pamäť a čas výpočtu. Záznam o nasadení preto spojí hardvér, podporovanú kombináciu softvéru a identitu obrazu. Náhradný uzol overíme aj reálnou inferenciou, nielen úspešným spustením procesu.
Akú záťaž použiť pri kontrole dostupnej pamäte GPU?
Krátka jediná požiadavka často predstavuje ľahší prípad než prevádzka. Zvolíme podporovanú maximálnu dĺžku vstupu, plánovaný počet súbežných požiadaviek a realistický výstup. Zaznamenáme využitie pamäte aj to, ktoré požiadavky aplikácia zaradí do čakania alebo odmietne pri prekročení kapacity.
Ako pripraviť výmenu výpočtovej konfigurácie bez zmeny používateľského výsledku?
Referenčné vstupy uložíme pred výmenou a určíme vhodnú toleranciu numerických odchýlok. Kontrolujeme aj praktický dôsledok, napríklad zmenu triedy pri hraničnom skóre. Ak sa výkon zlepšil, ale viac žiadostí prechádza do nesprávnej triedy, samotné zrýchlenie na schválenie zmeny nestačí.
Súvisiace stránky
-
Azure OpenAI Service
Služba sprístupňuje modely OpenAI cez prostredie Azure.
Otvoriť -
Microsoft Foundry
Microsoft Foundry spája modely, agentov, nástroje a hodnotenia v prostredí Azure.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť