G42 / Core42
Core42 zo skupiny G42 poskytuje cloudovú a výpočtovú infraštruktúru pre AI. Pre konkrétny projekt treba posúdiť rozsah objednanej služby a spôsob prístupu k výpočtovej kapacite.
Príklad z pracovného postupu
Dve tréningové úlohy s rovnakým výpočtovým časom sa môžu skončiť v inom poradí, ak jedna zakaždým prenáša celú tréningovú sadu. Pri pilotnom výpočte zvlášť meriame prípravu prostredia, presun dát a dobu výpočtu.
Ako výsledok overiť
Skúška na reprezentatívnej dávke zaznamená čakanie na kapacitu, načítanie vstupov, spracovanie a uloženie výsledku.
Prevádzkové hranice volania modelu
Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.
Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.
Dostupnosť prostredia treba posudzovať v presnej geografickej a zmluvnej konfigurácii
Pri návrhu spracovania firemných údajov potrebujeme pomenovať konkrétnu službu, región a zodpovednosť za jednotlivé kroky. Samotné sídlo poskytovateľa ešte neurčuje, kde sa spracuje každý vstup, čo sa uloží do záznamov a kto môže spravovať dané prostredie.
Z vybratej konfigurácie preto zostavíme cestu jedného skúšobného dokumentu vrátane dočasných kópií, podpory a odstraňovania. Otvorené body sa tým zmenia na konkrétne otázky pre poskytovateľa a vlastníka údajov pred sprístupnením skutočných dokumentov.
Otázky z praxe
Ako porovnávať ponuku výpočtovej kapacity pre vlastný model?
Najprv opíšeme veľkosť modelu, požadovanú pamäť, dĺžku vstupu a množstvo paralelnej práce. Pri pilotnom behu zmeriame prípravu prostredia, prenos vstupov aj čas samotného výpočtu. Počet akcelerátorov bez týchto podmienok by neposkytol porovnateľný údaj pre skutočnú prevádzku.
Ktoré otázky patria do odovzdania spravovanej infraštruktúry?
Potrebujeme jasnú dohodu o tom, kto poskytuje obraz výpočtového prostredia, spravuje prístupové identity, monitoruje výpadok a obnovuje dáta. Rozsah závisí od objednanej služby. Na modelovej udalosti preveríme kontaktnú cestu a dostupné diagnostické údaje pre každú zo zúčastnených strán.
Ako zistiť, či pomôže ďalší výpočtový uzol?
Porovnáme dve rovnako pripravené dávky a sledujeme využitie akcelerátora aj čas čakania na dáta. Ak systém veľkú časť behu čaká na úložisko, ďalší uzol nemusí skrátiť celkový čas podľa očakávania. Rozšírenie prepočítame aj s nákladmi presunu dát a koordinácie.
Súvisiace stránky
-
NVIDIA AI Enterprise
NVIDIA AI Enterprise zahŕňa podnikové softvérové komponenty pre AI na podporovaných konfiguráciách.
Otvoriť -
Azure OpenAI Service
Služba sprístupňuje modely OpenAI cez prostredie Azure.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť