G42 / Core42

Core42 zo skupiny G42 poskytuje cloudovú a výpočtovú infraštruktúru pre AI. Pre konkrétny projekt treba posúdiť rozsah objednanej služby a spôsob prístupu k výpočtovej kapacite.

Rozhodnutia pri návrhu

Pri výpočtovej úlohe sme limitovaní aj priepustnosťou úložiska a prenosom dát. Samotný počet akcelerátorov neurčuje čas dokončenia.

Príklad z pracovného postupu

Dve tréningové úlohy s rovnakým výpočtovým časom sa môžu skončiť v inom poradí, ak jedna zakaždým prenáša celú tréningovú sadu. Pri pilotnom výpočte zvlášť meriame prípravu prostredia, presun dát a dobu výpočtu.

Ako výsledok overiť

Skúška na reprezentatívnej dávke zaznamená čakanie na kapacitu, načítanie vstupov, spracovanie a uloženie výsledku.

Prevádzkové hranice volania modelu

Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.

Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.

Pôvodný odborný zdroj – G42 / Core42

Dostupnosť prostredia treba posudzovať v presnej geografickej a zmluvnej konfigurácii

Pri návrhu spracovania firemných údajov potrebujeme pomenovať konkrétnu službu, región a zodpovednosť za jednotlivé kroky. Samotné sídlo poskytovateľa ešte neurčuje, kde sa spracuje každý vstup, čo sa uloží do záznamov a kto môže spravovať dané prostredie.

Z vybratej konfigurácie preto zostavíme cestu jedného skúšobného dokumentu vrátane dočasných kópií, podpory a odstraňovania. Otvorené body sa tým zmenia na konkrétne otázky pre poskytovateľa a vlastníka údajov pred sprístupnením skutočných dokumentov.

Otázky z praxe

Ako porovnávať ponuku výpočtovej kapacity pre vlastný model?

Najprv opíšeme veľkosť modelu, požadovanú pamäť, dĺžku vstupu a množstvo paralelnej práce. Pri pilotnom behu zmeriame prípravu prostredia, prenos vstupov aj čas samotného výpočtu. Počet akcelerátorov bez týchto podmienok by neposkytol porovnateľný údaj pre skutočnú prevádzku.

Ktoré otázky patria do odovzdania spravovanej infraštruktúry?

Potrebujeme jasnú dohodu o tom, kto poskytuje obraz výpočtového prostredia, spravuje prístupové identity, monitoruje výpadok a obnovuje dáta. Rozsah závisí od objednanej služby. Na modelovej udalosti preveríme kontaktnú cestu a dostupné diagnostické údaje pre každú zo zúčastnených strán.

Ako zistiť, či pomôže ďalší výpočtový uzol?

Porovnáme dve rovnako pripravené dávky a sledujeme využitie akcelerátora aj čas čakania na dáta. Ak systém veľkú časť behu čaká na úložisko, ďalší uzol nemusí skrátiť celkový čas podľa očakávania. Rozšírenie prepočítame aj s nákladmi presunu dát a koordinácie.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?