Amazon SageMaker AI

SageMaker AI poskytuje služby pre tréning a nasadenie modelov v AWS. Modelový artefakt, kontajner inferencie a nastavenie endpointu sú samostatné súčasti.

Rozhodnutia pri návrhu

Dávka nad nočnými údajmi má iné požiadavky než synchronizované volanie z aplikácie. Do času odpovede patrí aj predspracovanie vstupu.

Príklad z pracovného postupu

Odporúčanie sa vypočíta raz denne pre všetky produkty, ceny sa však menia počas dňa. Modelová verzia a čas predikcie preto patria do výsledkov spolu s podmienkami, za ktorých sa odporúčanie ešte smie použiť.

Ako výsledok overiť

Meriame náklady pri nečinnosti aj pri najväčšej dávke a preveríme znovunasadenie konkrétnej verzie modelu.

Ako vyhodnotiť pracovnú záťaž

Pri konkrétnom projekte zaznamenáme typ vstupu, verziu služby alebo modelu a podmienky vyhodnotenia. Ukážka na jednom dobre čitateľnom či jasnom príklade nedokáže určiť, koľko pracovných prípadov potrebuje ďalšiu kontrolu.

Hodnotenie preto rozdelíme podľa dostupného jazyka, zdroja, zložitosti a významu chyby. Pri menšej vzorke uvádzame aj absolútny počet omylov. Evidujeme spotrebu, čas spracovania a oprávnenia potrebné na spätne vysvetliteľný výsledok.

Pôvodný odborný zdroj – Amazon SageMaker AI

Dávkové hodnotenie a priebežné odpovede majú rozdielne prevádzkové náklady

Predikcia celej série zákaziek cez noc môže čítať dáta zo súboru a zapísať výsledky po skupinách. Interaktívne odporúčanie na karte zákazníka naopak čaká na okamžitý vstup pracovníka. Pri výbere spôsobu nasadenia zohľadníme frekvenciu použitia aj požadovanú čerstvosť príznakov.

Ak obidva režimy využívajú rovnaký model, pripravíme párovú skúšku totožného vstupu. Rozdiel potom dohľadáme v príprave údajov, verzii modelu alebo zaokrúhlení použitého výstupu pred zobrazením používateľovi na karte zákazníka.

Otázky z praxe

Čo okrem naučených váh treba na opätovné nasadenie?

Potrebujeme rozhranie obsluhujúce predikciu, prípravu vstupov, mapovanie výsledkov na obchodné hodnoty a podporované výpočtové prostredie. Pri predaji môže rovnaké číslo reprezentovať kus alebo kartón. Referenčný test preto pošleme cez skutočné rozhranie endpointu a porovnáme význam výstupu s pôvodnou aplikáciou.

Ako navrhnúť kontrolu nočnej dávky predikcií?

Uložíme presný zoznam očakávaných položiek a verziu vstupných údajov. Po skončení odlíšime úspešné odhady, odmietnuté položky aj položky, ktoré sa vôbec nedostali do výpočtu. Ďalší ranný proces má vedieť, či môže použiť celý výsledok alebo iba skontrolovanú časť.

Ako hodnotiť odozvu pri prvej požiadavke a pri stabilnej záťaži?

Prvý vstup po zavedení modelu môže vyžadovať inú prípravu než neskoršie požiadavky. Meriame ho oddelene a potom skúšame súbeh s realistickou veľkosťou vstupu. Pred rozhodnutím preveríme tiež čas načítania dát na aplikačnej strane a čo pracovník uvidí, ak vyprší jeho časový limit.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?