Hugging Face Inference
Inference Providers sprostredkúva volanie podporovaných modelov cez dostupných poskytovateľov. Podpora úlohy závisí od kombinácie modelu a poskytovateľa.
Príklad z pracovného postupu
Výsledok klasifikácie môže od rôznych poskytovateľov obsahovať odlišne zoradené kategórie. Klient vyberie výsledok podľa dohodnutej identity štítka a skóre, čím sa vyhne závislosti od poradia v jednej ukážke.
Ako výsledok overiť
Test zahŕňa nedostupného poskytovateľa aj odpoveď v neočakávanom tvare. Náhradná trasa musí spĺňať rovnaké dohodnuté podmienky.
Prevádzkové hranice volania modelu
Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.
Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.
Výstup závisí aj od prípravy textu pred volaním modelu
Pri klasifikácii dlhých poznámok môže dôležitá informácia stáť až v poslednej vete. Ak použitá konfigurácia skráti vstup, dve prostredia s rovnakou rodinou modelu môžu viesť k rozdielnemu zaradeniu. Zachytíme preto identitu revízie, spôsob prípravy textu a pravidlo pre prekročenie limitu.
Rozdiel preveríme na tej istej poznámke s rozhodujúcou vetou na začiatku a na konci. Podľa výsledku sa dá zvoliť delenie dokumentu, obmedzenie dĺžky formulára alebo výslovná kontrola skrátených vstupov.
Otázky z praxe
Čo znamená identita modelu pri výbere poskytovateľa inferencie?
Názov repozitára určuje modelový základ, ale dostupnosť úlohy, spôsob obsluhy a konkrétna verzia závisia aj od vybraného poskytovateľa. Pre reprodukovateľné porovnanie evidujeme oboje spolu s parametrami. Pri kritickej zmene si vopred uložíme vstupy a očakávaný formát odpovede.
Čo robiť, ak náhradný poskytovateľ vráti iný tvar odpovede?
Klient by mal preveriť identifikátory tried, prítomnosť požadovaných polí aj význam ich hodnôt. Pri neporovnateľnej odpovedi štruktúru neodhadujeme z poradia položiek. Vrátime kontrolovateľnú chybu alebo požiadavku zaradíme do spracovania cez už vyhodnotenú kombináciu modelu a poskytovateľa.
Ako pristupovať k licencii modelu pri prototypovaní?
Pred použitím v zákazníckej aplikácii identifikujeme konkrétny model, jeho zverejnené podmienky a podmienky poskytovateľa výpočtu. Rovnaké technické API neznamená rovnaké možnosti použitia všetkých modelov. Pri zmene modelu do evidencie zapíšeme novú voľbu a kto ju pre daný účel schválil.
Súvisiace stránky
-
Oracle Cloud AI
OCI Generative AI sprístupňuje modely na generovanie textu a ďalšie podporované úlohy v Oracle Cloud Infrastructure.
Otvoriť -
G42 / Core42
Core42 zo skupiny G42 poskytuje cloudovú a výpočtovú infraštruktúru pre AI.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť