Hugging Face Inference

Inference Providers sprostredkúva volanie podporovaných modelov cez dostupných poskytovateľov. Podpora úlohy závisí od kombinácie modelu a poskytovateľa.

Rozhodnutia pri návrhu

Pred integráciou porovnáme licenciu modelu, formát vstupu a miesto spracovania podľa zvoleného poskytovateľa. Rozhodnutie sa zaznamená spolu s identifikátorom modelu.

Príklad z pracovného postupu

Výsledok klasifikácie môže od rôznych poskytovateľov obsahovať odlišne zoradené kategórie. Klient vyberie výsledok podľa dohodnutej identity štítka a skóre, čím sa vyhne závislosti od poradia v jednej ukážke.

Ako výsledok overiť

Test zahŕňa nedostupného poskytovateľa aj odpoveď v neočakávanom tvare. Náhradná trasa musí spĺňať rovnaké dohodnuté podmienky.

Prevádzkové hranice volania modelu

Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.

Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.

Pôvodný odborný zdroj – Hugging Face Inference

Výstup závisí aj od prípravy textu pred volaním modelu

Pri klasifikácii dlhých poznámok môže dôležitá informácia stáť až v poslednej vete. Ak použitá konfigurácia skráti vstup, dve prostredia s rovnakou rodinou modelu môžu viesť k rozdielnemu zaradeniu. Zachytíme preto identitu revízie, spôsob prípravy textu a pravidlo pre prekročenie limitu.

Rozdiel preveríme na tej istej poznámke s rozhodujúcou vetou na začiatku a na konci. Podľa výsledku sa dá zvoliť delenie dokumentu, obmedzenie dĺžky formulára alebo výslovná kontrola skrátených vstupov.

Otázky z praxe

Čo znamená identita modelu pri výbere poskytovateľa inferencie?

Názov repozitára určuje modelový základ, ale dostupnosť úlohy, spôsob obsluhy a konkrétna verzia závisia aj od vybraného poskytovateľa. Pre reprodukovateľné porovnanie evidujeme oboje spolu s parametrami. Pri kritickej zmene si vopred uložíme vstupy a očakávaný formát odpovede.

Čo robiť, ak náhradný poskytovateľ vráti iný tvar odpovede?

Klient by mal preveriť identifikátory tried, prítomnosť požadovaných polí aj význam ich hodnôt. Pri neporovnateľnej odpovedi štruktúru neodhadujeme z poradia položiek. Vrátime kontrolovateľnú chybu alebo požiadavku zaradíme do spracovania cez už vyhodnotenú kombináciu modelu a poskytovateľa.

Ako pristupovať k licencii modelu pri prototypovaní?

Pred použitím v zákazníckej aplikácii identifikujeme konkrétny model, jeho zverejnené podmienky a podmienky poskytovateľa výpočtu. Rovnaké technické API neznamená rovnaké možnosti použitia všetkých modelov. Pri zmene modelu do evidencie zapíšeme novú voľbu a kto ju pre daný účel schválil.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?