Amazon Bedrock
Bedrock poskytuje v AWS rozhrania k základným modelom od viacerých poskytovateľov. Jednotná vrstva uľahčuje správu prístupu, ale modely majú odlišné schopnosti.
Príklad z pracovného postupu
Hromadná klasifikácia a interaktívne vyhľadávanie môžu súťažiť o rovnakú kvótu modelu. Rozpočet prevádzky navrhneme tak, aby veľká nočná dávka nebránila spracovaniu naliehavej dennej požiadavky po oneskorenom štarte.
Ako výsledok overiť
Na rovnakom súbore požiadaviek porovnáme presnosť údajov, spotrebu a oneskorenie jednotlivých modelov.
Prevádzkové hranice volania modelu
Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.
Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.
Výber modelu ovplyvňuje aj spôsob spracovania odpovede
Dve rozhrania môžu vyriešiť rovnakú textovú úlohu, no rozdielne reprezentovať koniec odpovede, doplnenie obsahu alebo požiadavku na nástroj. Pri porovnaní modelov v Bedrocku preto uložíme aj podobu odpovede, s ktorou musí pracovať vlastná aplikácia. Dôležité sú najmä neúplné výstupy.
Skúšobná sada zahŕňa dlhý doklad, chýbajúcu povinnú položku a prerušené spojenie. Klient má vedieť, či prijal úplný návrh, či potrebuje doplňujúce údaje alebo má výsledok odložiť na neskoršiu kontrolu.
Otázky z praxe
Sú dva modely v rovnakom rozhraní zameniteľné bez skúšky?
Spoločné rozhranie zjednoduší volanie, ale modely sa môžu líšiť v podpore typu vstupu, použití nástroja či dodržaní požadovaného výstupu. Pre každý posúdime rovnaké slovenské situácie. Porovnáme aj chybové vetvy a spotrebu pri rovnakej úlohe, nie iba pekne sformulovanú ukážkovú odpoveď.
Ako plánovať spracovanie objednávok pri krátkodobom obmedzení kapacity?
Každá objednávka má dostať rozpoznateľný stav a termín, dokedy je výsledok užitočný. Po prekročení dohodnutého čakania môže ísť na ručnú kontrolu. Pri opakovaní volania odlíšime vytvorenie nového návrhu od následnej zmeny vo firemnom systéme, ktorá už mohla prebehnúť.
Môže sa pri náhradnom modeli zmeniť miesto spracovania?
To závisí od zvolenej konfigurácie, regiónu a povolenej trasy konkrétneho volania. Pred automatickým prepnutím preto skontrolujeme dostupnosť a organizáciou povolené oblasti aj pre náhradné spracovanie. Ak potrebné podmienky nie sú potvrdené, úloha ostane evidovaná na neskoršie spracovanie alebo kontrolu.
Súvisiace stránky
-
Google Vertex AI
Vertex AI je pôvodné označenie nástrojov Google Cloud pre tréning, hodnotenie a nasadenie modelov.
Otvoriť -
Google AI Studio
Google AI Studio umožňuje skúšať vstupy a konfiguráciu modelov Gemini v interaktívnom prostredí.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť