Amazon Bedrock

Bedrock poskytuje v AWS rozhrania k základným modelom od viacerých poskytovateľov. Jednotná vrstva uľahčuje správu prístupu, ale modely majú odlišné schopnosti.

Rozhodnutia pri návrhu

Pred výberom treba preveriť podporované vstupy, región, limity kontextu a spôsob účtovania daného modelu. Rovnaký prompt môže vyžadovať iné nastavenie výstupu.

Príklad z pracovného postupu

Hromadná klasifikácia a interaktívne vyhľadávanie môžu súťažiť o rovnakú kvótu modelu. Rozpočet prevádzky navrhneme tak, aby veľká nočná dávka nebránila spracovaniu naliehavej dennej požiadavky po oneskorenom štarte.

Ako výsledok overiť

Na rovnakom súbore požiadaviek porovnáme presnosť údajov, spotrebu a oneskorenie jednotlivých modelov.

Prevádzkové hranice volania modelu

Pri väzbe na externú AI službu rozlišujeme identitu používateľa v podnikovej aplikácii, servisnú identitu volajúceho procesu a prístup k podkladom. To, že servisný účet dokáže prečítať celý archív, ešte neurčuje rozsah materiálov, ktoré patria do konkrétnej odpovede.

Do výpočtu ceny a odozvy patrí celá cesta vstupu vrátane načítania, transformácie a prípadného opakovania. Prechodnú chybu odlíšime od neplatného vstupu. Po vyčerpaní rozpočtu má aplikácia uložiť zrozumiteľný stav a ponúknuť pokračovanie.

Pôvodný odborný zdroj – Amazon Bedrock

Výber modelu ovplyvňuje aj spôsob spracovania odpovede

Dve rozhrania môžu vyriešiť rovnakú textovú úlohu, no rozdielne reprezentovať koniec odpovede, doplnenie obsahu alebo požiadavku na nástroj. Pri porovnaní modelov v Bedrocku preto uložíme aj podobu odpovede, s ktorou musí pracovať vlastná aplikácia. Dôležité sú najmä neúplné výstupy.

Skúšobná sada zahŕňa dlhý doklad, chýbajúcu povinnú položku a prerušené spojenie. Klient má vedieť, či prijal úplný návrh, či potrebuje doplňujúce údaje alebo má výsledok odložiť na neskoršiu kontrolu.

Otázky z praxe

Sú dva modely v rovnakom rozhraní zameniteľné bez skúšky?

Spoločné rozhranie zjednoduší volanie, ale modely sa môžu líšiť v podpore typu vstupu, použití nástroja či dodržaní požadovaného výstupu. Pre každý posúdime rovnaké slovenské situácie. Porovnáme aj chybové vetvy a spotrebu pri rovnakej úlohe, nie iba pekne sformulovanú ukážkovú odpoveď.

Ako plánovať spracovanie objednávok pri krátkodobom obmedzení kapacity?

Každá objednávka má dostať rozpoznateľný stav a termín, dokedy je výsledok užitočný. Po prekročení dohodnutého čakania môže ísť na ručnú kontrolu. Pri opakovaní volania odlíšime vytvorenie nového návrhu od následnej zmeny vo firemnom systéme, ktorá už mohla prebehnúť.

Môže sa pri náhradnom modeli zmeniť miesto spracovania?

To závisí od zvolenej konfigurácie, regiónu a povolenej trasy konkrétneho volania. Pred automatickým prepnutím preto skontrolujeme dostupnosť a organizáciou povolené oblasti aj pre náhradné spracovanie. Ak potrebné podmienky nie sú potvrdené, úloha ostane evidovaná na neskoršie spracovanie alebo kontrolu.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?