LoRA adaptéry
LoRA učí nízkohodnostnú aktualizáciu vybraných vrstiev so zmrazeným základným modelom. Adaptér preto závisí od konkrétnej základnej architektúry a verzie váh.
Príklad z pracovného postupu
Dva adaptéry môžu patriť k rovnakej rodine modelov, ale k rôznym základným revíziám. Pri porovnávaní kvality preto uchovávame identifikátor modelu aj adaptéra a kontrolujeme, že nasadenie skutočne vybralo túto dvojicu.
Ako výsledok overiť
Uložíme identifikátor základného modelu a overíme výsledky po znovunačítaní adaptéra v prostredí určenom na nasadenie.
Ako vyhodnotiť účinok zmeny v tréningu
Pre experiment si odložíme nemenný referenčný súbor. Záznamy od jednej organizácie alebo varianty rovnakého dokumentu môžu byť takmer totožné. Ich náhodné rozdelenie medzi tréning a test by vytvorilo zavádzajúci dojem, že model spoľahlivo zovšeobecňuje aj na nové prípady.
Pri porovnaní verzií evidujeme pôvod dát, rozhodnutie o čistení, konfiguráciu experimentu a rozdelenie chýb. O nasadení má rozhodnúť využiteľnosť na cieľovom procese spolu s nákladmi na správu a obnovu.
Verzia adaptéra patrí ku konkrétnej základnej váhe
Dva adaptéry môžu upravovať správanie rovnakého typu modelu pre rôzne oddelenia, napríklad stručný technický zápis a čitateľné zhrnutie pre zákazníka. Pri nasadení uložíme identitu základných váh, verziu adaptéra aj údaje, na ktorých sa hodnotila použiteľnosť danej kombinácie.
Pred zapnutím prepínania overíme tento pár aj pri súbežných požiadavkách z oboch oddelení. Výstup a prevádzkový záznam musia patriť k rovnakému nastaveniu. Umožní to vrátiť chybnú úpravu len pre konkrétny spôsob použitia.
Otázky z praxe
Aké riziko má pripojenie adaptéra k podobne pomenovanému modelu?
Aj príbuzné modely sa môžu líšiť vnútornými vrstvami, tokenizérom alebo revíziou váh. Nestačí, že názov rodiny znie správne a súbor sa dá otvoriť. Uchováme presný identifikátor základu aj adaptéra a overíme ich spojenie na uložených referenčných vstupoch v cieľovom prostredí.
Je väčšia hodnosť adaptéra vždy lepšia?
Vyššia hodnosť dá aktualizácii viac priestoru, ale môže zvýšiť nároky a zlepšiť predovšetkým tréningové výsledky. Pri rovnakej dátovej sade porovnáme niekoľko nastavení na nezávislých príkladoch. Rozhodne práve úspešnosť na požadovanej úlohe a správanie mimo úzkych príkladov doladenia.
Ako bezpečne vystriedať adaptéry pre dve oddelenia?
Aplikácia musí vedieť, ktorý základ a ktorý adaptér použila pre konkrétnu požiadavku. Zmenu konfigurácie viažeme na hranicu požiadavky alebo relácie a testujeme súbežné použitie oboch variantov. Výber adaptéra neurčuje oprávnenie čítať dáta druhého oddelenia, to sa naďalej kontroluje samostatne.
Súvisiace stránky
-
Tréning od začiatku
Predtrénovanie od náhodne inicializovaných váh vyžaduje korpus, tokenizér, tréningovú úlohu a nezávislé hodnotenie.
Otvoriť -
Návrh tréningových dát
Návrh dát určuje, aké javy majú byť v učiacej množine zastúpené, kde vznikajú a v ktorom okamihu sú známe.
Otvoriť -
Riešenia s umelou inteligenciou
Vyvíjame AI funkcie pre firemný softvér. Model pripraví návrh zo správy alebo dokladu, pracovník skontroluje zdroj a potvrdí zápis do systému.
Otvoriť