Theano

Theano opisuje matematické výrazy symbolicky a kompiluje z nich výpočty aj derivácie. Ide o pôvodný projekt významný najmä pre staršie vedecké aplikácie.

Rozhodnutia pri návrhu

Pri migrácii evidujeme typy čísel, zdieľané premenné a spôsob aktualizácie parametrov v grafe.

Príklad z pracovného postupu

V staršom grafe sa priebežný stav aktualizuje počas volania funkcie. Pri prepisovaní na súčasný nástroj overíme dve po sebe nasledujúce volania, lebo jediný vstup nemusí odhaliť chybu aktualizácie stavu.

Ako výsledok overiť

Kontrolujeme výsledok dopredného výpočtu aj deriváciu na malom numerickom príklade.

Reprodukovateľnosť výpočtu

Verzia knižnice, predspracovanie a poradie vstupných atribútov sú súčasťou správania výsledného výpočtu. Na opätovné použitie preto uchovávame aj schému, jednotky a malú sadu overených vstupov s očakávanými výstupmi.

Pri prenose medzi prostrediami zohľadníme rozdiely numerických typov a toleranciu vhodnú pre konkrétnu úlohu. Ak malá zmena čísla preklopí rozhodnutie na druhej strane prahu, praktický dopad môže byť významný aj pri malej priemernej chybe.

Pôvodný odborný zdroj – Theano

Číselná presnosť starého grafu sa hodnotí vo vzťahu k výslednému rozhodnutiu

Pri migrácii výpočtu môže staré a nové prostredie pracovať s odlišnou predvolenou presnosťou. Veľká sada ľahkých prípadov potom vyzerá totožne, hoci malé rozdiely menia výsledok pri tesnej hranici rozhodnutia. Preto z pôvodných údajov vyberieme aj príklady s malým rozdielom skóre.

Na nich porovnáme medzivýsledky a určíme odchýlku prípustnú pre konkrétny výstup. Pri finančnom zaokrúhlení, fyzikálnom odhade a jednoduchej poradovej klasifikácii môžu mať podobne veľké číselné rozdiely rôzne následky.

Otázky z praxe

Ktoré vlastnosti symbolického grafu sa pri prepise ľahko stratia?

Treba zachytiť tvary vstupov, číselné typy, smer výpočtu aj hodnoty, ktoré sa medzi volaniami uchovávajú. Rozdiel v násobení alebo vysielaní rozmerov sa môže prejaviť až pri dávke s viacerými riadkami. Referenčná sada preto obsahuje jednotlivý vstup aj dávku rôznych vstupov.

Ako si overiť, že po migrácii zostal správny aj tréningový krok?

Vyberieme malý tréningový príklad s uloženými počiatočnými parametrami a porovnáme hodnotu straty, gradienty a váhy po jednej aktualizácii. Identická predikcia pred tréningom ešte neodhalí chybu v derivácii alebo mierke aktualizácie. Pri odchýlke môžeme postupovať po jednotlivých operáciách grafu.

Prečo zaznamenať kompiláciu a vykonanie výpočtu samostatne?

Prvé použitie symbolickej funkcie zahŕňa prípravu grafu a podľa prostredia aj kompiláciu. Pre nočný výpočet môže byť dôležitý celkový čas od štartu, zatiaľ čo interaktívnu službu charakterizuje aj čas ďalších volaní. Pri meraní preto uvedieme tvar vstupov a počet opakovaní po príprave.

Potrebujete poradiť?

Opíšte nám, čo potrebujete vyriešiť. Odpovedáme e-mailom.

O čo máte záujem?

Martin Michalka vám pošle návrh e-mailom. Opíšte jednu úlohu, ktorú vo firme robíte opakovane.

Ako vás máme kontaktovať?