Čo sú evals?

Predstav si, že AI model je žiak, ktorý sa učí na test. Evals (skratka z anglického evaluations) sú vlastne také písomky pre umelú inteligenciu — spôsob, ako zistiť, čo model naozaj vie a čo nie.

Funguje to úplne rovnako ako v škole. Keď Adam vyrieši 8 príkladov z 10 a Peter len 5, je jasné, kto je na tom v matematike lepšie. S AI modelmi je to to isté: dáš dvom modelom rovnaké úlohy — spočítaj 25 × 4, napíš krátky príbeh, oprav chyby v texte, naprogramuj jednoduchú hru — a potom porovnáš, ktorý odpovedal správnejšie, rýchlejšie a s menším počtom chýb.

A prečo na tom záleží? Bez evalov by sme jednoducho nevedeli, či je nový model naozaj lepší ako ten starý, či si nevymýšľa fakty, či odpovedá bezpečne, alebo či sa po nejakej zmene nebodaj nezhoršil. Je to ako keď učiteľ nedá celý rok žiadnu písomku — môže len hádať, čo žiaci v skutočnosti vedia.

V praxi to vyzerá napríklad takto: vytváraš AI na riešenie matematiky, tak jej pripravíš 100 príkladov. Ak správne vyrieši 95, má 95 % úspešnosť. Ak len 60, vieš, že máš čo zlepšovať. Tento výsledok je výstupom evaluácie.

Ak by som to mal zhrnúť do jednej vety: evals sú testy pre AI modely, ktoré ukazujú, aké sú presné, rýchle a spoľahlivé. Alebo, ak máš radšej herné prirovnanie — model je hráč, evals sú levely a skóre ti povie, ako si tento hráč vedie oproti ostatným.