Karpathy: az emberi intuíció most a kutatási szűk kereszt
Andrej Karpathy, a Tesla AI vezetője szerint a GPT-2 kézi finomhangolását egy éjszakai autonóm ügynök felülmúlta, miközben olyan apró beállításokat is felfedezett, amelyeket ő maga nem vett észre. A kutatók most a mérhető metrikákra kell, hogy összpontosítsanak, hogy az intuíciótól való függőséget csökkentsék.
Andrej Karpathy, a Tesla AI feje, a GPT-2 tréningjét hónapokig kézi finomhangolás után egy éjszaka alatt egy autonóm ügynök vette át, amely olyan apró beállításokat fedezett fel, amiket ő maga nem észlelt volna. (The Decoder)
Karpathy szerint a kutatóknak a mérhető eredmények területén ki kell hagyniuk magukat a döntési körbe, mert „az intuíciótól való elég kicsi függőség” akadályozza a fejlődést.
Az autonóm ügynök képes volt több beállítást egyidejűleg vizsgálni, ami az emberi agy számára nehezen átlátható, de a rendszerek számára világos, így a kutatók “automatizálják magukat” a saját munkájukból.
Karpathy rámutat, hogy a modellek javulnak a kódrészletezés és hasonló, könnyen ellenőrizhető feladatokban, de a kevésbé mérhető, „súlyosabb” területeken ez a fejlődés nem lesz szintekben átadott.
A következő lépés a kutatók számára, hogy a mérhető metrikákra fókuszáljanak, és a szubjektív intuíciót minimalizálják, ezzel hatékonyabbá téve az AI fejlesztést.