Az REFINE modell interaktív visszajelzést ad diákoknak
Az REFINE modell egy kontrollált osztálytermi kísérleten és egy valós értékelési helyzeten keresztül került értékelésre.
A 75 diákon végzett kontrollált osztálytermi kísérlet során az REFINE modell demonstrálta, hogy az LLM-alapú visszajelzés interaktív folyamatként működik. A rendszer két fő elemből áll: egy pedagógiai alapokon nyugvó visszajelzési generátor agentből és egy LLM-as-judgert használó regenerációs hurkóból, amelyet egy emberi irányított bíró irányít. (ArXiv AI)
Az REFINE nem csak statikus, egyirányú visszajelzést ad; egy önreflektív, eszközhívásos interaktív agent segíti a diákok további kérdéseit, kontextusra építve, cselekvési javaslatokat kínálva. A visszajelzési ciklusok során a rendszer JSON-alapú függvényhívásokkal dolgozik, így a diákok konkrét, megérthető magyarázatokat kapnak a viselkedési dimenziókról: Effort, Consistency, Proactivity, Assessment és Regularity.
Az online értékelés során az REFINE képes volt a meglévő címkézett adathalmazokon is hatékonyan működni, míg a valós értékelési helyzetben a diákok egy 200 szavas tudományos jelentést írtak, majd interakcióba léptek a chatbot-eszközzel. A rendszer a diákok kérdéseire valós idejű, kontextusra épülő válaszokat nyújtott.
Ez a megközelítés a diákok tanulási élményét szigorúbb, személyre szabottabb visszajelzéssel gazdagítja, és megmutatja, hogy az LLM-ek hatékonyan képesek támogatni a tanulási folyamatot, ha interaktív ciklusokra épülnek.
A következő lépés az REFINE skálázása, hogy több tantárgyban és több diákcsoportban is kipróbálható legyen, miközben a rendszer a felhasználói visszajelzések alapján tovább finomodik.