Új keretrendszer segíti a vizuális okoskodást, 18 millió paraméteres modell
Az L-VARC modell nyelvvezérelt tanulással javítja a vizuális okoskodást, és felülmúlja a jelenlegi élvonalbeli megoldásokat. A modell 18 millió paraméterrel dolgozik.
Új keretrendszerrel, a L-VARC-kal rukkolt elő a GZHU-DVL kutatócsoport, amely a vizuális okoskodás terén hozhat áttörést. A modell a vizuális feladatok megoldásához nyelvi útmutatást használ, így képes absztrakciós és átalakítási szabályokat tanulni kevés példából, és általánosítani az új feladatokra. (ArXiv CV)
A hagyományos módszerek vagy nagy, milliárdos paraméterű nyelvi modellekre támaszkodnak, vagy a képi mintázatokra túlságosan is ráfókuszálva, magas szintű szemantikai megértés nélkül működnek. Az L-VARC egy nyelvvezérelt, privilégiált információkon alapuló tanulási (LUPI) ágat használ, hogy ezt a problémát orvosolja.
Kapcsolódó: Vizuális érvelés fejlesztése
A vizuális és nyelvi információk összehangolása
Az L-VARC egy kereszt-attenciós projektort is tartalmaz, amely a vizuális jellemzőket a szemantikai beágyazásokkal hangolja össze. Ez a lépés kulcsfontosságú a vizuális feladatok megoldásához szükséges mélyebb megértés elősegítésében.
Kapcsolódó: Neuro-szimbolikus architektúra
Teljesítmény és eredmények
Kiterjedt kísérletek igazolják, hogy az L-VARC hatékonyan hasznosítja a nyelvi előzményeket a vizuális okoskodás javítására. A kutatás eredményei szerint az L-VARC felülmúlja a jelenlegi élvonalbeli modellek teljesítményét, és az arXiv-on érhetők el.
Kapcsolódó: Vizuális fókusz javítása