Iteratív finomítással javítaná a képgenerálás minőségét és diverzitását az RTM
A képgeneráló modellek, mint a Stable Diffusion vagy a Midjourney, hiába fejlődtek látványosan, továbbra is küzdenek a módusösszeomlással és a korlátozott diverzitással.
Új módszert javasolnak kutatók a képgeneráló modellek minőségének és diverzitásának javítására — derül ki az arXiv-on előnyomtatott formában megjelent tanulmányból. A jelenlegi modellek, bár lenyűgözőek, még messze nem tökéletesek, és a domináns FID (Fréchet Inception Distance) metrika már közel telített. (ArXiv CV)
Az FID-et régóta használják a generált képek minőségének mérésére, ám a kutatók szerint ez a mérőszám önmagában félrevezető lehet. Egy modell akkor is alacsony FID-értéket érhet el, ha módusösszeomlást mutat, azaz csak néhány éles, szinte azonos képet generál, ahelyett, hogy hűen lefedné az adateloszlás teljes spektrumát. A tanulmány szerzői hangsúlyozzák, hogy a precízió és a visszahívás (precision és recall) sokkal pontosabban kiegészítik az FID-et, és a diverzitás javítása sokkal értelmesebb cél, mint a már telített FID további optimalizálása.
Iteratív finomítás az RTM-mel
A magas visszahívás eléréséhez olyan modellre van szükség, amely kifejezetten a móduslefedettséget helyezi előtérbe, szemben a legtöbb generatív modellel, amelyek a minták hűségét optimalizálják. Erre a célra vezették be az RTM (Recursive Latent Refinement) rendszert, amely a stílus alapú generátorokban az egyszeri látens leképezést egy iteratív finomítási folyamattal váltja fel.
Az RTM integrálása az Implicit Maximum Likelihood Estimation (IMLE) módszerrel következetesen javítja mind a generált képek minőségét, mind a diverzitását. Ez a megközelítés lehetővé teszi, hogy a modellek ne csak éles, de változatosabb képeket is előállítsanak, elkerülve a módusösszeomlás csapdáját. A 2605.15309v1 azonosítójú tanulmány részletesen bemutatja az RTM működését és az IMLE-vel való szinergiáját.