EditAgent 78,5%-kal növeli a párhuzamos szerkesztés elfogadottságát

Az Adobe Research és az UC San Diego közösen fejlesztett EditAgent egy új AI rendszer, amely a képszerkesztési feladatokat részfeladatokra bontja, és általános szerkesztőt párosít speciális eszközökkel, például élesítéssel vagy zoommal; a részleteket egy arXiv preprintben ismertették — írta a The Decoder.

Működési elv

A rendszer egy standard nyelvi modellt használ a párhuzamosan generált képváltozatok összehasonlítására. Minden variánsról egy hitelesítési rekord készül, amely tartalmazza a szerkesztett terület közeli kivágását, a változási térképet és a fényerő-, színstatisztikákat. A modell ezek alapján választja ki a legjobb eredményt.

Tesztelési eredmények

Egy 600 képszerkesztésből álló, öt szakember által vakon értékelt tesztben a Flux-2-Klein-9B általános szerkesztő 42,7%-ban nem hozott használható eredményt, míg a speciális eszközök körülbelül kétharmadát javították. A szakemberek a párhuzamosan generált változatokat 78,5%-ban részesítették előnyben, és az agent csak a felére volt szükséges az értékelési lépéseknek.

Számítási költség és tanulási adatok

Az EditAgent körülbelül tízszer nagyobb számítási igényt igényel egyetlen szerkesztőhöz képest, de a hitelesített kimenetekből körülbelül 26 000 tanuló példát generált. Ezeken a példákon finomhangolt szerkesztők minden három teljesítményteszten jobb teljesítményt értek el. A kutatók szerint a hitelesített kimenet felhasználható gyorsabb szerkesztőmodellek betanításához.

Bevezetés a termékekbe

Az Adobe júniusban nyilvános béta formában bevezette az AI agenteket a Photoshop és a Premiere programokba, ahol a felhasználók szöveges utasításokkal irányíthatják a szerkesztést. Eközben a Black Forest Labs a Flux 3 Image Klein modellt, amely 5,6 milliárd paraméterrel rendelkezik, a korábbi Flux-2-Klein helyett alkalmazza, és már meghaladja a többi nyílt modell teljesítményét.

Az új Flux 3 Image Klein 5,6 milliárd paraméterrel már meghaladja a többi nyílt modell teljesítményét.