Titkosítással gyorsítják a diffúziós modelleket a kutatók

A szövegtitkosítás, amely egy kisebb modell betanítását jelenti egy nagyobb válaszainak utánzására, viszonylag egyszerű folyamat. A diffúziós és multimodális modellek titkosítása azonban ennél komplexebb: a generálási trajektóriákat, eloszlásokat, mozgást és a különböző „világok” közötti szemantikai geometriát kell összenyomnia.

A diffúziós modellek esetében a generálás nem egyetlen lépésben történik. A folyamat zajjal indul, majd ismételt szerkesztésekkel alakul ki a koherens kép. Ez a generálási folyamat inkább egy szobrász munkájához hasonlítható, aki apró vágásokkal formálja az anyagot, mint egy adatbázis-lekérdezéshez. Ez a megközelítés teszi lehetővé, hogy a nagyobb modellek erőforrás-szűk környezetben is hatékonyabban és gyorsabban futtathatók legyenek.

A titkosítás lényege, hogy a kisebb, „diák” modell megtanulja utánozni a nagyobb, „tanár” modell viselkedését. Míg a szöveggenerálásnál ez azt jelenti, hogy a diák megtanulja kimondani ugyanazokat a szavakat vagy hasonló szerkezetű magyarázatokat, addig a diffúziós modelleknél a folyamat ennél mélyebb. A „tanár” modell nem egy kész választ ad, hanem egy generációs „utat” jár be, amelyet a „diáknak” kell követnie.

Ez a technika kulcsfontosságú lehet az AI-modellek szélesebb körű elterjedéséhez, különösen olyan eszközökön és platformokon, ahol a számítási kapacitás korlátozott. A TheSequence Knowledge 911-es számában részletezett módszer a diffúziós modellek generálási sebességét növeli anélkül, hogy a minőség rovására menne.