Korai figyelmeztetést ad a neurális hálók összeomlására az új topológiai monitor
A Modular Morse Homology Maintenance (MMHM) és a Collapse Index (CI) kombinációjával a modellképzés során azonnali beavatkozásra nyílik lehetőség.
A neurális hálózatok képzése során gyakori probléma a reprezentációs összeomlás, amikor a beágyazások anizotróppá válnak és elveszítik több léptékű struktúrájukat. Ez a jelenség jelentősen ronthatja a modellek későbbi teljesítményét, még mielőtt a hagyományos metrikák reagálnának — derül ki egy új, előnyomtatott tanulmányból, amelyet az arXiv-on tettek közzé. (ArXiv ML)
A kutatók egy online, topológia-alapú monitort javasolnak, amely a Modular Morse Homology Maintenance (MMHM) módszert egy kompozit összeomlási indexszel (CI) párosítja. Ahelyett, hogy minden epochában újraépítenék a komplexeket, a rendszer ritka módosításokat alkalmaz egy rögzített léptékben, és fenntart egy diszkrét Morse-illesztést. Ez gyors, inkrementális frissítéseket tesz lehetővé.
A CI alacsony késleltetésű, korai figyelmeztető jelet biztosít a képzés közbeni beavatkozásokhoz, és hatékonynak bizonyult az LLM-ek finomhangolása és a temporális tudásgráf-beágyazások (KGE) képzése során — állítják a szerzők a 2604.26984v1 azonosítójú tanulmányban.