Nulla hibával tanítják a neurális hálózatokat a MIT kutatói
A MIT kutatói által bemutatott neurális lazító változók nullára csökkentik a neurális hálózatok tanítása során fellépő hibákat, különösen a komplex formai korlátok, mint a monotonitás és konvexitás érvényesítésekor.
Az ipari és tudományos alkalmazásokban kulcsfontosságú funkcionális egyenlőtlenségi korlátok, mint a monotonitás és konvexitás érvényesítése a neurális hálózatokban eddig alapvető kihívást jelentett. A klasszikus módszerek csak a hibás helyeken adnak gradiensinformációt, ami törékeny megoldásokhoz vezet. (ArXiv ML)
A neurális lazító változók lényege
A kutatók által az arXiv-en bemutatott módszer egy mélytanulási natív, primáris megközelítés. Ez a koncepció a korlátok érvényesítését visszavezetési problémává alakítja. Egy elsődleges hálózatot egy vele párhuzamosan tanított segédhálózat kapcsol össze.
Kapcsolódó: DisjunctiveNet hálózat
Eredmények a teszteken
A neurális lazító változók zéró mért hibát értek el sűrűrácsos monotonitási és konvexitási tesztesetekben. Ezzel szemben a korábbi, büntetési vagy primál-duál alapú módszerek maradványhibákat mutattak. Az új technika lehetővé teszi a volatilitási felszínek arbitrázsmentes tanulását is.
Kapcsolódó: Neurális hálózatok minimumai
A kutatás eredményei az arXiv-en, a 2606.13803v1 azonosító alatt érhetők el.
Kapcsolódó: Matematika szerepe