Két nagyságrendet javít a hiányos adatok kezelésén az új AI-módszer
Az új DFPL keretrendszer a prototípusok szintjén bontja szét és igazítja a kép-táblázat adatokat, így jobban teljesít a korábbi módszereknél.
A hiányzó adatok jelentős kihívást jelentenek a kép-táblázat alapú multimodális tanulásban, legyen szó termékértésről, ajánlórendszerekről vagy orvosi diagnosztikáról. Az eltérő szemantikai granularitás és eloszlás miatt a meglévő módszerek csak durva következetességet tudnak elérni, ami korlátozza a kiegészítő információk kihasználását. (ArXiv CV)
A probléma megoldására a kutatók egy új, DFPL (Disentangled Fine-Grained Prototype Learning) nevű keretrendszert javasolnak. Ez a módszer kompakt és sokrétű megosztott, valamint specifikus prototípusokat von ki, és prototípus-szintű szétválasztást végez a redundáns korrelációk elnyomására.
Kapcsolódó: federált multimodális gráf-tanulás
Prototípus-alapú finomhangolás
A DFPL keretrendszer két kulcsfontosságú modult tartalmaz: a Shared-Specific Prototype Modeling (SSPM) és a Prototype-guided Fine-grained Alignment (PFA) egységeket. Az SSPM a megosztott és specifikus prototípusokat extrahálja, míg a PFA a prototípusok közötti eloszlás-illesztést és szemantikai igazítást végzi egy egységes prototérben.
Kapcsolódó: gyors orvosi képalkotás
Jobb eredmények hiányos adatokkal
A kutatók kiterjedt kísérleteket végeztek három különböző kép-táblázat adathalmazon. Az eredmények azt mutatják, hogy a DFPL módszer felülmúlja a korábbi megközelítéseket a különböző hiányzó modalitású beállítások mellett. A Class-aware Multi-scale Aggregation (CMA) modul pedig adaptívan összesíti a globális és prototípus-szintű megosztott szemantikát és a modalitás-specifikus jellemzőket a robusztus predikciók érdekében.
Kapcsolódó: orvosi adatok sémageneralizáció
A kutatás az arXiv előnyomtatott formában érhető el, a kutatók pedig az arXiv-on publikálták az eredményeket 2024. március 10-én.
Kapcsolódó: táblázatos többcélú tanulás