Személyre szabott AI-modellek pontosságát javítja a FedSPC — új módszerrel dolgoznak a kutatók
A FedSPC nevű, moduláris korrekciós módszerrel a kutatók úgy vélik, javítható a személyre szabott federált tanulás (PFL) pontossága, különösen az adatheterogenitás esetén. A CIFAR-100 és Tiny-ImageNet adathalmazokon végzett kísérletek ezt alátámasztják.
A személyre szabott federált tanulás (PFL) kulcsfontosságú a statisztikai eltérések kezelésében, miközben lehetővé teszi az ügyfélspecifikus adaptációt. Sok PFL-módszer a modellt megosztott és személyre szabott paraméterekre bontja, amelyeket minden ügyfélnél közösen tanítanak. Ez azonban optimalizálási problémát vet fel: a megosztott paramétereket olyan ügyfelek frissítik, akik eltérő helyi célokat követnek, ami következetlen megosztott frissítésekhez és gyengébb megosztott reprezentációhoz vezethet — állítja az arXiv-en megjelent tanulmány. (ArXiv ML)
Moduláris korrekció a jobb eredményekért
A probléma megoldására a kutatók bemutatták a Federated Shared Parameter Correction (FedSPC) nevű, moduláris korrekciós módszert. A FedSPC csak a PFL-módszer megosztott paramétereire alkalmaz kontroll-variancia korrekciót, míg a személyre szabott paraméterek változatlanok maradnak. Ez a megközelítés integrálható három általános PFL-beállításba: megosztott funkciókivonók, megosztott osztályozók, valamint helyi regularizációval ellátott, teljesen megosztott modellek.
Kapcsolódó: gyors FL-feladatok
Kísérleti eredmények
A CIFAR-100 és a Tiny-ImageNet adathalmazokon, valamint a ViT, ResNet-34 és VGG-11 modellekkel végzett kísérletek azt mutatják, hogy a FedSPC javítja a teljesítményt olyan reprezentatív PFL-módszerek esetében, mint a FedPer, FedRep, FedBABU, LG-FedAvg és Ditto — írja az arXiv. A kísérletek során a FedSPC 5,6%-kal javította a pontosságot a CIFAR-100 adathalmazon.
Kapcsolódó: hierarchikus föderált tanulás
A FedSPC lényegében arra törekszik, hogy kiküszöbölje a különböző ügyfél-specifikus célokból eredő inkonzisztenciákat a megosztott paraméterek frissítése során, ezáltal stabilabb és hatékonyabb globális reprezentációt hozva létre. A módszer a Tiny-ImageNet adathalmazon 3,2%-kal növelte a modell pontosságát.
Kapcsolódó: federált multimodális gráf-tanulás
Az arXiv-en megjelent tanulmány a FedSPC módszer részletes leírását és a kísérleti eredményeket tartalmazza, ideértve a CIFAR-100 és Tiny-ImageNet adathalmazokon elért javulást is.
Kapcsolódó: ellenálló tanulás