Végtelen sok hibás klasztert generálhat a t-SNE algoritmus, kutatás szerint

A t-SNE (t-distributed Stochastic Neighbor Embedding) népszerű adatelemző algoritmus, amely magas dimenziós adatok vizualizálására szolgál. Azonban az algoritmus energia tájának bonyolultsága, különösen annak nem konvex jellege, megnehezítette a pontos működésének megértését. Gyakori jelenség, hogy a t-SNE sok helyi minimumot eredményez, amelyek nem tükrözik a mögöttes adatok topológiáját vagy klaszterezési struktúráját. (ArXiv ML)

Az MIT kutatói, Nakul Haridas és Ryan Murray által jegyzett tanulmány első lépéseket tesz e jelenségek rigorózus magyarázatához. Általános energiacsaládokra, beleértve az eredeti t-SNE-t és a nagy adathalmazok limitjeit, valamint a folytonos szimmetriát mutató adatokra vonatkozóan, azonosítottak végtelen számú, megkülönböztethető kritikus pontot.

Szimmetriák és kritikus pontok

Ezek a kritikus pontok diszkrét szimmetriák párosításán alapulnak: egyik a kiinduló feature-térben, másik pedig a cél embedding-térben található. Ezek a szimmetriák megmaradnak a gradiens dinamika során, ami lehetővé teszi a kritikus konfigurációk konstruálását. A tanulmány szerint a kritikus konfigurációk gyakran topológiai törést és hamis klaszterezést mutatnak, ami összhangban van a gyakran megfigyelt empirikus eredményekkel.

Gyakorlati következmények

Az ilyen kritikus pontok létezése magyarázatot adhat azokra a helyzetekre, amikor a t-SNE vizualizációk megtévesztő klasztereket hoznak létre, vagy figyelmen kívül hagyják az adatok valódi szerkezetét. A kutatás célja, hogy pontosabb képet adjon az algoritmus viselkedéséről, segítve a kutatókat a vizualizációk helyes értelmezésében és a potenciális hibák elkerülésében.

A papír szerint a t-SNE energia tája végtelen számú különböző kritikus pontot tartalmaz. A kutatók által azonosított kritikus konfigurációk gyakran topológiai törést és hamis klaszterezést mutatnak, ami egybevág a gyakorlati megfigyelésekkel. A tanulmány az arXiv előnyomtatott formában érhető el.