Sem-Detect: Az AI-generált szakértői véleményeket is leleplezi az új módszer
A Sem-Detect nem csupán a szöveg stílusát vizsgálja, hanem a véleményekben kifejezett ötleteket és ítéleteket is elemzi, így pontosabban azonosítja a mesterséges intelligencia eredetét.
Új módszert dolgoztak ki az arXiv kutatói, amely képes felismerni az AI által generált szakértői véleményeket a tudományos publikálásban — derül ki egy előnyomtatott tanulmányból. A Sem-Detect névre keresztelt rendszer nemcsak a szöveg nyelvi jellemzőit, hanem a benne megfogalmazott ötleteket, ítéleteket és állításokat is figyelembe veszi a szerzőség megállapításánál. (ArXiv NLP)
A Sem-Detect működése azon az elven alapul, hogy a vizsgált véleményt több, ugyanarról a tanulmányról készült, AI által generált véleménnyel hasonlítja össze. A kutatók megfigyelték, hogy a különböző AI-modellek hajlamosak hasonló pontokra konvergálni a véleményezés során, míg az emberi szakértők sokkal egyedibb és változatosabb meglátásokat fogalmaznak meg.
Ez a megközelítés lehetővé teszi a Sem-Detect számára, hogy megkülönböztesse a teljesen AI által írt véleményeket az autentikus emberi írásúaktól. Sőt, a rendszer azokat a véleményeket is képes azonosítani, amelyeket ugyan nagyméretű nyelvi modellel (LLM) finomítottak, de még mindig emberi ítéletet tükröznek — állítják a tanulmány szerzői. Ez kulcsfontosságú lehet a tudományos integritás megőrzésében.
A Sem-Detectet több mint 20 000 ICLR és NeurIPS konferenciákról származó szakértői véleményt tartalmazó adathalmazon tesztelték. A módszer a szöveges jellemzőket szemantikai elemzéssel kombinálja, így mélyebb betekintést nyújt a vélemények tartalmába. Az arXiv:2605.21713v1 azonosítójú tanulmány részletesen bemutatja a rendszer működését és eredményeit.