Új módszerrel vizsgálják a chatbotok meggyőző erejét, az LLM-ek szöveggel és hanggal is befolyásolnak
Az LLM-ek az emberek hiedelmeit is képesek megváltoztatni, akár fontos témákban is, ám a korábbi modellek nem tudták pontosan visszaadni a meggyőzési folyamatot.
Új keretrendszert mutatott be egy kutatás, amely az LLM-ek (nagy nyelvi modellek) emberi meggyőző képességét vizsgálja. A PERSUASIONTRACE nevű platform lehetővé teszi a többkörös interakciók során bekövetkező hiedelemváltozások pontosabb elemzését, szemben a korábbi, csak a végeredményt vizsgáló módszerekkel. A kutatók szerint az LLM-ek képesek befolyásolni az emberek véleményét szöveges és hang alapú kommunikációban, személyes és általános témákban egyaránt. (ArXiv NLP)
A PERSUASIONTRACE egy webes platformra épül, amely rögzíti a célpontok (emberek vagy szimulált rendszerek) hiedelemjelentéseit minden egyes párbeszédszakaszban. Ezzel párhuzamosan elemzi a meggyőző fél (az LLM) retorikai stratégiáit, mint például a logika (logos), érzelem (pathos) vagy hitelesség (ethos) használatát. Ez a megközelítés lehetővé teszi a szimulátorok értékelését a valós emberi hiedelmek dinamikájához való hűségük alapján.
Kapcsolódó: AI-ellenállás fejlesztése
Emberi hiedelmek és LLM-es szimulációk
A kutatás eredményei szerint az emberi célpontok két fő csoportba sorolhatók a hiedelemváltozásaik alapján. Kiderült, hogy az emberek fogékonyak a különböző retorikai stratégiákra. Az LLM-ek meggyőző erejét vizsgálták generikus és személyre szabott témákban, szöveges és hang alapú interakciókban, valamint többkörös beszélgetések során is.
Kapcsolódó: nyelvi modellek tanítása
Korábbi kutatások gyakran alapvető promptokkal működtetett LLM-eket használtak a meggyőzési folyamatok szimulálására, azonban ez a tanulmány kimutatta, hogy ezek a szimulátorok nem képesek pontosan visszaadni az emberi hiedelmek dinamikus változásait. A kutatók egy Bayesian-hálózat alapú szimulátort vezettek be, amely explicit, időbeli hiedelmi állapotot tart fenn, így minden üzenet kognitívan reális hiedelemfrissítéseket eredményez.
Kapcsolódó: LLM-ek védelme
Új mérce a meggyőző rendszerek értékelésére
Az emberihez hasonló viselkedés értékelésében az új Bayesian-szimulátor 81 pontot ért el, míg az alapvető LLM-szimulátorok jelentősen alacsonyabb, 64 pontos eredményt mutattak. A PERSUASIONTRACE keretrendszer átalakítja a meggyőző rendszerek értékelését a végeredményen túl a folyamathűségre helyezve a hangsúlyt, ami erősebb alapot ad a tudományos elemzéshez és a meggyőző rendszerek biztonságosabb optimalizálásához. A kutatás eredményei előnyomtatott formában érhetők el az arXiv-on.
Kapcsolódó: LLM-ek megtévesztése