Egysíkú érvek árulják el az AI-szövegeket — szerint a Pangram vezérigazgatója
Max Spero, a Pangram vezérigazgatója szerint a nyelvi modellek egysíkú érveléseikkel árulják el magukat, mivel 100 érv esetén is szűk sávban maradnak, szemben az emberi gondolatok sokszínűségével.
A Pangram mélytanulási alapú osztályozója egy fekete dobozként működik. „Nincs sok magyarázatunk arra, miért hozza azokat az előrejelzéseket, amelyeket” — mondta Spero. Az eszköz gyanús kifejezéseket sorol fel, de a modell a szerkezeti mintázatokat is felismeri, amelyeket egy nyelvi modell hagy hátra egy dokumentum rendezésekor. Spero szerint az LLM-ek lehet, hogy jobbak a nyelvtanban és logikában, mint az átlagember, de sokkal egysíkúbbak. (The Decoder)
Az emberi és az AI-érvelés különbségei
Spero szerint az LLM-ek képesek lehetnek az átlagosnál jobb nyelvtani és logikai képességekre, ám érvelésük rendkívül egysíkú. Egy adott témában 100 érv felkérésekor a modellek érvei egy szűk tartományban csoportosulnak. Ezzel szemben az emberi érvelés sokkal sokszínűbb teret ölel fel, amit az AI jelenleg nem képes reprodukálni.
Kapcsolódó: Ted Chiang véleménye az LLM-ekről
A Pangram detektálási módszere
A Pangram detektora a nyelvi modellek által hátrahagyott szerkezeti mintázatokat és gyanús kifejezéseket azonosítja. Bár a cég vezérigazgatója, Max Spero maga sem érti teljesen ezeket a mintázatokat, a modell megbízhatóan képes felismerni az egysíkúvá vált AI-generált szövegeket. A detektor képes lehet megbízhatóan felismerni ezeket az egysíkú mintázatokat, bár ez az állítás még nem független ellenőrzésen esett át.
Kapcsolódó: AI-modellek etikai különbségei
A jövőben az AI-fejlesztők célja a modellek írásminőségének javítása. Azonban ezek a fejlesztések, amelyek a modellek preferenciáit erősítik, egyben a Pangram által észlelt mintázatokat is magukban foglalják. A legkevésbé felismerhető nyelvi modellek azok, amelyek kevésbé mutatnak ilyen jellegzetes mintázatokat.
Kapcsolódó: LLM-magyarázatok megbízhatósága