AI-generált javítások csak 26%-ban működnek – 1Password figyelmeztet a biztonsági kockázatokra

Az AI-modellek által generált szoftverjavítások mindössze 26%-a volt használható, 53,9%-uk pedig hibás vagy nem működött – derül ki a 1Password kutatásából. (ZDNet AI)

A 1Password új kutatócsoportja, az Off-By-1-Labs által végzett tanulmányban nagyméretű nyelvi modelleket (LLM) teszteltek, hogy kiderítsék, képesek-e megbízhatóan javítani a szoftverek biztonsági réseit. Az eredeti feltételezés a volt, hogy a fejlett AI-modellek körülbelül 67%-os sikerrátával képesek javításokat generálni, azonban az eredmények ennél jóval alacsonyabbak és egyenetlenebbek voltak.

Sebezhetőségek és tesztelt modellek

A kutatás során hat, nemrégiben felfedezett, nyílt forráskódú szoftverekben található sebezhetőséget vizsgáltak. Ezeket a hibákat valószínűleg nem tartalmazták az AI-modellek betanítási adatai. A tesztelt modellek között volt az Anthropic Claude-ja és az OpenAI Codex kódgeneráló ügynökén alapuló modell. Összesen 6080 javítási kísérletet generáltak az LLM-ek, kilenc különböző prompttal és környezeti feltétellel.

Az FLAWED kategória jelentése

Az eredmények szerint az AI által generált javítások mindössze 26%-a volt valóban használható. 21%-ban a javítás ugyan orvosolta a hibát, de megváltoztatta az alkalmazás működését. Az esetek 53,9%-ában az LLM vagy nem tudott javítást létrehozni, vagy új hibát vezetett be, vagy mindkettő megtörtént. A kutatók ezt „FLAWED” (Fix-Like Artifacts With Embedded Defects – hibákkal ágyazott, javításszerű alkotások) néven összefoglalták. Ezek a javítások felületesen jónak tűnnek, de nem oldják meg teljesen a sebezhetőséget, törékeny biztonsági mechanizmusokat tartalmaznak, és új hibákat is bevezethetnek.

Keith Hoodlet, az Off-by-1 Labs vezetője szerint az AI-eszközök és az emberi védők elsősorban a sebezhetőségek felderítésére és rangsorolására összpontosítsanak. Az emberi felügyelet továbbra is elengedhetetlen a javítási folyamatban, hogy a vállalatok megalapozott döntéseket hozhassanak arról, mi, mikor és milyen üzleti kockázattal járó módon kerüljön javításra. A kiadott eszközök segítenek felmérni, hol lehetnek ma az AI-generált javítások jobb vagy rosszabb kimenetelűek, így azonosítva, hol van leginkább szükség emberi szakértőkre. A vizsgálatban részt vevő Anthropic Claude és OpenAI Codex modellek teljesítménye alapján a 1Password javasolja az emberi ellenőrzés megtartását.