Nem több AI-hibajelentés kell a karbantartóknak, hanem kész javítás
A GitHub és a Microsoft hat nyílt forráskódú projektben tesztelte, hogyan segíthet az AI javításokkal, nem csupán további hibajelentésekkel. Az eredmény: 99 ellenőrzött jelentés, amelyből a karbantartók eddig 55-öt javítottak ki.

Az AI olcsón és gyorsan talál potenciális biztonsági réseket, a javításhoz azonban továbbra is emberi ítélőképesség kell. A nyílt forráskódú projektekben ez a munka a karbantartókra hárul, akik sok helyen már most elárasztva vannak AI-generált biztonsági jelentésekkel, köztük duplikátumokkal és olyan bejelentésekkel, amelyek valójában nem is sebezhetőségek. Ahogy Christian Grobmeier, a Log4j karbantartója fogalmazott, a nyílt forráskódot védő AI-nak jobbnak kell lennie annál, mint amivel támadják. (GitHub Blog)
A GitHub és a Microsoft ezért közös pilotot futtatott a karbantartókkal, hogy kiderítse, képes-e az AI javításokat szállítani a jelentések helyett. A munkában a Microsoft Codename MDASH nevű, több modellt használó agentalapú vizsgálórendszere vett részt.
A folyamat négy lépésből állt: az MDASH a Microsoft MAI Cyber modelljével átvizsgálta a projekteket és javaslatot tett a javításokra; a GitHub Security Lab AI-alapú szűrő agentje eltávolította a duplikátumokat és a nem valós hibákat; a Microsoft FORGE Lab hét kutatója kézzel ellenőrizte a megmaradt találatokat; végül a jelentések a GitHub privát sebezhetőség-jelentési felületén keresztül, bizonyítékkal és javítási javaslattal érkeztek meg a karbantartókhoz.
A pilot két alapelvre épült: csak olyan találat juthat el a karbantartókhoz, amelynek van jelentősége, és ellenőrizetlen találatot soha nem kapnak. A döntés a javításról, annak módjáról és idejéről a karbantartóké maradt. A kutatók hat projektben több ezer lehetséges problémát azonosítottak, a szűrés és az ellenőrzés után azonban 99 privát jelentés jutott el a karbantartókhoz. November 15-ig 55 hibát javítottak ki, ebből 14 már egy kiadott verzióban is szerepel.
A karbantartók visszajelzése szerint a legfontosabb nem a hibák felderítése, hanem a javítás. Az első javítások körülbelül egy héttel a kezdeti vizsgálat után születtek meg. A Caddy karbantartói a hozzájuk érkezett 22 jelentést egy héten belül mind javították. Az ImageMagick esetében, amelyet két fős csapat tart karban, egy hibát 15 perc alatt sikerült javítani. Az AutoGPT karbantartói a javasolt foltot tovább fejlesztették, és egy héttel később már éles környezetben volt.
Fontos korlát, hogy a hat projekt kis minta, az eredményeket a szerzők is korai tanulságnak tekintik. A javítási arányok a karbantartók megosztott adatain alapulnak, független ellenőrzés nincs. A kutatók kézi munkája projektenként körülbelül két napot vett igénybe, ami egyelőre nem skálázódik. A GitHub azt ígéri, hogy a tanulságokat beépíti a privát sebezhetőség-jelentésbe és a biztonsági közleményekbe, a GitHub Secure nyílt forráskódú Fund keretében pedig minden támogatott projekt AI-alapú biztonsági vizsgálatot kap.