ÉlőUtoljára: 4 perceMa: 9
Kutatásfrissítve: 09:16

Az OpenAI GPT-6.2 Astra modellje 84,5%-ot ért el a MedChemBench gyógyszerkémiai tesztjén

A GPT-6.2 Astra 84,5%-os eredményt ért el a MedChemBench tesztsoron, amely 99 feladatból áll és 117 publikációra épül.

Az OpenAI GPT-6.2 Astra modellje 84,5%-ot ért el a MedChemBench gyógyszerkémiai tesztjén
Fotó: Trnava University / Unsplash
forrás: OpenAI·AI Forradalom szerk.·
Megosztás

Az OpenAI november 20-án bemutatta a MedChemBench nevű teljesítménytesztet, amely azt vizsgálja, mennyire jól képesek az AI-modellek gyógyszerkémiai kutatási feladatokat megoldani. A teszt a molekulák szerkezetét, a kísérleti eredményeket és a következő vizsgálandó vegyületek kiválasztását méri. A cég szerint a cél az, hogy a tudósok jobb gyógyszereket fejleszthessenek.

A gyógyszerfejlesztés egyik legnehezebb pontja, hogy egy molekula egyik tulajdonságának javítása gyakran ront egy másikon. Egy vegyület erősen hathat a betegséggel összefüggő fehérjére, miközben rosszul szívódik fel, vagy túl gyorsan bomlik le a szervezetben. A kémikusok ezeket a kompromisszumokat úgy kezelik, hogy kapcsolódó vegyületeket terveznek, előállítanak és tesztelnek, majd eldöntik, mi legyen a következő lépés. Az AI-nak ehhez a molekulaszerkezet-változásokat kell összekapcsolnia a kísérleti bizonyítékokkal.

A teszt felépítése

A MedChemBench 99, publikált kutatásokból merített feladatot tartalmaz. A teljesítményteszt 117 tudományos publikációt és szabadalmat dolgoz fel, és 761 különböző molekulaszerkezetet tartalmaz. A modellek a feladatokhoz kapcsolódó kontextust kapják meg: a biológiai célpontot, a kutatók céljait, a korábban vizsgált vegyületeket és néhány kísérleti megállapítást.

A teszt négy területet értékel: a molekulaszerkezetek helyes összeállítását, a kapott bizonyítékokra épülő tudományos érvelést, a vegyületek rangsorolását és kiválasztását, valamint a jelentett számszerű és kategorikus tulajdonságok előrejelzését.

Az eredmények modellenként

A legjobb eredményt a GPT-6.2 Astra érte el a legmagasabb, xhigh érvelési beállításon: 84,5%-ot. A GPT-6 Astra 83,3%-ot, a GPT-6.1 Sol 82,0%-ot, a GPT-5.6 Sol pedig 58,2%-ot ért el. A GPT-6 Astra a molekulaszerkezetek rekonstrukciójában és a kísérleti bizonyítékok magyarázatában bizonyult a legerősebbnek, a vegyületek kiválasztása és a számszerű tulajdonságok becslése viszont nehezebbnek bizonyult számára.

A teszt egyik példája a PRMT5-gátlókhoz kapcsolódik, amelyet a rákkutatásban vizsgálnak. A modell három vegyületről kellett előrejelzést adnia: mennyire gátolják a fehérjét sejtekben, mennyire jutnak át a sejtfalon, és milyen gyorsan bontják le őket a májenzimek. A későbbi, a modell elől elrejtett kísérletek kompromisszumot mutattak: a 23-as vegyület alacsonyabb koncentrációban gátolta a PRMT5-öt, a 24-es viszont könnyebben jutott át a sejtfalon és lassabban bomlott le. A feladat azt vizsgálja, képes-e a modell ezeket a tulajdonságokat együtt kezelni.

A pontozás részleges pontokat is ad: minél közelebb van a becslés a mért értékhez, annál több pontot kap a modell. A kérdésben megadott méréseket is helyesen kell visszaadnia. A szerkezetfelismerésben a GPT-6 Astra a xhigh beállításon 95,4%-os eredményt ért el, ami erős teljesítmény. A teljes teljesítményteszten viszont az eredmények között nagy a szórás, és a magasabb érvelési szint is csak részben javított a pontszámokon.

Az OpenAI szerint az eredmények nem bizonyítják, hogy a modellek képesek új gyógyszereket felfedezni vagy jobb laboratóriumi döntéseket hozni. A publikált forrásokkal való korábbi találkozás nem zárható ki, a válaszok pedig egyetlen próbálkozást jelentettek eszközök, visszacsatolás és új kísérletek nélkül. A teljesítményteszt tehát a történeti bizonyítékokra épülő érvelést méri, nem a valódi gyógyszerfejlesztést. Az eredmények azt mutatják, hogy a 761 molekulaszerkezetet tartalmazó feladatokon a GPT-6 Astra 95,4%-ot ért el a szerkezetfelismerésben.

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

☕ Támogatom