Új teljesítményteszt méri a politikai tárgyalási képességeket a kereskedelemben

A TradeVerse 1170 tárgyalás jegyzőkönyvét dolgozza fel, 5 csoport és 89 termékcsoport kiterjedésében. (ArXiv NLP)

Három fő feladat

Három fő feladatot határoz meg: először, a rendszernek elemeznie kell a hosszú távú tárgyalási jegyzőkönyveket, és meg kell jósolnia a vitatott termékek harmonizált rendszer szerinti kódjait. Másodszor, azonosítania kell a felszólaló országot a tárgyalás anonymizált tartalma alapján. Harmadszor, a rendszernek a felszólaló ország szerepébe helyezve kell megfogalmaznia a legutolsó körre vonatkozó nyilatkozatot. Az összes címke közvetlenül a jegyzőkönyvekből származik, nem igényel manuális annotációt — írja az arXiv.

LLM-ek kihívásai

A TradeVerse célja, hogy felmérje a nagyméretű nyelvi modellek (LLM) potenciálját a politikai kereskedelmi tárgyalások megértésében. A kutatók kísérletei rávilágítanak a feladatok által támasztott kihívásokra a jelenlegi LLM-ek számára. Ez az első olyan teljesítményteszt, amely a politikai kereskedelmi tárgyalások hosszú távú jellegét vizsgálja az LLM-ek esetében, az eredményeket az arXiv publikálta.