Hétven százalékkal olcsóbbá teszi az AI-adatfeldolgozást egy új kínai rendszer

A nagyméretű nyelvi modellek (LLM) kiválóan generálnak egyedi Python-szkripteket, de nehezen boldogulnak összetett, rendszerezett adatfeldolgozási folyamatokkal. A Pekingi Egyetem, a Zhongguancun Akadémia és a Shanghai Fejlett Algoritmuskutató Intézet kutatói bemutatták a DataFlow-Harness nevű nyílt forráskódú keretrendszert, amely strukturált, vizuális munkafolyamatok létrehozására vezeti az AI-ügynököket. Ez megkönnyíti az AI-generált folyamatok kezelését és integrálását a meglévő rendszerekbe.

A kutatók beszámolója szerint a platform 12 feladatból álló adatmérnöki teljesítményteszten 93,3%-os végpontok közötti sikerrátát ért el. Ez 10,0 százalékpontos javulást jelent a MCP-only alapvonalhoz képest, és jobb eredményt mutat, mint a Vanilla CC (91,7%). A Context-Aware CC (94,2%) eredményéhez közelít, miközben akár 72,5%-kal csökkenti az API-költségeket és 49,9%-kal a válaszidőt.

A „NL2Pipeline gap” problémája

A Data-centric AI rendszerekhez olyan munkafolyamatokra van szükség, mint a szintetikus adatok generálása, a RAG-rendszerek adatbázisának feltöltése vagy a modellbetanítás. Bár az LLM-ek képesek természetes nyelvet futtatható kóddá alakítani, a magas pontosság önmagában nem elegendő a termelési környezetben való használathoz. „Az első fal általában nem a Python írása” — mondta Runming He, a DataFlow-Harness tanulmány első szerzője a VentureBeatnek. „A modern kódolási ügynökök gyakran képesek gyorsan elfogadható szkriptet készíteni. A nehezebb probléma az, hogy ezt a szkriptet egy élő termelési platformba kell beágyazni, figyelembe véve a telepített operátorokat, az adatkészlet sémáját, a regisztrált adatforrásokat és modell-szolgáltatásokat, valamint a lépések közötti függőségeket.”

Az általános célú AI-ügynökök gyakran generálnak nem létező függőségeket, elérhetetlen operátorokra vagy elavult platform-feltételezésekre támaszkodva. Ehelyett egy olyan kimenetet hagynak maguk után, amelyet egy másik mérnök megérthet és módosíthat, eldobható kódot generálnak, amelyet nehéz auditálni a munkafolyamat-kezelő eszközökön keresztül. A kutatók ezt a kihívást „NL2Pipeline gap”-nek nevezik: az eltérés aközött, hogy a felhasználó természetes nyelven fejezi ki a munkafolyamat-követelményeket, és aközött, hogy a termelési környezet strukturált és állandó folyamat-eszközöket igényel.

A négy komponens együttműködése

A DataFlow-Harness megváltoztatja az ügynök akcióterét. „Ahelyett, hogy az ügynököt tetszőleges kód kibocsátására kérnénk, lekérdezi az élő operátor-jegyzéket és az aktuális folyamat állapotát a MCP-n keresztül, és típusos, inkrementális változtatásokat alkalmaz egy állandó DAG-ra” — magyarázta He. A platform négy komponens köré szervezi a munkafolyamat-szintézist: a Data folyamat Backendet, az interakciós réteget (DataFlow-WebUI), a MCP Tools Layer-t és az AI-vezérlési réteget (DataFlow-Skills).

A Data folyamat Backend az igazság forrásaként szolgál a konversációs, vizuális és programozási felületeken. A folyamat-t irányított, nem ciklikus grafikonként (DAG) reprezentálja, amely adatforrásokat, konfigurált előre elkészített feldolgozó modulokat („operátorokat”) és végrehajtási függőségeket tartalmaz. Ahelyett, hogy szabad formátumú kódot generálna, az ügynök „típusos mutációkon” keresztül lép kapcsolatba ezzel a háttérrendszerrel, például operátor hozzáadásával vagy élek összekapcsolásával. A DataFlow-Skills markdown fájlok, amelyek domén-specifikus tudást injektálnak a modell kontextusablakába, irányítva az operátor-kiválasztási mintákat, a séma-következtetést és az összeállítási eljárásokat. A MCP Tools Layer hozzáférést biztosít az AI számára az operátor-jegyzékhez és az adatmunkafolyamat aktuális állapotához. A DataFlow-WebUI két felületet kínál, amelyek lehetővé teszik az ember és az AI számára a munkafolyamat közös felépítését.

A kutatók 12 feladatból álló teljesítményteszten tesztelték a DataFlow-Harness-t hat ipari adatfeldolgozási forgatókönyvben, beleértve a QA-generálást és a sémanormalizálást. Claude Opus 4.7-et használtak a kísérletekben. A DataFlow-Harness 93,3%-os végpontok közötti sikerrátát ért el, és 0,26 dollárra csökkentette az API-költségeket a Vanilla CC 2,68 dolláros költségével szemben — írja a VentureBeat.