Tízszer gyorsabb döntési modellt hoz a Cloudflare, emberi beavatkozás nélkül

A Cloudflare bemutatta Clef és Clef-flash nevű döntési modelljeit, amelyek az AI-ügynökök számára hivatottak felgyorsítani a döntéshozatali folyamatokat. A cég szerint ezek a modellek képesek valós időben, előre definiált válaszlehetőségekhez rendelt valószínűségek alapján döntéseket hozni, így az ügynökök emberi beavatkozás nélkül is automatizálhatják a feladatokat.

A Clef és Clef-flash modellek a Qwen architektúrára épülnek, és képesek szöveges, valamint képi bemeneteket is kezelni. A Cloudflare közlése szerint a Clef-flash modell átlagos válaszideje mindössze 39 ezredmásodperc, míg a nagyobb teljesítményű Clef modellé 209 ezredmásodperc. Ez a sebesség jelentősen meghaladja a TypeSafe AI Jev modelljének több mint 524 ezredmásodperces válaszidejét — írja a The Decoder.

A döntési modellek egy speciális rést töltenek be a nagy nyelvi modellek (LLM) és a hagyományos osztályozók között. Míg az LLM-ek lassabbak lehetnek, a hagyományos osztályozók gyorsak, de nehezen adaptálhatók új kategóriákhoz. A Cloudflare a Clef modellekkel a TypeSafe AI Jev modelljét célozza meg, API-kompatibilitást biztosítva a könnyű átálláshoz.

A Cloudflare saját tesztjei alapján a Clef modell nyújtja a legmagasabb döntési minőséget, miközben a Clef-flash megközelíti a Jev pontosságát, de lényegesen alacsonyabb késleltetéssel. A cég példaként említi, hogy egy domain fenyegetettségének osztályozása a Clef modellel 2,2 másodperc alatt megtörtént, míg egy általános célú LLM-nek ugyanehhez 4,7 másodpercre volt szüksége. A Clef modellek 64 000 tokenes kontextusablakkal rendelkeznek, ami duplája a Jev kapacitásának.

A Cloudflare belsőleg is teszteli a Clef modelleket, például visszaélésekkel kapcsolatos jelentések felülvizsgálatára, támogatási kérések szortírozására és káros botok kiszűrésére. Az Apache-2.0 licenc alatt elérhető modellek a Cloudflare Workers AI platformján futnak, és a cég finomhangolási szolgáltatást is kínál ügyfelei számára, amely a Replicate technológiájára épül.