A Hugging Face kiadta a TRL v1.0-t, 75-nél több módszert tartalmaz
A Hugging Face hat hónapja jelentette meg a TRL v1.0-t, amely több mint 75 post-training módszert, köztük az SFT, DPO és aszinkron GRPO munkafolyamatokat egyesít, és már több mint ezer GitHub-commit után készen áll a skálázható RL-alkalmazásokra.
A Hugging Face kiadta a TRL v1.0-t, ami több mint 75 módszert tartalmaz, beleértve az SFT, DPO és GRPO munkafolyamat-kat. A fejlesztés 6 évig tartott, és több mint 1000 commitot jelentett a GitHubon. (Reddit LocalLLaMA)
A TRL célja, hogy egységes platformot biztosítson a post-training módszerekhez, mint a Supervised Fine-Tuning, a Direct Preference Optimization és a Gradient-Based Reinforcement Learning. A könyvtár támogatja az aszinkron GRPO-t, amely a generálást és a betanítást különálló erőforrásokon futtatja, így növelve a GPU és node kihasználtságot.
A Hugging Face szerint a GRPO csökkenti az RL betanítás terhelését, mivel nem igényel külön kritikus modellt, amely a PPO-ban szükséges. A TRL integrálja a PEFT, a data packing és az Unsloth technikákat, hogy javítsa a betanítási hatékonyságot és a memóriakezelést.
Az új kiadás előkészíti a terepet a valós idejű, skálázható RL alkalmazások számára, és szélesebb körű integrációt tesz lehetővé az egyszerű API-kon keresztül.
A következő lépés a GRPO robosztusabbá tétele, hogy a könyvtár még hatékonyabbá váljon több GPU és node környezetében.