Hugging Face natívan támogatja a Google TPU-it a TorchTPU-val
A TorchTPU új PyTorch backenddel egyszerűsíti a Google Tensor Processing Unitjainak használatát, így a Transformers és Diffusers könyvtárak natívan futnak a gyorsítókon.
A Hugging Face bejelentette a TorchTPU natív támogatását, ami a PyTorch modellek futtatását teszi egyszerűbbé a Google Tensor Processing Unitjain (TPU). Eddig a PyTorch futtatása TPU-n bonyolult volt, gyakran a PyTorch/XLA vagy a JAX használatát igényelte. Az új megoldással a fejlesztők egyszerűen csatlakoztathatják modelljeiket a TPU-hoz, mint bármely más eszközt.
A TorchTPU a PyTorch-hoz ad egy új backendet, lehetővé téve a fejlesztők számára, hogy hagyományos PyTorch kódot írjanak. A rendszer tartalmazza a TPU-ra optimalizált Pallas kerneleket, támogatja a disztribúciós betanítást, és integrálható a torch.compile-lal a sebesség növelése érdekében. A telepítés egyetlen pip paranccsal elvégezhető egy TPU VM-en.
A Hugging Face ökoszisztémájában a Transformers és a Diffusers könyvtárak mostantól natívan futnak TPU-n. A modellek betöltéséhez elegendő a device_map="tpu" paramétert megadni. A Diffusers folyamat-ok is könnyedén futtathatók TPU-n, akár eager, akár compiled módban, ami jelentősen felgyorsíthatja a kép- és videógenerálást.
A TorchTPU bevezetése megszünteti az Optimum TPU szükségességét a Hugging Face modellek TPU-n való futtatásához. A fejlesztők mostantól közvetlenül használhatják a TPU-k nyers erejét anélkül, hogy bonyolult szoftverkonfigurációkkal kellene foglalkozniuk. A Hugging Face folyamatosan fejleszti a TPU támogatást, és a tesztek 96,5%-a már sikeresen fut TPU-n.