A Google és Meta nyílt forráskódú TorchTPU-t adott ki a Cloud TPU-khoz
Az október 20-án bemutatott eszköz a PyTorch/XLA leváltójaként szolgál, és a v5e generációtól felfelé terjedő TPU-kon futtatható modellekhez biztosít natív támogatást.
A Google nyílt forráskódúvá tette a TorchTPU-t, egy natív PyTorch backendet, amely a Google Cloud TPU-kon futtatja a modelleket. A Meta PyTorch csapatával közösen fejlesztett megoldást október 20-án, 2026-ban jelentették be a PyTorch Conference 2026 rendezvényen. A TorchTPU a korábbi PyTorch/XLA helyét veszi át, és a Google javaslata szerint minden új workloadhoz ezt érdemes használni. (MarkTechPost)
A TorchTPU a PyTorch PrivateUse1 interfészén keresztül csatlakozik a TPU-khoz. A fejlesztők számára a PyTorch kód továbbra is a standard torch.device("tpu") parancsot használja, így a TPU-k immár a GPU-k és CPU-k mellett natív PyTorch eszközként jelennek meg. A szoftver Apache 2.0 licenc alatt érhető el, és a Google Cloud TPU-k v5e generációjától felfelé tesztelték, akár 8192 Ironwood (TPU7x) chipig skálázva.
A TorchTPU háromféle eager módot kínál: Strict (alapértelmezett, aszinkron végrehajtás), Debug (szinkron, határ-ellenőrzéssel) és DeferAndFuse (eager operátorok fúziója a HBM forgalom csökkentése érdekében). A csúcsteljesítmény eléréséhez a torch.compile(backend="tpu") használható, amely a StableHLO-n és az XLA-n keresztül generál TPU gépi kódot. A Google által közölt, maguk által végzett tesztek alapján a TorchTitan keretrendszerrel akár 52%-os MFU-t (model flops utilization) értek el Qwen 3 8B modellen Ironwood TPU-kon, és közel lineáris skálázást tapasztaltak 8192 chipig.
A TorchTPU számos integrációt kínál, többek között a Hugging Face Transformers v5, Diffusers, vLLM-TorchTPU, SGLang-TorchTPU és TorchTitan projektekkel. Támogatja az FP8, MXFP4 és NVFP4 checkpointokat, valamint olyan speculatív dekódolási technikákat, mint az MTP és az EAGLE-3. A Google szerint a TorchTPU gyorsabb, mint a korábbi PyTorch/XLA, és versenyképes a TorchNeuronnal és a JAX-szal is.