Hugging Face apresenta TorchTPU para usar TPUs com PyTorch nativo

A Hugging Face apresenta o TorchTPU, um novo backend do PyTorch para TPUs, os aceleradores de IA do Google. Com ele, desenvolvedores podem usar código PyTorch regular e enviar modelos e entradas para o dispositivo “tpu”, com suporte a Transformers, Diffusers e Kernels; o pacote também inclui kernels Pallas, treinamento distribuído e integração com torch.compile.

Segundo a Hugging Face, o TorchTPU elimina a necessidade do Optimum TPU para executar modelos de Transformers e Diffusers em TPUs. O Transformers pode carregar modelos diretamente nesses chips, enquanto o Diffusers oferece modos de execução imediata e compilada, além de particionamento de modelos grandes entre vários chips por meio de TensorParallelConfig. A instalação em uma TPU VM é feita com um comando pip.