Hugging Face apresenta catálogo para verificar modelos no AWS Trainium
🎧 Ouça esta notícia
A Hugging Face apresentou o Space torch-neuronx model support, que verifica quais modelos populares do Hub rodam sem modificações no AWS Trainium. O painel mostra o número de núcleos usados, o tempo total — incluindo a compilação —, a memória máxima e o resultado do teste, além de fornecer o script e os pacotes necessários para reproduzi-lo em uma instância Trainium2. Os dados também estão disponíveis no conjunto público aws-neuron/torch-neuronx-model-support.
No momento, os testes cobrem apenas modelos Transformers de geração de texto e de texto-imagem, que caibam em até quatro dispositivos Trainium2, ou 16 núcleos. A Hugging Face planeja incluir diffusers, sentence transformers e outras tarefas. Um resultado “PASS” confirma a execução e uma verificação de saída, mas não mede desempenho ou gerações mais longas.
Por que importa · interpretação editorial
O catálogo pode reduzir o trabalho inicial de quem avalia a execução de modelos do Hub no Trainium2, ao reunir métricas e materiais para reprodução. Como o “PASS” não mede throughput nem gerações longas, ele funciona como verificação de compatibilidade, não como avaliação completa de desempenho.
Fontes
PesquisaHardware