Hugging Face diz que modelo prevê melhor o tempo de fine-tuning
🎧 Ouça esta notícia
Em uma prévia de artigo ainda não publicado no arXiv, a Hugging Face analisou 272 trabalhos de supervised fine-tuning (SFT) executados em seu conjunto de GPUs NVIDIA H200, totalizando cerca de 7.382 horas de GPU. Segundo a empresa, a estimativa baseada apenas em FLOPs explicou pouco dos tempos observados (R² = 0,31; erro absoluto médio de 12,41 horas), enquanto um regressor CatBoost alcançou R² = 0,98, erro médio de 1,71 hora e erro mediano de 0,51 hora em validação cruzada de cinco partes.
O modelo usa informações disponíveis antes da distribuição do trabalho, como configuração, tamanho dos dados, modelo, alocação de GPUs, frequência de avaliações e política de checkpoints. A Hugging Face afirma que cálculos de FLOPs não capturam adequadamente tarefas como preparação do ambiente, carregamento, tokenização, avaliações, uploads e competição por rede e armazenamento em clusters compartilhados.
Por que importa · interpretação editorial
Se os resultados se confirmarem após a publicação e validação do artigo, estimativas de duração que consideram a configuração completa do trabalho podem ajudar equipes a planejar melhor jobs de fine-tuning do que métricas baseadas apenas em FLOPs. O estudo também ressalta o peso operacional de avaliações, checkpoints e recursos compartilhados no tempo total.
Fontes
Pesquisa