Microsoft e Hugging Face dizem que ThinkingBox elevou o sucesso do Qwen3.8-27B
🎧 Ouça esta notícia
Microsoft e Hugging Face dizem que o ThinkingBox transforma verificações executáveis do estado final de um banco de dados em recompensas para treinar agentes. Em um experimento com uma seleção fixa de tarefas escolhidas pela dificuldade relativa à política do modelo, o ajuste do Qwen3.8-27B com 50 etapas de GRPO elevou o sucesso médio de 51,70% para 60,78% e aumentou de 38 para 107 o número de tarefas aprovadas em todas as 20 tentativas. O resultado foi acompanhado por uma pequena queda nas tarefas resolvidas ao menos uma vez, de 453 para 446.
O ThinkingBox-Training já está disponível no GitHub. No ThinkingBox-Bench, cada uma das 507 tarefas fornece um ambiente e ferramentas ao agente, antes de comparar as mudanças reais no banco de dados com o resultado esperado. Em um exemplo citado no post, o modelo ajustado preservou reservas e pagamentos nas 20 tentativas de uma tarefa que exigia aprovação gerencial para um downgrade.
Por que importa · interpretação editorial
O resultado relatado sugere que verificar o estado final de um banco de dados pode avaliar a consistência de agentes, e não apenas se eles acertam uma tarefa uma vez. A queda pequena nas tarefas resolvidas ao menos uma vez também ressalta o trade-off entre confiabilidade repetida e cobertura.
Fontes
PesquisaAgentes