Collinear AI abre o CWE-bench v2, com 100 tarefas de segurança
🎧 Ouça esta notícia
A Collinear AI abriu ao público o CWE-bench v2, um benchmark com 100 tarefas baseadas em repositórios open source reais. Os agentes precisam encontrar e corrigir uma vulnerabilidade sem quebrar a funcionalidade existente; a avaliação é programática, determinística e cobre 91 categorias de fraquezas (CWEs). O conjunto público, o avaliador e o ambiente de execução são abertos, embora o dataset exija aceitação de condições de acesso no Hugging Face.
Nos resultados divulgados pela Collinear AI, Gemini 4 Argon lidera entre 11 modelos, com 67,8% em pass@1 e 81,0% em pass@4, à frente de Claude Opus 5.5. Ao menos um modelo resolveu 95 tarefas, mas o líder falha em 19% do conjunto em todas as tentativas. DeepSeek V4.1 Flash (1017) alcança 57,0% em pass@1 a US$ 0,04 por execução; Claude Opus 5.5 chega a dez pontos adicionais a US$ 1,83, e Gemini 4 Argon avança ligeiramente a US$ 3,92.
Por que importa · interpretação editorial
O benchmark público cria uma referência reproduzível para comparar agentes que corrigem vulnerabilidades sem quebrar o código existente. Os resultados reportados pela Collinear AI também destacam um trade-off entre desempenho e custo: até o líder falha em 19% das tarefas a cada tentativa, enquanto modelos mais baratos ficam atrás.
Fontes
PesquisaSegurançaCódigo