Collinear AI abre CWE-bench v2 con 100 tareas de seguridad
🎧 Escucha esta noticia
Collinear AI abrió CWE-bench v2 al público, un benchmark con 100 tareas basadas en repositorios de código abierto reales. Los agentes deben encontrar y corregir una vulnerabilidad sin romper la funcionalidad existente; la evaluación es programática, determinista y cubre 91 categorías de debilidades (CWEs). El conjunto público, el evaluador y el entorno de ejecución son abiertos, aunque el conjunto de datos exige aceptar condiciones de acceso en Hugging Face.
En los resultados reportados por Collinear AI, Gemini 4 Argon lidera entre 11 modelos, con 67,8% en pass@1 y 81,0% en pass@4, por delante de Claude Opus 5.5. Al menos un modelo resolvió 95 tareas, pero el líder falla en 19% del conjunto en cada intento. DeepSeek V4.1 Flash (1017) alcanza 57,0% en pass@1 a US$ 0,04 por ejecución; Claude Opus 5.5 suma diez puntos a US$ 1,83, mientras Gemini 4 Argon avanza ligeramente a US$ 3,92.
Por qué importa · interpretación editorial
El benchmark público crea una referencia reproducible para comparar agentes que corrigen vulnerabilidades sin romper el código existente. Los resultados reportados por Collinear AI también destacan un equilibrio entre rendimiento y costo: incluso el líder falla en el 19% de las tareas en cada intento, mientras los modelos más baratos quedan atrás.
Fuentes
InvestigaciónSeguridadCódigo