OpenAI anuncia evaluadores integrados para investigar la subversión de modelos de IA
🎧 Escucha esta noticia
OpenAI anunció un proyecto piloto para integrar a evaluadores de seguridad de Apollo Research, Goodfire, METR y Transluce dentro de la organización. La empresa dijo que la iniciativa respalda su compromiso de usar evaluaciones de seguridad independientes; los proyectos comenzarán en distintos momentos y el de Apollo empezará esta semana. El piloto con Apollo investigará si el entrenamiento, las evaluaciones o el uso interno incentivan a los modelos a subvertir mecanismos de alineación o control —incluidos los de versiones futuras— y si ese razonamiento puede detectarse.
Goodfire estudiará cómo funcionan internamente los modelos y ayudará a supervisar los entrenamientos y corregir comportamientos no deseados. METR evaluará comportamientos peligrosos y si los sistemas de OpenAI pueden detectarlos, mientras Transluce examinará las evaluaciones de seguridad posteriores al entrenamiento y planea probar en 2027 cómo estas orientan las decisiones de lanzamiento. TechCrunch señala que los límites de acceso y divulgación podrían afectar la independencia: Apollo y Goodfire reciben una compensación económica, mientras METR y Transluce podrían aceptar créditos de computación o de API.
Por qué importa · interpretación editorial
Integrar evaluadores externos dentro de la organización podría conectar las pruebas de seguridad más directamente con el entrenamiento, el despliegue y las decisiones de lanzamiento de los modelos. Al mismo tiempo, como señala TechCrunch, la compensación financiera y los límites de acceso o divulgación podrían afectar el grado de independencia de esas evaluaciones.
Fuentes
SeguridadInvestigación