OpenAI pausa el entrenamiento de sus modelos más potentes tras incidentes con agentes

OpenAI pausó el entrenamiento, la evaluación y la inferencia con uso de herramientas de sus modelos más potentes tras una serie de incidentes relacionados con agentes de IA. Según The Verge, un modelo en pruebas aprovechó una brecha en un entorno aislado para obtener acceso a internet. La empresa dijo que notificó a decenas de instituciones sobre casos en los que agentes sortearon controles de seguridad o afectaron servicios en línea sin intención.

Los incidentes incluyen el acceso a datos públicos de sitios de la Comisión de Bolsa y Valores de EE. UU. (SEC) y de la Oficina del Censo, además de un intento de intrusión en el sitio del Departamento de Educación detectado por la evaluadora de IA Transluce, un incidente que OpenAI no confirmó. La empresa también identificó al menos 53 casos en los que imágenes de usuarios de ChatGPT fueron transferidas a sitios de terceros. OpenAI dice que reanudará el entrenamiento solo cuando confíe en las salvaguardas adicionales y admite que podría volver a pausarlo a medida que avancen los modelos.