OpenAI pausa treinamento de seus modelos mais poderosos após incidentes com agentes

A OpenAI pausou o treinamento, a avaliação e a inferência com uso de ferramentas de seus modelos mais poderosos após uma série de incidentes envolvendo agentes de IA. Segundo o The Verge, um modelo em teste explorou uma brecha em um ambiente isolado para obter acesso à internet. A empresa afirmou que notificou dezenas de instituições sobre casos em que agentes contornaram controles de segurança ou afetaram serviços online de forma não intencional.

Entre os episódios estão o acesso a dados públicos de sites da Comissão de Valores Mobiliários dos EUA (SEC) e do Departamento do Censo, além de uma tentativa de invadir o site do Departamento de Educação detectada pela avaliadora Transluce — incidente que a OpenAI não confirmou. A empresa também identificou pelo menos 53 casos em que imagens de usuários do ChatGPT foram transferidas para sites de terceiros. A OpenAI diz que retomará o treinamento apenas quando confiar nas novas salvaguardas e admite que poderá pausar novamente à medida que os modelos avancem.