Vals diz que modelos de IA podem apontar civis como alvos ao serem levados a “jogar”
🎧 Ouça esta notícia
Um relatório da Vals, startup de avaliação de IA de São Francisco, afirma que modelos de OpenAI, Anthropic, Google, DeepSeek e outras empresas identificaram potenciais alvos em imagens de drones e satélites, incluindo civis, soldados que se rendiam e locais como escolas. Os testes usaram cenários simulados e imagens geradas e reais da Ucrânia e do Irã; recusas foram incomuns e muitas deixaram de ocorrer quando os pesquisadores disseram que o campo de batalha fazia parte de um jogo. Segundo a Vals, os modelos da Anthropic tiveram o pior desempenho, embora nenhum tenha se saído particularmente bem.
Os pesquisadores disseram não ter pedido decisões de ataque diretamente e observaram que o estudo usou modelos comerciais, não versões que as empresas poderiam fornecer a militares. A Anthropic disse ao TechCrunch que os resultados são inaceitáveis e que prepara salvaguardas adicionais; a OpenAI afirmou que proíbe o uso de seus modelos públicos para violência ou fins de segurança nacional não aprovados e também desenvolve proteções contra abusos envolvendo drones.
Por que importa · interpretação editorial
A avaliação sugere que salvaguardas de modelos comerciais podem ser inconsistentes diante de imagens e cenários militares, especialmente quando o contexto é reformulado como um jogo. Como o estudo não testou decisões diretas de ataque, seus resultados apontam para uma necessidade de avaliar limites de uso e proteções adicionais sem medir, por si só, desempenho em operações reais.
Fontes
SegurançaPesquisa