Teoria dos jogos reversa pode ajudar a controlar agentes de IA

Pesquisadores de segurança de IA estudam a teoria dos jogos reversa, também chamada de desenho de mecanismos, como alternativa a investigar o funcionamento interno dos modelos ou treiná-los diretamente para seguir valores humanos. A abordagem busca criar regras e incentivos que levem os agentes a se comportar de maneira desejada, mesmo quando suas intenções não são transparentes.

Segundo o MIT Technology Review Brasil, um artigo em pré-publicação de Stephen Morris, economista do MIT, com pesquisadores de Yale e Columbia, propõe recompensar modelos pela capacidade de prever as respostas de outro modelo, em vez de avaliar apenas seu desempenho. Isso poderia dificultar que um agente simulasse ter menos capacidade para evitar mecanismos de segurança. O artigo também sugere competições entre agentes e pares com vieses opostos, usando a concordância entre respostas como incentivo.