Pesquisadores exploram a “teoria reversa dos jogos” para controlar agentes de IA

Pesquisadores de segurança de IA estudam a “teoria reversa dos jogos”, também chamada de desenho de mecanismos, para criar regras que incentivem comportamentos desejados. Segundo o MIT Technology Review, um preprint de Stephen Morris, economista do MIT, e colegas de Yale e Columbia propõe recompensar um modelo pela capacidade de prever a resposta de outro, dificultando que ele finja ser menos capaz; outras ideias incluem colocar agentes em competição ou combinar modelos com vieses opostos e premiar respostas semelhantes.

Elad Hazan, professor de ciência da computação em Princeton, propõe um sistema inspirado em normas sociais, Justiça e incentivos econômicos: agentes se alternariam entre resolver problemas e auditar o trabalho dos demais. Solucionadores flagrados trapaceando seriam punidos, assim como auditores que não detectassem as fraudes. A abordagem parte da possibilidade de que os mecanismos internos dos modelos de fronteira nunca sejam completamente compreendidos.