La teoría de juegos inversa podría ayudar a controlar agentes de IA

Investigadores de seguridad de IA estudian la teoría de juegos inversa, también conocida como diseño de mecanismos, como alternativa a investigar el funcionamiento interno de los modelos o entrenarlos directamente para que sigan valores humanos. El enfoque busca crear reglas e incentivos que lleven a los agentes a comportarse como se desea, incluso cuando sus intenciones no son transparentes.

Según MIT Technology Review Brasil, un artículo en prepublicación del economista del MIT Stephen Morris, junto con investigadores de Yale y Columbia, propone recompensar a los modelos por su capacidad de predecir las respuestas de otro modelo, en lugar de evaluar solamente su desempeño. Esto podría dificultar que un agente simule tener menos capacidad para evitar mecanismos de seguridad. El artículo también sugiere competencias entre agentes y pares con sesgos opuestos, usando la coincidencia entre sus respuestas como incentivo.