Investigadores exploran la “teoría inversa de juegos” para controlar agentes de IA
🎧 Escucha esta noticia
Investigadores de seguridad de la IA estudian la “teoría inversa de juegos”, también llamada diseño de mecanismos, para crear reglas que incentiven comportamientos deseados. Según MIT Technology Review, un artículo preliminar de Stephen Morris, economista del MIT, y colegas de Yale y Columbia propone recompensar a un modelo por predecir la respuesta de otro, lo que dificultaría que finja ser menos capaz; otras ideas incluyen enfrentar a los agentes entre sí o combinar modelos con sesgos opuestos y premiar las respuestas coincidentes.
Elad Hazan, profesor de ciencias de la computación en Princeton, propone un sistema inspirado en las normas sociales, el sistema de justicia y los incentivos económicos: los agentes se alternarían entre resolver problemas y auditar el trabajo de los demás. Se castigaría a los solucionadores descubiertos haciendo trampa, así como a los auditores que no detectaran las trampas. El enfoque parte de la posibilidad de que nunca se llegue a comprender por completo el funcionamiento interno de los modelos de frontera.
Por qué importa · interpretación editorial
Si la ingeniería inversa del funcionamiento interno de los modelos de frontera sigue siendo limitada, las reglas de recompensa, auditoría y castigo podrían ofrecer otra forma de orientar a los agentes. Las propuestas también destacan que este tipo de supervisión dependería de detectar tanto el engaño de los agentes que resuelven como las fallas de los auditores.
Fuentes
InvestigaciónSeguridadAgentes