Investigadores dicen que un predictor mejoró a agentes que modifican su software
🎧 Escucha esta noticia
Investigadores de la Universidad de Virginia, Microsoft Research y la Universidad de Tsinghua desarrollaron el Improvement Dynamics Model (IDM), un componente que intenta predecir si los cambios realizados por agentes de IA podrían empeorar su desempeño. Cuando detecta ese riesgo, el sistema permite una revisión adicional antes de la evaluación final. El método se incorporó a HyperAgents, que registra versiones anteriores para orientar nuevos cambios en el código y las instrucciones de los agentes.
En un experimento con 166 tareas de programación que no se utilizaron durante el proceso de mejora o selección, el agente inicial tuvo éxito en aproximadamente 16% de los casos. Las versiones seleccionadas de HyperAgents sin el predictor alcanzaron una mediana cercana a 22%, mientras que el método de predicción llegó a casi 30%. Los resultados, basados en cinco ejecuciones por configuración, se presentaron en un estudio publicado en arXiv y reflejan las condiciones de ese experimento.
Por qué importa · interpretación editorial
El enfoque sugiere una forma de reducir regresiones cuando los agentes modifican su propio código o instrucciones, al añadir una revisión antes de la evaluación final. Sin embargo, la ventaja observada está limitada a las condiciones del experimento, sus 166 tareas y cinco ejecuciones por configuración.
Fuentes
InvestigaciónAgentesCódigo