Pesquisadores dizem que predictor elevou desempenho de agentes que modificam seu software

Pesquisadores da Universidade da Virgínia, Microsoft Research e Universidade Tsinghua desenvolveram o Improvement Dynamics Model (IDM), um componente que tenta prever se uma modificação feita por agentes de IA pode piorar seu desempenho. Quando identifica esse risco, o sistema permite uma revisão adicional antes da avaliação final. O método foi incorporado ao HyperAgents, que registra versões anteriores para orientar novas mudanças no código e nas instruções dos agentes.

Em um experimento com 166 tarefas de programação não usadas no processo de melhoria ou seleção, o agente inicial teve sucesso em aproximadamente 16% dos casos. Versões selecionadas do HyperAgents sem o predictor alcançaram mediana próxima de 22%, enquanto o método com previsão chegou a quase 30%. Os resultados, baseados em cinco execuções por configuração, foram apresentados em um estudo publicado no arXiv e refletem as condições desse experimento.