Chefe de políticas da Hugging Face diz que avaliadores incorporados não serão solução fácil
🎧 Ouça esta notícia
Irene Solaiman, chefe de políticas da Hugging Face, disse em um evento do TechCrunch que avaliadores incorporados — observadores supostamente neutros de terceiros dentro de organizações de IA — não serão uma solução fácil. Segundo ela, as avaliações de modelos ainda são uma ciência em evolução: seus resultados precisam ser reproduzíveis, mas os testes não podem ser comparados de maneira significativa entre si, e o setor carece de um ecossistema mais padronizado. O acesso aos pesos abertos pode ajudar na reprodução dos resultados.
As avaliações também estão passando a considerar o sistema completo, incluindo as ferramentas de acesso ao modelo, ou “harnesses”, e agentes. Solaiman afirmou que avaliações de agentes são difíceis e caras, enquanto as de harnesses ainda são menos desenvolvidas. A contratação da Accenture pela Anthropic como sua primeira avaliadora gerou críticas, com questionamentos sobre a qualificação da consultoria para a função.
Por que importa · interpretação editorial
A avaliação de sistemas de IA pode exigir critérios que cubram modelos, ferramentas e agentes, mas a falta de padrões comparáveis dificulta interpretar resultados entre organizações. O comentário também sugere que a independência dos avaliadores, por si só, não resolve os desafios de custo, reprodutibilidade e qualificação.
Fontes
Pesquisa