La jefa de políticas de Hugging Face dice que los evaluadores integrados no serán una solución fácil

Irene Solaiman, jefa de políticas de Hugging Face, dijo en un evento de TechCrunch que los evaluadores integrados —observadores supuestamente neutrales de terceros dentro de organizaciones de IA— no serán una solución fácil. Según ella, las evaluaciones de modelos siguen siendo una ciencia en evolución: sus resultados deben ser reproducibles, pero las pruebas todavía no pueden compararse de manera significativa entre sí y al sector le falta un ecosistema más estandarizado. El acceso a pesos abiertos puede ayudar a reproducir los resultados.

Las evaluaciones también están ampliándose para cubrir todo el sistema, incluidas las herramientas usadas para acceder a un modelo, o “harnesses”, y los agentes. Solaiman dijo que las evaluaciones de agentes son difíciles y costosas, mientras que las de harnesses están menos desarrolladas. La contratación de Accenture por parte de Anthropic como su primer evaluador generó críticas, con cuestionamientos sobre si la consultora estaba calificada para la tarea.