Hugging Face presenta FairStress, un benchmark para evaluar la justicia en LLM

Hugging Face presentó FairStress, un benchmark para medir la justicia demográfica en modelos de lenguaje más allá de la elección final en decisiones de alto impacto. La herramienta contiene 300 escenarios realistas de decisiones entre dos candidatos, distribuidos en 29 áreas, como contratación, salud, préstamos, educación, vivienda y justicia penal, y está disponible para descargar. La empresa también está incorporando el benchmark a Olmo-eval, su herramienta abierta para ejecutar y comparar evaluaciones.

Según Hugging Face, las pruebas con modelos como Olmo, Llama, Qwen, Gemma, Claude y la familia GPT indican que los mismos argumentos persuasivos pueden hacer que los modelos sean más o menos propensos a cambiar una decisión según el grupo demográfico al que favorezcan. FairStress busca medir esa asimetría, además de diferencias en las explicaciones y en los patrones internos de los modelos, con una definición de justicia basada en aplicar los mismos criterios por igual, sin intentar abarcar todas las concepciones de equidad.