Investigador de Goodfire dice que los LLM pueden ser más fáciles de entender

Nick Cammarata, investigador de la startup Goodfire y ex empleado de OpenAI, sostiene en un texto de 26.000 palabras que los modelos de lenguaje de gran escala (LLM) pueden ser más fáciles de entender —y, por lo tanto, de monitorear y controlar— de lo que se creía. La hipótesis provocó especulaciones y celebraciones entre investigadores de inteligencia artificial, y algunos describieron el texto como un posible hito científico.

Chris Potts, de la Universidad de Stanford, considera, sin embargo, que el material es poco más que una intuición y dice que no facilita los problemas para entender los LLM. La visión predominante en el campo es que las redes neuronales tienen estructuras difíciles de interpretar, en parte porque una misma neurona puede representar conceptos diferentes, un fenómeno conocido como superposición. Cammarata ayudó a desarrollar técnicas de interpretabilidad mecanicista, pero dice que antes era pesimista sobre la posibilidad de entender en detalle los modelos grandes.