Pesquisador da Goodfire diz que LLMs podem ser mais fáceis de entender

Nick Cammarata, pesquisador da startup Goodfire e ex-funcionário da OpenAI, afirma em um texto de 26 mil palavras que os modelos de linguagem de grande escala (LLMs) podem ser mais fáceis de entender — e, portanto, de monitorar e controlar — do que se acreditava. A hipótese gerou especulações e celebrações entre pesquisadores de inteligência artificial, com alguns classificando o texto como um possível marco científico.

Chris Potts, da Universidade Stanford, porém, considera o material pouco mais que uma intuição e diz que ele não torna os problemas de entendimento dos LLMs mais fáceis. A visão predominante no campo é que redes neurais têm estruturas difíceis de interpretar, em parte porque um mesmo neurônio pode representar conceitos diferentes, fenômeno conhecido como superposição. Cammarata ajudou a desenvolver técnicas de interpretabilidade mecanística, mas afirma que antes era pessimista sobre a possibilidade de compreender modelos grandes em detalhes.