Hugging Face diz ter reduzido em 77% o custo de inferência com o VocabX

A Hugging Face diz ter reduzido em 77% o custo medido de inferência de um avaliador automatizado de redações em português, sem alterar o modelo-base Qwen3-4B, os dados ou a receita de treinamento. O sistema gera avaliações em JSON e usava o tokenizador original do modelo, com 151.669 entradas, criado para muitos idiomas e tipos de texto. Segundo a empresa, esse vocabulário fragmentava frases recorrentes e fazia o modelo calcular pontuações para muitas entradas pouco usadas na tarefa.

O método VocabX reconstrói o vocabulário em torno do custo de cada token, e não apenas de sua frequência. A Hugging Face afirma que a redução é especialmente relevante na fase de geração, em que modelos pequenos fazem passagens sucessivas e são limitados pela largura de banda da memória. Os números vêm da versão atual de um artigo ainda sob revisão e podem mudar antes da publicação.