Hugging Face dice que VocabX redujo 77% el costo de inferencia
🎧 Escucha esta noticia
Hugging Face dice que redujo 77% el costo medido de inferencia de un evaluador automatizado de ensayos en portugués sin cambiar el modelo base Qwen3-4B, los datos ni la receta de entrenamiento. El sistema produce evaluaciones en formato JSON y usaba el tokenizador original del modelo, con 151.669 entradas, diseñado para muchos idiomas y tipos de texto. La empresa afirma que ese vocabulario fragmentaba frases recurrentes y hacía que el modelo calculara puntuaciones para muchas entradas poco usadas en la tarea.
El método VocabX reconstruye el vocabulario en torno al costo de cada token, en lugar de considerar solo su frecuencia. Hugging Face dice que la reducción es especialmente relevante durante la generación, cuando los modelos pequeños realizan pasadas sucesivas y están limitados por el ancho de banda de la memoria. Las cifras provienen de la versión actual de un artículo todavía en revisión y pueden cambiar antes de su publicación.
Por qué importa · interpretación editorial
Si se mantienen los resultados de la versión actual del artículo, reconstruir el vocabulario según el costo de los tokens podría reducir el costo de inferencia sin cambiar el modelo base, los datos ni la receta de entrenamiento; un enfoque relevante para aplicaciones que generan respuestas estructuradas. Las cifras aún pueden cambiar antes de la publicación.
Fuentes
Investigación