MIT Technology Review: la ventaja de la IA empresarial depende de la infraestructura del modelo

MIT Technology Review sostiene que, a medida que la IA pasa de la experimentación a la producción, la pregunta central deja de ser solo qué puede hacer un modelo y pasa a ser si una empresa puede entregar esa capacidad de forma confiable, rentable y a escala. La publicación llama “serving harness” al sistema de ingeniería que rodea al modelo, incluida la arquitectura, la gestión de memoria, la programación y la optimización.

El análisis afirma que la carga de trabajo debe definir la arquitectura: un asistente que necesita respuestas rápidas tiene requisitos distintos de los de un flujo de procesamiento de documentos que funciona durante la noche. La latencia, la concurrencia, la presión sobre la memoria, el uso de GPU, el costo y el tráfico impredecible pueden importar más que pequeñas diferencias de precisión. La publicación recomienda medir el cuello de botella principal antes de optimizar; por ejemplo, la caché de clave-valor puede consumir la memoria disponible de la GPU cuando aumentan la concurrencia y la longitud del contexto, sin que agregar más capacidad de cómputo resuelva el problema.