Microsoft detalla la arquitectura de Azure Maia 300 para inferencia
🎧 Escucha esta noticia
Microsoft detalló Azure Maia 300, su tercera generación de aceleradores diseñados para inferencia a escala de nube, incluidas cargas agénticas con ejecución de varios pasos, contextos largos y uso de herramientas. La empresa afirma que el sistema combina software, silicio, racks, redes y centros de datos diseñados en conjunto para maximizar los tokens útiles por vatio y por dólar.
Maia 300 evoluciona la arquitectura Software Defined Locally Accessed Dataflow (SDLA), con memoria NUMA distribuida entre chiplets, formatos de menor precisión y conversión acelerada de tipos mediante hardware. Microsoft afirma que cada rack ahora incluye 96 aceleradores y que el dominio de escalamiento llega a un superpod con 12.288 aceleradores. La arquitectura de múltiples chiplets, que usa TSMC N2P para el cómputo, aumenta 36% los FLOPS, ofrece 2,5 veces más ancho de banda HBM y 14% más ancho de banda de escalamiento.
Por qué importa · interpretación editorial
Para los equipos que sirven modelos con ejecución de varios pasos, contextos largos y uso de herramientas, la arquitectura podría afectar el costo y la eficiencia operativa. La afirmación de Microsoft de que maximiza los tokens útiles por vatio y dólar destaca que el rendimiento de la inferencia depende no solo del chip, sino también de la memoria, la red y el software diseñados en conjunto.
Fuentes
Hardware