Microsoft detalha arquitetura do Azure Maia 300 para inferência de modelos
🎧 Ouça esta notícia
A Microsoft detalhou o Azure Maia 300, sua terceira geração de aceleradores desenvolvidos para inferência em escala de nuvem, incluindo cargas agênticas com múltiplas etapas, contextos longos e uso de ferramentas. Segundo a empresa, o sistema combina software, silício, racks, redes e datacenters projetados em conjunto para maximizar tokens úteis por watt e por dólar.
O Maia 300 evolui a arquitetura Software Defined Locally Accessed Dataflow (SDLA), com memória NUMA distribuída entre chiplets, formatos de menor precisão e conversão acelerada de tipos. A Microsoft afirma que cada rack passa a ter 96 aceleradores e que o domínio de expansão chega a um superpod com 12.288 aceleradores. A arquitetura multi-chiplet, baseada em TSMC N2P para computação, aumenta os FLOPs em 36%, oferece 2,5 vezes mais largura de banda HBM e 14% mais largura de banda entre aceleradores.
Por que importa · interpretação editorial
Para equipes que servem modelos com execução em várias etapas, contextos longos e uso de ferramentas, a arquitetura pode influenciar custo e eficiência operacional. A alegação da Microsoft de maximizar tokens úteis por watt e dólar destaca que o desempenho de inferência depende não só do chip, mas também de memória, rede e software co projetados.
Fontes
Hardware