Microsoft estrena silicio personalizado para la IA y la nube: ARM Cobalt 100 de 128 núcleos y Maia 100 de 5 nm aspiran a potenciar las necesidades de entrenamiento e inferencia de IA de próxima generación
Especulaciones sobre Planes de Microsoft de tomar la ruta del silicio personalizado llevan corriendo desde hace bastante tiempo. Microsoft ha estado utilizando procesadores basados en Qualcomm como el SQ1, SQ2y el SQ3 (Snapdragon 8cx Gen 3) para su línea Surface. Sin embargo, los informes sobre la compañía reflexionando sobre sus propios diseños ARM internos para servidor comenzaron a surgirya en 2020mismo.
En la conferencia Microsoft Ignite que se está celebrando, la empresa desveló dos IP de silicio personalizadas diseñadas para atender sus ambiciosos planes de IA: el acelerador de IA Azure Maia 100 y la CPU personalizada Azure Cobalt 100. Microsoft desplegará por primera vez estos chips a principios del año que viene en sus propios centros de datos que alimentan Copilot y el servicio Azure OpenAI.
Sin embargo, Microsoft no está revelando mucha información técnica sobre los chips en sí. No obstante, señala que el Maia 100 es un chip de 5 nm con 105.000 millones de transistores, lo que lo convierte en uno de los mayores chips de este tipo fabricados con este proceso. Maia 100 ejecutará el entrenamiento y la inferencia basados en la nube para los modelos de OpenAI y ChatGPT, y ha sido diseñado específicamente para entrenar los grandes modelos lingüísticos de OpenAI.
Maia 100 estará totalmente refrigerado por líquido, y Microsoft incluso ha diseñado bastidores personalizados con "sidekicks" de radiadores de refrigeración líquida para alojar estos chips.
El Cobalt 100, por su parte, es una CPU de 64 bits y 128 núcleos que está diseñada para cargas de trabajo generales en la nube de Microsoft, incluidos Teams y SQL. Microsoft afirma que Cobalt 100 es un 40% más potente que la actual cosecha de chips ARM de Azure.
Además de Maia 100 y Cobalt 100, Microsoft también anunció la vista previa pública de las máquinas virtuales (VM) Azure NC H100 v5 para ejecutar cargas de trabajo de IA y computación de alto rendimiento (HPC). Estas VM se basan en las GPU Nvidia Hopper H100 y los procesadores AMD EPYC Genoa.
Los clientes pueden elegir entre dos configuraciones de NC H100 v5:
- 40 vCPU, 320 GB de RAM, 1 GPU H100 con 94 GB de HBM3 y 40 GBps de ancho de banda de red Azure
- 80 vCPU, 640 GB de RAM, 2 GPU H100 con 188 GB de HBM3 y 80 GBps de ancho de banda de red Azure
Sin embargo, Microsoft no deja de lado a AMD. El gigante de Redmond también ha anunciado que ahora ofrece máquinas virtuales con la última GPU Instinct MI300X de AMD con 1,5 TB de HBM3 por máquina virtual. Una VM ND MI300X v5 aprovecha ocho tarjetas MI300X interconectadas por Infinity Fabric 3.0 con 192 GB de memoria HBM3 por GPU que funciona a velocidades de 5,2 TB/s. Según Microsoft, las especificaciones de la ND MI300X v5 VM incluyen:
- infiniBand NVIDIA Quantum-2 CX7 a 400 Gb/s por GPU con 3,2 Tb/s por VM
- procesadores Intel Xeon Scalable de 4ª generación
- Interconexión PCIE Gen5 de host a GPU con 64 GB/s de ancho de banda por GPU
- 16 canales de módulos DIMM DDR5
El silicio personalizado de Microsoft está orientado actualmente hacia el lado del servidor. No está claro si la empresa incorporará alguna variante de Cobalt 100 a su línea Surface o seguirá confiando en las ofertas de Qualcomm, y posiblemente MediaTek, lo que no es necesariamente una mala idea dadas las impresionantes cifras iniciales obtenidos por el Snapdragon X Elite.
Compre el Microsoft Surface Laptop Studio 2 con RTX 4050 en Amazon
