d-Matrix presenta la tarjeta Corsair C8 9 veces más rápida que la GPU H100 de Nvidia en cargas de trabajo de IA generativa
Mientras TSMC advierte que las GPU de IA H100 de Nvidia seguirán escaseando en los próximos 18 meses debido a la insuficiente capacidad de empaquetado de chips en obleas sobre sustrato (CoWoS), otras empresas están viendo la oportunidad de intervenir y satisfacer la abrumadora demanda de hardware de IA generativa. Una de ellas es una nueva empresa llamada d-Matrix, que recientemente ha conseguido 110 millones de dólares de inversores como Microsoft demostrando las velocidades sin precedentes de su tarjeta de cálculo Corsair C8, que se dice que tiene 9 veces el rendimiento de una Nvidia H100 En cargas de trabajo de IA generativa.
Estas impresionantes velocidades se consiguen gracias a la tecnología DIMC (digital-in-memory computer) de d-Matrix. A diferencia de la Nvidia A100 y H100 de Nvidia, diseñadas para una amplia variedad de tareas informáticas de alto rendimiento, las tarjetas Corsair C8 de d-Matrix se han creado específicamente para cargas de trabajo de IA generativa e inferencia. Una sola tarjeta Corsair C8 integra 2.048 núcleos DIMC agrupados en 8 chiplets con un total de 130.000 millones de transistores, y también cuenta con 256 GB de memoria RAM LPDDR5 para albergar fácilmente modelos enteros de IA en la memoria. Todos los chiplets están interconectados mediante PCIe 5.0 con un ancho de banda de 1 TB/s, lo que da un total de 8 TB/s de ancho de banda entre chips. d-Matrix incluye también 2 GB de SRAM con un ancho de banda de 150 TB/s. Dependiendo de la carga de trabajo de IA, el Corsair C8 proporciona entre 2400 y 9600 TFLOPS.
Gracias a la capacidad de escalado optimizada y a la naturaleza sin fricciones de la pila de software de código abierto, d-Matrix afirma que un clúster de tarjetas Corsair C8 podría conseguir una eficiencia energética 20 veces mayor, una latencia 20 veces menor y unos costes hasta 30 veces inferiores a los de soluciones similares de Nvidia.
