El procesador CS-2 de Cerebras alcanza los 163 millones de núcleos para superar la complejidad del cerebro humano
Cerebras Systems es conocida por los mayores procesadores del mundo, que integran cientos de miles de núcleos en un solo chip. Estos núcleos no son los habituales X86 que vemos en los procesadores de los ordenadores hoy en día. En su lugar, son núcleos optimizados para la IA, similares a los núcleos Tensor de Nvidia, por lo que los chips están diseñados para procesar complicados modelos de cálculo que rivalizan con la complejidad del cerebro humano. Ahora, el Cerebras CS-2 que actualmente ostenta el récord de procesador de un solo chip más grande y rápido del mundo, se presentó hace un par de años, pero la empresa ha estado trabajando para mejorar su rendimiento y ahora puede ofrecer un sistema basado en CS-2 que puede procesar modelos de IA de 120 billones de parámetros, superando teóricamente al cerebro humano que puede disparar 100 billones de sinapsis. Como referencia, los actuales clusters de GPUs de superordenadores tienen un máximo de 1 billón de parámetros.
Aparentemente, un solo procesador CS-2 con 850.000 núcleos puede superar al cerebro humano, pero Cerebras también ofrece una solución de escalado que permite que hasta 192 sistemas CS-2 trabajen en tándem y hagan malabares con aún más billones de parámetros a través de hasta 162 millones de núcleos optimizados para IA. El chip CS-2 tiene el tamaño de una tableta grande y se produce en los Nodos de 7 nm de TSMC con 40 GB de SRAM en el chip. Esta cantidad de memoria no es suficiente para los modelos a escala cerebral, por lo que Cerebras ideó armarios MemoryX externos que proporcionan más memoria y almacenan los parámetros del modelo fuera del chip, liberando la memoria en el chip para el propio modelo. Este enfoque, combinado con el nuevo SwarmX Fabric, permite a Cerebras escalar el rendimiento de forma casi lineal en 192 sistemas CS-2.
SwarmX Fabric integra Ethernet en el nivel PHY y comprime los datos para transferirlos más rápidamente a través de los nodos existentes de hasta 32 sistemas CS-2 con un ancho de banda de ~1 Tb por nodo. Todos los conmutadores SwarmX Fabric se conectan directamente a la caja MemoryX, que puede soportar hasta 2,4 PB de memoria en una mezcla de flash y DRAM. Con la capacidad de memoria completa, la caja es capaz de almacenar hasta 120 billones de parámetros.
Lo más probable es que estos sistemas cuesten tanto que la lista de clientes de Cerebras sólo incluya entidades militares, de inteligencia y científicas como el Laboratorio Nacional de Argonne.
Fuente(s)
