Se rumorea que la Nvidia GH100 Hopper cuenta con más de 140.000 millones de transistores, la arquitectura de GPU MCM basada en COPA puede ofrecer teóricamente hasta 233 GB de VRAM HBM2
Nvidia Hopper es un nombre que ha estado asomando la cabeza en la fábrica de rumores de vez en cuando desde hace bastante tiempo. La GH100 Hopper está programada para suceder a la GA100 Ampere y será una tarjeta centrada en la computación de alto rendimiento (HPC), mientras que se espera que su homóloga de consumo sea la AD102 Lovelace. Ya habíamos informado anteriormente sobre el rumoreado tamaño de la matriz de la GH100, y ahora estamos conociendo el probable número de transistores.
Esta información nos llega a través de Zhangzhonghao, de los foros de Chiphell. En realidad, el autor no menciona el GH100 ni el Hopper por su nombre, sino que afirma: "Más de 140.000 millones... es una bomba nuclear que da miedo" (traducción automática del chino). Pero no es difícil adivinar que se refería al próximo acelerador HPC de 5 nm de Nvidia. De ser cierto, este rumoreado recuento de transistores para Hopper es unas 2,58 veces más que el de la GA100 Ampere (54.200 millones) y 2,40 veces el de la AMD Aldebaran Instinct MI200 (58.200 millones).
Recientemente, el conocido filtrador @kopite7kimi afirmó en Twitter que el GH100 Hopper podría tener un área de matriz apenas inferior a 1000 mm2. Sin embargo, el límite actual de la retícula litográfica de 858 mm2 hace que su afirmación sea un poco difícil de creer todavía. Si suponemos que el área de la matriz es de 900 mm2, el GH100 Hopper podría tener 150 millones de transistores por mm2 en el nodo de 5 nm. 3DCenter hizo algunos cálculos rápidos en https://www.3dcenter.org/news/news-des-7-februar-2022 y llegó a cifras que indican 486 o 972 millones de transistores por multiprocesador de sombreado (144 SM en total), dependiendo de si Hopper tendrá unos "modestos" 70.000 millones de transistores o los 140.000 millones reales.
Estas cifras indican que Hopper será probablemente un módulo multichip (MCM), como se viene especulando desde hace tiempo. Sin embargo, los últimos rumores indican que veremos una matriz monolítica en su mayor parte. Por el momento, no está claro si Nvidia ofrecerá Hopper tanto en su variante monolítica como en la MCM.
En un reciente artículo de investigación de https://dl.acm.org/doi/10.1145/3484505 publicado en la revista ACM Transactions on Architecture and Code Optimization, Nvidia plantea la posibilidad de combinar en una sola GPU cargas de trabajo de aprendizaje profundo (DL) basadas en FP16 y cargas de trabajo de HPC basadas en FP32 y superiores
El documento postula las ventajas de una arquitectura de GPU compuesta en paquete (COPA-GPU) con un diseño MCM y también alude a una misteriosa GPU-N con 8.576 núcleos CUDA y 100 GB de VRAM HBM2.
Nvidia también ha hecho referencia a varios diseños con caché de último nivel (LLC) que varían entre 60 MB (en la GPU-N) y 1.920 MB (en la COPA-GPU 5) y capacidades de RAM que van de 100 GB a 233 GB. Por supuesto, la mayor parte de esto es teórico, pero es posible que algunas de estas variantes formen parte de la familia Hopper.
Esperamos que Nvidia hable de la GH100 Hopper durante la keynote de la GTC 2022 de la compañía, el 21 de marzo.
Fuente(s)
Foro de Chiphell (en chino)
