Computex 2024 | Gigabyte ofrece un PC AMD Ryzen Threadripper 7975X preconstruido de 35.000 dólares para entrenar tu propia IA de 236.000 millones de param en casa

Gigabyte presenta nuevos PCs AI TOP preconstruidos para el entrenamiento y la inferencia LLM local. (Fuente: Gigabyte)

Gigabyte ofrece nuevos PC preconstruidos que permiten a todo el mundo, desde estudiantes a profesionales, realizar su propio entrenamiento e inferencia de IA desde la comodidad de sus hogares. Denominados AI TOP PC, estos PC preconstruidos vienen con componentes Gigabyte elegidos y pueden escalar desde 8.000 millones de modelos param hasta 236.000 millones, todo ello funcionando con un enchufe de pared típico de casa.

Vaidyanathan Subramaniam (traducido por Ninh Duy), Published 06/03/2024 🇺🇸 🇳🇱 ...

Launch AI Desktop Workstation AMD Ryzen (Zen) Geforce GPU Zen 4

La inteligencia artificial (IA) está en todas las noticias estos días con los OEM abofeteando la etiqueta de IA en casi cualquier cosa y todo - casi incluso en la humilde pasta térmica.

Aunque la mayoría de los modelos de IA como ChatGPT, DALL-E, Gemini, Llama, Copilot, etc. dependen en gran medida de la nube dados sus estupendos requisitos de computación, también es posible ejecutar la inferencia de IA en el borde o en los sistemas cliente. Esto adquiere especial importancia si desea entrenar modelos de IA sobre datos sensibles e IP manteniéndolos on-prem.

Entrenar modelos de IA e inferenciarlos en el borde es posible, pero el hardware de consumo supone una gran limitación a la hora de ejecutar grandes modelos y procesar de forma eficiente más tokens por vatio. Gigabyte quiere cambiar eso y ayudarle a "entrenar su propia IA en su escritorio" con la nueva gama AI TOP.

Utilidad AI TOP

Gigabyte afirma que sus PC AI TOP se basan en tres estructuras: AI TOP Utility, AI TOP Hardware y AI TOP Tutor. El objetivo es permitir escalar de 8/30.000 millones de parámetros a 70/236.000 millones y, al mismo tiempo, poder hacer funcionar el sistema con un enchufe de pared común.

La Utilidad AI TOP permite monitorizar diversos parámetros del sistema, como el uso de la CPU, la GPU, la RAM y la SSD, al tiempo que ofrece una interfaz gráfica de usuario sin código para las tareas de entrenamiento de la IA.

AI TOP Hardware

En cuanto al hardware, los PC AI TOP vienen con hardware estandarizado y totalmente probado, desde la placa base hasta la fuente de alimentación. Los componentes están diseñados para poder actualizarse según sea necesario y utilizarse en un entorno doméstico o de oficina típico.

A propósito de esto, la empresa ofrece dos placas base adaptadas para el uso de IA:

TRX50 Aero D(559 dólares en Amazon) AI TOP con LAN dual 10GbE, hasta 2 TB DDR5, 4x ranuras PCIe Gen 5 x16 y 4x SSD NVMe para uso con CPU AMD Threadripper Serie 7000 Storm Peak HEDT
W790 AI TOP con 2x Thunderbolt 4, hasta 2 TB DDR5, 5x ranuras PCIe Gen 5 x16 y 6x SSD NVMe para su uso con CPU Intel Xeon-W2400 y W3400 Sapphire Rapids HEDT

En cuanto a las GPU, los PC Gigabyte AI TOP pueden hacer uso de la GPU Nvidia GeForce RTX 4070 Ti Super AI TOP 16G, cuatro de las cuales pueden combinarse para un total de 64 GB de VRAM para el entrenamiento de IA. También puede optar por la nueva AMD Radeon Pro W7900 DS AI TOP 48G o la W700 AI TOP 32G y ampliarlas hasta cuatro tarjetas para obtener la friolera de 192 GB de VRAM.

Gigabyte también ofrece una unidad SSD NVMe AI TOP 100E con la caché aiDAPTIVCache de Phison que está adaptada para ejecutar el modelo aiDAPTIV+ de Phison. Esta SSD está clasificada para ofrecer hasta 7.200/6.500 MB/s de velocidad de lectura/escritura secuencial y 150x TBW.

Los PC AI TOP vienen equipados con la fuente de alimentación UD1600PM PG5 80+ Platinum que proporciona suficiente potencia para hacer funcionar cuatro GPU y está clasificada para durar el doble que las fuentes de alimentación convencionales.

Estos PC preconstruidos AI TOP parten de los 6.499 dólares para 8.000 millones de parámetros, 11.999 dólares para 13.000 millones, 16.499 dólares para 30.000 millones y llegan hasta los 35.999 dólares para 70.000 millones de parámetros con un tamaño máximo de modelo de hasta 236.000 millones.

Las dos primeras opciones ofrecen CPU AMD Ryzen Threadripper 7960X(1.399 dólares en Amazon) y 2 GPU RTX 4070 Ti Super. La configuración de 30B la eleva a Threadripper 7975X (3.899 dólares en Amazon) y 4x RTX 4070 Ti Supers. Por último, el behemoth de 70B utiliza el Threadripper 7975X y 4x GPUs Radeon Pro W7900.

Tutor AI TOP

Por último, contamos con AI TOP Tutor, que ha sido formado utilizando la Utilidad AI TOP para proporcionar asesoramiento, consulta y orientación sobre todo lo relacionado con AI TOP.