La Llama 4 de Meta se entrena en más de 100.000 GPU Nvidia H100

Meta ha publicado recientemente una nueva actualización sobre Llama 4, su próximo gran modelo lingüístico. En una reciente llamada sobre ganancias, el director ejecutivo Mark Zuckerberg compartió que están entrenando los modelos de Llama 4 en un clúster formado por más de 100.000 GPU Nvidia H100-mayor que todo lo que él ha visto reportado por lo que otros están haciendo.

Este nuevo gran modelo lingüístico, que se espera para principios de 2025, desplegará primero sus versiones más pequeñas. Aunque no hay muchos detalles sobre sus capacidades específicas, Zuckerberg insinuó que Llama 4 tendrá nuevas características, mejores habilidades de razonamiento y, en general, será más rápido.

El enfoque de Meta con Llama 4 mantiene su patrón de hacer que los modelos sean de descarga gratuita, a diferencia de OpenAI y Google, que limitan el acceso únicamente a través de API. Este modelo es especialmente popular entre las startups y los investigadores que desean más libertad sobre cómo utilizar la IA.

Con una configuración informática tan masiva, las demandas energéticas son igualmente grandes, estimadas en 150 megavatios, cinco veces la demanda energética del mayor superordenador de un laboratorio nacional estadounidense. El presupuesto de Meta refleja esta escala, con un gasto en infraestructura que se espera que alcance los 40.000 millones de dólares en 2024, un aumento del 42% respecto a 2023.

Incluso con estos costes significativos, las finanzas de Meta son sólidas, mostrando un aumento del 22 por ciento en las ventas en gran parte gracias a los ingresos por publicidad, lo que ha ayudado a equilibrar un aumento del 9 por ciento en los costes operativos.