Apple's primer LLM público se llama Ferret, impulsado por 8 GPUs Nivida A100

Apple ha lanzado silenciosamente su primera IA multimodal Large Language Model (LLM) como proyecto de código abierto, a la que ha bautizado como Ferret. La nueva IA Ferret fue presentada en octubre por el investigador de IA de Apple Zhe Gan a través de X/Twitter, pero pasó prácticamente desapercibida hasta ahora. Ferret fue desarrollada conjuntamente por Gan y sus colegas de Apple, junto con investigadores de la Universidad de Columbia. Según Gan, Ferret es más preciso a la hora de comprender pequeñas regiones de la imagen y describirlas que el GPT-4 de OpenAI, al tiempo que produce menos alucinaciones (errores).

Curiosamente, el repositorio de Github de Apple's https://github.com/apple/ml-ferret revela que la empresa entrenó a Ferret utilizando 8 GPU Nvidia A100 de gama alta equipadas con 80 GB de RAM HBM2e. La A100 es la GPU más demandada del mercado tras la explosión de la tecnología de IA generativa que siguió al lanzamiento de ChatGPT de OpenAI de OpenAI a finales del año pasado. Es capaz de alcanzar los 312 TeraFLOPS con precisión Tensor Float 32 y el modelo de 80 GB utilizado por Apple para entrenar a Ferret ofrece un ancho de banda de hasta 2.039 GB/s. La empresa no revela, sin embargo, la materia que utilizó para entrenar el nuevo modelo.

Aunque Apple se encuentra todavía en una fase relativamente temprana de su andadura en la IA generativa con Ferret, el objetivo será conseguir que un modelo como Ferret funcione eficazmente en un teléfono inteligente. Se cree que el GPT4 de OpenAI tiene más de un billón de parámetros, pero actualmente los teléfonos móviles sólo pueden manejar LLM con unos 10.000 millones de parámetros. Con este fin Apple los investigadores también han hecho recientemente un gran avance demostrando cómo complementar la RAM de los smartphones con almacenamiento flash a bordo para meter con calzador modelos más grandes de los que de otro modo sería posible ejecutar en el dispositivo.