Elon Musk afirma que la IA ha agotado los datos de entrenamiento del mundo real

En una entrevista reciente en el CES, Elon Musk mencionó que la inteligencia artificial básicamente ha agotado todos los datos de entrenamiento del mundo real disponibles, apuntando a la generación de datos sintéticos como el principal camino a seguir. Esta idea concuerda con lo que dijo el antiguo científico jefe de OpenAI, Ilya Sutskever, sobre alcanzar el "pico de datos" en el desarrollo de la IA.

Musk cree que nos quedamos sin datos producidos por humanos en 2024. Como consejero delegado de Tesla y propietario de xAI, subrayó que conseguir que la IA cree sus propios datos de entrenamiento es la solución más práctica para hacer avanzar la IA. Este método permite a los sistemas de IA controlarse a sí mismos y aprender sobre la marcha.

Muchas grandes empresas tecnológicas ya se han subido al tren de los datos sintéticos. El modelo Phi-4 de Microsoft, de código abierto, por ejemplo, se basa en una combinación de información sintética y del mundo real, mientras que Google utiliza una estrategia similar para sus modelos Gemma. El Sonnet Claude 3.5 de Anthropic y la última serie Llama de Meta también se basan en datos generados por la IA.

Mientras tanto, los analistas de Gartner predicen que para 2024, alrededor del 60% de los datos utilizados en proyectos de IA y análisis serán sintéticos. Una de las principales razones de este cambio es el coste. La startup de IA Writer afirma que gastó unos 700.000 dólares en desarrollar su modelo Palmyra X 004, mucho más barato que los 4,6 millones de dólares que se calcula que costaría construir un modelo OpenAI comparable.

Pero los datos sintéticos no están exentos de problemas. Los investigadores advierten del riesgo de "colapso del modelo", en el que la IA puede volverse menos inventiva y más sesgada. Este problema podría surgir si cualquier sesgo en el conjunto de datos original se amplifica cuando la IA empieza a producir datos frescos por su cuenta.