OpenAI se esfuerza por reunir datos de entrenamiento para nuevos modelos

OpenAI parece haber dado con un cuello de botella en el rendimiento de sus modelos de IA de próxima generación. Al parecer, el próximo gran modelo de la empresa, "Orion", rinde menos en tareas específicas que los modelos anteriores.

Parece tener ventaja en tareas basadas en el lenguaje, como la traducción, la generación de textos, etc., pero ha demostrado ser decepcionante en trabajos como la codificación.

Según un informe de https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows de The Information (vía Gadgets360), parece que hay problemas para reunir datos de entrenamiento para los nuevos modelos. El modelo también es más caro de ejecutar en los centros de datos en comparación con GPT-4 y GPT-4o.

El salto de calidad también es más débil en comparación con los avances logrados por GPT-4 sobre GPT-3. Al parecer, OpenAI ha creado un equipo de fundaciones para resolver el problema de los datos de entrenamiento, pero aún no está claro si podrán obtener suficientes datos para el modelo de IA a tiempo para su lanzamiento.

No sólo OpenAI está obteniendo rendimientos insignificantes. Otros competidores, como Anthropic y Mistral, también muestran sólo ganancias iterativas con cada nueva versión. Un método sugerido para mejorar el rendimiento es optar por entrenar más el modelo después de su lanzamiento, afinando el resultado, pero se trata de una solución provisional y no permanente.