Apple un estudio revela un fallo importante en los modelos lingüísticos de la IA: La precisión cae hasta un 65

Un reciente estudio realizado por algunos investigadores en Apple está sacudiendo la forma en que pensamos sobre la inteligencia de los grandes modelos lingüísticos (LLM) como ChatGPT. El estudio, dirigido por Iman Mirzadeh, utilizó una nueva prueba llamada GSM-Symbolic para ver lo bien que estos sistemas de IA manejan las matemáticas y el pensamiento lógico.

Lo que encontraron no fue muy bueno para las IA. Cuando introdujeron información adicional aleatoria en las preguntas, la precisión de los modelos cayó en picado: en algunos casos, hasta un 65%. La pregunta principal ni siquiera cambió. Esto sugiere que estos sistemas de IA carecen de una verdadera comprensión de sus tareas.

El estudio señala una diferencia esencial entre parecer inteligente y comprender las cosas. Muchas respuestas generadas por IA parecen correctas a primera vista, pero cuando se profundiza en ellas, se desmoronan. Esto pone de relieve que hablar como un humano no significa que la máquina esté pensando como tal.

Por ello, el estudio sugiere que debemos replantearnos hasta qué punto confiamos y dependemos de estos sistemas. Seguro que pueden hacer cosas increíbles, pero tienen algunos defectos significativos, especialmente con problemas difíciles o complicados. Reconocer estas debilidades es clave si queremos utilizar la IA de forma responsable.

En definitiva, este estudio nos recuerda que, aunque la IA puede ser útil, debemos mantener una mirada crítica sobre lo que puede y no puede hacer. A medida que estas herramientas se conviertan en una parte más importante de nuestras vidas, conocer sus límites será crucial si queremos utilizarlas de forma inteligente y responsable.