Textos ChatGPT detectables: el modelo reconoce con fiabilidad el plagio AI
Los artículos de ChatGPT deben parecer lo más naturales posible, modelados a partir de la escritura humana con la que se ha entrenado a la IA. Por lo tanto, es difícil distinguir ese texto plagiado de la escritura real.
Los intentos anteriores de detectar automáticamente los textos generados por la IA han tenido una tasa de éxito muy inferior al 50% en algunos casos. Esto hace que el 99% suene muy diferente y mucho más prometedor.
Un equipo de la Universidad de Kansas, que publicó sus resultados el 6 de noviembre de 2023 en sciencedirect.com, fue capaz de desarrollar un sistema capaz de marcar de forma fiable artículos científicos creados artificialmente.
Ámbito de actuación reducido
En la configuración de prueba, se compararon textos de trece revistas científicas, todas ellas sobre química, con un total de 200 textos procedentes de GPT-3.5 o GPT-4.
Según los autores, 198 de estos textos fueron reconocidos como generados por la IA, lo que corresponde a una tasa del 99%. Esto se basó en 20 características del texto, como la longitud variable de las frases, la aparición típica de determinadas palabras o la puntuación. Además, se realizó un entrenamiento con numerosos textos científicos del campo de la química.
Y esta combinación de la estructura y el lenguaje clásicos de los textos científicos y el enfoque en un área temática son los responsables de la fiabilidad del sistema.
Sin embargo, en otra prueba con artículos de una página de noticias, el detector falló por completo. Prácticamente ninguna noticia creada artificialmente fue identificada como tal.
No obstante, parece prometedor que pueda alcanzarse un porcentaje de éxito tan elevado con herramientas como el análisis de textos para áreas temáticas específicas.
