Los investigadores dicen que la herramienta Whisper de OpenAI se inventa cosas

Según un nuevo informe de https://abcnews.go.com/US/wireStory/researchers-ai-powered-transcription-tool-hospitals-invents-things-115170291 de ABC News (vía Engadget), la herramienta de transcripción de audio de OpenAI, Whisper, es propensa a alucinar transcripciones que no forman parte de las grabaciones originales.

Esto es preocupante porque Whisper ya se utiliza en varias industrias, incluidos los centros médicos que confían en la herramienta para transcribir las consultas. Y ello a pesar de la severa advertencia de OpenAI de no utilizarlo en "ámbitos de alto riesgo".

Un ingeniero especializado en aprendizaje automático descubrió alucinaciones en la mitad de más de 100 horas de transcripciones, mientras que otro desarrollador afirmó haberlas encontrado en la totalidad de las 26.000 transcripciones que analizó. Los investigadores afirmaron que esto podría dar lugar a transcripciones defectuosas en millones de grabaciones de todo el mundo. Un portavoz de OpenAI dijo a ABC News que la empresa ha estudiado estos informes e incluirá sus comentarios en las actualizaciones del modelo. La herramienta está incorporada a Oracle y Microsoft Cloud. Estos servicios cuentan con miles de clientes en todo el mundo, lo que aumenta el alcance del riesgo.

Las profesoras Allison Koenecke y Mona Sloane examinaron miles de fragmentos breves de TalkBank. Descubrieron que el 40% de las alucinaciones descubiertas eran perjudiciales. Por ejemplo, en una de las grabaciones, un orador dijo: "Él, el chico, iba a, no estoy segura exactamente, coger el paraguas", pero la herramienta lo transcribió como: "Cogió un trozo grande de la cruz, un trozo pequeñito... Estoy segura de que no tenía un cuchillo de terror, así que mató a varias personas".