Fugatto 1 de Nvidia puede sintetizar audio para crear nuevos sonidos

Nvidia ha mostrado un nuevo modelo de IA generativa que puede sintetizar audio mediante sencillas instrucciones de texto y entradas de audio contextuales para crear sonidos únicos. Nvidia concibe Fugatto 1 "como una herramienta para los creativos, que les permite dar vida rápidamente a sus fantasías sonoras y sonidos inauditos: un instrumento para la imaginación, no un sustituto de la creatividad"

En su documento de investigación https://fugatto.github.io/FUGATTO_ICLR_2025.pdfel equipo afirma que los grandes modelos lingüísticos (LLM) entrenados en texto pueden aprender a inferir instrucciones a partir de entradas, pero los LLM entrenados puramente en audio no pueden hacerlo. El audio no tiene datos que muestren cómo se creó.

Fugatto 1 de Nvidia utiliza un conjunto de datos especializado que extrae una amplia gama de sonidos y un método para comprender y controlar las instrucciones llamado ComposeableART. Esto permite al modelo crear un conjunto de datos emergente que puede ayudarle a combinar diferentes sonidos, incluso aquellos para los que no ha sido entrenado.

Nvidia ha mostrado algunos ejemplos del modelo en acción en la página Github de Fugattocomo la capacidad de sintetizar el sonido de un perro ladrando al compás de música electrónica de baile, una máquina de escribir que susurra cada letra tecleada e incluso un saxofón que maúlla o ladra.

De momento, Nvidia no tiene previsto dar a conocer el modelo públicamente.