Meta presenta Movie Gen AI para crear vídeos y música mediante instrucciones de texto para ayudar a los cineastas a ahorrar tiempo y dinero

Meta ha presentado Movie Gen, una IA capaz de crear y editar vídeos con música y efectos de sonido mediante indicaciones de texto. La IA es puntera en sus capacidades de generación de vídeo y audio, con unas características y un realismo que ninguna otra IA puede igualar.

Movie Gen es un modelo de IA con 30.000 millones de parámetros capaz de generar clips HD de 16 segundos a partir de indicaciones de texto. La IA ha sido preentrenada en mil millones de imágenes y 100 millones de vídeos. Los vídeos han sido seleccionados de una colección mucho mayor por su calidad para mejorar el entrenamiento. Movie Gen Audio es un modelo de IA con 13.000 millones de parámetros capaz de generar efectos de sonido y música de 48 kHz a partir de mensajes de texto. La IA ha sido preentrenada con un millón de horas de audio. Se utilizaron comentarios humanos y ejemplos de audio y vídeo de alta calidad para afinar la IA.

Dada una fotografía de una persona y una descripción de esa persona en una escena, la IA puede generar un vídeo realista de un actor y una escena animados. La IA ha sido entrenada en 22 tipos de movimiento y posición de la cámara, como gran angular, inclinación hacia arriba y camión a la izquierda, lo que permite a los cineastas especificar la colocación y los movimientos virtuales de la cámara como en un rodaje real. Los cineastas que insistan en hacer películas con actores y decorados reales pueden utilizar una DSLR de primera categoría , como la última Nikon Z6III de Amazon. De forma única, Movie Gen tiene la capacidad de editar vídeos de forma precisa y realista. Otras IA actualmente no pueden crear ediciones tan buenas como lo hace Movie Gen Edit.

También puede añadir audio de sonido profesional a los clips, incluyendo efectos de sonido y partituras musicales. La IA puede crear música de varios minutos de duración, pero está limitada a clips de vídeo de 16 segundos debido a los enormes recursos informáticos que esto exige. El audio sigue los compases de una escena y puede generar sonidos fuera de pantalla, como el piar de los pájaros en un bosque, basándose en el contexto de la escena.

Meta está trabajando para añadir salvaguardas a Movie Gen y dará a conocer la IA una vez que se sienta segura de ella.