Los investigadores de Adobe demuestran los avances de la IA VideoGigaGAN para mejorar los vídeos de baja calidad manteniendo un alto nivel de detalle

Los investigadores de Adobe han demostrado el progreso actual de su IA VideoGigaGAN para mejorar los vídeos de baja calidad. Una vez completamente desarrollada, la IA podrá generar vídeos de alta calidad sin recurrir a costosos reshoots. Adobe mejora los trabajos anteriores reduciendo los artefactos y el parpadeo y conservando al mismo tiempo los detalles finos en los vídeos procesados.

La tecnología de escalado de imágenes y superresolución se utiliza desde hace muchos años para mejorar la calidad y la resolución de las imágenes de baja calidad. Algunas cámaras Sony Cybershot utilizan su tecnología de superresolución By Pixel https://www.sony-asia.com/microsite/assets/cyber-shot/2011h2/clear-image-zoom/ para aumentar la escala de las imágenes de baja resolución utilizando una base de datos de imágenes de referencia, pero está limitada por la información de píxeles discretos a aumentar la escala de las imágenes dos o tres veces el tamaño original. Más recientemente, Generative Adversarial Networks (GAN) entrenadas en miles de millones de imágenes pueden aumentar la escala de las imágenes 8 veces y más.

Aplicar estas técnicas a los vídeos es un reto debido a la introducción de aliasing y tartamudeo. El suavizado de los detalles de la imagen puede eliminar estos problemas con la contrapartida de una peor calidad. VideoGigaGAN utiliza varias técnicas para sortear estas limitaciones, como el seguimiento del movimiento de los objetos, el desenfoque de la imagen y el aprendizaje y repintado de los detalles. Aun así, la IA no escala bien los textos pequeños ni los videoclips largos, por lo que se requiere más investigación. Mientras tanto, los lectores pueden capturar vídeos de alta calidad con una DSLR de primera categoría(como ésta de Amazon) para evitar el reescalado innecesario.

Detalles técnicos

Para mantener un flujo de vídeo fluido entre los fotogramas a lo largo del tiempo, se añade un módulo de IA de propagación guiada por flujo antes de la GAN principal. Éste "aprende" el movimiento de los objetos a lo largo del tiempo en la entrada original, de modo que se aplica el mismo movimiento suave en el vídeo reescalado. Además, las capas de muestreo ascendente de la GAN incorporan capas de atención temporal que ayudan a mantener suaves las transiciones de los fotogramas.

Para hacer frente al aliasing, los fotogramas son empujados a través de un bloque anti-aliasing en medio del GAN que, desafortunadamente, reduce la calidad de la imagen debido al desenfoque de los detalles. Esto da como resultado un vídeo reescalado con movimiento suave, sin aliasing, pero con detalles de imagen suaves. VideoGigaGAN soluciona este problema introduciendo una lanzadera de alta frecuencia que extrae los detalles finos de las capas iniciales de reducción de muestreo GAN y los aplica posteriormente a las capas de aumento de muestreo. El resultado de múltiples capas de procesamiento de la imagen es un vídeo de superresolución que contiene un alto nivel de detalle sin aliasing ni parpadeo.