La herramienta de IA DiffUHaul de Nvidia puede mover objetos en imágenes
Investigadores de Nvidia han publicado en un artículo sobre una nueva herramienta de IA, DiffUHaul, que puede comprender y mover objetos dentro de una imagen sin cambiar el tamaño ni el fondo. El documento dice que la herramienta "aprovecha la comprensión espacial de un modelo localizado de texto a imagen, para la tarea de arrastre de objetos"
Los modelos actuales de texto a imagen tienen dificultades con las tareas complejas de edición de imágenes porque carecen de "razonamiento espacial" DiffuHaul resuelve este problema incorporándolo al modelo, lo que le permite rastrear objetos a través de una imagen, reubicándolos "sin fisuras" sin alterar nada más.
Para lograrlo, la herramienta enmascara el objeto durante los pasos de eliminación de ruido, lo que le ayuda a comprender su ubicación y separarlo del fondo. A continuación, interpola la diferencia entre la imagen original y la generada para colocar el objeto en una nueva posición sin tocar el fondo. Después, los detalles y rasgos más finos de la imagen original se trasladan a la nueva para mantener la coherencia.
DiffUHaul se basa en BlobGENun modelo que utiliza la comprensión espacial para componer imágenes a partir de indicaciones complejas. El documento afirma que la herramienta no requiere entrenamiento, lo que significa que se creó sin ningún conjunto de datos y funciona nada más sacarla de la caja.
Fuente(s)
