Meta's OK-Robot puede ordenar una habitación sin ayuda
El nuevo OK-Robot AI está diseñado para que una gran variedad de robots puedan ordenar habitaciones que son completamente nuevas para ellos. Por ejemplo, pueden recoger ropa sucia o juguetes del suelo y colocarlos en otro lugar. Otros sistemas robóticos suelen estar diseñados para funcionar en un entorno conocido.
OK-Robot trabaja con VLM (Vision-Language Models), un tipo de sistema de IA que es capaz de procesar y comprender información de texto o habla directa e imágenes al mismo tiempo. También es interesante señalar que OK-Robot trabaja con una variedad de sistemas de código abierto Modelos de IA y ha sido preentrenado con grandes conjuntos de datos que están a disposición del público.
En el lado positivo, no es necesario proporcionar al robot ningún dato de entrenamiento adicional en el entorno, simplemente funciona. En el lado negativo, sólo puede recoger un objeto y dejarlo en otro lugar. No se le puede pedir que abra un cajón, porque sólo sabe hacer esas dos cosas.
- Lerrel Pinto, profesor adjunto de informática en la Universidad de Nueva York, que codirigió el proyecto
El sistema fue probado por investigadores de la Universidad de Nueva York y Meta utilizando el robot comercial Stretch de Hello Robot. 171 experimentos de recogida y entrega se llevaron a cabo en diferentes hogares. Durante los experimentos, el robot escaneó el entorno utilizando el Record3D para iPhone para crear un vídeo en 3D. A continuación, el sistema OK Robot ejecutó un modelo de reconocimiento de objetos de IA sobre cada fotograma del vídeo.
Esto permitió al robot identificar todos los objetos de su entorno, como una mesa, un sofá, unas gafas, un zapato y una lámpara. A continuación se le indicó que recogiera determinados objetos, lo que hizo en el 82,2 % de los casos, siempre que la habitación no estuviera demasiado desordenada. En las habitaciones más caóticas, sin embargo, la tasa de éxito fue significativamente inferior.
Yo diría que es bastante inusual depender por completo de modelos estándar, y que es bastante impresionante hacer que funcionen. Hemos asistido a una revolución en el aprendizaje automático que ha hecho posible crear modelos que funcionan no sólo en los laboratorios, sino en el mundo abierto. Ver que esto funciona realmente en un entorno físico real es una información muy útil.
- Matthias Minderer, investigador principal de visión por ordenador en Google DeepMind, que no participó en el proyecto
El sistema está aún muy lejos de la perfección; por ejemplo, a veces tiene dificultades para comprender la entrada del habla, y su modelo de agarre también tiene problemas con algunos objetos. No obstante, el proyecto demuestra que los modelos actuales son capaces de desenvolverse relativamente bien con un vocabulario abierto y, al mismo tiempo, son capaces de navegar directamente hacia los objetos adecuados en espacios desconocidos.
Fuentes
MIT Technology Review | VentureBeat | imagen teaser: imagen simbólica de DALL-E / AI | imágenes 2,3: arvix
