Aplicaciones en visión 3D y control de gestos usando Kinect SDK

Aplicaciones en visión 3D y control de gestos usando Kinect SDK Desde que apareció el controlador de juegos Kinect, y gracias a la ayuda de algunos hacks en sus controladores USB se ha hecho posible darle usos muy imaginativos a este dispositivo, sobre todo, en realidad virtual y realidad aumentada (ambas son tecnologías muy parecidas, pero tienen enfoques diferentes).

La cantidad de experimentos realizados con el sensor Kinect crece cada día. Solo es necesario buscar un poco en Google para observar cuanto material hay. A diferencia de otros medios usados para la captura de movimiento e interpretación del mismo, el sensor Kinect ha sido el primer paso real de esta actividad sin el uso de accesorios extras (como por ejemplo los controles Wiimote). Esto abre muchas posibilidades hacia una interacción mas libre y natural en el uso de equipos electrónicos que puedan ser controlados en forma conveniente mediante el uso de gestos.

Generación de escenarios virtuales

Si bien el sistema es altamente perfectible, y a la espera de mejoras en el mismo, muchos entusiastas se han abocado a hacer experimentos con el sensor Kinect, ya que es un dispositivo relativamente asequible y fácil de usar, más si requiere algo de trabajo su aprovechamiento a nivel de programación. La mayoría de estos experimentos se enfocan en la sobre impresión de imágenes virtuales sobre imagen real. Esta sobre impresión de imagen es solo visualizable en un teléfono móvil o en el PC mediante el uso de una cámara, que en esencia viene siendo una mejora de las aplicaciones típicas de la realidad aumentada mediante el uso de QR Codes (códigos QR). Ejemplos prácticos de esta técnica mediante el uso de códigos QR podemos observarlos en los siguientes videos:

Estos métodos pueden ser algo molestos por la necesidad de estar estampado de códigos QR en diferentes partes del cuerpo. Pero la tendencia va al uso de estas herramientas usando otros métodos de detección de imagen como por ejemplo el siguiente:

En este caso, el método de reconocimiento utilizado es mediante las facciones faciales.

El siguiente paso lógico en la generación de escenarios virtuales es la adaptación del aspecto de este último según la posición relativa del espectador. Dado que el sensor Kinect detecta no solo movimiento y forma, sino también profundidad de campo, es posible recrear imágenes que cambien y se adapten según el punto de vista del espectador.

Holografia 3D virtual

Aunque hoy día los sistemas holográficos al estilo Star Wars están todavía más cerca de la ciencia-ficción que de la realidad, es posible encontrar hoy día algunos experimentos interesantes que intentan simularlo. Es el caso de este hack para Kinect, que mediante el uso de un software de realidad aumentada y una tablet (en este caso una iPad) construye esta curiosa emulación holográfica.

Videoconferencia 3D

Por regla general, las videoconferencias son de visualización plana. Mediante el uso de múltiples dispositivos Kinect, la University of North Carolina at Chapel Hill ha desarrollado un método de Videoconferencia 3D, que captura el movimiento y el ángulo de visión del usuario para reconstruir en tiempo real una perspectiva 3D de su interlocutor en la conferencia. Todo esto sin la necesidad de usar como marcadores códigos QR o gafas especiales para visualizar la escena.

Control robótico y telemetría

La capacidad de detección de movimiento del sensor Kinect abre excelentes posibilidades en el campo de la robótica aplicada. La más llamativa es el control por telemetría, lo cual permitiría controlar una maquina en forma remota con solamente el uso de gestos.

El siguiente video me recuerda un poco a la escena del robot en la tristemente mala película Perdidos en el Espacio (véase la escena en particular a partir de 01:46). Si bien en este caso el control es algo mas sencillo, las posibilidades a futuro no dejan de ser sorprendentes.

Puede que a primera vista parezca algo incomodo, pero sus aplicaciones en areas clave como la Telemedicina, o en tareas de alto riesgo, como la exploración submarina o la minería, solo por citar algunas, justifican plenamente la inversión en tiempo y dinero en el desarrollo de esta área.

Interfaz de usuario y modelado 3D

Si ha existido una película de cine emblemática e inspiradora hacia el desarrollo de interfaces de usuario mediante el control de gestos, esta es sin duda Minority Report. Pocos años después, esto ya no esta tan lejos, considerando algunas soluciones interesantes que se han diseñado a partir de esta idea.

Pero es tangible que debe existir un interés general por este tipo de interfaces, mas tomando en cuenta que los actuales métodos tradicionales de control, los muy conocidos teclados (keyboard) y ratón (mouse), tienen cerca de 30 años entre nosotros, y no han evolucionado mucho desde entonces. Estos interfaces son claramente útiles, pero en ocasiones pueden ser imprácticos, sobre todo para las personas que padezcan algún impedimento físico-motor.

En el mes de Abril del año 2011, Google libero un video sobre su novedoso sistema de control gestual de correo, el Google’s Gmail Motion, que resulto ser una broma del tradicional April Fools Day en Norteamérica. En respuesta al video de Google, El Dr. Evan A. Suma de ICT MxR Lab’s presento en forma publica una aplicación que efectivamente puede controlar el uso del PC (en este caso, Gmail) mediante gestos.

Otra aplicación del control mediante gestos, es en el diseño CAD en 3D. En este caso es un proyecto que combina el uso del sensor Kinetc y un modulo Arduino. El sensor Kinect detecta los gestos y el modulo Arduino interpreta las ordenes para el programa de modelado 3D, mediante el uso de un guante interfaz con botones en las puntas de los dedos. Si bien eso se aleja un poco del control puro mediante gestos (al citado estilo de Minority Report), el uso del guante permite un control más preciso para ciertas ordenes complejas en el programa de diseño CAD.