Alumnos de Ingeniería Electrónica de la UTN BA desarrollaron un sistema de seguimiento de manos en 3D

Estudiantes de Ingeniería Electrónica de la UTNBA desarrollaron un sistema de seguimiento del movimiento de las manos en 3D, que permitiría eliminar el uso del mouse. El trabajo obtuvo el 1º premio del concurso EST, realizado durante la 45 edición de las Jornadas Argentinas de Informática.

La actividad, co-organizda por la Sociedad Argentina de Informática (SADIO), la Universidad Nacional de Tres de Febrero (UNTREF), y la Universidad Nacional de La Plata (UNLP), se realizó del 5 al 9 de Septiembre de 2016, en el Centro Cultural Borges.

El sistema desarrollado por los alumnos Marcelo Fernández y Nicolás Sugino, es capaz de ubicar la posición de una mano en 3 dimensiones: horizontal, vertical, y de profundidad, con respecto a la ubicación de las cámaras que apoyan el sistema.

“El usuario tiene un puntero con el que maneja la computadora, pero con este sistema puede manejarla simplemente con su mano, como si estuviera flotando en el aire, ante un sistema de cámaras que te permite controlar ese mouse. Normalmente, sólo sería en horizontal y vertical, pero hay programas de diseño 3D, con los que también se necesita la profundidad o hacer gestos. Esto te incorpora ese eje y trasciende lo que es el mouse”, explicó Marcelo Fernández.

Los estudiantes empezaron a trabajar hace dos años, de manera experimental, en realidades virtuales. Y en 2016 comenzaron a desarrollar este sistema para la materia Procesamiento Digital de Imágenes.

“Notamos que no había un sistema de control que tenga cierta flexibilidad con la realidad virtual, era anticuado, rudimentario. Y también observamos que en un entorno de realidad virtual se podría trabajar sin un periférico, que las manos fueran el periférico”, sostuvo Nicolás Sugino.

El sistema logra captar los movimientos de las manos con precisión milimétrica, y si bien ciertas tareas requieren de mayor precisión, el desarrollo alcanzó naturalidad en el manejo.

“Si uno quiere girar, modificar, o manipular objetos, en tres dimensiones se puede hacer más natural. Más aún con las pantallas táctiles, con las que las personas nos estamos acostumbrando a usar las manos en todos lados, no tanto a usar un joystick o un mouse”, aseguró Marcelo Fernández.

El sistema desarrollado por los alumnos de la UTNBA tiene múltiples aplicaciones, desde un brazo mecánico que podría copiar los movimientos de las manos, “con lo que se podría evitar que una persona tal vez esté expuesta a cierto químico o a cierto entorno peligroso. Por ejemplo, para los robots que se usan para desarmar bombas, para evitar que la persona tenga interacción”, detalló Fernández.

El sistema

Para desarrollar el proyecto, los estudiantes contaban con dos tecnologías: “la estereoscopía, con la que a partir de dos puntos de visión -dos cámaras, por ejemplo-, se puede determinar la profundidad. Y también utilizamos otra tecnología que consistía en poder detectar una mano mediante una serie de filtros, que la diferencie. Lo que queríamos hacer era mezclar esas dos tecnologías que habíamos investigado, y poder detectar una mano en los tres ejes”, detalló Nicolás Sugino.

Para eso, emplearon dos cámaras iguales, con la intención de detectar profundidad usando un mecanismo similar al de la vista humana, en la que uno de los dos ojos triangula o busca la profundidad. Pero si bien las cámaras eran del mismo modelo, tuvieron que calibrarlas porque presentaban diferencias.

Una vez que lo consiguieron, comenzaron a medir el movimiento de las manos: “Necesitábamos medir la profundidad; el proceso se llama ´cálculo de disparidad´, pero te devuelve un valor numérico. Teníamos que transformar ese valor en distancia, en centímetros, y para hacerlo usamos regla, pusimos objetos conocidos y empezamos a medir cada 1 centímetro o 1 milímetro, la distancia que nuestro sistema detectaba. Después hicimos una curva de corrección que transformaba ese valor numérico que leían las cámaras al valor de profundidad nuestro”, aseguró Sugino.

Los estudiantes de la UTNBA coincidieron además, en que el mayor desafío que les presentó el proyecto fue el de calibrar las cámaras, porque “estos conocimientos provienen del campo de la óptica. Necesitábamos corregir las deformaciones que hace una cámara por las lentes, por la forma en la que entra la luz a las lentes. Eso lo hicimos a través de software. Fue un proceso muy complicado porque tuvimos que investigar sobre el tema”, explicaron.

La Materia

Procesamiento Digital de Imágenes es una asignatura opcional de la carrera de Ingeniería Electrónica, en la que los alumnos son introducidos al reconocimiento digital de objetos. En ese sentido, los estudiantes aprenden que “hay algoritmos sobre cómo tratar una imagen antes para poder interpretarla con un sistema; es decir, a una foto hay que hacerle un pre procesamiento para poder sacar información de ella. Se le aplican una serie de filtros para poder obtener distintas cosas, objetos, colores determinados, formas”, sostuvo Nicolás Sugino.

Alfredo Campos, docente de la materia, fue uno de los promotores de la presentación del paper. “Fue fundamental para este proyecto que trascendiera y no quedara en nuestras computadoras. Nos incentivó a que escribiéramos el paper, a que hagamos el poster, a que lo presentemos en un Congreso. Lo presentamos en la 45 edición de las JAIIO el año pasado, en la parte de trabajos estudiantiles, y ganamos”, aseguró Marcelo Fernández.

Los estudiantes desarrollaron el proyecto durante la cursada de la materia, aunque tuvieron que incorporar conocimientos extra porque el sistema así lo requería. En ese sentido, tanto Fernández como Sugino, destacaron la colaboración del profesor de la materia, el Ing. Alfredo Campos: “siempre trató de darnos información, guiar, e inclusive lo que él no sabía también lo investigaba”, explicaron.