Interacción con objetos en Realidad Virtual utilizando tracking de manos

En este proyecto hemos desarrollado un sistema de agarre de objetos en Unreal Engine 4. Para la creación de este sistema se ha partido de un proyecto base llamado UnrealGrasp, que ha sido modificado para usar el framework de detección de manos que ofrece Oculus y poder así interactuar con los objetos del entorno virtual únicamente con las propias manos. Se ha implementado un algoritmo que decide cuándo mover y bloquear los dedos de nuestra mano virtual, así como cuándo estamos agarrando un objeto y cuándo este ha sido liberado. Una vez hecho esto, se puede usar con diferentes fines, entre ellos, interactuar en un entorno con objetos o generar un dataset de agarres. Usando un entorno en el que van apareciendo objetos, se ha pedido a diferentes personas que los agarren. Los objetos aparecen secuencialmente y en diferentes orientaciones para favorecer que se hagan diferentes tipos de agarres. Se ha recogido esta información en forma de mapa de calor, creando un dataset de 12 objetos que puede ser usado en diferentes campos, como entrenar un sistema de inteligencia artificial o hacer un estudio más exhaustivo sobre agarres. Finalmente, se ha creado una demo virtual en la cual el usuario puede moverse e interactuar con objetos de todo tipo: juguetes, herramientas técnicas, utensilios de laboratorio o alimentos, entre otros. Con esto se pretende demostrar la gran cantidad de aplicaciones que puede tener esta novedosa tecnología