Gesture recognition using deep learning in virtual reality environments

Contactless systems have taken on a notable presence in the evolution of human-computer communication in recent years. Methods based on gestural recognition have been one of the most investigated. With the emergence of deep learning models and the increase of hardware possibilities, they have allowed us to work with increasingly larger databases and with larger and more complex architectures. Being able to improve previous results. This document introduces the implementation of a Gestual Recognition model in Deep Learining in virtual environments using color and depth images (RGB-D). To achieve this objective, a model inspired by the R3DCNN model presented in the work of P. Molchanov [2] trained in the Chalearn database and in the Telepresence Dataset database created by the student José Famadas in his Final Degree Thesis [1]. With this model, precision values of 67% have been obtained for the Chalearn database and 27% for the Telepresence database. This makes us think that we have been able to improve previous results of other projects, although it has not been possible to deal with the problems with the Telepresence database.Los sistemas que no requieren de un contacto directo han cogido una presencia notable en la evolución de la comunicación entre las personas y las máquinas en los últimos años. Los métodos basados en el reconocimiento gestual han sido uno de los más investigados. Con la irrupción de los modelos de aprendizaje profundo (Deep Learning) así como el aumento de las posibilidades de hardware han permitido trabajar con bases de datos cada vez más grandes y con arquitecturas más grandes y complejas. Pudiendo mejorar los resultados anteriores. En este documento se introduce la implementación de un modelo de Reconocimiento Gestual en Deep Learining destinado a entornos virtuales utilizando imágenes en color y profundidad (RGB-D). Para alcanzar este objetivo se utiliza un modelo inspirado en el modelo R3DCNN presentado en el trabajo de P. Molchanov [2] entrenado en la base de datos de Chalearn y en la base de datos Telepresence Dataset creada por el estudiante José Famadas en su trabajo de fin de grado [1]. Con este modelo se han obtenido unos valores de precisión del 67% para la base de datos de Chalearn y de un 27% para la base de datos de Telepresence. El que nos hace pensar que se ha conseguido mejorar los resultados previos de otros proyectos, aunque no se ha podido hacer frente a los problemas con la base de datos de Telepresence.Els sistemes que no requereixen d'un contacte directe han agafat una presència notable en la evolució de la comunicació entre les persones i les màquines en els darrers anys. Els mètodes basats en el reconeixement gestual han estat un dels més investigats. Amb la irrupció dels models d'aprenentatge profund (Deep Learning) així com l'augment de les possibilitats de hardware han permès treballar amb bases de dades cada cop més grans i amb arquitectures més grans i complexes. Podent millorar els resultats anteriors. En aquest document s'introdueix la implementació d'un model de Reconeixement Gestual en Deep Learining destinat a entorns virtuals fent servir imatges en color i profunditat (RGB-D). Per assolir aquest objectiu es fa servir un model inspirat en el model R3DCNN presentat en el treball de P. Molchanov [2] entrenat en la base de dades de Chalearn i en la base de dades Telepresence Dataset creada per l'estudiant Josep Famadas en el seu treball de final de grau [1]. Amb aquest model s'ha obtingut uns valors de Accuracy del 67% per la base de dades de Chalearn i d'un 27% per la base de dades de Telepresence. El qual ens fa pensar que s'ha aconseguit millorar els resultats previs d'altres projectes malgrat que no s'ha pogut fer front als problemes amb la base de dades de Telepresence