Desarrollo de un sistema de monitorización de estrategias de pádel en tiempo real usando unidades de medición inerciales y algoritmos de Deep Learning

El proyecto consiste en el desarrollo de un sistema que obtiene estadísticas en tiempo real que permiten deducir la estrategia de juego (ofensiva o defensiva) de cada jugador o pareja que participa en un partido de pádel. Para ello, se ha sensorizado una pala de pádel mediante una unidad de medición inercial (incluye acelerómetro y giróscopo) y se ha creado una arquitectura MQTT que permite implementar un paradigma de comunicación indirecta conocida como publicador-suscriptor que facilita el envío de información desde las cuatro unidades de recogida de datos presentes en un partido hasta un ordenador encargado de procesar la información mediante un algoritmo de aprendizaje profundo. La información de aceleración y velocidad angular en los tres ejes obtenida por las unidades de medición inercial es transformada en alabeo, cabeceo y guiñada mediante un algoritmo conocido como filtro de Madgwick para modelar la rotación de las palas de pádel en torno a los ejes X, Y y Z respectivamente. La arquitectura MQTT creada consiste en cuatro publicadores (uno por cada unidad de recogida de datos) que envían las mediciones a un ‘broker’ encargado de almacenar la información en temáticas jerárquicas (‘topics’) temporalmente hasta que es recibida por cuatro suscriptores responsables del procesamiento. Dentro de la disciplinada del aprendizaje profundo, se ha hecho uso de redes neuronales recurrentes puesto que son apropiadas para tratar datos de tipo secuencial ya que son capaces de encontrar relaciones de cómo los datos van variando en el tiempo. Concretamente, se ha aplicado un tipo de redes neuronales recurrentes conocidas como ‘Long Short-Term Memory’ - ‘LSTM’ porque, según la literatura, son las que mejor resultados consiguen en clasificación de secuencias. Una parte muy importante del trabajo es ajustar los parámetros de la red neuronal recurrente para un adecuado funcionamiento en la clasificación del tipo de golpe utilizado por los jugadores de pádel. Previa a la aplicación de la red neuronal recurrente, se aplica un algoritmo encargado de determinar el instante de golpeo de la bola de pádel (gracias a la detección de máximos en la señal de módulo de la aceleración) para proporcionar a la red neuronal muestras de alabeo, cabeceo y quiñada unos instantes previos y posteriores al golpeo. A medida que se van clasificando nuevos golpes en volea, bandeja o globo, se van almacenando estadísticas en ElasticSearch para su visualización mediante un cuadro de mandos en Kibana. Cuatro gráficos de Kibana que se actualizan a medida que van llegando nuevos datos muestran el total de voleas, bandejas o globos que ha utilizado cada jugador o pareja hasta el momento en un partido de pádel, así como está misma información agregada en número de golpes ofensivos o defensivos. El proyecto se basa en el lenguaje de programación Python y el uso de una serie de librerías entre las que destacan Paho-MQTT para la implementación del protocolo MQTT y Keras para la implementación de redes neuronales. El ‘dataset’ utilizado para el entrenamiento y optimización del algoritmo de aprendizaje profundo es de creación propia e incluye golpes realizados por distintos jugadores de pádel. La necesidad de crear un ‘dataset’ propio y la gran cantidad de trabajo que conlleva es lo que ha limitado el proyecto a tres clases de golpes (volea de derecha, bandeja y globo de derecha) y a jugadores diestros. No obstante, esto es fácilmente exportable para el resto de golpes y para jugadores zurdos. Abstract: The project consists in the development of a system that obtains non-strict real time statistics that allows deducting the game strategy (offensive or defensive) of each player or pair that participates in a paddle tennis match. In order to do so, a paddle tennis racket has been sensorized using an inertial measurement unit (includes an accelerometer and gyroscope) and it has been created a MQTT architecture that allows implementing a paradigm of indirect communication known as publish-subscribe which eases forwarding information from the four data collection units present in a match to a computer in charge of processing the information by Deep Learning algorithms. The acceleration and angular velocity in the three axes collected by the inertial measurement units is transformed into roll, pitch and yaw by an algorithm known as Madgwick filter to model the rotations of the paddle tennis rackets around the axis X, Y and Z respectively. The MQTT architecture created consists of four publishers (one for each data collection unit) that send the measurements to a broker in charge of storing the information in topics temporarily until it’s received by four subscribers responsible for the processing. Within the Deep Learning disciple, recurrent neural networks have been chosen since they are appropriate to process sequential data as they are capable of finding relationships of how the data varies in time. More precisely, a recurrent neural network known as Long Short-Term Memory – LSTM has been applied because according to the literature, they are the ones with better performance in sequence classification. An important part of the work is adjusting the parameters of the recurrent neural network in order to obtain an adequate performance in the classification of the type of stroke used by the paddle tennis players. Prior to the application of the recurrent neural network, it’s applied an algorithm in charge of determining the instant when the paddle tennis ball is hit (thanks to detecting maximums in the modulus of acceleration signal) to provide the recurrent neural network with roll, pitch and yaw samples instants before and after the hit. As new strokes are classified as volley, smash or lob, statistics are stored in ElasticSearch to be visualized by a dashboard in Kibana. Four graphs in Kibana that get refreshed when there is new data show the total of volleys, smash and lobs used by each player of pair thus far in a paddle tennis match as well as the same information aggregated in number of offensive or defensive strokes. The project has been built upon Python programming language which allows to rely in some libraries such as Paho-MQTT for the implementation of the MQTT protocol and Keras for the implementation of neural networks. The dataset used to train and optimize the Deep Learning algorithm has been created from scratch and it includes strokes made by different paddle tennis players. The necessity to create a dataset from scratch and the large amount of work involved in it is what has limited the project to three classes of strokes (right volley, smash and right lob) and to right-handed players. However, this is easily extensible to the rest of strokes and to left-handed players