Reconocimiento automático de la posición del violín y el arco para la evaluación automática de la interpretación musical

Treball de fi de grau en Sistemes AudiovisualsTutor: Sergio Iván Giraldo MéndezEn el campo de la enseñanza de instrumentos musicales es de gran importancia proveer una retroacción continuada durante las horas de práctica (sin profesor) del correcto uso de ellos. En el caso particular del violín, los gestos, la posición del violín, la posición del arco, los ángulos entre violín y arco (Skewness, tilt e inclinación1) y las posiciones de las manos son factores determinantes para una correcta ejecución musical. En el pasado se han implementado sistemas utilizados para proveer este tipo de retroacción de manera automática, los cuales se basan en sistemas costosos (p.e. cámaras Qualisys con marcadores). Por otra parte, estos resultan intrusivos para el músico (p.e. sensores de campo electromagnéticos, o kinect con marcadores), debido a que el violinista en este caso ha de lidiar con la incomodidad de llevar anclados estos sensores, tanto al arco como al violín, modificando el peso del arco/violín y la actuación del mismo. Así mismo, colocar sensores en un violín y su arco es inviable por el alto coste del instrumento. Este proyecto propone una base para un sistema sin coste y no intrusivo que sea capaz de obtener o aproximar estas características (posición del violín y del arco, ángulos que forman, etc.). Para ello se han realizado fotografías a cuatro violinistas, mientras ejecutan el violín, desde distintos ángulos, con una cámara convencional. Posteriormente se ha hecho uso de técnicas de aprendizaje profundo (redes neuronales) para la detección de objetos en imágenes, con el objetivo de detectar y localizar diversas partes concretas del violín y el arco (violín, voluta, barbada, puente, nuez del arco y punta del arco) en una imagen y a partir de un algoritmo basado en trazar rectas en función de las partes detectadas, extraer una estimación de los ángulos en dos dimensiones que forman el eje del violín y el arco. Se ha comprobado la aceptable precisión de los ángulos automáticamente detectados, y propuesto futuras líneas de trabajo para ampliar este proyecto a tres dimensiones en un entorno de tiempo real.In the field of teaching musical instruments, it is of great importance to provide a continuous feedback during practice (without a teacher) of the correct use of them. In the particular case of the violin, the gestures, the position of the violin, the position of the bow, the angles between violin and bow (Skewness, tilt and inclination), and the positions of the hands are determining factors for a correct musical performance. In the past, have been implemented systems used to provide this type of feedback automatically, which are based on expensive systems (eg Qualisys cameras with markers). On the other hand, these are intrusive for the musician (eg electromagnetic field sensors, or kinect with markers), because the violinist in this case has to deal with the discomfort of having these sensors anchored, both to the bow and to the violin, modifying the weight of the bow/violin and its performance. Likewise, placing sensors on a violin and its bow is unfeasible due to the high cost of the instrument. This project proposes a basis for a free and non-intrusive system that is able to obtain or approximate these characteristics (position of the violin and the bow, angles between them, etc.). For this, four violinists have been photographed, while they are playing the violin, from different angles, with a conventional camera. Subsequently, deep learning techniques (neural networks) have been used for the detection of objects in images, with the aim of detecting and locating various concrete parts of the violin and the bow (violin, scroll, chin rest, bridge, frog of the bow and tip of the bow) in an image. Finally, from an algorithm based on drawing lines according to the detected parts, extract an estimate of the angles in two dimensions that form the axis of the violin and the bow. It has been verified the acceptable accuracy of the automatically detected angles, and proposed future lines of work to extend this project to three dimensions in a real-time environment