Integración de técnicas de procesamiento paralelo en el descodificador de vídeo de última generación VVC, sobre la plataforma Jetson AGX Xavier

El presente Proyecto de Fin de Grado está enmarcado en la línea de investigación orientada a codificación y descodificación de vídeo digital en la que trabaja el Grupo de Diseño Electrónico y Microelectrónico (GDEM), integrado en el Centro de Investigación en Tecnologías Software y Sistemas Multimedia para la Sostenibilidad (CITSEM) de la Universidad Politécnica de Madrid, desde hace más de 20 años. La motivación de este trabajo va de la mano con el crecimiento exponencial de la demanda de vídeo digital de alta calidad, aplicaciones multimedia y de realidad virtual a nivel mundial, cuyo enfoque durante la última década ha girado en torno a la utilización en tiempo real de dichos servicios. Los datos relativos a la transmisión de vídeo digital representan aproximadamente el 58% del tráfico total en internet, lo que ejemplifica la importancia y magnitud actual de este sector. Los estándares de codificación, aunque poco conocidos por el usuario de a pie, son un eslabón clave en este proceso de evolución tecnológica; actuando como elemento integrador entre los avances a nivel de calidad de imagen y las limitaciones en cuanto a capacidad de almacenamiento, ancho de banda de transmisión y capacidad de procesamiento de las plataformas disponibles. Versatile Video Coding es el más reciente estándar de codificación de vídeo y también la base del presente proyecto, ofreciendo mejoras de hasta 50% en la tasa de compresión respecto a su antecesor Hight Efficiency Video Coding. Estas mejoras vienen con un coste asociado al aumento de la complejidad de los cálculos, añadiendo carga computacional al proceso. Para conseguir la adopción de una actualización como esta, es necesario explorar nuevas alternativas que permitan mejorar su eficiencia a nivel de tiempo de ejecución. Una solución que se está haciendo cada vez más popular ante este tipo de retos es la implementación de soluciones sobre plataformas heterogéneas, aprovechando las ventajas particulares de los distintos tipos de procesadores que las integran. Ante la problemática enunciada, en este proyecto se ha llevado a cabo un análisis de la distribución de carga computacional del descodificador VVC, con especial énfasis en el bloque de filtrado Adaptive Loop Filter. Además, se han llevado a cabo tres implementaciones del descodificador sobre la plataforma heterogénea Nvidia AGX Xavier, migrando parcialmente el procesamiento de la etapa de filtrado mencionada a la Graphic Processing Unit integrada. Como resultado, se ha conseguido un tiempo de ejecución doce veces más rápido respecto a la implementación original. Abstract: This Final Degree Project is framed in the digital video coding and decoding research line in which the Electronic and Microelectronic Design Group (GDEM), integrated in the Research Center in Software Technologies and Multimedia Systems for Sustainability (CITSEM), has been working for more than 20 years. The motivation of this work relies on the worldwide exponential growth in demand for high quality digital video, multimedia applications and virtual reality, with special peak during the last decade in relation to the use of these services in real time. The data related to digital video transmission represents approximately 58% of total internet traffic, exemplifying the importance and current magnitude of this sector. Despite being not well known by the regular user, coding standards play a key role in this technological evolution process; since they act as an integrating element between the advances in image quality and the limitations in terms of storage capacity, transmission bandwidth and processing power of the available platforms. Versatile Video Coding is the most recent video coding standard and the base of this project, offering up to 50% improvement in compression rate over its predecessor High Efficiency Video Coding. These benneficts come with a cost associated to the increase of calculation complexity, adding computacional load to the process. Accordingly, for this new standard to be adopted, new proposals to improve its runtime efficiency must be studied. Solutions based on heterogeneous platforms are becoming popular when it comes to conquer these type of challenges, taking advantage of the feautures of the different types of processors that integrate them. Aiming for solving the enounced problem, this project has carried out an analysis of the computational load distribution over the new VVC decoder, with special emphasis on the Adaptive Loop Filter block. Also three implementations of the decoder have been developed using the Nvidia AGX Xavier heterogeneous platform to partially migrate the processing of the mentioned filtering block to the integrated Graphic Processing Unit, taking advantage of its microarchitecture feautures for achieving parallel processing and accelerated computing. As result, execution time have improved twelve times compared to the original implementation