Contribución a las Metodologías de Optimización del Tiempo de Ejecución de Algoritmos de Descodificación de Video sobre DSPs

La presente tesis se enmarca dentro de las líneas de investigación que desarrolla el Grupo de Diseño Electrónico y Microelectrónico de la Universidad Politécnica de Madrid centradas en la codificación y descodificación de vídeo. Dentro de esta línea de actividad se han desarrollado previamente tesis en las que se ha investigado en arquitecturas hardware orientadas a la codificación de vídeo digital. Sin embargo, la constante aparición de nuevos estándares de codificación de vídeo y el tiempo requerido para poder realizar implementaciones empleando arquitecturas hardware específicas, hacen que sea necesario plantearse otras soluciones tecnológicas más flexibles, en las que además se reduzca el tiempo de desarrollo (time to market) de las aplicaciones. En este sentido, la aparición en el mercado de los denominados procesadores multimedia, compuestos de un procesador digital de señal (DSP) y una serie de periféricos orientados a las aplicaciones de vídeo, supone una alternativa tecnológica interesante debido fundamentalmente a su flexibilidad. En la mayoría de los casos, el diseño de codificadores y descodificadores basados en DSP toma como punto de partida un código de referencia, pensado para ser ejecutado en un ordenador personal. Este código se porta al DSP y se optimiza en velocidad hasta alcanzar el funcionamiento en tiempo real. Aunque en los últimos años se han publicado gran cantidad de trabajos en los que se describen técnicas de optimización en velocidad para codificadores y descodificadores sobre tecnología DSP, no se han encontrado publicaciones en las que se describan metodologías de trabajo que tengan en cuenta el proceso completo y que ayuden a llevarlo a cabo de manera más eficiente. Investigar en una metodología que permita abordar todas las etapas del diseño y desarrollo de un sistema completo de codificación/descodificación de televisión digital sobre procesadores digitales de señal ha sido el principal objetivo de esta tesis. Con objeto de darle la mayor generalidad posible, la metodología se ha elaborado a partir de los datos recopilados en varias implementaciones de descodificadores compatibles con un conjunto de estándares y utilizando diferentes DSPs. Aunque en los experimentos sólo se han implementado descodificadores, la metodología puede ser también de utilidad en el diseño de codificadores, dado que en gran medida se utilizan algoritmos similares. La investigación realizada para proponer esta metodología se ha llevado a cabo en las cuatro fases que se resumen a continuación. En primer lugar, se ha llevado a cabo un estudio de los estándares de codificación MPEG-2, MPEG-4 y H.264 desde el punto de vista de las herramientas que emplean. Este estudio ha permitido constatar las similitudes existentes entre ellos, lo que facilita que las metodologías de optimización definidas en esta tesis, sean aplicables a todos ellos. En segundo lugar, se ha realizado un análisis exhaustivo del estado del arte en dos campos clave para el desarrollo de la tesis: los DSPs de última generación y las técnicas de optimización de codificadores y descodificadores de vídeo basados en DSP. Como resultado de este análisis se ha comprobado que la arquitectura interna de todos los DSPs existentes actualmente en el mercado es similar, lo que facilita que los métodos de optimización que se han validado para alguno de ellos sean aplicables para el resto. Por otro lado, se han recopilado gran cantidad de trabajos en los que se describen técnicas de optimización en velocidad para codificadores y descodificadores de vídeo sobre tecnología DSP. Sin embargo, como se ha mencionado antes, no se han encontrado publicaciones en las que se describan metodologías generales de trabajo. En tercer lugar, se han implementado tres descodificadores de vídeo compatibles con los estándares MPEG-2, MPEG-4 y H.264 empleando los procesadores de señal TMS320DM642 y TMS320DM6437. En cada una de estas implementaciones, se han utilizado una serie de técnicas de optimización para reducir el tiempo de ejecución. Con ellas se ha logrado en todos los casos el funcionamiento en tiempo real para los tres estándares empleando secuencias de vídeo de definición estándar (SD); mejorando en muchos casos las prestaciones de los descodificadores que pueden encontrarse en la literatura científica. Estás técnicas se han clasificado en tres grupos: las relacionadas con la gestión del código y los datos en los diferentes niveles de memoria, las relativas al movimiento de datos entre memoria interna y memoria externa y las que permiten aprovechar la arquitectura SIMD de los DSPs. Para cada técnica de optimización empleada en cada implementación se ha generado una ficha en la que se describe su aplicación y se razona su posible generalización en la optimización de descodificadores compatibles con otros estándares o en implementaciones con diferentes DSPs. En cuarto lugar, con objeto de realizar pruebas de funcionamiento con emisiones de televisión reales, se ha desarrollado íntegramente dentro del marco de esta tesis un sistema completo de recepción de televisión digital vía IP (Set Top Box IP). Esta plataforma ha permitido completar la metodología de optimización con algunas recomendaciones que afectan a la realización de un sistema completo. Para llevar a cabo este Set Top Box IP se ha diseñado una tarjeta de prototipado basada en el procesador TMS320DM642 y se ha empleado otra tarjeta comercial basada en el TMS320DM6437. Como conclusión, a partir de la información recopilada en los experimentos antes mencionados, se ha sintetizado una metodología de optimización de algoritmos de codificación/descodificación de vídeo para procesadores digitales de señal. Esta metodología se basa en una serie de recomendaciones que deben aplicarse de forma secuencial para mejorar las prestaciones de los codificadores/descodificadores. Si bien algunas de las técnicas de optimización que se han utilizado en la tesis aparecen de forma dispersa en diferentes publicaciones, hasta el momento no se ha encontrado en la literatura científica una metodología de diseño que unifique la aplicación de esas técnicas, desde el portado del código de referencia al DSP, hasta la implementación de un sistema completo. La adopción de esta metodología en futuros diseños permitirá reducir de forma sustancial el tiempo necesario para implementar codificadores/descodificadores basados en DSPs. ABSTRACT This Ph. D. work is integrated in the research topics carried out by the Electronic and Microelectronic Research Group of the Universidad Politécnica de Madrid. These topics are focused on implementing video coding applications. Several theses have been developed previously in this line of activity. In these theses the research has been focused on specific hardware architectures oriented to the implementation of digital video encoders. However, the constant emergence of new video coding standards and the time required to develop specific implementations using hardware architectures, make it necessary to consider other flexible technology solutions. These solutions must also reduce the development time (time to market) of this kind of applications. The emergence of the so-called media processors that consist of a digital signal processor (DSP) and some peripherals targeted at video applications is an interesting technological alternative due to its flexibility. The design of encoders and decoders using DSPs starts with the selection of a reference software implementation, designed to run on a personal computer. This code is migrated to the DSP environment and optimized to achieve real time operation. During the last years several papers have been published focused on the optimization of video encoders and decoders using DSP technology. However, no publications were found describing a working method that take into account the complete process and help to carry out more efficiently. The main objective of this thesis is the research on a methodology to design and develop a complete system of encoding/decoding of digital television on digital signal processors. In order to provide a methodology as general as possible, it has been developed using the data obtained after implementing decoders compatible with a set of standards and using different DSPs. The experiments were performed for implementations of decoders, but the methodology can be also useful in the design of encoders, largely because similar algorithms are used. The research to achieve the proposed methodology has been carried out in four phases that are summarized below. First, a study of coding standards MPEG 2, MPEG 4 and H.264 from the point of view of the tools they use is presented. This study shows their similarities, which has facilitated the application of optimization methodologies defined to all of them. Secondly, an analysis of the state of the art in two key areas for the development of the thesis has been done: the latest generation DSPs and the optimization techniques of video encoders and decoders based on DSP. This analysis has shown that the internal architecture of all DSPs is similar. This enables that the optimization methods validated for some of them are relevant to the rest. On the other hand, a lot of papers describe optimization techniques for video encoders and decoders on DSP technology. However, as mentioned before, no publications were found describing the overall working methods. Thirdly, the implementations of MPEG-2, MPEG-4 and H.264 using TMS320DM642 and TMS320DM6437 signal processors are described. Some optimizations techniques have been used to reduce the execution time. Real time performance has been achieved for the three standard video decoders for standard definition (SD) sequences. These implementations have a better performance than that of others described in the literature. These techniques have been classified in three groups: those related to the management of code and data at different levels of internal DSP memory, those related to the data movement between internal and external memories and those who take advantage of the SIMD architecture. Each optimization technique has been documented and a summary has been created. This summary describes the technique implementation and its possible generalization to the optimization of decoders compatible with other standards or implementations with different DSPs. Fourthly, a complete digital TV reception via IP (Set Top Box IP or STB-IP), developed entirely within the framework of this thesis, is described. This STB-IP has been developed in order to perform tests with real TV broadcasts. This platform has allowed completing the optimization methodology with some recommendations that affect to complex systems. Two prototypes boards have been used to implement the STB-IP: one designed within the framework of this thesis based on the TMS320DM642 DSP and a commercial board based on the TMS320DM6437 DSP. A methodology for optimizing algorithms for encoding or decoding digital video using digital signal processors has been synthesized using the information obtained in previous experiments. This methodology is based on some recommendations to be applied sequentially to improve the performance of the encoders or decoders. Some of the optimization techniques that have been used in the thesis are described in different publications but, a general methodology that unifies the application of these techniques from the selection of the reference software to the development of a complete system has not been presented so far. The application of this methodology in future designs will substantially reduce the time needed to implement encoders or decoders based on DSPs