Accelerating Intra Frame Partitioning in Versatile Video Coding (VVC) Encoder Using Deep Neural Networks

Intra-frame prediction plays a very important role in current video coding technologies. Therefore, the current state-of-the-art standard in video coding, High Efficiency Video Coding (HEVC), the new Versatile Video Coding (VVC) standard has added new prediction modes along with new types of partitioning for intra-frame prediction. The Multi Type Tree (MTT) enables an improvement in VVC over the quadtree partitioning structure of the HEVC standard, generating more flexible block sizes. These new techniques achieve high coding efficiency, but also result in a very high computational cost, sometimes even preventing the adoption of this new standard in the industry. To mitigate this problem, this dissertation presents a fast algorithm for the decision of Coding Tree Units (CTU) partitioning during intra-frame coding, enabling a reduction in the computational cost of the process. One of the contributions of the work is to form a dataset with data in significant quantity and plurality, in order to feed a deep neural network architecture capable of classifying CTU partitioning. The experimental results showed that the proposed neural network achieved a reduction in coding time of up to 21.41%, with a loss in coding efficiency of 0.432%.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESA predição intra-quadro desempenha um papel muito importante nas tecnologias atuais de codificação de vídeo. Assim como no atual padrão estado-da-arte em codificação de vídeo, o High Efficiency Video Coding (HEVC), o novo padrão Versatile Video Coding (VVC) adicionou novos modos de predição aliados a novos tipos de particionamento para a predição intra-quadro. A Multi Type Tree (MTT) possibilita uma melhoria no VVC sobre a estrutura de particionamentos em quadtree do padrão HEVC, gerando tamanhos de bloco mais flexíveis. Essas novas técnicas alcançam alta eficiência de codificação, mas também resultam em um custo computacional muito alto, por vezes até impedindo a adoção deste novo padrão na indústria. Para mitigar este problema, esta dissertação apresenta um algoritmo rápido para decisão de particionamento das Coding Tree Units (CTU) durante a codificação intra-quadro, possibilitando uma redução de custo computacional do processo. Uma das contribuições do trabalho consiste em formar um dataset com dados em quantidade e pluralidade significativa, com intuito de alimentar uma arquitetura de rede neural profunda capaz de classificar particionamentos de CTU. Os resultados experimentais mostraram que a solução proposta atingiu redução no tempo de codificação de até 21,41%, com perda na eficiência de codificação de 0,432%