Adaptação e optimização de qualidade em serviços futuros de vídeo 3D: depth error concealment methods for 3D video over error-prone networks

Tese de Doutoramento em Engenharia Eletrotécnica e de ComputadoresO trabalho apresentado nesta tese insere-se no âmbito do tema de cancelamento de erros para mapas de profundidade em vídeo multivista com profundidade (MVD). Em particular, são descritas novas técnicas de cancelamento de erros em mapas de profundidade e apresentado um estudo para avaliar como a qualidade desses mapas influencia a síntese de novas vistas virtuais. Para efetuar a simulação de perdas de dados nos mapas de profundidade no recetor, são considerados diferentes tipos de erros de transmissão. Estes erros podem resultar em perdas isoladas de blocos, grupos de blocos ou até mapas de profundidade completos. Tendo em conta que no formato MVD cada mapa de profundidade está associado a uma determinada vista (vídeo+profundidade) ou múltiplas vistas (MVD) poderão existir semelhanças entre os mapas de profundidade corrompidos e as imagens de texturas/mapas de profundidade da própria vista ou de vistas adjacentes. Com o objectivo de atingir uma maior eficácia no cancelamento de erros, estas semelhanças podem ser exploradas. Assim, tendo em conta a informação geométrica, nomeadamente os contornos, exploram-se as semelhanças entre os mapas de profundidade de vistas adjacentes, entre mapas adjacentes na mesma vista e entre mapas de profundidade corrompidos e as imagens de textura associadas. As novas contribuições descritas nesta tese no âmbito do cancelamento de erros estão classificadas em três grupos: domínio espacial, domínio inter-vista e domínio temporal. No domínio espacial, as técnicas de cancelamento de erros propostas baseiam-se na reconstrução de contornos corrompidos, seguida de uma interpolação ponderada dos valores da profundidade vizinhos. Neste âmbito, foram desenvolvidas duas técnicas para recuperação de contornos perdidos: na primeira a interpolação dos contornos é efetuada usando curvas de Bézier enquanto na segunda técnica são exploradas as semelhanças entre os contornos dos mapas de profundidade e a imagem de textura associada. Os métodos de cancelamento de erros inter-vista são baseados nas semelhanças entre mapas de profundidade/ imagens de textura de vistas adjacentes, obtendo-se informação sobre a semelhança das imagens de textura para reconstruir os mapas de profundidade. Estas semelhanças são exploradas através de duas técnicas distintas: o primeiro método é baseado na informação de disparidade calculada a partir de um par de imagens de textura entre duas vistas e o segundo é baseado numa técnica de casamento de padrões entre duas imagens de textura de vistas distintas usando transformadas geométricas. Nos métodos de cancelamento de erros que operam no domínio do tempo, a informação de movimento, i.e. vetores de movimento disponíveis, são extraídos do mapa de profundidade corrompido e da imagem de textura. Esta informação de movimento é depois utilizada para auxiliar a reconstrução dos mapas de profundidade corrompidos, obtendo desta forma um cancelamento de erros eficaz. Estes métodos foram também propostos para desenvolver novas técnicas de cancelamento de erros em mapas de profundidade num ambiente em que só codificados num esquema de múltiplas descrições (MDC). Quando uma das descrições é perdida, ou seja o mapa de profundidade foi apenas parcialmente descodificado, a qualidade das imagens sintetizadas usando essa informação de profundidade é severamente afetada. O método desenvolvido baseia-se na informação geométrica que se encontra disponível nas descrições que foram corretamente descodificadas e nos valores de profundidade que foram corretamente descodificados nas regiões vizinhas, tanto no domínio temporal como espacial. Deste modo, os efeitos negativos resultantes da perda de uma das descrições pertencentes aos mapas de profundidade são significantemente reduzidos. Foram também efectuadas contribuições no âmbito da avaliação de qualidade de vídeo sintetizado usando o formato MVD. A métrica objetiva de avaliação proposta pretende colmatar a falta de soluções existentes que permitam avaliar mapas de profundidade corrompidos que tenham sido posteriormente recuperados, resultante de erros de transmissão. A métrica proposta (pPSNR) é baseada no PSNR mas tendo em conta as regiões percetualmente mais relevantes, nomeadamente os contornos dos mapas de profundidade onde existem transições mais abruptas dos valores de profundidade. O cálculo é efetuado de modo que seja dada um peso maior a regiões percetualmente mais relevantes. Os resultados obtidos com a métrica objetiva desenvolvida são coerentes com os testes subjetivos efetuados, permitindo concluir que a métrica pPSNR é adequada para avaliar imagens que foram sintetizadas usando mapas de profundidade recuperados.The research described in this thesis addresses the field of 3D image and video communications over error prone networks, using the multiview video-plus-depth format (MVD). In particular, this thesis presents novel contributions for error concealment of depth maps affected by data loss and investigations on their performance based on both objective and subjective quality assessment via view synthesis. Different types of transmission errors are considered in this work to simulate data loss of depth maps at the receiver, resulting in missing blocks, groups of blocks or even whole depth maps. Since in MVD each depth map is associated with either a single view (video+depth) or two adjacent views (MVD), several combinations of corrupted depth maps and associated data, i.e., texture from the same view and/or depth maps from another view, are exploited for concealment. Geometric characteristics of depth maps, such as contours are investigated by exploiting the similarities between depth maps of adjacent views, adjacent maps of the same view, and also the associated texture images. The contributions of this thesis for depth maps error concealment can be classified into three main groups: spatial domain, inter-view domain and temporal domain. In the spatial domain, error concealment methods were developed relying on the contours of the corrupted depth map itself, followed by a weighted spatial interpolation. This concept is the core of the proposed methods, where two approaches emerge to recover lost contours: The first is based on geometric fitting using Bézier curves, while the second exploits the similarities between the depth maps and the associated texture frame contours. Inter-view domain concealment methods are based on the correlation between depth maps and texture images from different views. Such inherent characteristic of these representation formats allow to exploit similarities between texture views to reconstruct the corrupted depth maps. To this end, two techniques were proposed: the first one is based on the disparity information computed between texture images from adjacent views, while the second technique is based on block matching using warping functions with geometric transforms. In temporal domain techniques, geometric similarity between texture and depth maps is exploited by using the motion information extracted from the corrupted depth map itself and also from the texture images. These temporal techniques are used along with the previous spatial domain techniques, resulting in improved accuracy and better error concealment performance. These methods were further investigated in order to efficiently recover lost descriptions in multiple description coded (MDC) depth maps. As the coarse depth version significantly affects the quality of the resulting synthesised images, the research problem tackled in this topic was focused on efficient concealment of missing descriptions when a single one is lost. The method proposed to recover corrupted depth maps is based on a coarser decoded version, which is recovered by applying the spatial/temporal error concealment techniques to the received description. The negative effects of losing a depth map description are significantly reduced. Another contribution of this thesis is a quality metric, particularly suited to evaluate views synthesised using reconstructed depth maps. A novel perceptuallyaware PSNR metric (pPSNR) was devised and validated through subjective evaluation of synthesised images. A novel aspect of this metric is its ability to capture the user preference on the quality of virtual views synthesised using concealed depth maps. This new objective quality metric relies on the regions that are more perceptually relevant to the observer. Despite using the widely known PSNR, it performs a weighted interpolation of the mean square error (MSE) considering regions with different perceptual relevance. The subjective evaluation results reveal high similarity between the proposed metric and the subjective scores obtained from a significant set of observers. Overall, the results confirm that the novel metric devised in this work is suitable to evaluate the quality of virtual views. Synthesis using reconstructed depth maps affected by distortions caused by transmission errors