Frame Rate Stabilization for Real-time Free-viewpoint Video Generation : Stabilizing the Number of Triangle Patches

2007-CVIM-158本研究では,複数台のカメラによって撮影される映像から3次元モデルを復元することで,自由な視点からの映像を実時間で生成することを目指している.この自由視点映像生成システムの処理は,視体積交差法を用いた形状復元(ボクセル表現),ボクセル表現から三角パッチ表現への変換,三角パッチの色付けの大きく3段階に分かれる.しかしこのシステムには,対象物体の表面積が増加すると三角パッチの数が増加するため,処理時間が増加してしまうという問題点があった.これまでの研究で,形状復元時に空間解像度を対象にあわせて変化させ,多重解像度処理を行うことで,処理時間による処理の打ち切りを可能とすることで,処理時間を安定化させてきた.本橋ではさらに,三角パッチ数による処理の打ち切りを導入し,さらに処理時間を安定化させる.提案手法をPCクラスタ上に実装し,処理時間が安定することを確かめた.This paper proposes a method to stabilize the frame rate of real-time free-viewpoint video generation. When we apply real-time free-viewpoint video to live video programs, the frame rate of video processing should be constant. Otherwise, presented video gives viewers unnatural feeling due to time inconsistency. Our method to generate free-viewpoint video is based on 3-D shape reconstruction and visualization of the 3-D shape by CG technique, whose processing time mainly depends on the number of triangle patches of 3-D shape reconstructed. Therefore, processing time of the video generation, i.e., the frame rate, is not constant. To solve this problem, we propose a new method which flexibly varies the space resolution of the 3D-shape reconstruction stage and stabilizes the number of triangle patches, and which makes the processing time of free-viewpoint video nearly constant. We have implemented our method on a PC-cluster and realized real-time processing of the free-viewpoint video generation, whose experimental results show the effectiveness of our method