On-line Free-viewpoint Video Generation Based on a 3D Model Reconstructed from Multi-viewpoint Videos : Implementation on a PC-cluster

複数台のカメラによって撮影される映像から, 3次元モデルを復元することで自由な視点からの映像を生成する研究が近年さかんに行われている.自由視点画像生成は処理に時間がかかり, オンライン処理が難しいため, その研究の多くは, できる限り正確な3次元モデルの復元をオフラインで行う, あるいは, 陽には3次元形状を復元しないがオンラインで自由視点画像を生成する, というアプローチをとっている.本稿では, 3次元形状復元による自由視点画像生成をオンラインで行う手法について述べる.PCクラスタを利用して多視点カメラ画像からの視体積交差法によって3次元形状を復元し, 三角パッチで表現された3次元表面に, 仮想視点位置とカメラ画像を考慮した色を付けることで, 写実性の高い自由視点画像を生成する.このとき, 表面への色付けを高速に行うことが難しかったが, 本稿ではこの処理を高速に行うためのZバッファを利用した手法を提案する.また, 生成された自由視点画像を示し, 提案手法を評価する.Recently, there are a lot of researches for generating free-viewpoint videos by reconstructing 3D models from multiple camera images. Since it is difficult to generate free-viewpoint videos on-line for the large amount of computation, most of these researches aim to generate free-viewpoint videos off-line, or generate free-viewpoint videos without 3D model reconstruction. In this paper, we will propose a method that generates free-viewpoint videos by reconstructing 3D models on-line. The method first reconstructs 3D models by visual cone intersection method using multiple cameras, second colors the surfaces of 3D models in terms of triangular patch representation, and displays the colored models on a screen on-line. In these procedures, it is difficuld to color the surfaces. Then, we propose a new method for coloring, which is based on the Z-buffer method. And we show generated free-viewpoint images to estimate the method