Mixed Reality

CVがリアルな映像を作る 

ニューラルネットワーク照度差ステレオ法を用いた ３次元形状の復元

撮影画像 生成画像 (1.28M)

任意の視線・光源方向における物体の画像生成

現実感を高く仮想空間（物体）を構築するためには、仮想空間と現実環境を境目なく融合させなければいけません。そのようなリアルな仮想物体画像の生成手法にModel-Based Renderingがありますが、任意の視線・光源方向の画像を生成する際には、実際の反射特性を正確にモデル化することが望まれます。

そこで、我々はModel-Based Renderingを拡張したNeural Network Based Renderingを開発しました。 Neural Network Based Renderingは物体の反射特性のモデル化をより柔軟に行うために、Radial Basis Function Neural Networkによる非線形ノンパラメトリック学習および近似を行います。 ニューラルネットワークの学習は光源方向の異なる複数枚の球画像を使用して行います。入力は光源方向を８方向から与えた球の各点での入射角・反射角・位相角の組、出力は輝度値です。学習が終了したら、任意の視線方向・光源方向と対象物体の表面法線ベクトルから入射角・反射角・位相角の組を作成して各点の推定濃度値を得ます(対象物体の表面法線ベクトルは予めニューラルネットワークベース照度差ステレオなどを利用して求めておきます)。 このニューラルネットワークを使用することにより、パラメトリック反射特性モデルを用いることなく、リアルな仮想画像生成が可能となります。 さらに、従来のModel-Based Renderingの手法ではモデル化できなかった反射特性をもつような物体でもリアルな画像生成が可能になります。