Computer Vision

2次元画像から3次元形状を得る 

撮影環境 CCDカメラと白熱電球とPCを使います。	撮影した画像の1枚 光源の位置を変更して数枚撮影します。
ニューラルネットワーク E:画像の輝度値, n:表面法線ベクトル, ρ:反射係数ベクトル	復元結果 左：物体の表面法線の向き, 右：カラーの反射係数をRGBイメージで表示

ニューラルネットワークベース照度差ステレオ

コンピュータビジョンとは、人間の視覚機能を解明し、計算機による視覚情報処理を実現するという研究分野です。画像(2次元)から形状データ(3次元)を得ること、更にはシーンの認識・理解を行うことを可能にします。最近ではロボットの視覚へ応用する研究が盛んに行われています。

これまで、岩堀研究室はコンピュータビジョンの分野に新たな1ページを築いてきました。特筆すべき研究業績として、ニューラルネットワークを利用したイメージセンシング技術「ニューラルネットワークベース照度差ステレオ」があります。

照度差ステレオ(Photometric Stereo)はもともとコンピュータビジョンで世界的権威であるUBC Computer Science（ブリティッシュコロンビア大学）のRobert Woodham教授が提案した手法で、照明の方向を変えて撮影した3枚の画像から、そこに映っている物体の表面の局所的な傾きを推測するものです。当研究室ではWoodham教授との共同研究を通して、照度差ステレオを多次元の非線形ノンパラメトリック近似により実現することを目的として、Radial Basis Function Neural Networkを使用して対象物体そのものの非線形な表面反射関数を学習・般化させることで、これまで不可能とされてきた光沢をもった物体の形状情報の復元を可能なものにしました。さらに、複数の光源のうちでキャストシャドウを与える光源の除去を目的としたイルミネーションプランニングや、対象物体自身から反射特性を得るためのセルフキャリブレーションといったユニークな新技術の開発により、復元対象物体の制約を減らすことに成功しています。

最近では、カラー画像を対象とした手法の開発や影によって暗くなった領域の形状情報の獲得などに挑戦しています。