robasutona panorama gazo seisei ni kansuru kenkyu

ロバストなパノラマ画像生成に関する研究

1999年６月

目次

第1章 はじめに

1.】序言 ９ 10 1.2 関連する研究………11 1.3 本研究の貢献………14 1.4 本論文の構成｡｡………15

第２章 ロバストなパノラマ画像の生成

１７ 2.1 システムの概要｡｡………18 2.2 射影変換によるパノラマ画像の生成｡｡………19   2.2.1 射影変換によゐ重ね合わせ………20 2.4 3.1 2.2.2 2.2.3 22 １ ｜ ゛ i 2.2.4処理手順……… 23 2.3 問題と解決のアプローチ………27

第３章 カメラ配置情報の参照

31 Ｉ 3.2 射影変換バラメータの予測………32 3.2.1 3.2,2射影変換の定式化………33

２

第

第

  3.2.3 原点を中心にIljj転すゐ場合………35   3.2.4 '￨り｣｀稽動とIII】転をする場合...………16 3.3 非線形最適化………37 3.4実験結果………42 3.6 4.1 4.6 4.7 4.8 4.9 ５ 5.1 6.4 6.5 ６ 6.1 46 47

第

第 6.2 ロバストな廸丿像の重ね合わせ………75   6.2.1 肺i像111jの局所的な輝度変動の問題………76   6.2.2処理の概要...………77   6.3.1物体領域の抽出………7S   6,1.4マルチスケールの推定手法………80 6.3 重み付き最小２乗推定..………82 6.4 6.5 ７ 7.2 7.3 ８ 8.1 ８ A.1 A.4 6 ， ３

第４章 環境モデルの参照による誤差の軽減

6.4.1 4.2局所的な輝度変動方 4.2 予測・観測画像の誤差最小化 4.2.1処理の概要 4.2.2 カメラ位置捕吏の概略｡｡……… 48 48 48 4.3 予測誤差の定式化...………49 4.4 2D-3D線分の対応付け………51 4.4.】2D㈲面 5252

章 応用

93 ﾌ.1 画像監視への応用...………93   7.1.1 全体的な状況把握の強化………94   7.1.2パノラマ階層化表現の4.成..………95   7.1.3仮想的な視野の自動制御..………96   7.1.4照明変動にロバストな祁動物体検出………96 4､4.2誤差分布を考慮に入れた対応付け……… 4.5 カルマンフィルタによる誤差の軽減｡｡………53 4.5.1 カルマンフィ 7､2.1 7.2.2 7､2.3 動画 4.5.2 カメラ位lyl1の肖籾度化………… 55 動辿丿像コンテンツの旭￣］）編集｡｡………10j

章 結論

107

章 奥行きの変動による視差の補正

67 ２ 今後の

謝辞

参考文献

付録A.知覚歪みの補正

１１１ 113 119 5.2 視差の影響の定式化………69 5.3 階層的レジストレーション………70   5.3.1全体的なｰ【ね合わせ………71   5.3.2 jlil所的な重ね合わせ｡｡………72 ４ A.2 補正関数の導出………120 A.3 補正関数の適用………123

章 移動物体を含む画像系列の重ね合わせ

75 75

４

付録B.室内情景の３次元復元

B.】はじめC 131 131 B.2カメラ秘動量の捌定………】34 n.3カルマンフィルタの適用...‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ ‥    ‥‥‥135 8.4実験結果………136 B.5ま ₁₃₇

図目次

Ｉ 断片的な視野の増加による状況把握の低￣ﾄ………II 1.2 監視カメラ映像の表示例 ＩＩ 2.1 パノラマ画像の生成による全体的な状況把握の強化………19 2.2 入力團像開の変換の種類………20 2.3 非線形最適化のプロセス………21 2.4 初期他の推定方法………24 2.5 パノラマ画像生成結果(￨)………26 2.6 パノラマ肖像生成結果(2)………27 2.7 パノラマ画像生成結果(3)………28 2.8 パノラマ画像生成結果(4) 29 2.9 パノラマ画像生成結果(5)………30 3.1 カメラ配置情報の参照によるパノラマ画像の生成...………33 3.2 重ね合せ処理の過程で間違った推定値に収束した実験例………34 3.3 カメラ配置の分類………34 3.4 射影変換バラメータの更新過程………39 3.5 パノラマ画像生成結果(1) 41 3.6 バラメータが収束する仮定｡｡………42 3.5 パノラマ画像生成結果(2)………43 3.5 パノラマ画像生成結果(3)………44 ５ B.6推定誤差の導出………140 B.ﾌ測定誤差の導出………143

研究業績

一

覧

₁₄₅

６ 4.1 A.1 知覚歪みの発生………￨14 A.2 見かけ卜の形状変化の例〔￨〕 目４ A.3 仮想的な視点位置から見た視野の生成………ll5 Ａ．４ A.7 B.1 B.2 ７ 4.2 カメラ位置と2D-3D線分の関係｡｡………50 4.3 2D両lflj土での対応付け………54 4.4 異なる視点位置から見た３次元モデルの誤差分布｡｡………6〔〕 4.5 3次元モデルと２次元画像のレジストレーション結果………60 4.6 カメラ位置更新の過程………61 4.7 パノラマ画像生成結果(1)………62 4.7 パノラマ肖像生成結果(2)………62 4.8 パノラマ画像系列の表示………63 5.1 パノラマ画像生成における奥行きの変動………68 5.2 ｣厖行きの変動による視差の定式化………6S 5.3 局所的な重ね合せ………69 5.4実験結果山………72 5.4実験結果(2)………73 6.1 シ ７ A.5 変換関数の適用………118 A.5 実験結果(1) 120 A.6 実験結果(2)………121 B.3 異なる視点位置から見た３次元モデルの誤差分有………149 B.4 実験結果………140 B.5 カメラ位置更新の過程………141 6.2 人力画像が異なる場合の重ね合せの誤差………77 6.3 処理｡の概要………79 6.4背景画像の位置ずれとオクルージョンの関係………80 6.5 多重解像度のパラメータ推定手法のプロッ 7.6環境情報のグラフィックオーノ 6.6 背景画像と入力画像の比較による被写体抽出………85 6.7 背景画像の位置づれ量と物体抽出の安定性………S7 6.8 パノラマ背景両像の生成｡｡………88 6.9 背景画像と入力画像が異なる場合の重ね介せ(1) 89 6.10背景画像と人力画像が異なる場合の重ね合せ(2)………90 7.1 階層化表現の生成による情報の提示………94 7.2 パノラマ階層化表現………95 7.3 パノラマ画像への直接操作による注目被写体の選択………96 8.13次元モデルに環境情報をグラフィックオーバーレイしたところ………103

８

表目次

!.1［ﾇ］3,5の射影変換パラメータ………44 3､2［叉13.7の射影変換パラメータ 3.3 図3.8の射影変換パラメータ 44 44 4.1 _{【ﾇぽﾌにおける相対的なカメラ位置………61} 4.2 図4.8における相対的なカメラ位置………61

第１章

序論

本章では,本研究の目的をがし,パノラマ画像生成に関連する研究の現状について述

べる

．

また，本論文の構成を述べる．

1.1 本研究の背景

９  近年のテレビカメラの小型化･低価格化とネットワークの普及により，多数のテレピカメ ラを設匿して，撮影環境の状況を把握するシステムが増加している．例えば，図1.1のよう に広い室内や建物の周辺にテレビカメラを設置して，人物や車両の振る舞いを観察するこ とがよく行われている．  ところが，人間の視野角は，水平方向で約200度，垂直方向で約】50度の大きさであるの に対して，通常のテレビカメラの視野角は30∼40度程度である．このようなカメラの物理 的な制約により，広い領域を監視する際には，図1.2のように個々のカメラ映像の分割表示 を行う．そのため，カメラの台数が増えるに従･って，断片的な視野が増加するため，監視 環境の状況把握が困難になるという問題が起こる．  撮影環境の状況把握を容易する手法としては,個々のカメラから得られた入力画像を重ね 合わせてパノラマ画像を生成することが考えられる.パノラマ画像を生成することにより， 情景内の物体の位置関係を把握することが容易になる．更に，複数台のカメラを￨司一一の物 体が横切る場合など，時間的な因果関係を把握することが容易になると考えられる．

１ ０ 第１章序章  パノラ･vlllli像のjl=成は.iﾓに航ダ･j真の分析を目的として検討が行われてきた.従来手法 では，画像の収ね合せを行う際に，illll像111｣の変形をアフィン変換や射影変換で近似するこ とがよく行われている．また，変換パラメータを求める際には，￨叫像問の爪複領域の輝度 仙の２乗誤差を最小化Ｌたり，特徴点間の距離を最小化することが多い．このような処理 は，航空写真のようにカメラを連続的に移動させて入力画像を取得する場合は，容易に実 行することができる．例えば，航空写真.の場合は，被写体が遠距離にあり，撮影間隔が狭 いため，奥行きの変化による視差やオクルージョンの影響が少ないという特徴がある．ま た，多数の入力Iljli像を連続的に取得するため，処理.の段階で，人間が適切な人力画像を選 択することも容易である．  ところが,日常的な生活環境にテレビカメラを設匿して状況把握を行う場合は,複雑でダ イナミックな変化を行う人力画像を扱う必要があるため，複数測像の爪ね合わせが不安定 1･こなるという111j頴が起こる．例えば，視野の中に移動する人物が含まれている場合は，i自丿 像の内容が賢なるために，」ﾄﾞしい位置で重ね合わせても２乗誤差か最小にならない．また， 広い撮影環境を覆うためにカメラを並行配置する場合は，近距離で撮影するために，視差 の影響が避けられない．視差の影響がある場合は，画像￨剛の変形を平■とＬて近似するこ とが￨木￨個であるため，複数画像の重ね合わせが不安定になる．

 

べ論l･では,複匍でﾀ･･イナミ･yクな変化を行う撮影環境下において,ロバストなパノラマ

肖像の生成を行うr法を提案する．本手法では，既知のカメラ配屑Tや環堵モデルを参照す

るとともに，移動物体の侵入や奥行きの変化によるJ,j所的な輝度変化を抑11｣することによ

り，ロバストなパノラマ画像生成を実現する．

1.2 関連する研究

 本節では,パノラマII11i像生成に関する従来の研究例を説明した後に,関連する研究分野と して，仮想現実感，拡張現実感，画像監視の支援について述べる．また，従来の研究分野 における，本研究の位iRづけも述べる．

1.2.1パノラマ画像生成

 複数枚の肖像を服ね介わせてパノラマ画像を生成する手法は，古くは航空写真の分析 IBrown92HPerlant90jへの応用を目的として検討が行われてきた.画像の重ね合せを行う際に は，肖像間の変形をアフィン変換や射影変換で近似する手法がよく利川されている

に〉

11 図1.1断片的な視野の増加による状況把握の低下．広い室内や建物の周辺に多数のカメラを設置 して周L州の状況把握を行う際には，断片的な視野が増加するため，撮影環境の仝体像をとらえる ことが困難になる． is]1.2監視カメラ映像の表示例．通常のカメラ監視システムにおいては，このように断片的なカ メラ視野が表示されることが多い．

１ ２ 第１章序章 【Szcliski97HMann9711Zehng93111rani931.また，カメラの移動を原点の回転に制約することに より，複数画像の暇ね合わせを安定に行う手法も提案されているISzelskj971.射影変換では ６つのパラメータを確定するのに対して，３つの角度パラメータを推定するだけで良い．  これらの予法では,･￨剤;1が静止している場合のように,画像間の重複領域で輝度仙がｰ一致 することを仮定していることが多い．このような処理は，航空写真のようにカメラを連続 的に移動させて人力画像を取得する場合は，容易に実行することができる．例えば，航空 写･真の場合は，被写体が遠距離にあり，撮影間隔が狭いため，奥行きの変化による視差や オクルージョンの影響が少ないという特徴がある．また，多数の入力I画像を連続的に取得 するため，処理の段階で，人間が適切な入力画像を選択することも容易である．本研究で は，これらの手法に対して，画像監視などの応用を考慮に入れて，パノラマ画像生成の口 バストネスを向上させることに重点を置いている．

1.2.2仮想現実感

 近年のコンピュータグラフィクスの分野では，リアルな情景を生成するための手法とし て，カメラ映像を利川した手法が検討されている．例えば，多数のカメラで同一の被写体 を多方向から撮影して，ステレオ法で３次元計測を行うことにより，白山な視点位置から 見ることを11｣‘能にする手法が提案されているIKanade931.このように３次元モデルをダイナ ミックに生成する手法では,CGのモデルを生成することができるため，白山度が高いとい う利点がある．ところが，現時点ではステレオ対応付けを容易に行うためには，数十台の カメラで同じ被写体を撮影する必要があるなど,装置が大がかりになるという問題がある． また，ステレオ対応付けを実時間で行うためには，特殊なハードウェアが必要である．  パノラマIIllj像を生成する場合は,３次元情景を復元する場合と比較して簡易な処理で実現 できるため，仮想現実への応用においても注口を集めている【Chen951.これらの手法では， システムの内部でパノラマ画像を保持して，カメラの視野に相当する範囲を切り出して提 ぷする．ユーザーは，マウスを使って視野の方向や倍率を自由に制御することにより，あ る地点から周囲を眺めるような効果を感じることができる．また，異なる視点位置から見 たパノラマ肖像を補間して，仮想的な視点位置の３次元的な移動を可能にする手法か提案 されているIChen941.ところが,従来手法では静止している情景を扱う場合が多いため，パ ノラマ画像生成のロバストネスについては検討が行われていない．

1.2.3拡張現実感

１ ３  坊即￨の状況把握を強化する試みは,航空機のパイロットの支援ICrvarich95]や,美術釦や売 場での利川者への情報提供[荒＃9511長尾951【暦本951などの用途で検討が行われてきた．こ れらの手法では,実世界の情景にグラフィックスによる･￨者報を重ね合わせることにより,付 加的な情報を与える．初期の試みではヘッドマウントディスプレイなどの特殊なデバイス が利用されていたがISutherland68]【Bajura921,最近では自動車や飛行機などのフロントガラ スに直接投影したり，小型の携帯装置に表示するなど，より自然に利川できる工夫も行わ れている．ところが，これらのシステムでは実環境で利用することに重点がおかれている ため，遠隔地の状況を把握することについては，あまり検討が行われて来なか，た．遠隔 地の状況を容易に把握するためには,情景とグラフィックスを重ね合わせるだけでなく,広 い視野を提示したり，自由な視点位lほから眺めるなどの機能も提供することがjR要となる．

1.2.4 視覚心理における状況把握

 人間のFOV(FOV,field of view)は，水平方向で約200度，垂直方向で約150度の広さを持･ｺ ているとifわれている．視覚心理の研究では，FOVが小さくなると，環境情報の知覚，環 境内での自己定位，ナビゲーション，機器の操作，視覚探索等の様々なタスクのパフォー マンスが低下することが指摘されている【Palricia901【Doleza1821.例えば,環境内の物体を知 覚するときに，FOVが狭くなると，実際の物体位置よりも近い距離にあり，被験者の周囲 の環境も縮んで感じられることが指摘されている【Patricia901【Dolezal821.また，物体を認識 する過程では中心視(central vision)が重要であるが，物体を探索して位置を特定したり，環 境内の変化を検出する過程では,周辺視(peripheral vision)が重要であることも指摘されてい る[Leibowitz86].  また，利用者に広い視野を与えることは，環境内の物体の相対的な位置関係や，時間的な 変化を把握する上で重要である．例えば，周辺視は，環境と自己の相対的な位置関係を把 握することに重要である【Patricia901.文献【Patricia90】では，人為的に視野を制￨誕して被験者 を歩かせてみたところ，FOVが12度から4{}度までの間では自己定位の大きな間違いが見 られ，90度になった場合でも影響が見られることが指摘されている．また，手で物体を掴 む動作をする場合に，ＦＯＶが狭くなると，物体のある位置に手を伸ばす動作が困皺になる ことが指摘されている【sivak921.  状況把握(situation awareness)とは，ある時点の周囲の環境に関する利用者の内部モデルで

' W １ ４ _{第１章序章} あるIEnds】ey881.状況把握を，空111｣と状態に関する状況把握｢venturino 89; Barfield， Roscnberg95｣や，時111｣的な状況把握ISartcr9】￨などの構成要素に分割することも行われてい る．空間的な状況把握とは，３次元空111｣内における特定の物体の位置に関する理解である． 状態に関すゐ状況把握とは，車の燃料の残量や，血圧のように，特定の量で測られる物体 の状態を表す．時lnj的な状況把握とは，時問的な因果lll係に関する理解である．  空￨川的な状況把握を強化するためには,利川者の３次元空￨￨¶Jにおける概念的な理解を助け ることが行われている．例えば，車を運転する際に，地図を見せたり，道路に関する知識 をり,えることで支援するiWickens921.特に，地図の学習については，経路の学習や，相対 的な位il:に関する判断，物体への直線距離の判断などに先立つ，基本的な機能であると考 えられているIThorndykc821.空間的な位置関係の把握を容Ｍにする手法として，卜空から 見る表示ディスプレイ（cxocentric display）も利川されていゐ【Barfield931.  このよ引こ,視覚心理の観点から考えた場合,撮影環境の状況把握を容易にする方法とし ては，広い視野を‘j,えるとともに，環境の地図や，物体の状況に関する情報を重ね合わせ て提示することが眼要である．

1.2.5画像監視の支援

 近年のテレビカメラの低価格化により，画像による監視を行うことが増加している.例え

ば，VTRに録画して証拠映像として利用したり，センシング機能と併用して異常時の状況

を確認することに利川されている｢増[1197all増田97b].センシング機能を付加する手法とし

ては．人体から発する赤外線を検出したり，動画像から動き情報を検出するご:とが行われ

ている．また，車両数や人数を検出するなどの付加価値を付けることも検討されている[寺

lll961.ところが,従来の研究では人問が監視環境の状況を把握することをほとんど考慮に

入れていない．特に，多数のカメラを設置Ｌて監視を行う際には，断片的な視野が増加す

るため，状況把握が困難になるという問題については検討が行われて来なか･った．

1.3 本研究の貢献

 政llのように,本研究では遠隔地の状況把握を容易にするために,実環境でも安定にパノ

ラマ画像を生成する手法を提案する．本論文では，次の１つの基本手法の提案を行った．

 １）カメラ配置情報の参照によるロバストネスの向上

 人力画像間の平行移動量や回転量が大きい場合に,複数画像の重ね合わせが不安定になる

１ ５

lllj罰を扱い，UUI」のカメラ配置情報を参照して安定性を向1乙させる．

 ２）環境モデルの参照によるロバストネスの向上

 複数画像からパノラマ画像を生成する勲に,設匿環境の既知の３次瓦モデルを参照して，

爪ね合わせの誤差を軽減する．

 ３）視差を含む画像系il』の重ね合わせ  広い撮影環境を覆うためにカメラを並行配劉〔する場合は,近lli離での撮影による奥･行きの 変化の影響が避けられない．そのため，階層的な重ね合わせにより，視差の影響を抑制し て，画像間の変換パラメータを安定に求める．  ４）移動物体を含む画像系列の重ね合わせ  視野の中に移動する人物が含まれている場合は,訥i像の内容が異なるために,jRね合わせ ても２乗誤差が最小にならないという問題がある．そのため，重み付き最小２乗狸定によ り移動物体領域の誤差を抑制して，肖像問の変換パラメータを正確に求める．

1.

4 本論文の構成

 本論文は次の８章から構成される．

 第２章では，システムの概要を述べる．本システムでは，広い室内空間や建物の外周に配

置されたテレビカメラから得られた入力画像を重ね合わせてパノラマ勣画像を生成するこ

とにより，撮影環境の全体的な状況把握を容易にする．また，このようなシステムを実現

する際に悟:要となる，パノラマ画像生成の問題点と解決のアプローチを述べる．

 第３章では,人力團像間の平行移動量や回転量が大きい場合に,複数画像の重ね介わせが

不安定になる問題を扱い，既知のカメラ配置情報を参照して安定性を向ヒさせる手法を提

案する．

 

第yl章では，３章で提案した手法を発展させて,複数画像を重ね合わせる際の誤差の蓄積

を軽減する手法を示す．本手法では，２次元画像と既知の環境モデルの服ね合わせを行う

ため，人力画像の枚数が増力￨￨したり，重複領域が小さい場合でも，安定かつ高精度にパノ

ラマ画像を生成することができる．本章では，誤差のモデル化や，拡張カルマンフィルタ

を用いた誤差の軽減手法を説明する．

 

第５章では,奥行きの変化がある場合のパノラマ画像生成法を述べる.広い撮影環境を覆

うためにカメラを並行配置する場合は，近距離での撮影による奥行きの変化の影響が避け

１ ６ 第１章序章 られない．本章では，￨苓削的な重ね合わせにより，視差の影響を抑制して，画像間の変換 パラメータを安定に求める手法を提案する．  第６章では,移動物体が存在する場合のパノラマ肖像生成手法を提案する.視野の申に移 動する入物が含まれている場合は，画像の内容が異なるために，重ね合わせても２乗誤差 が最小にならないとい引ll!題がある．そのため，jRみ付き最小２乗推定により移動物体領 域のぷ差を抑11』して，呻i像間の変換パラメータを正確に求める．また，本手法を移動物体 が含まれる肖像系列に対して適用して，有効性を確認した結果を示す．  第７章では，本手法をilli像監視に応用した例を述べる．また動画像圧縮や，マルチメ ディアコンテンツの力￨￨工への応川に関しても考察を行う．  第8 i?jeでは，本論文で提案を行った手法のまとめを行い，今後の研究課題を述べる．

第２章

ロバストなパノラマ画像の生成

本章では，システムの概要を述べるとともに，パノラマ￨肖像を生成するための基本手法をぷ す．また，パノラマlij像生成の問題点と解決のアプローチを述べる．

2.1 システムの概要

１ ７  図2.1にシステムの概要を示す．１章で述べたよ引こ，多数のカメラによるill!i像■視にお いては，カメラ台数の増加に伴い，撮影環境の全体像を把握することが困難になる．その ため，広い室内空間や建物の外周に配置されたテレビカメラから得られた入力画像を重ね 合わせて，パノラマ肖像を生成することにより，監視環境の全体的な状況把握を容易にす ることが望まれている．  周囲の状況把握を強化する試みは,航空機のバイロットの支援ICrvarich951や,美術館や売 場での利用者へのjll報提供￨荒＃951[長尾95]【暦本951などの用途で検討が行われてきた．こ れらの手法では,実世界の情景にグラフィックスによる情報を重ね合わせることにより,付 加的な情報を与える．ところが，実環境で利用することに重点がおかれているため，遠隔 地の状況を把握することについては，あまり検討が行われて来なかった．遠隔地の状況を 容易に把握するためには，情景とグラフィックスを重ね合わせるだけでなく，広い視野を 提示したり，自由な視点位置から眺めるなどの機能も提供することが重要となる．  視覚心理の観点からも,利用者に広い視野を与えることは,環境内の物体の411対的な位置 関係や，時間的な変化を把握する上で重要だと考えられる．例えば，環境内の物体を知覚

１ ８ 第２章 ロバストなパノラマ画像の生成 すると５に，FOVが狭くなると，実際の物体位消Tよりも近い距離にあり，被験者の周囲の 環境も縮んで感じられることが指摘されている【Patricia9011DOleza1821.また，物体を認識す る過程では中心視〔central vision〕が服装であるが，物体を探索して位置を特定したり，環境 内の変化を検IIljjする過程では,周辺視(peripherahiSion)が重要であることも指摘されている ILeihowitz861.  奉システムでは,パノラマIllli像を生成するとともに,関連情報をグラフィックオーバーレ イすることにより，監視11による状況把握を容易にする．まず，広い室内空￨lljや建物の外 周に配ii‘IITされたテレビカメラから得られた入力画像を重ね合わせてパノラマ画像を生成す る．パノラマ画像をベースマップとして利川して，局所的なクローズアップ･Illli像の生成や， 監視情報のグラフィックオーバーレイを行う．本システムの実現例は，７章で詳しく述べ る．  2.2 射影変換よるパノラマ画像の生成  本節では,パノラマ肖像を生成するための基本手法を示すとともに,室内環境や屋外環境 における典,剛的な実験例を示す.  2.2.1 射影変換による重ね合わせ  パノラ'り111i像の生成は，人力画像Nljの変換の種類によって数学的に定義することができ る．例えば，人力肖像111jの変形を２次元の射影変換で近似する方法が提案されている．射 影変換は，視点移動に対して･￨･'I｀i景が平面で近似できる場合，つまり，カメラの視点移勧に よる奥行き方向の変化が，カメラと被写体の距離に比べて小さい場合に成立する．  同次座標系では，射影変換l'＝MIは，次のように記述することができる． ｜ が ｜ 隋，

謂謂

−

︱

ｙｗ

0 0 1 0 2 0 １ χｙｗ ｌ  02１２22 隋所所  １１１ Ｃ︲Ｎ 隋隋隋 (2.1)  同次座標系(1Qmaμla,･･cs届･a･a)とは，コンピュータグラフィクスでよく利用される 記述手法であり，(x,y,w)に相当する,111の２次元空間内の座標はμ/w,yﾉwJとなる．￨司様に， (XJ･,z,w)の３次元空間内の座標値は(xyw,y佩z徊)となる【Foley901.  1司次座標系で記述した場合，２次元平面の闘￨￨体運動は， に〉￨ 多数のカメラによるi!りi像入力

j圖皿麗

乙幽i，

-ヽ （  ◇＼

i皿1

人力画像 に〉￨ パノラマ1由f像 １ ９ ㈲2､￨ パノラマ肖像の生成による全体的な状況把握の強化．多数のカメラから取得した人力画像 を爪ね介わせてパノラマ画像を牛.成する． 肘μμ ｢21)＝ COS Sln (o) (o) ０ −sil(e) cos(e)  0 1 、 1 、 1

である．また，アフィン変換は，次のように記述することができる．

Ｍ可叫 一 一 Z?Z(如 ZIZ10  0 Z?201 Z?Z11  0 y?Z02 Z?Z12  0 (2.2) (2.3)

 

視点移動に対して情景が平面で近似できる場合は,画像問の変換を射影変換で記述するこ

とができる．これは，次のように証明することができる．

 まず，３次瓦空間内の点ρ=μ,y,z副と，２次元画面上の点u=μ,y,wJの関係を求める。点

ρと,･,I仙の関係は，３次元空間内の剛体変換￡と，透視変換ｙで記述することができる.

       zj° V励゜琴。ﾉﾌ

（2.4）

20 orlgmal rigid 第２章 ロバストなパノラマ画像の生成 ａｍｎｅ ￨ｽﾞに2人力画像問の変換の種類 式(2.4)の透視変換マトリクスＶは３×４の行列であゐ． Ｖ 一 一  八 田 O］

イ

Ｉ１００ ０１０     １ ００／ ｙ ０００ perspective (2.5)  また，式(2.4)の減体変換￡は，カメラ111jの移動を表わす３×３のIIll転行列刄および，３ 次jCの並行移動ベクトル1で表わすことができる． ￡

ス

μげ

Ｍ 。｡， １１ ｜ はランク３であるため，Ｍ’を左逆行列，ｍをＭ＿ｴの零空la」とするとき， (2.6)        ρ゜Ｍ‘ｌ＋１謂      （2.7）  と記述することができる。零空111jとは，Ｍ｡,｡ｓ=０となる解集合である。また，３次元空 間内の平狛iは，次式で表すことができる.        ax＋勿＋cz＝j       （2.8） 同様に，面の法線ｎを利1ljすると，       yl ･ ρ'0 である．式(2.7)に式(2.5)を代入すると         ｢Ｍ'Ｍ+．ＳＭ･謂＝０ (2.9) (2.10) lnitiaIRegistration Coerncient Calculation /収函） e､＝1゛(べ､y､)−賎x満) ∂/ツ∂y、∂/ツ∂ダ ＆， ∂/’∂y ，∂j’み’ ＝--_{∂y∂呪 ∂y当}･←-

_司

A｡2＝ひ十λ7)'Iゐ 謂(1゛1)＝附(o＋へｍ ２ １ 函 １ − Ａ

Update Projection N4atrics

Update Stabilization Parameter     びべ｡１＞￡，λ＝λ／１０     びべ_I＜尽λ＝λ＊10

図2.3 非線形最適化のプロセス.Levenberg-Marquadt法により画像問の輝度値の２乗誤差を最小 化する射影変換を求める．

22 となる．』ン:Jて

そのため，任意の点にj=弧

が成りと'J.

ｘ＝一哨ｊＭｕ)／師凹)

第２章 ロバストなパノラマ画像の生成

/J＝(/−(rl･m)llnylr)M゛u

l

−『 ｋｌ

ぶ７肘≒Ｍｕ

＝肘，２ Ｄ Ｉμ 一 一 Sg Mμ 「2」1） (2.12) (2.13)  2.2.2 非線形最適化  ここで，背以Illlif幻叫y･)に人力IIlll･像/耽溺を収ね合せるとする．２次八洲像面トの座標変 換は次のようになる． ｒ｡二 μ?i0 ’ ln .l､｡十11?ly｡＋l?1、 け渋沢7y,十Ｉ 一 一 琲芦,十川4賄十脚 堺 _{諺,十用7y十１} (2.14)  まず，￨･.式の変換パラメー---タ17･1｡……m,lを求めるために，次式に示す背景画像と人力画像 の輝度･仙の２兪,ぷ差が最小になるように最適化する．

ｆ＝Σ[が(九よ)-/(y,y)]2＝Σべ

 そして．変換パラメータ{m｡……m71を利用して，逆変換を行うことにより，人力画像/'(･｡y,) を背l;t画像1(.l,,y,)に吸ね合せる．  肖像間の２乗誤差を最小化する手法として,水稲では非線形パラメータ最適化手一法である Levenberg-Marquadt法を利用する，Levenberg-Marquadt法は，最急降下(gradient descent)法と 比べて，少ない繰り返し回数で収束することが知られている．  Leve“berg-Marq“8dl法を適用するためには,lm,……m7}l･こ関するe2の偏微分を求めることが 必要となる．

∂ら

一

如lo

一 一 xj∂/ 一一 μ＆’ 一 一 y一 一 Ｄ， ぐ λ ， ∂ﾉ ｰ み’

ｊ

光町

(2.15) 23  但し,z),=。,x,−。,y,・1であり，(a･a･j‥司はひ,いりにおけるljの微分値である.  Lcvenberg-Marquadl法では，これらの偏微分係数からHessianマトリックスj4と，グラディ エントベクトルゐを求める。

㈲=Σ

＆ 厖 ，（桃 一一 j。， ゐ1＝−2yE,ご

そしてｍの推定値を次の量だけ更新する．

△謂 ＝(Å＋λj)｣ゐ 謂『』“】〕＝削0〕＋Am (2j6) (2.□) (2.181 (2.19j

 

ここでλは安定化係数であり，繰り返しの過程で動的に更新される．またバりは巾HIの

繰り返しであることを示す．

 2.2.4 処理手順  1.evenberg-Marquadt法を利川してパラメータ擢定を行うためには,大まかな並行移動成分 を初期値として与えることが必要となる．本稿ではピラミッド肖像を利川した階層的マッ チング手法【Sczliski97】により，背景画像と入力画像の相対的な並行移動成分を求める．その 他の実現例としては，位相灘l関法(phasedcorrelatjon)により並行移動量が大きい場合でも安 定に推定できるJことが報告されている(Sezliski971.  変換パラメータの推定手順をまとめると，次のようになる．  １)ﾆi?景画像j(x｡.)の各画素に対応する，人力画像/瓶｡l)のIlli素削,幻を求める．次に，対応 する團ま間の誤が。,と，微分値(ajjﾉax‘,∂z･/み･)を求めて，式(3)および式(4)を計算する。ま  たλの初期値を設定する． ２)式(5),(6)より射影変換マトリクス ｢Jの値を更新する． ３）誤差rJの値が￡･口jより小さければ，λの値を減少させる．また，誤差ど･jの慎がど･-jj  より大きければ，λの偵を増加させる． ∂・ i 一 ∂・ 7

24 第２章 ロバストなパノラマ画像の生成 ﾚ1,政治の変化分ﾄﾞ‘｣一一1･‘ljlの値がしきい値よりり｣ヽさくな，た場合か,決められた1lll数を 加ｽﾞ.だ場今に終了する． 本稿ではλの初期値を0.001として，減少させる場合は￨/]0，増加する場合は10倍にし た．終ｒ条件を￨だjヒぎ‥ld.1とＬた．また，500回以ﾄ繰り返しても収束しない場合は終了 とした.  1･,心のr法で求めることができるのは，隣接した画像間の射影変換マトリクスのみであ 乙．そのため，複数枚の画像を重ね合わせるときには，中心となる画像（アンカー画像）を 決めて，アンカー画像からの相対的な変換パラメータを求める．例えば，ll,12...ちの５枚の 人かII･II像を重ね介わせる際に．ｌｉの画像をアンカー肖像として利用する場合を考える．その 場合は，7,と1｡/,と7,のように隣り合った入力画像から薇定した射影変換パラメータを用 いて．｜，と￨，の射影変換パラメータを求める．つまり．1枚の人力l由i像がある場合は， ％ニ肘り/ M り2 Ｍ。／４馬  とな芯．ここで．人力Illli像のM｡座標を変換して出力画像を生成すると･出力画像の画素 に抜けが生じるという問題が起こる．そのため，出力画像から入力画像の位劉:を逆算する． {Ｍｏ，Ｍ｡。¨¨M｡｡1/jzjg ° zj。  2.2.5 実験結果  図2.4ヽ図2.8に，典型II自な室内環境および屋外環境において人力画像を取得して，パノ ラマ画像を生成Ｌた結果を示す.図2.4(a)は室内において３枚の人力画像を取得したとｊろ である.(♭)は(a)の人力画像を涌[ね合わせてパノラマ画像を生成した結果である．図2.5(a) は屋外において･1枚の人力画像を取得したところである.(♭)は(a)の入力画像を重ね合わせ てパノラマ111i像を生成した鈷果である．同様に，図2.6,図2.7は室内情景の実験結果，図2.8 は屋外情景の実験結果である.  2.3 問題と解決のアプローチ  2.2.5でポした実験例では，カメラを連続的に移動させて入力画像を取得することを想定 している．そのため，処理の段階で人間が画像間の重複領域が多い入力画像を選択するこ とがII｣･能である．また，入力画像を取得する際の視点間隔が狭いため，奥行きの変化によ る視差やオクルージョンの影響も少ない．

 

ところが,実環境でパノラマ画像生成を行う際には，移動物体が含まれていたり，並行配

置したカメラから得られた入力画像を使用することが多い．例えば，移動物体が含まれて

いる画像系列を利用した場合は，画像の内容が異なるために，重ね合わせても２乗誤差が

25 最小にならないという間釦がある．また，カメラを敏行配置Ｌだ場合は，視差の影響があ るために，平面として近似することが困難である．  本稿では，これらの￨￨¶￨題を解決するために，まず既知のカメラ配匠￨?津liや環境モデルを参 照して，パノラマ画像生成のロバストネスを向上させる（:以1，4章）．次に，視点位置の 諭いにより発生するオクルージョンの影響を抑制Ｌてに収ね合せ処理のロバストネスを高 める（５章）．更に，移動物体領域を抑定して重み付き最小２乗推定法を適川することによ り，移動物体が含まれている肖像系列からでも安定にパノラマII1･￨像を恪,成する（６章）．  更に，パノラマ画像の特徴として，テレビカメラで撮影した個々のIIlji像よりも，illjjμjが大 きいことが挙げられる．カメラ映像を取得する際には，３次元情景を２次元1111i像㈲に投影 する．そのため，視野が広くなるにつれて視野の周辺部分が不自然に￣11むという問題か起 ,こる．このような幾何学歪みの問題は，通常のカメラ￨]央像でも起こるが，パノラマ肖像の 場合はillll角が広いために特にWSTZ:である．パノラマ肖像の幾何学.1みを軽減する'F法につ いては付録Ａで述べる．

2

.

4 まとめ

 

本章では,多数のカメラを利用した肖像・視において,・視14による全体的な状況把握を

強化するためのシステムの構成を述べた．次に，パノラマ痢像を生成するための基本手法

を述べて，室内環境や屋外環境における典型的な実験例を示した．更に，パノラマ測像を

生成する際の問題点について整理して，解決のアプローチを述べた．

26 ㈲人力111｣涙 (b)パノラマ肖像 図2.4実験結果 第２章 ロバストなパノラマ画像の生成 '心 ． １回嘸が議 (a)人力㈱像 (♭)パノラマ画像 図2.5実験結果 27

28 (a)入ノパ￨｢涙 (b)パノラマ肖像 図2.6実験結果 箇２章 ロバストなパノラマ画像の生成 ㈲人力肖像 (♭)パノラマ画像 図2.7実験結果 29

30 第２章 ロバストなパノラマ画像の生成

j願坏71

哺日･]白す勺戸いノ

ごl几ヅ“ﾍ尚ﾀﾞ恥ﾌﾞﾒ

几］ふ長長ﾔ

(a)人力画像 ㈲髪岬1 い こ Lj尚 尚白子 y tyj宍 工￨詣言 、 j’ ﾆ゛白宍･善゛ﾑﾉとしﾍﾟﾚ ］   − とごｱFT ゛ ｀iﾍ ﾔ………几’･9……9≒ぐj･     秀一 。二尚贈贈察宍7T 匠特･………ｺ百二二_ j 万一｡一回………漸j……､?il贈万言∇………￨､,･￨｀￨白lylﾐJjU･｀j    …… 一一 二回匹白々回 ’ヽ臼犬言膳囲昌顛囲回且匹 (b)パノラマ画像 図2.8実験結果

第３章

カメラ配置情報の参照

本章では,複数枚の入力肖像からパノラマ肖像を生成する際に,カメラ咄削‘i報を咎照して安 定に重ね合せを行yF法を提案する.本手法では,既知のカメラの位置と姿勢から入力illjj像111』 の変換パラメータを￣列則するため,肖像間の爪複領域が小さい場合や謳1転成分か大きい場合 でも，T収ね合せ処理の過程で異なる位置に収束することを防ぐことができる．また，初￨り｣仙を 捕定するための探索や,非線形最適化の過程での緩り返Ｌ処理を低減することがI･｣'能である．

3.1 はじめに

31

 従来のパノラマ画像生成法においては,カメラを連続的に移動させて入力画像を取得する

ことを想定Ｌているため，処理の段階で人間が画像間のj収複領域が多い入力画像を選択す

ることが容易である．そのため，重複領域の輝度他の２乗誤差を最小化したり，特徴点間

の・離を最小化するだけで適切な結果が得られることか多い．

 ところが,離散的に配置されたカメラから取得した映像を統合化する場合には,カメラの

間隔を広く取って入力画像の数を滅らしたいという要求がある．そのため，画像間で共通

する領域が少なくなると，重ね合せ処理が不安定になるという問題が起こる．また，並行

移動成分に対して回転成分が大きい場合は，最適化の過程で異なる値に収束する可能性が

laいことも指摘されている．例えば，図3.1(a)(♭)は，人力画像間で並行移動量よりも回転

32 鯖３章 カメラ配置情報の参照 l,:澗方が大きい実験例である.(c)は輝度値の２乗誤差を最小化Ｌた結果,真値とは異なる仙 に収束したところである．主な原囚は，人力illlj像の輝度値の分布が複雑であるため，輝度 値の２乗誤差を最小化する過程で，初期値に近い局所最小値を求めてＬまう為であると考 えられる．我々の実験では，初期仙[を求める際に，10ピクセル程度の正.Lい値か得られな い場合は，数値計算の過程で発散したり，IIC値とは異なる値に収束することが多かりた．  木ぐ･?では.複数枚の人力III･￨'像からパノラマ画像を生成する際に，カメラ配匿情報を参照Ｌ で安宛に岨ね合せを行う手法を提案する．本手法では．まずカメラ配置プランニングの過 F.で1!JI=られた人まかなカメラの姿勢と設iM¶｣隔を利川して，Illlj像lnjの変換パラメータを予 il!￨』する．次に，カメラ配匠￨゛Ilf報の誤差を許容するために，Illli像間の輝度仙[の２乗誤差が最 小になるように変換パラメータの最適化を行う．  柘F法では，カメラ配i跨h'i報から画像問の変換パラメータを予測するためj1111像￨川の重複 QII･絨が小さい場合やyl ll転成分か大きい場合でも，重ね合せ処理の過程で異なる位置に収 束することを防ぐことができる．また，初期｣値を推定するための探索や，非線形最適化の 過程での繰り返し処理.を低減することが可能である．  3.2本手法の概要  3.2.1 処理手順  図3.2に本手法の概要を示す．本手法では，複数枚の人力画像からパノラマ画像を生成す る際にカメラ配置･￨宕報を参照して安定に重ね合せを行う．本手法では,次の３つのステッ プで111111像のI収ね合廿を行う．  □まず，カメラ配11.1［を行う際に，カメラ間の相対的な位匿と姿勢を入力する．  ２］カメラの位劉:と姿勢を利用して，入力画像間の変換バラメータを予測する．カメラの   位置と姿勢には誤差が含まれているため,予測した変換パラメータを利用して重ね合せ   を行うと，画像間の位置ずれが生じる．  ３）２）で求めた変換パラメータの誤差を修正するために，重複領域の輝度仙の２乗誤差   が最小になるように変換パラメータの最適化を行う．  本手法では,カメラ配置情報から画像間の変換パラメータを予測するため,画像問の重複 領域が小さい場合や，回転成分が大きい場合でも，重ね合せ処理の過程で異なる位置に収 ㈲人力画像Ｉ （b）人力肖像２ （c）最適化処理を適用した結果 図3.1 重ね介せ処理の過程で間違った推定値に収束した実験例     Fig,3.2Example ofthe wrong parametersestimation

1）lnpulamerap（sition   andorientalion ／／ Ｔ ｅ ｒ ｍ ｉ ｎ ａ ｉ _Opcralor canlerapo以】onlnglnfomlalion

に

2)lnitial Registration

L;

33 3)Parameter optimizalion ￨ﾇ13.2 カメラ配置情報の参照によるパノラマ画像の生成．カメラ配置プランニングの過程で得ら れた大まかなカメラの設置間隔と姿勢を利用して，画像間の変換パラメータを予測する．次に， 肖像間の輝度値の２乗誤差が最小になるように変換パラメータの最適化を行う．

34

大仏ダ

(a川口1転のみの場合(T=0)

  

や  馬

に乙仁Ｌ申

寥

− ︲

寥

− ︱ Ｉ− 第３章カメラ配置情報の参照

＆

①

−

席

Ｉ ︲ (b)並行移動と回転を行う場合 ￨叉13.3 カメラ配置の分類

束することを防ぐことができる．また，初期値を推定するための探索や，非線形最適化の

過程.での繰り返し処理を低減することが可能である．

 3.2.2 射影変換の定式化  かメラ1!政hll報をグローバル座標系内でのIljl転行列刄と並行移動量,で表わす．カメラ配 節hl｣｀報を利川して予測il111'像の生成を行うためには，IIll転行列尺と並行移動Ｍｄヽら射影変換 マトリクスＭを求めることが必要となる．本稿では，同次座標系(ゐslaがｇｓａＱｄｓｒａ) で￨剛系式の記述を行うIFo】cy911.同次座標系では,(･,y,w)に相当する点の２次ﾌc空間内の座 標はrx4,ywJとなる．同様に，(x,y,z。)の３次元空間内の座標値は(x佩y/w,z細)となる．  同次座標系では，射影変換g″＝肘14は，次のように記述することができる． ぞ ｙｗ

ﾄ￨

謂 0 0 夕 ? 7 1 0 Z 7 1 2 0 Zyl{11 Zy211 y?121 021222 ＥＥＳ l  Ｊｙｗ １ _. ﹂ ｌ (3.1)

 回転行yl鑓と並行移動量,から射影変換マトリクスＭを求めるためには，３次元空間内

の点ρ=rx,y,z,副と，２次瓦画面上の点l=μ,y,wJの関係を求めることが必要となる．点j，

とが，u万の関係は，３次元空間内の織体変換Ｅと，透視変換ｙで記述することができる．

･4＝VEP (3.2) 式(3.4)の透視変換マトリクスいよ３×４の行列である．

y＝[yOI＝

１ ００ ００／     １ ０１０ ／ ００ ０ 35 (3.3)  また，式(3.4)の剛体変換￡は，カメラlnjの移動を表わす３×３のII 11転行ﾀﾞI』1および，３ 次元の並行移動ベクトル1で表わすことができる． / ぞ

ス

ﾉ ? 0 7 ’ ＩＩ １ (3.4)  図3.3にカメラ間の移動を分類したところを示す．￨渕3.3(a)はカメラが回転しながら画像 を収得する場合に相当する．図3.3(b)は，カメラ間の配流情報が並行移動と回転により表わ される場介である．図3.3(a)のように回転のみを行う場介は，式(3.5)の剛体変換￡はz=θと なる．  3.2.3 原点を中心に回転する場合  まず，図3.3(a)に示すように，カメラの回転角(∂.,恥,∂,)が既知の場合に，射影変換 マトリクスＭを求める．ここでは，定式化を簡単にするために，グローバル座標系の原点 を最初のカメラ座標系とー一致させる．つまり，基準となるカメラからの相対的な回転角が 分かれば良い．  射影変換マトリクスＭを求めるためには，まず,画像面上の点lに対応した３次元空間内 の点j,を求める．次に点j,をカメラの原点を中心に回転した場合の点ρ･を求める．そして， 式(3.4)に示すように，座標j,'を画面上に投影して，２次元画面上の点g,'を求める．  まず，画像面上の点心こ対応した３次元空間内の点j,は，逆透視変換となるため，式(3.6) の透視変換マトリクスＶの逆変換となる．

勺

Ａ-１ Ｖ １４  Ｗ (3.5)

ここでｗは，射影的な奥行き(p向ec函edep向であり，同次座標系において点ρが原点か

36 第３章カメラ配置情報の参照 らと.･の手'I渡離.れているかを表している．次に，式(3.7)のｎをカメラの原点を中心に回転さ ｊ-で,･1り'を求める．カメラの原点を中心にIIII転する場合は，式(3.4)の￨剛体変換Ｅでｔ=∂ となるため， 」−沢− ０１１ μぶり   ＡＩ 尺1/ ￡j   W (3.6)  である．よｰ.jて，式(3.3.2)に示すようにu＝VEpであるため，式(3.6)を代人すると，ρと Ｕ)関係を求めることができる．        轟 A･｜       zj" yjiV ￡j−ﾉば｡zj       (1.7)

 

式(3.9)の嶋はカメラが原点を中心にIIII転する場合の，射影変換マトリクスである.Aち

を要一素に展開すると次のようになる．

MR 一 一 r閣   rn1  7r02 r10   rll  y｀r12 o / /’ r21ﾉj｀’frJ f (3.8)  4.1L，り幻II転行ﾀﾞlj尺の要素である．また，j7は２枚の入力画像の焦点距離であり， 入力･illli像間で焦点距離が変わらない場合は./1=fである.II.･j転行列j?は，x,y,z軸を中心と した回転角（e，jl .,a?Sから，次のように求めることができる． /ぢ

凡

凡

一 一 = ￨ -１ ０ ０  0   0

cos eｴｰsin e。

sin 8x cos 01 cos oy o  0   1 -sin oy o COS 8z sin ez  o −sinoz COS Oz   o sin 0，  0 ＣＯＳ ０ ０１ Oy 」 ｜ 」 (3.9) 式(3.H)から￨り￨転行列の要素rg.を求めて，式(3.10)に代人することにより，射影変換マト

ＪクスMiを求めることができる

．

37  3.2.4並行移動と回転を行う場合  次に，図3.4(h)に示すように，カメラ111』の回転行列刄および並.行移動jlhがほ知の場合に， 射影変換マトリクスを求める.3.2とid様に，定式化を簡単にするために，グローバル座標 系の原点を最初のカメラ座標系と一致させる．つまり，基準となるカメラからの相対的な 位置とIIII転角が分かれば良い．  射影変換マトリクスμを求めるためには，3.2と同様に，まず画像面上の点ｕに対応じた ３次元空111]内の点ρを求める．次に点ρをカメラの原点を中心にllll転して，敏行移動した場 合の点pjを求める．そして，点j,･を画面上に投影Ｌて，２次元両･lfl目lの.l,lh'を求める．  まず,画像面上の点ljに対応した３次元空間内の点ρは，逆透視変換となるため,式(3.3.6) の透視変換マトリクスｙの逆変換となる．よって，カメラから見た平面１の法線を,11で表 わすと．       峠㈲     (3.10)  となる．次に点馬を，回転行列沢および並行移動量1だけ移動すると，式(3.3.5)に示す員￨￨ 体変換Ｅによりρ'l=励1と書くことができる．よって，式(3.4)のρと・の関係式μ,=y邸Jに， 式(3.3.12)の凡を代人すると， ｢＝Ｖ'ＥＲ＝□(/ぞ十zべ  画一1 )y _μ =

肘一

(3.11)

 

となる.3.2と同様に･,Ｍ」軸を中心とした回転jl』（ら,眠,りからlljl転行列Ｒを求め

て，式〔3.13〕に代入することにより，射影変換マトリクス夙が得られる.

 3.3 非線形最適化

 以上のように,既知のカメラ配置情報を利用して,変換パラメータを掘定することができ る．ところが，ブランニングの際に得られるカメラ配置情報には誤差が含まれているため， 予測した変換パラメータを利用して重ね合せを行うと，肖像間の位置ずれが生じる．その ため，画像間の輝度仙の２乗誤差の最小化により変換バラメータの最適化を行う.  Levenberg-Mafquadt法は,最急降下(gradient descent)法と比べて,少ない繰り返し回数で収

38 第３章 カメラ配置情報の参照 東すゐJことが知られている.Lcvenberg-Marquadl法を適用するためには,｛m,……m7｝Cこ関する ｙの偏微分を求めることが必要となる． ＆ 一 一 x j. 一_ひ ａｕ° a/ 一 ＆j

Σ

& j -∂｡, 7 ＆ ∂ ，Ｃ ， 一 削 一 一 互 Z)， 仇＝

ｊ

。芭み

 栓

。芭如

し

2Σε， (y4＋λ/)11， ＝ ｢j十△哨 ∂ ど ， (3.12) (3.13) (3.14) (3,15) 泌1α詐／ Z412 i附aが２

Notoverlap

polnt 図3.4 重複領域の判定方法 39 測して邱(ね合せたところである．被写体の平面はカメラのz軸に垂i匈xy平lfliと並行)であ ると仮定して,x軸に沿って約10m平行移動した.(d)はバラメータの最適化を行って重ね合 せたところである．図3.6は最適化の過程でバラメータの値が更新されていく様r･をぷす． また，表3.1に予測した変換バラメータと，最適化を行った後の変換バラメータをぶす.  3.5.2 カメラが回転する場合  図3.7の(a)(b)はカメラのy軸(投影中心を通る垂直軸)を中心に回転させた場合の人力画 像である.(e)はy軸回りの回転角を15度として,予測画像を生成して重ね合せたところであ る.(d)はパラメータの最適化を行った結果である．表3.2に予測した変換バラメータと，最 適化を行りた後の変換バラメータを示す.  3.5.3 カメラが回転と移動を行う場合  図3.8の(a)(h)はカメラのz軸を中心に回転させた場合の入力画像である.x,yz軸に沿って (-5,-35,-55)【dqsdりl転させて,x軸に沿って約lm移動した.(c)は予測画像を利用して重ね合 せたところである.(d)はパラメータの最適化を行りたところである．表3.3に予測した変換 パラメータと，最適化を行った後の変換バラメータを示す． ∂薦）  但し,Z),-。,,.x。,り,ｆｌであり，(Ｅａｄ･祠 は収',y,における1'の微分値である.Levcnberg-Marquadt法では，これらの偏微分係数からHcssianマトリックス４と，グラディエントベク トルゎを求める。 ∂匹 ∂。 _頌･

そしてｍの推定植を次の量だけ更新する．

Ａｍ 川り 一 一 １ １

 ここでλは安定化係数であり，繰り返しの過程で動的に更新される．また，式(6)のμjは

川III目の繰り返しrあることをぷす.

 3.4重複領域の判定

 図3.4に重複領域の判定を行う手法を示す．ここでは説明を筒単にするために，射影変換 によｉｈｓａμ２をj｡卯.バこ重ね合わせることを考える．まず．･･ｑｇ２内のある点1,を，射 影変換バラメータの初抑｣仙により変換して，U',が得られたとする．図3.4のように，.I,が ･･ｍｑＪの中にある場合は，重複領域に含まれると判定することができる．また，ｉ,ｕμ２内 のあ恥l,Iハ,,を，射影変換パラメータにより変換して，.12が得られたとする．図3.4のよう に，l',がisaSEIの外に出る場合は，重複領域に含まれていないと判定することができる. j‘s卯ε２に含まれる令ての点について同様の判定を行い，重複領域を決定する．  ３．５ 実験結果  3.5.1 カメラを並行配置した場合  図3.5の(a)(h)はカメラを１行移飴させた場合の入力画像である.(c)は変換パラメータを予

40 （a）人力illlj像１ 第３童 カメラ配置情報の参照 （b）人力画像２ （c）変換パラメータの予測による重ね合せ (d)変換パラメータの蚊遣化 図3.5 パノラマ画像生成結果0） ¶ □ ３ １ □ ｊ ｌ ｌ ． ﾛ g S 1 . □ S j １ ． ０ ｇ ｇ ¶ ． ０ ２ １ １ １ Ｓ ｌ ａ １ １ １５１ １ ! , １ １ 1 5 2 1 5 2 5 1 5 3 1 5 3 5 １ ５ ４ １ ５ １ ５ ロ ０ I S I . D I S l j ¶ S 1 刀 1 4 1 ￡ 1 2 1 0 1 1 厦 ・ 1 . ぼ ー ａ １ ６ ｓ ａ ¶ Ｄ ｉ ｉ １０ Ｓ ¶ ０ ５ １０ ｄ ｌａ Ｓｌａ ｇｌａ １ (a)s,J （c）ら Ｓ (e)ら (g)ら １ ０ Q a め Ｃ ０ 匯 沁 - C I¶ ａ ｎ 自 ９ ｌ ｎ ｌ ｇ Ｃ ． ｎ ｌ ｓ ０ ０ □ ０ ０ １ ６ ０ ０ １ ５ ０ ０ １ ４ ０ ａ １ ３ ０ ０ １ ２     ０ １ ５   ７ ２ ５  -3 -Si  ロ １ １ １ ロ １ １ ０ Ｓ - 2 1 g ･3 1 σ - ｉ ｌ ａ ｌ     Ｃ タ _６ ８ （ｂ）弓 （d）m、 （f）m5 (h)り １ Ｇ 図3.6 図3.5の実験結果の射影変換パラメータの更新過程 ？ 41

42 ㈲人力肖像１ 第３章 カメラ配置情報の参照 （b）人力画像２ （c）変換パラメータの予測による重ね合せ (d)変換パラメータの最適化 図3.7 パノラマ画像生成結果 (a)人力画像１ （b）人力￨肖像２ （c）変換パラメータの予測による重ね合せ  (d)変換パラメータの最適化 図3.7 パノラマ画像生成結果(3) 43

44 第３章カメラ配置情報の参照

3.6 まとめ

45  本章では,複数枚の人力illli像からパノラマ￨自i像を生成する際に，カメラ配昨￨情報を参照し て安定に重ね合せを行う手法を提案した．まずカメラ配泗:の過程で得られた誤差を含むカ メラの位置と姿勢を利川して，人力画像間の変換バラメータを予測する手法を述べた．次 に，カメラ位置と姿勢の誤差を許容するために，肖像ISI]の輝度値の２乗誤差が最小になる ように変換パラメータの最適化を行Ｑた．  更に,典型的なカメラ配置を設定して,本手法の有効性を実験により確認した結果を述べ た．実験では，肖像間のJ服複領域が小さい場合や，回転成分が大きい場合でも，安定に変 換バラメータを推定できることが分かった．また，初期値を推定するための探索や，非線 形最適化の過程での繰り返し処理を低減することが可能となった．  prcdlctcd cocttlclcnls  表3.1:図3.5の射影変換パラメータ 胴｡Z詞， 痢， 剛， Sj 剤，罰。 刑 i.(XS，0.axl，-15{},0【】.0.fxx]，1,000，-2.(X)0，0.(XXI.0.rxl  叩dalcd il.025..{}.薗S3，-】51.S4.0.019，1.019，-3.43S， (1.axll，n.CxlOOI {･ocfljcicnls l 表3.2:図3.7の射影変換パラメータ 一 一 一 一 哨り  附,，m2 閉i 鷹4 削ｉ 讃６ ｍ７  predicted i   .  j,()(X)，0.0{司，-160.77，0.000、I.035，0､{XX〕，0.00045，0.000 COeaIClenlS I  updated   l.096、-0.(X)4， -166.01，0.055.1.0667，一13,1 1 ， 0,0031，一〇､〇〇〇〇2 cocfficients

表3.3:図3.8の射影変換パラメータ

mr，哨/ 哨丿 附､? 夕霖4 〃lj 詞乃 〃17  predlcted cocmcients  updated cocfnclents Oj]￨,0.816，-203､78，-().642，0,57j、280.94,0.卯]04，-0,CXX〕16 0.596' 0.953' ￣238.05にO'750･ 0.667･ 328.19･ O･匯)12， -0.0(x)18   1        1

46 第３章カメラ配置情報の参照

第４章

環境モデルの参照による誤差の軽減

３章で提案した手法を発展させて,複数画像を重ね合わせる際の誤差の蓄積を軽減する手法を 示す.本手法では，２次元一儀と既知の環境モデルの重ね合わせを行うため，入力画像の枚数 が増加したり，重複領域が小さい場合でも,安定かつ高精度にパノラマ画像を生成することが できる．本章では,誤差のモデル化や,拡張カルマンフィルタを用いた誤差の軽減手法を説明 する．また，実験により有効性を確認した結果を示す．

4.1はじめに

47

 ３章で述べたパノラマ画像生成法では,カメラ配置情報を参照して画像間の変換バラメー

タを予測して，輝度仙の２乗誤差が最小になるように最適化を行う．複数枚の画像を重ね

合わせるときには，中心となる画像を決めて，相対的な変換バラメータを求める．ところ

が，隣接している画像問の変換パラメータはある程度正確な場合でも，中心となる圈像か

ら離れるに従って，誤差が蓄積するという間題が起こる．

 本章では,複数画像からパノラマ画像を生成する際に,設置環境の既知の３次元モデルを

参照して，重ね合わせの誤差を軽減する手法を提案する．本手法では，既知の３次元情報

を補助的に利用することで，２次元画像のみで重ね合わせる場合よりも，安定で高精度な

48 I収ね合わせを実現する．

4.2予測・観測画像間の誤差最小化

4.2.1処理の概要

第４章環境モデルの参照による誤差の軽減  図4,1に本手法の概要をがす．本手法では，次のようなステップで，パノラマ画像の生成 を行う．  □まず，カメラ配置情報として相対的な位置と姿勢を入力する．また，誤差を含む撮影  環境の３次元モデルを人力する．撮影環境の３次元モデルは，線分および平面の組み合  わせで表現する．  ２）□で人力したカメラの位置と姿勢を初期推定値として利用して，２次元卵i像面上で  の３次瓦モデルの見え方を予測する．予測された２次元画像と，実際に観測された２次  だIIIli像の２乗誤差が最小になるように，カメラの位置を補正する．カメラ位置を補正す  るｆ法として，拡張カルマンフィルタを利用する．  割撮影環境の３次元モデル上にテクスチャマッピングを行いパノラマ画像を得る．  次･i?では，３次7cモデルから予測された２次元画像と,実際に観測された２次元画像の対 応付けを行い，カメラ位置の推定精度を高める手法を説明する．

4.2.2カメラ位置推定の概略

 ［ｽﾞ14.2にカメラ位置と2D-3D線分の関係を示す．グローバル座標系でのカメラ位置x＝lr。ポ を位￨めと姿勢rで表わすバは原点からの移動成分を表すベクトルである．また，ｒは回転 軸に洽ったベクトルであり，ベクトルの大きさは回転角に等しい．カメラ位置の推定は次 のように行われる：  ￨）３Ｄ線分βのグローバル座標系中での位置は既知であるとする．またカメラの大まか  な位置の推定値瓦が得られるとする. 2）カメラ位置の推定値刄を使い３Ｄ線分/･の見え方を予測する．これを推定画像と呼び，  丘測した２Ｄ線分（2D予測線分）を（?とする. 3）観測画像から２Ｄ線分（?Iを得る．カメラ位置の推定値べに誤差があると，予測した（2 Planning ／ ／ Operator 3D-2D Registration observcdlmage Expccted lmage 図4.1 本手法の概要．３次元モデルと２次辺lij像の重ね合せること により，パノラマ画像の生成を行う． 49

  

と実際に画像から得られた2D線分QIは･’致Ｌない.これを予測誤差と呼ぶことにする.

 4）予測誤差がゼロとなるように推定価凧を補正して，正確なカメラ位置べを得る．

 次に，カメラ位置の初期推定値xlおよび３Ｄ線分戸と，観測腸丿像から得られた２Ｄ線分

QIから，予測誤差を算出する手法を説明する．

4.3予測誤差の定式化

 図4.2において，２Ｄ線分QI=r9,',92ﾘを２次元渕面上で始点および終点を表わすベクトル ･?,“およびg2'で表わす．３Ｄ線分jl=価.ρ2Jをグローバル座標系での線分の始点および終点を 表わすベクトルρ,および馬で表わす．また，カメラの初期位置で観測された２Ｄ線分Ｑ'と， ３Ｄ線分Ｐの組を，1＝rgQ'Jで表わす．  図4.2(b)に示すように，カメラ位置･=/削7が正確な場合は，観測画像から得られた２Ｄ線 分Ｑ･とカメラの原点が作る平面Ｍの上に，3D線分j3=咄,ρ2Jが含まれる．ところが図4.2(a) のように，カメラ位置x=/図7に誤差がある場合は，平面μと３Ｄ線分Ｆの聞に距離が生じ る．本稿では，３Ｄ線分P={pi,pJの始点および終点の平面Ｍへの最短距離を，予測誤差ゐμ,IJ として利用する． み(x,/ ソ （励I十1）･l （昴2＋1）･・ (4.1)

50 刄

μ    μ

ＩＮ

ヽノ／

匯

im叫ﾐe ptane

(a)初期位置で重ね介せた場合 IZ14.2 する． 第４章環境モデルの参照による誤差の軽減 X1 1  ‘llL 刄 ？

泌7a詐ρ/附把

(b)更新しか位置で重ね合せた場合 カメラ位置と2D-3D線分の関係．カメラ位置の推定値べを使い３Ｄ線分/'の見元方を夕潮 伺則誤差がゼロとなるように植定植瓦を袖jﾄﾞして，正確なカメラ位置ぺを得る．  h胚胎よ２×１のベクトルである．訓よｒから導出される３×３の回転行列である．また， 心よ面Ｍの肌位法線ベクトル

づ詣

(4.2)

 

である．ｘに誤差がない場合は，1μ,IJ-0となる．

 塀x,IJは非線形なので，観測値１＝は測定値x＝i,，のまわりに１次テーラー展開をして

線形近似する．

但し 涵 み a al 垣x､臣り2(i、

/･)言勺ｿﾞｶ(゛私ノリy古(/

ハ︸ は偏微分を表わす.堂は２×６の行列であり，次式となる（付録参照） (4,3)

また晋

ヤ

融石

丿

討

∂ゐ が班ρ1×/1 i￣j 〕 が班μ2×/] ７γ 月月 帽

は2×12の行列であり，次式となる

∂た 一 ∂／ ａｙ︲ロ ￣￣1￣ み 一 一 p l ∂jl aゐ 3￣瓦･j￣i， ？ ０  μ ゴー  応ｎｒ  へ四″々ｄ

仁

絃

∂ − ∂ ∂ 一 ∂ 煮 gl 旦 々2 ｊ 勣 ∂必 （付録参照）：

￨19ｽﾞJi[角ﾘ￣zl

7【-い1;×/1+sが【,7;×/】] 匯よ刮目印行が[￣[6](/)4￣″“7[qメI]1

口入j‖[卵汁ポ[￣ば1](/)o

｢りメ/]1

h‘ l j 9;￨【jり2￣1' ″】7i￣111)d]゛″1"7【‘7'Iｘｌ】] 51 (4,4) (4.5) (4,6) (4,7) (4.8) (4.9) ( 4 , 1 ( ) ) (4.11)

 

これらの偏微分係数は，カルマンフィルタを適用してカメラ位置ｒ=fr庁の最適値を求め

る際に利用する．

4.42D,3D線分の対応付け

艇ｽﾞ,りを求めるためには３Ｄ線分Ｐと，それに対応する㈲㈲上での２Ｄ観測線分QIの組

52 第４章環境モデルの参照による誤差の軽減 j={P。Qりが必要である．しかし撮影環境内に多数の線分がある場合，１つの３Ｄ線分に対し て複数の２Ｄ線分の候補があることが多い．  本稿では,以下の２つのT･法を併月』して対応付けを行う．まず２Ｄ肖面上で見たときに重 な９ている線分を候袖として選択する．次に，カメラの誤差分布と，2D，3D線分の誤差分 布を考慮に入れて，統計的にｰ･致すると判定できる線分を選択する．

4.4.1 2 D画面上での対応付け

 図4.3に２次元肖㈲上で対応付けを行う手法を示す。まず，図4.3(a)のように，３Ｄ線分 ＰをIIIljlfl目1に投影して，２Ｄ予測線分Q=陶｡如を求める。また，観測画像から２Ｄ線分Q‘= rgl｡妁Jを得る.lgl4.3(♭)のように，２Ｄ線分Qj=6?‘｡9ﾘと２Ｄ予測線分Ｑが，画像面上で 垂複領域を持つ場合は，対応の候補として選択する｡  j重複領域の判定方法としては，{q。りをrg･｡妁Jに射影したときに，9,あるいは,?2のどちら かの点が19',｡･印の内部にあれば，２つの線分は重なっていると考えることができる。まず， 9湧師',j妁Jに射影した場合の座標jは,f9'j,qりに沿う単位方向ベクトルをg=Nrq≒−q'nNll はベクトルの正規化を表わす)とすると， s＝9jl十zj･(91− g;)zj である.j･が凪,妁Jの内部に含まれる場合は， い-ｑ，)･(s-i)<0 『4』2） (4.13)  となる．この操作を9j,9j7･.,?いこ関して行い，２つの線分が画像面上で重なっているかを 判定し，重なっていない線分は棄却する．

4.4.2誤差分布を考慮に入れた対応付け

 カメラ位置の誤差分布ri,と，２Ｄ，３Ｄ線分の誤差分布cy,を使ってzj検定を行い，統計的 に一致Ｌないと考えられる線分を棄却する．ここでは，２Ｄ-３Ｄ線分が一一致していると仮 定Ｌて，仮説検定を行う．２Ｄ-３Ｄ線分が一一致している場合は，式(3)のMX,りの線形近似 式がゼロとなるため，

心丿一以)4'勁ﾘﾌぶ(x−

ii

_

,

万

)j哨J/I)(1べ)'ｏ

(4.14) 瓦 image Plane ㈲P,Q,QIの関係 Ｆ

犬

ｈ目Ｊ

匹

Q＝(ql,q2)

(bﾊﾟ剛象面上の線分の   重なりの判定 図4.3 2D画面上での対応付け 53 が得られる。カメラ位置x=μf'と観測値1＝砥Ｑりの誤差分布を，正規分布,7｡ヽ･/vΓθ,らJμy， -‘Nfa,￡｡Jと仮定する｡1(i,_,j)の１次，２次統計量は， ￡□l(恥ljj)]＝0 ￡[jz(i,_1，jj)ゐ(i,_1 ｙ り )7トS， (4.15)

=時子/y聯冷汗)八州好尚し聯(舒削:(4.16)

となる．これよりマハラノビス距離ｄを次のように求めることができる．

j(え_lj,)＝h

l

(jj_1,4)7S7り･(恥lj,)

(4.17) 昭..,ゐの誤差分右はゐ(i,..1)∼MQjりであるため,j(1｡,b∼z'(,)となる(ただしj=刄a｡1隋J). 釣･】分布から，確率に基づくしきい仙を設置することができる．例えばj(i｡.,ゐ49.21は，S， がランク2(1-2)のときに99％の線分が受け付けられることを意味している【51.しきい値以 上の線分は，統計的に一致すると考えられないため，棄却することができる．複数の線分 が候袖として残った場合は,ぶ.,j】の距離値が最小のものを選択する．