論 文

論 文

段階的マッチングによる画像モザイク生成

金澤 靖

^†

金谷 健一

^††

Image Mosaicing by Stratified Matching Yasushi KANAZAWA† and Kenichi KANATANI††

あらまし 画像モザイク生成のための２画像の特徴点の抽出とその対応付けを自動化する新しい方法を示す．

これは特徴抽出フィルタで特徴点を抽出し ，投票によって回転やスケール変化や射影的ひずみを段階的に推定し て，それに適合するようにテンプレートを段階的に変形させるものである．これによって従来の方法が破綻する 場合でも正しい対応が得られることを実画像例を用いて示す．

キーワード テンプレートマッチング，特徴点の対応，ロバスト推定，最小メジアン法，画像モザイク生成

1.

ま え が き

「画像モザイク生成」とは様々な方向を撮影した画 像を接合し ，それを効果的に提示することによって臨 場感を増す技術である．従来より航空写真やリモート センシング画像の接合に用いられてきたが，最近では 仮想現実感の生成や可動カメラによる監視システムに も応用されている

[1], [5], [6], [10]

〜

[13], [15]

．

画像を接合する原理は，異なる

2

視点から撮影した シーン中の平面の画像間が「射影変換」で結ばれると いう事実である

[4]

．平面でないシーンも十分遠方にあ れば平面シーンとみなせる．したがって一方の画像に その射影変換を施せば他方の画像と重ねることができ る．この射影変換を計算するにはまず画像間の対応を 定める必要がある．

画像間の対応を定めるには連続ビデオ画像から隣接 フレームごとに対応を追跡する方法と，異なる２画像 間の対応を直接に探索する方法がある．実際の応用で は前者が主流であり，オプティカルフローを検出して 輝度値の差を最小化する方法がいろいろが提案されて いる

[5], [6], [15]

．

一方，個別に撮影した画像を接合する必要も多い．

†豊橋技術科学大学知識情報工学系，豊橋市

Department of Knowledge-based Information Engineering, Toyohashi University of Technology, Toyohashi-shi, 441-8580 Japan

††岡山大学工学部情報工学科，岡山市

Department of Information Technology, Okayama Univer- sity, Okayama-shi, 700-8530 Japan

このとき２画像間の移動が大きいと単純なオプティカ ルフロー検出では対処できない．これを解決するため に解像度を順次下げた画像ピラミッド を構成し ，低解 像度画像で求めた対応を順次高解像度に高める方法

[1]

や，粗いオプティカルフローを検出して反復によって 精度を高める方法

[5]

が提案されている．しかし ，い ずれも２画像間がある程度平行移動に近い場合でなけ れば有効ではない．２画像間に回転やスケール変化や 顕著な射影的ひずみがある場合は，輝度値を直接に比 較する方法によって対応付けるのは困難である．

本論文ではそのような２画像を対応付ける方法を提 案する．その原理は特徴抽出フィルタによって２画像 に独立に特徴点を抽出し ，各点の近傍をテンプレート マッチングによって対応させることである．この方法 はよく知られているが，２画像間に回転やスケール変 化や射影的ひずみがある場合はテンプレートを直接に 比較してもマッチしない．

これを解決するにはテンプレ ート 自体に回転やス ケール変化や射影的ひずみを加えればよいが，その回 転やスケール変化や射影的ひずみが未知である．そこ で本論文では投票によって回転やスケール変化や射影 的ひずみを段階的に推定し ，それに従ってテンプレー トを段階的に変形し ，最終的には２画像間の射影変換 とそれに適合するテンプレートの変形を同時に求める．

変形の推定は次のように進める．各段階で，前段階 で推定した画像の変形によってテンプレートを変形し，

それを用いてテンプレートマッチングを行う．これに は一般に誤対応が含まれるので，幾何学的拘束条件に

基づく最小メジアン法（

LMedS

）

[14]

によってアウト ライアを除去する．そして得られたインライアから画 像の変形を推定し直し ，次の段階に進む．

幾何学的拘束条件としては最初から射影変換を用い るのではなく，その階層性

[10]

に基づいて並進，相似 変換，アフィン変換，相似変換と段階的に自由度を上 げ る．その過程でテンプレートを段階的に変形させ，

同時にその大きさも段階的に拡大する．

輝度値によって領域を対応させる方法に比べて，特 徴点に基づく方法の長所は，画像の全体が同一の変換 を受ける必要がないことである．例えば遠景シーンの 一部に近景が含まれたり，平面シーンの一部に非平面 物体が含まれてもよい．なぜなら，そのような部分か ら選ばれた特徴点はアウトライアとして除去されるか らである．この性質を利用すると，床や地面や道路面 を撮影した２画像から人物や車両などの侵入物体を検 出することができる

[11]

〜

[13]

．

以下，提案手法の手順を説明し ，モザイク生成や侵 入物体の検出を想定した実画像実験を行ってその有効 性を確認する．

2.

射影変換とその階層性

シーンが平面のとき第１画像の点

(x, y)

は次のよう に定まる第２画像の点

(x

⁰

, y

⁰

)

に対応する

[7]

．

x

⁰

=f Ax+By+Cf

P x+Qy+Rf , y

⁰

=f Dx+Ey+F f P x+Qy+Rf (1)

この形の写像は「射影変換」と呼ばれ，その全体は自 由度８の変換群をなす．係数

A, ..., R

は平面シーンを 撮影するカメラの位置関係とその内部パラメータ，及 びその平面のカメラに相対的な位置から定まる定数で ある

[7]

．

f

は次元を合わせるための基準長であり，実 際の計算では数値的な安定化から画像サイズ程度にと ることが多い．式

(1)

は次のように書き直せる．



  x

⁰

/f y

⁰

/f 1



  = Z[



 

A B C

D E F

P Q R



 



  x/f y/f 1



  ] (2)

ただし

Z[ · ]

は

z

成分を

1

とする正規化である．右辺 の係数行列を「射影変換行列」と呼ぶ．その９個の要 素は定数倍の不定性があるので，一般の位置にある４ 点の対応から定数倍を除いて一意的に定まる．４組以 上の対応に対しては誤差の統計的性質を考慮した最適 解を計算する「くりこみ法」と呼ばれるアルゴ リズム

が提案され

[9]

，プログラムが公開されている^{（ 注1）}． 射影変換行列は定数倍の不定性より

R = 0 |

のとき は

R = 1

としてよい．このとき

P = Q = 0

なら式

(1)

は「アフィン変換」と呼ばれる次の形になる．

x

⁰

=Ax+By+Cf, y

⁰

= Dx+Ey+F f (3)

更に

A, B, D, E

からなる

2 × 2

行列が回転行列の定 数倍のときが「相似変換」であり，単位行列の場合が

「 並進」である．これらはそれぞれ射影変換の自由度 ６，４，２の部分群をなす

[10]

．本論文の手法はこの 階層性を利用する．

3.

マッチングの手順

3. 1

初期対応の生成

まず特徴抽出フィルタにより２画像から独立に特徴 点を抽出する．そして第

1

画像

I

1の特徴点

P

αと第

2

画像

I

2の特徴点

Q

βを次の「残差（ 平方和）」によっ て比較する．

J(α, β) = X

(i,j)∈N

|T

P_α

(i, j ) − I

2

(i

⁰

, j

⁰

)|

²

(4)

T

P_α

(i, j)

は第

1

画像

I

1の点

P

αを中心とする

9 ×9

領 域

N

を切り出し，その中心を

(0,0)

とするテンプレー トである．第２画像

I

2の点

Q

βの画像座標を

(x

⁰_β

, y

_β⁰

)

とし ，式

(4)

の

(i

⁰

, j

⁰

)

を次のように定義する．

à i

⁰

j

⁰

!

= Ã

x

⁰_β

y

⁰_β

! +

à i j

!

(5)

定義よりテンプレートの原点

(0, 0)

が画素

(x

⁰_β

, y

_β⁰

)

と 比較され る．

(i

⁰

, j

⁰

)

が 画像フレ ームからはみ出せば

J(α, β)

は

∞

（ 十分大きい数を意味する）とする．比

較の尺度としては残差以外に正規化相関など 種々のも のが考えられる．ここでは文献

[8]

の自動しきい値設 定法を用いるために式

(4)

を用いるが，以下の手法は 他の尺度にも拡張可能である．

まず式

(4)

をすべての特徴点の組合せに対して計算 し ，文献

[8]

の方法で定めたしきい値より大きい残差 の対応を削除し ，残りを残差の小さい順に１対１に組 合わせて初期対応とする．これを「１対１化」と呼ぶ．

以下，第１画像の点

P

αと第２画像の点

Q

βの画像 座標をそれぞれ

(x

α

, y

α

)

，

(x

⁰β

, y

⁰β

)

とし ，次のベクト

（ 注1）：http://www.suri.it.okayama-u.ac.jp/

電子情報通信学会論文誌’03/6 Vol. J86–D–II No. 6 ルで表す．

x

α

=



  x

α

/f y

α

/f 1



  , x

⁰β

=



  x

⁰_β

/f y

_β⁰

/f 1



  (6)

そして点

P

αを点

Q

βに対応させることを

(α, β)

と略 記する．

3. 2

並進の

1

点投票

まず対応が次式で表せるような並進を推定する．

x

⁰β

≈ x

α

− t (7)

t

は

z

成分が

0

の３次元ベクトルである．この推定は 初期値を

S

m

= ∞

，

t

m

= 0

とし ，次のように行う．

（

1

） 初期対応から１組

(a, b)

をランダ ムに選び ， 次のベクトルを計算する．

t = x

⁰b

− x

a

(8)

（

2

） 初期対応

{(α, β)}

を次の値についてソート し ，そのメジアン

S

を求める（ 付録参照）．

1

2 k x

⁰β

− x

α

− t k

²

(9)

（

3

）

S < S

mであれば

S

m

← S, t

^m

← t

^と更新 する．

これを収束するまで反復し^{（ 注2）}

,

次の処理に移る．

（

1

） 初期対応

{(α, β)}

のうち次式を満たすものを インライアとする^{（ 注3）}．

1

2 kx

⁰β

− x

α

− t

m

k

²

< 7S

m

(10)

（

2

） 次の並進ベクトル

t

^{を計算する．}

P

は選ば れたインライアに関する和，

N

はその個数である．

t = 1 N

X ( x

⁰β

− x

^α

) (11)

（

3

） 初期対応を破棄し ，全特徴点の組合せから次 式を満たす対応

(α, β)

を取り出す．

1

2 k x

⁰β

− x

α

− t k

²

< 7S

m

(12)

（

4

） 取り出した対応候補

{(α, β)}

の端点として含 まれている特徴点のすべての組合せの残差から文献

[8]

の方法で最適しきい値を計算し，

{(α, β)}

からそれよ り残差が大きいものを除いて１対１化する．

3. 3

相似変換の

2

点投票

次に対応が次式で表せるような相似変換を推定する．

~x

⁰β

≈ sR~x

α

+ ~t (13)

ただし

~x

α

, ~x

⁰_βは点

P

α

, P

β の画像座標を縦に並べた ２次元ベクトルであり，

s, R, ~t

はそれぞれスケール定 数，２次元回転行列，２次元並進ベクトルである．こ の推定のために画像座標

(x

α

, y

α

), (x

⁰β

, y

β⁰

)

の点をそ れぞれ次の複素数で表す（

i

は虚数単位を表す）．

z

α

= x

α

+ iy

α

, z

⁰β

= x

⁰β

+ iy

β⁰

(14)

そして初期値を

S

m

= ∞, z

m

= 0, z

⁰_m

= 0, Z

m

= 1, s

m

= 1

とし ，次の操作を行う．

（

1

） 対応候補から

2

組

(a

0

, b

0

), (a

1

, b

1

)

をランダ ムに選び，次の複素数

Z

と実数

s

を計算する（

| · |

は 複素数の絶対値を表す）．

Z = z

⁰b₁

− z

⁰b₀

z

a₁

− z

a₀

, s = |Z | (15)

（

2

） 対応候補

{(α, β)}

を次の値についてソート し ，そのメジアン

S

を求める（ 付録参照）．

|z

⁰_β

− z

⁰_b0

− Z(z

α

− z

a₀

)|

²

1 + s

²

(16)

（

3

）

S < S

mであれば

S

m

← S, z

m

← z

a₀

, z

⁰m

← z

⁰_b0

, Z

m

← Z, s

m

← s

と更新する．

これを収束するまで反復し^{（ 注4）}，次の処理に移る．

（

1

） 対応候補

{(α, β)}

のうち，次式を満たすもの をインライアとする（ 付録参照）．

|z

⁰_β

− z

⁰m

− Z

m

(z

α

− z

m

)|

²

1 + s

²m

< 7S

m

(17)

（

2

） インライアに式

(13)

の形の相似変換を

LM

（

Levenberg-Marquardt

）法で最適に当てはめる（ 手 順は文献

[10]

参照）．

（

3

） 対応候補を破棄し ，全特徴点の組合せから次 式を満たす対応

(α, β)

を取り出す．

k~x

⁰β

− sR~x

α

−~tk

²

1 + s

²

< 7S

m

(18)

（ 注2）：実験ではすべての対応を全数探索した．

（ 注3）：右辺は付録の式(A·8)より近似した．次節以下の処理でも同様 である．

（ 注4）：実験では100回連続して更新が生じないことを収束条件とした．

次節以下の処理についても同様である．

（

4

） 取り出した対応候補

{(α, β)}

の端点として含 まれている特徴点のすべての組合せに対して，推定し た相似変換によって変形したテンプレートを用いて残 差を計算する．そのために式

(4)

の

N

を

17 × 17

領 域とし ，式

(i

⁰

, j

⁰

)

を式

(5)

の代わりに次式で計算す る^{（ 注5）}．

à i

⁰

j

⁰

!

= Ã

x

⁰_β

y

⁰_β

! + sR

à i j

!

(19)

（

5

） 文 献

[8]

の 方 法で 最 適し き い 値を 計 算し ，

{(α, β)}

からそれより残差が大きいものを除いて１対 １化する．

3. 4

アフィン変換の

3

点投票

更に対応が次式で表せるようなアフィン変換を推定 する．

A

^は

(3,1), (3,2), (3,3)

要素がそれぞれ

0, 0, 1

の

3 × 3

行列である．

x

⁰β

≈ Ax

α

(20)

この推定は初期値を

S

m

= ∞, A

m

= I , W = I

と し ，次のように行う（ 文献

[10]

参照）．

（

1

） 対応候補から

3

組

(a

0

, b

0

), (a

1

, b

1

), (a

2

, b

2

)

をランダムに選び，次の行列

A

^{を計算する．}

A =

³

x

⁰b₀

x

⁰b₁

x

⁰b₂

´³

x

a₀

x

a₁

x

a₂

´

−1

(21)

（

2

） 対応候補

{(α, β)}

を次の値についてソート し ，そのメジアン

S

を求める（ 付録参照）．

( x

⁰β

− Ax

α

, W ( x

⁰β

− Ax

α

)) (22)

ただし行列

W

^{は次のよう定義する．}

W =



  W 0 0 0 0 0



  , W = (I + AA

^>

)

⁻¹

(23)

I

は２次元単位行列であり，

A

は行列

A

の左上の

2×2

小行列である．

（

3

）

S < S

mであれば

S

m

← S , A

^m

← A , W

^m

← W

と更新する．

これを収束するまで反復し ，次の処理に移る．

（

1

） 対応候補

{(α, β)}

のうち，次式を満たすもの をインライアとする（ 付録参照）．

(x

⁰β

− A

m

x

α

, W

m

(x

⁰β

− A

m

x

α

)) < 7S

m

(24)

（

2

） インライアに式

(20)

の形のアフィン変換を

LM

法で最適に当てはめる（ 手順は文献

[10]

参照）．

（

3

） 対応候補を破棄し ，全特徴点の組合せから次 式を満たす対応

(α, β)

を取り出す．

( x

⁰β

− Ax

α

, W ( x

⁰β

− Ax

α

)) < 7S

m

(25) W

は当てはめたアフィン変換の行列

A

^{によって計算} した式

(23)

の行列である．

（

4

） 取り出した対応候補

{(α, β)}

の端点として含 まれている特徴点のすべての組合せに対して

,

推定し たアフィン変換によって変形したテンプレートを用い て残差を計算する．そのために式

(4)

の

N

を

25 × 25

領域とし，

(i

⁰

, j

⁰

)

を式

(5)

の代わりに次式で計算する

（

A

は

A

^の左上

2 × 2

小行列を表す）．

à i

⁰

j

⁰

!

= Ã

x

⁰_β

y

⁰_β

! + A

à i j

!

(26)

（

5

） 文 献

[8]

の 方 法で 最 適し き い 値を 計 算し ，

{(α, β)}

からそれより残差が大きいものを除いて１対 １化する．

3. 5

射影変換の

4

点投票

最後に式

(2)

より，対応が次式で表せるような射影 変換を推定する．

x

⁰β

≈ Z[ Hx

α

] (27)

この推定は初期値を

S

m

= ∞, H

^m

= I

^{とし ，次の} ように行う．

（

1

） 対応候補から

4

組

(a

0

, b

0

), (a

1

, b

1

), (a

2

, b

2

), (a

3

, b

3

)

をランダ ムに選び ，それから定まる射影変換 行列

H

^{を計算する．}

（

2

） 対応候補

{(α, β)}

を次の値についてソート し ，そのメジアン

S

を求める（ 付録参照）．

( x

⁰β

× Hx

^α

, W ( x

⁰β

× Hx

^α

)) (28)

ただし

P

k

= diag(1, 1, 0)

であり，行列

W

は次のよ うに定義する（

( · )

⁻₂ はランクを

2

に制約した一般逆 行列を表す

[7]

）．

W =

³

x

⁰β

× HP

k

H

^>

× x

⁰β

+ (Hx

α

) × P

k

× (Hx

α

)

´

−

2

(29)

（

3

）

S < S

mであれば

S

m

← S, H

^m

← H

^と更 新する．

（ 注5）：式(19)の(i⁰, j⁰)は整数ではないので輝度値は双１次補間で 定めた．次節以下の手順でも同様である．

電子情報通信学会論文誌’03/6 Vol. J86–D–II No. 6

これを収束するまで反復し ，次の処理に移る．

（

1

） 対応候補

{(α, β)}

のうち，次式を満たすもの をインライアとする（ 付録参照）．

(x

⁰β

× H

m

x

α

, W

mλ

(x

⁰β

× H

m

x

α

)) < 7S

m

(30)

ただし

W

mは式

(29)

中の

H

を

H

mに置き換えたも のである．

（

2

） インライアに式

(27)

の形の射影変換をくり こみ法で最適に当てはめる．

（

3

） 対応候補を破棄し ，全特徴点の組合せから次 式を満たす対応

(α, β)

を取り出す．

(x

⁰β

× Hx

α

, W (x

⁰β

× Hx

α

)) < d

²

2f

²

(31)

ただし

d

は入力値であり，

W

は当てはめた射影変換 行列

H

から計算した式

(29)

の行列である．

（

4

） 取り出した対応候補

{(α, β)}

の端点として含 まれている特徴点のすべての組合せに対して，推定し た射影変換によって変形したテンプレートを用いて残 差を計算する．そのために式

(4)

の

N

を

33 × 33

領 域とし ，

(i

⁰

, j

⁰

)

を式

(5)

の代わりに次式で計算する．



  i

⁰

/f j

⁰

/f 1



  = Z[ T H



 

(x

α

+ i)/f (y

α

+ j)/f

1



  ] (32)

ただし行列

T

^{を次のように定義する}

. T =

³

i j k + x

⁰β

− Z [Hx

α

]

´

(33)

ここに

i = (1, 0, 0)

^>

, j = (0, 1, 0)

^>

, k = (0, 0, 1)

^>

である．

（

5

） １対１化して対応を確定する．

3. 6

処理の流れ

以上の処理では，各段階で最小メジアン法によって 画像の変換を推定し（付録参照），それまでの対応候補 を破棄し ，推定した変換によって変形したテンプレー トを用いて対応を探索して直している．テンプレート の大きさも段階的に

9, 17, 25, 33

と拡大している

.

そ の際，候補対応の端点の全組合せを含めたのは文献

[8]

の方法で最適なしきい値を定めるためである^{（ 注6）}． このように，通常の最小メジアン法のように初期対 応から正しい対応を

“

選ぶ

”

のではなく，画像の変形 を推定してテンプレートやしきい値を変化させて対応 を探索し直すので，前段階でマッチしなかった点も次 の段階ではマッチすることがあり，得られる対応の個

数が途中で増加することもある．

画像の変換と許容誤差が既知の場合は

RANSAC [2]

がよく用いられる．しかし途中の近似的な変換ではど の程度満たされるか不明である．このような場合に最 小メジアン法

[14]

が適している．しかし，最後の射影 変換は成立しなければならないので，何画素の誤差ま でを許容するかを式

(31)

中の

d

で指定した（ 実験で は

d = 3

とした）．

4.

実 画 像 例

図

1(a), (b)

は 遠景を 撮影し た

2

画像にそれぞれ

Harris

作用素

[3]

で抽出した

100

個の特徴点をマーク したものである．図

1(c)

は

3.1

の方法で得られた初 期対応の

“

オプティカルフロー

”

（ ２画像を重ねて対 応点を線分で結んだもの ）である．図

1(d), (e), (f), (g)

はそれぞれ並進，相似変換，アフィン変換，射影 変換の投票で得られる対応である．各段階ごとに誤対 応が除去され，対応の精度が上がっている．図

1(h)

は 最終的な対応を用いて生成したパノラマ画像である．

比較として，図

1(c)

の初期対応に最小メジアン法

（ランダムに４組選んでは射影変換を計算し，残差のメ ジアンが最小になる変換を探索して式

(30)

でアウト ライアを除去する）を適用して得られた対応を図

1(i)

に示す．この画像例ではスケール変化や回転が少なく，

文献

[8]

のしきい値処理でかなり正確な初期対応が得 られるので（ 正解率

69.0%

），図

1(i)

のように正しい 対応が得られる．しかし 図

1(g)

と比較すると，本方 法の方がより密な対応が得られている．これは画像の 変形を推定してテンプレートを変形し ，対応を探索し 直しているためである．

図

2

は別の画像による結果を同様に示したものであ る．この例では画像間の変形が大きく，かつ周期的な パタンが存在するため，文献

[8]

の方法でも図

2(c)

の ように初期対応の過半数はアウトライアである（ 正解

率

28.3%

）．このため直接に最小メジアン法を行って

も図

2(i)

のように誤対応が含まれる．しかし本方法で は図

2(g)

のように正しい結果が得られる．

この理由は，射影変換に適合する対応は

28.3%

しか なくても，変換を近似的に並進あるいは相似変換とみ なせば最小メジアン法によって誤差が大きく見積もら れ（ 付録参照），それに適合するインライアが

50%

以

（ 注6）：文献[8]のしきい値処理では正対応率pのその最大値pmaxに 対する比p/p_maxを指定する必要があるが，これも0.6, 0.7, 0.8, 0.9 と順に高めた．

(a) (b) (c)

(d) (e) (f) (g) (h) (i)

図1 (a), (b)入力画像と抽出し た特徴点．(c)パノラマ画像．(d)初期対応（ 正解率 69.0%）．(e)並進の投票．(f)相似変換の投票．(g)アフィン変換の投票．(h)射 影変換の投票．(i)直接的な最小メジアン法

Fig. 1 (a), (b) Input images and extracted feature points. (c) Generated panoramic image. (d) Initial matches (69.0% correct). (e) Translation matching. (f) Similarity matching (g) Affine matching. (h) Homography matching. (i) Direct LMedS.

(a) (b) (c)

(d) (e) (f) (g) (h) (i)

図2 (a), (b)入力画像と抽出し た特徴点．(c)パノラマ画像．(d)初期対応（ 正解率 28.3%）．(e)並進の投票．(f)相似変換の投票．(g)アフィン変換の投票．(h)射 影変換の投票．(i)直接的な最小メジアン法

Fig. 2 (a), (b) Input images and extracted feature points. (c) Generated panoramic image. (d) Initial matches (28.3% correct). (e) Translation matching. (f) Similarity matching (g) Affine matching. (h) Homography matching. (i) Direct LMedS.

上になるからである．そして，その推定に基づいて変 形したテンプレートで対応を探索し直せば精度が逐次 的に向上する．

図

3(a), (b)

は撮影位置が大きく異なるだけでなく，

一方に侵入物体（ 車）が存在し ，かつ背景にも非平面 部分（ 柱や樹木）が存在する例である．この場合は画

像全体を射影変換で写像することはできないが ，図

3(d)

の初期対応が得られ（ 正解率

44.8%

），最終的に 図

3(e)

のように平面部分（ 道路面 ）の対応のみが選 び 出されている．図

3(a), (b)

内の小さい黒枠はこの 特徴点がマッチした最終的なテンプレートの形状であ る．図

3(c)

にその段階的な変化を示す（見やすいよう

電子情報通信学会論文誌’03/6 Vol. J86–D–II No. 6

(a) (b) (c) (d)

(e) (f) (g)

図3 (a), (b)入力画像と抽出した特徴点．(c)テンプレートの形状変化（拡大表示）．(d) 初期対応（ 正解率44.8%）．(e)最終的に得られた対応．(f)パノラマ画像．(g)差 画像

Fig. 3 (a), (b) Input images and extracted feature points. (c) The evolution of the template shape (to scale). (c) Initial matches (44.8% correct). (d) Final matches. (e) Panoramic image. (f) Difference image.

(a) (b) (c)

(d) (e) (f)

図4 (a), (b)入力画像と抽出した特徴点．(c)初期対応（ 正解率16.3%）．(d)最終的 に得られた対応．(e)パノラマ画像．(f)差画像

Fig. 4 (a), (b) Input images and extracted feature points. (c) Initial matches (16.3% correct). (d) Final matches. (e) Panoramic image. (f) Difference image.

に一定の比率で拡大している）．図

3(f)

は生成したパ ノラマ画像であり，重ならない部分が侵入物体及び非 平面部分である．図

3(g)

に差画像の絶対値を示す．

図

4

は別の例である．図

4(c)

の初期対応はほとん どが誤りであるが（正解率

16.3%

），図

4(d)

の最終対

応では誤対応が除去されただけでなく，一部の特徴点 の対応が正しく組み換えられている．

図

5

に７枚の入力画像から提案手法で生成したパノ ラマ画像の例を示す．カメラを多少回転させながら撮 影したが，正しい対応が自動的に求まった．

図5 ７枚の入力画像（ 上段）から提案手法で作成したパノラマ画像（ 下段）

Fig. 5 Above: Seven input images. Below: panoramic image generated by our method.

図

1

〜図

4

に対する計算時間は平均

17.83

秒，初期 対応に直接に最小メジアン法を適用すると平均

8.23

秒 であった．用いた計算機は

Pentium III 700MHz

，メ

モリ

768MByte

である．得られる対応の精度とロバス

ト性を考慮すれば計算コストは妥当であるといえる．

5.

む す び

本論文では画像モザイク生成のための２画像の特徴 点の抽出とその対応付けを自動化する新しい方法を示 した．これは特徴抽出フィルタで特徴点を抽出し ，段 階的な投票によって画像の変換を推定し ，それに基づ いてテンプレートを段階的に変形するものである．こ れによって従来の方法が破綻する場合でも正しい対応 が得られることを実画像例を用いて示した^{（ 注7）}．

謝辞 本研究の一部は文部科学省科学研究費基盤研 究Ｃ

(2) (No. 15500113)

，テレコム先端技術研究支援 センター，栢森情報科学振興財団の助成によった．

文 献

[1] 千葉直樹,蚊野  浩,美濃導彦,安田昌司, “画像特徴に基づ くイメージモザイキング,”信学論（D-II）, vol.J82-D-II, no.10, pp.1581–1589, Oct. 1999.

[2] M. A. Fischler and R. C. Bolles, “Random sample consensus: A paradigm for model fitting with appli- cations to image analysis and automated cartogra- phy,” Commun. ACM, vol.24, no.6, pp.381–395, June

（ 注7）：作成したプログラムを以下で公開している．

http://www.img.tutkie.tut.ac.jp/

1981.

[3] C. Harris and M. Stephens, “A combined corner and edge detector,” Proc. 4th Alvey Vision Conf., pp.

147–151, Manchester, U.K., Aug. 1988.

[4] R. Hartley and A. Zisserman, Multiple View Geome- try in Computer Vision, Cambridge University Press, Cambridge, U.K., 2000.

[5] 星野准一, “1次元フローに基づく高速なパノラマ画像の生 成,”画電学誌, vol.28, no.4, pp.396–404, Aug. 1999.

[6] 星野准一,増田  功, “局所的な輝度変動にロバストなパ ノラマ画像生成法,”信学論（D-II）, vol.J82-D-II, no.2, pp.222–229, Feb. 1999.

[7] K. Kanatani, Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science, Amsterdam, The Netherlands, 1996.

[8] 金谷健一,金澤  靖, “テンプレ ート マッチングによる対 応探索の自動しきい値設定法,”情処学研報, 2002-CVIM- 132-4, pp.23–30, March 2002.

[9] K. Kanatani, N. Ohta, and Y. Kanazawa, “Opti- mal homography computation with a reliability mea- sure,” IEICE Trans. Inf. & Syst., vol.E83-D, no.7, pp.1369–1374, July 2000.

[10] 金澤  靖,金谷健一, “幾何学的AICによる画像モザイク生 成の安定化,”信学論（A）, vol.J83-A, no.6, pp.686–693, June 2000.

[11] 木山真伸, 太田直哉,金谷健一, “2台のカメラと射影変 換を用いた侵入者検出,” 情処学研報, 99-CVIM-118-8, pp.53–58, Sept. 1999.

[12] 奥富正敏,野口  卓,中野勝之, “ステレオ画像からの射影 変換行列の抽出により道路領域検出,”日本ロボット学会 誌, vol.18, no.8, pp.1105–1111, Nov. 2000.

[13] 太田直哉,吉川健一, 2台のカメラを用いた歩行者追跡,画 像の認識・理解シンポジウム論文集, vol.2, pp.273–278,

電子情報通信学会論文誌’03/6 Vol. J86–D–II No. 6

名古屋, July 2002.

[14] P. J. Rousseeuw and A. M. Leroy, Robust Regression and Outlier Detection, Wiley, New York, 1987.

[15] 谷口行信,阿久津明人, 外村佳伸, “PanoramaExcerpts:

パノラマ画像の自動生成・レ イアウトによる映像一覧,”信 学論（D-II）, vol.J82-D-II, no.3, pp.390–398, March 1999.

付 録

N

点

{ x

α

} ∈ R

ⁿに拘束条件

F ( x ; u ) = 0

の定義 する

d

次元多様体

M

を当てはめる問題を考える．各 点

x

αは真の値

x ¯

αの各座標に期待値

0

，標準偏差

σ

の正規分布に従う誤差が独立に入るものとし ，真の値

x ¯

^{αは多様体}

M

上にあるとする．多様体

M

を指定す るパラメータ

u

は

p

個の自由度をもつとする．最小メ ジアン法は次式を最小にするものである．

S = med

^Nα=1

D(x

α

; M) (A·1)

D( x ; M)

は点

x

の多様体

M

からの距離の

2

乗であ り，拘束条件が並進，相似変換，アフィン変換，射影変 換の場合はそれぞれ式

(9), (16), (22), (28)

となる

[7]

． 仮定により，誤差が小さいとき

D( x

^α

; M)/σ

²は自由 度

r

の

χ

²分布に従う

[7]

．ここに

r = n − d

は多様体

M

の余次元（ 拘束条件

F ( x ; u ) = 0

の独立な方程式 数）である．ここで

µ = med

^Nα=1

D( x

α

; M)

σ

²

(A·2)

とおくと，

D( x

α

; M)/σ

²の半数が

µ

より大きく，半 数が

µ

より小さいから，

µ

の期待値は自由度

r

の

χ

² 分布の

50%

点

χ

²r,50となる．したがって

σ

²が次のよ うに推定できる．

ˆ σ

²

= S

χ

²_r,50

(A·3)

この式は式

(A·1)

において残差を真の多様体

M

から 測ったものであるが，実際には

dp/re

個のサンプル点 に当てはめた多様体

M ˆ

から測るので

S

m

= med

^Nα=1

D(x

α

; ˆ M) (A·4)

で代用する．しかし ，これを最小にするようにサンプ リングを反復するので，

S

mは一般に真のメジアン

S

よりも小さい．そこで次のように補正する．

ˆ σ

²

=

³

1 + 10 rN − p

´ S

m

χ

²_r,50

(A·5)

式中の分母の

rN − p

は

(i) N = p/r

のとき当てはめ た多様体

M ˆ

が完全にデータ点を通るのでメジアンが

0

となって分散が推定できない，

(ii) N

が十分大きけ

れば式

(A·3)

が成り立つ，という二つの事実を反映さ

せたものである．分子の

10

は，

r = 1

のときに

ˆ

σ = r³

1 + 10 N − p

´r S

m

χ

²_1,50

≈ 1.4826

³ 1 + 5

N − p

´ √

S

m

(A·6)

と文献

[14]

に一致するように定めた．このように推定 した

ˆ σ

²を用いて信頼水準

α%

でアウトライア除去す るには

D( x

α

; ˆ M) ˆ

σ

²

> = χ

²r,α

(A·7)

となる

x

αを除去すればよい（

χ

²r,αは自由度

r

の

χ

² 分布の

α%

点）．射影変換では

r = 2, p = 8

であるか ら，

α = 99

とすると式

(A·6)

より次のようになる．

D(x

α

; ˆ M) > = 6 .44

³ 1 + 5

N − 4

´

S

m

(A·8)

（ 平成14年4月19日受付，11月6日再受付）

金澤 靖 （ 正員）

1985豊橋技科大・工・情報卒．1987同 大大学院修士課程了．富士電機（ 株），群 馬高専講師を経て，現在，豊橋技科大知識 情報工学系助教授．博（ 工）．

金谷 健一 （ 正員）

1972東大・工・計数（数理工学）卒．1979 同大大学院博士課程了．工博．群馬大学工 学部情報工学科教授を経て，現在，岡山大 学工学部情報工学科教授．IEEEフェロー.