画像工学における典型的な処理段階 ·...

画像工学における典型的な処理段階1. 画像信号の獲得（常にカメラによる）

2. 画像信号のディジタル化（フレームグラッバー・ボードによる）

3. 画像の復元

4. 画像の変換、画像のフィルタリング

5. 画像の分割、エッジ点の抽出、角点の抽出、など

6. 特徴の抽出、特徴のグルーピング

7. 特徴の分類化、特徴とモデルの照合、対象の認識、シーンの解釈

8. 結果の出力・保存

OECU Michael Hild c©2003 1

画像からの特徴の抽出• 特徴 (feature)：

特徴とは、

シーンにおける物体の表面特徴に対応をする

画像上の明度構造である。


• 特徴の例

対象物の特徴画像特徴対象表面のカラー画素カラー：　R, G, B, H, S, L対象表面のテクスチャー：画像領域のテクスチャー3D テクスチャー (2Dパターン)2D テクスチャー (a) 粗さ、空間周波数

(b) 方向(c) 規則性の度合、など

対象表面の局所的 3D 画像領域の局所的 2D幾何学的な特徴幾何学的な特徴(a) 対象表面の境界の点 (a) 画像領域の境界点(b) 対象表面の頂点 (corner point) (b) 画像領域の頂点 (corner)(c) 対象表面の境界の線 (c) 画像領域の境界の線対象表面の大局的 3D 画像領域の大局的 2D幾何学的な特徴幾何学的な特徴(a) 対象表面の形状 (a) 画像領域の形状(b) それぞれの対象物の間の空間的関係、 (b) それぞれの画像領域の間のそれぞれの物体部分の間の空間的関係空間的関係、それぞれの

領域部分の間の空間的関係


エッジ点の抽出

• 明度画像（濃淡画像）において、エッジ点とは、画像の明度の変化率が局所的に最大値がある場所 (位置)である。

• 例：

Figure 1: 元画像「円盤」 Figure 2: 円盤領域の境界


• エッジ点の1次元的な例

0 20 40 60 80 100 120 140 16080

100

120

140

160

180

x

I(x)

0 20 40 60 80 100 120 140 160−100

−50

0

50

100

x

dI(x

)/dx

• ある関数の「変化率」を数学的に「1次微分」で記述できるため、エッジ点は画像の明度関数 I(x) の 1次微分が極限値を持つ場所にある。

x0 = maxx∈N

[dI(x)

dx

](1)

N : Neighborhood, 近傍x = x0: エッジ点の位置


• 2次元的な画像空間において、画像の明度は 2個の独立変数 (x, y) についての関数である。⇒従って、その関数の微分を計算する時、微分の方向を指定しなければならない。

x

y

I(x,y)

0 x

y

0

0


• この方向を画像平面上のベクトルで表現できる:

�d =

(dx

dy

)(2)

⇒関数 I(x, y) の1次微分を、その微分の強さ（明度の変化率）およびその微分の方向により表現しなければならない。⇒関数 I(x, y) の1次微分はベクトル量である。

• このような 1次微分の特別な場合は、「勾配ベクトル」�G(x, y)として知られている。

• 勾配ベクトル �G(x, y) は、x方向および y方向の微分を用いることにより表現できる。

Gx(x, y) =∂I(x, y)

∂x, Gy(x, y) =

∂I(x, y)

∂y(3)

�G(x, y) = Gx · �gx + Gy · �gy (4)


g x

g y

g y

g xGx

Gy

G

0

• 位置 (x, y) における明度関数 I(x, y) の勾配ベクトル �G(x, y) は明度関数 I(x,y) の変化率が一番大きくなる方向 �dmax に沿う 1次微分である。


• エッジ点とは、明度画像 I(x, y) の勾配ベクトルの絶対値 ‖ �G(x, y)‖が局所的に最大になっている位置 (xE , yE) を示している：

(xE, yE) = max(x,y)∈N

[‖ �G(x, y)‖

](5)

(xE, yE): エッジ点の位置N : Neighborhood, 近傍

x

y

I(x,y)

"testdisk.dat"

020

4060

80100

120140 0

20

40

60

80

100

120

140

0

50

100

150

200

x

y

||G(x,y)||

"testdisk_gradmag.dat"

020

4060

80100

120140 0

20

40

60

80

100

120

140

0

50

100

150

200


• 勾配ベクトルの絶対値：

‖ �G(x, y)‖ =√

Gx(x, y)2 + Gy(x, y)2 (6)

あるいは、

‖ �G(x, y)‖ = |Gx(x, y)|+ |Gy(x, y)| (7)

• 勾配ベクトルの方向：

ΘG = arctan

(Gy(x, y)

Gx(x, y)

)(8)


微分オペレータを用いた1次編微分の計算

• 勾配ベクトルの要素として起こる明度の1次編微分画像のあらゆる所で計算しなければならない:

∂I(x, y)

∂x,

∂I(x, y)

∂y(9)

• 画像の明度は、離散的な格子 (x, y), x, y ∈ Z の上の関数 I(x, y) として与えられているため、明度の1次編微分を近似として計算する。三つの可能性がある：

I(x- x)

I(x+ x)∆

∆

x x+ xx- x

I(x)

0 ∆ ∆


∂I(x, y)

∂x≈ I(x, y)− I(x − ∆x, y)

∆x(10)

∂I(x, y)

∂x≈ I(x + ∆x, y) − I(x, y)

∆x(11)

∂I(x, y)

∂x≈ I(x + ∆x, y) − I(x − ∆x, y)

2∆x(12)

• 式 (12) の対称的な近似を ∆x = 1で用いれば、次の差分式が得られる：

∆I(x, y)

∆x=

1

2{I(x + 1, y) − I(x − 1, y)} (13)

• この式を 3x3 画素の演算マスクとして表現する：

Dx(i, j) =

−1 0 1

−1 0 1

−1 0 1

(14)

• 同様に y 方向の近似は次の演算マスクになる：

Dy(i, j) =

−1 −1 −1

0 0 01 1 1

(15)


• 上記のマスクをガウスフィルタのマスク（二項型マスク）と組み合わせることにより、雑音抑制の効果を微分計算に含められる。⇒このようなマスクはソーベル (Sobel) フィルタと呼ばれている。

Dx(i, j) =

−1 0 1

−2 0 2

−1 0 1

, Dy(i, j) =

−1 −2 −1

0 0 0

1 2 1

(16)

• ソーベル・フィルタを用いた 1次微分の計算：

∂I(x, y)

∂x≈ 1

4

1∑i=−1

1∑j=−1

I(x + i, y + j) · Dx(i + 1, j + 1) (17)

∂I(x, y)

∂y≈ 1

4

1∑i=−1

1∑j=−1

I(x + i, y + j) · Dy(i + 1, j + 1) (18)

0 x

y

i

j Filter mask A(i,j)

Image I(x,y)

0


ソーベル・フィルタを用いた 1次微分計算の例

Figure 3: 元画像「円盤」 Figure 4: 円盤領域の境界 Figure 5: 円盤領域の境界上の勾配ベクトルの方向角度


もう一つの算例

Figure 6: カラー元画像「鳥」 Figure 7: 元画像の明度

Figure 8: 勾配ベクトルの絶対値Figure 9: 勾配ベクトルの絶対値(γ = 2.2)

Figure 10: 勾配ベクトルの方向角度


非極大点の抑制によるエッジ点の抽出

• 明度画像（濃淡画像）において、エッジ点とは、画像明度の勾配ベクトルの絶対値が局所的に最大値を取っている位置という意味である。

x

y

I(x,y)

"testdisk.dat"

020

4060

80100

120140 0

20

40

60

80

100

120

140

0

50

100

150

200

x

y

||G(x,y)||

"testdisk_gradmag.dat"

020

4060

80100

120140 0

20

40

60

80

100

120

140

0

50

100

150

200


• このような最大値を次のように検出できる：– すべての位置 (x, y) において、勾配ベクトルの方向に沿っている近傍のピクセルの勾配ベクトルの絶対値を比較する。

– もし、(x, y) における勾配ベクトルの絶対値がこの近傍内のピクセルにおける勾配ベクトルの絶対値より低ければ、(x, y) は非極大点の位置であると判断する。

– そういう非極大点を消去（抑制）する。

非極大値抑制

エッジの方向

微分画像

微分値

微分の断面

微分値

微分の断面


• 計算を実際に行なう時、下記の図で示しているとおりに方向を決定する：

157.5

-157.5

0

123

4

5 6 7

22.5

-22.5

67.5

-67.5-112.5

112.5

ο

οο

ο

ο

ο ο

ο

• (3x3) ピクセルの近傍内で決定できる方向が 8 方向しかない。その 8 方向に方向コード 0,1,2,3,4,5,6,7を割り付ける。


勾配ベクトル絶対値の最大値の検出結果

Figure 11: 元画像の明度 Figure 12: エッジ点 (しきい値 20) Figure 13: エッジ点 (しきい値 40)

Figure 14: 元画像の明度 (7x7の2項分布フィルタ) Figure 15: エッジ点 (しきい値 20) Figure 16: エッジ点 (しきい値 40)


ラプラス・オペレータおよび零交差点によるエッジ点の検出

• 明度画像の 2次微分（1Dの場合）

0 20 40 60 80 100 120 140 16080

100

120

140

160

180

x

I(x)

0 20 40 60 80 100 120 140 160−100

−50

0

50

100

x

dI(x

)/dx

0 20 40 60 80 100 120 140 160−6

−4

−2

0

2

4

6

x

d^2

I(x)

/ dx

^2


• 上記の例の 1次元の場合に示されたように、明度画像のエッジ点を次のように検出できる：

2次微分が零となる(

d2I(x)dx2 = 0

)点を求め、

かつ、それらの中でその 2次微分の符号が、– から + へ、あるいは、+ から – へ、変わる位置を求める。⇒2次微分における零交差点を検出する。

• ２次元（2D）においては、微分の値は微分方向に依存しており、少なくとも２方向への偏微分を求めなければならない。

∂2I(x, y)

∂x2 ,∂2I(x, y)

∂y2 (19)

• 零交差点のみを検出するため、この二つの偏微分を組み合わせることができる：

∂2I(x, y)

∂x2 +∂2I(x, y)

∂y2 = ∇2I(x, y) (20)

• この微分方程式は「ラプラスの微分方程式」として知られている。


• 下記のオペレータは「ラプラス・オペレータ」として知られている。

∇2 =

(∂2

∂x2 +∂2

∂y2

)(21)

• ラプラス・オペレータは方向に依存せず、等方的 (isotropic) な 2次微分オペレータである。

• １次元（1D）における x 方向の離散的ラプラス演算：

d2I(x)

dx2 =d

dx· dI(x)

dx≈ [I(x + ∆x) − I(x)] − [I(x)− I(x − ∆x)]

(∆x)2 (22)

d2I(x)

dx2 ≈ 1 · I(x + ∆x) − 2 · I(x) + 1 · I(x − ∆x)

(∆x)2 (23)

• ∆x = 1 におくと、この式を次のように書ける：

d2I(x)

dx2 ≈ (I(x + 1) I(x) I(x − 1)

) 1

−2

1

(24)


• この式の中では、x方向のフィルタ・マスクが立てベクトルとして現れている：

D(2)x =

(1 −2 1

)(25)

• １次元（1D）における y 方向のフィルタ・マスク：

D(2)y =

1

−2

1

(26)

• 2次元（2D）における離散的ラプラス演算：

∇2I(x, y) =∂2I(x, y)

∂x2 +∂2I(x, y)

∂y2 ≈ D(2)x · I(x, y) + D(2)

y · I(x, y) (27)

∇2I(x, y) ≈[D(2)

x + D(2)y

]· I(x, y) =

(

1 −2 1)

+

1

−2

1

· I(x, y)

(28)

∇2I(x, y) ≈

0 0 0

1 −2 10 0 0

+

0 1 0

0 −2 00 1 0

· I(x, y) (29)


∇2I(x, y) ≈ 0 1 0

1 −4 10 1 0

· I(x, y) (30)

• 2次元（2D）における離散的ラプラス・オペレータ：

L(i, j) =

0 1 0

1 −4 1

0 1 0

(31)

• 画像の「ラプラシアン」(ラプラス演算)を計算するために、L(i, j) オペレータを画像にかける：

∇2I(x, y) ≈1∑

i=−1

1∑j=−1

I(x + i, y + j) · L(i + 1, j + 1) (32)

0 x

y

i

j Filter mask A(i,j)

Image I(x,y)

0


明度画像のラプラシアンの例

注意：ラプラシアンの画像において、零の値は中値の灰色として表示されている。


画像のラプラシアンにおける零交差点の計算

• 明度画像のエッジ点を検出するために、2次微分における零交差点を検出しなければならない。

– 零交差点の検出をラプラシアン画像に対して行う。それは、ラプラス・フィルタマスクを明度画像にかけることにより得られた結果画像 ∇2I(x, y) である。

– 画像の (x, y) ピクセルを中心にした8近傍 N (x, y) を用意する。

– (x, y) ピクセル、およびそのピクセルを中心にした 8 近傍 N (x, y) に対して、(x, y)が零交差点であることを定義する計算規則を応用する：

(∇2I(x, y) > 0) かつ (∇2I(N ) < 0)

あるいは、(∇2I(x, y) < 0) かつ (∇2I(N ) > 0)

あるいは、(∇2I(x, y) == 0) かつ (∇2I(N ) < 0) かつ (∇2I(N ) > 0)


零交差点の検出のための近傍および検出規則の三つのケース

p0

p1p2p3

p4

p5 p6 p7

(x,y)

x

x

x


零交差点の検出例

• 画像のラプラシアンにおける零交差点の計算によりエッジ点を求めることは、画像雑音の影響に大変弱いということに注意しなければならない。⇒画像のラプラシアンを計算する前に、画像の雑音の抑制が必ず必要である。


雑音抑制があった場合の零交差点の検出例

• この場合には、あまり意味のない零交差点が抽出されず、物体に関係がある点が多く抽出された。

• それにしても、間違ったエッジ点がまだ多く存在している。


勾配ベクトルの情報および零交差点の組合せによるエッジ点検出

• 画像のラプラシアンにおける零交差点を計算することにより検出されるエッジ点の結果を改善させるために、この方法を1次微分の勾配ベクトルの絶対値 ‖ �G(x, y) ‖ と組み合わせることができる：

1. 画像の平滑処理により雑音抑制を行う。

2. 平滑処理された画像のラプラシアン画像を計算する。

3. ラプラシアン画像から零交差点を抽出する。

4. 零交差点においてのみ、1次微分の勾配ベクトルの絶対値‖ �G(x, y) ‖を求める。

5. 弱い勾配ベクトル絶対値を持つ零交差点を削除する。

6. 残っている零交差点をエッジ点として採用する。

• この場合には、非極大点の抑制のための処理は不要だが、変わりに２次微分のための処理も、1次微分のための処理も必要である。


勾配ベクトルの情報および零交差点を組合せたエッジ点検出例

Figure 17: 零交差点においてのみの 1次微分の勾配ベクトル絶対値

Figure 18: エッジ点の検出結果


画像工学における典型的な処理段階 ·...

Documents

Transcript of 画像工学における典型的な処理段階 ·...