Physical Fluctuomatics 応用確率過程論kazu/PhysicalFluctuomatics/20… ·...

物理フラクチュオマティクス論(東北大) 1

物理フラクチュオマティクス論Physical Fluctuomatics

応用確率過程論Applied Stochastic Process

第10回確率的画像処理と確率伝搬法10th Probabilistic image processing by means of physical models

東北大学大学院情報科学研究科応用情報科学専攻田中和之(Kazuyuki Tanaka)[email protected]

http://www.smapip.is.tohoku.ac.jp/~kazu/


今回の講義の講義ノート

1. 田中和之著: 確率モデルによる画像処理技術入門，森北出版，第６章-第９章，2006．

2. 田中和之編著: 数理科学臨時別冊 SCG ライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル---」，pp.101-108，サイエンス社，2006．

3. 田中和之: 大規模確率場における予測と推論，電子情報通信学会誌，Vol.88, No.9, pp.698-702, September 2005.


画像処理

画像の移動，回転，コピー，貼付け

ノイズの除去

ぼけた画像からの輪郭線強調

画像の拡大

画像をコンピュータで加工

画像処理の基本操作

アプリケーション：Photo Shop, Paint Shop, etc.


画像の基礎知識

P3640 480255192 209 190 202 219 200 213 201221 218 206 226 210 209 215 211 210 216 211 208 217 211 208 217210 203 210 217 210 217 216 210220 217 211 221 218 213 219 218………………

画像を使いこなすには画像がどのような形式で数値データとして保存されているかを理解することが必要!!→画像表示

コンピュータは数値は扱えるが光そのものは扱えない．


画像表示の基礎

x

y

x

y

)1,1( )1,2( )1,3(

)2,1( )2,2( )2,3(

)3,1( )3,2( )3,3(

),( yx画素の場所→位置ベクトル

基本単位は画素（ピクセル）

Pixels 307200480640 =×約３０万画素


画像表示の基礎（モノクロ画像）

x

y

基本単位は画素（ピクセル）

Pixels 65536256256 =×

画像は各画素ごとの強さの異なる光により表される．

( )yxfyx ,),( →

( ) 0, =yxf ( ) 255, =yxf

光の強さは０から２５５までの２５６段階

０が真っ黒，２５５が真っ白

各画素にその光の強さに応じて整数値（0,1,2,…,255）を割り当て，データとして保存し，加工する．


画像表示の基礎（モノクロ画像）

PGM 形式

( ) 0, =yxf ( ) 1, =yxf


画像表示の基礎 (モノクロ画像）

PGM 形式

P2# kazu8 8255

0 200 50 125 56 255 255 0 220 210 100 25 255 156 125 125 125 125 105 30 215 100 135 75 105 125 256 200 125 56 255 255 34 210 230 125 56 125 255 125

0 145 145 105 126 30 215 67 125 100 200 25 156 0 225 45

0 126 60 0 56 47 155 160

( ) 0, =yxf ( ) 255, =yxf


画像を手なずけるための確率の基礎知識（１）

∑∑∑=A C D

DCBAB ,,,PrPr

事象 B の周辺確率

A B

C D

周辺化


画像を手なずけるための確率の基礎知識（２）

事後確率 (A Posteriori Probability)

事前確率(A PrioriProbability)

∑

=

AAAB

AABBA

PrPrPrPr

Pr

A

BBayes 規則 (Bayes Rule) とも言う．

ベイジアンネットワーク

ベイズの公式 (Bayes Formula)


画像修復の確率モデル

原画像劣化画像

通信路

雑音

周辺尤度

事前確率尤度事後確率

劣化画像

原画像原画像劣化画像劣化画像原画像

PrPr|Pr|Pr =

白色ガウス雑音原画像劣化画像 +=


画像修復の事前確率分布

( )

−−== ∑

∈Ejiji ff

Z ,

2

Prior 21exp1Pr αfF

2=α 4=α1=α

Paramagnetic Ferromagnetic

２値画像の例(fi=0,1)

マルコフ連鎖モンテカルロ法によるサンプリング

V：すべての画素の集合

α=1.76… 付近で

ゆらぎが大きくなる．

E：すべての

最近接画素対の集合


劣化過程

２元対称通信路 (Binary Symmetric Channel)

( )∏∈

− −===Vi

igifigif pp ,, 1Pr 1 δδfFgG



劣化過程

加法的白色ガウス雑音 (Additive White Gaussian Noise)

( )2,0~ σNfg ii −

( )∏∈

−−===

Viii gf 2

22 21exp

21Pr

σπσfFgG



ベイズ統計・最尤推定と画像処理

gG

fFfFgGgGfF

====

===Pr

PrPrPr

fg

fF =Pr fFgG ==Pr g原画像劣化画像事前確率

事後確率

加法的白色ガウス雑音または２元対称通信路

∑ =====←if

iii fFf\

PrPrˆf

gGfFgG

計算困難

画素

各画素ごとの周辺事後確率


画像処理とベイズ統計の事後確率

( ) ( )

−−−−=== ∑∑

∈∈ Ejiji

Viii ffgf

Z ,

22

Posterior 21

21exp1Pr αβgGfF

( ) ( ) ( ) ( )

−−−−−−≡Φ 222

, 21

81

81exp, jijjiijiji ffgfgfff αββ

( )∏∈

Φ===Eji

jiji ffZ ,

,Posterior

,1Pr gGfF

2元対称通信路

−=

pp1ln2β

加法的白色ガウス雑音 2

1σ

β =


確率的画像処理とベイジアンネットワーク

( )∏∈

Φ===Eji

jiji ffZ ,

,Posterior

,1Pr gGfF

E：すべての最近接画素対の集合


閉路のあるグラフ上の確率モデル

gGfFfFgG

gGfF

====

=

==

PrPrPr

Pr

事後確率ベイジアンネットワーク


( )( ) ( )

,

,

PrPr

,,,,,,Pr

,

,

111111

ijxxPfz

ff

fFfFfFfFfF

ji

z ijjiji

ijjiji

z

LLiiiiii

ii

∂∈=Φ

Φ=

====

≡

======

∑∏∏

∑∂∈

∂∈

++−−

gGzFgGfF

gG

マルコフ確率場

( )∏∈

Φ===Eji

jiji ffZ ,

,Posterior

,1Pr gGfF

マルコフ確率場

：画素 i のすべての最近接画素の集合

),( EV ),( EVii

i∂


確率伝搬法

( )∏∈

Φ===Eji

jiji ffZ ,

,Posterior

,1Pr gGfF

E：すべての最近接画素対の集合


( ) ( ) ( ) ( )( ) ( ) ( ) ( )∑

∑

→→→→

→→→→≅

==≡==

1

1

115114113112

115114113112

\11 PrPr

z

f

zMzMzMzMfMfMfMfM

fFf

gGfFgG

２１

３

４

５




( )MM

Ψ=メッセージに対する固定点方程式

閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能．

ただし，得られる結果は厳密ではなく近似アルゴリズム

( )( ) ( ) ( ) ( )

( ) ( ) ( ) ( )∑∑∑

→→→

→→→

→ Φ

Φ=

1 2

1

115114113212,1

115114113212,1

221 ,

,

z z

z

zMzMzMzz

zMzMzMfzfM

２１

３

４

５


Step 1: 8L 個のメッセージについての連立非線形方程式

を反復法により数値的に解く．

( )( ) ( ) ( ) ( )

( ) ( ) ( ) ( )∑∑

∑

= =→→→

=→→→

→

Φ

Φ= 1

0

1

0115114113212,1

1

0115114113212,1

221

1 2

1

,

,

z z

z

zMzMzMzz

zMzMzMfzfM

確率伝搬法による２値画像の画像修復アルゴリズム

２１

３

４

５

２１

３

４

５

Step 2: 得られたメッセージを

に代入し，原画像の推定値を

により求める．

( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( )∑ = →→→→

→→→→← 1

0 115114113112

11511411311211

zzMzMzMzM

fMfMfMfMfP

( )zPfz 11,01 maxargˆ=

=

具体的なアルゴリズムは田中和之: 統計力学を用いた確率的画像処理アルゴリズムの基礎 -- 確率伝搬法と統計力学 --, ミニ特集「ベイズ統計・統計力学と情報処理」, 計測と制御, vol.42, no.8, pp.631-636, 2003.

などを参照．


Binary Image Restoration by Gaussian Graphical Model

MSE

p=0.1 0.07072 0.28981 0.07902

p=0.2 0.11864 0.38206 0.17184

α p

MSE

p=0.1 0.04761 0.41097 0.04857

p=0.2 0.08319 0.39216 0.13290

α p

2.0=p

2.0=p

( )2ˆ||

1MSE ∑Ω∈

−Ω

=i

ii ff

(α,p) の推定値は統計的学習理論により劣化画像から決定

( )p,α

プレゼンター

プレゼンテーションのノート

Finally, we show only the results for the gray-level image restoration. For each numerical experiments, the loopy belief propagation ca give us better results than the ones by conventional filters.


Binary Image Restoration by Gaussian Graphical Model

原画像劣化画像修復画像2.0=p


Image Restoration by Gaussian Graphical Model

MSE

Belief Propagation 327 0.000611 36.302

α σ

MSE

Belief Propagation 260 0.000574 33.998

α σ

40=σ

40=σ

( )2ˆ||

1MSE ∑Ω∈

−Ω

=i

ii ff

(α,σ) の推定値は統計的学習理論により劣化画像から決定

( )σα ˆ,ˆ

プレゼンター




Image Restoration by Gaussian Graphical Model and Conventional Filters

( )2ˆ||

1MSE ∑Ω∈

−Ω

=i

ii ff

MSEBelief Propagation 327

Lowpass Filter

(3x3) 388(5x5) 413

Median Filter

(3x3) 486(5x5) 445

40=σ

(3x3) Lowpass (5x5) MedianBelief Propagation

Original ImageDegraded Image

プレゼンター




Image Restoration by Gaussian Graphical Model and Conventional Filters

( )2ˆ||

1MSE ∑Ω∈

−Ω

=i

ii ff

MSEBelief Propagation 260

Lowpass Filter

(3x3) 241

(5x5) 224

Median Filter

(3x3) 331

(5x5) 244

40=σ

(5x5) Lowpass (5x5) MedianBelief Propagation

Original Image

Degraded Image

プレゼンター




Gray-Level Image Restoration(Spike Noise)

Original Image

MSE:135MSE: 217

MSE: 371 MSE: 523

MSE: 244

MSE: 3469

MSE: 2075

Degraded Image

Belief Propagation Lowpass Filter Median Filter

MSE: 395

プレゼンター




カラー画像の確率的画像修復

原画像劣化画像修復画像

ハイパパラメータα, σは周辺尤度最大化で決定．解析的に扱えるモデルでは良好


結合ガウス・マルコフ確率場モデル

( ) ( )

( )( ) ( )( ) ( ))u

gf

V

ffuffu

gfZ

P

M

x

N

yyxyx

yxyxyxyx

yxyx

M

x

N

yyxyx

γ

α

β

−

−−+−−−

−−=

∑∑

∑∑

= =+

++

+

= =

1 1

21,,

1,,

2,1,

,1,

1 1

2,,

1121

21exp1

ライン場についての事前情報 V(u)



原画像劣化画像ライン場のない確率場モデル

ライン場を導入した確率場モデル

量子力学的に拡張されたライン場を導入した確率場モデル


まとめ

画像処理の基礎

確率的画像処理としてのベイジアンネットワーク

確率伝搬法によるアルゴリズム化

さらなる詳細は田中和之著: 確率モデルによる画像処理入門，森北出版，2006を参照．付録にお試しプログラムを掲載．


∑ ==

========= ++−−

iz

LLiiiiii fFfFfFfFfFgGzF

gGfFgG

PrPr

,,,,,,Pr 111111

演習問題10－1

は画素 i のすべての最近接画素の集合を表す．i∂

( )( )∑∏

∏∑

∂∈

∂∈

Φ

Φ=

====

ii z ijjiji

ijjiji

zfz

ff

,

,

PrPr

,

,

gGzFgGfF

確率場 F=(F1,F2,…,F|V|)T および G=(G1,G2,…,G|V|)T およびその状態ベクトル変数f=(f1,f2,…,f|V|)T および g=(g1,g2,…,g|V|)Tから定義される事後確率

に対して

ZPosterior は規格化定数，Eはすべての最隣接頂点対の集合，

gG ====== ++−− ,,,,,,Pr 111111 LLiiiiii fFfFfFfFfF

が成り立つことを説明し，その上で次の等式が成り立つことを示せ．

ここで

( )∏∈

Φ===Eji

jiji ffZ ,

,Posterior

,1Pr gGfF


演習問題10－2

各画素の階調値が 0 または 1 をとる２階調の画像 f =(f1,f2,…,f|V|)Tを読み込み各画像ごと独立に確率 p （0<p<0.5）の２元対称通信路

により劣化画像 g=(g1,g2,…,g|V|)T を生成するプログラムを作成し，数値実験を実行せよ．

( )∏∈

− −===Vi

igifigif pp ,, 1Pr 1 δδfFgG

f g

p=0.2 の数値実験例


演習問題10－3

各画素の階調値が 0 ,1,…Q-1 をとるQ階調の画像 f =(f1,f2,…,f|V|)T を読み込み各画像ごと独立に平均0，分散σ2の加法的白色ガウスノイズ

により劣化画像 g=(g1,g2,…,g|V|)T を生成するプログラムを作成し，数値実験を実行せよ．ここで，Vはすべての画素からなる集合である．

( )∏∈

−−===

Viii gf 2

22 21exp

21Pr

σπσfFgG


演習問題10－4

各画素の階調値が 0 または 1 をとる2階調の画像 g =(g1,g2,…,g|V|)T を読み込み，これを劣化画像として原画像 f =(f1,f2,…,fL)T の事後確率

に対する確率伝搬法によりノイズを除去する（画像修復の）プログラムを作成し，数値実験を実行せよ．ZPosterior は規格化定数である．

( )∏∈

Φ===Bij

jiij ffZ

,1PrPosterior

gGfF

( ) ( ) ( ) ( )

−−−−−−≡Φ 222

21

81

81exp, jijjiijiij ffgfgfff αββ

具体的なアルゴリズムは田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006．田中和之: 統計力学を用いた確率的画像処理アルゴリズムの基礎 -- 確率伝搬法と統計力学 -- (解説), ミニ特集「ベイズ統計・統計力学と情報処理」, 計測自動制御学会誌「計測と制御」, Vol.42, No.8 (August 2003), pp.631-636.

などを参照．


演習問題10－4 のヒント

２１

３

４

５

２１

３

４

５

Step 2: 得られたメッセージを

に代入し，原画像の推定値を

により求める．

( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( )∑ = →→→→

→→→→← 1

0 115114113112

11511411311211 ,,

zzMzMzMzM

fMfMfMfMfP σαg

( )zPfz 11,01 maxargˆ=

=

Step 1: 4L 個のメッセージについての連立非線形方程式

を反復法により数値的に解く．

( )( ) ( ) ( ) ( )

( ) ( ) ( ) ( )∑∑

∑

= =→→→

=→→→

→

Φ

Φ= 1

0

1

01151141132112

1

01151141132112

221

1 2

1

,

,

z z

z

zMzMzMzz

zMzMzMfzfM


演習問題10－5

各画素の階調値が任意の実数値をとる画像 g =(g1,g2,…,g|V|)T を読み込み，これを劣化画像として原画像 f =(f1,f2,…,f|V|)T の事後確率

に対する確率伝搬法によりノイズを除去する（画像修復の）プログラムを作成し，数値実験を実行せよ．ZPosterior は規格化定数である．

( )∏∈

Φ===Eji

jiji ffZ ,

,Posterior

,1Pr gGfF

( ) ( ) ( ) ( )

−−−−−−≡Φ 222

, 21

81

81exp, jijjiijiji ffgfgfff αββ

具体的なアルゴリズムは田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006．を参照．

Physical Fluctuomatics 応用確率過程論kazu/PhysicalFluctuomatics/20… ·...

Documents

Transcript of Physical Fluctuomatics 応用確率過程論kazu/PhysicalFluctuomatics/20… ·...