کارگاه مدلسازی داده:

Fisher forecast analysis

سیدمحمدصادق موحددانشکده فیزیک - دانشگاه شهید بهشتی

(IPM‌) پژوهشکده فیزیک، پژوهشگاه دانشهای بنیادی(GCC-SBU) گروه کیهان شناسی محاسباتی

آزمایشگاه میان رشته ای ابن سیناhttp://facultymembers.sbu.ac.ir/movahed/

کارگاه مدلسازی داده ( شماره ۱)‌۹۷/۲/۲۶

1

مهمترین منابع مورد استفاده

Books:

2

• Data analysis: A Bayesian Tutorial, by D.S. Sivia & J. Skilling, Oxford science Publication, 2010

• Data reduction and error analysis for the physical sciences, P. R. Bevington & D. K. Robinson, McGrawHill, 2003

• Error of Observations and their Treatment, J. Topping, 1972.

• Practical Physics, G. L. Squires, 1985.

• Data analysis in cosmology, “Lecture notes in physics 665”

• Mathematical statistics with applications, J.E. Freund’s, Pearson education, 2005,

• All of Statistics, L. Wasserman, Springer, 2004

• Statistics, R.J. Barlow, Wiley, 2002.

• Introduction to statistics and Data analysis for Physicist, Gerhard Bohm, Günter Zech, 2010.

• Statistics, Data Mining, and Machine Learning in Astronomy: A Practical Python Guide for the Analysis of Survey Data (Princeton Series in Modern Observational Astronomy), Željko Ivezic ,́ Andrew J. Connolly, Jacob T. VanderPlas, and Alexander Gray, PRINCETON UNIVERSITY PRESS, 2014

• Algebraic Topology of Random Fields and Complexes, Research thesis, Omer Bobrowski, 2012

• Random Fields and Geometry, Adler, R. J., Taylor, Jonathan E., Springer 2007.

• The Geometry of Random fields, Adler, 1981.

• GEOMETRY, TOPOLOGY and Physics, M. Nakahara, 2003

• Topological Complexity of Smooth Random Functions, Robert J. Adler, Jonathan E. Taylor, Springer 2009.

مهمترین منابع مورد استفاده

• Bassett, B. A., Fantaye, Y., Hlozek, R., & Kotze, J. (2011). Fisher matrix preloaded—Fisher4Cast. International Journal of Modern Physics D, 20(13), 2559-2598.

• http://facultymembers.sbu.ac.ir/movahed/

Papers and Lectures:

3

مهمترین منابع مورد استفاده

4

۱) یادآوری و مفاهیم مربوط۲) ماتریس فیشر و ماتریس کئوواریانس

۳)‌ خطای پارامترها در بیضی گون ۴)‌ خطاهای نامتقارن

Fisher information matrix

مفهوم ماتریس fisher و اهمیت آن:

P(x) : exp −(x − x )2

2σ x2

⎛

⎝⎜⎞

⎠⎟

F ≡ −∂2 log P(x)( )

∂x2x= x

=1σ x2 → σ x

2 = F−1

P(x, y) : exp −(x − x )2

2σ x2 −

(y − y )2

2σ y2

⎛

⎝⎜

⎞

⎠⎟

Fxx ≡ −∂2 log P(x, y)( )

∂x2 x= xy= y

=1σ x2 Fyy ≡ −

∂2 log P(x, y)( )∂y2 x= x

y= y

=1σ y2

Fxy = Fyx ≡ −∂2 log P(x, y)( )

∂x∂y x= xy= y

= 0 F =

1σ x2 0

0 1σ y2

⎛

⎝

⎜⎜⎜

⎞

⎠

⎟⎟⎟→ F−1 =

σ x2 00 σ y

2

⎛

⎝⎜

⎞

⎠⎟

6

7

D : {xi , yi} i = 1,...,N

Θ : {θ j} Y (x;{Θ}) = θk fk (x)k=1

M

∑

p(Θ | D) = p(D |Θ)p(Θ)dΘ p(D |Θ)p(Θ)∫

if p(Θ) = ctsp(Θ | D) : p(D |Θ)

p(D |Θ) ≡ Pi =i=1

N

∏12πσ i

2exp −

yi −Y (xi;{Θ})[ ]2

2σ i2

⎛

⎝⎜

⎞

⎠⎟

i=1

N

∏

χ 2 ({Θ}) ≡yi −Y (xi;{Θ})[ ]2

σ i2

i=1

N

∑ =

yi − θk fk (xi )k=1

M

∑⎡

⎣⎢

⎤

⎦⎥

2

σ i2

i=1

N

∑

p(D |Θ) : e−χ2 ({Θ})

2

یادآوری

Γ(D |Θ) ≡ P(D |Θ)PMax (D |Θ*)

= exp −χ 2 (Θ) − χmin

2⎡⎣ ⎤⎦2

⎛

⎝⎜

⎞

⎠⎟

log(P(D |Θ)) = log(P(D |Θ = ΘBest )) + (θk −θkBest ) ∂ log(P(D |Θ))

∂θkk=1

M

∑

+12

∂2 log(P(D |Θ))∂θk∂θl

(θk −θkBest )(θl −θl

Best ) +Ο(δΘ3) + ...k ,l

M

∑8

Γ(D |Θ) ≡ P(D |Θ)PMax (D |Θ*)

= exp −χ 2 (Θ) − χmin

2⎡⎣ ⎤⎦2

⎛

⎝⎜

⎞

⎠⎟

log(P(D |Θ)) = log(P(D |Θ = ΘBest )) + (θk −θkBest ) ∂ log(P(D |Θ))

∂θkk=1

M

∑

+12

∂2 log(P(D |Θ))∂θk∂θl

(θk −θkBest )(θl −θl

Best ) +Ο(δΘ3) + ...k ,l

M

∑

D : {xi , yi} i = 1,...,N

Θ : {θ j} Y (x;{Θ}) = θk fk (x)k=1

M

∑

p(Θ | D) = p(D |Θ)p(Θ)dΘ p(D |Θ)p(Θ)∫

if p(Θ) = ctsp(Θ | D) : p(D |Θ)

p(D |Θ) ≡ Pi =i=1

N

∏12πσ i

2exp −

yi −Y (xi;{Θ})[ ]2

2σ i2

⎛

⎝⎜

⎞

⎠⎟

i=1

N

∏

χ 2 ({Θ}) ≡yi −Y (xi;{Θ})[ ]2

σ i2

i=1

N

∑ =

yi − θk fk (xi )k=1

M

∑⎡

⎣⎢

⎤

⎦⎥

2

σ i2

i=1

N

∑

p(D |Θ) : e−χ2 ({Θ})

2

Γ(D |Θ) = exp −χ 2 (Θ) − χmin

2⎡⎣ ⎤⎦2

⎛

⎝⎜

⎞

⎠⎟ =

det[F](2π )M

exp −δΘT • F[ ]•δΘ

2⎛

⎝⎜⎞

⎠⎟

Θ : {θk} k = 1,...,MδΘ ≡ Θ −ΘBest

χmin2 = χ 2 (Θ = ΘBest )

Γ(D |Θ) : exp −δΘT • F[ ]•δΘ

2⎛

⎝⎜⎞

⎠⎟

9

درصورتی که در نظر بگیریم تابع درست نمایی بر حسب پارامترهای آزاد به شکلGaussian Multivariate باشد. در آن صورت خواهیم داشت:

Γ(D |Θ) = det[F](2π )M

exp −δΘT • F[ ]•δΘ

2⎛

⎝⎜⎞

⎠⎟

Θ : {θk} k = 1,...,M δΘ ≡ Θ −ΘBest χmin2 = χ 2 (Θ = ΘBest )

δΘT • F[ ]•δΘ = Fkll=1

M

∑ δθkδθlk=1

M

∑

Fkl = −∂2 log(Γ(D |Θ))

∂θk∂θlσθi

2 = Fii−1

σθiθ j

2 = Fij−1

بنابراین درصورتی که ماتریس Fisher تعیین گردد می توان خطاها و حوزه اعتبار کمیتهای آزاد مدل را مشخص کرد.پرواضح است که این در چارچوب گوسی گرفنت تابع درست نمایی برای پارامترهای آزاد است.

10

به غیر از خطاهای مربوط به هر کمیت آزاد در مدل که عناصر قطری در ماتریس معکوس Fisher هستند. همبستگی ها بین دو یا چند کمیت آزاد نیز اهمیت دارد. برای بررسی این موضوع مثالً فضای دو پارامتری را در نظر می گیریم.

Γ(D |Θ) = det[F](2π )M

exp −δΘT • F[ ]•δΘ

2⎛

⎝⎜⎞

⎠⎟

δΘT • F[ ]•δΘ = Fkll=1

2

∑ δθkδθlk=1

2

∑

= F11(θ1 −θ1Best )2 + F22 (θ2 −θ2

Best )2 + 2F12 (θ1 −θ1Best )(θ2 −θ2

Best )

Γ(D |θ1) = dθ2∫ Γ(D | {θ1,θ2}) : exp −(θ1 −θ1

Best )2

2×(F11F22 − F12F21)

F22

⎛

⎝⎜⎞

⎠⎟

→ σθ1

2 =F22

(F11F22 − F12F21)= F−1( )11 (Marginalization) با کمک بی اثر سازی

11

2 (F11)−1

2 (F−1)11

θ2

θ1

در حالت دیگر در نظر گرفته شده که با تغییر کمیت از مقدار بهینه اش بقیه کمیت ها هم آنقدر تغییر

کنند تا تابع Likelihood به مقدار بیشینه اش برسد.

مقدار مربوط به خطای کمیت یعنی اگر بقیه کمیتهای آزاد مدل در مقدار بهینه اشان ثابت

باشند.

F =F11 F12F21 F22⎛

⎝⎜⎞

⎠⎟=

σθ1

−2 a12a21 σθ2

−2

⎛

⎝⎜

⎞

⎠⎟

F−1 =1

F11F22 − F12F21( )F22 −F12−F21 F11⎛

⎝⎜⎞

⎠⎟

θ1

θ1

12

13

ویژگی های ماتریس فیشر

14

ویژگی های ماتریس فیشر

15

ویژگی های ماتریس فیشر

16

2

در واقع معادله یک بیضی گون است که دارای شعاع chi^2است

17

جمع بندی

۱) ماتریس فیشر و ماتریس کئوواریانس ۲)‌ خطای پارامترها در بیضی گون

۳)‌ خطاهای نامتقارن

18

1919