Post on 11-Apr-2019
Nagy Dávid
Probabilisztikus modellek
Statisztikai tanulás az idegrendszerben, 2019
Nagy Dávid
elméleti
Introduction Knowledge representation Probabilistic models Bayesian behaviour Approximate inference I (computer lab) Vision I Approximate inference II: Sampling Measuring priors Neural representation of probabilities Structure learning Vision II Decision making and reinforcement learning
valószínűségi kalkulus
megfazas kohoges valoszınuseg
1 0 0.011 1 0.040 0 0.8550 1 0.095
jelölések
valószínűségi változók
valószínűségi változók lehetséges értékei
M K P
1 0 0.011 1 0.040 0 0.8550 1 0.095
jelölések
M K P
m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095
jelölések
jelölések
M K P
m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095
P (m ^ k) = P (m, k) = 0.04P (m ^ k) = P (m, k) = 0.04
P (M,K) =
P (m ^ k) = P (m, k) = 0.04
P (M = m,K = k) = P (m, k) 6= P (M,K)
M K P
m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095
jelölések
P (M,K) =
P (m ^ k) = P (m, k) = 0.04P (m ^ k) = P (m, k) = 0.04P (m ^ k) = P (m, k) = 0.04
MK
P
m¬k
0.01
mk
0.04
¬m¬k
0.85
5¬m
k0.09
5
MK
P
m¬k
0.01
mk
0.04
¬m¬k
0.85
5¬m
k0.09
5
P (M,K) =
MK
P
m¬k
0.01
mk
0.04
¬m¬k
0.85
5¬m
k0.09
5
P (M,K) =
probability mass function
• az igazságtáblázatot függvényként reprezentáljuk
MK
P
m¬k
0.01
mk
0.04
¬m¬k
0.85
5¬m
k0.09
5
P (M,K) =
• ö
• s
összegszabály
szorzatszabály
valószínűségszámítás
M K P
m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095
M P
m 0.05¬m 0.95
összegszabály
összegszabály
P(“esik a hó”)
P(“esik a hó és süt a nap”) vagy
P(“esik a hó és nem süt a nap”)
marginális valószínűség, “vagy”-szabály
P (x) =X
y02YP (x, y0)
P (k) = P (k,m) + P (k,¬m)
• ö
• s
összegszabály
szorzatszabály
valószínűségszámítás
szorzatszabályP (m, k) = P (m)P (k|m)
lánc-szabály, “és”-szabály
P(“esik a hó”) és P(“süt a nap ha esik a hó”)
P(“esik a hó és süt a nap”)
P (m, k)
P (m)= P (m|k)
P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k) = P (m)P (k|m)
szorzatszabály
P (m, k)
P (m)= P (m|k)
P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k) = P (m)P (k|m)
szorzatszabály
P (m, k)
P (m)= P (m|k)
P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k) = P (m)P (k|m)
szorzatszabály
M K P
m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095
P (m, k)
P (m)= P (m|k)
P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k) = P (m)P (k|m)
}XP (·) = 1
P (m,¬k) + P (m, k)
const= 1
const = P (m)
szorzatszabály
valószínűségszámítás
P (x) =X
y02YP (x, y0)
P (x, y) = P (x|y)P (y)
P (X,Y )
probabilisztikus modell
P (x, y)
P (y)= P (x|y)feltételes valószínűség
P (y|x)P (x)
P (y)= P (x|y)Bayes szabály
P (D,G|H, I) =
valószínűségszámítás
PA,B,C,E,F P (A,B,C,D,E, F,G,H, I)
PA,B,C,E,F,D,G P (A,B,C,D,E, F,G,H, I)
P (D,G|H, I) =
P (A,B,C,D,E, F,G,H, I)
joint distribution
P (D,G,H, I)
P (H, I)(feltételes valószínűség)?
mintavételezés• egy adott probabilisztikus modellhez készíthető* mintavételező
gép • kimenetei (minták) lehetséges események • az események relatív gyakoriságai tartanak a
valószínűségeikhez • különböző trükökkel lehet mintát venni külön a változókból
(marginális eloszlásból) vagy a feltételes eloszlásokból is
M K P
m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095
P (M,K) =
• nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög
0
0,125
0,25
0,375
0,5
0 1 2 3
P (n) =
✓3
n
◆0.3n0.73�n
a = flip(0.3)b = flip(0.3)c = flip(0.3)a + b + c
1012
0000
0011
mintavételezés(sampling) eloszlás
probabilisztikus program
nagy számok törvénye
Nn(E)
n! p as n ! 1
<latexit sha1_base64="EywZ/ufgTuON4At0abOvtOP8AeU=">AAACE3icbVDLSsNAFJ34rPVVdelmsAjVRUlE0GVRBFdSwT6gCWUynbRDJ5MwcyOWkH9w46+4caGIWzfu/BunbRbaemDgcM693DnHjwXXYNvf1sLi0vLKamGtuL6xubVd2tlt6ihRlDVoJCLV9olmgkvWAA6CtWPFSOgL1vKHl2O/dc+U5pG8g1HMvJD0JQ84JWCkbunYDRSh6U1XVq6OslRmLkQ4doE9QIqJxpk0gstlAKNuqWxX7QnwPHFyUkY56t3Sl9uLaBIyCVQQrTuOHYOXEgWcCpYV3USzmNAh6bOOoZKETHvpJFOGD43Sw0GkzJOAJ+rvjZSEWo9C30yGBAZ61huL/3mdBIJzL+UyToBJOj0UJAKb3OOCcI8rRkGMDCFUcfNXTAfElASmxqIpwZmNPE+aJ1XH8NvTcu0ir6OA9tEBqiAHnaEaukZ11EAUPaJn9IrerCfrxXq3PqajC1a+s4f+wPr8AXN1noU=</latexit><latexit sha1_base64="EywZ/ufgTuON4At0abOvtOP8AeU=">AAACE3icbVDLSsNAFJ34rPVVdelmsAjVRUlE0GVRBFdSwT6gCWUynbRDJ5MwcyOWkH9w46+4caGIWzfu/BunbRbaemDgcM693DnHjwXXYNvf1sLi0vLKamGtuL6xubVd2tlt6ihRlDVoJCLV9olmgkvWAA6CtWPFSOgL1vKHl2O/dc+U5pG8g1HMvJD0JQ84JWCkbunYDRSh6U1XVq6OslRmLkQ4doE9QIqJxpk0gstlAKNuqWxX7QnwPHFyUkY56t3Sl9uLaBIyCVQQrTuOHYOXEgWcCpYV3USzmNAh6bOOoZKETHvpJFOGD43Sw0GkzJOAJ+rvjZSEWo9C30yGBAZ61huL/3mdBIJzL+UyToBJOj0UJAKb3OOCcI8rRkGMDCFUcfNXTAfElASmxqIpwZmNPE+aJ1XH8NvTcu0ir6OA9tEBqiAHnaEaukZ11EAUPaJn9IrerCfrxXq3PqajC1a+s4f+wPr8AXN1noU=</latexit><latexit sha1_base64="EywZ/ufgTuON4At0abOvtOP8AeU=">AAACE3icbVDLSsNAFJ34rPVVdelmsAjVRUlE0GVRBFdSwT6gCWUynbRDJ5MwcyOWkH9w46+4caGIWzfu/BunbRbaemDgcM693DnHjwXXYNvf1sLi0vLKamGtuL6xubVd2tlt6ihRlDVoJCLV9olmgkvWAA6CtWPFSOgL1vKHl2O/dc+U5pG8g1HMvJD0JQ84JWCkbunYDRSh6U1XVq6OslRmLkQ4doE9QIqJxpk0gstlAKNuqWxX7QnwPHFyUkY56t3Sl9uLaBIyCVQQrTuOHYOXEgWcCpYV3USzmNAh6bOOoZKETHvpJFOGD43Sw0GkzJOAJ+rvjZSEWo9C30yGBAZ61huL/3mdBIJzL+UyToBJOj0UJAKb3OOCcI8rRkGMDCFUcfNXTAfElASmxqIpwZmNPE+aJ1XH8NvTcu0ir6OA9tEBqiAHnaEaukZ11EAUPaJn9IrerCfrxXq3PqajC1a+s4f+wPr8AXN1noU=</latexit><latexit sha1_base64="EywZ/ufgTuON4At0abOvtOP8AeU=">AAACE3icbVDLSsNAFJ34rPVVdelmsAjVRUlE0GVRBFdSwT6gCWUynbRDJ5MwcyOWkH9w46+4caGIWzfu/BunbRbaemDgcM693DnHjwXXYNvf1sLi0vLKamGtuL6xubVd2tlt6ihRlDVoJCLV9olmgkvWAA6CtWPFSOgL1vKHl2O/dc+U5pG8g1HMvJD0JQ84JWCkbunYDRSh6U1XVq6OslRmLkQ4doE9QIqJxpk0gstlAKNuqWxX7QnwPHFyUkY56t3Sl9uLaBIyCVQQrTuOHYOXEgWcCpYV3USzmNAh6bOOoZKETHvpJFOGD43Sw0GkzJOAJ+rvjZSEWo9C30yGBAZ61huL/3mdBIJzL+UyToBJOj0UJAKb3OOCcI8rRkGMDCFUcfNXTAfElASmxqIpwZmNPE+aJ1XH8NvTcu0ir6OA9tEBqiAHnaEaukZ11EAUPaJn9IrerCfrxXq3PqajC1a+s4f+wPr8AXN1noU=</latexit>
(Borel féle)
• Ha E esemény, • az E esemény valószínűsége p, • Nn(E) esemény bekövetkezéseinek
száma n mintában, • Akkor 1 valószínűséggel
problémaMi a valószínűsége hogy egy véletlenszerűen választott ember pontosan 1.7 m magas?
P (X = 1.7) = 0
P (X = 1.737894613982395) = 0
pmf(x)
x
probléma
x1.5 2
Mi a valószínűsége hogy egy véletlenszerűen választott ember pontosan 1.7 m magas?
P (X = 1.7) = 0
P (X = 1.737894613982395) = 0
pdf(x)
probability density function
sűrűségfüggvény
Z b
apX(x) dx = P (a X b)
<latexit sha1_base64="uvi8a7Ne5pnEHDup6HrTVxLxe/k=">AAACEnicbZBPS8MwGMZT/875r+rRS3AIG8hoRdCLMPTicYLbCmstaZpuYWlaklQ2xj6DF7+KFw+KePXkzW9j1vWgmy8k/Hie9yV5nyBlVCrL+jaWlldW19ZLG+XNre2dXXNvvy2TTGDSwglLhBMgSRjlpKWoYsRJBUFxwEgnGFxP/c4DEZIm/E6NUuLFqMdpRDFSWvLNmku58tF9AFPfqQ5r0D2B4RBewiasIugyAp38Dmq+WbHqVl5wEewCKqCopm9+uWGCs5hwhRmSsmtbqfLGSCiKGZmU3UySFOEB6pGuRo5iIr1xvtIEHmslhFEi9OEK5urviTGKpRzFge6MkerLeW8q/ud1MxVdeGPK00wRjmcPRRmDKoHTfGBIBcGKjTQgLKj+K8R9JBBWOsWyDsGeX3kR2qd1W/PtWaVxVcRRAofgCFSBDc5BA9yAJmgBDB7BM3gFb8aT8WK8Gx+z1iWjmDkAf8r4/AG8KppT</latexit><latexit sha1_base64="uvi8a7Ne5pnEHDup6HrTVxLxe/k=">AAACEnicbZBPS8MwGMZT/875r+rRS3AIG8hoRdCLMPTicYLbCmstaZpuYWlaklQ2xj6DF7+KFw+KePXkzW9j1vWgmy8k/Hie9yV5nyBlVCrL+jaWlldW19ZLG+XNre2dXXNvvy2TTGDSwglLhBMgSRjlpKWoYsRJBUFxwEgnGFxP/c4DEZIm/E6NUuLFqMdpRDFSWvLNmku58tF9AFPfqQ5r0D2B4RBewiasIugyAp38Dmq+WbHqVl5wEewCKqCopm9+uWGCs5hwhRmSsmtbqfLGSCiKGZmU3UySFOEB6pGuRo5iIr1xvtIEHmslhFEi9OEK5urviTGKpRzFge6MkerLeW8q/ud1MxVdeGPK00wRjmcPRRmDKoHTfGBIBcGKjTQgLKj+K8R9JBBWOsWyDsGeX3kR2qd1W/PtWaVxVcRRAofgCFSBDc5BA9yAJmgBDB7BM3gFb8aT8WK8Gx+z1iWjmDkAf8r4/AG8KppT</latexit><latexit sha1_base64="uvi8a7Ne5pnEHDup6HrTVxLxe/k=">AAACEnicbZBPS8MwGMZT/875r+rRS3AIG8hoRdCLMPTicYLbCmstaZpuYWlaklQ2xj6DF7+KFw+KePXkzW9j1vWgmy8k/Hie9yV5nyBlVCrL+jaWlldW19ZLG+XNre2dXXNvvy2TTGDSwglLhBMgSRjlpKWoYsRJBUFxwEgnGFxP/c4DEZIm/E6NUuLFqMdpRDFSWvLNmku58tF9AFPfqQ5r0D2B4RBewiasIugyAp38Dmq+WbHqVl5wEewCKqCopm9+uWGCs5hwhRmSsmtbqfLGSCiKGZmU3UySFOEB6pGuRo5iIr1xvtIEHmslhFEi9OEK5urviTGKpRzFge6MkerLeW8q/ud1MxVdeGPK00wRjmcPRRmDKoHTfGBIBcGKjTQgLKj+K8R9JBBWOsWyDsGeX3kR2qd1W/PtWaVxVcRRAofgCFSBDc5BA9yAJmgBDB7BM3gFb8aT8WK8Gx+z1iWjmDkAf8r4/AG8KppT</latexit><latexit sha1_base64="uvi8a7Ne5pnEHDup6HrTVxLxe/k=">AAACEnicbZBPS8MwGMZT/875r+rRS3AIG8hoRdCLMPTicYLbCmstaZpuYWlaklQ2xj6DF7+KFw+KePXkzW9j1vWgmy8k/Hie9yV5nyBlVCrL+jaWlldW19ZLG+XNre2dXXNvvy2TTGDSwglLhBMgSRjlpKWoYsRJBUFxwEgnGFxP/c4DEZIm/E6NUuLFqMdpRDFSWvLNmku58tF9AFPfqQ5r0D2B4RBewiasIugyAp38Dmq+WbHqVl5wEewCKqCopm9+uWGCs5hwhRmSsmtbqfLGSCiKGZmU3UySFOEB6pGuRo5iIr1xvtIEHmslhFEi9OEK5urviTGKpRzFge6MkerLeW8q/ud1MxVdeGPK00wRjmcPRRmDKoHTfGBIBcGKjTQgLKj+K8R9JBBWOsWyDsGeX3kR2qd1W/PtWaVxVcRRAofgCFSBDc5BA9yAJmgBDB7BM3gFb8aT8WK8Gx+z1iWjmDkAf8r4/AG8KppT</latexit>
mintavételezés
mintavételezés
mit jelölünk P-vel?
pdf(x) =X
i
pmf(xi) �(x� xi)
pmf pdf
Mindent.
P (x) =X
y02YP (x, y0)
P (x, y) = P (x|y)P (y)
valószínűségszámítás
P (X,Y )
probabilisztikus modell
P (x, y) = P (x|y)P (y)
valószínűségszámítás
P (X,Y )
probabilisztikus modell
P (x) =
Z
YP (x, y) dy
X
y
!Z
dy
P (x, y) = P (x|y)P (y)
valószínűségszámítás
P (x, y)
P (y)= P (x|y)
P (y|x)P (x)
P (y)= P (x|y)
P (X,Y )
probabilisztikus modell
feltételes valószínűség
Bayes szabály
P (x) =
Z
YP (x, y) dy
összefoglalás• ismerjük a valószínűségi kalkulus két szabályát, a szorzatszabályt és
az összegszabályt • tudjuk mit jelent mintákat venni egy eloszlásból (sampling) • ezeket ki tudjuk terjeszteni folytonosan sok értékű változókra • a valószínűségszámításban már mindent* tudunk, most már csak
kényelmi** fogalmakat vezetünk be • * : azért nem mindent, mert ha (a valós számokhoz hasonlóan)
más matematikai objektumokra is ki szeretnénk terjeszteni (pl val. változók amelyeknek a lehetséges értékei is valószínűségi eloszlások vagy végtelen sok val. változó), az nem mindig triviális.
• mértékelmélet • ** : néha a kényelmi megoldások teszik lehetővé hogy
praktikusan is ki lehessen számolni valamit, ne csak elméletben (exponenciális komplexitás)
függetlenség
ha megtudjuk hogy “y”, az semmit nem változtat “x” valószínűségén • az előbb 4-est dobtunk. Mit fogunk most dobni?
x ? y
P (d1|d2)P (d2) = P (d1)P (d2)
P (d1 + d2|d2)P (d2) 6= P (d1 + d2)P (d2)
• az előbb 4-es dobtunk, most dobunk mégegyet, mi lesz a kettő összege?
p(x, y) = p(x)p(y)
p(x|y) = p(x)
ha már tudjuk hogy “z”, és megtudjuk hogy “y”, az semmit nem változtat “x” valószínűségén
• képeket nézek, a kérdés hogy fogok-e látni snowboardosokat. Számít hogy látok-e sífelvonókat?
feltételes függetlenség
• Ha tudjuk hogy síterepen készült képeket nézünk akkor is számít hogy látok-e sífelvonókat?
x ? y | z
• a függetlenség és a feltételes függetlenség nem implikálják egymást, erre majd látunk több példát
p(x|y, z) = p(x|z)p(x, y|z) = p(x|z)p(y|z)
irányított grafikus modellek
propozicionális logika
elsőrendű logika
λ-kalkulus
igazságtáblázat joint probability table
UTMprobabilisztikus programnyelvek
i. grafikus modell
univerzalitás
X1 ? X3, X4 | X2
P (X1, X2, X3, X4) = P (X1|X2, X3, X4) P (X2|X3, X4) P (X3|X4) P (X4)
P (X1, X2, X3, X4) = P (X1|X2, X3, X4) P (X2|X3, X4) P (X3|X4) P (X4)
X2 ? X4 | X3
X3 ? X4
= P (X1|X2) P (X2|X3)P (X3)P (X4)
X4 X3
X2
X1
P (X1, X2, ..., Xn) =nY
i
P (Xi | Parent(Xi))
lánc-szabály
P (X1, X2, X3, X4) = P (X1|X2, X3, X4) P (X2|X3, X4) P (X3|X4) P (X4)
= P (X1|X2) P (X2|X3)P (X3)P (X4)
X4 X3
X2
X1
P (X1, X2, ..., Xn) =nY
i
P (Xi | Parent(Xi))
grafikus modellek• az eloszlás faktorizálódik a gráf szerint • a gráf az eloszlás függetlenségi struktúráját kódolja
• a függetlenségi relációk leolvashatóak a gráfról
• hogyan?
hatásterjedés
ZH pont
Nehéz Intell.
Felv. pont
ZH jegy
hatásterjedés
nehez = sample(p(nehez))
intell = sample(p(intell))
pont = sample(p(pont | nehez, intell))
felv = sample(p(felv | intell))
jegy = sample(p(jegy | pont))
Nehéz
ZH pont
tud terjedni hatás?
hatásterjedés
Nehéz
ZH pont
hatásterjedés
igen
ZH pont
Nehéz
ZH jegy
tud terjedni hatás?
hatásterjedés
Nehéz
ZH pont
ZH jegy
hatásterjedés
igen
ZH pont
ZH jegy
Nehéz
megfigyelt változó
tud terjedni hatás?
hatásterjedés
ZH pont
ZH jegy
Nehéz
nem
hatásterjedés
Nehéz Intell.
ZH pont
Felv. pont
ZH jegy
hatásterjedés
tud terjedni hatás?
Nehéz Intell.
ZH pont
Felv. pont
ZH jegy
hatásterjedés
igen
Nehéz
ZH pont
Felv. pont
ZH jegy
Intell.
hatásterjedés
tud terjedni hatás?
Nehéz Intell.
ZH pont
Felv. pont
ZH jegy
hatásterjedés
nem
Nehéz Intell.
ZH pont
Felv. pont
ZH jegy
hatásterjedés
tud terjedni hatás?
ZH pont
Felv. pont
ZH jegy
Nehéz Intell.
hatásterjedés
nem
Nehéz
ZH pont
Felv. pont
ZH jegy
Intell.
tud terjedni hatás?
hatásterjedés (explaining away)
Nehéz
ZH pont
Felv. pont
ZH jegy
Intell.
hatásterjedés (explaining away)
igen
Valamivel meg kell magyarázni a magas pontszámot: ha azt mondom hogy maximális pontszámot kaptam, azt gondolhatjátok hogy okos vagyok. De ha kiderül hogy nagyon könnyű volt, akkor kevésbé gondoljátok ezt.
ZH pont
Felv. pont
Nehéz Intell.
ZH jegy
hatásterjedés
tud terjedni hatás?
Nehéz Intell.
ZH pont
Felv. pont
ZH jegy
hatásterjedés
igen
d-szeparáció tétel• az előbbi kis gráfokból összekombinálható az összes lehetséges
függőségi reláció
• azt akarjuk leolvasni hogy u és v változók függetlenek-e különböző m megfigyelések mellett
• u és v között minden lehetséges útra ellenőrizzük hogy blokkolva van-e, feltéve hogy megfigyeljük m-et
• ha minden út blokkolva van, akkor függetlenek (feltéve m)
v
u
m
v
u
m
vu
m
vu
m
vu
m
vu
m
vu
m
d
d-szeparáció
v
um
nem juthat át hatás
Markov takaró
8Y : X ? Y | MB(X)
Y
X• szülők • gyerekek • gyerekek szülei
plate notation
grafikus modell építés
Nehéz Intell.
ZH pont
Felv. pont
ZH jegy
házi feladat
P (I) = N (I|µint,�int)
µint �int
Zmax
P (Z) = Binomial(Z|Zmax, sig(I �N))
µ �
P (N) = N (N |µ,�)
I �N
nehez = normal(mu,sigma)
intell = normal(mu_i,sigma_i)
pont = binomial(z_max,sig(intell-nehez))
felv = binomial(z_max2,sig(intell))
jegy = bin(pont,5)
grafikus modell építés
összefoglalás
• tudjuk mit jelent a függetlenség probabilisztikus modellekben
• az irányított grafikus modellek az eloszlás függetlenségi struktúráját jelenítik meg
• a gráf a teljes eloszlás egy faktorizációját adja meg, amelynek segítségével kevesebb számmal is meg lehet adni az eloszlást
• ezt kihasználva hatékonyabb inferencia algoritmusokat lehet kitalálni
• a gráfról a függetlenségi relációkat a d-szeparáció tétel alapján le tudjuk olvasni
• a grafikus modell abban is segít hogy egy intuitívan ismert rendszerből probabilisztikus modellt tudjunk felírni
bayes-i inferencia
mi az amit megfigyelünk?• fotonok becsapódása • levegő gyors rezgései • hőmérséklet ingadozása • bizonyos molekulák
mire vagyunk kíváncsiak?• milyen tárgyak vannak körülöttem • milyen messze • kik vannak körülöttem • mire gondolnak • mik a fizika törvényei
inferencia
ff
ff } generatív folyamat
ff
} generatív folyamat
f
f-1
}}inverz
inferencia
generatív folyamat
P (o|h)
P (h|o)
P (o|h)
P (h|o)
ha ilyen lenne a világ akkor mit figyelnénk meg?
P (o|h)
P (h|o)
ha ilyen lenne a világ akkor mit figyelnénk meg?
ha ezt figyeljük meg akkor milyen a világ?
P (o|h)
P (h|o)
• forward probability • generatív irány • prediktív irány • “szimulátor”
ha ilyen lenne a világ akkor mit figyelnénk meg?
ha ezt figyeljük meg akkor milyen a világ?
P (o|h)
P (h|o)
• forward probability • generatív irány • prediktív irány • “szimulátor”
• inverse probability • Bayes-i inferencia • modell inverzió
ha ilyen lenne a világ akkor mit figyelnénk meg?
ha ezt figyeljük meg akkor milyen a világ?
P (h|o) = P (o|h)P (h)
P (o)
P (o|h)
P (h|o) = P (o|h)P (h)
P (o)
}prior
P (h|o) = P (o|h)P (h)
P (o)
likelihood} }prior
P (h|o) = P (o|h)P (h)
P (o)
likelihood} }prior}posterior
P (h|o) = P (o|h)P (h)
P (o)
likelihood} }prior}posterior
}evidence
likelihood} }prior}posterior
P (h|o) = P (o|h)P (h)RP (o|h)P (h)dh
likelihood} }prior}posterior
P (h|o) / P (o|h)P (h)
likelihood} }prior}posterior
P (h|o) / P (o|h)P (h)
megfordítottuk a generatív modellt
likelihood} }prior}posterior
P (h|o) / P (o|h)P (h)
megfordítottuk a generatív modellt
miért kell a prior?
tünet
betegség
f
f-1
betegség
miért köhögök?
P (illness|symptom) / P (symptom|illness)P (illness)
meg
fázá
s tb
kézt
örés
milyen gyakori a ?
megfázás
tb
kéztörés
P (illness|symptom) / P (symptom|illness)P (illness)
meg
fázá
s tb
kézt
örés
ha lenne a betegség attól köhögnék?
megfázás
tb
kéztörés
P (illness|symptom) / P (symptom|illness)P (illness)
meg
fázá
s tb
kézt
örés
meg
fázá
s tb
kézt
örés
meg
fázá
s tb
kézt
örés
valószínűleg megfáztam
P (illness|symptom) / P (symptom|illness)P (illness)
meg
fázá
s tb
kézt
örés
3D - 2D
f = bPXY
X
Y
Z
f = bPXY nem injektív
f�1
X
Y
Z
nem egyértelmű
hipotézis tér: minden lehetséges 3D drótváz
image data
hipotézisek amelyekre magas a prior
hipotézis tér: minden lehetséges 3D drótváz
image data
hipotézisek amelyekre magas a prior
hipotézisek amelyekre nem 0 a likelihood
hipotézis tér: minden lehetséges 3D drótváz
image data
hipotézisek amelyekre magas a prior
hipotézisek amelyekre nem 0 a likelihood
posterior
hipotézis tér: minden lehetséges 3D drótváz
[Kul
karn
i et a
l 201
4]
színek
hány foton?
szén v. hó
megvilágítás elnyelési görbe (anyag)
spektrális eloszlás
megvilágítás elnyelési görbe (anyag)
spektrális eloszláslátósejtek érzékenysége
3 szám
megvilágítás elnyelési görbe (anyag)
spektrális eloszláslátósejtek érzékenysége
3 szám
anyag?
beszédfelismerés
P (sound) ! P (word | sound)<latexit sha1_base64="ctucsgL1WbuAFK/FJFtzS1QaY6Y=">AAACB3icbVBLSwMxGMzWV62vVY+CBItQoZRdEfRY9OJxBfuA7lKy2Wwbmk2WJKuU2psX/4oXD4p49S9489+YtnvQ1oHAMPN9SWbClFGlHefbKiwtr6yuFddLG5tb2zv27l5TiUxi0sCCCdkOkSKMctLQVDPSTiVBSchIKxxcTfzWHZGKCn6rhykJEtTjNKYYaSN17UOvYu7i0Qn0tYBe5V7IyK8++NWZ2rXLTs2ZAi4SNydlkMPr2l9+JHCWEK4xQ0p1XCfVwQhJTTEj45KfKZIiPEA90jGUo4SoYDTNMYbHRolgLKQ5XMOp+ntjhBKlhkloJhOk+2rem4j/eZ1MxxfBiPI004Tj2UNxxqCJPCkFRlQSrNnQEIQlNX+FuI8kwtpUVzIluPORF0nztOYafnNWrl/mdRTBATgCFeCCc1AH18ADDYDBI3gGr+DNerJerHfrYzZasPKdffAH1ucPIcOYMg==</latexit><latexit sha1_base64="ctucsgL1WbuAFK/FJFtzS1QaY6Y=">AAACB3icbVBLSwMxGMzWV62vVY+CBItQoZRdEfRY9OJxBfuA7lKy2Wwbmk2WJKuU2psX/4oXD4p49S9489+YtnvQ1oHAMPN9SWbClFGlHefbKiwtr6yuFddLG5tb2zv27l5TiUxi0sCCCdkOkSKMctLQVDPSTiVBSchIKxxcTfzWHZGKCn6rhykJEtTjNKYYaSN17UOvYu7i0Qn0tYBe5V7IyK8++NWZ2rXLTs2ZAi4SNydlkMPr2l9+JHCWEK4xQ0p1XCfVwQhJTTEj45KfKZIiPEA90jGUo4SoYDTNMYbHRolgLKQ5XMOp+ntjhBKlhkloJhOk+2rem4j/eZ1MxxfBiPI004Tj2UNxxqCJPCkFRlQSrNnQEIQlNX+FuI8kwtpUVzIluPORF0nztOYafnNWrl/mdRTBATgCFeCCc1AH18ADDYDBI3gGr+DNerJerHfrYzZasPKdffAH1ucPIcOYMg==</latexit><latexit sha1_base64="ctucsgL1WbuAFK/FJFtzS1QaY6Y=">AAACB3icbVBLSwMxGMzWV62vVY+CBItQoZRdEfRY9OJxBfuA7lKy2Wwbmk2WJKuU2psX/4oXD4p49S9489+YtnvQ1oHAMPN9SWbClFGlHefbKiwtr6yuFddLG5tb2zv27l5TiUxi0sCCCdkOkSKMctLQVDPSTiVBSchIKxxcTfzWHZGKCn6rhykJEtTjNKYYaSN17UOvYu7i0Qn0tYBe5V7IyK8++NWZ2rXLTs2ZAi4SNydlkMPr2l9+JHCWEK4xQ0p1XCfVwQhJTTEj45KfKZIiPEA90jGUo4SoYDTNMYbHRolgLKQ5XMOp+ntjhBKlhkloJhOk+2rem4j/eZ1MxxfBiPI004Tj2UNxxqCJPCkFRlQSrNnQEIQlNX+FuI8kwtpUVzIluPORF0nztOYafnNWrl/mdRTBATgCFeCCc1AH18ADDYDBI3gGr+DNerJerHfrYzZasPKdffAH1ucPIcOYMg==</latexit><latexit sha1_base64="ctucsgL1WbuAFK/FJFtzS1QaY6Y=">AAACB3icbVBLSwMxGMzWV62vVY+CBItQoZRdEfRY9OJxBfuA7lKy2Wwbmk2WJKuU2psX/4oXD4p49S9489+YtnvQ1oHAMPN9SWbClFGlHefbKiwtr6yuFddLG5tb2zv27l5TiUxi0sCCCdkOkSKMctLQVDPSTiVBSchIKxxcTfzWHZGKCn6rhykJEtTjNKYYaSN17UOvYu7i0Qn0tYBe5V7IyK8++NWZ2rXLTs2ZAi4SNydlkMPr2l9+JHCWEK4xQ0p1XCfVwQhJTTEj45KfKZIiPEA90jGUo4SoYDTNMYbHRolgLKQ5XMOp+ntjhBKlhkloJhOk+2rem4j/eZ1MxxfBiPI004Tj2UNxxqCJPCkFRlQSrNnQEIQlNX+FuI8kwtpUVzIluPORF0nztOYafnNWrl/mdRTBATgCFeCCc1AH18ADDYDBI3gGr+DNerJerHfrYzZasPKdffAH1ucPIcOYMg==</latexit>
m
P( j | m )
Szövegértelmezés
“A lány meglátta a fiút a távcsővel”
j1 j2
Szövegértelmezés
-“Elnézést, kártyával lehet fizetni?” -“Persze”
-“Elnézést, kártyával lehet fizetni?” -“Persze” -“Egy ászból és királyból tud visszaadni?”
-“Elnézést, kártyával lehet fizetni?” -“Persze” -“Egy ászból és királyból tud visszaadni?”
humor = téves inferencia felfedezése?
[Hurley et al 2011]
• a látótér határai nem látszanak
• csak középen látunk élesen (fovea)
• vakfolt • a szakkádoktól nem
rázkódik a világ
összefoglalás
• ami érdekel az általában közvetlenül nem megfigyelhető • a rejtett állapotok kikövetkeztetésében segít a tapasztalatokat
generáló folyamat ismerete • ennek megfordítása a likelihood: melyek azok a rejtett
állapotok amelyek összeegyeztethetőek a megfigyelésekkel? • de ez még nem elég, kell prior is hogy feloldja az empirikus
aluldetermináltság problémáját • a kettő szorzata a posterior, ami megadja jelenlegi tudásunkat
a nem megfigyelt változók értékeinek plauzibilitásáról
közelítő inferencia• az adat és egy adott hipotézistér mellett a posterior eloszlások a
legtöbb amit tudunk mondani • viszont ezt sokszor nehéz vagy lehetetlen egzaktul kiszámolni,
ezért közelítésekre kényszerülünk • pontbecslések • sztochasztikus közelítő módszerek (Monte Carlo)
• mintavételezés • aszimptotikusan (végtelen sok ideig futtatva) egzaktak
Monte Carlo
n=50 n=1000
n=10 e. n=1 mil
közelítő inferencia• az adat és egy adott hipotézistér mellett a posterior eloszlások a
legtöbb amit tudunk mondani • viszont ezt sokszor nehéz vagy lehetetlen egzaktul kiszámolni,
ezért közelítésekre kényszerülünk • pontbecslések • sztochasztikus közelítő módszerek (Monte Carlo)
• mintavételezés • aszimptotikusan (végtelen sok ideig futtatva) egzaktak
• determinisztikus közelítő módszerek • pl: variációs Bayes • nem kell végtelen sok idő, de sosem egzakt eredmény
variational bayes
q(z|�) = N (z|�)
p(z|x)
argmin�
KL(q(z|�) || p(z|x))
this we don’t know
eloszlás
pontbecslések
egy szám
post
erio
r
*
*
0.7
0.5
MAP becslés
várható érték
E[X] =
Z
Xx p(x) dx
variancia
V ar[X] = E[(X � E[X])2]
korreláció
Corr[X,Y ] =Cov[X,Y ]
V ar[X] V ar[Y ]
Cov[X,Y ] = E[(X � E[X])(Y � E[Y ])]
pontbecslések
https://www.autodeskresearch.com/publications/samestats
kulcsfogalmak
• valószínűségi kalkulus
• eloszlásfüggvény, marginális eloszlás, feltételes eloszlás
• függetlenség, feltételes függetlenség
• irányított grafikus modell
• mintavételezés (sampling)
• Bayes-i inferencia
• prior, posterior, likelihood
Készíts generatív valószínűségi modellt, ami autógyártók éves bevételének jóslására használható (más témát is választhatsz).
• válaszd ki a fontos változókat • a változók közötti függetlenségi viszonyok alapján rajzolj
grafikus modellt • válassz diszkrét vagy folytonos eloszlásokat a szükséges
marginálisok és kondicionálisok formájául (https://en.wikipedia.org/wiki/List_of_probability_distributions)
• gondolkodj el rajta, hogy mik azok a feltételezések, amiket beleépítettél a modellbe, de sejthetően nem egyeznek a valósággal
1. házi feladat
• x2 és x5 között terjedhet hatás? • hogyan lehetne x1 és x4-et függetlenné tenni?
2. házi feladat
[Kulkarni et al 2014] Kulkarni, Tejas D., et al. "Inverse graphics with probabilistic CAD models." arXiv preprint arXiv:1407.1339 (2014).
referenciák
https://www.youtube.com/watch?v=G-lN8vWm3m0McGurk effect (video)
Hurley, Matthew M., Daniel Clement Dennett, and Reginald B. Adams. Inside jokes: Using humor to reverse-engineer the mind. MIT press, 2011.
[Hurley et al 2011]