이산수학Discrete Mathematics

인천대학교 컴퓨터공학과

공학시인 이숙 이철호 교수

07 이산적확률

이상한 수열

1

11

12

1121

1321

123121

132231

123222

2

안에 들어갈 수는???

위행 1에 1이 1개있음위행 2에 1이 2개있음위행 3에 1이 1개, 2가 1개있음

위행 8에는1이 1개,  2가 4개, 3이 1개 있음

112431

이상한 수열

1

11

12

1121

122111

112213

12221131

1122123111

3

위행 1에 1이 1개있음위행 2에 1이 2개있음위행 3에 1이 1개, 2가 1개있음

베르나르베르베르의소설＂개미＂에나오는수열

위행 4에 1이 2개, 2가 1개, 1이 2개있음

파일압축기법에서사용

이상한 수열

4

베르나르베르베르의소설＂개미＂에나오는수열

오늘의 강의 목표

• 이산적 확률

• 이산적 확률 개요

• 확률 이론

• 베이즈 정리

• 기대값과 분산

5

확률

일정한 조건하에

어떤 사건이 일어날 가능성의 정도

0과 1 사이의 실수값

1을 넘을 수 없고, 음의 값이 될 수 없음

확률 1 : 항상 일어나는 사건 확률

확률 0 : 어떤 사건이 절대로 일어나지 않음을 의미

6

유한 확률정의 1 – page 494

실험 : 주어진 가능한 결과의 집합에서

한 가지가 발생하는 과정

표본 공간(S) : 가능한 결과의 집합

사건(E) : 표본 공간의 부분 집합

정의 1

S : 동일하게 발생할 수 있는 유한 개의 표본 공간

E : S의 부분 집합인 사건

P : 확률 함수

7

유한 확률예제 1-page 495

예제 1

파란 공 4개와 빨간 공 5개 중

파란 공 하나를 꺼낼 확률은?

표본 공간 S = 4 + 5 = 9, 전체 9 개의 공

가능한 사건 E = 4

파란 공이 선택될 확률 = 4/9

8

유한 확률예제 2-page 495예제 2

두 개의 주사위를 던져서

두 주사위의 합이 7이 될 확률은?

표본 공간 S = 6 X 6 = 36 (곱의 법칙)

7이 되는 순서쌍

= (1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6,1)

가능한 사건 E = 6

두 개의 주사위를 던져 7이 될 확률 = 6/36 = 1/6

9

유한 확률예제 7-page 497

예제 7

1 ~ 50까지의 공에서 11, 4, 17, 39, 23의 공을

그 순서대로 꺼내는 확률은?

- 무교체 표본화의 예(다시 집어 넣지 않음)

경우의 수 = 50x49x48x47x46=254,251,200

공을 꺼내는 확률 = 1/ 254,251,200

- 교체 표본화의 예(다시 집어 넣음)

경우의 수 = 505=312,500,000

공을 꺼내는 확률 = 1/ 312,500,000

10

사건 조합의 확률정리 1-계수 기법 사용 page 497

정리 1

S : 표본 공간

E : 표본 공간 S의 사건

: E의 나머지 사건

11

사건 조합의 확률예제 8-page 49810 비트 열 중에

적어도 한 개의 0을 포함할 확률은?

~E: 모든 비트가 1인 사건

P(E):1-p(~E)

= 1-(|~E|/|S|)

= 1-1/210

= 1-1/1024

= 1023/1024 정리 1을 사용 간단히 산출

12

확률의 할당

1) s ∈ S 에 대하여, 0 ≤ p(s) ≤ 1

2)

함수 p : 확률 분포 함수

1) i = 1, 2, . . . , n 에 대하여 0 ≤ p(xi) ≤ 1

2)

13

무한집합인경우

수렴하는무한급수

확률의 할당정의 1, 정의 2

정의 1원소 n개의 집합 S에서

균등 분포 S의 각 원소 확률 값의 할당은

: 1/n

정의 2

사건 E의 확률 = E 결과 확률의 합

14

확률의 할당예제 2-page 504불균일 주사위

숫자 3 : 다른 숫자 보다 2배 만이 나옴나머지 숫자 : 동일하게 발생이 때 홀 수가 나올 확률은?

사건 E = {1, 3, 5}의 확률p(1)=p(2)=p(4)=p(5)=p(6)=1/7p(3)=2/7p(E)=p(1)+p(3)+p(5)

=1/7 + 2/7 + 1/7= 4/7

15

확률의 할당Laplace의 정의 – page 504

- 사건이 동일하게 발생할 가능성이 있음

- 가능한 결과의 수가 유한함

16

|E| = m , |S| = n

여사건, 사건의 합에 대한 확률서로소 관계

p(E1 ∪ E2)

= p(E1) + p(E2) − p(E1 ∩ E2)

= p(E1) + p(E2)

17

정리 1 :

조건부 확률정의 3

E, F : 사건, p(F) > 0

F를 전제로 한 E의 조건부 확률 p(E/F)는

18

조건부 확률예제 3길이 4 비트의 비트 열

첫 비트가 0의 조건 하에서

두 개 이상의 0을 연속적으로

포함할 수 있는 확률은?

E ∩ F = {0000, 0001, 0010, 0011, 0100)

= 5 개

0으로 시작하는 4 비트 열의 수 = 8 개

p(E/F) = (5/16) / (8/16) = 5/8

19

16 가지

독립 사건정의 4사건 E와 F가 독립이라는 것은

p(E∩F)=p(E)p(F)

필요 충분 조건

독립 사건 :

두 사건이 독립일 때,

한 사건의 발생은

다른 사건이 일어날 확률에 대한

정보를 전혀 주지 않음.

20

베르누이 시행예제 8-page 509

베르누이 시행 :

두 가지 결과만

나올 수 있는

실험의 시행

성공(p)과

실패(q)의 확률

p + q = 1

21

C(7, 4) x (2/3)4 x (1/3)3= (35 x 16) / 37= 560 / 2187= 0.256

예제 8앞면이 나올 확률이 2/3인 동전으로7번 던저 앞면이 4번 나올 확률?동전 7번 던진 결과의 경우의 수 : 27 = 1277번 중 4번이 앞면이 나오는 경우의 수 : C(7,4)2/3의 확률(앞면)이 4번 나올 확률 : (2/3)^41/3의 확률(뒷면)이 3번 나올 확률 : (1/3)^3

베르누이 시행정리 2

성공 확률 : p

실패 확률 : q = 1-p

n 번의 독립적인 베르누이 시행에서

정확히 k번 성공할 확률

22

베르누이 시행예제 9 – page 510비트 0이 생성될 확률 : 0.9

비트 1이 생성될 확률 : 0.1

비트는 독립적으로 생성

10 개의 비트를 생성하여 0이 8개 있을 확률?

b(8; 10, 0.9)

= C(10, 8)(0.9)8(0.1)2

= 45 x 0.43046721 x 0.01

= 0.1937102445

23

확률 변수정의 6, 정의 7정의 6 : 확률 변수

실험의 표본 공간으로부터 실수 집합의 함수

각각의 결과에 실수를 할당

정의 7

표본 공간 S에서 정의된 확률 함수의 분포

r ∈ X(S)인 모든 r에 대해서,

순서 쌍 (r, p(X = r))의 집합

여기서, p(X = r)은 X가 r 값을 가질 확률.

분포는 r ∈ X(S)인 모든 r에 대하여

p(X = r) 값을 정해 주는 것

24

몬테칼로 알고리즘

확률적 알고리즘 : 난수를 발생시켜 진행 과정을 결정하는 알고리즘

라스베가스 알고리즘 : 확률적 알고리즘을 사용하여 원하는 결과가 나올 때까지반복하여 언제나 옳은 결과를 도출하도록 하는확률적 알고리즘-시간이 아주 많이 걸림

몬테칼로 알고리즘 :오류가 발생할 확률이 어느 정도 있지만알고리즘의 속도를 위하여난수를 사용하여 임의의 원소를 골라 결과를 찾아가는 알고리즘

25

확률적 방법정리 3, 정리 4정리 3: 확률적 방법

집합 S의 원소가특정한 성질을 갖지 않을 확률이1보다 작으면, 집합 S에는이러한 성질의 원소가 존재한다.- 원소를 찾아 주지는 않아 비생산적임

정리 42 이상의 정수 k에 대하여R(k, k) ≥ 2k/2이 성립

26

베이지 정리

베이지 정리 :

부분적으로 알고 있는 정보를 근거로

어떤 특정한 사건이

일어날 확률에 대해

알고자 할 때,

이러한 질문에 답할 수 있는 결과를 추론하는 방법

- 정보에 기초한 확률을 추론하기 위해 이용

- 의학, 법, 기계학습, 공학, 컴퓨터공학

27

베이지 정리예제 1- page 5211 상자 : 녹색 공 2개 + 빨간공 7개

2 상자 : 녹색 공 4개 + 빨간공 3개

빨간 공을 선택 했을 때,

1 상자를 선택했을 확률은?

E 사건 : 빨간 공을 선택한 사건

~E 사건 : 녹색 공을 선택한 사건

F 사건 : 1 상자를 선택한 사건

~F 사건 : 2 상자를 선택한 사건

1 상자에서 빨간 공을 끄낼 확률, p(F|E) ?

p(F|E)=p(F∩E)/p(E)

28

베이지 정리예제 1- page 5211 상자 : p(E | F) = 7/9

2 상자 : p(E | F) = 3/7

임의의 상자 선택 : p(F) = p(F) = 1/2

p(F|E)=p(F∩E)/p(E)

p(E|F)=p(E∩F)/p(F)

p(E|F)p(F)=7/9 x 1/2 = 7/18

p(E|~F)=p(E∩~F)/p(~F)

p(E∩F)=p(E|F)p(F)

=3/7 x 1/2 = 3/14

29

베이지 정리예제 1- page 521E=(E∩F)∪(E∩~F)이고,

E∩F와 E∩~F는 겹치는 부분이 없다.

그러므로

이므로

30

베이지의 정리정리 1

만약 E와 F가

표본 공간 S에서의 사건으로

p(E)≠0이고, p(F)≠0이라면

31

베이지 정리의 응용예제 2 – page 522병원 진단 검사 결과

100,000 명당 1명 꼴로 이 병을 가지고 있다.

검사는

질병을 가진 경우 99% 정확

질병을 가지지 않은 경우 99.5% 정확

이정보로 다음을 알 수 있는가?

(a) 이 병에 대한 검사가 양성인 사람이

이 병을 가지고 있을 확률은?

(b) 이병에 대한 검사가 음성인 사람이

이 병을 가지지 않은 확률은?

검사에서 양성인 사람은 병을 가졌다고 생각해야 하는 가?

32

베이지 정리의 응용예제 2 – page 522

(a)

F : 어떤 사람이 이 병을 가진 사건

E : 이 사람이 검사에서 양성 반응인 경우

p(F|E)?

p(E|F), p(E|~F), p(F), p(~F)를 구해야

p(F) = 1/100,000 = 0.00001

p(~F) = 1-0.00001 = 0.99999

p(E|F) = 0.99-양성 반응에 대한 진짜 양성 확률

p(~E|F)=0.01-병을 가진 사람이 음성 반응일 경우 틀릴 확률

p(~E|~F)=0.995-병을 갖지 않는 사람이 음성 반응일 경우

진짜 음성일 경우 확률

p(E|~F)=0.005-병을 갖지 않는 사람이 틀린 양성 반응을 보일 확률

검사에서 진짜 양성인 사람이 실제 이병을 가질 확률 p(F|E)는?

33

34

베이지 정리의 응용예제 2 – page 522

검사에서 음성인 사람 중99.99999% 병을 가지고있지 않음

양성 반응인 사람의0.2% 만이 이 병을 가지고있음

베이지안 스팸 필터

메시지에 특정한 단어들의 빈도를 조사하여

이메일을 스팸 처리 할 것인지를 결정하여

걸러내는 필터링 기법

35

W 단어를 포함하는 조건에서 스팸일 확률

가정을 가지고,W 단어를 포함하는 조건에서 스팸일 확률 W 단어를 포함하는

조건에서 스팸일 확률의추정값

추정값이 기준 보다 크면 메시지를 필터링

베이지안 스팸 필터예제 4-page 5272,000개의 스팸 메시지와

1,000개의 스팸 아닌 메시지에

베이지언 스팸 필터를 적용

‘stock’ 400개의 스팸 메시지에스팸이 아닌 경우 60개의 메시지가 나타남‘undervalued’는 200개의 스팸 메시지에 스팸이 아닌 경우 25개가 나타남stock’, ‘undervalued’ 모두를 가진 메시지가스팸일 확률을 추정하라.기준이 0.9라면 스팸으로 거부해야 할까?

36

베이지안 스팸 필터예제 4-page 527p(stock) = 400/2000 = 0.2

q(stock) = 60/1000 = 0.06 p(undervalued) = 200/2000 = 0.1

q(undervalued) = 25/1000 = 0.025

37

0.9를기준으로정했기때문에이메시지는필터로걸러낸다.

기대값과 분산기대값

기대값 :

확률 변수가 취하는 값에 대한 예측 값

확률 변수 값의 가중 평균

분산 :

확률 변수가 기대값으로부터

얼마나 떨어져 있는지 확률을 추정

38

기대값과 분산정의 1표본 공간 S에서의

확률 변수 X의 기대값

혹은 평균

X의 s ∈ S에서의 편차는

X(s)-E(X),

즉 X의 값과 X의 평균과의 차이

39

기대값과 분산예제 1-page 531

주사위의 기대값

주사위를 던져 나오는 X 값의 기대값?

확률 변수 X는 1, 2, 3, 4, 5, 6 각각 1/6 확률

따라서 주사위의 기대값은 7/2 = 3.5

40

기대값과 분산정리 1, 정리 2정리 1:

X가 확률 변수, p(X=r)이 X=r일 확률 표현

p(X=r) = ∑s∈S,X(s) = r p(s) 기대값

정리 2:

한 번 시행에서

성공의 확률이 p인 베르누이 시행을

n 번 계속할 경우

성공의 횟수 기대값 : n x p

41

기대값과 분산기대값

42

5백원짜리동전 1개와1백원짜리동전 4개가들어있는주머니에서동전을하나꺼낼때,나온동전의금액에대한평균값과기대값은 180원

기대값과 분산분산, 정의 4, 정리 6확률 변수의 기대값-평균, 분포를 알려줌

분산 :

확률 변수가 얼마나 넓게 분포하는 가에 대하여 특징을 나타냄

정의 4 :

정리 6 :

X:표본 공간 S의 확률 변수

V(X) : X의 분산

X의 표준편차(σ(X)) :

43

기대값과 분산정규분포와 표준편차

분산 : 분포의 크기

표준편차 : 분산의 제곱근

실 사용 단위로 사용

44

기대값과 분산정규분포와 분산, 표준편차σ : 주어진 분포의 표준편차μ : 주어진 분포의 평균x : 가로 좌표(측정 값)f(x) : 세로 좌표 x값에 대한 곡선의 높이

즉 확률 밀도

45

기대값과 분산예제 15-page 542

주사위의 분산:

주사위를 던져,

나오는 숫자의 확률 변수 X의 분산?

46

주사위의 기대값은 7/2

용돈 봉투 ???

액수가 없는 용돈 봉투가 있다.

하나의 봉투는 다른 봉투의 2배가 들어있다.

내 봉투를 열었을 때 1만원이 있다.

열어보지 않고 바꾸는 찬스가 1번 있다.

바꾸었을 때와 안 바꾸었을 때의

기대 값을 구해서

바꿀 것인지 안 바꿀 것인지 결정하라.

47