Introduction to Deep learning

Youngpyo Ryu

동국대학교 수학과대학원 응용수학 석사재학

youngpyoryu@dongguk.edu

2018년 6월 30일

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 1 / 66

Overview

1 Neuron

2 Computational Graphs

3 BackPropargation

4 Upgrade Grdient Desecent method

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 2 / 66

Neuron

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 3 / 66

Neuron

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 4 / 66

Neuron

Quiz) 사람의 뉴런은 몇개 일까 ?

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 5 / 66

Neuron

Quiz) 사람의 뉴런은 몇개 일까 ?

약 천억개 정도의 뉴런을 가지고 있다.

의식과 같은 뇌의 부분은 미지의 영역이지만, 많은 발전이 있었다.

생물학적 뉴런 : ′ 출력값 = (상수 × 입력값) + ( 또다른 상수) ′

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 6 / 66

퍼셉트론

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 7 / 66

퍼셉트론의 구조

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 8 / 66

퍼셉트론의 동작

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 9 / 66

퍼셉트론의 동작 예제

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 10 / 66

행렬표기

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 11 / 66

퍼셉트론의 동작

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 12 / 66

Activation function

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 13 / 66

Activation function

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 14 / 66

Activation function

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 15 / 66

Activation function

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 16 / 66

Activation function

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 17 / 66

Activation function

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 18 / 66

Activation function relation

In geneal, ELU > leaky RELU(and its variant) > RELU > tanh > logistic

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 19 / 66

Perceptron

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 20 / 66

단일 퍼셉트론의 한계

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 21 / 66

단일 퍼셉트론의 한계

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 22 / 66

단일 퍼셉트론의 한계

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 23 / 66

단일 퍼셉트론의 한계

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 24 / 66

다층 퍼셉트론

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 25 / 66

다층 퍼셉트론

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 26 / 66

오차 역전파

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 27 / 66

Backpropargation introduction

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 28 / 66

Computational Graphs

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 29 / 66

Partial Differention

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 30 / 66

Partial Differention

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 31 / 66

Derivatives on Computational Graphs

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 32 / 66

Derivatives on Computational Graphs

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 33 / 66

Factoring paths

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 34 / 66

Factoring paths

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 35 / 66

Factoring paths

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 36 / 66

Factoring paths

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 37 / 66

Computational Victories

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 38 / 66

Computational Victories

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 39 / 66

Computational Victories

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 40 / 66

Computational Victories

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 41 / 66

Conclusion

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 42 / 66

Backpropargation

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 43 / 66

Backpropargation

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 44 / 66

Backpropargation

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 45 / 66

오차공식

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 46 / 66

오차공식

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 47 / 66

오차공식

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 48 / 66

오차공식

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 49 / 66

오차공식

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 50 / 66

오차공식

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 51 / 66

가중치 업데이트하기

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 52 / 66

가중치 업데이트하기

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 53 / 66

가중치 업데이트하기

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 54 / 66

가중치 업데이트하기

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 55 / 66

신경망에서 딥러닝

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 56 / 66

신경망에서 딥러

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 57 / 66

신경망에서 딥러닝

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 58 / 66

신경망에서 딥러닝

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 59 / 66

고급 경사 하강법

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 60 / 66

모멘텀(Momentum)

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 61 / 66

네스테로프 모멘텀(Momentum)

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 62 / 66

아다그리드(Adagrad, Adaptive Gradient)

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 63 / 66

아엠에스프롭(RMSprop)

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 64 / 66

아담(Adam)

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 65 / 66

Reference

· 계산그래프로 역전파 이해하기 : https://brunch.co.kr/@chris-song/22

· Gradient Descent : https://brunch.co.kr/@chris-song/50· 모두의 딥러닝, 한빛미디어

· 기계학습,한빛미디어(오일석)

Youngpyo Ryu (Dongguk Univ) 2018 Daegu University Bigdata Camp 2018년 6월 30일 66 / 66