Introduction to

Machine Learning with Python

1. Introduction

Hongdae Machine Learning Study Epoch #2

1

Contacts

Haesun Park

Email : haesunrpark@gmail.com

Meetup: https://www.meetup.com/Hongdae-Machine-Learning-Study/

Facebook : https://facebook.com/haesunrpark

Blog : https://tensorflow.blog

2

Book

파이썬라이브러리를활용한머신러닝, 박해선.

(Introduction to Machine Learning with Python, Andreas

Muller & Sarah Guido의번역서입니다.)

번역서의 1장과 2장은블로그에서무료로읽을수있습니다.

원서에대한프리뷰를온라인에서볼수있습니다.

Github:

https://github.com/rickiepark/introduction_to_ml_with_python/

3

소개

4

머신러닝이란

데이터에서지식을추출하는작업입니다.(vs 데이터마이닝)

통계학, 인공지능, 컴퓨터과학이어우러진연구분야입니다.

예측분석predictive analytics이나통계적머신러닝statistical learning으로도불립니다.

위키피디아의소개: “인공지능의한분야로컴퓨터가학습할수있도록하는

알고리즘과기술을개발하는분야”

Arthur Samuel “Field of study that gives computers the ability to learn without

being explicitly programmed”

명확한해결방법을모르거나해결방법을찾기어려운문제를다룹니다.

5

어플리케이션

영화, 쇼핑, 음악추천

사진분류, 검색, 친구추천, 광고, 번역, 음성인식

의학, 자율주행자동차, 천문, 양자역학

6

유럽입자물리연구소James Beacham

AI ⊃머신러닝 ⊃딥러닝

7

Deep

Learning

Machine

Learning

AI

왜머신러닝인가?

규칙기반전문가시스템rule based expert system의문제점(고전적인스팸필터)

결정에필요한로직이한분야나작업에국한, 작업변경에따라시스템개발을

다시수행할수도있습니다.

규칙을설계하려면 분야의전문가들의결정방식에대해잘알아야합니다.

2001년이전까지이미지에서얼굴을인식하는문제를풀지못했음

컴퓨터의픽셀단위는사람이인식하는방식과다름, 얼굴이무엇인지일련의

규칙을만들기어렵습니다.

머신러닝을사용해많은얼굴이미지를제공하면얼굴을특정하는요소를찾을수

있습니다.

8

지도학습Supervised Learning

알고리즘에입력과기대하는출력을제공합니다.

알고리즘은입력으로부터기대하는출력을만드는방법을찾습니다. 혹은

기대하는출력이나오도록알고리즘을가르칩니다.

스팸문제의경우이메일(입력)과스팸여부(기대출력)을제공해야합니다.

지도학습의예

손글씨숫자판별: 손글씨스캔이미지(입력), 우편번호(기대 출력)

데이터수집에수작업이많음. 비교적쉽고적은비용소모.

의료영상에기반한암진단: 영상(입력), 종양여부(기대 출력)

도덕적/개인정보문제고가의장비, 전문가의견필요

신용카드부정거래감지: 신용카드거래내역(입력), 부정거래여부(기대출력)

고객에게신고가올때까지기다리면됨. 9

비지도학습Unsupervised Learning

알고리즘에입력은주어지지만출력은제공되지않습니다.

따라서비지도학습의이해하거나평가하기어렵습니다.

비지도학습의예

블로그글의주제구분: 사전에어떤주제가있는지얼마나많은주제가있는지

모릅니다.

고객들을취향에따라그룹으로묶기: 부모, 독서광, 게이머등어떤그룹이있는지

미리알수없고얼마나많이있는지모릅니다.(평가하기 어렵습니다)

비정상적웹사이트접근탐지: 비정상적인패턴은각기다를수있고가지고있는

비정상데이터가없을수있습니다. 현재트래픽만관찰할수있습니다.

10

데이터, 특성

좋은입력데이터를만들어내는일을특성추출feature extraction, 특성공학feature

engineering이라고합니다.11

나이 구매빈도 이메일 ...

37 10 xxx@gmail

33 15 yyy@gmail

특성features, 독립변수, (속성attribute)

샘플sample,

데이터포인트data point

(인스턴스instance)

타깃target, 종속변수

성별

남

여

문제와데이터이해

머신러닝프로세스에서데이터를이해하고해결할문제와어떤관련이있는지이해하는것이가장중요합니다.

알고리즘마다잘들어맞는데이터나문제의종류가다릅니다.

알고리즘이나방법론은문제를푸는전체과정중일부일뿐입니다.

머신러닝솔루션을만들동안마음에새겨야할질문들

어떤질문에대답을원하는가? 원하는답을만들수있는데이터를가지고있는가?

머신러닝의문제로가장잘기술할수있는방법은무엇인가?

문제를풀기에충분한데이터가있는가?

추출한데이터의특성은무엇이고좋은예측을위한특성을가지고있는가?

애플리케이션의 성과를어떻게측정할것인가?

다른연구나제품과어떻게협력할수있는가?12

Why Python?

13

아직도이런질문을?

14

파이썬(Python)

과학분야를위한표준프로그래밍언어가되어가고있습니다.(vs Julia)

MATLAB, R 같이도메인에특화된언어와 Java, C 같은범용언어의장점을모두

가지고있습니다.

통계, 머신러닝, 자연어, 이미지, 시각화등을포함한풍부한라이브러리가

있습니다: Scikit-Learn, pandas, Numpy, Scipy, matplotlib, ...

브라우저기반인터랙티브프로그래밍환경인주피터노트북Jupyter Notebook이

있습니다.

파이썬주도딥러닝라이브러리: TensorFlow, Keras, PyTorch, Caffe2, CNTK,

MXNet, Theano, ...

15

Scikit-Learn

오픈소스: https://github.com/scikit-learn/scikit-learn

소스코드를보고어떻게알고리즘이구현되어있는지확인할수있습니다.

회귀, 분류, 군집, 차원축소, 특성공학, 전처리, 교차검증, 파이프라인등머신러닝에

필요한도구를두루갖추고있습니다.

풍부한문서 (영문): http://scikit-learn.org/stable/documentation

학교, 산업현장에서널리사용됩니다.

폭넓은커뮤니티와많은튜토리얼, 예제코드가있습니다.

16

Apple’s Core ML Support

17

Scikit-Learn 설치

NumPy, SciPy를기반으로합니다.

대화식환경을위해서는 IPython 커널과 Jupyter Notebook 설치가필요합니다.

Anaconda(https://www.continuum.io/anaconda-overview)

무료, 과학전문파이썬배포판, 수백개의패키지, 맥/윈도우/리눅스 지원, 인텔 MKL

라이브러리포함

Enthought Canopy(https://www.enthought.com)

과학전문파이썬배포판, 학생, 교육기관에무료(scikit-learn 미포함)

Python(x, y)

윈도우즈전용과학파이썬배포판

18

필수라이브러리

19

Jupyter Notebook

프로그램코드 + 문서 + 결과

(텍스트,그래프)를위한대화식개발

환경입니다.

탐색적데이터분석에유리하여

많은과학자, 엔지니어들이

사용합니다.

https://jupyter.org

20

IDE for Jupyter Notebook

PyCharm: 파이썬 IDE로노트북파일을지원합니다.

Rodeo(https://www.yhat.com/products/rodeo) : 데이터분석용전문 IDE입니다.

JupyterLab(https://github.com/jupyter/jupyterlab) : 차세대주피터노트북환경

Colaboratory(https://colab.research.google.com) : 구글드라이브와연동되는연구와교육목적의노트북환경

21

NumPy

다차원배열을위한기능과선형대수를비롯해고수준수학함수와유사난수

생성기를포함하고있습니다.

scikit-learn의기본데이터구조입니다.(TensorFlow 도)

http://www.numpy.org

http://www.scipy-lectures.org/ 의 1장

22

모듈의별칭을만듦

ndarray

동일한데이터타입

SciPy

선형대수, 최적화, 통계등많은과학계산함수를모아놓은파이썬패키지

scikit-learn은알고리즘구현에 SciPy에많이의존하고있습니다.

0이많이포함된행렬을효율적으로표현하기위한희소행렬sparse matrix

scipy.sparse 패키지를사용합니다.

https://www.scipy.org/scipylib

http://www.scipy-lectures.org/

의 2.5절

23

단위행렬

SciPy

24

대각행렬의위치

Compressed Sparse Row Format

Coordinate Format

인덱스를지정하여희소행렬을생성

밀집배열로부터희소행렬을생성(메모리부족가능성)

matplotlib

과학계산용그래프라이브러리입니다.

선, 히스토그램, 산점도등다양한

그래프를그릴수있으며출판수준의

고품질을제공합니다.

노트북에그래프포함: %matplotlib inline

https://matplotlib.org/

그외대표적인그래프라이브러리: Bokeh, Seaborn,

Plotly

25

별칭이름

pandas

데이터처리와분석을위한라이브러리

DataFrame inspired by R’s data.frame

엑셀과비슷하게이종데이터포함

가능합니다.(numpy와크게다른점)

웨스매키니Wes Makinney의 “파이썬

라이브러리를활용한데이터분석”

http://pandas.pydata.org

26

별칭이름

CSV, SQL, 엑셀등에서데이터읽을수있음

Python 2 vs Python 3

어떤것을써야할지잘모르겠다면 Python 3이적절합니다.

이미파이썬 2로작성한코드가많이있거나사용하고있는라이브러리가파이썬 2

밖에지원하지않는경우에는파이썬 2를사용합니다.

six 패키지를사용해호환된코드를만들수있습니다.(https://pythonhosted.org/six/)

Python 2.7은 2020년까지만지원합니다.

27

사용하는 Version

Python 3.6

scikit-learn 0.19.x

matplotlib 2.0.x

NumPy 1.13.x

SciPy 0.19.x

pandas 0.20.x

28

Iris Dataset

29

붓꽃의품종분류

setosa, versicolor, virginica 품종(타깃)을분류합니다.

특성은꽃잎petal, 꽃받침sepal의폭과길이입니다.

사전에이미분류한데이터를이용하므로지도

학습supervised learning이고 3개의붓꽃품종에서고르는

분류classification 문제입니다.

클래스class: 가능한출력값. 즉세개의붓꽃품종

레이블label: 데이터포인트하나에대한출력

30

데이터적재

붓꽃데이터: sklearn.datasets.load_iris()

그외 load_digits(), load_boston(), load_breast_cancer(), load_diabetes() 도있습니다.

31

딕셔너리와유사한scikit-learn의 Bunch 클래스반환

데이터셋에대한설명iris_dataset.DESCR[:193] 도가능

32

붓꽃품종의이름

특성설명

데이터크기(꽃잎길이/폭, 꽃받침길이/폭)

33

훈련데이터

타깃데이터

샘플

특성

기본 3:1 비율 (test_size 매개변수로변경가능)

훈련데이터와테스트데이터

훈련에사용한데이터는테스트(일반화)에사용하지않습니다: 낙관적인추정방지

데이터분리: 훈련세트, 테스트세트(홀드아웃holdout 세트)

X: 2차원배열(행렬), 대문자표기, y: 1차원배열(벡터), 소문자표기

34

유사난수생성

산점도Scatter Plot

두개의특성을이용점으로데이터

표시(3차원이상은표현이어려움)

각특성의조합에대해모두그리는

pandas의산점도행렬Scatter Matrix

이용합니다.

35

pandas 데이터프레임으로변경

36

특성이많을경우산점도행렬을그리기어렵습니다.

한그래프에모든특성이나타나는것이아니므로서로나뉘어진그래프사이에중요한성질이있을수있습니다.

자기자신(주대각선)은히스토그램으로표시

머신러닝으로잘구분할수있을것같음

First ML Application

37

k-최근접이웃k-Nearest Neighbors, k-NN

이알고리즘은훈련데이터를저장하는것이학습의전부입니다.

새데이터포인트에서가장가까운훈련데이터포인트(k개)를찾아서가장높은

빈도의클래스를예측으로사용합니다.

대표적인인스턴스기반instance based 학습알고리즘(vs model based)

38

이웃의개수: 기본값 5

fit() 메소드에서도knn 객체반환 훈련데이터주입

예측

학습된모델(이전슬라이드의 knn 객체)을사용해새로운붓꽃의품종을

분류합니다.

39

sepal length, width petal length, width가상으로새로운데이터생성특성은항상 2차원배열

예측

숫자로된레이블이반환됩니다.

실제로이값이맞을까요?

평가

모델의성능(정확도)을평가하기위해훈련에상요하지않았던테스트세트를

활용합니다.

40

예측값을실제레이블과비교합니다.0 또는 1의배열

평균

테스트세트에대한예측(타깃이없습니다)

새로운데이터에대해 97% 정확도를기대할수있습니다.

요약

붓꽃어플리케이션은분류해놓은품종데이터를사용한지도학습입니다.

세개의품종(클래스)을구분하는분류classification 문제(다중분류)입니다.

특성데이터를담고있는 X(2차원)와기대출력(레이블)을가진 y(1차원)를 NumPy

배열로다루었습니다.

훈련세트에서학습(훈련)하고테스트세트로만들어진모델을평가했습니다.

41

predict(X_new)