빅데이터분석의가치창출bigdata.go.kr/data/pdf/issue_2015_3.pdf · Knowledge Gap &...
27
Transcript of 빅데이터분석의가치창출bigdata.go.kr/data/pdf/issue_2015_3.pdf · Knowledge Gap &...
빅데이터는미래사회의가치창출엔진
Source : NIA, 2011.12.30
- 2 -
빅데이터활용을통한가치창출
- 3 -
투명성 수준 증대
최적화된 자원 소비
프로세스 품질과 성능의 개선
운영 효율성 고객경험
고객 충성도 및 유지율 증대
정교한 고객세분화 및 타겟팅
고객 교류 및 서비스 최적화
새로운 비즈니스 모델
기존제품의 수익 확대
완전히 새로운 제품으로 새로
운 수익 창출
Source : DPDHL / Detecon
현재 거의 모든 산업에서 빅데이터를 활용한 효율성 증가와 새로운 비즈니스 모델을 만드는 노력
이 이어지고 있다.
공공빅데이터의활용분야
도시 관제, 재난 대응
의료 서비스 강화
치안, 범죄 예방 및 대응
국방 및 국가 안보
국가 정책 최적화
의료 정책 분석복지 서비스 강화
국민 목소리(VOC) 분석 국가 안전 및 위험 관리
사회 이슈 분석
고용 중재
교육 정책 및 현안 분석
환경 감시 및 대응
질병, 전염병 예방 및 관리
맞춤형 민원 서비스
국가 R&D 전략 분석
금융 감독, 세금 추징
교통 상황 관리 및 최적화
공공빅데이터
- 4 -
구슬이 서말이라도 꿰어야 보배이다!
데이터는 분석을 하여야만 가치가 창출된다!
Knowledge Gap & Execution Gap
1According to Gareth Herschel, Research Director, Gartner, Inc., Gartner Business Intelligence Summit 2005
Data Analyze Execution
“대부분의 기업들과 기관에는 고객데이터, 거래데이터, 접촉데이터, 프로세스 데이터등이 폭등하여 수십 테라바이트의 데이터를 보유하고 있다. 이러한 데이터 이면에는 비즈니스를향상시키는데 활용할 수 있는 가치있는 지식들이 숨겨져 있다. 하지만 대분분의 기업들은 축적된 데이터로부터 가치 있는 지식들을 잘 추출해서활용하지 못하고 있습니다.”
Gareth Herschel, Gartner Inc.
- 7 -
빅데이터도입기업들이갖추어야할분석역량
* IBM이 2012년 중반 95개국 26개 산업분야의
전문가 1,144명(비즈니스, IT전문가)을 대상
으로 한 설문조사.
* 기존 정형의 데이터(DW, MART 등등등)부터,
비정형의 여러 데이터까지 Data Scientist들은
기본적으로 가장 많이 필요한 기술은 쿼리/
리포팅과 함께 데이터 마이닝 / 예측 모델링
기술 등이다.
(쿼리와 리포팅 기술은 이제 거의 보편화 되어져
있는 분석 기술이라고 할 수 있다.)
빅데이터의 분석 역량
- 7 -
예측분석(Predictive Analytics)이란?
Analytics분야에서도 가장 고 난이도 분야로, 단순히 데이터를 집계하고 시각화하는 분석의 수준을 뛰어넘어서, 특정한
Event가 발생된 원인의 규명은 물론이고 향후에 발생될 가능성을 예측하고 이에 적합한 대응행동을 제시해 줌으로써
데이터 기반의 합리적이고 효율적인 의사결정을 가능하게 해주는 미래형 분석 분야를 의미합니다.
통계분석부터 최적화에 이르기 까지
예측분석(Predictive Analytics)
영역은 빅데이터를 도입하는
기업(기관)들이 가장 중점을 두어서
반드시 갖추어야 하는 분석역량입니다.
예측분석 (Predictive Analytics)
통계분석
데이터마이닝
예측모델링
최적화
정형리포트
비정형리포트
OLAP(검색,드릴
다운)
경보(Alert)
무슨 일이 발생했는가?
얼마나 많이, 자주, 어디에서 발생하는가?
문제의 원인이 어디에 있는가?
어떠한 행동이 필요한가?
이 결과가 나타난 이유는?
데이터에 어떤 패턴이 숨어 있을까?
이 추세가 계속되면 다음에는 어떻게 될 것인가?
발생할 일에 대해 가장 최선의 대안은 무엇인가?
Intelligence Level
기업의
경쟁력
확보∙
정보의
가치
예측
보기
- 8 -
빅데이터의다음단계는예측분석이다
이제 예측분석의 키워드를 이해하는 기업만 살아남는다!
이 책은 예측을 통해 기업들이 어떻게 돈을 버는지를 보여준다.
예측 분석의 힘, 이것이 기업과 심지어 산업을 어떻게 변화시킬 수 있
는지 분명하게 설명하고 있다.
예측분석은 상상할 수 없을 만큼의 큰 규모로 새로운 경제적 가치를
만들어내는 열쇠이다. 이 책은 그것이 어떻게 가능한지를 보여주었다.
이 책은 예측의 효과를 알려주는 것을 넘어 과학을 흥미롭게 만들어
준다.
나는 앉은자리에서 이 책을 끝냈다. 데이터과학자들분만 아니라 모
두가 읽어야 할 책이다!
- 9 -
빅데이터로부터가치를창출하려면?
데이터마이닝 Insight 도출
예측모델링 Foresight 도출
최적화 Action 도출
- 7 -
빅데이터의 가장 큰 효과는 예측에서 온다
미래를 알면 많은 일을 할 수 있다
주식시장예측모델을만든사람
1990년대 초반에 존 엘더(John Elder) 박사는 평생 저축한 퇴직연금 4만달러를 자신이 직접
개발한 주식시장 예측 시스템(블랙박스 트레이딩 시스템)에 몽땅 걸었다.
과연 그는 어떻게 되었을까?
- 12 -
존이 개발한 예측 시스템은 그의 자산을 년수익률 40%의 비율로 불려주어서 2년만에 두배로
만들어 주었으며, 그후 존은 여러 투자자들로 부터 2천만 달러를 투자받아서 펀드를 운영하게
되었으며 몇 년 후 수억달러에 이르는 투자기금으로 성장되었다.
1995년 존은 엘더 리서치(Elder Research)를 출범시켰고, 현재 이회사는 북미에서 가장 큰 예
측분석 서비스 회사가 되었다.
범죄발생예측모델을만든사람
- 13 -
UCLA 인류학자 브랜팅엄 교수는 2005년 부터 범죄를 저지르는 사람들의 행동과 심리를 연구하
고 과거의 범죄데이터를 분석하여 언제, 어디서, 누구를 목표로 범죄가 저질러졌는지에 대한 몇 가
지 패턴을 발견하였습니다.
2008~2010년 UCLA 객원교수였던 수학자 몰러교수의 아이디어로 범죄의 유형, 발생시간, 장소등
의 범죄 빅데이터에 지진.여진 예측알고리즘을 적용하여 레드박스 (152.4㎡)별 미래 범죄 발생율
을 예측하는 소프트웨어 ‘프레드폴(PredPol : Predictive Policing)’을 개발하여, 2011년부터 미국
과 영국, 우루과이등에서 활용되고 있습니다.
▲ 제프 브랜팅엄UCLA 교수
▲ 조지 몰러샌타클래라대 교수
▲ 자료출처 : 서울신문 2014.11.3일자
범죄발생예측모델을만든사람
- 14 -
와인품질예측모델을만든사람
• 올리 아센펠터 (프린스턴대학에서 경제학 전공)는 수치를 분석해 보로도와인의 품질을 평가함
으로써, 와인업계 논쟁의 중심에 서게됨, 와인전문가들의 “입안에서 돌린 후 뱉어내는 방식”으로
와인의 품질을 평가하는 대신 통계학을 이용해 와인의 특성과 경매가와의 연관성 분석을 하였고,
아래의 품질공식을 발표함
와인의 품질 = 12.145 + (0.00117*겨울철강수량) + (0.0614*재배철의 평균기온) - (0.00386*수확기강수량)
그는 와인통에 술이 담긴지 3개월도 안돼 몇년 후 와인 평론가들이
시음해 볼 수 있는 기회가 오기 한참 전에 그 와인의 미래가치를 예
측하였다. 실제로 평론가들이 극찬한 1986년산 보르도 와인보다
1989년 산이 오히려 세기의 와인이 될 것이고, 1990년 산은 그것
보다 더 대단한 와인이 될 것이라고 예측하여 엄청난 비난과 함께
괴짜 취급을 받았지만, 결국 시간이 지나면서 그의 예측이 정확했
음이 확인됐다.
- 15 -
프로야구선수가치측정모델을만든사람
- 16 -
• 영화 ‘머니볼’은 메이저리그의 역사를 다시 쓰며 세계적인 유명인사로 떠오른 ‘빌리 빈’ 단장의
성공 실화를 영화화한 작품이다. 1998년부터 현재까지 ‘오클랜드 애슬래틱스’의 단장으로 재직
하고 있는 ‘빌리 빈’은 메이저리그 최하위팀이였던 ‘오클랜드 애슬래틱스’를 5번이나 포스트 시즌
에 진출시키며 기적의 역전 드라마를 만들어 낸 인물. 그는 오로지 경기 데이터 분석 자료만을 바
탕으로 선수들의 재능을 평가하고 적은 비용으로 높은 효과를 거두는 선수 트레이드로 140년 메
이저리그 역사상 최초로 20연승이라는 최대 이변이자 혁신을 만들어 내 야구계의 ‘스티브 잡스’
로 불리고 있다.
프로야구선수가치측정모델을만든사람
- 17 -
가난한 오클랜드 구단의 승리해법 오클랜드 구단 : 열악한 재정
작은 예산몸값이 싼 신인, 저 평가된 선수를 영입
BEFORE
타율
홈런
도루
AFTER
이닝당 출루 허용율
출루율
장타율
대체 선수 대비 가치
기존의 평가 기준과 방식 탈피
DATA분석
Key 지표발견
포스트 시즌 5회 진출 (4년 연속 진출)
뉴욕 양키스 선수 연봉 합계 = 1억 2,600만불
오클랜드 선수 연봉 합계 = 3,150만불 (양키스 연봉의 1/4)
법안통과가능성예측모델을만든기업
- 18 -
법안과 정치를 분석하고 예측한다!
• 발의의원 소속정당• 공동발의의원 수• 소속정당내 당직• 회기말까지 잔여기간• 의안 핵심 키워드• 낙태, 총기규제 등 사회적 이슈 관련여부
Legislativenavigator.myajc.com
•Cox Media Group이 운영
•미 죠지아주의 입법관련 정보 무상제공
•통계모델로 법안 통과 가능성 예측
Georgia Legislative Navigator
Fiscalnote.com/prophecy
•민간 스타트업 fiscalnote
•95% 정확도 의안통과 예측
•유료서비스
Prophecy
• 연방의회, 각 주, 의회 데이터 모두 수집• 분석이 용이한 구조로 컨텐츠 통합 재구성• 발의, 청문회, 개정 등 전체 통합 모니터링• 강력한 검색기능
예측분석산업별국내적용사례
- 19 -
공공산업
금융산업
제조산업
정보통신산업
유통산업
기타산업
- 산업 재해자 수 예측 및 산업 재해 발생 주기 모델- 세수 예측 모델 및 기상 예측 모델 (구청 및 기상청)- 부정수급자 예측/적발 모델, 불법 금융거래(외화도피, 자금세탁) 협의자 예측 모델- 교통량 예측 모델, 운수종사자 사고유발 가능성 예측 모델, Networks 침해 탐지 전문 모델
- 자동차 보험 재 가입율 추정 모델 (손해보험사)- 고객 신용도 평가 모델, 대출 연체 모델, 과중채무수준 진담모델 (은행, 저축은행, 새마을 금고)- 보험상품 전환 가능 고객 예측 모델, 우수 FP 리크루팅 예측 모델 (생명보험사)- 신용사기(부정사용) 발견 모델 (신용카드사, 은행, 보험사)
- 공정에서 불량율 감소 및 수율 예측 모델 (전자/기계 관련 제조산업)- 생산량 결정을 위한 수요예측 (정유, 거의 모든 제조업)- 최적의 작업,기계 환경 및 공장 환경 비교 모델 (제조 공장)- 내부 투자 평가 모델, 고객품질만족 조기경보 모델
- 이동통신 고객이탈 방지 모델 (이동 통신사)- 우수고객 등급 산정 모델 (이동통신사, E-BIZ 기업)- 고객의 소리(VOC) 분석을 통한 고객 불만 방지 모델 (정보통신업)- 고객 Lifestyle 세분화 모델, 컨텐츠 추천 모델 (정보통신업)
- 고객 Tracking 분석, 매장 이동 분석(백화점, 할인점)- 상승판매(Up-selling), 교차 판매(Cross-selling), 재 판매(Re-selling) (거의 모든 유통업)- 다 채널 연계 모델(홈쇼핑), 상품추천 모델 (온라인 유통업), 캠페인 반응 예측모델 (거의 모든 유통업)- 배송불만 감소 모델(홈쇼핑, 택배, 백화점), 시장 추정 모델, 브랜드 손익 추정 모델 (거의 모든 유통업)
- 광고 시청률 예측 모델 (광고 대행사), 운수 기기 수급 예측 모델 (물류 회사)- 적성 검사 등을 이용한 인사 적재/적소 배치 모델 (회사 인사팀 등 인력관련 부서)- 건강검진 고객 세분화 모델, 건강보험료 삭감 예측 모델 (병원)- 이동패턴 예측 모델 (놀이공원/리조트 산업)
예측모델은 한번에 완성되지 않는다!
예측분석과예측모델의정의
- 21 -
예측분석(Predictive Analytics)과 예측모델(Predictive Model)의 정의 :
예측분석은 보다 나은 의사결정을 하기위하여 경험(데이터)으로부터 학습하여 개별 사안(사람)
의 미래 행위를 예측하는 예측모델을 생성하고 활용하는 테크놀로지이다.
예측모델(Predictive Model)이란 클릭, 구매, 거짓말, 사망 또는 부동산 담보대출 조기상환과
같은 한 개인에게 일어날 일을 예측하는 메커니즘으로 그것은 해당 개인의 특징들(변수들)을
입력값으로 하여 예측 점수를 결과값으로 산출한다. 그 점수가 높을수록 해당 개인이 예측된
행위를 할 가능성이 높음을 의미한다.
예측 분석 응용 : 주제영역
무엇을 예측할 것인가? 예측하고자 하는 행위(행동, 사건, 발생 등)의 종류
어떻게 활용할 것인가? 예측결과에 기반한 의사결정, 각각의 예측결과에 따라 취하는 행동
데이터기반의예측분석절차
- 22 -
예측분석을 실행하는 절차는 기획, 데이터 준비, 예측모델 생성, 검증, 적용 그리고 지속적이고 반
복적인 보완의 과정으로 이루어진다. 그중에서도 가장 중요한 대목은 무엇을 예측할 것인지를
경험을 바탕으로 잘 선택하는 것이며, 예측모델을 생성하는 과정에서는 예측모델개발 도구와 기
법을 잘 사용하는 것도 중요하다.
▲ 자료출처 : 한국정보화진흥원 2015.3.31“Monthly Report NEAR & FUTURE”
예측모델생성및적용과정
- 23 -
과거데이터기계학습
(예측 모델링)
예측모델
예측모델생성단계
예측모델신규데이터예측결과
(예측점수)
85예측모델적용단계
예측모델에대한올바른이해
- 24 -
예측모델은 수많은 데이터 탐구로 부터 얻어지는 Insight의 조합이다.
예측모델은 과거의 데이터로 부터 생성되나, 궁극적인 목적은 미래의 데이터에 적용
하여 의미있는 예측효과를 발휘하여야만 비로서 완성된다.
예측모델은 끊임없는 학습을 통해 오차를 줄여가면서 완성시키는 것이다.
예측모델은 실패한 경험으로부터의 재학습을 통해서 그 성능과 활용성이 향상된다.
예측모델도 많이 써본 사람이 더 잘 예측모델을 활용할 수 있다.
예측모델들이 하나의 앙상블로 합쳐지면 각자의 한계를 보완하게 되어 전체로서의
앙상블은 개별 구성요소 모델보다 더 예측 정확성이 높아진다. (앙상블 효과)
빅데이터와예측분석(Predictive Analytics)
- 25 -
“Big data is the fuel and predictive analytics is the engine
that firms need to discover, deploy, and profit from the knowledge they gain”
(Source : Forrester Wave, Big Data Predictive Analytics Solutions, Q1, 2013 Report)
맺음말…
빅데이터분석의 가치창출 : 그 핵심은?
“빅데이터로 뭘 하지?”
라고 생각하지 말고,
“비즈니스를 향상시키는데, 빅데이터와 예측분석을어떻게 이용하지?”
라고 범위와 생각을 바꿔보자!!!
- 26 -
