BIG DATA 분석의성공사례와 DATA...

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

BIG DATA 분석의성공사례와DATA SCIENTIST의미래전망

구방본 이사

2014. 11. 27

[email protected]


강의목적 본 강의는 다음 질문에 대한 답을 찾기 위한 것:

기업에서 활용중인 빅데이터 분석 플랫폼 형태는?

빅데이터 분석의 산업별 활용 유형은?

비즈니스 애널리틱스와 데이터 사이언티스트 (Data Scientists)와의 역할은?

데이터 사이언티스트의 미래 전망은?

Crawler

Data

Quality

Data

Integration

Social Data Service

내부 데이터

기간계

ODS

CEP

외부 테이더

( EUA )EndUser

Analytics

Media Workbench

VisualAnalytics

EG+RPM

Add-In Office

VisualAnalytics

GridIn-

DatabaseIn-

Memory

E-DW

A-DW

Packed-Model

ABT

Analytic

Sandbox

SNS

FDC

CDR

…

Big DataFarm

Big Data Analytics Framework

Quiz

아버지께서 방에 들어가셨다.

형태소 분석 ?

들어가다/시/었/다 /.

동사원형/존칭어미/과거어미/종결어미/)

=> 아버지/께서/방/에/

(명사/주격조사/명사/부사격조사/

텍스트분석오류

Re : 갤럭시s4 vs 아이폰5s

개인적으로 갤럭시S4를 샀는데

화면도 크고 화질도 깨끗하고 너무 좋아요게임을 하는 데 끊김 없이 너무 좋아요 그런데

제 여친은 아이폰5s를 샀는데 화면이 너무작아 구리더라구요.

갤럭시S4 화면크기 : 긍정 갤럭시S4 화질 : 긍정 갤럭시S4 속도 : 긍정

아이폰5S 화면크기 : 긍정 아이폰5S 화질 : 긍정 아이폰5S 속도 : 긍정

아이폰5S 화면크기 : 부정

X

아이폰4 쓰다가갤5로 넘어와서 화면이 커서체감지수가 심히높기도 하고 배터리 겁나 짱짱하고 인터넷 발열도 잘못느끼겠고 그런데 지문

인식 오류가 잦긴한데 편하긴 하네요”

Unstructured 데이터분석 ?

Unstructured Data

HeonSh????: 사람 많지는 안았나요? RT @lh???: 하루

휴가라 우리 가족 롯데월 드를 다녀왔습니다. 삼바 리오

축제 엄청 좋았습니다. 삼성카드 자유이용권 50%

할인, 롯데카드 입장권 무료. 15,000원에 우리 식구 입...

http://dw.am/L4qWi

Refined Information

People

Contents

Relation

관심사항, 성향, 취향, 영향력, 위치, 연령대,

네트웍망 내 위치

관심 주제(브랜드, 서비스, 상품, 품질, …), 긍/부정, 매체, 작성일

소속 그룹, 구성원, 그룹 성향, 관계 강도

Search KM, 검색

수집

분류

분석(정성/정량)

텍스트분석 -의미기반정확한분류

복문의 문장 구조에서의미가 다른 문장을의미에 따라 분류

좋아하는 대상 찾기(target).좋아하는 주체 찾기(holder).

텍스트분석 - Target detection & opinion holder 기능

텍스트분석 -논문중복검사

아이뉴스24애플 "20억 달러 배상" vs 삼성 "피해 과장"기사입력 2014-04-02 09:03 17 <아이뉴스24>

◆애플, 특허권 5개 제한 조치에 불만 제기

이날 공판에서 애플 측은 특허권을 다섯 개로 제한한 법원 조치에 대해서도 강한 불만을제기했다.

이번 소송에서 애플은 ▲단어 자동 완성(특허번호 172)을 비롯해 ▲여러 종류 데이터 중특정 데이터를 구분해서 실행할 수 있는 데이터 태핑 특허(647) ▲시리 통합 검색(959) ▲데이터 동기화(414) ▲밀어서 잠금 해제(721) 등 5개 특허권을 앞세워 공세를 펼칠 전망이다.

반면 삼성은 이번 특허 소송에선 비표준특허인 ▲디지털 이미지 및 음성 기록 전송 특허(449) 및 ▲원격 영상 전송 특허(239) 일부 부분만 갖고 싸우게 됐다.

이는 법원이 지난 1월 삼성의 ‘멀티미디어 동기화 관련 특허권’(특허번호 757)에 대해 무효 판결을 한 때문이다. 삼성은 또 2개월 뒤인 3월초엔 ▲업링크 패킷 데이터 전송 정보(특허번호 596)와 ▲부정기 데이터 전송(특허번호 087) 등 표준 특허권 두 건을 철회했다.

/김익현기자 [email protected]

IT는 아이뉴스24 연예ㆍ스포츠는 조이뉴스24새로운 시각 즐거운 게임, 아이뉴스24 게임메일로 보는 뉴스 클리핑, 아이뉴스24 뉴스레터(Copyright ⓒ 아이뉴스24. 무단전재 및 재배포 금지)

IT는 아이뉴스24 연예ㆍ스포츠는 조이뉴스24새로운 시각 즐거운 게임, 아이뉴스24 게임메일로 보는 뉴스 클리핑, 아이뉴스24 뉴스레터(Copyright ⓒ 아이뉴스24. 무단전재 및 재배포 금지)

◆애플, 특허권 5개 제한 조치에 불만 제기

이날 공판에서 애플 측은 특허권을 다섯 개로 제한한 법원 조치에 대해서도 강한 불만을 제기했다. 반면 삼성은 이번 특허 소송에선 비표준특허인 ▲디지털 이미지 및 음성 기록 전송특허(449) 및 ▲원격 영상 전송 특허(239) 일부 부분만 갖고 싸우게 됐다.

이번 소송에서 애플은 ▲단어 자동 완성(특허번호 172)을 비롯해 ▲여러 종류 데이터 중 특정 데이터를 구분해서 실행할 수 있는 데이터 태핑 특허(647) ▲시리 통합 검색(959) ▲데이터 동기화(414) ▲밀어서 잠금 해제(721) 등 5개 특허권을 앞세워 공세를 펼칠 전망이다.

이는 법원이 지난 1월 삼성의 ‘멀티미디어 동기화 관련 특허권’(특허번호 757)에 대해 무효판결을 한 때문이다. 삼성은 또 2개월 뒤인 3월초엔 ▲업링크 패킷 데이터 전송 정보(특허번호 596)와 ▲부정기 데이터 전송(특허번호 087) 등 표준 특허권 두 건을 철회했다.

/김익현기자 [email protected]

아이뉴스24애플 "20억 달러 배상" vs 삼성 "피해 과장"기사입력 2014-04-02 09:03 17 <아이뉴스24>

Similarity: 1.000, 1.000

1.000

1.000

A B

텍스트분석 -논문중복검사

"공중촬영 시험용 무인정찰기 추정"…합동조사 종료후 대책 발표(서울=연힙뉴스) 신지홍 김귀근 김호준 기자 = 군과 정보당국은 백령도와경기도 파주에서 추락한 무인항공기를 정밀 분석한 결과 북한에서 제작한것으로 결론을 내린 것으로 알려졌다.정부의 한 소식통은 2일 "백령도와 파주에서 발견된 무인항공기를 분석한 결과두 기체가 연관성이 있고 동일하게 제작된 것으로 판단하고 있다"면서"북한에서 개발한 것으로 결론을 내렸다"고 밝혔다.이 소식통은 "항공 정찰 능력이 매우 취약한 북한이 공중 촬영을 위해 개발한시험용 무인정찰기로 분석됐다"면서 "하지만 북한에 정보를 제공할 수 있기때문에 무인항공기 카메라에 찍힌 사진의 해상도 등은 밝힐 수 없다"고 말했다.백령도에서 추락한 무인기는 북쪽에서 날아왔고, 파주에서 발견된 무인기는북한 말을 쓰고 있다는 점에서 모두 북한 제품으로 판단할 수 있다는 것이 정부당국의 판단이다.

오늘 북한 무인정찰기가 나타났다고 하는데 이 사건이 매스컴을 도배하는데정말 웃기네요. 여기에 떠들어 대는 여러 사람들의 이야기에 한심한 생각도드네요. 관련기사 참고하세요."공중촬영 시험용 무인정찰기 추정"…합동조사 종료후 대책 발표(서울=연힙뉴스) 신지홍 김귀근 김호준 기자 = 군과 정보당국은 백령도와경기도 파주에서 추락한 무인항공기를 정밀 분석한 결과 북한에서 제작한것으로 결론을 내린 것으로 알려졌다.정부의 한 소식통은 2일 "백령도와 파주에서 발견된 무인항공기를 분석한 결과두 기체가 연관성이 있고 동일하게 제작된 것으로 판단하고 있다"면서"북한에서 개발한 것으로 결론을 내렸다"고 밝혔다.이 소식통은 "항공 정찰 능력이 매우 취약한 북한이 공중 촬영을 위해 개발한시험용 무인정찰기로 분석됐다"면서 "하지만 북한에 정보를 제공할 수 있기때문에 무인항공기 카메라에 찍힌 사진의 해상도 등은 밝힐 수 없다"고 말했다.백령도에서 추락한 무인기는 북쪽에서 날아왔고, 파주에서 발견된 무인기는북한 말을 쓰고 있다는 점에서 모두 북한 제품으로 판단할 수 있다는 것이 정부당국의 판단이다.이상입니다. 오늘도 즐거운 하루 되세요.

0.842

1.000

Similarity: 0.842, 1.000

C D

Crawler

Data

Quality

Data

Integration

Social Data Service

내부 데이터

기간계

ODS

CEP

외부 테이더

( EUA )EndUser

Analytics

Media Workbench

VisualAnalytics

EG+RPM

Add-In Office

VisualAnalytics

GridIn-

DatabaseIn-

Memory

E-DW

A-DW

Packed-Model

ABT

Analytic

Sandbox

SNS

FDC

CDR

…

Big DataFarm

Big Data Analytics Framework

빅데이터 분석 성공 사례

1. 미국, CATALINA 마케팅- 미국 가장 큰 소매 슈퍼 체인, 1.9억명 고객

- 2.5페타 바이트 구매데이터, 영수증 쿠폰 마케팅

2. 반도체, 신기술 투자 센싱(P16)- 신기술에 대한 전문 사이트들의 글을 수집/분석하여 신기술 동향 정보 생성

- 기술, 사람, 베처기업, 투자사 등에 대한 정보 추출 및 온톨로지 구축

3. 전자, VOC Hot Risk 조기경보(P23)- 신제품 출시후 리스크 조기 경보

- 제품 반응에 대한 세부적인 텍사노미 설계, 분류 정확도(87%-96%)

4. 병원, 질병예측(P25)- 질병 예측을 위하여 검사 판독 기록과 같은 텍스트 분석 결과 통합 분석

- 문맥기반 정보 추출(95%) + 데이터 마이닝을 통한 질병 발생 예측

5. 화장품, 통합 VOC, Hub 고객 도출(P32)- 화장품 카페 고객의 글을 분석하여 마케팅에 활용

- 신제품 출시를 효과적으로 하기 위한 빅마우스 Hub 고객 도출

6. 소셜미디어 분석, Smart SMA(P44)- 기업 외부 데이터(블로그, 카페, SNS, 뉴스, 등)를 분석

- On-Demand 서비스로 기업 이미지, 제품, 서비스에 대한 모니터링 시스템

–빅데이터분석고객세분화

Analytic Services

Distributed Compute Nodes

Distributed Storage Nodes

In-Memory

Job Mgmt

SAS High Performance Analytics (HPA)

Billion

Purchasing

Transactions

SAS Business Intelligence

HDFS

맞춤형 Rear Neal-time

마케팅캠페인

4.5 Hours

90 Seconds

with HPA

Copyright © 2011, SAS Institute Inc. All rights reserved.

2

HPA In-Memory Analytics로 10억건 데이터에 대해 로지스틱 회귀분석 실행

결과 : proc logistic (약 20시간) proc hplogistic (약 50초)

32개 node의 DW Appliance (32 * 24 = 768 units of parallelism)

SAS Visual Analytics로 11억5천만건 데이터에서 상관분석 실행

결과 : 13개 변수 상관분석 2초

8 Blade 서버 (32 * 24 = 768 units of parallelism)

보안상 민감한 사례는 제공 자료에서는 제외했습니다…

국내 및 해외 SMA On Demand Service 사업

산업별, 업무 도메인별 SMA 사업 추진

텍스트 분석 엔진 SAS TA 제품 활용

Smart SMA On-Demand Service

Business Analytics정의

• Business Analytic components

“기업 내 데이터와 외부 가용 가능한 모든 데이터를 분석하여 이슈의 본질을 찾고

경영이론과 과학적 의사결정 방식을 통해 새로운 통찰력으로 비즈니스 혁신을 추구하는 작업”

Business Analytics정의

실질적 ‘액션’을 도출해 가치를 창출하는 것이 핵심

• “Action”을 구체화 하는 것이 BA의 핵심!

“사실” 근거기반마련

인사이트도출

구체적인“액션”도출

쌓아두고버려지는데이터 가치창출!

Data Scientist의역할 in Business Analytics

데이터수집/관리

매장판매정보 스마트정보 재고및운영정보 고객정보

Data mining Statistical Analysis Data Management

인사이트도출

의사결정지원

Mathematical Modeling Optimization System Design

“새로운데이터를적극발굴하고기존데이터와연계방식연구”

“데이터를통합분석인사이트도출 ”

“구체적인의사결정지원”

Data Scientist는 데이터 수집/관리 – 분석 – 의사결정에 이르는 데이터 가치 체인의

전과정에 대한 역할 수행

Data Scientist Job

미국최대구인/구직 사이트 Monster.com

지난 2년간북미/유럽에서가장급성장한 “구인”

광고키워드 – Business Analytics/Data Scientist

비즈니스애널리틱스학과가생긴다?

- CRM 학과?

- 클라우드컴퓨팅학과?

- ERP학과?

- 식스시그마학과?

- 기존경영/IT패러다임과차이점

준비 할 스킬 셋

Big Data 전문가(Data Scientist)채용(헤드헌터 Firm)

Job Description

1. Position: Big Data 전문가(Data Scientist)2. 담당 업무

- Data 분석- 서비스 데이터 기반 Business Insight도출(서비스 기획자와 협업)

- Context 및 고객 이용패턴 기반 개인화 서비스 강화 지원3. 요구사항

- 통계적 가설 수립 및 검증 능력 보유자- 공통 필요 데이터 도출 및 표준화 공유체계 수립 가능자- 데이터 분석 모델링 가능자- 데이터 마이닝 및 웹마이팅 가능자

4. 자격 요건- 전공 무관(경영학, 통계학, 수학, 물리학, 컴퓨터 공학 선호)- 관련 경력 8년 이상 (석사는 6년 이상, 박사는 경력 무관)- 영어로 업무가능한 자

DB/SQL

기초통계 과정

빅데이터 과정

이슈 파악 스킬

Hadoop, Map-R, NoSQL ?

감사합니다.

구방본 이사[email protected]


강의초록

일반 기업에서 활용중인 빅데이터 플랫폼의 구조에 대하여 이해할 수 있으며, 최근 빅데이터 분석의 성공 사례에 대하여 유통, 전자, 유통, 공공 부분의 다양한 활용 형태에 대하여 소개합니다.

또한 일반 기업에서 요구되는 빅데이터 분석 업무 영역인Business Analytics 의 정의와 구성 요소에 대하여 알아보고, 그 안에서의 데이터 사이언티스트의 역할에 대하여 소개하며, 향후 데이터 사이언티스트의 미래 직업에 대한 전망과 수강생입장에서 준비할 내용에 대하여 소개합니다.

BIG DATA 분석의성공사례와 DATA...

Documents

Transcript of BIG DATA 분석의성공사례와 DATA...