빅데이터 분석 사례 2014

Mobile Operating Systems, Inc. Data Analysis Service

2013 Version 3 - Korean

BigData/SmartData >

데이터 처리 엔진의 변화

1970’s 1980’s Now

데이터 정확성/편리함 검색속도 /데이터량

데이터 처리의 새로운 접근

금융거래기록, 제조

and 물류정보, 개인

정보

정형화된 구조

유연하지 못한 스키

마, 오랜 구축 기간

스키마에 구애받지

않는 시계열기반의

비정형 데이터

모든 IT시스템의 비

표준, 비정형 포맷

의 데이터

대용량; 빠른 검색

및 분석 함수 제공

사업 및 통계 관리를 위

한 다차원 DB, 수학,고밀

도 데이터

유연한 금융분석을 위한

피벗 데이터

월간 리포트, 실시간성이

지원하지 않음

관계형 DB 다차원 DB

4

Transaction &

Service Profiling

Customer Profiling & Marketting

Decision

Special Data

Profiling Fraud

Detection

Public Service Science

주요 데이터 분석 서비스

RDBMS/In-Memory

Data 지식화

Entity 인지 기술,

Domain Knowledge,

Data Analyzing

Machine 데이터 Human 데이터

Visual한 데이터 상관 분석

오픈소스

주요 공급 플랫폼 및 분석 툴

>

스

스플렁크는 빅데이터 엔진이며

대용량 로그성 데이터 수집/분석 엔진입니다.

Logs >

Change Events >

Configuration data > Metrics >

Scripts >

Any Ascii data, any

format >

Enterprise > Management >

Business Applications >

Databases > Transactions >

Storage >

Networks >

Structured > Semi-Structured >

Unstructured >

Web

Services >

Errors

>

Servers >

스플렁킹 데이터수집과 인덱싱

Business

Analytics

IT Operations

Management

Security &

Compliance

Application

Management

제공솔루션

Connectors

DB Limit

차이점

활용분야

↓ 90% MTTR or MTTI ↓ 70% Escalations

Reactive Search + Investigate

↑ Uptime

Proactive Proactive Monitoring

↑ KPIs, SLAs, QoS

Service Operational Visibility

Real Time Business Vision

↑ Value

Value Business Insights Cloud Solutions

Microsoft

Solutions

Universal Data

Engine Schema on the Fly

Powerful Search &

Reporting Language

Scales from

Desktop to

Enterprise

Passionate and

Vibrant Community

Fast Time to Value

Agile Reporting,

Analytics &

Visualization

Open, Extensible

Platform

마크로직은 정형/반정형/비정형 데이터의 통합 검색/분석 플랫폼으로 NoSQL DB입니다.

Words and phrases

... Semantic Web is a collaborative movement led by the

World Wide Web Consortium (W3C) ...

Structure Label

Author Ing

Comp

ID Para

Org

Data/Metadata

Name:J.K.Lee

date:2012-06-04

company:MOS

Entities in Context

... ACE inhibitors, since the risk of lithium toxicity is

very high in such patients...

Security

<User>James</User>

<Role>Admin</Role>

<Role>Editor</Role>

Universal 인덱스

Geospatial

<location>

<lat>46.946584</lat>

<lng>93.076172</lng>

</location>

Alerting

<Rule>

<Rule>Image over 10MB</Rule>

<Rule>Image restricted</Rule>

<Rule>

Centrifuge is VNA : 빅데이터 시각화 도구

Big Data Landscape

www.bigdatalandscape.com

Step for BD >

내 안의 데이터는? DB로 안되는 건?

현업에 줄 총알?

ROI?

단계별 도입 방법은?

예산은?

RFID Web

Services

Desktops Databases

Online Shopping

Carts

Energy

Manufacturing

Shipping

GPS/Cellular Clickstream

Social Media

Virtual

Care IVR

보안장비

네트웍 서버

Health

Supporting the nex

t gen airliner

Cars as telemetry sensors

Flood monitoring warning

Big Data Analytics

Data Discovery

Big Data Acquisition

Knoledge Management

Big Data Management

Big Data Analytics Pattern Detection

Relationship Detection Predictions

Big Data Acquisition Big Data Refinery

Validation & Data Correction Scale for volume

Multi structured data

Data Discovery Search

SQL Query Sematic Query

Knowledge Creation Text Mining

Semantic Tools Ontology/Taxonomy Management

Delivery & Visualization

Delivery & Visualization BI, Cusotm Wudgets, Portals

Big Data Application

Big Data Capabilities Model

6

Big data management Transactions

Real-Time Processing Scale/performance

####<Sep 24, 2009 2:52:38 PM PDT> <Warning> <EJB> <virt3> < myserver> <[ACTIVE] ExecuteThread:

'224' for queue: 'weblogic.kernel.Default (self-tuning)'> <<anonymous>> <> <> <1253829158586>

<BEA-010065> <MessageDrivenBean threw an Exception in onMessage(). The exception was:

javax.ejb.EJBException: nested exception is: javax.ejb.ObjectNotFoundException: Bean with

primary key '10011968' was not found by ' findByPrimaryKey'..

javax.ejb.EJBException: nested exception is: javax.ejb.ObjectNotFoundException: Bean with

primary key '10011968' was not found by ' findByPrimaryKey'.

at

com.sun.j2ee.blueprints.opc.customerrelations.ejb.MailOrderApprovalMDB.onMessage(MailOrderApprov

alMDB.java:140)

at weblogic.ejb.container.internal.MDListener.execute(MDListener.java:429)

at weblogic.ejb.container.internal.MDListener.transactionalOnMessage(MDListener.java:335)

at weblogic.ejb.container.internal.MDListener.onMessage(MDListener.java:291)

at weblogic.jms.client.JMSSession.onMessage(JMSSession.java:4072)

at weblogic.jms.client.JMSSession.execute(JMSSession.java:3962)

at weblogic.jms.client.JMSSession$UseForRunnable.run(JMSSession.java:4490)

at weblogic.work.ServerWorkManagerImpl$WorkAdapterImpl.run(ServerWorkManagerImpl.java:518)

at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)

at weblogic.work.ExecuteThread.run(ExecuteThread.java:181)

[Thu Sep 24 14:57:33 2009] [error] [client 10.2.1.44] ap_proxy: trying GET /petstore/

enter_order_information.screen at backend host '127.0.0.1/7001; got exception

'CONNECTION_REFUSED [os error=0, line 1739 of ../nsapi/URL.cpp]: Error connecting to host

127.0.0.1:7001', referer: http://10.2.1.223/petstore/cart.do?action= purchase&itemId=EST-14

정형 반정형 비정형(내부)

무엇을(장비/HW/SW) 가지고 있나? 무엇을(DATA) 더 가질 수 있나?

무엇을 가져올 수 있나? 어떻게 연관성을 지을 것인가? 지속적인 활용방안은?

비정형(외부)

내부의 정형/비정형? 외부 데이터?

기존과 다른 어떤 색다른 리포트와 분석 뷰를 만들 것인가?

어떻게? 뭘? 아하!!

이런 일이~!

AS-IS & SHOULD BE…

국내 업체 Amazon

Wiki

19

Intelligence

Is every

where.

Collective Intelligence

20

Collective intelligence is a theory that

describes a type

of shared or group intelligence

that emerges from the collaboration and

competition of many individuals and

appears in consensus decision

making in bacteria[clarification needed],

animals, and computer networks.

http://en.wikipedia.org/wiki/Shared_intelligence

http://en.wikipedia.org/wiki/Group_intelligence

http://en.wikipedia.org/wiki/Emergence

http://en.wikipedia.org/wiki/Consensus_decision_making

http://en.wikipedia.org/wiki/Consensus_decision_making

http://en.wikipedia.org/wiki/Wikipedia:Please_clarify

21

Recommender Systems

Recommender systems typically produce a list of

recommendations in one of two ways - through

collaborative or content-based filtering.

Recommender Systems

Collaborative Filtering Content-base Approach

Neighborhood-based

Approach

Model-based

Approach

Netflix Prize

22

The Netflix Prize was an open competition

for the best collaborative

filtering algorithm to predict user ratings

for films, based on previous ratings without

any other information about the users or

films, i.e. without the users or the films

being identified except by numbers

assigned for the contest.

http://en.wikipedia.org/wiki/Collaborative_filtering

http://en.wikipedia.org/wiki/Collaborative_filtering

http://en.wikipedia.org/wiki/Algorithm

http://en.wikipedia.org/wiki/Film

23

Collaborative Filtering

Collaborative filtering

methods are based on

collecting and analyzing

a large amount of

information on users’

behaviors, activities or

preferences and

predicting what users

will like based on their

similarity to other users

24

Complex Relationships

Collect Analyze

all the

relationship and

all the purchase

transactions

Yo

u

25

Automated Decision Making

“I Don’t Like it”

26

Pearson Correlation

Proof Of Concept

27

• Live Demo

• Connnect to URL

• Pick your

selection and

purchase

http://demo.splunkmos.com:88

88/music

Customer

Profiling

활용 방법 예시1 - 시나리오 주제 선정

Survey 및 선진사례 분석, XX사 데이터 분석 결과를 바탕으로 빅데이터 시나리오 도출

다채널 기반 고객 통합 뷰

고객 Micro Segmentation

실시간 서비스 QoS 관리

디바이스 로그 기반 품질 분석

실시간 서비스 QoS

디바이스 오류 로그 관리

서비스 품질 BI 연계 관리

고객 ID 기준 이력 정보 통합

고객 Behavior 분석

Internet of Things 응용

Opt-in을 통한 고객 정보 습득

고객 마스터

디바이스 마스터

서비스 마스터

고객/ 디바이스 매핑

서비스 사용 로그

디바이스 사용 로그

인프라 로그 / 오류 로그

Survey 선진사례 XX사 데이터 분석

활용 방법 예시2 - 고객 중심의 통합 뷰

통합고객ID = XXXXX

디바이스A고객ID = aaaaaaa

디바이스B고객ID = bbbbbb

디바이스C고객ID = cccccccc

디바이스D고객ID = dddddd

A디바이스ID = mmmmmmm

디바이스유형 = A

생성일자 = 13/01/12

B디바이스ID = nnnnnnnnn

디바이스유형 = B

생성일자 = 12/09/16

서비스사용순위 = AAA

BBB

CCC

DDD

EEE

FFF

서비스수행시각, …

동작시작 = 2012-03-12 오전

11:17:00

동작종료 = 2012-03-12 오후

8:38:00

동작시작 = 2012-03-13 오전

10:43:00

동작종료 = 2012-03-13 오후

6:59:00

동작시작 = 2012-03-14 오전

10:47:00

동작종료 = 2012-03-14 오후

8:08:00

…………

고객별 디바이스 보유 내역과 서비스 사용로그를 통합 분석 (이를 기반으로 고객 Micro Segmentation 수행)

고객 마스터 계층

서비스사용 로그 계층

고객 디바이스 계층

활용 방법 예시3 - 시나리오 Break Down

시나리오 주요 정보 비즈니스 활용

AAA, BBB, CCC 서비스 통합 성능/오류 진단

이상 발생 디바이스 / API별 상세 진단 실시 및 이상 패턴 분석

• 에러/이상 발생 건의 상세 내역

• OPEN API URL ERROR 이상패턴

• WAS API ERROR 이상패턴

• 특정 디바이스에서 이상 발생시 이에 대한 상세 내역

• 서비스 성능/오류 Monitoring (장애사전예방 체계 구축)

• 서비스 성능/오류 패턴 분석 (Root Cause Analysis 체계 구축)

현 데이터 매핑 추가 수집 요구 데이터 데이터 이미지 예시

• 제품 ID - TB_AAA - TB_BBB - TB_CCC

• 서비스 운영 Log - AAA 서버 로그 - BBB 서버 로그 - CCC 서버 로그

• 서비스별 웹로그

• 성능 판단, 이상 판단 기준 Master

• 에러 종류 Master

• 고객 불만 VOC

활용 방법 예시4 - 다채널 기반 고객 통합 뷰

고객 Segment별 고객-제품/서비스 통합 뷰

타겟 Seg. 선택

단일 제품/서비스 고객

Seg.별 고객-제품 통

합 뷰

다수 제품/서비스 고객

개별 고객

상세 정보

분석 가능

사례 – Promotion Detail Analysis

사례 – Product Detail Analysis

사례 – 타겟고객추출

36

Top Genres / Artist / Albums

Genres

Artist

Alb

um

s

37

Revunue by Area / Product

Area

Product

38

Collaborative Filter Impact

../../%EC%83%88 %ED%8F%B4%EB%8D%94/GIRLS' GENERATION THE 4TH ALBUM 'I GOT A BOY'/01 I GOT A BOY.flac

39

Final Result

We can maximize the

customers’ profits..

사례 – 개인화 추천

사례 – Click Stream Routes

클릭스트림 분석 예시

고객별 동선

사례 – 개별고객 Behavior 분석

구매자들을 Grouping한후, 이 특성에 따라 고객의 가족 구성을 추측하거나, Segmentation에 활용하여 추후 marketing등에 활용할 수 있음.

사례 – 군집 분석 (Clustering)

- 고객별 앱 구매 내역을 통해 각 앱들간 구매 패턴 유사성을 계산하여 고객 Segmentation

분석 조건: 구매한 App에 성격에 따라 5개의 Group으로 분류

Group 1) AAA, EEE, I.I.I 를 다른 그룹보다 많이 구매한 그룹

Group 2) 전반적으로 구매횟수가 적은 그룹

Group 3, 4, 5) 각각 DDD, GGG, FFF를 구매한 그룹

Group

빈도 AAA BBB CCC DDD EEE FFF GGG HHH I.I.I JJJ

1 1446 0.4 0.1 0.2 0.0 0.4 0.0 0.0 0.1 0.3 0.1

2 5353 0.0 0.1 0.1 0.0 0.0 0.0 0.0 0.1 0.0 0.1

3 1058 0.2 0.2 0.4 1.0 0.5 0.1 0.0 0.1 0.1 0.2

4 930 0.1 0.1 0.1 0.0 0.0 0.3 1.0 0.2 0.2 0.1

5 1213 0.1 0.0 0.1 0.0 0.0 1.0 0.0 0.1 0.2 0.0

특정 앱을 프로모션 할 때, 효과가 높은 고객 그룹을 선정할 수 있음.

사례 – 연관 분석 (Association Rule)

- 고객별 앱 구매 내역을 통해, 특정 앱을 구매할 확률이 높은 고객 그룹 도출

Rule 조건: minlen=2, supp=0.025, conf=0.1을 만족하면서 BBB 앱을 우항으로 하는 Rule

구매가능성이 높은 그룹 13개 도출

이중 중복되는 Rule의 중복을 정리하면 다음의 3개 Rule 도출

lhs support*) confidence **) lift ***)

1 {EEE=1} 0.02837969 0.2309140 2.494607

2 {DDD=1} 0.02511886 0.2275152 2.457889

3 {CCC=1} 0.03418606 0.1804753 1.949708

*) support: 전체 대상 중 발생비율 = EEE와 BBB를 동시 구매한 고객 = 2.84% (1350명)

**) confidence: 조건부 확률 = EEE를 구매한 고객 중 BBB를 구매한 고객비율 = 23.10%

***) lift: 규칙에 의한 구매가능성 향상도 = 전체 고객 중 BBB 구매비율 (9.26%) 대비 그룹내 구매율의 향상비율 = 2.49배

사례 - 앱스토어 & 모바일/ 클라우드 서비스

BI & OI 통합 운영

- 일일 100TB 이상의 디바이스/ 앱/ 서비스 로그 처리

- 클릭 스트림 분석, 서비스 이상에 따른 비즈니스 임팩트 실시간 관리

BI OI

서비스 이상에

따른 손실금액

서비스 오류 구매 오류 로그인 오류

SLA

BI / OI(서비스 QoS) 통합 관리

사례 – 결제대행서비스

실시간 결제 성공/실패/시도 건수 결제 실패 내역

가맹점별 결제 현황 서비스별 결제 현황

사례 – 소셜/검색 분석

검색어 모니터링

사례 – 업종별 지역별 상권분석

거래량 기준

히트맵 표시

사례 – 단위 매장별 맵 연계 분석

매장별 반경

500m

사례 – 고객 주소, 위치, 카드매출처 연계 분석

종로구

강남구

사례 – 카드이용로그분석

카드

항목별 통계

거래 발생 추이

고객

카드

매출처

계정

계좌 상세

Service

Profiling

53

Service Profiling

Customer Visit Trend by

Locations

54

Service Profiling

Promotion Impact

Transaction

Profiling

57

Transaction Analysis and Filtering

3C:BD:D8:BF:5E:B1 WAS_API=* | eval

TIME=strftime(_time, "%Y-%m-%d %H:%M:%S.%3N")

| strcat TIME " : " WAS_API COMBO | stats

values(COMBO) by WAS_MAC_ADDR

Transactions

Total Fraud

Detection

>

금융 서비스 부문

온라인 금융 관리 솔루션의 주요 공급 업체

1800 개 이상의 금융 기관과 4 백만 이상의 소비자 (from 2011)

포함된 응용 프로그램 : -소비자 및 기업용 인터넷 뱅킹

-전자 결제

-개인용 온라인 재무 관리

-금융 기관 웹사이트 호스팅 및 개발

“Fraud 팀의 목표는 부정 행위 분석을보다 적극적으로 제공하는 것입니다.”

59

Truth from the Trenches: Geolocation

60

부정 행위 패턴과 공격자의 위치 인식

15개 은행에서 유사한 부정 행위 패턴 확인

다음 15마일의 범위에 있는지 분석

부정 행위는 공유된 단일 처리 업체에서 발생

Big Data enables Intuit to make better decisions using the data

they already have

14/01/2014

61

금융 사기 적발, 내부 정책 위배, 조세 포탈, 재산 증식 위법 적발 사례

즉각적인 협업기반 데이터 분석 수행

From: shadowserver.org, and shadows-in-the-cloud.net

SCADA Profiling >

64

Infrautil SCADA

• 각 32개의 디젤 발전기로 이루어진 여러 '긴급 발전소 "의 자동 제어 및 모니터링을 가능하게하기 위해 개발.

• 각 지역에 대한 가격 변동을위한 국가 전력 시장을 실시간 모니터릴

• 가격이 지정된 임계 값을 초과 / 아래로 이동하면 '긴급 발전소는 "그 지역의 그리드에 전력 공급을 중단 / 시작 트리거됩니다.

65

전력 소비 모니터

• 도쿄 지역의 주요 법인은 2011 년 3 월 11 일 대지진으로 인한 전력 부족 때문에 소비 전력을 절감해야 합니다.

• 기업은 보유 장치의 전체 소비 전력을 줄이기 위해 해제해야 있는지 확인해야 했다

• 전원 각 멀티탭의 소비 섹션 또는 작업 공간의 최저치를 예상 하는 것이 곤란하였다

• 모니터 솔루션은 소비자 수준에서 실시간 가시성을 제공하는 것을 목적으로 한다.

66

SYSEnergy - 전력 관리 솔루션

• SYSEnergy는 빌딩 자동화 (BA)와 에너지 사용량의 공장 자동화 (FA)의 분석을 제공하고 있습니다.

• 에너지 절약의 결정은 신속하고 효율적으로 할 수 있습니다.

• 사용 경향 분석과 인텔리전스 검색 상관은 에너지 낭비의 소스를 식별.

• 모니터 서버 룸의 에너지 효율을 향상시키기 위해 사용.

Nest Labs Confidential

introducin

g

How it all got started Our team has built a thermostat for the iPhone generation from the ground up



92 million

Example Splunk Dashboard server logs


Example Splunk -> Python algorithm development


Example Splunk -> Python hardware sensors


Example Splunk -> D3 embedded software


Example Splunk Dashboard server logs


현대 중공업 사례

• 현대중공업 - 해외 발전소 RMS

• l 도입 이유 전 세계 발전소 센서 데이터를 수집,

• 분석, 모니터링하기 위함

• l 효과 전 세계 발전소 센서 데이터를

• 실시간으로 수집, 분석, 모니터링하고

• 안정적인 운영을 할 수 있게 됨

•

Page - 79

포드 자동차

Page - 80

스플렁크 – 포드 자동차

자동차 운행 중 발생한 데이터는 저장 후 분석되고 결과를

대시보드에 시각화된다.

엑셀 페달 위치, 속도 데이터, 운전대 위치, 운전 성향 등이

모두 분석된다.

운전자의 운전 성향이 그대로 드러나기 때문에 수집된

데이터는 보험료 산정을 위해 사용될 수 있다.

우량 운전자는 보험료 할인을 받게 될 것이다. 또 교통 사고

당시 어떤 일이 발생했는지 나타나기 때문에

법 집행 시 핵심적인 데이터가 될 것"이라고 전망

또 "자동차 제조업체들은 믿을 수 있는 데이터를 기반으로

차 디자인을 개조할 수 있을 것이고

도로에서 더 효과적으로 움직이는 무인차량을 개발하는데

도움이 될 것"

문제 해결과 관제 인지되지 않은 문제에

대응 Zhang Yu

Senior Director, Application Operations

From these:

[6/17/2010#23:59:39:699] #DEBUG#IFXMSG#onMessage#NA#NA#NA#-#PK#000002c9#PK_eBBS_CHL_CL04##[6/17/2010#23:59:39:699] #O#-#-#-

#scb.util.ServiceProcessInvoker#-#-#54#-#-#-#-#-

[6/17/2010#23:59:41:648] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000f7d79#PK_eBBS_ONL_CL10##[6/17/2010#23:59:41:648] #I#-#-#-#scb.util.ServiceProcessInvoker#-

#-#-#-#-#-#-

[6/17/2010#23:59:41:685] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000f7d79#PK_eBBS_ONL_CL10##[6/17/2010#23:59:41:685] #O#-#-#-


[6/17/2010#23:59:42:923] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#0000012f#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:42:923] #I#-#-#-

#scb.ebbs.req.com.ServiceProviderProcess#-#-#-#-#-#-#-

[6/17/2010#23:59:43:084] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#0000012f#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:43:084] #O#-#-#-

#scb.ebbs.req.com.ServiceProviderProcess#-#-#161#-#-#-#-#-

[6/17/2010#23:59:45:655] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000010a5#PK_eBBS_INT_CL02##[6/17/2010#23:59:45:655] #I#-#-#-#scb.util.ServiceProcessInvoker#-

#-#-#-#-#-#-

[6/17/2010#23:59:45:692] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000010a5#PK_eBBS_INT_CL02##[6/17/2010#23:59:45:692] #O#-#-#-#scb.util.ServiceProcessInvoker#-

#-#37#-#-#-#-#-

[6/17/2010#23:59:47:658] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#00000123#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:47:658] #I#-#-#-#scb.util.ServiceProcessInvoker#-

#-#-#-#-#-#-

[6/17/2010#23:59:47:684] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#00000123#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:47:684] #O#-#-#-


[6/17/2010#23:59:48:037] #DEBUG#ENQ#-#NA#NA#NA#-#PK#0000012f#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:48:037] #I#1318196#PKD17TTK1S#-

#RelationshipEnquiry#1#-1#0#-1#eBBS#null#-

[6/17/2010#23:59:48:058] #DEBUG#ENQ#-#NA#NA#NA#-#PK#0000012f#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:48:058] #O#1318196#PKD17TTK1S#-

#RelationshipEnquiry#-1#-1#21#-1#-#null#-

[6/17/2010#23:59:51:665] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000f7e66#PK_eBBS_ONL_CL10##[6/17/2010#23:59:51:665] #I#-#-#-#scb.util.ServiceProcessInvoker#-

#-#-#-#-#-#-

[6/17/2010#23:59:51:665] #DEBUG#IFXMSG#onMessage#NA#NA#NA#-#PK#000002e7#PK_eBBS_CHL_CL04##[6/17/2010#23:59:51:665] #I#-#-#-

#scb.util.ServiceProcessInvoker#-#-#-#-#-#-#-

[6/17/2010#23:59:51:724] #DEBUG#IFXMSG#onMessage#NA#NA#NA#-#PK#000002e7#PK_eBBS_CHL_CL04##[6/17/2010#23:59:51:723] #O#-#-#-


[6/17/2010#23:59:51:733] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000f7e66#PK_eBBS_ONL_CL10##[6/17/2010#23:59:51:733] #O#-#-#-


[6/17/2010#23:59:53:668] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#0000109f#PK_eBBS_INT_CL02##[6/17/2010#23:59:53:668] #I#-#-#-#scb.util.ServiceProcessInvoker#-#-

#-#-#-#-#-

[6/17/2010#23:59:53:669] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#00000123#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:53:669] #I#-#-#-#scb.util.ServiceProcessInvoker#-

#-#-#-#-#-#-

From these:

기계 데이터를 실시간 분석

BigData for

Finance

>

고객DB

인사/감사DB

상품DB

계좌/약정DB

경영기획DB

공통DB

거래DB

계정계 DB

큐브

거래통계

고객통계

DW통계

Bigdata Engine

암호화 로그

비즈니스 로그/데이터 흐름도

83

계좌정보DB

거래정보DB

고객정보DB

속보성정보DB

Staging DB

단위업무

예산

자본예산

외화

관리회계

자산관리

여신심사

감사

신용카드

기타업무 DB

수신

외환

카드

공통정보

기타

여신

고객

EDW

CRM

리스크

종합수익

성과관리

DM

웹로그

WAS 로그

VOC

네트웍로그

시스템로그

보안로그

비정형데이터

DBMS

유의미 데이터 저장

RDB / SAM

JDBC 활용

Join (정보계 DB/비정형 데이터)

마케팅데이터 생성

로그수집-인덱싱-검색-대시보드

Join (비정형 데이터/정보계 DB)

마케팅 데이터 생성

복호화 APIText

XecureWeb

RDB 데이터 가져오기

* Increment Data

JDBC Select Data

* Non-Increment Data

JDBC Trigger / Lookup 활용

기간별, 조건별 DB Sync

Update Data

OLAP 이관

비즈니스 상황판

84

데이터 수집 대상 시스템

e-Banking 시스템 코어뱅킹 & 업무시스템 채널

비정형 데이터 분석시스템

통합단말

CD/ATM

Call

Center

Mobile

인터넷

…

Web

WAS AP DB

Core Banking

보험

카드

CRM

…

IT 시스템

1차 수집 대상

범위

확대

대상

확대

대상

85

빅데이터 기반 데이터 분석 기대효과 Business Requirement

e-마케팅 역량강화

• 비대면 거래 전자금융 거래 패턴 분석을 위한

자료 제공 기반 구축

• 마케팅 강화를 통한 수익창출에 기여

e-금융 로그통합

• 각 채널 별 거래로그 통합관리

• 마케팅 지원을 위한 자료 제공

e-Banking 장애대응

• 시스템별, 서비스별 장애대응 및 신속한 조치를

위한 관제시스템 구축

• 기존 방식으로는 저장, 관리, 분석하기 어려울 정도의 큰

규모의 자료 생성

• 로그 수집 대상 시스템의 증가로 데이터가 수 ~ 수십배

증가

• 로그 및 데이터 처리 Processing 복잡도 증가

• 방대한 로그와 데이터로부터 빠르게 원인을 추출해야 합

• 로그 및 데이터 분석 로직 복잡화

• 동시처리량 증가

• 정확한 분석을 위한 다양한 통계기법

Technical Re

quire

ment

Big Data

Performance

Analytics

Bigdata for GV >

테러 및 범죄 추적

해킹 및 자금 세탁

의약 분석 및 주요 이슈 추적

센서 : 보행자, 수량, 수위, 교통량, 지하수

DB : 예산, 회계, 사건 사고, 범죄, 조례, 법규

외부기관 : 소방, 화재, 지도, 날씨, 지질정보, 토양,

농작물/수산 정보

소설 : 웹 크롤링, 트위터, 패이스북, 소셜 사이트 정보

예산 삭감에 따른 범죄율 및 사고 증감의 상관 관계

출산율과 건강교육과의 상관 관계

화재발생화 질병 발생률 간의 상관 관계

지자체 간의 강수량에 따른 침수 및 홍수 발생 관계

…

…

…

민원 : 민원 데이터

웹 : 서비스 포텅 및 서비스 데이터

정책 DB : 상위 기관 정책, 내부 지역 정책

지역민들의 최근 관심의 대상인 정책 사안 파악

중앙기관 정책에 따른 지역민들의 반응 및 동향 분석

과거 언론 보도에 따른 지역 이슈들의 상관 관계 및 통계 분석

….

….

….

각종 언론 매체

BigData as Public Service

+

Successful Ingredient of Data Analysis

91

Machine

Data

+

Collective

Intelligent

Platform

Analysis

Logic

Data

Science

Very Satisfied Customer

92

Conclusion

See the world Predict the future

True Value for the Customer

Collective Intelligence Platform

빅데이터 분석 사례 2014

Documents

Transcript of 빅데이터 분석 사례 2014