CRM 에서의 Data Quality Management

CRM 에서의 Data Quality Management

김 홍 식 부장 (SK 주식회사 )

[email protected]

2003. 10. 23

56 차 KDMA 발표자료

2

Agenda

I. Data Quality 개요

1. Data Quality 의 필요성

2. 저품질 데이터로 인해 발생하는 비용

3. Data Quality 의 정의

II. Data Quality Management 개요

1. Data Quality Management 개념도

2. Data Quality Management Framework

III. Data Quality Management 활동

1. DB 기획업무

2. Data Enrichment

3. Data Process 개선

IV. SK Data Quality Management System

V. Conclusion

1. Total Cost of Data Quality 개선활동

2. 제언사항

3

Data Strategy 관련 IssueData Strategy 관련 Issue부정확한 Data 로 인한 cost 증가가 있습니까 ?부정확한 Data 로 인한 cost 증가가 있습니까 ?

부정확한 Data 로 인해 발생되는 비용은 전체 수입 또는 예산의 10~25% 를 차지하고 , 이의 재작업에 소요되는 비용은 일반적인 IT 예산 중 40~50% 이상을 차지하고 있어 , 미국 등에서는 이를 해결하기 위한 Data Quality 관리활동에 오래 전부터 관심을 쏟아왔음 .


• 저품질 정보의 처리 비용

•고객 LTV, 가망수익의 손실

•기업의 Mission 달성실패로 인한 잠재된 위험 등

- Non quality data costs

High 42%

Moderate 49%

Little 4%Not sure 9%

* Assential 社 , Priority Learning 社 공동조사 - 아시아지역 100 개 우수기업 대상 , 2001

DatabasePerformance

ManagementExpectations

Business RuleAnalysis

Legacy Data Transformation

End-userExpectations

Business Data Modeling

Managing Data Quality

16%

17%

22%

25%

29%

31%

46%

* The Data Warehouse Institute 조사 - 1,670 개 기업 대상 , 2000

외국의 Business 와 IT 관련 최고경영층은 Data Quality

Management 를 기술분야에서 가장 큰 도전 중 하나로 받아들이고 있음 .

- IT 분야 Issue


4

Data Warehousing Institute 에 따르면 , 미국 기업들은 한 해 6,000 억 달러 ( 한화 720 조원 ) 이상을 Data Quality 문제로 인해 지출하고 있다 (The Data Warehousing Institute estimates that data quality problems cost U.S. businesses more than $600 billion a year)

DQ and the Bottom Line, Wayne Eckerson, 2001

Data Warehousing Institute 에 따르면 , 미국 기업들은 한 해 6,000 억 달러 ( 한화 720 조원 ) 이상을 Data Quality 문제로 인해 지출하고 있다 (The Data Warehousing Institute estimates that data quality problems cost U.S. businesses more than $600 billion a year)

DQ and the Bottom Line, Wayne Eckerson, 2001

경험상 구축된 DW 의 절반 이상이 Data Quality 가 부족해 [Information customer 의 ] 기대를 충족시키지 못하고 있다(Experience is revealing that more than half of data warehouse built fail to meet expectations because of poor information quality)

Improving DW and Business IQ, Larry English, 1999

경험상 구축된 DW 의 절반 이상이 Data Quality 가 부족해 [Information customer 의 ] 기대를 충족시키지 못하고 있다(Experience is revealing that more than half of data warehouse built fail to meet expectations because of poor information quality)

Improving DW and Business IQ, Larry English, 1999

CRM 실행을 위한 가장 중요한 장벽은 여러 조직에 고립되어 퍼져 있는 Data 와 Application, 그리고 운영계를 통합하는 것이다 .Integrating disparate distributed data, applications, and legacy systems across multiple organizations isthe single most significant barrier to enterprise CRM execution

Research Report, Meta Group, 2000

CRM 실행을 위한 가장 중요한 장벽은 여러 조직에 고립되어 퍼져 있는 Data 와 Application, 그리고 운영계를 통합하는 것이다 .Integrating disparate distributed data, applications, and legacy systems across multiple organizations isthe single most significant barrier to enterprise CRM execution

Research Report, Meta Group, 2000

Gartner 의 보고에 따르면 , CRM 실패의 첫번째 원인은 Data 를 무시하는 데에 있다(According to a report by Gartner, Inc., the no. 1 reason for CRM failures is ignoring the data)

7 Key Reasons Why CRM Fails, Gartner, Inc.Nelson & Kirkby, 2001

Gartner 의 보고에 따르면 , CRM 실패의 첫번째 원인은 Data 를 무시하는 데에 있다(According to a report by Gartner, Inc., the no. 1 reason for CRM failures is ignoring the data)

7 Key Reasons Why CRM Fails, Gartner, Inc.Nelson & Kirkby, 2001

1. Data Quality 의 필요성 계속 I. Data Quality 개요

5

2. 저품질 Data 로 인해 발생하는 비용

저품질 정보의 처리 비용

저품질 정보의 처리 비용

고객 LTV,

가망 수익 상의 손실

고객 LTV,

가망 수익 상의 손실

기업의 Mission

달성 실패로 인한 잠재된 위험

기업의 Mission

달성 실패로 인한 잠재된 위험

정보 삭제 및 재작업 비용정보 삭제 및 재작업 비용

Data 수정에 소요되는 비용 (Cleansing 포함 )Data 수정에 소요되는 비용 (Cleansing 포함 )

불만족한 고객들을 예전 상태로 회복시키는 데에 드는 비용불만족한 고객들을 예전 상태로 회복시키는 데에 드는 비용

Non quality Data 로 인해 놓친 기회에 대한 비용Non quality Data 로 인해 놓친 기회에 대한 비용

Non quality Data 로 인해 상실된 주주 가치Non quality Data 로 인해 상실된 주주 가치

기업의 Mission 달성 실패 기업의 Mission 달성 실패

해당 사업분야에서의 퇴출 가능성해당 사업분야에서의 퇴출 가능성

오류 / 누락된 Data 를 찾고 원인을 규명하는 데에 소요되는 비용오류 / 누락된 Data 를 찾고 원인을 규명하는 데에 소요되는 비용

Process Failure 를 복구하는 데에 드는 비용Process Failure 를 복구하는 데에 드는 비용

저품질 정보의 처리 비용과 고객 LTV 상에서 발생되는 손실 , 기업의 Mission 달성이 어려움으로 인해 야기될 수 있는 잠재적인 위험으로 크게 구분될 수 있음 . 이 중 저품질 정보의 처리 비용은 즉각적으로 발생되나 , 고객 LTV 상의 손실 및 Missi

on 실패로 인한 위험은 비용 측정이 어렵기 때문에 간과하기 쉬우나 결과적으로는 기업에 훨씬 더 큰 손실을 가져오게 됨 .


6

2. 저품질 Data 로 인해 발생하는 비용 : 사례 1

Data Mining 시 Sampling ~ Modification 까지 소요되는 시간과 노력이 전 단계의 50~70% 를 차지하며 , 이후 단계에서 제대로 수정되지 않은 데이터를 Modeling 에 사용할 경우 , Model 의 Quality 가 저하되고 잘못된 마케팅 의사결정으로 이끌 수 있음 .

D/WD/W

SamplingSampling

Exploration 및 Modification

Exploration 및 Modification

• 부정확한 Data 추출

• 부정확 Data 의 Scrap

• 별도 작업을 통해 정확한 Data 로 수정하는 비용 발생

• 대상의 특성을 제대로 설명하지 못하는 Data 를 변수로 선택

• 부정확한 Data 의 사용으로 인한 Model 상의 왜곡 발생• 최종 도출된 Model 이 현상을 제대로 설명하지 못함 .

• 잘못된 마케팅 의사결정을 유도함 .마케팅 의사결정마케팅 의사결정

Modeling 및

Assessment

Modeling 및

Assessment

별도 작업을 통해 정확해진 정보가

D/W 로 반영되지 않음

• 입력 시점에 부정확 정보가 유입됨• 정확하게 수정된 정보가 피드백 되지 않아 D/W 부정확 정보가 정정되지 않음 .


Data Mining Process < Risk of Non-quality Data >

7

2. 저품질 Data 로 인해 발생하는 비용 : 사례 2

Slang 으로 입력된 고객명을 고객접촉시에 그대로 사용할 경우 , 심각한 고객 불만을 야기하게 되고 기업 이미지에도 나쁜 영향을 미칠 수 있음 .

D/WD/W • Slang 에 대한 정제 과정 없이 D/W 에 적재

• 고객 성명 대신 Slang 상태로 고객과 접촉

• 고객 불만 야기• 기업 이미지 하락

• 회원 가입 시 고객이 성명란에 Slang 을 기입


성명 : 개똥이주민번호 : 1111

성명 : 개똥이주민번호 : 1111

고객 Communication

8

“ Consistently meeting all knowledge worker and end-customer expectations ” through Data and Data services to accomplish enterprise and customer objectives

- Larry English

“Consistently”

: Data Quality 는 일부 지식 노동자가 아닌 전체 지식 노동자의 기대에 부응하는 것으로 Data 간의 일치성 유지가 중요

“Meeting”

: 모든 Data 가 완전무결할 필요는 없으며 , 소비자의 Needs 에 부합하는 수준이면 됨 .

“Knowledge Worker & End Customer”

: Data 가 자신의 업무를 수행하는데 얼마나 도움이 되는지를 근거로 Data Quality 가 만족스러운지 아닌지를 결정하는 Information Customer

“Expectations”

: Information Quality 의 실제 목표는 사용자와 이해관계인의 만족을 증대시키는 것이며 최종 사용자의 만족도로 측정되어야만 함

3. Data Quality 의 정의 I. Data Quality 개요

9

Agenda









1. DB 기획업무

2. Data Enrichment



V. Conclusion


2. 제언사항

10

Data Quality Management 의 목적은 데이터의 충실도와 정확도를 제고함으로써 활용도를 높이고 , 이를 통해 마케팅을 보다 효율적 / 효과적으로 수행할 수 있도록 지원하는 것임 .

충실도 제고충실도 제고 정확도 제고정확도 제고활용도 제고활용도 제고

Data Quality Management SystemData Quality Management System

활용도 / 중요도 높은 Data 를 중심으로 충실도 / 정확도 제고

충실도 / 정확도 제고 통한 Data 활용도 증대

1. Data Quality Management 개념도 II. Data Quality Management 개요

DB 기획DB 기획 Data EnrichmentData Enrichment

Data Process 개선Data Process 개선

11

2. Data Quality Management Framework II. Data Quality Management 개요

Data EnrichmentData Enrichment Data Process 개선Data Process 개선DB 기획DB 기획

Data Quality Management System 개발 및 개선Data Quality Management System 개발 및 개선

Data Quality Management

• 전사 변화관리 현황 파악 및 개선

• 신규 필요 정보 Needs 파악 및 지원

• 기존 정보 활용 현황 파악 및 지원

•고객 DB 의 충실도 / 정확도 현황 조사

•Enrichment 대상 데이터 및 방안 선정

•Enrichment 활동 수행

•데이터의 획득 / 갱신 - 관리 - 활용 단계별 데이터 관리 현황 조사

•개선이 필요한 Process 선정

•Data Process 개선 작업 수행

• Merge/Purge Tool

• DataStat, 컬럼별 통계현황 , 메타 데이터 탐색기 등 현재 데이터 충실도 상태를 파악하기 위한 Tool

Data Quality Management 는 크게 DB 기획 활동과 Data Enrichment 활동 , Data Process 개선 활동으로 구분될 수 있으며 ,

이에 대한 효율적인 지원을 위한 Data Quality Management System 의 개발 및 개선 활동이 병행되어야 함 .

12

Agenda









1. DB 기획업무

2. Data Enrichment



V. Conclusion


2. 제언사항

13

1. DB 기획

DB 기획은 데이터 품질의 중요성에 대한 전사 변화관리를 이끌어 전사 구성원들의 품질관리에 대한 Mind-set 형성과 지속적인 품질 개선이 이루어지도록 하는 한편 , 마케팅 담당자의 정보 관련 Needs 를 파악하여 전사 마케팅 목표 달성 및 신규 사업 기회 창출에 필요한 신규 정보 항목을 정의하고 , 기존 정보의 활용을 지원하는 것임 .


전사 변화관리 수행

•전사 고객정보 전담 부서 신설 및 운영

•관련부서 간 DB 기획 협의회를 구성하여 데이터 관련 Issue 협의 및 개선방안 수립

•전사 구성원의 Mind-set 형성 및 업무 상의 지속적인 개선을 위한 교육 및 설명회 실시

신규 필요 정보 Needs

파악

•Data 관련 Needs 조사 및 필요 정보 구체화•정보항목별 타당성 조사 •수집대상 신규 필요정보 항목 최종 선정( 선정된 정보는 Data Enrichment 활동을 통해 획득함 )

기존 정보 활용 현황 파악 및 지원

•현업 정보 사용자의 Data 활용 활성화를 위한 Application 교육 및 설명회 실시

•활용도 조사를 통해 Scrap 대상 데이터 선정 및 활용상의 Issue 도출( 도출된 Issue 는 Data Enrichment 및 Process 개선활동을 통해

개선함 )

14

Data Enrichment 의 목적Data Enrichment 의 목적

현업의 현재 Needs와 향후 Data 활용 Needs를 충족할 수 있는 정보를 제공함으로써 내부고객과 외부고객의 만족을 증진시켜 마케팅효과를 극대화하고자 함 .

현업의 현재 Needs와 향후 Data 활용 Needs를 충족할 수 있는 정보를 제공함으로써 내부고객과 외부고객의 만족을 증진시켜 마케팅효과를 극대화하고자 함 .

Data Enrichment 활동Data Enrichment 활동

Data Enrichment 활동은 크게 3 가지로 구분될 수 있음 .Data Enrichment 활동은 크게 3 가지로 구분될 수 있음 .

고객으로부터 직접 획득

• 고객과 접촉하는 모든 경로에서 필요 정보를 수집하는 것으로써 , 접촉채널에서의 업무수행 과정 혹은 고객이 마케팅 프로그램에 참여하는 과정에서 정보를 획득하게 됨 .

외부 Source 를 활용한 획득

• 고객정보의 수집 / 변경과 관련된 외부 서비스를 활용하여 자사 고객의 정보를 수집

기 보유 정보로부터 추정 / 파생

• 고객으로부터 직접 수집하기 어려운 정보에 대해 거래 정보 및 타 속성 정보로부터 추정 / 파생함으로써 ,

마케팅 활동에 필요한 고객정보를 확보하는 것

Data Enrichment 는 현업의 마케팅 성과 증대를 위해 필요한 Data 를 수집하는 활동으로서 , 크게 고객으로부터 직접 획득하거나 외부 Source 를 활용하거나 기 보유 정보로부터 추정 / 파생하는 방법으로 구분할 수 있음 .

2. Data Enrichment III. Data Quality Management 활동

Data EnrichmentData Enrichment

내부고객 (마케팅 현업 ) 만족 증대

내부고객 (마케팅 현업 ) 만족 증대

외부 고객만족 증대외부 고객만족 증대

현재 Marketing Needs

현재 Marketing Needs

New Biz 등 향후 Data 활용 방안

New Biz 등 향후 Data 활용 방안

15

Data Enrichment 단계Data Enrichment 단계

현업의 Data 관련 Needs 수집 • 현업이 마케팅 활동을 수행하는 과정에서 발생하는 Data 관련 Needs 를 수집함 .

Data Enrichment 활동 계획• Needs 가 존재하는 정보 간의 우선순위에 따라 , 핵심 고객을 중심으로 정보가

획득 / 변경될 수 있도록 Enrichment 대상 정보 및 고객 Segment 를 선정하는 등 ,

상세 실행 계획을 수립함 .

Data Enrichment 활동 수행 • 대상 정보 및 고객의 특성에 맞춰 다양한 방법으로 Enrichment 활동을 수행함 .

효과 분석 • Enrichment 전 / 후 고객 Data 의 상태 비교 및 참여 고객 특성 분석 등 Data

Enrichment 활동의 수행 효과를 분석함 .

결과 보고 및 Feedback • Data Enrichment 결과에 대해 보고하고 , Enrichment 활동을 수행하면서 발생한 Issue 및 시사점은 다음 Data Enrichment 활동 기획 시 반영함 .

Data Enrichment 는 현업에서 발생되는 Data 관련 Needs 를 반영하여 대상 정보 및 고객 Segment 를 선정하고 , 세부 활동 계획을 수립하여 수행한 후 , 수행 결과에 대해 효과 분석을 실시하고 결과를 보고하며 , 금번 활동을 수행하면서 발생한 Issue 및 시사점을 차기 Data Enrichment 계획 시 반영하는 Cycle 로 이루어짐 .

2. Data Enrichment 계속 III. Data Quality Management 활동

16

2. 사례 : 마케팅 프로모션과 연계한 Data Enrichment

항목 내용

연계 프로모션 주유복권제

진행 Process

주유소 / 충전소에서 주유 후 수령한 영수증 하단에 기재된 복권번호를 고객이 주유복권제 행사참여를 위해 Enclean,com 에 입력시 고객정보의 입력을 유도함 .

대상 고객 Segment

엔크린 유실적 고객

대상 정보 항목

• 접촉정보 : 자택 / 직장 주소 , 자택 / 직장

전화번호 , 핸드폰 , 이메일• 차량정보 : 차종 , 연식

획득 / 입력 채널 Enclean.com

실행 기간 연중 실시

고객 인센티브

경품제공


17

Business Data

Data Warehouse

Repository/Data DictionaryECTLECTL

추출추출

Strategic/TacticalKnowledge Worker

OperationalKnowledge Worker

Information Producer

입력 및 갱신입력 및 갱신

추출 및 분석추출 및 분석

Customer

고객 대상 마케팅 활동고객 대상

마케팅 활동

ExternalData

정보 제공정보 제공

Data Process 는 Data 가 고객이나 외부로부터 획득된 후 DW 에 저장되고 현업 Knowledge Worker 에 의해 활용되기까지의 전 과정을 의미하며 , 입력 / 갱신 ECTL 추출되는 전 단계에서 Data 품질을 저하시키는 요인이 없는지 모니터링하고 개선하는 활동이 필요함 .

3. Data Process 개선 III. Data Quality Management 활동

18

Data 획득 / 갱신 Process 영역

3. Data Process 개선 계속

Data Process 개선활동은 Data 획득 / 갱신 - 관리 - 활용의 3 단계 Process 로 구분하여 현황을 파악한 후 , 데이터 Process 상의 Issue 를 도출하고 , 개선방안을 도출하여 Data 품질을 개선하는 제반 활동임 .

Data 관리 Process 영역 Data 활용 Process 영역


운영계 A

운영계 B

DW

반응정보 획득채널

• DM, EM, SMS• Inbound TM

반응 및 추가정보 획득채널

• In/Outbound TM• Web

표준화 및

통합

운영계 System 분석계 System캠페인 수행System

오프라인

온라인

데이터생성 / 갱신

• 이벤트 / 캠페인을 통해 고객이 획득 / 갱신한 Data Feedback• 고객의 채널별 접촉 반응결과 Feedback

• Data 획득 /갱신 Process : 온 /오프라인을 통해 획득된 고객정보가 System 내에 적재되기까지의 과정 정기 / 비정기 마케팅 프로그램 실행시 고객정보 수집 및 처리현황 파악 데이터 확보 / 갱신 관련 업무 수행시 고객정보 품질과 관련된 업무 Process 현황 파악

• Data 관리 Process : 적재된 Data 가 활용을 위한 Application 으로 이동하고 활용된 결과가 다시 피드백 되는 과정 운영계 ~ 캠페인 수행 시스템의 Data Flow 및 캠페인 채널별 반응결과 관리 및 활용 현황 파악

• Data 활용 Process : 적재된 Data 가 마케팅 활동을 위해 추출 /활용되는 과정임 . DM/EM/TM 실행을 위한 고객 접촉정보 추출 과정 파악

19

3. 사례 : Data Process 개선

한강을 살리기 위해 한강의 지천인 양재천 수질 개선 작업을 실시하는 한편 , 서울 시민들을 대상으로 생활하수 방지 캠페인을 실시하여 시민들의 인식 및 생활 습관 변화를 유도하고 , 이를 통해 자연스레 한강의 수질개선 효과를 얻음 .

Data Source Management: 양재천 살리기

변화 관리 : 생활하수 방지 캠페인 실시

Low Quality Data High Quality Data

Data Quality ManagementData Quality Management

• 한강의 제 2 지천인 양재천 살리기 운동 실시

1) 콘크리트를 흙 제방으로 변경하여 생명체 서식

2) Data 정제 : 수초를 이용한 자연 정화

수질정화시설 ( 자갈정화시스템 ) 도입

• 생활하수를 줄이도록 시민 대상 캠페인 실시

1) 쓰레기 분리수거

2) 오염유발물질 사용 자제

구성원들의 인식 및 생활 습관 변화를 유도


20

Agenda









1. DB 기획업무

2. Data Enrichment



V. Conclusion


2. 제언사항

21

M/P표준화M/P표준화

행정동 /법정동

우편번호

FTP

표준화결과

정제초기모델

Benchmarking DB

M/P부가정보M/P

부가정보Source별

고객공통Apt DB

실명 DB

EM/ DM DB

HP DB

:

결과 보고서

M/P정제보고서

작성

M/P정제보고서

작성

Source1

…

Source2

DataStat

Step 1. 표준화 작업

- 이름- 주민등록번호- 전화번호 (자택 , 직장 , HP)- 우편번호- 주소 (자택 , 직장 ) 등

Step 1. 표준화 작업

- 이름- 주민등록번호- 전화번호 (자택 , 직장 , HP)- 우편번호- 주소 (자택 , 직장 ) 등

Step 2. 부가정보 부여

- 추가정보 부여 .주택형태코드 , 아파트부가정보 , 가구화 등 .- 접촉정보 정확도 부여 .EM, DM, 핸드폰 정확도 등

Step 2. 부가정보 부여

- 추가정보 부여 .주택형태코드 , 아파트부가정보 , 가구화 등 .- 접촉정보 정확도 부여 .EM, DM, 핸드폰 정확도 등

Step 3. 결과 보고서 제공

- 표준화 항목별 충실도- 표준화 오류코드별 분포 등

Step 3. 결과 보고서 제공

- 표준화 항목별 충실도- 표준화 오류코드별 분포 등

1. Merge/Purge System IV. SK Data Quality Management System

Merge/Purge 는 크게 표준화 작업 , 부가정보 부여 , 결과 보고서 제공의 3 단계 업무로 구성됨 .

22

1. Merge/Purge System : 결과 보고서 예시

[ M/P 전후 상태 비교 ] [ M/P 대상 Data 별 오류현황 check ]

직장주소 2

직장주소 1

직장우편 번호

자택주소 2

자택주소 1

자택우편 번호

직장전화 번호

충실도 변화율M/P 이후

데이터 충실도(%)

M/P 이후 표준화 데이타수

4,043,207전체

-213,5425.28213,54200

1,182,2777.2291,34536.451,473,622

1,214,5477.2291,00037.241,505,547

-1,909,48647.231,909,48600

236,76779.763,225,03085.623,461,797

348,60879.73,222,35288.323,570,960

-12,9619.52384,7619.19371,800핸드폰 번호

38,9794.72190,9735.69229,952

325,33252.352,116,82760.42,442,159자택전화

번호

163,99095.943,879,2171004,043,207주민번호

0-4,043,207-

M/P 이전 소스

데이터 기재율 (%)

M/P 이전 소스

데이타수항목명

항목 코드 에러유형코드 건수

주민번호

정상 3,879,217

자리수 오류 14,018

체크디지트 오류 149,433

생년월일 오류 527

성별 오류 12

자택전화번호

정상 2,116,827

자리수 오류 10,128

지역번호 오류 204,062

국번에러 (3 자리미만 ,4 자리이상 )

71,272

핸드폰번호 입력 39,743

직장전화번호

정상 190,973

자리수 오류 6,686

지역번호 오류 8,907

국번에러 (3 자리미만,4 자리이상 )

6,727

핸드폰번호 입력 12,504

Example


M/P 전 / 후의 Data 상태를 비교하고 각 항목의 오류코드별 건수와 비율을 파악함으로써 데이터별 충실도의 변화 원인을 찾아내고 , 이를 바탕으로 Data 처리 process 를 개선할 수 있음 .

23

2. DataStat

항목별로 값이 들어간 건수를 ‘소스 데이터 수’ 및 ‘소스데이터 기재율’로 표시하고 , 해당 항목에 대해 Merge/Purge Process

및 다른 Data Source 를 통해 보완되거나 좀더 정확해진 정도를 ‘타겟 데이터 수’ 및 ‘타겟 데이터 충실도’로 표시함 .


24

3. COSMOS : Column Statistics Monitoring System

DB 내 모든 Column 에 대해 각각의 Total Count, Not Null count 및 비율을 보여줌으로써 , 실제 DB 내에 들어가 있는 Data

값의

분포를 확인하고 점검할 수 있게 함 .

- Numeric 성 Data 에 대해서는 Min 값 , Max 값 , Average 값 , Sum 값 , 음수값 , 0 값 , 양수값 각각의 Count 등의 통계정보

를 ,.

- Date 성 Data 에 대해서는 문법적 오류 발생건수 (Invalid Count), Min 값 , Max 값 , 현재시점 초과건수 등의 통계정보를 ,

- Code 성 Data 에 대해서는 Domain 명 , Domain 값 및 해당 건수 분포를 보여줌으로써 전체적인 Data 상태를 모니터링할 수

있음 .


25

4. Meta 정보 탐색기

Meta 정보란 , 각 항목에 대해 Data 원천 , 정의 및 관련된 Biz Rule, Data 속성 (Type, Length) 등 , 항목과 관련된 모든

정보를 포함하는 것으로서 Data 라는 제품에 대한 명세서라고 볼 수 있음 .

Meta 정보 탐색기에서는 DB 내 모든 Column 에 대해 해당 Column 이 포함되어 있는 위치와 명칭 , Column 정의 및 관련된

Biz Rule, Type, Length 등의 Column 상세 정보를 포함하고 있어 , Data 관리의 효율성을 높임 .

코드성 정보일 경우에는 코드테이블내의 코드명과 코드값 , 코드별 정의를 보여줌 .


26

Agenda









1. DB 기획업무

2. Data Enrichment



V. Conclusion


2. 제언사항

27

Dat

a Q

ual

ity

Co

st

Stage 1Uncertainty

Stage 2Awakening

Stage 3Enlightenment

Stage 4Wisdom

Stage 5Certainty

Time

Danger Point

Information Scrap & rework& Process Failure Costs

Data Correction Costs

Assessment Costs

IQ Improvement, Environment Investments

“ 우리 기업에 information quality

문제가 발생하는 이유를 모르겠다”

“ 항상 information quality 에 문제가 있는

것은 어쩔 수 없는 것인가 ?”

“ 경영진의 참여와 information quality

제고를 통해 , 우리는 문제를 발견하고 해결해나가고 있다 .”

“Information quality 문제의 예방은

작업 수행의 일상적인 부분이다 .”

“ 우리에게Information Quality 문제가 발생하지 않는

이유를 알고있다 .”

1. Total Cost of Data Quality Management

저품질 정보의 처리 비용은 기업의 DQM 단계에 따라 다음과 같은 형태로 발생됨 . 특히 , Awakening 단계에서는 품질 개선 비용이 저품질 Data 의 처리 비용보다도 크게 소요되기 때문에 품질 개선활동을 중단하기 쉬운 Danger Point 임 .

V. Conclusion

28

2. 제언사항

• DQM 활동은 주관부서만의 Task 가 아닌 전사적인 과제 : 변화과제

• 전담부서를 두고서 지속적으로 관심을 가져가야 한다 .

• 한번에 달성할 수 있는 목표가 아니라 단계적 / 지속적으로 진행해야 하는 기나긴 여정

• 일회성 프로그램이 아닌 상시적인 활동 , 습관이 되어야 한다 .

• Start Now : 선택의 문제가 아니라 생존의 문제이다 .( 회사뿐만 아니라 CRM 부서 )

V. Conclusion

29

Q & AQ & A

CRM 에서의 Data Quality Management

Documents

Transcript of CRM 에서의 Data Quality Management