데이터통합의핵심기술 -DataStage - :: · PDF...

© 2004 Ascential Software Corporation. All rights reserved. Ascential is a trademark of Ascential Software Corporation or its affiliates and may be registered in the United States or other jurisdictions. Reproduction and redistribution is prohibited.

데이터통합의핵심기술 - DataStage

Ascential World Korea2004년 11월 3일

22004년 11월 4일 © 2004 Ascential Software Corporation. All rights reserved. Ascential is a trademark of Ascential Software Corporation or its affiliates and may be registered in the United States or other jurisdictions. Reproduction and redistribution is prohibited.

Agenda

어센셜소프트웨어의데이터통합플랫폼

DataStage 병렬처리기능

DataStage 7.5의새로운기능


기업데이터통합플랫폼

Ascential Enterprise Integration Suite™

병렬처리엔진

DISCOVERDISCOVER

소스데이터분석을통한구조찾기

PREPAREPREPARE

표준화, 매칭,

데이터정제

TRANSFORM and DELIVERTRANSFORM and DELIVER

추출, 가공,

데이터전송

ProfileStage™ProfileStage™ QualityStage™

QualityStage™

DataStage™DataStage™

메타데이터관리

실시간통합서비스및

Enterprise Connectivity

이벤트관리

Service-Oriented Architecture • 내장된데이터프로파일링, 품질관리및가공기능

• 선형적확장성을보장하는병렬처리

• 재사용가능한구성요소들및비즈니스룰

• IT 표준지원 – Web Services, XML, J2EE, JMS

• 기업용어플리케이션과의상호연동기능

One Vendor에의한End-to-end Solution


OLTP &3rd Party

EDW

ConsolidateIntegrateCleanse

Normalize&

HarmonizePrepare

Transform Load

Initial Initial ExtractionExtraction

Extract&

Load

into

Stage 1

LoadLoad

Data Requirements Data Extraction Criteria

Common Target Format

Target System

DataDataAssessmentAssessment

DiscoverDiscoverAssess

&Validate

SolutionSolutionImplementationImplementation

DataDataHarmonizationHarmonization

DataDataAlignmentAlignmentCustom

Apps on UNIX

3rd Party SWSAPOracleSiebelPeopleSoft

External Data

Custom Apps on Mainframe

기업데이터통합단계

individual sources

individual sources

across sources

CleanseCleanse

Standardize

주요한데이터통합

프로젝트

• 데이터마이그레이션 –기업간인수합병, 차세대시스템• 데이터웨어하우징 – EDW, 데이터마트• Compliance – BASEL II, Sarbanes Oxley


DataHarmonization

Deliverables:An Application that

Translates, Integrates, Enriches,

Standardizes and Consolidates

-The Harmonized Data

Structure-

Cross Ref Tables-

Match Index Tables

DataExtraction

Deliverables:Staged

Extracted Data

DataAssessment

Deliverables:Data Quality Rpt

-Gap Analysis

Reports-

Business Rules & Requirements

-Technical

Specs/Design

SolutionImplementation

Deliverables:An Application that

Prepares,Transforms and

Loads Data into the final Solution

-A procedure for handling daily transactional processing

Iterations II –데이터통합방법론

Metadata ManagementDeliverables: Metadata Repository

MetaStage & MetaBrokers

DataAlignment

Deliverables:An Application

thatSplits Domains

andTranslates each

source-

The AlignedData Structure

DataStage & Connectivity PACKs

QualityStage

ProfileStage & AuditStage

DataStage TX & RTI


Blu

epri

nt(D

esig

n)G

o L

ive

(Fin

al)

Tes

tR

ealiz

atio

n(B

uild

)

Integrated Across Sourcesmany to 1 movement

Business Solution Levelsystem movement

Individual Source Level1 to 1 movement

Extended Teams Core Team

DataHarmonization

ConsolidateCleanseIntegrate

DataAlignment

TranslateStandardize

(Split Domains)

Cross-Ref Keys, Solution Keys &

Match Index Tables

SolutionImplementation

TransformLoad

Transact

HarmonizedData

(Logical View)

Flow of DataInformation Flow

Iterations II - Roles, Process, Architecture

DQ Report,Gap Report,

Bus Rule Requirements

--Business and

Technical Specifications

Data Requirements

DataExtraction

AccessFilterStage

DataAssessment

DiscoverValidate

Gap Analysis

Stage

3rd Party

Source Definitions

EDW

OLTP

Source Data

Translation Tables


어센셜의 데이터품질 평가와 품질정제 및 ETL을 활용함으로써 데이터품질관리 시스템

의 구축과 운영을 효율적으로 지원

Measu

re Analyze

Improve

품질기준 계량화를 통한 지속적인데이터품질 향상 및 저하 모니터링

데이터값과 데이터구조의결함 발견 및 업무적인 영향도 리뷰

결함데이터에 대한 정제 및 표준화를통한 품질개선

플랫폼의활용 -데이터품질관리


소스Data

품질평가Rule

결함Data

가공Data

정제Rule

기준정보

수정Data

결함자료 수정데이터 품질평가

원시Data

원시Data

원시Data

품질측정

결함유형 확인

•데이터생성자별•부서별

자료 송수신

데이터정제

수정결과 검증

데이터품질관리시스템 –구성예


여러어플리케이션들간에일관된비즈니스로직적용이가능한데이터가공

GUI를통한손쉬운데이터의추출, 변환및적재작업

데이터추출

데이터변환

데이터적재

DataStage자료송수신

데이터값을기업내의단일화된표준값으로정제

숫자나코드성이아닌비정형텍스트에대한표준화

고객주소, 회사명, 고객접촉정보등

데이터표준화

데이터정제

QualityStage결함자료수정

업무규칙에위배되는예외데이터의추출및관리

데이터품질의주기적측정을통해품질관리수준을수치화된형태로점검

업무규칙작성

AuditingAuditStage

ProfileStage

툴

Data Profiling품질측정

주요기능

•전체데이터를대상으로데이터값자체의분석을통한구조및품질수준의이해

•자동적인분석과다양한리포트를통해데이터구조의문제점을파악데이터품질

평가

내역항목

데이터품질관리시스템 –개별툴의기능


Staging Area

Profile

CleanseStandardize

Harmonize

Consolidate

SOURCE SYSTEMS (시스템에특화된정보)

마스터데이터관리에의응용

Central MasterData

Masterdata Mapping

Reference

•단일뷰제공•공통정보저장

CustomApps on UNIX

3rd Party SWSAPOracleSiebelPeopleSoft

External Data

Custom Apps on Mainframe


J2EE Application

Server

Asc

entia

l Pla

tform

Bat

chJ2EE

WS

Msg Q

Data Marts& Data Warehouses

TransactionalDatabases

PackagedApplicationsPeopleSoft

RTI Console

Siebel

SAP

EAI

BPM

AppServers

Java &.Net Apps

RTI

Ser

ver

데이터통합컴포넌트에대한실시간연동


RTI 서비스적용 : 기업용어플리케이션, 포탈, 비즈니스프로세스통합

“Always on”

DataStage Server 1

“Always on”

DataStage Server 2DataStage Server N

PlatformLoad

Balancing

Logging

AuthorizationEnterprise Java Beans

Authentication

Auditing

Java Messaging Service

Web Service Client

RTIAgent

Web Service Client

JMS Client

Java Application

“Always on”

RTIAgent

RTIAgent

RTI Input QualityStage

RTI Console

어센셜 RTI 서버 – J2EE 환경

기업통합스위트 (Enterprise Integration Suite)

Transformer RTI Output

RTI 서비스 Architecture


RTI Bindings

Web Services (SOAP/HTTP)

Enterprise Java Beans

Java Messaging Services

WSDL File

Message-DrivenBean

Session Bean

Generates

Generates

Generates


ROOM Solutions

Room Solutions 영국의 Insurance Data Service 회사수작업으로인한적시에필요한데이터공급이어려움

작업시간의단축을통한준실시간의필요성대두

문제점

다양한소스데이터와일치되지않는포맷

데이터품질의문제로인한표준화필요

기준주소 DB와일치되지않는데이터

UnderwritingDatabase

EnvironmentalData

GeoData

OccupancyData

A B C D E F G H I J123456789101112131415161718

TextFiles

SchedulesExcel

Web


RTI Server

RTI 서비스를통해 DataStage/QualityStage 작업을Web services 로제공

QualityStage의각종표준화, 검증, 정제작업에대한실시간처리DataStage의데이터추출, 변환, 적재작업

IT 표준기술의사용으로인해구현이용이함80%정도의수작업을자동화된공정으로바꿈

A B C D E F G H I J123456789101112131415161718

TextFiles

Upload

Excel

Waves

CA

SS

Web Service

EnvironmentalData

GeoData

OccupancyData

UnderwritingDatabase

ROOM Solutions


Agenda





병렬처리기능의필요성

대규모데이터의신속한처리에대한필요성증대

하드웨어및데이터베이스자원활용을극대화

병렬처리하드웨어에대한투자를완벽하게활용

병렬처리 DBMS 기능과결합한성능의극대화개발자의병렬처리기능개발노력의최소화

개발자는런타임시의병렬처리환경에독립적으로개발

병렬처리엔진이주어진환경에맞게자동으로병렬처리

Ascential DataStage Parallel Extender


Ascential Parallel Extender는

어플리케이션을 변경하지 않고도

자동화된 병렬처리를 제공하여

최고의 성능을 발휘함

또한 Oracle, Sybase ASIQ,IBM

DB2 EEE, IBM Informix XPS,

등의 RDBMS가 제공하는

병렬성을 최대로 활용

Ascential Parallel Extender


타겟시스템소스시스템

Pipelining

SourceData Data

Warehouse

Parti

tioni

ng

Repa

rtitio

ning

A-FG- M

N-TU-Z

고객번호 우편번호 신용카드번호

Repa

rtitio

ning

변환 정제 적재

Parallel Extender 핵심기술

파티셔닝(Partitioning) 처리할데이터를 Parallel Extender가자동적으로분배해서처리

파이프라이닝(Pipelining)각단계별데이터연계를위해디스크가아닌메모리를이용함으로써처리효율향상

리파티셔닝(Repartitioning)다양한파티셔닝알고리즘을각작업처리단계별로다르게적용가능


전통적인배치프로그램실행

선행 작업이 완료된 이후에야 다른 작업이 수행

작업간의 데이터 흐름은 디스크에 I/O를 발생시키는 파일

프로그램 개발과 운영이 어려움


기타방법

병렬처리 기능의 한계

프로그램 개발 또는 작업 실행 시에 수작업으로 데이터 파티셔닝을 수행

각 단계별로 다른 방식의 파티셔닝 지정이 어려운 한계

수작업에 의한 데이터 파티셔닝


DataStage의방법

Parallel Extender 기반에서개발자는기존 Concept으로다음과같이 Job을설계한다.

Configuration File에서 4개의노드로환경구성한경우라면아래와같이 4개로파티셔닝되어서동시수행됨


SourceData

Processor 1

Processor 2

Processor 3

Processor 4

A-F

G- M

N-T

U-Z

•대용량의 데이터를 4개로 분할해서 처리

•분할된 작업이 별도의 CPU에 할당되어서 작업 처리

•각 작업 단계 마다 다른 방식의 파티셔닝 방법을 활용할 수 있음

Transform

Transform

Transform

Transform

데이터파티셔닝방법

다양한파티셔닝옵션제공

병렬처리기능사용여부지정


처리속도 비교각작업별수행시간을 ½시간으로가정데이터가균등하게분할되어처리되도록구성

일반적인 방법

작업이순차적으로수행

12 시간수행

데이터 파이프라인 활용

일부데이터처리이후에곧바로다음단계의작업이수행

5 hours

데이터 파티셔닝/파이프라인 활용

자동적으로파티셔닝된데이터들에대해동시에작업수행

1 ½ hours

Time

- Extract

- Transform

- Load

1 2 3 4 5 6 7 8 9 … 12

병렬처리를통한처리시간감소


• Configuration file에서 Parallel Extender Engine의병렬처리정도(degree)설정가능

• 시스템자원의사용률을조정해서성능튜닝가능

CPU CPU

CPUCPU

Parallel Extender 구성Configuration File


기간업무에중요한어플리케이션운영을위해향상된신뢰성과강력한

기능제공. 작업에실패할경우에도복구비용을최소화.성능 모니터링,

중단지점 재가동

(Checkpoint restart)

고성능기술에대한투자를최대화할수있도록 Oracle, Sybase ASIQ, IBM DB2 UDB EEE, IBM Informix XPS 및 Teradata 시스템과함께운영가능

병렬 데이터베이스 기술

지원

내장된컴포넌트라이브러리가재사용성을최대화하고일관성을향상시키며

시장출하시간을단축

컴포넌트 기반의

아키텍쳐

사용가능한모든프로세서, 서버및노드전반에걸쳐자동적으로부하를분산하고하드웨어및데이터통합어플리케이션에대한기업의투자를보호.

자동분할(automatic

Partitioning)

개발자가병렬성(Parallelism) 의복잡함을겪지않게하며어플리케이션의개발속도를향상시키고핵심적인어플리케이션의시장배포시간(time-to-market) 을단축. 또한병렬성의정도를변경하는데드는상당한유지보수비용을제거, 향후요구사항을만족시키기위해하드웨어설정환경을변경해도어플리케이션을변경없이운영.

단순하고 순차적인 개발

SMP 와수백개의프로세서를장착한 MPP 서버를위한 SMP 클러스터하드웨어를활용하도록최적화.

다양한 범위의 병렬

프로세서 지원

병렬처리기능


Agenda





Version 7.5의향상된기능

Ascential DataStage Enterprise Edition사용편의성강화

Lookup 스테이지기능향상실시간 job validationComplex flat file 스테이지런타임메시지핸들링

성능모니터링리포트

성능향상

Sequential file 스테이지에서 multi-node import를지원Transformer, Lookup스테이지의성능향상


일반기능 – DS and DS EEHTML Job ReportingJob Sequencer기능향상Table정의조회화면변경Transformer 스테이지에서다중컬럼선택및수식치환클라이언트라이센스변경

Multi-Client ManagerDirector/Manager에 Ascential Branding Bar추가

Ascential DataStage Standard EditionJob차원의 Operational Meta Data기능활성화



지원 Platform and Connectivity지원 OS의변경Connector 변경

RTI Mobile DirectorUSS를위한 Ascential DataStage Enterprise EditionMVS Edition Enhancements

DB2 bulk loadNull handling



Lookup 스테이지기능향상

새로운 Lookup stage editor

마우스의드래그를통해lookup key 지정

Primary link

Lookup이수행되는조건에대한지정이가능

다중의데이터소스들과Lookup 수행시에순서를지정할수있음


일대다 Lookup 지원

Lookup이수행되어야하는조건명시

조건에만족하지않거나 Lookup이되지않는경우

Lookup Conditions 대화상자

Lookup 스테이지기능향상


실시간 Job Validation

Job을컴파일하지않아도에러가발생할수있는부분이 Canvas에표시됨에러가있는스테이지는 아이콘으로표시

아이콘표시로마우스를이동하면구체적인에러메시지가표시됨

Toolbar에서 버튼으로기능정지가능함

컴파일시간이많이걸리는컬럼이나스테이지가아주많은 Job의경우특히유용함


Complex Flat File 스테이지 -컬럼

Pane 1: Hierarchical record viewer

Pane 3:column attribute

Pane 2: Standard columns grid


Complex Flat File 스테이지 – Layouts

Parallel Engine View COBOL View


런타임메시지핸들링

런타임메시지에대한변경이가능

Enterprise Edition에서만지원됨메시지의내용이나레벨에대한변경이가능

3가지기능Suppress message [Informational & Warning messages only]Demote message [from Warning to Informational]Promote message [from Informational to Warning]

메시지핸들러는전체프로젝트나단위 Job에대해적용가능함


런타임메시지핸들링

메시지핸들러관리자단위 Job이나Project 차원에서각종규칙에대한관리

새로운규칙의추가, 기존규칙의변경


성능모니터링리포트

실시간 Job 모니터링 GUI보다더욱자세한정보제공

MemoryCPURecord Counts

환경변수APT_PERFORMANCE_DATA를통해기능활성화

출력결과는 XML기반이며, 이를 style sheet를통해HTML로변환해서조회


Header & job bitmap

Job properties

HTML Job Report -예제

Link properties

Stage informati

on


HTML Job Report -커스터마이징

리포트포맷에대한커스터마이징기능

기본적으로제공되는 stylesheet에대한수정작업이가능 : DSJobReport.xslXML, XSL에대한지식이필요함


Job Sequencer 기능향상


Job Sequencer – Checkpoint/Restart

JOB1, JOB2, JOB3순서대로수행되며 trigger는정의되지않음Checkpoint/restart기능이활성화될경우아래와같은결과가나옴

Checkpoint/restart 예제

Start at JOB1 again.JOB1 – OK, JOB2 – OK, JOB3 – OK

Skip JOB1 & JOB2, reset JOB3 and run it againJOB1 – OK, JOB2 – OK, JOB3 – fails

Skip JOB1, reset JOB2 and run it againJOB1 – OK, JOB2 – fails

Reset JOB1 and run it againJOB1 – fails

재기동될경우조건


Job Sequencer – Loop 기능

새로운 StartLoop, EndLoop activitie를통한 Loop 수행

Loop수행조건For firstnum To lastnum Step incrementFor Each In delimited list…..


Job Sequencer – Loop 기능

Loop 변수활용startloopname.$Counter현재수행되고있는 Loop 인덱스번호나리스트를저장

Loop는중복가능EndLoop가 StartLoop를가리키도록해야함

내부 Loop에서는외부loop의 counter 변수도활용가능함


Job Sequencer – User Variables

Sequence에있는모든단위작업에서사용할수있는변수를 BASICExpression를통해지정가능

Global 변수처럼해당 Job Sequence어디에서나활용가능


Job Sequencer – Terminator Stage

여러 job이동시에수행되고있는복잡한 Job Sequence에서모든 job에대한abort를쉽게수행함

STOP신호를실행중인모든job에보낼수있음최후 abort 메시지기록


기타개선사항


Table Schema Views

Enterprise Edition Internal Schema

Cobol Standard Edition


Transformer –다중컬럼선택및치환

다중컬럼선택기능 : 여러컬럼을쉽게선택다중 Expression 치환기능 : 선택된컬럼들의 Expression을한번에

DSLink3.OrderCount + 1If (DSLink3.Total > 0) Then DSLink3.Total Else -1

NullToZero라는함수를컬럼명앞에삽입하고자하는경우정규수식으로대상지정 : (DSLink3\.[a-z,A-Z,0-9]*)치환방식을명시: NullToZero($1)

–결과…NullToZero(DSLink3.OrderCount) + 1If (NullToZero(DSLink3.Total) > 0) Then DSLink3.Total Else –1


View Data

BeforeNOW


Re-License Clients


Multi Client Manager

여러버전의클라이언트를단일한장비에설치하고관리할수있는기능제공특정클라이언트버전에서다른클라이언트버전으로바꾸기위한여러가지수작업을자동적으로수행해줌

서버버전여러개가공존하는환경에유용


Platform Updates

추가지원 PlatformRed Hat AS 3.0z/OS 1.3 w/ Unix System ServicesWinCE (for RTI Mobile Director)

더이상지원되지않는 PlatformWindows NTAIX 4.3.3Red Hat ASE 2.1


최신 DBMS 지원

Oracle 10gInformix XPS 8.5 Sybase 12.5Teradata V2R5.1Informix IDS 9.4


RTI Mobile Director


Windows CE RTI Mobile Director

PDA등의모바일장비에DataStage Director 모바일버전탑재가능

• Viewing jobs• Detailed Job View• Event Log• Detailed Event View


Windows CE RTI Mobile Director

Mobile Infrastructure

• DataStage 서버관리기능을Web Service 형태로제공

• Ascential RTIServices를활용


http://developernet.ascential.com

어센셜의각종툴에관련된포럼과파일라이브러리로구성됨

ForumWhat’s newWhitepaperWebinarTips & Techniques

데이터통합의핵심기술 -DataStage - :: · PDF...

Documents

Transcript of 데이터통합의핵심기술 -DataStage - :: · PDF...