2008-2009 年数据集成市场的 状况 -...

29
2008-2009 年数据集成市场的 状况 Oracle 白皮书 2008 11

Transcript of 2008-2009 年数据集成市场的 状况 -...

Page 1: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

2008-2009 年数据集成市场的 状况 Oracle 白皮书 2008 年 11 月

Page 2: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

2008-2009 年数据集成市场的状况

执行摘要............................................................................................................ 3 主要研究结果概述 ......................................................................................... 3 一个健全和不断增长的市场 ....................................................................... 4 数据集成的区域性采用 ................................................................................ 5 数据集成用户扩展超越 IT ..................................................................... 5

数据集成:企业势在必行............................................................................ 6 推动数据集成的业务因素 ....................................................................... 7 数据是 SOA 的基础................................................................................. 9 数据集成取得成功的主要障碍 ............................................................ 10 关键业务思想 ............................................................................................ 11

数据集成:功能 ............................................................................................ 11 通过核心 ETL 进行数据转移............................................................. 12 数据移动与下一代 ELT ........................................................................ 12 数据同步 ..................................................................................................... 13 数据质量 ..................................................................................................... 13 数据管理 ..................................................................................................... 14 数据监管 ..................................................................................................... 15 数据服务和数据联合 .............................................................................. 15 功能类别的市场分析 .............................................................................. 16 关键业务思想 ............................................................................................ 17

三个重要的数据集成趋势.......................................................................... 17 数据服务的后续步骤 .............................................................................. 17 可采取行动的实时商业智能................................................................. 18 主数据管理和单一业务视图................................................................. 20 佳实践:大处着眼,小处着手,迅速行动 ..................................... 21

客户案例分析 ................................................................................................ 23 零售数据整合 ............................................................................................ 23 针对金融服务的数据服务 ..................................................................... 24 针对制造业的实时商业智能................................................................. 26

Oracle 的数据集成策略 .............................................................................. 27 结论................................................................................................................... 28

2008-2009 年数据集成市场的状况 2 页

Page 3: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

2008-2009 年数据集成市场的状况

执行摘要

数据集成是多种技术中不可或缺的根本要素,包括数据仓库、商业智能

(BI)应用、面向服务的架构(SOA)、主数据管理(MDM)应用程序

和以数据为中心的架构。本白皮书回顾了 2008 年和 2009 年数据集成市

场的状况。它定义了数据集成,探讨了数据集成市场的趋势,并且提供了

从真实应用得到的经验教训。这里提供的信息均基于 Oracle 于 2008 年 8 月对全球 300 多家数据集成用户展开的数据集成市场状况调查研究。

文中还包含了领先分析公司的行业研究和预测。

客户反馈证实,企业正在通过数据集成获得显

著益处,包括提高生产力、改善客户忠诚度以

及降低部署和维护成本。

主要研究结果概述

Oracle 的数据集成市场状况调查结果清楚地表明,数据集成市场的规模和

对企业的重要性都在增长。其提取、转换和加载(ETL)根本已成为领先

企业的首要任务,已经成熟。由于数据集成的业务驱动因素如此引人注

目,即使在经济紧张时期它仍然是一个投资领域。

数据集成管理将多个来源的数据合并成单一、全面的企业数据视图的过

程。能够将跨部门的数据从异构数据源转换成可操作的、有见地的信息,

已迅速成为采用数据集成的企业的一项竞争优势。

数据集成市场包括构建、部署和管理数据仓库、信息系统和数据中心架构

的解决方案和服务。实施这些技术对于有兴趣利用商业智能和 SOA 超越

其竞争对手并扩大市场份额的企业来说至关重要。

为了提供确保详细讨论数据集成市场的背景,下面列出了主要调查研究结

果。本文档的剩余部分对这些要点进行了展开叙述,以便进一步说明创建

企业数据统一视图可能释放的价值。

2008-2009 年数据集成市场的状况 3 页

Page 4: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

• 一个健康、不断成长和发展的市场。数据集成市场的增长年同比超过 20%。随着数据集成成为数据服务、商业智能和 MDM 技术的必需部

分,我们预计这种增长将会加速。

• SOA 中的数据未得到充分利用。目前,大多数 SOA 并未充分发挥

其数据(尤其是数据服务)的潜力。然而,在数据联合领域的新兴技

术与数据整合的先进技术相结合,应该会给 SOA 和数据集成市场都

带来显著的增长。

• 对信息的需求推动对数据集成的需求。实施有效的 BI 解决方案需要

可靠的数据管理基础。因为公司认为 BI 是他们变得更加机动灵活所

面临的 迫切问题之一,数据集成市场将蓬勃发展。

• 围绕 MDM 的混乱。尚处于起步阶段的 MDM 市场还很零散。专家

围绕领域特定方法与注重功能(或域中立)方法的优点和缺点争执不

下。然而,全面的数据集成和数据管理将在重新界定 MDM 格局中

发挥作用。

• 大处着眼,小处着手,迅速行动。数据集成架构的许多 佳实践都来

自于实施 SOA。本白皮书提供了如何使数据集成过程保持简单,而

且同时提供 大企业价值的例子。

一个健全和不断增长的市场

随着企业日益认识到统一企业数据的基本重要性,数据集成市场的增长已

经超过市场预期。虽然增长估计可能会有所不同,但对数据集成市场的规

模已有普遍共识。两家备受尊重的企业分析机构测算该市场到 2012 年将

超过 30 亿美元。

随着企业认识到统一企业数据的基本重要性,

数据集成市场的增长已经超过市场预期。预计

美国到 2012 年该市场将超过 30 亿美元。

• IDC 估计全球数据集成和访问软件市场到 2012 年将增长到 38 亿美

元,从 2007 至 2012 年的复合年均增长率(CAGR)为 8.7%。1

• Gartner 公司表示:“在整个市场强劲的第四季度和年终收益报告的

支持下,2007 年的市场份额初步估计表明 2007 年全球数据集成工具

市场会有强劲表现,年收入增长创纪录地超过 24%。”2

1 IDC,“Worldwide Data Integration and Access Software 2008-2012, Forecast doc. #211636”,2008 年 4 月。 2 Colleen Graham,“Market Trends, Data Integration Market, Worldwide 2007-2012”,Gartner,2008 年 5 月 2 号,4。

2008-2009 年数据集成市场的状况 4 页

Page 5: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

我们同意 Gartner 关于该市场增长的声明,特别是考虑到数据集成解决方

案新领域的迅速增长,已经超越了传统的 ETL,进入了数据服务和 MDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相

关,而这两者都在经历高增长。

在动荡的全球经济条件下,我们预计 2009 年的 IT 开销会陷于疲软。然

而,数据整合将继续成为一个核心的基本要求,我们预测市场将继续增

长,因为公司依赖数据集成项目来节约成本和提高效率。

数据集成的区域性采用

从地区来看,数据集成市场正以可预见的水平不断发展,北美和欧洲市场

率先采用了数据集成技术。此外,我们的调查表明亚太地区的采用情况也

很健康。

7

22

28

43

0 10 20 30 40 50

Latin America

Asia Pacific

Europe, Middle-East and Africa

North America

Which part of the world is your organization located?

% Responded

Number of respondents: 350

图 1. 北美率先采用数据集成技术。

数据集成用户扩展超越 IT

用户数量和类型的增长清楚表明了数据集成市场的力量。传统上,数据集

成用户是 DBA 和开发人员。如今,越来越多的业务人员、数据管理员和

业务分析师都成为数据集成解决方案的关键利益相关者。此外,考虑数据

集成作为全球企业基础设施组成部分的 IT 和企业架构师也越来越多。这

重申了我们的观点,即数据集成已从简单的、低层次的、以开发人员为基

础的服务取得了重大发展。在调查中,39% 的数据集成用户是 IT 或企业

架构师。

越来越多的业务人员、数据管理员和业务分析

师都成为数据集成解决方案的关键利益相关

者。此外,考虑数据集成作为全球企业基础设

施组成部分的IT 和企业架构师也越来越多。

2008-2009 年数据集成市场的状况 5 页

Page 6: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

图 2. IT 和企业架构架构师、业务人员、数据管理员和业务分析师都成为数据集成解决方案的关键利益相关

者。

数据集成:企业势在必行

在当今充满挑战的经济环境下,企业都在努力少花钱多办事,他们正回到

核心 IT 基础,并期望投资立即产生回报。数据集成也不例外。为了满足

这些要求的门槛,数据集成必须超越 ETL,向企业架构师提供更多实实

在在、令人信服的好处。

ETL 技术源于 10 多年前,旨在构建、部署和管理以数据为中心的架构。

数据仓库仍然是使用或评估数据集成解决方案的关键原因。Oracle 的数据

集成调查反映了这一趋势:55% 的受访者正在企业内部的数据仓库环境中

评估或使用数据集成。

图 3. 数据仓库是使用或评估数据集成的主要原因,但企业也正在考虑数据集成与 SOA、商业智能和 MDM

项目的结合。

3 Eric Thoo et al,Hype Cycle for Data Management,2008 年,Gartner,2008 年 7 月 9 日,4。

“随着企业越来越多地将信息相关能力看作 IT

格局的关键任务部分,他们正在转向‘信息基础

设施’,提供跨企业应用程序的数据一致性和互

操作性。”3

受访者人

受访者人

4

9

15

16

19

39

CXO (CEO,CIO,COO,etc.)

Data Stewards

Business Analysts

IT Management and Operations

DBA

IT/Enterprise Architect

What is your role in your organization?

% Responded

0 10 20 30 40

Number of respondents: 350

6

17

24

25

30

55

0 10 20 30 40 50 60

Included as part of an MDM platform

Embedded as part of the databases

Included as part of a BI offering

Together with SOA for data services

Separate standalone ETL platform

Data Warehouse

Which scenario are you evaluating or using data integration in your organization today?

% Responded assignificant

Number of respondents: 350

2008-2009 年数据集成市场的状况 6 页

Page 7: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

推动数据集成的业务因素

遗憾的是,仅仅“让我的数据仓库工作”并不是当前企业的业务推动因

素。企业架构师与业务经理都在寻找 明显的理由来证明与集成数据相关

的 IT 支出和组织变化的合理性。他们认识到信息管理对 MDM、BI 和 SOA 等高级计划所起的作用。数据集成的驱动因素来源于需要消除将数

据转化为这些高级计划中的灵活信息相关的障碍。在整合研究的过程中,

我们确定了数据集成的三类业务驱动因素:提高灵活性、客户亲密关系和

削减成本。

“随着越来越多的组织开始认识到信息管理技

术对 MDM、BI 和 SOA 等高级学科和计划

的支持作用,数据集成工具市场也将

增长。”4

提高灵活性

准确、易于管理和透明的数据使组织可以更迅速地识别和应对内外事件。

数据集成解决方案统一整个企业内的异构数据源,从而提高这种灵活性。

然而,这些解决方案必须有良好的监管,以确保纳入到业务流程中的数据

和这些数据的集成成为变更管理过程的一部分。数据质量、数据分析和数

据管理是建立和保持以数据为中心的复杂架构带来的灵活性必不可少的组

成部分。

Oracle 数据集成调查的 新数据显示,超过 35% 的受访者认为,提高灵

活性和效率是整个企业数据管理措施的 重要的业务驱动因素。这可能很

大程度上归功于 SOA 的成熟。企业现在期望其数据中心的架构能够和他

们同期的活动、信息和过程一样灵活,一样成为服务的支持因素。

“企业意识到他们还必须关注其 SOA 中的数

据,才能取得成功。”5

客户亲密关系

改善客户体验是数据中心架构措施的首要驱动因素之一。通过提高跨组织

单位、渠道和合作伙伴的数据整合了解客户行为方式并不是一件容易的任

务,它需要这些数据提供一个版本的真相。数据集成是改进客户亲密关系

的主要支持因素之一。当客户的数据干净、一致并保持更新时,会大大提

高公司提供高质量的无缝客户体验的能力。

削减成本

数据集成成本与数据量直接相关。数据量越大,管理所需的存储磁盘空

间、CPU 周期和时间就越多。由于数据量不断增加,管理成本也变得越

来越重要。

4 Colleen Graham,“Market Trends, Data Integration Market, Worldwide 2007-2012”,Gartner,2008 年 5 月 2 号,3。 5 同上,5。

2008-2009 年数据集成市场的状况 7 页

Page 8: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

虽然削减成本仍然是数据集成的主要动力,但调查还发现,企业愿意在实

现投资回报之前作出必需的投资。但是,有几个问题会增加投资成本,并

可能抑制投资回报率,包括

“数据集成工具的典型投资中,软件许可费用

在 20 万美元至 50 万美元的范围内,年度维

护费用在 5 万美元至 10 万,企业通过用成

本较低的方案整合工具或更换工具,可以实现

25 万美元以上的成本节约。”6

• 过于复杂的数据架构和数据集成过程;调查结果强调,复杂性是数据

集成成功的主要障碍

• 不准确、不一致的数据相关的风险

• 基于代码、SQL 或手动方式建立数据流

• 数据流中的冗余

• 数据结构和数据集市的综合

• 数据工具和数据库管理系统(DBMS)整合

毫无疑问,信息灵敏度、亲密的客户关系以及降低成本和风险,是数据集

成的明确推动因素。挑战仍然是如何教育和调整关键利益相关者—企业用

户、架构师、IT 经理和数据管理人员—以便一致有效地在整个企业应用

这些业务驱动因素。

13

22

30

35

0 10 20 30 40

Regulatory Compliance mandates

Cost savings from consolidation

Improves customer experience

Improved Agility, improved efficiency

What is the biggest benefit you are expecting from launching enterprisewide data management initiatives?

% Responded

Number of respondents: 350

图 4. 信息灵敏度、亲密的客户关系以及降低成本,是整个企业数据集成项目的明确推动因素。

6 Ted Friedman et al.,“Cost Cutting in Data Management and Data Integration”,Gartner,2008 年 2 月 15 日,3。

2008-2009 年数据集成市场的状况 8 页

Page 9: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

数据是 SOA 的基础

公司发起需要数据的项目时必须做出选择。他们是否应继续以应用程序所

使用的相同的自定义、刚性、点对点的方式来连接数据?他们如何确保数

据的一致性、准确性和及时更新?如何才能管理、跟踪和配置数据?

经验丰富的 IT 专业人士知道,所有这些因素都很重要,需要一起考虑。

他们认识到,自定义代码或一次性使用的数据集成项目既不是可扩展的,

也没有可重复性,而且投资回报微不足道。更好的策略是对数据集成应用

可重复使用的原则,将数据转化为一种可作为逻辑模块提供的服务,而且

都有基于标准的接口。这使用户能够更轻松地访问和使用服务,提高数据

可见性,促进更好的重用。

数据重用和灵活性往往是许多大型的企业级数据中心架构的关键架构要求

之一。Oracle 数据集成调查的 新数据显示,超过 50% 的公司以可重复

使用的数据服务形式利用数据。这表明,随着企业集中于企业级的 SOA 实施,数据的重要性不断提高。这种数据集成是 SOA 成功的关键推动因

素,表明数据集成市场将与 SOA 投资的增加一起成长。同样,它意味着

已开始 SOA 计划的企业如果不考虑数据集成,那么成功的机会较低。

数据重用和灵活性是许多大型的企业级数据中

心架构的关键架构要求之一。

41

59

0 20 40 60

No

Yes

Are you leveraging data as part of your SOA today?

% Responded

Number of respondents: 350

图 5. 50% 以上的企业利用数据作为 SOA 实施的一部分。

2008-2009 年数据集成市场的状况 9 页

Page 10: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

数据集成取得成功的主要障碍

数据集成取得成功 大的障碍是数据分散。在许多情况下,当前的应用程

序都无法现成地充分彼此配合。此外,这些应用程序不能与通用的 SOA 或 BI 平台结合使用。在其他情况下,公司在不同的部门部署多个不同的

解决方案,而且这些解决方案可能无法集成。因此,数据集成计划的背后

绝大部分努力都涉及在已知的未集成系统直接建立映射。

数据集成取得成功最大的障碍是数据分散,导

致应用程序和解决方案无法配合工作。因此,

数据集成计划的背后绝大部分努力都涉及在已

知的未集成系统直接建立映射。

图 6. 零散的解决方案在大型企业中很常见。

在调查中,超过 58% 的受访者提到零散的解决方案是成功实施的 大障

碍。这些结果直接映射到多个行业分析师的调查结果。

自定义编码被认为是第二个 重要的障碍,性能则是第三个,紧接其后。

遗憾的是,许多传统的 ETL 方法都需要以自定义编码为基础来调整或配

置其部署。ETL 多年来一直是整合分散数据并将其从多个数据源转移的

业务驱动因素,因此这种定制不太可能很快消失。此外,随着数据的增长

呈不断上升趋势,性能和可扩展性有可能是所有新计划的关键要求。

23

27

30

37

38

59

0 20 40 60

ETL tools are hard to use

IT and Business not aligned

Lack of adoption or funding across projects

ETL Performance issues

High cost of maintaining custom code

Multiple and fragmented solutions across theorganization

What are the impediments to successful data warehouse implementations?

% Responded assignificant

Number of respondents: 350

图 7. Oracle 调查的近 60% 的受访者认为零散的解决方案是数据仓库实施的障碍。

2008-2009 年数据集成市场的状况 10 页

Page 11: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

关键业务思想

数据集成对于企业正变得越来越重要,因为信息可以带来差异化和竞争优

势。数据集成的业务驱动因素侧重于更有效地利用信息,这些往往会转化

为较低的成本、客户亲密度和提高灵活性。同时,IT 要求准确、 新的

数据,而且非常方便和灵活。

实现这些目标可能具有很大的挑战性。企业应用的分散本质已成为显著障

碍,是希望集成其数据的企业所面临的 重要的问题之一。通过采用一种

方法来解决数据集成问题,企业可避免零散的陷阱。这种方法能够将数据

集成的多种功能统一到一个有凝聚力的平台。

数据集成:功能

虽然数据集成功能可以根据业务分类和解决的 IT 问题而有所不同,但人

们普遍认为数据集成解决方案包括五个核心功能: 根据定义,一个全面的数据集成解决方案必须

提供数据迁移、数据同步、数据质量、数据管

理和数据服务功能。 • 数据移动。核心 ETL 功能,大量数据传送。

• 数据同步。更改数据捕获,数据复制。

• 数据质量。数据清洗,数据质量业务规则。

• 数据管理。元数据管理,MDM,数据建模。

• 数据服务。单一和联合数据访问,大量数据服务。

每一个客户都可以根据其数据集成部署的计划规模、企业技能和偏好以及

业已使用的技术类型,以不同的方式区分上述功能的优先顺序。

图 8. 数据集成解决方案由数据服务、数据管理、数据质量、数据同步和数据移动功能组成。

2008-2009 年数据集成市场的状况 11 页

Page 12: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

通过核心 ETL 进行数据转移

ETL 技术支持从多个数据源提取、转换和集成数据,包括数据库和数据

仓库。ETL 使企业可以整合任何来源的分散数据,并在不同位置之间移

动。ETL 可转换来自不同部门、不同来源的数据。例如,来自企业资源

规划系统的订单详细信息,和来自客户关系管理应用的服务历史记录,可

整合到一个中央数据枢纽,以便提供客户的单一视图。

虽然仍有大量的 ETL 技术用于数据仓库和 BI 计划倡议,但数据和知识

管理专业人士越来越多地要求其 ETL 供应商提供更多数据集成能力,以

支持复杂的数据集成挑战。

数据移动与下一代 ELT

优化数据转换执行位置的解决方案与传统的 ETL(即提取、转换和加

载)方法截然不同。这些解决方案称为 E-L-T—即提取、转换和加载—工

具,因为它们可以优化转换在目标甚至来源上的部署位置。这样还可以带

来更大的灵活性、更高的可扩展性和性能。ELT 方法还可以减少昂贵的 IT 基础设施成本。当评估 ELT 解决方案时,应该将以下各项因素考虑

在内:

优化数据转换执行位置的解决方案称为

E-L-T—即提取、转换和加载—工具,因为它

们可以优化转换部署位置。

• 基于数据集的转换性能优化。

• 异构关系数据库。

• 数据库设备优化。

• 没有硬件要求;应在数据库本身部署运行时代理。

• 数据总是通过优化的数据库路径从源到目标,数据不应该通过媒介移

动。

• 面向标准 Java 和 SOA 环境的可扩展支持

• 支持现成优化的设计工具。用户不必编写特殊脚本或自定义代码以启

用优化的性能。

并非所有的 ELT 方法都是平等的。在选择 ELT 解决方案时,一定要分

辨缺乏弹性、很容易破坏的专有技术,与可大幅提高性能、同时降低拥有

成本的开放式 ELT 平台。

2008-2009 年数据集成市场的状况 12 页

Page 13: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

数据同步

有很多方法可以从 DBMS 提取数据,包括查询、复制、表转储、存储快

照,以及调用位于数据库的应用程序 API。更改数据捕获(CDC)是 近

得到关注的另外一种数据提取方法,主要是因为它使数据集成可以接近实

时的操作。

CDC 可应用于大多数数据库品牌,包括关系型、传统型、大型机和基于

文件的 DBMS。一些供应商已在其产品中建立了 CDC,但许多组织使用 DBMS 的数据建模和日志功能来建立自己的解决方案。CDC 已流传了许

多年,但其解决一些 棘手的数据集成挑战的能力正吸引着当前 IT 专业

人士的兴趣。

下面是一个 CDC 操作的简单例子。一个 Web 店面使用两个独立的数据

源(一个用于客户数据,一个用于订单数据),要整合为单一的数据仓

库。为了仅实时更新订单详情,只有改变后的数据(或一组订单和新的客

户信息)需要在整个数据仓库中传播。并不需要移动两个系统的所有数

据。如果没有 CDC,业务经理将无法看到每天的趋势。此外,业务经理

将不得不等待下一批数据加载到数据仓库,才可查看结果。到那时,对于

制定重要决策可能为时已晚。

数据复制是同步技术中的另一个重要组成部分,在任何有效的核心数据集

成服务中都是必需的。它是与 CDC 不同的要求,因为它往往需要在部署

中考虑镜像或跨数据中心保持相同的数据。CDC 需要跨异构数据源同步

数据,而数据复制技术通常嵌入在数据库工具或数据仓库工具中。

数据质量

所有企业软件项目都面临坏数据的风险,更糟糕的情况则是到处都有不准

确和不一致的数据。然而,受封装应用程序和 BI 软件投资的推动,对值

得信赖的数据的需求不断增加。MDM 等 IT 战略举措也增加了额外的压

力。合规性措施—例如 Sarbanes-Oxley 法案、美国爱国者法案和巴塞尔 II 协定—要求跟踪财务报告中所使用的数据来源,以及业务数据的状态和质

量的检查、跟踪(通过快照)和认证,使这个问题进一步复杂化。

所有企业软件项目都面临坏数据的风险,更糟

糕的情况则是到处都有不准确和不一致的数

据。然而,受封装应用程序和 BI 软件投资的

推动,对值得信赖的数据的需求不断增加。

在尝试达到数据质量要求时往往会忽略数据分析法案。数据分析是一个数

据调查和质量监督机制,使企业用户能够通过指标、发现或基于该数据的

推断规则来评估数据质量,并随着时间的推移监控数据质量的演变。数据

分析与数据质量配合工作,可以更好地理解和管理与数据质量相关的整体

问题。

2008-2009 年数据集成市场的状况 13 页

Page 14: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

根据 Oracle 的调查,超过 83% 的客户并不完全信任其数据。

图 9. 超过 80% 的受访者表示其公司内部存在不准确和不一致的数据。

数据管理

数据管理往往是数据集成解决方案中被遗忘的要求,但它与其他组件同样

重要。任何数据管理解决方案的核心都是对元数据管理、MDM 和数据建

模的需要。

元数据管理可以提高数据可见性,使管理者可以理解数据的使用方式,及

其如何关联到全局数据中心系统中的其他数据。元数据管理和数据关系管

理是基于 MDM 的解决方案的基石,可以揭示单一来源真相内部的数据

关系。

数据沿袭是 BI 实用程序常用的元数据管理的一个重要例子,让企业用户

能够独立跟踪数据源。如果数据沿袭少于实际来源,且没有适当地集成到

数据集成解决方案中,则企业用户将无法识别数据中的空白。

数据建模是创建和描述信息架构的关键设计元素。数据集成解决方案并不

总是打包有现成的数据建模功能。然而,数据集成解决方案需要集成数据

建模功能才能成功管理数据。利用改变数据模型的数据管理功能,作为管

理活动的一部分时尤其如此。

7 Eric Thoo et al,Hype Cycle for Data Management,2008 年,Gartner,2008 年 7 月 9 日,5。

“有太多企业的数据没有得到妥善管理,下面

是几种严重方式:缺乏标准,安全和访问控制

政策松懈或不存在,几乎不关注数据质量,以

及明显的零散和冗余。”7

受访者人17

18

30

35

100% Confidence

Regular data gaps which require manualintervention

Average issues with data cleansing and qualityof data

Few non-critical issues

How much do you trust your data today?

% Responded

0 10 20 30 40

Number of respondents: 350

2008-2009 年数据集成市场的状况 14 页

Page 15: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

数据监管

投资于技术本身并不能带来可靠的数据。信息管理人员需要通过数据监管

确定哪些数据对自己的组织有意义。

数据监管与 SOA 类似,但不完全相同,后一项纪律已经挽救了很多 SOA 实施免于某些失败。

“不管谈论的是什么专业,监管都是一系列与影响环境行为有关的活动。

SOA 监管、数据监管、流程监管和应用架构都彼此相关,但并非彼此依

赖。 这并不是说某一项包含了其他项,而是与每一项有关的活动应该与

其余监管纪律结合工作。”8

数据监管,不仅可以帮助确定数据质量规则,而且还可确定规则的维持、

批准和迭代过程。随着公司规模的壮大,这些既定的过程对于管理企业以

数据为中心的架构的生命周期至关重要。

数据监管必须包括多种数据质量和数据管理功能,并允许在实施受管辖的

数据中心环境中加入人的因素。

例如,公司可以定义跨多个数据枢纽集成的一组角色不得访问某些数据。

可以通过综合身份管理和数据访问服务,或通过在运行时执行的授权政策

来实施这种类型的监管。在其他情况下,可能需要一套复杂的业务逻辑来

将数据质量指定为业务规则,或者业务流程可以自动执行数据异常管理工

作流程。在每一个例子中,监管过程都是企业实施成功的关键。

数据服务和数据联合

数据服务对企业以数据为中心的架构会带来转型影响。数据服务是许多 SOA 部署的基础,也是弥合过程与和核心应用基础设施之间的差距所必

需的。虽然有许多类别的数据服务,但数据访问服务是 常用的。我们的

分析表明,在三种重要情况下,数据可以作为可重复使用的访问服务公

开。

数据服务是许多 SOA 部署的基础,也是弥合

过程与和核心应用基础设施之间的差距

所必需的。

• 单一数据访问

• 数据枢纽数据访问

• 用于多源数据访问的数据联合服务

8 Michael Stamback,“SOA Governance and Data Governance: Related or Distant Cousins?”,blogs.oracle.com/governance,2008 年 9 月。

2008-2009 年数据集成市场的状况 15 页

Page 16: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

许多现成的 SOA、BPM、数据库,甚至开发工具都包括访问单一层次数

据源的基本功能。使用 ETL 和 CDC 将数据整合到枢纽,然后建立作为

服务的实时接入点,是另一种可行的选择。然而,实际上聚合来自多个异

类源的数据访问服务更具挑战性。这种情况称为数据联合。数据联合将数

据留在源头,以虚拟方式整合信息,与企业服务总线虚拟化消息的方式非

常类似。数据联合允许企业将多个来源的数据聚合到一个可以作为服务重

用的实时视图。访问位于源头的数据而不是数据枢纽的数据有限制时,这

种技术与数据整合方法相结合,非常有用。9 Oracle 的调查显示,超过 31% 的数据集成用户认识到,实时数据访问是数据集成解决方案技术评估

迫切的问题。

6

11

16

17

19

31

0 10 20 30 40

Federated data access

Data Movement

Data Quaity and Profil ing

Data Services

Data Migration

Real-time data access

What is the single most important component you are looking for in a data integration solution?

% Responded

Number of respondents: 350

图 10. 三分之一的数据集成用户认为,实时数据访问是数据集成解决方案最重要的组成部分。

功能类别的市场分析

初步估计表明,数据业务只占了数据集成市场份额的 5-10%,而它的前任 ETL 则仍占据 大的市场份额。然而,新兴的数据服务趋势已经对企业

以数据为中心的架构带来了转型影响。此外,数据质量、数据管理和数据

联合正变得越来越流行,但它们仍然不是整体市场中的主流技术。展望未

来,越来越多的解决方案将有可能利用新兴元素以把握实时信息方法的好

处。

“减少总拥有成本的努力将推动企业整合到一

种工具或一家供应商,以提高运营效率,并更

好地利用数据管理资源。已有许多机构都在一

个单一数据集成工具或一套工具之上进行标准

化。因此,较大的供应商,包括 DBMS 供应

商,从数据集成市场增长中获益最多。”10

9 Dain Hansen,“Demystifying Data Federatio”,SOA Magazine,2008 年 8 月。 10 Eric Thoo et al,Hype Cycle for Data Management,2008 年,Gartner,2008 年 7 月 9 日,26。

2008-2009 年数据集成市场的状况 16 页

Page 17: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

关键业务思想

企业需要整合其分散的数据并在不同位置之间移动,以便供相应的应用程

序使用。因此,转换和移动数据的需要一直是采用数据集成工具的首要原

因。再加上数据同步,这些数据枢纽方法使数据集成可以更接近实时地操

作。

然而,如果没有数据质量、数据管理和数据服务,这些数据枢纽会变成难

以维护和重用的单点解决方案。我们预计公司将开始将所有这些功能—数

据移动、数据同步、数据质量、数据管理和数据服务—综合到一个数据集

成解决方案中。这种全面的解决方案可以提高 SOA、BI、和 MDM 计划

的成效,实现 大的商业价值。

三个重要的数据集成趋势

技术创新是数据集成市场增长的核心。 近的进步使您可以前所未有地轻

松创建一个灵活的分布式应用和系统架构,同时还可通过有意义的方式从

一系列数据源收集信息。我们的研究表明,有三种具体业务趋势可通过数

据集成功能得到利用和增强:

• 数据服务

• 商务智能

• 主数据管理

数据服务的后续步骤

许多企业认为数据集成是 SOA 的关键要素。如果实施 SOA 是为了解决

集成问题,数据集成几乎总是受到影响。因此,数据服务领域出现了明显

的趋势:数据服务可能会跟随 SOA 的主流采用和成功势头。

关于数据服务方向的讨论很有趣。一些业内分析人士认为,数据服务将演

变成多种类型:企业搜索、报告和真相的单一视图。其他人则承认,他们

对数据服务的长期可行性持怀疑态度。这种怀疑是提供大规模联合视图方

面固有性能挑战的典型结果。另一个问题涉及到维护。据 Gartner 称,

“随着企业认识到服务的广泛差异,从可能数千种非常精细的服务执行初

步任务到粗放的综合服务,将会出现幻灭。”11

11 Eric Thoo et al,Hype Cycle for Data Management,2008 年,Gartner,2008 年 7 月 9 日,14。

2008-2009 年数据集成市场的状况 17 页

Page 18: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

在 Oracle,我们认为数据服务一词将扩展到简单的数据联合—或多源数据

访问—以外,并开始纳入数据管理。随着供应商更好地将数据服务支持整

合到他们的数据集成解决方案,将会出现数据服务定义的这种扩展。事实

上,个别供应商已经开始将这些数据集成技术合并成单一的解决方案,提

供可随意使用的多种工具。由于联合已变得对需要灵活机动的数据集成的 BI 和 MDM 应用程序非常有用,这种方法将变得更加普遍。当企业开始

构建出以数据为中心、包括数据枢纽和数据聚合的混合环境时,他们将转

向新型的数据监管产品用于数据服务。

“为了实现 SOA 项目的预期业务效益,企业

必须在其工作中包括面向数据的强大角度。只

注重模块化、重用和应用程序逻辑的组成是不

够的,SOA 还要求企业解决数据问题(诸如

数据质量不佳和跨应用程序与数据存储的语义

缺乏一致性)。”12

整体而言,我们认为数据服务 终将取得成功。公司评估数据集成策略时

应考虑短期内多源聚合的数据服务。从长远来看,数据服务可能是全面数

据集成和数据管理战略的一部分。

可采取行动的实时商业智能

越来越多的企业依赖 BI 系统进行关键任务决策和规划。但是,当前很多

传统的 BI 解决方案只是向数据集市批量传输运营数据,然后为仪表板应

用程序和批量生成的报告呈现数据。此外,BI 系统的表现好坏仅限于它

们呈现的数据。通常 BI 的实施会受到信息不准确、数据过时或仓库未同

步的影响。当前市场上大多数数据集成工具都缺乏与 BI 系统的互操作

性。由于决策者都在要求更加实时的可见性、可操作的资源和数据分析灵

活性,对 BI 的这种方法已不再足够。

“典型的 BI 框架包括带报告的数据仓库,但

有些问题的答案则永远在数据仓库以外。用户

需要通过数据集成和联合获得更广泛的数据来

源;因此,BI 领导者应该创建一个

更广泛的框架。”13

Oracle 的调查显示,超过 60% 的公司现在认识到,数据集成可以提高数

据的质量和一致性,从而增强 BI 应用的价值。此外,调查显示,近 53% 的企业认为数据集成是将 BI 应用关联到更多系统的一个关键因素。

12 Eric Thoo et al,Hype Cycle for Data Management,2008 年,Gartner,2008 年 7 月 9 日,5。 13 Kurt Schlegel,“Q&A: Seven Questions Every Business Intelligence Leader Must Answer”,Gartner,2008 年 4 月 9 日,4。

2008-2009 年数据集成市场的状况 18 页

Page 19: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

图 11. 60% 的受访者承认,数据集成提高了 BI 应用的价值。

要了解数据集成在 BI 格局中的位置,让我们来看看一个详细的例子,其

中应用程序使用实时数据,将其转化为深入的分析和信息,以便改进决

策。在许多这样的情况下,更改数据捕获(CDC)对于始终保持数据更新

且不影响目标或源性能起着关键作用。此外,这些系统还从丰富的内部销

售、客户和财务数据应用程序以及第三方系统提取信息。这需要广泛的数

据集成连接选择来支持在这样的丰富企业应用之间移动数据。

数据质量对于 BI 应用很重要,但原因与数据仓库项目不同。数据库管理

员们对质量的看法与使用 BI 工具的业务用户不同。数据库管理员关心数

据的语义,例如字段级的损坏验证,而业务用户则是在客户或性能数据的

背景下考虑整体模式或匹配。

数据集成市场的另一个重要趋势是可操作的 BI。数据可见性已不再足

够,用户必须有权根据现有信息直接操作这些数据。例如,BI 解决方案

可能会报告说某合作伙伴已不再满足服务水平协议,但公司如何针对这些

数据采取行为?该合作伙伴必须从白金级降级至较低的级别。反过来,这

意味着改变数据仓库中的数据,或“合上”数据集成、业务流程集成和商

业智能之间的闭环。这是一个重要的趋势,因为更多的解决方案会利用 SOA、BI 和 数据仓库中的互操作点。

为了实现实时、可操作的 BI,企业用户必须能够轻松钻取仪表板后面的

数据,查看有关数据沿袭的详细资料,也就是数据来自哪里,应用了哪些

转换。当 BI 过程打破数据孤岛,项目团队需要元数据来了解信息的背

景,包括术语、计算和方法,这些都是统一真相的先决条件。实现可操作

的 BI 依赖于整个数据生命周期中的准确数据—从数据发起到数据停止使

用。数据集成是这种数据完整性的关键推动因素。

数据集成市场中的一个关键产品是可操作的

BI,它允许用户根据业务流程查看和

更改数据。

受访者人

受访者人

33

38

53

60

Enables better business responsiveness.

Allows BI applications to behave in real-time

Helps BI applications connect to moresystems

Helps BI applications have better qualityand consistent data

How is data integration critical for your business intelligence initiatives?

% Responded assignificant

0 20 40 60

Number of respondents: 350

2008-2009 年数据集成市场的状况 19 页

Page 20: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

Oracle 调查显示,将近 47% 的受访者认为业务部门和 IT 之间的协调问

题是 BI 计划取得成功的 大绊脚石。如果 IT 能够以完备的数据集成解

决方案支持业务流程充分利用企业数据,从而满足业务部门的需求,这个

问题就迎刃而解。

31

33

36

40

47

0 20 40 60

Challenges with multiple solutions

Need for more real-time data access

Traceabil ity and visibil ity of data lineage

Limited penetration to data

Business and IT alignment issues

What were the stumbling blocks to successful business intelligence initiatives?

% Responded assignificant

Number of respondents: 350

图 12. 几乎一半的 Oracle 调查受访者认为,业务部门和 IT 之间的协调问题阻碍了 BI 计划的成功。

强大的 BI 产品嵌入通用数据集成解决方案,从而增加了向业务用户提

供的信息的价值。优化 BI 解决方案中的数据集成,提供了跨复杂应用、

清洁和一致的数据、实时数据访问和可操作 BI 的整合。

主数据管理和单一业务视图

在数据集成市场,一个 重要的辩论领域涉及主数据管理(MDM)。对

于 MDM 在管理以数据为中心的应用中所起的作用,及其未来在重新定

义数据集成平台中所起的作用,一直存在分歧。掌握您的数据意味着什

么?为什么有必要作为数据集成平台的组成部分来考虑?

“需要全面的 MDM 战略来创建单一业务视

图,以便在企业内部提供一致的流程和内部报

告,并优化与供应链合作伙伴的协作过程。数

据集成工具是满足这些需求的关键,因为它们

在企业内部支持跨应用程序和数据结构整合、

集成以及同步主数据的要求。”14 MDM 包括两种方法:一个解决特定领域的需求,另一个则与领域无关。

“从历史上看,MDM 产品主要侧重于特定的 MDM 方案。例

如,客户数据集成(CDI)枢纽的重点是客户数据领域,而产品信

息管理(PIM)产品则侧重于产品数据领域,就其性质来说往往更

趋向于面向工作流和协作性。MDM 开发的一个单独分支侧重于

“下游”,MDM 分析要求,往往更加独立于数据领域。”15

14 Colleen Graham,“Market Trends, Data Integration Market, Worldwide 2007-2012”,Gartner,2008 年 5 月 2 号,5。 15 Eric Thoo et al,Hype Cycle for Data Management,2008 年,Gartner,2008 年 7 月 9 日,26。

2008-2009 年数据集成市场的状况 20 页

Page 21: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

特定领域的 MDM 解决一个领域的问题,例如产品、客户、供应商、网

站或财务数据的单一视图。这些 MDM 领域模型有多种模式,具体取决

于行业或要求。在每个这些领域,隐含都必须有数据集成,但不一定会扩

展到领域范围以外的其他用途。

通过与领域无关的 MDM,各种功能可以直接关联到数据集成平台中的各

个组件。其中包括数据转移、数据同步、数据质量、数据联合,尤其是数

据管理,需要考虑元数据管理。这种方法可以掌握任何领域的数据,常常

被看作是统一的真相。在该定义中,MDM 包括的平台功能用于创建“单

一业务视图,以便在企业内部提供一致的流程和内部报告,并优化与供应

链合作伙伴的协作过程”。16 这些 MDM 平台方法需要全面的数据集成

能力,以确保企业的所有部分相互合作,努力实现共同的目标。

不管哪种方法,MDM 作为一个平台仍然处于起步阶段。所有企业数据的

统一真相几乎被视为一种奢侈。今天的企业继续挣扎于他们的 MDM 计划,因为大多数供应商还没有提供统一、全面的 MDM 解决方案,能够

结合特定于领域和领域无关的方面。事实上,平台需要大量的定制和专业

服务,以确保成功的 MDM 实施。

“软件本身并不能支持 MDM。尽管许多供应

商都可以解决 MDM 的不同部分,但没有任

何一家供应商提供在各个级别全面实施 MDM

所需的一切。因此,MDM 计划需要不断的关

注。IT 领导者必须建立有力的管治制度,以

确保企业的各个部分朝着同一个目标努力。”17

因此,企业架构师和数据管理人员在实施 MDM 战略之前应该谨慎,应

该首先实施核心数据集成解决方案,将他们以数据为中心的应用程序集成

到一起。尽管充满分歧的 MDM 定义包含很多混乱和不确定性,但数据

集成可以看作是以数据为中心的架构取得成功的基石,为业务的统一真相

提供权威的主数据。

最佳实践:大处着眼,小处着手,迅速行动

CIO、企业架构师、数据管理人员和 IT 经理努力工作,希望用更少的资

源提供更好的服务体验,我们根据我们的研究和 Oracle 调查结果,提出

了五个简单的建议。虽然每个企业都是独一无二的,但这些建议侧重于将

业务要求转换成务实的办法和策略,普遍适用于大多数情况。

16 同上。 17 Kurt Schlegal,“Q&A: Seven Questions Every Business Intelligence Leader Must Answer”,Gartner,2008 年 7 月 9 日,4。

2008-2009 年数据集成市场的状况 21 页

Page 22: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

• 避免零散的解决方案。在我们的调查中,零散的解决方案被认为是

数据仓库方法失败的头号原因。目前,许多供应商提供的解决方案未

集成到更广泛的 SOA 和 BI 产品中。我们建议寻求可热插拔到现有 IT 基础设施,并且支持 SOA 和 Java 等行业标准的解决方案。

• 首先解决业务部门和 IT 之间的协调问题。业务部门和 IT 之间的协

调问题是 BI 部署取得成功的主要障碍之一。BI 需要双方都进行调

整,所以这并不令人意外。有时,技术本身并不能解决一致性,各个

团体需要协调其业务目标与 IT 支持因素,例如,沟通哪些数据需要

体现在 BI 仪表板中,这样可以发现设计差距。也许特定内容领域的

数据需要首先进行整合,然后才可以用于仪表板。通过主动的沟通与

合作,这些问题都可以在开发过程中尽早发现,从而节约资源,同时

加快实施。

• 在过程中及早考虑数据监管。企业犯的一个致命错误就是建立一个项

目,希图一次性完成数据集成。他们忽视了开发监管过程,直到为时

已晚。因此,持续的数据管理和数据质量被忽略了。怎样才能不断提

供干净、同步的数据?企业架构师和 IT 经理需要同时考虑架构和业

务战略,以鼓励连续性和前瞻性设计。监管过程—而不仅仅是技术—需要从一开始就管理复杂性,并将问题制止在出现之前。

企业架构师和 IT 经理需要同时考虑架构和业

务战略,以鼓励连续性和前瞻性设计。监管过

程—而不仅仅是技术—需要从一开始就管理复

杂性,并将问题制止在出现之前。

• 实施数据服务以提高灵活性。尽管 SOA 的普及性和它提供的灵活

性,但 SOA 并没有要求每一个数据字段都作为服务公开。联合的数

据服务同样可以提供优势,但不一定是每个数据集成计划的适当工

具。性能、可管理性和安全性可能比机动灵活更重要。这些都是重要

的考虑因素,需要相应地加以权衡。

• 从小做起,展示增加的价值,并重复该过程。 近从 SOA 实施中吸

取的教训之一是,以较小规模启动项目—尽管迫切希望跨越企业边界

以立即实现灵活性的好处。同样的教训适用于较大型的数据仓库、

MDM 和 BI 项目,范围可以扩大到全公司。 成功的数据集成项目

可以解决跨部门存在的管理问题,同时还为业务增加价值。例如,使

用数据服务使需要信息用于特定项目的过程和应用程序可以增量重用

这些信息,同时保留现有的基础设施。

2008-2009 年数据集成市场的状况 22 页

Page 23: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

客户案例分析

为了将这些 佳实践放到具体背景下,并提供证据来支持我们的建议,我

们提供了三种不同的数据集成机会的客户案例:数据整合、实时商业智能

和数据服务。

零售数据整合

一家零售企业正承受着配送中心及其零售连锁店之间代价高昂的错误。公

司意识到数据丢失和重新整合问题带来了重大经营风险。例如,由于数据

未能同步,在一个系统中有效的 SKU(或库存单位)在另一个系统中会

变成无效的。

实施的目标是更好地了解数据如何流入多个分散的系统,能够将数据质量

异常作为工作流程中的一部分进行管理,并能够将数据移动作为过程的一

部分进行管理。该方法调用数据移动,通过现有的流程管理和 SOA 管理

数据异常,并利用数据服务作为业务流程执行语言流程的一部分。

零售行业的这种数据整合实施的目标是更好地

了解数据如何流入多个分散的系统,能够将数

据质量异常作为工作流程中的一部分进行管

理,并能够将数据移动作为过程的一部分进行

管理。 实施团队面临的关键问题包括

• 数据错误。数据没有进行过清理。无效的 SKU 也不断困扰着客户。

因为系统没有集成在一起,不断出现的不匹配情况造成流程中断并减

慢补货。

• 分散的数据。许多系统是通过复杂的代码和自定义脚本集成,所以很

难跨多个系统调和数据。当库存系统中的数据没有更新,但已反映在

单独的订货系统中时,情况尤其如此。

• 支离破碎的过程。这些过程大部分是点对点的,使之很脆弱,难以更

改。当系统需要更新时,这些硬连接的数据接入点就会带来挑战。

• 缺乏数据重用。该企业包括数百个零售连锁店、多个仓库及配送点,

以及多个数据中心。但是它们均采用不同的流程,以不同的方式共享

数据。这样缺乏整合和缺乏共享的做法形成了重大的商业风险, 终

拖累了很多业务流程。

• 可见度有限。企业缺乏集中的组织视图、活动监控和 BI 仪表板,业

务分析师没有办法解决问题或逐步改进问题。

2008-2009 年数据集成市场的状况 23 页

Page 24: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

图 13. 用于该零售客户的数据集成解决方案连接应用程序与数据源。

实施全面的数据集成解决方案后,它将零售企业的异构应用程序和数据源

连接在一起,以便

• 确保产品数据有效,并消除不匹配或数据差距

• 优化订单到接收过程,并确保一致的数据共享

• 使企业可以清晰了解所有信息、订单和补货活动

• 缩短订单、补货周期、错误条件的反应时间

• 消除了代价高昂的订单和补货处理错误的情况

通过实施强大的数据集成解决方案,零售企业可以消除错误导致的成本,

集中于优化业务流程,从干净的数据获得更好的信息分析。只有在公司可

以将第一批集成的数据纳入 BI 和活动监控之后,才能从 SOA 和 BPM 看到一些初步结果。数据集成是 BI 和 SOA 计划的关键基础支持因素,

并继续成为企业主要的当务之急,这是关键原因之一。

通过实施强大的数据集成解决方案,零售企业

可以消除错误导致的成本,集中于优化业务流

程,从干净的数据获得更好的信息分析。

针对金融服务的数据服务

一家全球性金融机构挣扎于连续不断的并购活动,其中数据集成是一个永

恒的挑战。在这个例子中,分散的信息子集使企业无法获得单一的、井井

有条的客户视图。这影响了公司的客户亲密度,并减缓了改进金融服务产

品的开发。由于对客户的了解不完整,该公司对客户的响应速度也同样降

低。

2008-2009 年数据集成市场的状况 24 页

Page 25: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

该企业面临的挑战是,通过建立数据服务层来协调数据,减轻对 DBA 和开发人员的要求,并缩短新的金融服务产品产生价值的时间,从而弥补这

些差距。该组织已经使用内部开发的机制开始了简单的数据访问之路,但

很快就意识到该解决方案无法扩展,难以管理,因此没有执行。此外,该

企业希望利用其数据层和现有的数据枢纽,其中已整合了公司的大部分数

据。

图 14. 通过在 Web 服务层联合数据,该金融服务公司能改进其对客户的了解。

该数据服务解决方案的目标是根据来自分散数据源的数据,开发一个高度

灵活、可扩展的单一客户视图。该方法需要联合 Web 服务抽象层中的数

据,以便提供更好的客户信息视图。它充分利用了现有的数据集市作为来

源。

该金融服务企业面临的挑战是,通过建立数据

服务层来协调数据,减轻对 DBA 和开发人员

的要求,并缩短新的金融服务产品产生价值的

时间,从而改进其客户关系。此外,该企业希

望利用其数据层和现有的数据枢纽,其中已整

合了公司的大部分数据。 实施团队面临的关键问题如下:

• 需要提取对数据库进行的物理更改,以免影响 Web 服务的消费者。

• 需要将数据服务作为抽象来实施,而不是替换现有的数据集市和数据

枢纽。

• 需要扩展数据服务,而且不会导致性能下降。

• 需要数据服务解决方案以保持或提高目前的服务水平协议(SLAs)。

2008-2009 年数据集成市场的状况 25 页

Page 26: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

• 原始数据服务本来是无效的,因为每个业务部门都是单独处理客户,

有不同的接口要求。需要在一个界面中支持多个客户和合作伙伴。

• 其他业务单位均拒绝采用原来的 Web 服务界面,因为数据实施僵

化,缺乏灵活性。这些新的实施需要敏捷、迅速实施,并符合不同群

体的业务需求。

作为采用联合技术实施数据服务的结果,该公司降低了整体数据复杂性,

同时增加了数据的一致性和可重用的数据服务。这些服务 初是作为数据

层实施的扩展,后来被作为数据仓库内的新模型而采用。这种类型的混合

模式将开发时间从 12 周缩短至 80 小时,现在管理和维护实施需要的开

发资源只有一半。不需要更改数据库,使得数据库管理团队可以处理其他

任务。用户访问数据不再需要与后端系统沟通,在服务水平协议的限制范

围内保持了性能。投资回报率远远超出这一个项目,使这家成长中的企业

摆脱了可能影响客户关系和未来业务的制约。

作为采用联合技术实施数据服务的结果,该金

融服务公司降低了整体数据复杂性,同时增加

了数据的一致性和可重用的数据服务。

针对制造业的实时商业智能

半导体行业的一家领先的制造公司在销售和规模方面均有显著增长。该公

司过去使用 Microsoft Excel 和 Microsoft Access 等工具来编制预算和报

告,困扰于在迅速成长的公司使用无法扩展的工具所造成的效率低下。他

们花费大量的时间来汇集和提取数据,却无法进行彻底的业务分析。

图 15. 对于这家制造公司,实施 BI 应用也意味着提供数据集成和数据质量,使企业用户可以根据正确的信

息作出决策。

2008-2009 年数据集成市场的状况 26 页

Page 27: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

该公司 BI 项目的目标是实现近实时数据分析,显著减少汇集和提取数据

所花费的时间。数据质量对于 BI 应用刻不容缓。没有它,企业用户的见

解和报告就会基于错误的信息。因此,所采用的方法要求该公司与 BI 解决方案同时实施数据集成和数据质量。

一家成长中的制造企业实施了 BI 解决方案,

以期实现近实时的数据分析,减少汇集和提取

数据所花费的时间。所采用的方法要求该公司

与 BI 解决方案同时实施数据集成和

数据质量。 实施团队面临的关键问题包括

• 理解与销售和客户数据有关的深入分析

• 有效地将数据移动到销售、客户和财务数据系统,以及第三方系统

• 围绕实际财务数据改进审计控制

• 提高数据质量,以便更好地了解整个企业内部的数据源

作为 BI 系统以及相关的数据集成和数据质量解决方案的成果,该制造企

业已实现了更有效的数据集成、检索和报告。具体来说,该公司可以生成

标准化报告和临时报告,使员工可以专注于数据分析而不是数据检索。这

样提高了数据准确性,以及以多种不同的方式划分和分析数据的能力。公

司还可以根据员工层面的人事费用,或者按单位或按员工计算的成本等业

务推动因素来编制预算和预测。

ORACLE 的数据集成策略

Oracle 数据集成套件提供了完全统一的解决方案,可以构建、部署和管理

复杂的数据仓库,或者在 SOA 或 BI 环境中,作为以数据为中心的架构

的组成部分。此外,它结合了数据集成的所有元素—数据移动、数据同

步、数据质量、数据管理和数据服务—以确保跨复杂系统的信息及时、准

确、一致。

Oracle 数据集成套件提供了完全统一的解决

方案,可以构建、部署和管理复杂的数据仓

库,或者在 SOA 或 BI 环境中,作为以数据

为中心的架构的组成部分。此外,它结合了数

据集成的所有元素,以确保跨复杂系统的信息

及时、准确、一致。 Oracle 数据集成套件满足今天的企业数据仓库需求,并解决了数据服务和

联合、MDM 和实时 BI 领域的新兴趋势。它是一个独特的解决方案,因

为它包含功能强大的本地 ELT 方法。大部分较早的解决方案“向下推

动”优化,因此数据转换仍然发生在 ETL 引擎内部,并要求通过网络及

其引擎传输物理数据。但是,Oracle 的本地 ELT 解决方案并不需要单独

的硬件用于 ETL 引擎。这些 ETL 引擎可以直接部署在目标甚至源数据

库上。

凭借架构针对性能和生产效率设计的独特数据集成平台,Oracle 数据集成

套件提供高度的灵活性和模块化。它是全面数据集成的基石。通过为不同 IT 环境提供广泛支持,它贯彻了 Oracle 的热插拔承诺。无论您的 IT 生态系统中有哪些数据库或应用程序,Oracle 数据集成套件都可以进行优化

以推动 高性能的批量或实时转换。Oracle 的目标是在下一代牢不可破的 SOA 内部结合并支持这些功能,在今后多年继续推动企业内的商业价

值。

如需更多有关 Oracle 数据集成解决方案的信息,请访问 oracle.com/goto/ODI。

2008-2009 年数据集成市场的状况 27 页

Page 28: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

2008-2009 年数据集成市场的状况 28 页

结论

Oracle 的数据集成市场状况调查和分析研究都表明,数据集成技术的市场

正在不断成长。虽然数据集成深深植根于数据仓库和 ETL 技术,但它正

表现出加速增长的势头,主要是因为它是许多迫切需要的技术关键的组成

部分。干净、可靠的数据对于准确的商业智能必不可少;可重用的数据服

务对于 SOA 非常重要;而且在制定 MDM 战略之前也必须考虑数据集

成。 与这些技术相结合,数据集成为企业带来更高的灵活性、更好的客

户亲密度,并且降低了成本结构。

全面的数据集成产品包括数据移动、数据同步、数据质量、数据管理和数

据服务。Oracle 的数据集成套件在一个统一的解决方案中提供了所有这些

功能,可从多个系统提供及时、准确、一致的信息。但是,企业需要考虑

其数据集成需求的全部范围和业务目标,之后才能开始实施。仔细的规划

和监管过程将提高任何计划成功的几率。企业应该遵循本白皮书介绍的

佳实践 — 大处着眼,小处着手,迅速行动 — 这样 有可能实现数据集

成的潜力。

Page 29: 2008-2009 年数据集成市场的 状况 - CSDNMDM。我们预期会有高增长率,因为数据集成与 SOA 和 BI 密切相 关,而这两者都在经历高增长。 在动荡的全球经济条件下,我们预计

2008 年数据集成市场的状况

作者:Dain Hansen,Jyothi Swaroop

2008 年 11 月

Oracle Corporation

全球总部

500 Oracle Parkway

Redwood Shores, CA 94065

U.S.A.

全球查询:

电话:+1.650.506.7000

传真:+1.650.506.7200

oracle.com

版权所有 © 2008,Oracle 和/或其附属公司。保留所有权利。

本文档仅供参考,

若有任何内容更改,恕不另行通知。

本文档不保证无错误,也不受任何口头明示或法律暗示的其他保证或条件限制,包

括适销性或其他特定用途的暗示保证或条件。我们特此声明将不会承担与本文档相

关的任何责任,且本文档不直接或间接构成任何合同义务。未经我们事先书面同

意,不得以任何形式或方式(电子或实物)为任何目的复制或传送本文档。

Oracle 是 Oracle Corporation 和/或其附属公司的注册商标。

其它名称可能是各自所有者的商标。0408