支付宝大规模Soa系统治理中的架构支持

题作

程立支付宝（中国）网络技术有限公司

北京，2009年4月8日

规模SOA系统治理中的架构支持大小

1

2

Through 2010, a lack of working SOA governance arrangements will be the most common reason for SOA failure.

“Applica*on and SOA Governance, The Who, What and Why” ‐ Ma> Hotle, Gartner, June 2008

提纲

历史

问题

展望

SOA治理

架构透明

控制

对齐

3

历史

历史

问题

展望

SOA治理

架构透明

控制

对齐

4

历史《创世纪》第一天

5


上帝说: 要有光，就有了光

5


上帝说: 要有光，就有了光

认识SOA，学习SOA达成走SOA路线的共识

5

历史《创世纪》第二天

6


上帝说: 诸水之间要有空气将水分为上下

6


上帝说: 诸水之间要有空气将水分为上下

识别主要挑战(平衡快与稳)找到SOA的切入点(核心分离)

6

历史《创世纪》第三天

7


上帝说: 水要聚在一处，使旱地露出来地要发生青草，和结种子的果蔬，

并结果子的树木

7


上帝说: 水要聚在一处，使旱地露出来地要发生青草，和结种子的果蔬，

并结果子的树木

第一组服务落地(交易服务)并结出果实

7

历史《创世纪》第四天

8


上帝…造两个大光，大的管昼，小的管夜。

又造众星。

8


上帝…造两个大光，大的管昼，小的管夜。

又造众星。

建立两大支柱服务群及卫星系统(账务会计、客户信息)

8

历史《创世纪》第五天

9


上帝说: 水要多多滋生有生命的物要有雀鸟飞在地面以上，天空之中

9


上帝说: 水要多多滋生有生命的物要有雀鸟飞在地面以上，天空之中

服务数量爆发式增长

9

历史《创世纪》第六天

10

历史《创世纪》第六天

可以休息了吗？

10

问题

历史

问题

展望

SOA治理

架构透明

控制

对齐

11

问题 SOA改变应用的构建方式

SOA separates func?ons into dis?nct units, or services, which developers make accessible over a network in order that users can combine and reuse them in the produc?on of applica?ons.

─ Wikipedia

12

问题服务建设的递归

13


第1代服务

第1代服务

服务复合

13


第1代服务

第1代服务

服务复合

第2代服务

服务复合

13


第1代服务

第1代服务

服务复合

第2代服务

服务复合

第N代服务

服务复合

13

第1代服务

第1代服务

服务复合

第2代服务

服务复合

第N代服务

服务复合

问题 SOA 副作用

14

第1代服务

第1代服务

服务复合

第2代服务

服务复合

第N代服务

服务复合


看得见的复杂，看不清的机理

14

第1代服务

第1代服务

服务复合

第2代服务

服务复合

第N代服务

服务复合


15

第1代服务

第1代服务

服务复合

第2代服务

服务复合

第N代服务

服务复合


？？？

？？

15

第1代服务

第1代服务

服务复合

第2代服务

服务复合

第N代服务

服务复合


？？？？

？？

？？？？？

15

第1代服务

第1代服务

服务复合

第2代服务

服务复合

第N代服务

服务复合


？？？？

？？

？？？？？

看得见的变更，看不清的影响

15

第1代服务

第1代服务

服务复合

第2代服务

服务复合

第N代服务

服务复合


16

第1代服务

第1代服务

服务复合

第2代服务

服务复合

第N代服务

服务复合


看得见的局部，看不清的全局

16

问题 SOA 盲区

17

问题 SOA 盲区

战略

100分

17

问题 SOA 盲区

战略

100分商业模式

* 90%

17

问题 SOA 盲区

战略

100分商业模式

* 90%

产品设计

* 90%

17

问题 SOA 盲区

战略

100分商业模式

* 90%

产品设计

* 90%

应用架构

* 90%

17

问题 SOA 盲区

战略

100分商业模式

* 90%

产品设计

* 90%

应用架构

* 90%

技术架构

* 90%

17

问题 SOA 盲区

战略

100分商业模式

* 90%

产品设计

* 90%

应用架构

* 90%

技术架构

* 90% 实现* 90%

17

问题 SOA 盲区

战略

100分商业模式

* 90%

产品设计

* 90%

应用架构

* 90%

技术架构

* 90% 实现* 90%

59分

17

问题 SOA 盲区

战略

100分商业模式

* 90%

产品设计

* 90%

应用架构

* 90%

技术架构

* 90% 实现* 90%

靠谱的战略，不靠谱的实现

59分

17

问题 SOA 雷区

遗留系统服务

合作伙伴服务

领域服务

业务服务

流程服务

技术服务

数据服务

门户服务

开放服务

18

问题 SOA 雷区

遗留系统服务

合作伙伴服务

领域服务

业务服务

流程服务

技术服务

数据服务

门户服务

开放服务

You only need one service to destroy your business.

─ Gartner

18

问题《创世纪》第六天

19

问题《创世纪》第六天

上帝…照着自己的形像造人，对他们说要生养众多，遍满地面，治理这地

19

治理

历史

问题

展望

SOA治理

架构透明

控制

对齐

20

治理什么是SOA治理SOA governance is doing the right SOA things the right way of the SOA stakeholders.

Eric A. Marks: “SOA Governance of the Services Driven Enterprise”

SOA Governance is a concept used for ac?vi?es related to exercising control over services in an SOA. The specific focus of SOA governance is on the development of services that add value to the business, effec?ve SOA governance must cover the people, processes, and technologies involved in the en?re SOA life cycle.

─ Wikipedia21

治理理解SOA治理

22

概念-GTU服务契约


22

发布

查找

使用运行-GTW



22

发布

查找

使用运行-GTW需求

设计

运行开发-GTD



22

发布

查找

使用运行-GTW需求

设计

运行开发-GTD

治理-GTR

定义

实施

度量



22

理解SOA Governance

SOA Governance由策略、框架和控制日常SOA活动的流程（这些流程由IT创建）组成…

我们早就有了

更多是管理流程，类似CMMI？

分好几个level，譬如你定义一个数据类型也要申请

治理实现治理: 可以有流程

天王盖地虎

面壁修炼

天王盖地虎

面壁修炼

发表于 2008-10-26

23

治理实现治理: 可以以人为本

24


开发人员

24


开发人员

应用架构师业务架构师

技术架构师

24


开发人员


技术架构师

产品经理

24


开发人员


技术架构师

产品经理项目经理

24


开发人员


技术架构师

产品经理项目经理SQA

24

治理实现治理: 可以不差钱

25

治理 Software AG

26

治理 MuleSource

27

治理实现治理: 听听专家观点Through 2010, a lack of working SOA governance arrangements will be the most common reason for SOA failure.

“Applica*on and SOA Governance, The Who, What and Why” ‐ Ma> Hotle, Gartner, June 2008

28

治理作为架构师的你

29

治理作为架构师的你

该出手了！29

架构

历史

问题

展望

SOA治理

架构

透明控制对齐

30

提升服务架构的可视性

你能看清你的系统的骨架吗？

架构透明

31

一致架构、模式与命名

展现层

MVC/CV

Template Form

ControllerTileLayout

应用层

TS AppFacade

Process Rule

领域层

DD

D

DomainObject DomainService

持久层

ORM

DataObjectDAO

ORMServiceAgent

集成层

SA

通用服务

DI/AO

P

FactoryRepository

DTO DTOAssembler

架构透明

32

一致架构、模式与命名

展现层

MVC/CV

Template Form

ControllerTileLayout

应用层

TS AppFacade

Process Rule

领域层

DD

D

DomainObject DomainService

持久层

ORM

DataObjectDAO

ORMServiceAgent

集成层

SA

通用服务

DI/AO

P

FactoryRepository

DTO DTOAssembler

架构透明

32

XYZControllerXYZFacadeXYZServiceXYZXYZRepositoryXYZFactoryXYZDAOXYZDO…

自动化工具小

PayRuleDO.java

SQLParserMiddlegen

Velocity

小工具 DALGen

PayRuleDAO.java

DB

Iba*sPayRuleDAOImpl.javaPayRule‐sqlmap‐Mapping.xml

sqlmap.xml

Glue

Model

beans‐dao.xml

架构透明

33

自动化工具小

PayRuleDO.java

SQLParserMiddlegen

Velocity

小工具 DALGen

PayRuleDAO.java

DB

Iba*sPayRuleDAOImpl.javaPayRule‐sqlmap‐Mapping.xml

sqlmap.xml

Glue

Model

beans‐dao.xml

对抗集体性拖拉的GTD法则

别做大项目，从小项目开始，而且永远不要期望它变大。如果这么想，就会做过度设计，把它想象得过于重要。更坏的情况是，你可能会被自己想象中的艰难工作所吓 …… 我致力于Linux达13年之久，我想后面还得花上好些时间。如果一早就妄想做个大东西，可能现在还没动手呢。

—— Linus Torvalds

摘自《梦断代码 – Dreaming In Code》,韩磊译

架构透明

33

关注它，标记它

打上@AccountTransAction标记，你可以说明这是账务处理操作统计共有多少账务处理操作跟踪账务处理操作接口的变更自动控制访问权限自动控制事务边界自动填写参数(txId) 自动监测执行性能自动记录审计日志

架构透明

34

领域驱动

代码摘自http://dddsample.sourceforge.net/

架构透明

35

领域驱动


@DomainRoot(“Cargo”)

架构透明

35

领域驱动


@DomainRoot(“Cargo”)

文档可以少写

但领域建模、实现规范、JavaDoc必须有

有它们，你可以产生更一致、更灵活、更时新的文档

架构透明

35

“财务”报表源代码发布包

Spring QDox

小工具 SG

docbook

Velocity

jfreechart

XMLParser

graphviz

Glue

Model

服务提供表服务引用表系统依赖图服务变动表关键指标图依赖变动表

架构透明

36


Spring QDox

小工具 SG

docbook

Velocity

jfreechart

XMLParser

graphviz

Glue

Model


资产负债表

有什么，缺什么

架构透明

36


Spring QDox

小工具 SG

docbook

Velocity

jfreechart

XMLParser

graphviz

Glue

Model


资产负债表

有什么，缺什么

损益表

变化了什么

架构透明

36

Registry与Repository架构透明

37

Registry与Repository

SOA生命周期过程识别分析设计实现部署运行变更

架构透明

37



SOA技术基础设施运行时通信安全监控工具SLA

架构透明

37



服务与元数据模型


架构透明

37





政策模型

架构透明

37





政策模型

Repository 服务资产管理

架构透明

37





政策模型

Repository 服务资产管理

Registry服务运行管理

架构透明

37

提升服务架构的可控性

大处着眼，小处着手

架构控制

38

目标-原则-政策架构控制

39

目标-原则-政策

目标关键业务必须正确处理

架构控制

39



原则原则关键业务变更严格控制关键业务操作执行必须可审计

架构控制

39



原则原则关键业务变更严格控制关键业务操作执行必须可审计

政策政策政策标注关键业务检测关键业务变更，评审通过方可上线

业务操作有合规的日志

架构控制

39

政策运行期控制

政策业务操作有合规的日志

服务消费者服务提供者

服务代理ServiceAgent

服务接口Service

Interface业务逻辑业务逻辑

架构控制

40





服务接口Service


@CriticalService

架构控制

40





服务接口Service


服务政策Service Policy

@CriticalService

架构控制

40





服务接口Service



服务通信设施

@CriticalService

架构控制

40





服务接口Service



服务通信设施

审计日志记录器

@CriticalService

架构控制

40

政策集成期控制

政策


检测关键业务变更，评审通过方可上线

持续集成系统

评审组名单与责任定义

架构控制

41


政策



持续集成系统


服务变更报表小工具SG

架构控制

41


政策



持续集成系统


服务变更报表小工具SG

小工具SC关键业务变更监控

研发管理流程平台

架构控制

41

其它

软件过程

企业架构

集成的政策执行模型

政策设计/实现质保/测试运行/管理

•业务设计•服务建模•服务构建

•功能测试•性能测试•发布评审

•性能容量•服务水平•安全保障

过程保障

组织保障

业务

系统保障

运行时 Registry Repository 监控

产品

研发质量

高级决策层

运维其它

其它

人工执行自动辅助

自动执行

政策定义人工执行例外管理

架构控制

42

架构的终极意义

取得高速前进中的默契

架构对齐

43

双边模型架构对齐环境

客户

市场

产业

机会

竞争

监管

投资

业务

业务架构

业务发展

业务运营

IT

IT架构

IT研发

IT运管

IT治理

企业

使命、愿景、战略企业治理

44


客户

市场

产业

机会

竞争

监管

投资

业务

业务架构

业务发展

业务运营

IT

IT架构

IT研发

IT运管

IT治理

企业


44

拥抱变化


客户

市场

产业

机会

竞争

监管

投资

业务

业务架构

业务发展

业务运营

IT

IT架构

IT研发

IT运管

拥抱变化

IT治理

企业


44

拥抱变化


客户

市场

产业

机会

竞争

监管

投资

业务

业务架构

业务发展

业务运营

IT

IT架构

IT研发

IT运管

拥抱变化

IT治理

企业


拥抱变化

44

拥抱变化


客户

市场

产业

机会

竞争

监管

投资

业务

业务架构

业务发展

业务运营

IT

IT架构

IT研发

IT运管

拥抱变化

IT治理

企业


拥抱变化拥抱变化

44

拥抱变化


客户

市场

产业

机会

竞争

监管

投资

业务

业务架构

业务发展

业务运营

IT

IT架构

IT研发

IT运管

拥抱变化

IT治理

企业


拥抱变化拥抱变化

渐行渐远

44

拥抱变化

什么是对齐(Alignment)?　　I did not live un?l this ?me,　　Crown'd my felicity,　　When I could say without a crime,

　　I am not thine, but thee.—— Katherine Philips(17世纪英国女诗人)

　　我直到现在才算真正活着，　　我的快乐得到了加冕，　　我可以无愧地说，

　　我不是你的，我就是你。 —— 某网友译

架构对齐

45

统一模型架构对齐环境

客户

市场

产业

机会

竞争

监管

投资

业务

业务发展

业务运营

IT

IT研发

IT运管

企业

使命、愿景、战略

治理

统一架构

46

治理治理


客户

市场

产业

机会

竞争

监管

投资

业务

业务发展

业务运营

IT

IT研发

IT运管

企业


治理

统一架构

46

治理治理

拥抱变化


客户

市场

产业

机会

竞争

监管

投资

业务

业务发展

业务运营

IT

IT研发

IT运管

企业


治理

统一架构

拥抱变化

46

治理治理

拥抱变化


客户

市场

产业

机会

竞争

监管

投资

业务

业务发展

业务运营

IT

IT研发

IT运管

企业


治理

统一架构

拥抱变化

统一演进

46

治理治理

拥抱变化

应用技术

第0层企业->业务线

第1层业务线->产品

第2层产品->服务

第3层服务->功能

业务

企业架构架构对齐

47

描述企业架构的语言架构对齐

Archimate

… is an open and independent modeling language for enterprise architecture… is one of the open standards hosted by the Open Group and based on the IEEE 1471 standard… dis?nguishes itself from other languages such as UML and BPMN by its well defined metamodel, and wider enterprise modelling scope.

─ Wikipedia

48

统一的架构概念元素架构对齐

49


行为结构

49


行为结构

外部

内部

49


行为结构

外部

内部个体

集体

49

业务架构元素架构对齐

50

应用架构元素架构对齐

51

对齐业务与应用架构对齐

52


用我

52


用我

我帮你做

52


用我

我帮你做

放我这

52


用我

我帮你做

放我这

卖我也愿意

52

对应业务与应用架构对齐

53

在演进中对齐架构对齐

当前业务

当前应用

对齐

企业架构

基线企业架构

54


当前业务

当前应用

对齐

企业架构

基线企业架构

目标业务

目标应用

对齐

54


当前业务

当前应用

对齐

企业架构

基线企业架构

目标业务

目标应用

对齐

目标企业架构

54


当前业务

当前应用

对齐

企业架构

基线企业架构

目标业务

目标应用

对齐

目标企业架构

路线图

项目项目项目

54

企业架构是动态的架构对齐

应用技术





业务基线

55

企业架构是动态的架构对齐应用技术

第0层企业->产品线

第1层产品线->产品


第3层服务->操作

业务目标

应用技术





业务基线

55

企业架构是动态的架构对齐应用技术

第0层企业->产品线

第1层产品线->产品


第3层服务->操作

业务目标

应用技术





业务基线

原则/路线

55

敏捷!架构对齐

每日任务任务任务

迭代每日工作

每日工作

每日工作

版本迭代迭代迭代

项目版本版本版本

敏捷项目过程

56

敏捷!架构对齐


迭代每日工作

每日工作

每日工作



敏捷项目过程

架构项目项目项目

企业架构过程

56

敏捷!架构对齐


迭代每日工作

每日工作

每日工作



敏捷项目过程

业务敏捷

架构项目项目项目

企业架构过程

56

展望

历史

问题

展望

SOA治理

架构透明控

制对齐

57

展望与研发与IT治理集成

SOA生命周期过程

服务模型

SOA技术基础设施

政策模型

Repository服务资产管理

Registry服务运行管理

软件研发平台需求管理软件配置管理集成开发环境单元测试

缺陷管理构建与集成测试平台发布管理

代码分析

…….

系统管理配置管理事件管理问题管理

58

展望在治理中树人

59

展望第7天，休息，去和领导下棋

应用技术





业务目标

企业战略

60

致谢

支付宝架构组同事创业路上一路同行的同事

技术社区的朋友 InfoQ, etc…

61

支付宝大规模Soa系统治理中的架构支持

Technology

Transcript of 支付宝大规模Soa系统治理中的架构支持

支付宝 大规模Soa系统治理中的架构支持

Technology

Transcript of 支付宝 大规模Soa系统治理中的架构支持

支付宝大规模Soa系统治理中的架构支持

Transcript of 支付宝大规模Soa系统治理中的架构支持