第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心...

56
第五章 IT基础设施与新兴技术 刘跃文 博士 西安交通大学 管理学院 [email protected]

Transcript of 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心...

Page 1: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

第五章 IT基础设施与新兴技术

刘跃文 博士

西安交通大学管理学院

[email protected]

Page 2: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

开篇案例

• 美国军方重铸其IT基础设施

2

Page 3: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

3

管理

组织

技术

信息系统 商业解决方案

业务挑战

•高成本、使用不便的IT基础设施•资源减少

•改进绩效•降低成本

•精简数据中心•实施企业级计算

•监控服务水平和成本•规划IT基础设施•制定IT基础设施投资

•实施文化变革•创建企业级流程

•削减数据中心•实现虚拟化•部署云计算服务

•部署移动便携设备和操作系统•实施共享技术服务

Page 4: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

5.1 IT基础设施(IT Infrastructure)

• 5.1.1 IT基础设施的定义• 运营整个企业所需的物理设备和应用软件的集合

• 由管理层预算所决定的人和技术能力的服务集合

• 具体而言,包括:• 计算机平台、通信服务、数据管理服务、软件系统

• 规划、开发基础设施的管理服务、IT标准化服务、培训服务

• IT研究与开发服务

4

Page 5: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

5.1.2 IT基础设施的发展

• 通用主机(1959~ IBM)及小型计算机(1965~ DEC)

• 个人计算机(1981~ IBM)

• 客户机/服务器(1983~)

• 企业计算阶段(1992~)

• 云计算及移动计算阶段(2000~)

5

Page 6: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

6

Page 7: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• N-tier client/server architechture

7

Page 8: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 塔式服务器

• 机架式服务器,机柜

• 刀片式服务器

8

Page 9: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 数据中心

9

Page 10: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

10

Page 11: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 数据中心的问题

11

Page 12: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• Facebook北极数据中心

12

Page 13: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

13

Page 14: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

14

Page 15: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

15

Page 16: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 集装箱数据中心

16

Page 17: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 华为集装箱数据中心• 华为IDS1000集装箱数据中心解决方案,将所有数据中心核心部件有机集成。通过专业的热设计、热仿真及严格的测试、验证,IDS1000箱内设备布局合理、箱体绝热性能优良,可耐55℃高温和零下40℃低温,具有很强的环境适应能力。

• 华为集装箱数据中心2014年发货量全球第一,占全球份额11%。

17

Page 18: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

5.1.3 IT基础设置发展的技术动因

• 摩尔(Moore’s Law)定律和微处理能力

• 大规模数字存储定律

• 梅特卡夫定律和网络经济学

• 通信成本的下降与互联网

• 标准和互联网的影响

18

Page 19: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• Moore 1965:自1959年微处理器芯片诞生以来,在芯片的最小单位原件(晶体管)的生产成本不变的情况下,一块芯片上集成的原件数量每年翻一番。

• 后人表述:• 微处理器的处理能力每18个月翻一番;• 计算机的计算能力每18个月翻一番;• 计算成本每18个月下降一半。

• 指数式增长趋势!

• 已经失效!

19

Page 20: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 在更小的空间内装进更多的芯片,已让晶体管成本和使用晶体管制造的产品成本戏剧性的下跌。现今一个英特尔的处理器可以包含超过 10 亿个晶体管,执行超过 3.2 GHz 的效能,以及10,000 MIPS(每秒一百万指令),而且可以用少于一美分的万分之一的成本制造大量的晶体管。甚至还比这本书中每个字的印刷成本还低。

20

Page 21: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 1950 年到2012 年,每一美元储存数量指数增加• 每15个月翻一番

• Gantz and Reinsel 2011; Lyman and Varian 2003

21

Page 22: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 故事:• 阿基米德与国王下棋,国王输了,国王问阿基米德要什么奖赏?阿基米德对国王说:“我只要在棋盘上第一格放一粒米,第二格放二粒,第三格放四粒,第四格放十六粒…按这个方法放满整个棋盘就行。”国王想:这有多少米?于是爽快地答应了。但是一放,就傻眼了:整个国家的米都不够放。

• 第1格放1粒,第2格放2粒,第3格放2×2=4粒,第4格放2×2×2=8粒……第64格就要放263粒,加起来一共是 1+2+22+……+263=264-1=18 446 744 073 709 551 615。普通大米每粒重约1/ 12克,这样一共需要1 537 228 672 809 129千克大米,约一万五千亿吨大米。

• 2014年,全国粮食总产量约6亿吨。

22

Page 23: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 罗伯特·梅特卡夫(Robert Metcalfe,1946年-),出生于纽约布鲁克林。美国科技先驱,发明了以太网路,成立3Com

• 梅特卡夫定律 (Metcalfe's Law)。其内容是:网络的价值等于网络节点数的平方,网络的价值与联网的用户数的平方成正比。

• 规模报酬递增 increasing returns to scale

23

Page 24: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 通信成本下降

24

Page 25: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 标准和互联网的影响

25

Page 26: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

5.2 基础设施的构成

• 5.2.1 计算机硬件平台

• 5.2.2 操作系统平台

• 5.2.3 企业应用软件

• 5.2.4 数据管理和存储

• 5.2.5 网络/通信平台

• 5.2.6 互联网平台

• 5.2.7 咨询与系统集成服务

26

Page 27: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

5.3 当前硬件平台发展趋势

• 5.3.1 移动数字平台 (Cellphone, Tablet Computer)

• 5.3.2 信息技术消费化 (Commercialization of IT) 和自带设备 (Bring Your Own Device, BYOD)

• 5.3.3 网格计算 (Grid Computing)

• 5.3.4 虚拟化 (Virtualization) VMware

• 5.3.5 云计算 (Cloud Computing)

• 5.3.6 绿色计算 (Green Computing)

• 5.3.7 高性能及节能处理器:多核处理器(Multicore Processor)

• 5.3.8 自主计算 (Automatic Computing)

27

Page 28: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

5.3.1 移动数字平台

• iPad目前已被运用于许多工作场所,如今将可能被应用于高空中。因为Airbus(空中客车公司)已经宣布,Airbus将成为第一个为飞行员提供iPad电子飞行包(EFB)应用的飞机制造商。Airbus的飞行员可以从App Store中下载EFB应用,然后在飞行过程中使用。

28

Page 29: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

5.3.5 云计算

• 美国国家标准与技术研究院(NIST)定义云计算有如下特征:• 按需自服务;泛网络接入;位置无关的资源地;高度灵活性;基于标准的服务

29

Page 30: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 任何一个在互联网上提供其服务的公司都可以叫做云计算公司。

• 云计算分几层,分别是Infrastructure(基础设施)-as-a-Service,Platform(平台)-as-a-Service,Software(软件)-as-a-Service。基础设施在最下端,平台在中间,软件在顶端。

30

Page 31: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

31

Page 32: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

32

• 由外部服务供应商营运,可透

过网际网路存取并对一般大众

开放

• 如Amazon Web Services

公共云

(public cloud)

• 整合服务器、储存体、网路、资料与应用

软体的专属网路或资讯中心,作为分享给

企业内部使用者使用的一套虚拟服务

私有云

(private cloud)

Page 33: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 微软 .net 技术

• Dollar Rent A Car如何利用网络服务

33

Page 34: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

5.4 当前软件平台的发展趋势

• 5.4.1 Linux和开放源代码软件(Open Source Software)

• 5.4.2 网络软件:Java HTML和HTML5

• 5.4.3 Web服务和面向服务架构(Service Oriented Architecture, SOA)

• 5.4.4 软件外包(Outsourcing)和云计算服务• 商业软件包和企业软件

• 软件外包

• 基于云计算的软件服务和工具

• 混搭(Mashups)和应用程序(Apps)

34

Page 35: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

信息化与智慧化

35

前端输入

前端输出

处理系统 业务数据库 数据仓库 分析系统 后端输出

外部数据源柜员、自动设备、流水线、探头、监控设备、

RFID

系统、网站、APP、自动设备、机器人、

柜员

通信 因特网、4G、局域网、Wi-Fi

服务器、客户端、软件

服务器、DB、DBMS

微博、社交网络、E2.0

分布式系统、HBase

深度学习、MapReduce 商务智能、可

视化、报告

物联网

大数据

核心

云计算

移动互联

Page 36: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

5.5 管理问题

• 5.5.1 应对平台和基础设施的变化:可扩展性 Scalability

• 5.5.2 管理和治理

• 5.5.3 IT基础设施投资决策• Rent vs Buy Decision 租用还是购买

36

Page 37: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 技术资产的总持有成本(Total Cost of Ownership, TCO)

37

Page 38: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

5.5.3 IT基础设施投资决策

• IT基础设施的竞争力模型

• 不忘初心!

38

Page 39: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

从1篇论文到$115,000,000美元

• Etzioni, O., R. Tuchinda, C. A. Knoblock and A. Yates (2003). To buy or not to buy: mining airfare data to minimize ticket purchase price. Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining, ACM.

• 维克托•迈尔-舍恩伯格《大数据时代:生活、工作与思维的大变革》

39

Oren EtzioniUniversity of Washington

Computer Science & Engineering

Director of Turing Center

Page 40: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• “2003年,奥伦·埃齐奥尼(Oren Etzioni)准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜,于是他在这个大喜日子来临之前的几个月,就在网上预订了一张去洛杉矶的机票。”

• “在飞机上,埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚,但是票价却比他便宜得多时,他感到非常气愤。于是,他又询问了另外几个乘客,结果发现大家买的票居然都比他的便宜。”

40

Page 41: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• Etzioni, O., R. Tuchinda, C. A. Knoblock and A. Yates (2003). To buy or not to buy: mining airfare data to minimize ticket purchase price. Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining, ACM.

41

Page 42: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• “埃齐奥尼创立了一个预测系统,它帮助虚拟的乘客节省了很多钱。这个预测系统建立在41天之内的12000个价格样本基础之上,而这些数据都是从一个旅游网站上爬取过来的。”

• “这个预测系统并不能说明原因,只能推测会发生什么。也就是说,它不知道是哪些因素导致了机票价格的波动。机票降价是因为有很多没卖掉的座位、季节性原因,还是所谓的“周六晚上不出门”,它都不知道。这个系统只知道利用其他航班的数据来预测未来机票价格的走势。”

42

Page 43: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• “这个小项目逐渐发展成为一家得到了风险投资基金支持的科技创业公司,名为Farecast。通过预测机票价格的走势以及增降幅度,Farecast票价预测工具能帮助消费者抓住最佳购买时机,而在此之前还没有其他网站能让消费者获得这些信息。”

• Farecast的功能点:• Search

• Graph & Map

• Suggestions

• Fare Guard

43

Page 44: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• Graph

44

Page 45: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• Map

45

Page 46: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• Suggestions

• 这个系统为了保障自身的透明度,会把对机票价格走势预测的可信度标示出来,供消费者参考。

46

Page 47: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

47

Confidence 63%

Confidence 76%

Page 48: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

48

Page 49: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• Fare Guard• “你可以花十刀可以把这个价钱给锁定(lock)一个星期,未来七天如果你买的机票最低价格比你lock的价格高,Farecast会把差价用支票返偿给你。如果买得低了,自然十刀就要不回来了。”

• “你参加这个服务后,Fare Guard会在这段时间里通过email告诉你机票价格变化,而且你可以买你查询时间和行程中的任何航班,但是Farecast的差价计算是根据它告诉你的最低价格和锁定价格之差的。 ”(来源:TravelSuperLink.com)

• “You can book any flights at any price for your specific trip (airports and dates). However, your maximum redemption amount is the difference between the lowest fare the day you booked and the Guarded Price.”

49

Page 50: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 系统的运转需要海量数据的支持。为了提高预测的准确性,埃齐奥尼找到了一个行业机票预订数据库。而系统的预测结果是根据美国商业航空产业中,每一条航线上每一架飞机内的每一个座位一年内的综合票价记录而得出的。如今(2012),Farecast已经拥有惊人的约2000亿条飞行数据记录。

50

Page 51: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 2007年7月,MSN 以及 Farecast.com,共同申明了一份合约,合约中 MSN 将会在其MSN Travel Channel 里为其用户免费提供飞机票预报。

• 2008年4月,微软公司以1.15亿美元的价格收购了Farecast公司。

• 2008年5月,Live Search推出了 Live Search Farecast,它能帮助用户找到最合适时间的最低价格的机票。

51

Page 52: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 2009年5月,Bing发布,宣传口号为 Bing & Decide。• 必应旅游 Bing Travel 即之前的 Live

Search Farecast(技术)与 MSN Travel(内容)的合并,其主要目的是帮助用户寻找到最低价、最合适的飞机航班和宾馆以安排旅游计划,并进行预订。当然,Bing Travel 利用 Farecast 技术预测近期票价、并能够对比超过 100 家旅行社、宾馆以及航空网站的价格数据。

52

Page 53: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 2010年12月,必应 Bing 更新了其旅行搜索(Bing 垂直搜索引擎之一),其中的航班搜索增加了对自然语言查询的支持;相比之前,现在你无需选择机场、目的地、日期或其他选项,只要在搜索框中输入自然语言即可。• 当你搜索“Flights from Chicago to SFO in January”,Bing 会自动在结果中预设航班搜索的可能的信息:出发地、目的地、日期。

53

Page 54: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 2011年2月,Bing搜索框中直接能够查看价格的预测。

• “By 2012 the system was making the correct call 75 percent of the time and saving travelers, on average, $50 per ticket.”

54

Page 55: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

• 2014年4月,微软关闭 Bing Farecast 机票价格预测功能• 微软向 GeekWire 发去了官方声明,称这是商业决定。

• Farecast 创始人 Oren Etzioni 称,Farecast 是“Bing 最独特的功能”

• “So, we end up with Bing travel as a thin veneer that redirects users to Kayak, while Google innovates with Google.com/flights, which I now use all the time,” said Etzioni. “Google 1, Bing 0.”

55

Page 56: 第五章 IT基础设施与新兴技术 - ibids.cn · •华为集装箱数据中心 •华为ids1000集装箱数据中心解决方案,将所有数据中心核心部件有机集

Thanks! Q&ADr. LIU, Yuewen [email protected]

56