雲端運算概論 (Fundamentals of Cloud Computing 4D031 )

講師: 許智威

Mail : awei@ieee.org ; 簡介 (owner , IEEE member)

科目: 4D9280 ; 教室 : I3401 ; Class : 四電通三A

雲端運算的定義演進分散式運算及網格運算之前例

講師 :許智威

課程共筆 :

https://hackpad.com/-Fundamentals-of-Cloud-Computing-4D031--YghmHf17GpQ

Slideshare : http://www.slideshare.net/AweiHsu/ss-45415180

何謂雲端？•透過網際網路，以服務的形式進行運算

雲端運算通常簡稱為「雲端」，是指按使用付費的基礎上，經由網際網路交付隨需應變的運算資源，包括從應用程式到資訊中心等一切資源。

彈性的資源

依使用情形付費

自助式資源與開發

可快速、輕鬆地向上或向下調整以符合需求

為計量服務，因此您只要為所使用的部分付費

您所需要的所有 IT 資源，含自助式存取以及特定的線上模擬軟體提供元件的模型

• https://www.facebook.com/awei.hsu.14/posts/10203874074756990?notif_t=like

雲端運算的定義

•「雲端」通常是指網路的意思，名稱來自人們在. 繪製示意圖時，常以一朵雲來代表「網路」。IBM 的解釋資訊透過網際網路，以服務的形式進行運算。因此，「雲端運算」簡單說就是「網路運算」。因此運用網. 路獲得多台電腦主機 ,廣義解釋雲端運算通常簡稱為「雲端」，是指按使用付費的基礎上，經由網際網路交付隨需應變的運算資源，包括從應用程式到資訊中心等一切資源。

•「雲端運算」其實不是新的一種技術，而是一種「概念」。它的意義是利用網路讓許多電腦能夠串連合作或促使服務達到無遠弗屆，因而在實現此「概念」的過程中，相對應的衍生出需要支持它的「技術」。

計算什麼? 計算的演進!

• Mainframe• PC/Linux

Super computingClustering computing

1946 Von Neuman1960 Seymour Cray

Control Data Corporation1964 IBM System/3601969 Unix ; 1972 C

1975 Apple I1981 IBM PC1982 TCP/IP1985 Windows1991 Linux

• Internet Distributed computing

1990 Open to publicNetwork

1991 HTML, http, www1993 Mosaic (Web browser)1996 Internet

• Vitual Org. Grid computing

2002 Berkley Bonic2003 Globus Toolkit2004 EGEE gLite2006 Web 1.02008 Web 2.0

Cloud computing2002 Berkley Bonic2003 Globus Toolkit2004 EGEE gLite2014 Embedded Cloud Computing2015 ??

• Data Explode

資訊計算的趨勢

雲端運算概念本質

分散式運算基礎及優缺點

•分散式計算系統說明—碁峰--http://epaper.gotop.com.tw/pdf/AEE034600.pdf

分散式運算的架構

1. 緊密結合的分散式運算架構

2. 鬆散結合的分散式運算架構

兩者差異在於緊密結合的分散式運算架構受限於共享記憶體,不易擴充.鬆散結合的分散式運算架構軟體上會有異質性實作要比較注意任務的分配及結束通知等失誤校正

平行系統,網路作業系統及分散式作業系統

• 平行系統 :軟體的設計與架構的特徵有很深的相關性關係密切,較難建立一個通用性的系統

• NOS 網路作業系統:每台電腦都有很高的自主性,都是透過NOS來共用資源與交換資訊

• DOS(Distributed Operating System )分散式作業系統: DOS 軟體試著降低各電腦的自主性, 所有的資源都在看起來似乎是單一的作業系統的管理下運算.

分散式系統中所要討論的問題

•分散式的行程管理(DPM; Distributed Process Management)

•訊息傳遞的方法 (MP; Message Passing)

•分散式記憶體的管理 (Distributed Memory Management)

•分散式處理單元的管理 (DPUM; Distributed Process Unit Management )

分散式系統中所要討論的問題-DPM•分散式的行程管理,一件循序執行的工作分割成可並行的工作,該作法有二:

1. 基本二分法 ,將位址空間分成兩種屬性,功能與資料兩大部分

2. 功能主導分割,讓資料在相同的位址空間中,運算本身分割開來.

3. 資料主導分割,讓資料分割開來,交給相同的程式去處理,各自的程式使用自己各別的位址空間

相應的作業系統所提供的支援服務1. 分散式環境中處理單元中的啟始及結束

2. 行程的排程Scheduling 的定位3. 行程同步的問題4. Deadlock 死結的處理與管理5. 行程間的優先順序或任務分割的一致性

分散式系統中所要討論的問題-MP•訊息傳遞的方法 :依據協定來溝通,協定定義了行程之間的各種訊息格式,屬性與用途,訊息本身基本上具備下面功能

1. 行程之間分享了資料媒介

2. 需要支援同步(Synchronization)機制

分散式系統中所要討論的問題-DMM•分散式的記憶體管理 :每隻行程在運算時都有各自的記憶體運用,常用的方法是採用虛擬記憶體方式進行管理或是採用作業系統內的記憶體管理介面進行存取,讀寫等,也可透過遠端記憶體空間進行分散式存取

1. 記憶體一般介面存取

2. 遠端記憶體介面存取

分散式系統中所要討論的問題-Even Issue

•事件的排序問題

•以系統時鐘決定兩個事件的優先順序

•處理器使用資源前要擁有使用權

•分散式的時鐘並非單一時鐘, 但又要共享資源

•採用共同時間戳記

運算平台的變遷 –第 I 階段

運算平台的變遷 –第 II 階段

Internet

Server

Grid Computing

Internet

PC

PC

Server

運算平台的變遷 –第 III 階段

Grid Computing I

PC

PC

Grid Computing II

Grid Computing III

分散式運算優點

(1)經濟成本較少性價比高 (2)快速 (3)可靠 (4)易擴充 (5)數據共用

(6)設備共用如彩色激光印表機、照相排版機和大型存儲設備等，都允許

多個用戶共用。

(7)通信共通性：使人們之間的通信變得更加容易，如通過電子郵件。

(8)靈活性：分散式系統中將多台電腦連在一起，使工作能夠在最合適的

電腦上完成，可以使用最有效的方式將工作負荷分配到可用的機器上。

分散式運算缺點

•分散式系統需要與集中式系統完全不同的軟體，特別是系統所需要的分散式操作系統才剛剛出現。

•其次是通信網路問題。由於網路會損失信息，因此需要專門的軟體進行恢復，當網路出現過載時也必須對它進行改造替換或加入另外的網路擴充容量，這些都將會抵消通過建立分散式系統所獲得的大部分優勢。

•數據易於共用也存在安全問題，容易造成對保密數據的訪問。儘管存在這些潛在的問題，大家還是認為分散式系統的優點多於缺點，並且普遍認為分散式系統在未來幾年中會越來越重要。

網格運算

網格運算

•網格運算主要起源於網際網路(Internet)尚未盛行的 80 年代末期和90 年代初期，主要藉助標準化溝通協定來整合異質(Heterology)伺服器、並建構強大的叢集運算系統，使組織內部的 IT 資源有良好的使用率。網格運算通常用來處理複雜的科學運算，如解析衛星照片、分析生物 DNA 結構等，一般多應用於國防與特殊領域研究中，需要單次超級運算(Super Computing)的任務。由於網格運算的實務操作情形可以抽象模擬成為一台超級電腦，所以其具體代表意象就是 Virtual Server。

網格運算• 最早的網格運算透過 CERN,European Organization for Nuclear Research歐洲財團法人核能研究組織透過網際網路進大量的數據運算及共享與加數所有計算能力與資料儲存能力

• External Grids : 透過非營利組織或研究機構成立類似社群網, 經網格計算從多個位置的計算機資源集合達到共同計算的目標。

• 網格可以被看作是一個分佈式系統涉及大量文件的非交互式工作量的負載分配。網格計算從常規高性能計算系統區分，如在該網格的計算機集群計算有每個節點設置為執行不同的任務/應用程序。格的計算機也傾向於更異質結構和未在於同一區域地理上分散的（因此不物理連接）比集群計算機雖然單個網格可以專用於一個特定的應用程序，通常的網格被用於各種用途。網格通常可建造構成與通用網格互聯時透過中介層的軟體庫取的溝通連線。

• 網格容量大小變化相當多。網格是分佈式計算的一種形態，即“超級虛擬計算機”是由共同的行動來執行不同的任務。對於某些應用，“分散”或“網格”的計算，可以被看作是一種特殊類型的並行計算的，它依賴於完整的計算機（具有板載的CPU，存儲器，電源，網絡接口等）連接到網絡（專用或公共）通過常規的網路接口，例如乙太網路。這是相對於一台超級計算機，其具有由本地高速計算機匯流排連接許多處理器的傳統概念。

網格運算

•網格計算組合來自多個不同地理區域管理機制的計算機，以達到共同的目標，以解決單個任務，同時可以得到快速問題的解決。

•一個網格計算的主要策略是利用middleware來劃分和分配應用程序在該區域中的幾台電腦，有時長達數千年。網格計算將會涉及到以分佈式方式計算問題，同時也涉及大規模叢集的聚集群聚。

•網格大小最小會是一個區域網內大小內的分散式結構網

provider side

• Grid middleware is a specific software produc : middlewaresare Globus Toolkit, gLite, and UNICORE

概念的差異

概念的差異(續)

WiKi的雲端運算定義

•雲端運算是一種基於網際網路的運算方式,透過這種方法,共享的軟硬體資源與資訊可以按客戶需求提供給電腦和其他裝置

•特性 :高擴充性，多使用者租賃，計量，靈活性，巨量資料與運算，低成本，隨需服務，設備與地點無區域限制，虛擬化，高安全性，穩定性，應用程式介面

傳統IT 資源難調配 圖片摘自TW MS Tom Lee

IT 架構的改變

• 個人行動裝置為中心 -行動裝置的計算

• 小型專案資料中心 -以群體, 保密等

雲端運算的技術架構 -比較表

計算資訊的服務在雲端應用的疊構

• IBM Cloud Web site : http://www.ibm.com/cloud-computing/tw/zh/what-is-cloud-computing.html

網路使用介面-實體層,應用層及使用者界面

•雲端運算主要利用遠端伺服器的運算，再將結果回傳給本機端使用者，因此相當依賴網際網路的基礎建設。尤其為了實現企業級商用軟體雲端服務化，高速、不中綴的網路連線品質為基本要求。全球雲端運算服務領導廠商更是持續建置多個世界級的資料中心(Data Center) ，其中不少更是緊鄰在全球主要光纖骨幹(Backbone)上，以期服務品質能滿足 SLA(Service Level Agreement)保證協議。同時網頁瀏覽器(Browser)在未來將扮演吃重的角色，任何雲端任務將透過 browser 的簡易參數設定、並傳送請求給雲端運算服務提供者去執行。本機端將不需安裝複雜的應用程式、甚至作業系統，因此，精簡型電腦(Thin-Client)可能是未來電腦市場的主流產品

雲端運算的特色

彈性付費模式

•雲端運算主張用多少付多少(Pay-as-you-go)的消費方式，完全視企業的使用需求量提供服務。例如企業目前僅需要 10TB 的儲存空間，但未來因

• Elasticity

• Massive Scalability

• …

•分散式計算系統—碁峰--http://epaper.gotop.com.tw/pdf/AEE034600.pdf

• IBM Cloud Web site : http://www.ibm.com/cloud-computing/tw/zh/what-is-cloud-computing.html