Page 1 在內容傳遞網路中內容配置機制的設計 The Design of Content Placement...

在內容傳遞網路中內容配置機制的設計 The Design of Content Placement Mechanisms on

Content Delivery Networks

Advisor ：吳和庭教授Speaker ：林裕強Date： 2011/7/29

2

OUTLINE CDN 簡介內容的動態配置機制內容動態配置策略模擬結果與分析結論與未來工作參考資料

3


4

CDN 簡介傳統 client/server 架構當伺服器容納人數過高，頻寬不夠用，或運算速度不

夠快，便購置新的設備與頻寬，成本及維修耗費極大。

client與 server 之間距離過長， delay及packet loss 機會增加，造成使用經驗品質(Quality of Experience，QoE) 低落。

5

CDN 簡介

Fig:client/server 架構

……

users

servers

6

CDN 簡介 CDN (Content Delivery Network) 被稱為

「內容傳遞網路」，目的是通過在現有的 Internet中增加一層新的網路架構，將網站的內容發布到最接近用戶的網路邊緣，使用戶可以就近取得所需的內容。

CDN 應用： IPTV 、雲端、 facebook、 youtube

7

CDN 簡介

Fig:Content Delivery Network 架構

users

original server

Surrogate servers

8

CDN 簡介

Fig:Content Delivery Network

9

CDN 簡介 CDN 設備 CDN 網路架構主要由兩大部分，分爲核心設備和邊緣

設備兩部分。核心設備包含 CDN 網路管理中心、重新導向中心、

內容管理服務器，設備系統安裝在管理中心機房，邊緣主要指異地節點，主要由代理緩存伺服器和負載均衡器等組成。

10

CDN 簡介 CDN 關鍵技術：內容路由、內容分發、內容儲存、內

容管理。內容路由：作用是將用戶的請求導向整個 CDN 網路中

的最佳節點。最佳節點的選定可以根據多種策略，例如距離最近、節點負載最輕等。

內容分發：包含 push 以及 pull 兩種模式， push 由内容管理系統發起，將内容從原始伺服器分發到各代理緩存伺服器節點。 pull 分發通常由用戶請求而驅動。

11

CDN 簡介內容儲存：包含原始伺服器與代理緩存伺服器對於内

容的儲存。原始伺服器由於内容的規模、吞吐量比較大（通常可以達到幾個甚至幾十個 TB ），因此，通常採用如 NAS(Network-attached storage ) 架構。代理緩存伺服器在功能上包括對各種内容格式的支持、對部分緩存的支持，在性能上包括支持的容量、多文件吞吐率、可靠性、穩定性。

內容管理：包含發布、分送、調整、傳遞等過程。主要目標是提高内容服務的效率，提高節點的儲存利用率。

12


13

CDN 內容配置集中式內容配置由內容管理服務器 (Content Manager) 負責執行策略分

發，每經過 T 時間輪詢所有的代理緩存伺服器，統計檔案使用情形。

將統計的檔案結果依策略執行分發，分發到鄰近代理緩存伺服器上。

Ex： pooling by content manager

14

Pooling by content manager

Surrogate server

…………

Content Manager

15


Surrogate server 1

C1

C2C3

Cn

File

流量高及使用次數多

16


Surrogate server

…………

Copy C1 and add to surrogate server2

17

分散式內容配置分散式內容配置依代理緩存伺服器實際情形，對檔案執行不同的分發

策略。實際情形依照代理緩存伺服器流量，統計各個內容使用情形與流量，將符合條件的內容分發到鄰近代理緩存伺服器。

Ex:greedy method

18

Greedy method

Surrogate server

C1

C2C3

Cn

File

.

.C10

.

流量最高、最多人使用的內容加入所有鄰近代理緩存伺

服器中

C1

C2C3

Cn

File

.

.C10

.

19

Greedy method

Surrogate server

…………

C10加入到鄰近伺服器

20

比較集中式內容配置 - 控管容易 -輪詢時的額外負擔分散式內容配置 -應變靈活 - 浪費儲存空間以及頻寬

21

研究動機檔案實際使用情形為何 ? 以公平方式做配置及分發策

略。

伺服器儲存空間限制。

內容供應商與使用者雙方需求。

依使用者距離考量做分發策略。

22


23

動態配置內容策略檔案利用率設置檔案利用率設置三種，分別為 Umax(utility max)、

Umid(utility medium)、Ulow(utility low) 設置利用率目的：使檔案可以依照實際使用情形，讓

代理緩存伺服器迅速採取分發策略以預估使用人數 /可容納的使用人數來設定： Ex ：預估使用人數 50 人，可容納使用人數 100人， utility = 50/100=50%

24

檔案實際利用情形依照檔案實際利用率 L，分為下列幾種狀況。 L > Umax

1. Umid < L < Umax

0 100UmaxUmidUlow

0 100UmaxUlow Umid

25

檔案實際利用情形 Ulow < L < Umid

L < Ulow

0 100UmaxUmidUlow

0 100UmaxUmidUlow

26

動態配置內容策略 ( 續 )

距離及儲存空間設置

設置距離 dmax ：定義為使用者向代理緩存伺服器請求的最遠距離。

儲存空間設置：設定代理緩存伺服器儲存容量上限。

27

動態配置內容策略 ( 續 )

策略運行由原始伺服器將檔案及利用率設定送至代理緩存伺服

器中。各個代理緩存伺服器交換彼此檔案、儲存空間資訊。使用者連上伺服器取得距離資訊。依照利用率變化，執行新增、刪除或重新導向分發策

略。

28

重新導向

目的：將使用者的請求正確的引導至合適的伺服器。

依照檔案使用情形及檔案是否存在考量，使用者請求若使檔案利用率 L > Umax 、 Ulow < L < Umid ，重新導向運作依照距離、代理緩存伺服器內檔案狀態，將請求導向至目標伺服器。重新導向的準確性和效率直接決定了整個 CDN 的效率和性能。

29

重新導向 ( 續 )Surrogate

server

…………

(1) (2)

…………

user

30

重新導向 (續 )

Surrogate server

…………

XX

31

重新導向 ( 續 )

Surrogate server

…………

…………

user

Original server

32

新增檔案目的：將檔案加入到代理緩存伺服器讓使用者可以就

近取得所需檔案。

當檔案利用率 L > Umax ，此時重新導向又找不到合適的目標代理緩存伺服器，也為了避免向原始伺服器拿取資料，因此就會新增檔案到代理緩存伺服器中。

33

新增檔案 ( 續 )

Surrogate server

…………

Check table and ask surrogate

server to add file

34

新增檔案 ( 續 )

Surrogate server

…………

return ok and add file

35

刪除檔案目的：移除不需要的檔案，讓代理緩存伺服器有更多空間容納其它檔案。

刪除過程依照利用率設置，若是檔案利用率 L < Ulow ，依照設定參數 T ，當 T=0 時檔案利用率仍處在 L < Ulow ，表示檔案需要被移除，由代理緩存伺服器直接刪除此檔案。

36

刪除檔案 ( 續 )

Surrogate server

C1

C2C3

Cn

File

L<Ulow

37

刪除檔案 ( 續 )

T

C1

C2C3

Cn

File

L<Ulow X

C2C3

Cn

File

38

OUTLINE

CDN 簡介內容的動態配置機制內容動態配置策略模擬結果與分析結論與未來工作參考資料

39

模擬網路拓墣

Fig ：模擬之網路拓墣

client

Surrogate server

Original server

Weight=2

Weight=1

40

模擬參數參數名稱設定值

Umax 90%

Umid 20% 、 40% 、 60% 、 80%

Ulow 10%

dmax 6 、 no limit

Total number of files 3

File size 10KB 、 100KB 、 1MB

Bandwidth 1Mbps

Storage limit 1MB 、 no limit

Time to delete No request in 10 times

Request arrival pattern exponential distribution, mean inter-arrival time = 1000ms

Simulation time 1000s

Propagation delay uniform(0.1ms,1ms)

Process delay 1ms

41

storage limit=1MB or no limit

Fig ：使用者平均下載時間 (100KB)

42


Fig ：使用者平均下載時間 (1MB)

43


Fig ：檔案總新增次數

44


Fig ：檔案總刪除次數

45

limit dmax or no limit


46



47


Fig: 新增總次數

48


Fig:刪除總次數

49

Mixed utility

由前兩項模擬得知伺服器儲存容量及使用者到伺服器之間的距離會影響下載時間。

利用率設置越高，造成新增刪除檔案次數增加。因此針對不同檔案個別設定不同利用率，將 1MB 檔

案設置 Umid= 20%、 100KB 檔案設置 Umid = 60%、 10KB 檔案設置 Umid = 80%

50

Mixed utility


51

Mixed utility


52

Mixed utility

Fig ：檔案總新增次數

53

Mixed utility

Fig ：檔案總刪除次數

54


55

結論伺服器儲存容量，影響檔案是否能成功加入，但也間

接影響使用者下載時間。

除了距離影響下載時間，距離所能涵蓋到的伺服器個數，也會影響使用者平均下載時間。

依據不同的檔案大小，設置不同的利用率，對於平均下載時間較穩定。

56

未來工作與分散式配置做比較不同網路拓墣做測試。檔案及伺服器儲存容量增加及影響。檔案可容納人數增加，對於其它檔案以及下載時間的影響。

採用其它查表方式減少更新表格的額外負擔。

57

參考資料 [1] F. Lo Presti, C. Petrioli, and C. Vicari,

“Distributed Dynamic Replica Placement and Request Redirection in Content Delivery Networks ,” in Proceedings of MASCOTS 07, 2008.

[2] N. Bartolini, F. Lo Presti, and C. Petrioli, “Optimal dynamic replica placement in Content Delivery Networks,” in Proceedings of the 11th IEEE International Conference on Networks, ICON 2003, Sydney, Australia, September 28–October 1 2003, pp. 125–130.

[3] F. Lo Presti, C. Petrioli, and C. Vicari, “Dynamic replica placement in content delivery networks,” in Proceedings of MASCOTS 05, September 2005.

58

Q&A

Thanks for your attention

Page 1 在內容傳遞網路中內容配置機制的設計 The Design of Content Placement...

Documents

Transcript of Page 1 在內容傳遞網路中內容配置機制的設計 The Design of Content Placement...