XConveryer: Guarantee Hadoop Throughput via

Lightweight OS-level Virtualization

An Qin, Dandan Tu , Chengchun Shu, Chang Gao

碩資工一甲 王聖爵 1098308103

大綱 背景 問題 提出方案 實驗結果 結論

背景 NASA 需要收集大量的數據來自約 20 個

data centers, 處理 20TB/day, 這數字正持續成長

在中國 , 百度需要從多個數據中心處理150TB/day 的資料量

Hadoop, 提供了一個類似 Google 的簡單解決方案為解決大規模數據處理問題

問題 (1)

一個公司 , 多個部門工作運行在同一平台

資源的挑戰

競爭失敗的工作必須重新安排

導致效能的耗費與時間的開銷

問題 (2)

作者的 Hadoop 的平台（持有 10 個節點， 10TB 的數據 HDFS ）

展示了一些工作的被 kill 與改期， killed jobs速度加快與工作數量的關係

問題 (3)

資源利用率不完整

總消耗的時間延長

間接成本增加

解決方案 新的調度法在 JobTracker

Add hooks in TaskTracker

Cgroup subsystems in kernel

Add hooks in TaskTracker

監測與控制任務的執行

被調用的 hooks 在追踪運行的任務，和孩子們的任務，將其管理的建成集裝箱通過註冊自己 的 pid 號

Cgroup subsystems in kernel

實做 Cgroup subsystems plugged in kernel

執行自訂義的政策

disk I/O(Disk subsystems)

Network I/O(Network subsyste,s)

實驗結果 (1)

Csae 1: 單一程序運行

Case 2:A 與 B 程式一起運行

Case 3: 配置比例 A:B=1:4

Case 4: A:30%

實驗結果 (2)

結論 此種解決方案 , 可透過控制方式 , 始應用能

夠在多種情況下執行 , 並且獲得設定好的資源

提高資源利用率