XConveryer: Guarantee Hadoop Throughput via
Lightweight OS-level Virtualization
An Qin, Dandan Tu , Chengchun Shu, Chang Gao
碩資工一甲 王聖爵 1098308103
大綱 背景 問題 提出方案 實驗結果 結論
背景 NASA 需要收集大量的數據來自約 20 個
data centers, 處理 20TB/day, 這數字正持續成長
在中國 , 百度需要從多個數據中心處理150TB/day 的資料量
Hadoop, 提供了一個類似 Google 的簡單解決方案為解決大規模數據處理問題
問題 (1)
一個公司 , 多個部門工作運行在同一平台
資源的挑戰
競爭失敗的工作必須重新安排
導致效能的耗費與時間的開銷
問題 (2)
作者的 Hadoop 的平台(持有 10 個節點, 10TB 的數據 HDFS )
展示了一些工作的被 kill 與改期, killed jobs速度加快與工作數量的關係
問題 (3)
資源利用率不完整
總消耗的時間延長
間接成本增加
解決方案 新的調度法在 JobTracker
Add hooks in TaskTracker
Cgroup subsystems in kernel
Add hooks in TaskTracker
監測與控制任務的執行
被調用的 hooks 在追踪運行的任務,和孩子們的任務,將其管理的建成集裝箱通過註冊自己 的 pid 號
Cgroup subsystems in kernel
實做 Cgroup subsystems plugged in kernel
執行自訂義的政策
disk I/O(Disk subsystems)
Network I/O(Network subsyste,s)
實驗結果 (1)
Csae 1: 單一程序運行
Case 2:A 與 B 程式一起運行
Case 3: 配置比例 A:B=1:4
Case 4: A:30%
實驗結果 (2)
結論 此種解決方案 , 可透過控制方式 , 始應用能
夠在多種情況下執行 , 並且獲得設定好的資源
提高資源利用率
Top Related