Easier and Faster for hbase in HadoopCon 2014
-
Upload
hubert-fan-chiang -
Category
Data & Analytics
-
view
81 -
download
0
description
Transcript of Easier and Faster for hbase in HadoopCon 2014
Faster and Easier for HBase
亦思科技 Hubert 范姜冠宇
Who are we?
• 位於新竹科學園區• 過去主要客戶為園區各大製造廠• 未來願景 : 全球 HBase 最專業的軟體廠商• 努力方向 :
– 提供 HBase 較好的使用介面– 改善 HBase 效能 , 提高 Availability– 提供各產業完善的 HBase 解決方案
What we done?• 2010.7 以研發雲端計算軟體工具之投資計畫獲准進駐新竹科學園區• 2011 與清華大學資工系鍾葉青教授合作進行產學合作• 少數獲邀參與國際雲端計算研討會 IEEE CloudCom 的專業公司• 少數已經有實際經驗協助客戶完成建置 Hadoop 系統的資訊廠商• 2012.01 JackHare (ANSI SQL JDBC Driver) • 2012.11 HareDB Hbase Client• 2012.12 HareDB Data Model Management• 2013.08 Hare ( High Speed Query in HBase)
Who am I ?
• 姓名 : 范姜冠宇 Hubert• 任職 : 亦思科技• 功能 :
– 設計 HBase 相關產品與解決方案– 替苦悶的 RD 工程師打氣– 在嚴肅場合說冷笑話
TALK ABOUT HBASE
HBase 原生介面
不方便的 HBase
• 資料傾倒問題• Table 管理問題
– Schema 管理問題• 查詢問題 ( 方便 , 效能 )• 程式學習門檻問題
資料傾倒問題
資料傾倒問題
資料傾倒問題
TABLE 管理問題
Table 管理
查詢問題
查詢問題 (UI Query)
查詢問題 (SQL Query)
程式學習門檻問題
如何降低門檻• ODBC/JDBC Driver• HareSQL Driver• Example with R
ODBC DRIVER
ODBC Driver
• http://www.microsoft.com/en-us/download/details.aspx?id=40886
設定 HareDB 連線資訊• 在 ` 開始 ` 搜尋 odbc administrator( 如圖 )• 若作業系統為 X64 ,請執行 64-bit ; X86
請執行 32-bit 。
設定 HareDB 連線資訊• 點選新增,建立新資料來源。• 選擇 `Microsoft Hive ODBC Driver` 後,點
選完成。
設定 HareDB 連線資訊
Excel 讀取 HareDB 示範
Excel 讀取 HareDB 示範
Excel 讀取 HareDB 示範
Excel 讀取 HareDB 示範
Excel 讀取 HareDB 示範
Excel 讀取 HareDB 示範
Excel 讀取 HareDB 示範
Excel 讀取 HareDB 示範
SQL STRING
與應用系統整合 – ( R )
FASTER
Region 4
Client
HBase
HiveQL
HareDriverHive Parser
Hare Planner
Hare Executor Coprocessor
Hare Optimizer
Region 3
EndPoint Instance
Region 2
EndPoint Instance
Region 1
EndPoint Instance
Hight Speed ?
Hare Executor Coprocessor Windup Server
Region 5
SQL A SQL B SQL C SQL E SQL F SQL G SQL H
Impala in Hadoop 115 s 13 s 91 s 78 s 7 s 6 s
Impala in HBase 2925 s 0.26 s 2338 s 5876 s 5832 s oom
Hare (only for HBase)
1410 s 9 s 1355 s 1303 s 1283 s 1258 s 1640 s
Hive in Hadoop 113 s 107 s 110 s 161 s 154 s 163 s 157 s
Hive mr2 10694 s 22 s 9661 s 9462 s 9461 s 9484 s 9032 s
Faster
One more thing ….