Faster and Easier for HBase

亦思科技 Hubert 范姜冠宇

Who are we?

• 位於新竹科學園區• 過去主要客戶為園區各大製造廠• 未來願景 : 全球 HBase 最專業的軟體廠商• 努力方向 :

– 提供 HBase 較好的使用介面– 改善 HBase 效能 , 提高 Availability– 提供各產業完善的 HBase 解決方案

What we done?• 2010.7 以研發雲端計算軟體工具之投資計畫獲准進駐新竹科學園區• 2011 與清華大學資工系鍾葉青教授合作進行產學合作• 少數獲邀參與國際雲端計算研討會 IEEE CloudCom 的專業公司• 少數已經有實際經驗協助客戶完成建置 Hadoop 系統的資訊廠商• 2012.01 JackHare (ANSI SQL JDBC Driver) • 2012.11 HareDB Hbase Client• 2012.12 HareDB Data Model Management• 2013.08 Hare ( High Speed Query in HBase)

Who am I ?

• 姓名 : 范姜冠宇 Hubert• 任職 : 亦思科技• 功能 :

– 設計 HBase 相關產品與解決方案– 替苦悶的 RD 工程師打氣– 在嚴肅場合說冷笑話

TALK ABOUT HBASE

HBase 原生介面

不方便的 HBase

• 資料傾倒問題• Table 管理問題

– Schema 管理問題• 查詢問題 ( 方便 , 效能 )• 程式學習門檻問題

資料傾倒問題

資料傾倒問題

資料傾倒問題

TABLE 管理問題

Table 管理

查詢問題

查詢問題 (UI Query)

查詢問題 (SQL Query)

程式學習門檻問題

如何降低門檻• ODBC/JDBC Driver• HareSQL Driver• Example with R

ODBC DRIVER

ODBC Driver

• http://www.microsoft.com/en-us/download/details.aspx?id=40886

設定 HareDB 連線資訊• 在 ` 開始 ` 搜尋 odbc administrator( 如圖 )• 若作業系統為 X64 ，請執行 64-bit ； X86

請執行 32-bit 。

設定 HareDB 連線資訊• 點選新增，建立新資料來源。• 選擇 `Microsoft Hive ODBC Driver` 後，點

選完成。

設定 HareDB 連線資訊

Excel 讀取 HareDB 示範

Excel 讀取 HareDB 示範

Excel 讀取 HareDB 示範

Excel 讀取 HareDB 示範

Excel 讀取 HareDB 示範

Excel 讀取 HareDB 示範

Excel 讀取 HareDB 示範

Excel 讀取 HareDB 示範

SQL STRING

與應用系統整合 – ( R )

FASTER

Region 4

Client

HBase

HiveQL

HareDriverHive Parser

Hare Planner

Hare Executor Coprocessor

Hare Optimizer

Region 3

EndPoint Instance

Region 2

EndPoint Instance

Region 1

EndPoint Instance

Hight Speed ?

Hare Executor Coprocessor Windup Server

Region 5

  SQL A SQL B SQL C SQL E SQL F SQL G SQL H

Impala in Hadoop 115 s 13 s 91 s 78 s   7 s 6 s

Impala in HBase 2925 s 0.26 s 2338 s 5876 s   5832 s oom

Hare (only for HBase)

1410 s 9 s 1355 s 1303 s 1283 s 1258 s 1640 s

Hive in Hadoop 113 s 107 s 110 s 161 s 154 s 163 s 157 s

Hive mr2 10694 s 22 s 9661 s 9462 s 9461 s 9484 s 9032 s

Faster

One more thing ….