Hue勉強会 20131008
-
Upload
cloudera-japan -
Category
Technology
-
view
1.667 -
download
0
description
Transcript of Hue勉強会 20131008
![Page 1: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/1.jpg)
The Hadoop UI Sho / Romain - October 2013
Cloudera Meetup Tokyo
![Page 2: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/2.jpg)
http://www.cloudera.co.jp/jpevents/cwt2013/
![Page 3: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/3.jpg)
Welcome !
![Page 4: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/4.jpg)
自己紹介
• 嶋内 翔(しまうち しょう) • 2011年4月にClouderaの最初の日本人社員として入社
• テクニカルサポート業務をメインに、日本における技術に関係する業務全般を担当
• email: [email protected] • twitter: @shiumachi
![Page 5: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/5.jpg)
Romain Rigaux
![Page 6: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/6.jpg)
• Hueって何? • デモ: Hue で何ができるの? • Hue の将来
今日のアジェンダ
![Page 7: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/7.jpg)
Hueって何? • Hadoopを使いやすくするためのWebUI • 色々なHadoopエコシステムの集合体 • (e.g. Hive, Pig, Impala, Oozie, Solr, Sqoop, HBase...)
![Page 8: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/8.jpg)
View from 30 000 feet
![Page 9: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/9.jpg)
Ecosystem
![Page 10: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/10.jpg)
Hueの目的
• Hadoop初心者が触るのに最適 • 色々な角度からプラットフォームを扱い、慣れ親しむ
• 誰もがビッグデータ処理をできるようにする
![Page 11: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/11.jpg)
Hue is Open Source
![Page 12: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/12.jpg)
Community
hue-user@
![Page 13: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/13.jpg)
Hue and Django Apps = Django apps Core = Libs and main UI
![Page 14: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/14.jpg)
Hue has a lot of Frontend
Drag
JQuery, Bootstraps KnockOut, CSS… Drag & Drop, UX
![Page 15: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/15.jpg)
Hue アプリケーション(1) ファイルブラウザ
![Page 16: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/16.jpg)
ファイルブラウザ
![Page 17: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/17.jpg)
ファイルのアップロード
![Page 18: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/18.jpg)
ファイルの閲覧
![Page 19: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/19.jpg)
ファイルの編集も可能
![Page 20: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/20.jpg)
Hue アプリケーション(2) Beeswax
![Page 21: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/21.jpg)
Beeswaxとは
• HiveのWebインタフェース • 以下の操作を実行可能
o サンプルファイルからテーブルを作成(Metastore Manager に統合)
o クエリの保存・実行 o テーブル内のデータの閲覧
![Page 22: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/22.jpg)
クエリの実行
![Page 23: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/23.jpg)
クエリの保存・管理
![Page 24: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/24.jpg)
Hue アプリケーション(3) Impala Query Editor
![Page 25: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/25.jpg)
ImpalaもHive同様にクエリ実行可能
![Page 26: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/26.jpg)
Hue アプリケーション(4) Pig Editor
![Page 27: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/27.jpg)
Pig も Hue から実行可能
![Page 28: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/28.jpg)
Hue アプリケーション(5) Metastore Manager
![Page 29: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/29.jpg)
Hive/Pig/Impala共通のテーブル管理
![Page 30: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/30.jpg)
ファイルから新しいテーブルを作成
![Page 31: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/31.jpg)
ファイルから新しいテーブルを作成
![Page 32: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/32.jpg)
ファイルから新しいテーブルを作成
![Page 33: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/33.jpg)
Hue アプリケーション(6) Oozie Editor
![Page 34: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/34.jpg)
Oozieとは
• MapReduceやHiveなどのジョブのワークフローを管理するツール
• HueのWebインタフェースから作成・管理可能
![Page 35: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/35.jpg)
ワークフローの管理
![Page 36: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/36.jpg)
ワークフローの作成
ドラッグ&ドロップが可能 マウス操作だけでワークフローが作成できる
![Page 37: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/37.jpg)
コーディネータ管理
ワークフローを定期実行を設定するための機能 実行日ごとに出力先を変えたり、同時に実行可能な数を指定することができる
![Page 38: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/38.jpg)
Hue アプリケーション(7) Sqoop
![Page 39: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/39.jpg)
Sqoopのジョブを作成する
![Page 40: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/40.jpg)
Sqoop ジョブの管理
![Page 41: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/41.jpg)
Hue アプリケーション(8) Cloudera Search
![Page 42: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/42.jpg)
Apache Solr
• オープンソースの検索システム • キーワード検索や属性検索により、Googleのような検索システムを構築可能
• ClouderaではSearchとして2013年6月から提供開始 o MapReduceによるインデックス作成 o Flumeによる高速インデックス更新 o HDFS上の非構造データをそのまま検索可能
42
![Page 43: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/43.jpg)
Cloudera Search アーキテクチャ
43
Webサーバ等の ログを生成するサーバ
携帯端末の 通信ログ
Hadoop
ストリーミングで インデックスを更新
バッチ処理で インデックス更新
インデックスを分散保持
Webインタフェース
![Page 44: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/44.jpg)
検索結果
![Page 45: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/45.jpg)
コレクションエディタ (1) スニペットビジュアルエディタ
![Page 46: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/46.jpg)
コレクションエディタ (2) ファセット設定
![Page 47: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/47.jpg)
コレクションエディタ(3) ソート
![Page 48: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/48.jpg)
コレクションエディタ(4) ハイライト
![Page 49: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/49.jpg)
インデックス設定
![Page 50: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/50.jpg)
Hue アプリケーション(9) HBase App
![Page 51: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/51.jpg)
HBase も Hue から操作可能
![Page 52: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/52.jpg)
Hueで何ができる?
![Page 53: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/53.jpg)
Demo !
![Page 54: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/54.jpg)
More!
gethue.tumblr.com/tagged/tutorial
![Page 55: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/55.jpg)
What's next in Hue?
![Page 56: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/56.jpg)
Roadmap
• 3.0 : October o UI の再設計 o Google docs っぽいインタフェースに o YARN o ZooKeeper app o ? (コミュニティ次第)
• 3.5 : February 2014 o アプリケーション間連携 o グラフ o ? (コミュニティ次第)
![Page 57: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/57.jpg)
Hue 1 - CDH3
![Page 58: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/58.jpg)
Hue 2 - CDH
![Page 59: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/59.jpg)
Hue 2.5 - CDH4.4
![Page 60: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/60.jpg)
Hue 3 - CDH5 New design New top navigation bar
![Page 61: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/61.jpg)
Hue 3 - New document model
● Home (like Google Drive) ● Unified sharing permissions ● Tags
![Page 62: Hue勉強会 20131008](https://reader034.fdocument.pub/reader034/viewer/2022052303/556262fad8b42a14048b4d0f/html5/thumbnails/62.jpg)
Links
• gethue.com o Videos, Hadoop Tutorials o Demo VM o CDH package
• @gethue
• hue-user@ o Help o Contributors