Google Big Query

Post on 06-Aug-2015

1.121 views 0 download

Transcript of Google Big Query

Google BigQueryに見る Managedな未来

玉川竜司 @ Sky

Self introduction新大阪のソフト会社勤務。 設計からフィールド対応まで何でもあり

オライリージャパンで翻訳してます

‘Google BigQuery Analytics’ でたぶん25冊目くらい

家では猫のベッド

Translation works

Upcoming

7月 8月? 年内

Upcoming

7月 8月? 年内

× Hell See ○ Healthy

Google BigQueryRDBと同じように、テーブル形式のデータをSQLで分析できるサービス

すごく安くて速くて簡単

データがどれだけたくさんあっても速度があまり落ちない

Googleさんの他のサービス(AdSenseとか)と併せて使うととても便利

JDBC、ODBCでアクセス可能

REST API、コマンドラインクライアント、Java / Python SDKあります

demonstration

Behind the scenes超高速なネットワーク(参考:http://googlecloudplatform-

japan.blogspot.jp/2015/06/google-jupiter.html)で接続された、大量のディスクやコンピュートノード群が、動的にツリーを構築してクエリを処理する

compute node

compute node

compute node

compute node

compute node

compute node

compute node

Disk Disk Disk Disk Disk Disk

compute node

compute node

compute node

compute node

compute node

compute node

compute node

compute node

compute node

compute node

compute node

compute node

compute node

Behind the scenes「シャッフル」を伴う少し複雑なケース

Disk Disk Disk Disk DiskDisk

いくらでもスケールしてくれて、めっちゃ高性能だけど 使うのは簡単。

それを支える技術や設備は(見えないけれど)魔法レベル

‘Managed’

要はクラウドプロバイダ側で、諸々の管理をしてくれるということ

どのレベルまで管理をしてくれるかは、プロバイダ/サービスによってそれぞれ

概して、Googleさんのサービスはマネージド度高いです

Managed : the future?

時間と共に、マネージドなサービスが使われることが増えていくでしょう

「あなたのビジネスの競争力はどこからきていますか?」

ただし、マネージドということは、(少し)融通が利かないということでもあります

使いどころの見極めが大事

Thinking low-level, Writing High-levelデバイスやアルゴリズムの性格や制限を知っておくことは非常に大切

マネージドなサービスとはいえ、そういった制約から逃れられるわけではありません

低いレイヤーのことを知った上で、高いレイヤー(マネージドなサービス)を利用しましょう

そして、自分が書く・構築する量を減らし、いいものを早く実現しましょう

Questions ?