re:Invent 2016...

あなたの側で、あなた以上に考える。

re:Inventの振り返りで学ぶAWSを利用したデータ活

用戦略と、サバカン屋の新作缶づめ戦略

1

あなたの側で、あなた以上に考える。Agenda

1. 自己紹介 /会社紹介

2. 弊社IoT/データ活用事例

1. 社内事例 - パンデミック防止のための温度・湿度可視化事例

2. IoT 概念実証 - 大阪の企業様との実証例

実証で出てきた課題点

3. re:Inventで発表された新サービスで課題点の解決

モダンデータアーキテクチャ

サーバレスで大量のデータ処理/整形/解析が可能に

Amazon Athena / AWS Glue

4. re:Inventで配布された Amazon Echo Dotで学ぶLambda

5. まとめ2

あなたの側で、あなた以上に考える。自己紹介

20年程前電子工作少年

N88-BASIC パラレルポート経由でLチカ、ラジコンを動かしたり…

現在

前職：不動産ASPの開発PHPプログラマ＋Linuxサーバ管理者＋情シス

現職：様々な角度から日々のサーバ管理業務にまつわる

業務効率化、自動化、新規サービス開発に取り組んでおります。

趣味：Raspberry PiでLチカ、R2D2をJuliusで日本語対応させて動かしたり…

株式会社スカイアーチネットワークス

運用自動化責任者神津崇士 (こうづたかし）

tktk19

http://kouzu.info


4

サバカン屋(サーバー管理)

大阪

NY

大連

東京サバ缶活動

どんな会社？

SKYPV(展示用).mp4


5

普段の業務風景

サーバー購入サーバー構築サーバー運用


6

ラスベガス用のサバ缶つくりました

【オリジナル】サーバー屋のサバ缶

【トレンドマイクロコラボ】サーバーを守る会社のサバ缶

【ラスベガス限定】サーバー屋のラスベガス缶！！


7

３００缶作りました


8

出展しました


9

作り過ぎました…












5. まとめ10


11

社内事例 - パンデミック防止のための温度・湿度可視化事例

▼ 背景

ここ２，３年

インフルエンザ等パンデミックが起きてしまっている

▼ 対策

1. マスク・手洗いの徹底

2. 湿度が５０%を切らないようにする(ウイルスの活動しにくい環境作り)

▼ 実施した事

社内にセンサをばらまき、見える化

あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度可視化事例

12

年初めに作成したRaspberry Piサイネージ活用


15秒おきに 8個のセンサから温度・湿度取得TWE-Lite(ZigBee) + Raspberry Pi で送信

→ Dashboardフレームワークで見やすく表示

13


MongoDBに蓄えられた現時点5009万件の温度・湿度・場所データ


15

社内事例 - パンデミック防止のための温度・湿度可視化事例

パンデミック防止の観点で残念ながら負け若手を中心に約10名程のインフルエンザ感染が発生

• 夜間サーバ監視や、コンビニ飯で不摂生している若手エンジニアが多い同じ寮に住んでいても、自炊をしている人は掛かっていない

• 加湿器への水補給が追いつかず、50%以上は維持するのが難しい

→ 加湿器の水切れを大きく通知しなければ注意を引けない

• 場所によって温度が最大で3度程、湿度も30％の違いがあった

→ サーキュレーターの効果的な設置場所を見極める必要がある？

• 作成したシステムパンデミックの起きた事もあり、今後より使われそうなシステムとなったデータ解析ツール立ち上げのためにサーバ構築せねばで大変データ連携には自前でコンバート等せねばならない、、、

→ 予算とってクラウドに置けば良かった


16

半年に2台ペースで SDカードが昇天、電源により不安定な事も

→ 安定動作するデバイスが欲しい

Raspberry Pi 2 Model B を利用












5. まとめ17

あなたの側で、あなた以上に考える。IoT 概念実証 - 大阪の企業様との実証例

18


19

or

• CONPROSYSとは

WebUI上でタスクスクリプティング&モニタリング

• AWSサービスへ接続を弊社で実証

センサ接続


20

SensorTag

モータの振動を検知！

9種類のセンサを内蔵S3

ConprosysPC

LabVIEWCloudberry

カメラ画像

モータ電圧・マイク音量

各種センサ値を可視化して見える化

Raspberry Pi

EC2

PLC


21

IoT 概念実証で出てきた課題点

PoCフェイズのため

センサ値取得→UPしたいデータやフォーマットが常に増える・変わるを繰り返す

• このセンサ・機器からのデータを取得してみたい

• 取得出来た！が別機器のほうがサンプリングレートが良いためこちらで実施したい、追加でこちらの機器のデータも取り込みたい

• データアップロード・コンバート形式の新規作成・変更フォルダ構成案、ローテーションの再検討

→ 仕様変更と吐き出されるCSVフォーマットの変更に追従していく必要がある












5. まとめ22

あなたの側で、あなた以上に考える。Amazon Athena

23

Amazon Athena の発表

あなたの側で、あなた以上に考える。Amazon Athena

24

Amazon S3 内のデータを SQL を使用して簡単に分析可能に裏では、クエリを並列化して何百、何千コアに分散し数秒で結果が帰る

サーバレスで動作するため、インフラストラクチャ管理コスト無し

あなたの側で、あなた以上に考える。モダンデータアーキテクチャ

25

現在のデータ分析の仕事のうち作業の80% は分析に関係ない作業様々なデータソースからデータを取り出し、データストア先に統合する

には糊のような役割が必要

あなたの側で、あなた以上に考える。AWS Glue

26

AWS Glue の発表


27

Step 1. データカタログの構築JSON、CSV、Parquet(パーケイ)など、多くの一般的なデータタイプに対し

て、あらかじめ作成された分類子を使用してデータカタログを構築


28

Step 2. データ変換ルールをコードで記載データソースとターゲットを選択すると、AWS GlueはPythonコードを生成してソースからデータを抽出、データを変換行いターゲットにロード

します


29

Step 3. スケジュールの作成・実行定期的にトリガに応じて、フローを実行できます。データ量が増えるにつれて実行時間が一定に保たれるように、ジョブの実行を適切な順序で調整し、失敗したジョブを自動的に再試行します。必要なインフラスト

ラクチャをスケーラブルに拡張します。












5. まとめ30

あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda

31

参加者全員に配布されました！！


32

このデバイスでLambda実行できるプログラムを開発！


33

Lambdaとはhttps://aws.amazon.com/jp/lambda/


34

Skillという概念で色々な機能を追加出来ます

（iPhoneのアプリのような概念）

※英語Only、国内利用不可

• 音楽を再生する

• SmartHome連携機能の呼び出し

• 天気予報を読み上げる

• ニュースサイトのニュースを読む

…

• 雷の音を再生して

• 猫にまつわるウンチクを教えて

• 私を奮い立たせる名言を教えて


35

本日のブログ投稿数を教えてくれるSkillを作成する事に


36

Lambda実行時のイベントにAlexa Skills Kitを指定


37

詳細は弊社ブログまで！

Amazon Echoの応答


38

あなたの側で、あなた以上に考える。まとめ

1. データ分析・変換系の新サービス

データをよりシームレスに繋ぐ事の出来るサービスが次々と出ており、デー

タ分析までに必要な時間が劇的に短縮される

特にS3に上げておくだけでも解析が出来るようになる！

2. 人口知能系の新サービス

AWSのサービスと直結出来るインターフェースを持った

Amazon Echo等の製品で、データさえAWSに上げておけば

様々な処理、結果取得を音声だけで出来る未来はすぐそこにある

3. サーバー管理会社はお客さまにどのようなサービスを提供すべきか

様々なAWSのサービスに精通しつつ、構成案から提案をし

サバ缶だけでなく、Lambdaも缶づめのように提供する必要がある

39


40

coming soon…

ご清聴ありがとうございました。

re:Invent 2016...

Internet

Transcript of re:Invent 2016...