ソフトウエアジャパン2017　IT Forum AITC(3)

Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

『空気を読む家』における IoT 技術

2017 年 2 月 3 日

先端 IT 活用推進コンソーシアムナチュラルユーザーインターフェース活用部会リーダー

岡村和英 ( 株式会社テクリエ )


Today’s Topics

Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3

NUI 部会活動紹介

睡眠環境データの取得

今後の取り組み


活動テーマ

人の自然な振る舞いや仕草をユーザーインターフェースとする

ナチュラルユーザーインタフェース（ NUI ）を追求

様々なデバイスを実際に使用したりプロトタイプの開発を通して

現時点での限界や可能性を探求5


ゴール

協働プロジェクト「空気を読む家」のなかで

日常的な人間の振る舞いが自然なインターフェースとして

システムと繋がるようなフレームワークを検討・開発する

6


これまでの活動内容

NUI 技術及び事例の調査

NUI デバイスを用いたアプリ試作

7


デジタルガジェット祭り

8

各種デバイス、およびそれを利用したアプリケーション等を紹介・展示。最新デバイスを身近に触れる機会を提供。


デジタルガジェット祭り

9

昨年６月に行った第 3回では、コンソーシアムメンバーが作成した自作の IoTガジェットを紹介


NUI を活用した乗車券販売機

10

TheEyeTribeTracker視線を検出する

アイトラッキングセンサー

LeapMotion指と手の動きを検出する

モーションセンサー


空間 OS による照明制御

12

空間OS

訪問者情報

在宅状況

室温

状態取得

Hue ブリッジ照明制御

在宅状況に応じた ON/OFF 制御• 不在時は自動消灯• 帰宅時に自動点灯

誰もいないよ！消灯！


空間OS

訪問者情報

在宅状況

室温

状態取得


来客の通知　・知人、宅配便など　　　→ 人がいる部屋の電灯を点滅　・セールスマン　　　→ 何もしない（無視）

来客だよ！アラート！



空間OS

訪問者情報

在宅状況

室温

状態取得


環境に応じた調色制御　・室温が高い　　　　　　→ 寒色系の色合い　・室温が低い　　　　　　→ 暖色系の色合い

寒いよ！

温かい気分に！



在室状況

起床時刻

睡眠度

起床制御

07:30

2 of 9

在室

起床時間にはちょっと早いけど、睡眠が浅いから環境音楽と優しい照明で

ゆっくりと起こし始めよう

空気を読む家における起床

空間OS

状態取得

睡眠レベルや起床すべき時刻に基づいて、起きやすい状態の時に目覚めを誘う

超指向性スピーカーで狙ったところに音を届ける


在室状況

起床時刻

睡眠度

起床制御

07:30

4 of 9

在室

起床時刻なのにまだ寝てるぞ！うるさい音と激しい点灯ではげしく起こさないと！

空間OS


状態取得

状態に合わせて起こし方を変える


在室状況

起床時刻

睡眠度

状態取得起床制御

07:30

在室

無事に起きれたみたいだ。音を止めて

普通の灯りをつけよう！

0 of 9

空間OS



UX 技術部会との連携

18

マンガ駆動開発 !!


データ取得の目的

• 空気の読む家における睡眠の位置づけとはどういうものか？

• 快眠を得られる環境は人によって違うのではないか？

• 環境と睡眠具合の関係を調べ、再現することによって快適な睡眠を得られるようにすることが出来るのではないか？

20


取得するデータ

• 睡眠具合を示す指標– 睡眠時間– 睡眠度（深い眠り、浅い眠り、レム睡眠）–途中の目覚め（回数、時間）

• 睡眠に影響を与えるもの– 温度、湿度、風速 → 体感温度– 明るさ、騒音– 気圧–就寝時刻、起床時刻

などなど21


睡眠データの計測

• 睡眠具合をデータ化するための手段として睡眠度を測定可能なセンサー商品を用いた– リストバンド型活動量計

Jawbone UP3– 電波式睡眠計

オムロン HSL-101– マット式睡眠計

タニタスリープスキャン SL-504• いずれの商品も専用アプリケーションを用いて

サーバーにデータをアップロードすることで、睡眠時間・睡眠度などの表示が行えるようになっている

22


睡眠データの表示例

23

UP3 HSL-101 SL-504


睡眠データの取得

24

• Jawbone 社の提供する APIを用いて、同社サーバー上に蓄積された睡眠データの取得を行えるようにした

[ { "time_completed": 1484695142, "xid": "Be-Z567GsRIEWTDnfnQ-_NaBVxVzKH7y", "title": "for 5h 42m", "time_created": 1484671133, "time_updated": 1484920278, "details": { "body": "", "tz": "Asia/Tokyo", "awakenings": 2, "light": 14001, "mind": 0, "asleep_time": 1484671975, "deep": 0, "awake": 3415, "rem": 5368, "duration": 24009, "smart_alarm_fire": "", "quality": "", "awake_time": 1484694818 }, "date": 20170118, "shared": true, "sub_type": 0, "phases": [ { "depth": 1, "time": 1484671133 }, { "depth": 2, "time": 1484671975 }, ......


環境データの計測

• 各環境データ用の測定センサーを含む電子回路を試作し、マイコン基盤を用いてデータの数値化と収集を行った

25



26

温湿度センサーモジュール（ DHT11 ）気温と湿度を測定（精度はあまり高くない）

大気圧センサーモジュール（ LPS331AP ）大気圧、海抜高度、気温を高精度で測定

照度センサー（ CdS セル）明るさにより電圧が変化

音量センサーモジュール（浅草ギ研 AS-SS ）一定時間内でのピーク音量を演算して検出



27

測定用プローブ：温めたダイオードに風が当たることで生じる温度低下による電圧変化を検出する

熱式風量センサー（自作）



28

ZigBee 通信モジュール :センサーから取得した値を無線送出する

制御用マイコン（ Arduino UNO ）


ログファイル

環境データの収集

29

約 0.5秒毎に各データを測定し、 PC に接続された親機に送信受信したデータを 10秒単

位に集計。平均値（音量のみ最大値）を plotly に送信し、リアルアイムでグラフ描画

受信したデータを逐次、日毎のログファイルに保存

クラウド部会のデータ解析担当者に提

出


環境データの出力例

30

湿度（％）気温（℃）気圧（ｈPa ）

音量（ V ）

照度（ V ）

風量（ V ）

センサー側で単位変換された値を記録

センサーの出力電圧をそのまま記録


試作所感• 制御および通信周りのプログラムについては過去に作成

したものがほぼ流用できた• 風速センサーについては、思ったよりも感度が敏感で回路の調整に手間取った→ プローブ以外の部分に風があたらないようケースに入れ

るなどの工夫も必要• 音量センサーはかなり大きな音でないと反応せず、睡眠

時の騒音を測定するには不向きであった→ 配布版に先立ち自作を行おうと思ったが時間不足で断念

• ZigBee のパケット抜けにより不正なデータが混入するケースが多々生じた→ バイナリ化して１パケットに収める、またはチェックサ

ムを設けてエラー検出することが必要

31


配布版の製作• より多くのデータを収集するため、配布用に 10 セッ

トの測定モジュールを用意することにした• 試作版からいくつかの変更を行った

– CdS をフォトトランジスタに変更– 気圧センサーが廃版となったため、後継製品に変更– アナログ温湿度センサーもより精度の高いデジタルセン

サーに変更– 風速センサーは製作難度が高く、また設置後の調整作業も必要となるため除外

– 音量センサーの改良も時間不足で断念、配布版からは除外• ZigBee を用いた無線接続は使わず、 USB直結で行って

もらうことにした– 後述のとおり ZigBee での運用には限界があり、また費用を

かけるのであれば今後 WiFiへの改良に使った方がよいのでは？という思いもあった 32


配布版センサーセット

33

温湿度センサーモジュール（ HDC1000 ）気温と湿度を高精度に測定

大気圧センサーモジュール（ LPS25H ）大気圧、海抜高度、気温を高精度で測定

照度センサー（フォトトランジスター）明るさにより電圧が変化


製作所感• 10 セットの測定モジュール組み立ては配布前日からの徹夜作業になってしまいかなり大変だった– 特に配線用のジャンパケーブルを作成するのに時間がかかった→ 今後同様のことを行うのであれば、各自に組み立てて貰いたい

が、回路図・配線図などを作成し提供する作業も大変なので悩ましい

34

• Arudinoとの配線の説明は文章だとわかりにくそうだったので写真を加工して図解してみた– 空港への移動中に画像加工

• 制御用マイコン含めてワンボード化できるとよりよかった– その方が設置も容易


データ収集所感• 収集用 PC に Windows10 の自動アップデートで勝手にリブー

トしてしまい、収集が途切れてしまうことが頻発した→ ローカルグループポリシーを変更して、自動アップデート

を行わないように設定した→ PC を介さず、 Wi-Fi などで直接外部サーバーにデータ蓄積を行うように変更したい

→ WiFi前提であれば Arduino ではなく、 ESP-WROOM-02 を使ってワンボード化したい

• 睡眠データ、環境データのそれぞれをファイルとして提供してもらうのは手間だし、プライバシー保持の面からも望ましくない→ 空間 OS のリポジトリに自動的に登録できる仕組みを考える→ Jawbone の API で PubSub 機能が提供されているので、それ

を使う？→センサーからのデータも Wi-Fi などでアップロードする

35


ソースコード

https://github.com/kzokm/aitc-nui-20170203

36






IoT の技術要素

• センシング（計測、把握）• ネットワーキング（接続、収集）• アナリシス（分析、評価）• フィードバック（指示、制御）• セキュリティ（情報保護）

38


今回できたこと

• センシング（計測、把握）• ネットワーキング（接続、収集）　　 → NUI 活用部会にて実施• アナリシス（分析、評価）　　 → クラウド活用部会にて実施• フィードバック（指示、制御）• セキュリティ（情報保護）　　　 → 今後の検討課題

39


空気を読む家と IoT

• IoT デバイスに求められる性質とは？– ロバストネス– コネクティビティ–ポータビリティ– セキュリティ

• 空間 OS との連携– エンドポイントの発見・利用– データ活用の範囲、匿名化

40


空気を読む家と NUI

• 空気を読む家＝ユーザーインターフェースを必要としない家？– 空気を読む＝オートメーションとは限らない– 自動化がすすんでも明示的な操作が必要とされる場面は存在する

–その時々に応じて必要・適正な操作を促し、導くことも空気を読んでいるといえるのではないか？

• 「 NUI とは何か？」をもう一度考えてみよう

41

最新情報はこちらをご参照ください


http://aitc.jp

https://www.facebook.com/aitc.jp

ハルミンAITC非公式イメージキャラクター

http://aitc.jp/

http://aitc.jp/

http://aitc.jp/

https://www.facebook.com/aitc.jp

ソフトウエアジャパン2017　IT Forum AITC(3)

Technology

Transcript of ソフトウエアジャパン2017　IT Forum AITC(3)

ソフトウエアジャパン2017 IT Forum AITC(3)

Technology

Transcript of ソフトウエアジャパン2017 IT Forum AITC(3)

ソフトウエアジャパン2017　IT Forum AITC(3)

Transcript of ソフトウエアジャパン2017　IT Forum AITC(3)