1

脳波や心拍で参加する仮想ライブ体験システム

芝浦工業大学 工学部 情報通信工学科

准教授 堀江 亮太

【別紙5】

平成30年7月5日

2

従来技術とその問題点

没入型ヘッドマウントディスプレイを用いた

仮想ライブ体験システムが開発されている。

VRライブの映像視聴のみではユーザーが

能動的にライブに参加をする体験は得られにくい。

3

没入型ヘッドマウントディスプレイで

仮想ライブを視聴しているユーザから

脳波や心拍などの生体信号を測定して

興奮状態などの精神的盛り上がりを検出し

生体信号に連動して仮想ライブ映像に

視覚的エフェクトを出現させる

仮想ライブ体験システム

新技術の概要

4

新技術の要素技術簡易脳波計を用いたβ／α比に基づく簡易ブレイン‐コンピュータ・インターフェース

・1/16秒毎に脳波原波形から窓長１秒間のＦＦＴで振幅スペクトルを計算する。

・8回分の振幅スペクトルの平均を求める。

・β波帯域（14-19Hz）の平均振幅／α波帯域（8-13Hz）の平均振幅を計算する。

・平均1.0以下でゆらいでいるが、集中や興奮によって上昇する。

・あらかじめ設定した閾値を超えたらコマンドを生成する。

時間[s]

閾値

β／α比

5

簡易BCI×IoTによる電動車椅子の操作簡易ブレイン‐コンピュータ・インターフェースの応用例①

6

簡易BCI×IoT× ARによるスマート家電の操作簡易ブレイン‐コンピュータ・インターフェースの応用例②

7

簡易BCI×ＶRによるゲームの操作簡易ブレイン‐コンピュータ・インターフェースの応用例③

8

WiFi/LAN（TCP/IP）

脳波データ

PC

コマンド変換アプリケーション

3Dゲームエンジン・ＶＲコンサートの映像再生・視覚効果の生成※Unity Technologies社製

Unityを使用

没入型ヘッドマウントディスプレイ※Oculus VR社製

Oculus Rift DK2を使用

Androidタブレット端末※ASUS製Nexus7を使用

・β／α比の計算・視覚効果生成コマンドの生成

簡易脳波計※B-Bridge社製

BrainAthleteを使用

・額部から1chの脳波を測定

ユーザー

脳波信号

映像視聴

新技術のシステム構成（脳波）

Bluetooth

コマンド

9

β／α比の閾値

視覚効果

1.3 星

1.4 ハート

1.5 桜

新技術の要素

β／α比に基づくＶＲライブへの視覚効果の生成・ＶＲライブの視聴により興奮し、 β ／ α比が上昇する。

・ β ／ α 比が上昇し閾値を超えると視覚効果が生成する。

・視覚効果は閾値の応じて複数を生成する。

演者のキャラクター

視覚効果

ステージ

ＶＲライブにおける視覚効果生成の映像構成例

10

注視点を１分間注視しているときのβ／α比の平均値

0

0.2

0.4

0.6

0.8

1

1.2

1 2 3 4 5 6 7 8 9 10 11 12

β/α比

被験者

新技術の特徴

・標準的には平均値は1.0を下回る。

11

時間［s］

β/α

比

桜ハート星

VRライブ視聴中のβ／α比の時間発展と閾値判定

新技術の特徴

・β／α比が閾値を上昇し視覚効果が生成される。

12

閾値1.1：視覚効果無しのとき

閾値1.4：視覚効果有りのとき

ライブ視聴時 注視点注視時 加算平均

新技術の特徴

・閾値1.4以上では視覚効果生成時は注視点注視時より統計的に有意に上昇する（12人、対応のあるt検定 p<0.05）。

閾値を超えた後のβ／α比の振舞い

13

WiFi/LAN（TCP/IP）

心拍数データ

PC

コマンド変換アプリケーション

3Dゲームエンジン・ＶＲコンサートの映像再生・視覚効果の生成※Unity Technologies社製

Unityを使用

没入型ヘッドマウントディスプレイ※Oculus VR社製

Oculus Rift DK2を使用

Androidタブレット端末※ASUS製Nexus7を使用

・心拍数の変動を計算・視覚効果生成コマンドを生成

スマートウォッチ※SAMSUNG製

Samsung Gear Liveを使用

・心拍数を測定

ユーザー

心拍信号

映像視聴

新技術のシステム構成（心拍）

Bluetooth

コマンド

14

新技術の特徴

7段階でのアンケートを実験後に実施（12人）

視覚効果のタイミング

非常にあっていない～非常にあっている

面白さ楽しさ

非常に感じなかった～非常に感じられた

脳波 心拍 脳波 心拍

平均値 5.42 4.25 6.10 6.00

・脳波を用いたとき、心拍を用いたときともに面白いと感じられる。・視覚効果生成のタイミングは脳波のほうが一致感がある。

15

新技術の特徴・従来技術との比較

【新技術の特徴】

・VRライブに生体信号に連動した視覚効果を生成する。

・簡易なデバイスで測定した脳波や心拍などの

生体信号から精神的盛り上がりを検出する。

・生体信号計測と仮想現実技術を統合したシステム。

【従来技術】

・ＶＲライブの視聴に内在的な生体信号を用いるものは

ほとんど無い。

16

想定される用途

• 新しいエンターテイメントシステム。

• ハンズフリーで能動的にライブに参加できるバリアフリーなライブ体験システム。

• バイオフィードバックにより精神的盛り上がりを意識できるシステム。

17

実用化に向けた課題

• 現在、システム開発が済み、実験を実施し脳波の分析や主観評価を行った。

• システム構成や要素技術の拡張、改良を行っている。

• 今後は、実用化に向けた視聴実験による検証が必要。

18

企業への期待

• VRライブ、ＶＲゲームの技術および要素技術

を持つ企業、同サービスを実施する企業との共同研究を希望。

• また、 生体情報のエンターテイメント応用を、

開発中または展開を考えている企業には、本技術の導入が有効と思われる。

19

本技術に関する知的財産権

特許出願準備中

20

お問い合わせ先

芝浦工業大学

産学菅連携コーディネーター 青木昭彦

ＴＥＬ ０３－５８５９ － ７１８０

ＦＡＸ ０３－５８５９ － ７１８１

e-mail aoki.akihiko@ow.shibaura-it.ac.jp