フィギュアを使った危険予知トレーニング手引書Title フィギュアを使った危険予知トレーニング手引書 Author G4-733MHz Created Date 2/14/2011 11:42:20
(株)ATR脳情報研究所 川人光男 資料5-4 ·...
Transcript of (株)ATR脳情報研究所 川人光男 資料5-4 ·...
![Page 1: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/1.jpg)
ネットワークアーキテクチャに関する調査研究会
2007年5月22日
(株)ATR脳情報研究所川人光男
![Page 2: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/2.jpg)
計算論的神経科学脳の機能を、その機能を脳と同じ方法で実現できる計算機のプログラムあるいは人工的な機械を作れる程度に、深く本質的に理解することを目指すアプローチを計算論的神経科学と呼ぶ。
脳の機能を 計算機のプログラムあるいは人工的な機械で実現する
脳の機能を 理解する
脳の機能を、その機能を脳と同じ方法で実現できる計算機のプログラムあるいは人工的な機械を作れる程度に、深く本質的に理解することを目指すアプローチを計算論的神経科学と呼ぶ。 Biped
Schaal S, Sternad D, Osu R, Kawato M: Rhythmic arm movement is not discrete. Nature Neuroscience, 7, 1137-1144 (2004).Nakanishi J, Morimoto J, Endo G, Cheng G, Schaal S, Kawato M: Learning from demonstration and adaptation of biped locomotion,J. Robotics and Autonomous Systems, 47, 79-91 (2004).
![Page 3: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/3.jpg)
ATR脳情報研の脳ロボット研究
• ノーベルフォーラム講演とノーベルシンポジウムで川人所長招待講演(平成13年、15年)
• 鉄腕アトム誕生日関連で、DBが6つのテレビ番組で紹介される
• アトム計画を提唱(30年で5歳児相当のヒューマノイドロボットを開発)ータイム誌、MITMagazine等で紹介
• 川人の特許をソニーなどが数千万円で購入(KTC最大収入?)
• ソニー、ホンダが研究員と研究費
Discovery Channel
![Page 4: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/4.jpg)
ヒューマノイドロボットCB
•人間により近いヒューマノイドロボット(同程度の速さと力)
•自律型
・160cm and 70 Kg
•柔らかい
An ATR/SARCOS development with ICORP/JST funding
CB_CPG_Walk monkey locomotion
![Page 5: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/5.jpg)
脳を活かす• 脳を読む ニューロエコノミクス、ニューロマーケティング、 ニューロゲノミクス、ニューロポリティクス 人間の精神・社会活動を生物学的基盤から理解し 応用する
• 脳を繋ぐ ブレイン・マシン・インタフェース、ブレイン・コンピュータ・インタフェース、ブレイン・ネットワーク・インタフェース まったく新しいコミュニケーション技術
• 脳と社会;神経倫理学(Neuroethics) 脳科学の応用を倫理から考える。 倫理を脳科学から考える。脳科学の究極の応用
![Page 6: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/6.jpg)
J. Donoghue, NatureNeuroscience 2002; Human implant 2004
ブラウン大学ドナヒュー:首から下が麻痺した被験者(C4レベル脊損患者)に対して、世界で初めてBMIの慢性臨床試験を開始した。
2. 大脳皮質上に埋め込まれた電極で 神経細胞の活動を計測
1. カーソルを左上に 動かすように念じる
脳に埋め込んだ多重電極によるブレイン・コンピュータ・インタフェース
![Page 7: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/7.jpg)
主観的知覚内容の解読(心を読む)
予測(どちらの縞に注意を向けているか)
Kamitani Y., Tong F. Decoding the perceptualand subjective contents of the human brain.
Nature Neuroscience 8, 679-685 (2005).
![Page 8: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/8.jpg)
脳活動でロボットを制御じゃんけんに伴う脳の活動をほぼリアルタイムに解読することで,脳でロボットを操作することに成功しました
MRI グー
パー
チョキグー
チョキ
パー
![Page 9: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/9.jpg)
グー
チョキ
パー
システムの基本構成
画像データ
特徴パターン
パターンの解析
ロボットに指令
MRIで脳活動を毎秒計測
ロボットハンドが同じ動作
運動指令に関係する部分を抽出
脳活動パターン抽出 動作判定処理
前
後
右左
MRI
パーチョキ
グー
![Page 10: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/10.jpg)
![Page 11: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/11.jpg)
おはよう日本
![Page 12: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/12.jpg)
脳磁計(MEG)
近赤外光計測(NIRS)島津製作所、ボバース記念病院
MRI / fMRIATR脳活動イメージングセンタ
fMRI(高空間分解能) +MEG(高時間分解能)
脳波(EEG)
階層ベイズ法による高精度脳活動推定
大規模装置
NIRS(高空間分解能) +EEG(高時間分解能)
可搬型計測装置
川人 振興調整費で島津製作所と共同開発
![Page 13: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/13.jpg)
超多チャンネルMEGシステム
脳活動空間情報
脳活動の時空間活動パターン
fMRIによる脳機能地図
階層ベイズ脳活動推定法脳活動時空間情報の統合
脳活動時間情報
高時空間分解能脳活動計測システム
![Page 14: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/14.jpg)
視覚実験課題遂行時の高時空間分解能脳活動推定
400ms 800ms 1200ms0ms
視覚刺激時系列パターン
被験者は固視点(赤)を注視し、その間に比較的短い時間間隔で視覚刺激を連続的に提示する。
四半視野刺激を連続して被験者に提示したときの脳磁図から初期視覚野の脳活動を推定する。
![Page 15: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/15.jpg)
出典:Kandel ER, Schwarz JH,Jessell TM, Principles ofNeural Science, 3rd ed.
視野と初期視覚野の位相情報の対応(レチノトピー)
![Page 16: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/16.jpg)
fNIRSとEEGの複合機
![Page 17: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/17.jpg)
硬膜下電極(Electrocorticogram: ECoG)によるBMI
(大阪大学) 柳澤 琢史、平田 雅之、加藤 天美、吉峰 俊樹 (ATR) 澁谷 大輔、戸田 昭裕、佐藤 雅昭、神谷 之康、岡部 達也
研究目的硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニングなしに動かす ⇒ ALSやLocked-In症候群患者のコミュニケーションツールとして期待
大阪大学・ATR共同研究
左大脳皮質硬膜下電極
頭皮
頭蓋
皮質
硬膜
ECoG
脳髄液
特徴ノイズが少ない信号が強い(EEGに比べて)EOG, ECG, EMGなどの信号が入らないクロストークが少ない埋め込みのための手術が必要★ご紹介する結果は、治療目的のためにECoG留置された患者の中で、実験目的・内容など
にご賛同を頂いた方のご協力を得て、実験を行ったものです(インフォームドコンセントを経て)。
頭蓋による信号減衰
![Page 18: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/18.jpg)
情報格差の解消と上質なコミュニケーションの確立
ユビキタスジャパンの目的の1つである、誰でもネットワークを利用できるヒトにやさしいインタフェースとして、ブレイン・ネットワーク・インタフェースを開発。
脳情報通信プロジェクト以心伝心のコミュニケーション
![Page 19: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/19.jpg)
公共の安全確保大規模安全に関わるシステム操作者のBNIによる脳活動モニタ
真のユビキタスネットワーク社会の確立情報格差のないネットワーク社会へ
以心伝心の高品質コミュニケーション社会へ
ニューロマーケティングによる経済活性化
脳活動計測による消費者の嗜好性判断による
商品開発
コミュニティの拡大と質の向上
ユビキタスインタフェースの提供
あらゆるコミュニケーション弱者にとっての新しい通信インタフェース
の提供
BNIロボットとの共同作業によるゆとりの社会へ
共働き家族における高齢者のケア教育
コミュニケーション手段の多様化
脳音声発生装置による情報伝達
注意障害者の情報取り込み支援
安心で安全な高齢化社会へ
高齢者の情報通信支援在宅医療ネットワーク
以心伝心心を伝える高品質コミュニケーション心を開放する人間本来のコミュニケーション
への回帰
欲しいときに欲しい情報個人の嗜好を読み取り的確にコンテンツを推薦
デジタルデバイドの解消
コミュニケーションの質の向上
![Page 20: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/20.jpg)
ショッピングサポート
ナビゲーション
外骨格による介護、救援
脳機能モニタによるリハビリ
高齢者サポート
Locked in患者の意思表示
情報家電
ゲーム
脳アンケート
注意障害者のサポート
意図の解読と制御
注意のリアルタイムモニター
感情の解読と評価
脳へのフィードバック
脳モデルの構築
知覚の再構成
コミュニケーションの質の向上
デジタルデバイドの解消
コンテンツ評価
脳タイプライター
運転支援システム
簡単インターフェース
脳-脳通信
誰でも使える自分に最適心が伝わる
![Page 21: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/21.jpg)
“脳を使う”の応用
1.計測装置
2.リハビリテーション 関連の製品
3.エンターテイメント 映像関連の製品
4.ロボット製品
5.その他の可能性
医療用・脳研究用の脳活動計測装置安価な携帯型脳活動計測装置
脳機能モニター装置→医療機関での脳活動モニターによる回復の診断訓練システム→遠隔脳モニターによる在宅リハビリおよび機能支援
映像操作アプリケーション→ビデオゲーム→アーケードゲーム→スポーツトレーニング
大型ロボット操作におけるブレインマシンインタフェース→災害救助・介護ロボットなどへの応用小型ロボット・情報通信端末の高次レベル操作→ペットロボット→通信端末(ロボット)/PC/情報家電
文字入力装置、外骨格・パワースーツ脳活動パターン・スクリーニングシステム機能的電気刺激(FES)による全身運動再建
![Page 22: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/22.jpg)
• 運動関連脳信号による外骨格・パワースーツの操作• 障害者・高齢者のための運動補助、運動再建• 肉体労働の作業補助
外骨格BNI制御
経済産業省、厚生労働省も関連
![Page 23: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/23.jpg)
ブレインネットワークインタフェースによる中・大型ロボット操作
• 歩行制御
- 空間情報処理に関連する脳の部位から進行方向を取り出す- 操作者が注意を向けている方向に進む・回避する
• 手や腕の制御
- 手や腕の制御に関連する脳の部位から制御信号を抽出
• 人とのコミュニケーション- 相手の意図を予知・先読みして行動を起こす
→多様な形の対象物を効率的に把持する・持ち上げる
→操作者の空間認知と直結した移動方法
→家庭用ロボットに人らしさ,アトラクション用ロボットに面白みを与える
ヒューマノイドロボットのような複雑な多自由度システムを容易に操作するインタフェースの開発
BNI多自由度ロボット
経済産業省も関連
![Page 24: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/24.jpg)
神経活動によってロボットを制御することを通じて階層的な脳の感覚運動制御を理解する
Prefrontal decoding
Parietal decoding
CBL decoding
M1 decoding
Decision
Intention
Internal model
Muscle activity
ROBOTHuman
SARCOS, ATR, CMU, NiCT
![Page 25: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/25.jpg)
階層的な脳の感覚運動制御の理解をBNIへ応用する
Real-timedecoder
Real-timedecoder
Real-timeEncoder
Real-timeEncoder
VisualVisualVisual
AuditoryAuditoryAuditory
ProperceptiveProperceptiveProperceptive Multi-level autonomous control
Sensory feedback
![Page 26: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/26.jpg)
ブレイン・ネットワーク・インタフェース、脳計算モデルとヒューマノイドによる情報通信
●ブレイン・ネットワーク・インタフェース ●脳のモデル
●見まね制御
●脳のモデル●見まね制御
●時間遅れ
●ブレイン・ネットワーク・インタフェース
![Page 27: (株)ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング](https://reader033.fdocument.pub/reader033/viewer/2022050521/5fa46006c0db503bb0148bb0/html5/thumbnails/27.jpg)
次世代ネットワークに期待すること
• Multi-levels Content dependent protocols コンテンツの質によりネットワークに求める要求は異なるはず。 BNIでは脳と接続する機器の種類や運動により、信頼性や速度を柔 軟に設定できるプロトコルを必要とする。
• Integrative network modules ネットワークは巨大化と複雑化に向かい、ネットワークの維持管理が困難となっている。ネットワークのモジュール化と、モジュール間のインターフェースの標準化推進により、モジュールの接続性の保証と、柔軟かつ多彩な機能拡張への対応を期待する。
• Seamless Connection 並列する多数の国家プロジェクト(e.g. GENI, FP7)によって構築する ネットワーク環境の相互接続と連携によるシナジー効果を期待。