ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J...
Transcript of ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J...
![Page 1: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/1.jpg)
1
ヘルスモニタリングのための
多変量生体信号処理
山梨大学
大学院医学工学総合研究部・生体環境医工学系
准教授 阪田 治
総合分析実験センター
助教 鈴木 裕
![Page 2: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/2.jpg)
2
生体信号処理とは
想像力の酷使
未知の言語の解読
異世界の文化の理解
ジャンルを問わない文献・資料読解
であると思う。
UNIVERSIT
Y OF
YAMANASHI
Biomedical Signal Processing Lab.
![Page 3: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/3.jpg)
3
生体情報を利用すると・・・ UNIVERSIT
Y OF
YAMANASHI
Biomedical Signal Processing Lab.
肉体・精神を含めた1つの個体としての人間を食品に対するマルチセンシング・分析システムであると考える。
ただしその結果出力は、人間が理解できるフォーマットで表現されていない。
人体からの出力を解読する技術が確立されたとき、はじめて人間は食品マルチセンシング・分析システムとなる
例:食品感性分析
生体信号・生体情報には、実に様々なものがある。
![Page 4: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/4.jpg)
4
生体情報を利用すると・・・ UNIVERSIT
Y OF
YAMANASHI
Biomedical Signal Processing Lab.
「おいしさ」という感性に
関わる生体情報
![Page 5: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/5.jpg)
5
生体信号処理の活躍例 UNIVERSIT
Y OF
YAMANASHI
Biomedical Signal Processing Lab.
処理
食事中の脳波 α波の抽出
食事中に測定した脳波から重要な成分だけを取り出す技術
食嗜好を測る強力なツールになる
例:食品感性分析
![Page 6: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/6.jpg)
6
生体信号処理の活躍例 UNIVERSIT
Y OF
YAMANASHI
Biomedical Signal Processing Lab.
摂食時の脳機能解析
脳血流解析が盛ん
○摂食行動に伴う雑音の影響を受けづらい
×神経活動を直接反映していない
×時間分解能が低い
脳波解析 ×摂食行動由来の雑音の影響を受けやすい
○神経活動を直接反映している。
○計測機器の小型化により、場所を選ばず計測可能 ○時間分解能が高い。
×摂食行動由来の雑音の影響を受けやすい
![Page 7: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/7.jpg)
7
生体信号処理の活躍例 UNIVERSIT
Y OF
YAMANASHI
Biomedical Signal Processing Lab.
![Page 8: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/8.jpg)
8
生体信号処理の活躍例 UNIVERSIT
Y OF
YAMANASHI
Biomedical Signal Processing Lab.
我々が開発した複数の信号間の因果性解析技術
信号の因果性解析とは: 互いに影響を及ぼし合っていると考えられる時系列信号間の時間-空間的相関関係を調べること。
(阪田他:信学論A,No.5,2000) 多次元有向情報量解析
多次元有向コヒーレンス解析
多次元有向位相解析
(阪田他:電学論C,No.7/8,1998)
(阪田他:電学論C,No.9,2004)
![Page 9: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/9.jpg)
9
生体信号処理の活躍例 UNIVERSIT
Y OF
YAMANASHI
Biomedical Signal Processing Lab.
M
m
nmnmn
1
βwxαx
)(
)(
)()(
)()(
fP
bfA
fPfP
fPf
iji
ji
x
jjij
wx
wx
ij
信号源wjと観測系列xiのコヒーレンス をxiとxjの間で送受信される情報である と解釈し、これを多次元有向コヒーレンス |γij(f)| と定義している。 ただし、wsはx1~xkすべてに共通する信号源である。
k 出力 k+1 入力 多変量AR
(阪田他:電学論C,No.7/8,1998)
多次元有向コヒーレンス解析
![Page 10: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/10.jpg)
10
生体信号処理の活躍例 UNIVERSIT
Y OF
YAMANASHI
Biomedical Signal Processing Lab.
1.0
0.0
f=9.0Hz f=9.8Hz
max=0.63[→P3] max=0.81[→C4]
min=0.22[→Fp1] min=0.38[→P3]
(c)O1から流出 (d)O2から流出
f=9.5Hz f=9.5Hz
max=0.61[→C3] max=0.64[→O2]
min=0.16[→C4] min=0.08[→C4]
(a)Fp1から流出 (b)Fp2から流出
(阪田他:電学論C,No.7/8,1998)
多次元有向コヒーレンス解析により、手術により神経繊維が切断された 左側の後→前へ向かう脳内情報の流れが小さくなっている様子が観察された。
![Page 11: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/11.jpg)
11
研究成果例
我々の研究成果の中から、近い将来の実用化が見込まれる技術を紹介致します。
・音響診断支援システム(血流音解析技術)
・音声振幅圧縮伸張処理技術
UNIVERSIT
Y OF
YAMANASHI
Biomedical Signal Processing Lab.
![Page 12: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/12.jpg)
研究紹介①シャント音による血管狭窄診断
動脈
静脈 シャント
十分な血流量を確保するため,動脈と静脈を縫い合わせるシャントを作成
血液透析内シャント
血管の狭窄が起こることがある ・血液透析を行うことができず患者の生命に関わる ・拡張手術(PTA)のために早期発見が望まれる
シャント狭窄検査
・血管造影検査 ・CT,MRI ・超音波検査 など ・聴診
大掛かりな装置、 操作技術が必要
・・・・・・・・・経験が必要
診断のスクリーニングができる狭窄診断支援装置が望まれている
腎不全患者(30万人)は人工血液透析を行う
狭窄かもしれません。
正常範囲です。
山梨大学総合分析実験センター 鈴木裕
H23 JST A-STEP 探索タイプ 採択課題
シャント音(血流音)による狭窄診断装置
![Page 13: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/13.jpg)
作成した採音装置
マイク マイクアンプ レコーダ
シャント音の採音装置
シャント血管 造影画像
狭窄
正常
山梨大学総合分析実験センター 鈴木裕
PTA拡張手術
![Page 14: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/14.jpg)
シャント音の分類
1
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 40
(a) high-pitch A
SpectrogramMEM
1
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 40
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 40
(a) high-pitch A
SpectrogramMEM
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 401
(b) high-pitch B
SpectrogramMEM
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 40
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 401
(b) high-pitch B
SpectrogramMEM
1
(c) high-pitch C
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 40
SpectrogramMEM
1
(c) high-pitch C
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 40
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 40
SpectrogramMEM
1
(d) intermittent
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 40
SpectrogramMEM
1
(d) intermittent
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 40
Time [s]
Fre
qu
en
cy
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [d
B/H
z]
-110
-90
-70
-50
2 31 40
SpectrogramMEM
1
(e) normal
Time [s]F
requency
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [dB
/Hz]
-110
-90
-70
-50
2 31 40
SpectrogramMEM
1
(e) normal
Time [s]F
requency
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [dB
/Hz]
-110
-90
-70
-50
2 31 40
Time [s]F
requency
[kH
z]
2
1
0
Frequency [kHz]0 2
PS
D [dB
/Hz]
-110
-90
-70
-50
2 31 40
SpectrogramMEM
多くのシャント音(100例以上)調べることで,狭窄音のタイプを分類した。
正常音
高周波A
断続的
高周波B
高周波C
・スペクトルは高周波ほどなだらかに減衰 ・拍動間で途切れることはなく連続的
・高周波の減衰が少ない
・高周波に局所的ピークが存在する
・正常音とは明らかに異なった特性であるが,高周波A、Bに該当しない
・周波数特性は様々 ・拍動間で途切れる
狭窄の特徴は時間-周波数特性に現れる 山梨大学総合分析実験センター 鈴木裕
![Page 15: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/15.jpg)
狭窄診断システムの構成 ・特徴的な狭窄音ばかりではない(狭窄の程度や個人差)
・シャント音を自動的に分類・特徴抽出する
・狭窄の程度、個人差を示すことができる →SOM
狭窄診断システム
シャント音をマイクで採音
時間周波数解析(Short Time MEM法)
自己組織化マップ SOM(Self Organizing Map)
正常、狭窄の特徴が分かりやすいベクトルにする
多くのサンプルを学習(機械におぼえさせる)
山梨大学総合分析実験センター 鈴木裕
![Page 16: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/16.jpg)
自己組織化マップSOMによる分類
高周波B 高周波A 高周波C
正常
断続
・正常、狭窄音の種類ごとに「島」が形成される
・類似したサンプルが近くに配置される
コンピュータが知らないデータ「黒」が入力された場合
正常
狭窄
狭窄疑い 狭窄疑い
「正常の島」にどれだけ近いかで狭窄の疑いが示される
「病変の程度」を示すことができる
山梨大学総合分析実験センター 鈴木裕
![Page 17: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/17.jpg)
・センサの発展 ・環境音を遮断する ・病変部からの音を逃さない(例えばアレイセンサ) ・人体とのインターフェース
・慣れていない人にも使いやすいシステム ・患者自身でも容易に操作ができるようなGUI
・個人差への対応 ・患者さんを追跡した長期的な録音 ・システムが具現化できれば手広く調査することができます
山梨大学総合分析実験センター 鈴木裕
人間の耳で音を聞き分けることで何かの内部の異常を検知するといった問題について、それを自動化するとき、本研究で行った一連の音響信号解析プロセスが多くの場合に適用可能であると思われます。
つまり、「専門家の経験と勘に基づく正常音と異常音の聞き分け」を機械にさせるための技術です。その応用範囲は広いと考えています。
今後、さらに発展するための課題
応用できると想定できる産業・製品・技術等(音響検査)
![Page 18: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/18.jpg)
研究背景
騒音下における健聴者の聴き取り≒感音性難聴者の聴き取り
ユニバーサルデザインを見据えた
騒音下における音声ガイドの聴取改善
騒音下における健聴者でも音声が聴き取りにくい場合がある
高齢化社会において日本だけでなく世界中で難聴者増加
健聴者・軽度難聴者の共存により音声放送に配慮が必要
聴き取り改善
ユニバーサルデザイン
研究目的
研究紹介②振幅圧縮伸長処理(ACE法)による音質調整
特開2005-160038
山梨大学総合分析実験センター 鈴木裕
例:音声案内の聴き取り改善
![Page 19: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/19.jpg)
提案する用いる改善方法
ACE(Amplitude-bandwidth compression/expansion)法の適用
・線形増幅+CLIP ・・大きな音はうるさい
従来の聴き取り改善方法
騒音下における音声ガイドの聴取改善
・AGC回路, ・・・・・・息継ぎ現象
ACE法による騒音下における聴取改善のための
音声処理方法の検討とその効果の確認
小さな音ほど大きく増幅する (例えば、子音も増幅される)
研究目的
研究報告
山梨大学総合分析実験センター 鈴木裕
不十分なことがある
![Page 20: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/20.jpg)
JPA Lochner & JF Burger
Form of the Loudness Function
in the Presence of Masking Noise
J. Acous. Soc. Am., 33
pp. 1705-7, 1961
18 56 57 66
Random noise =0dB
Random noise =55dB
騒音下における健聴者の聴力特性
L=k(I n-I0n) (1)
b
e
2 15 35 55
w = sgn (v) c (|v | n - vcn ) (2)
ACE法
1>n>0 : compression(圧縮)
山梨大学総合分析実験センター 鈴木裕
![Page 21: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/21.jpg)
ACE法の処理の流れ 周波数帯域160~5120Hz
図:‘す’波形 図:‘す’ソナグラフ
圧縮の効果
山梨大学総合分析実験センター 鈴木裕
![Page 22: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/22.jpg)
正答率
[%]
57-S語表の正答率
評価語の音量固定、騒音レベルの音量調節 聴取実験結果
山梨大学総合分析実験センター 鈴木裕
ACE法・・・子音のように振幅の小さな信号ほど相対的に大きく増幅する作用
騒音下における語音聴取にACE法は有効である
騒音レベル[dB(A)]
注:同時に,感性評価も行っております
![Page 23: ヘルスモニタリングのための 多変量生体信号処理 - JST...ij jj x w x w ij J 信号源w jと観測系列x iのコヒーレンス をx iとx jの間で送受信される情報である](https://reader033.fdocument.pub/reader033/viewer/2022050523/5fa64dea1d41be41c0299e00/html5/thumbnails/23.jpg)
応用できると想定できる産業・製品・技術等(ACE法)
ACE法を用いた技術は,聴覚特性からヒントを得ているため,ヒトの聴覚感性にマッチしやすいと考えられます。
地下鉄の中で,車内放送を聴き取れないことは皆さん経験済みだと思います。また、大きな会話は聴き取れるが,小さな会話は聴き取りずらいと経験されている方もいらっしゃると思います。
・TV・ラジオ・携帯電話 ・室内,室外の音声ガイド←本日紹介したものです。 ・拡声装置 ・補聴器のフィッティング等 また,これらACE法を用いることで,難聴状態を体験することもできます。
今後,それぞれの目的に合った調整,及び装置の具現化を期待します。
山梨大学総合分析実験センター 鈴木裕