Methoden der hrung Biosignalverarbeitung · identity transform (s1,s2), permutation of the sources...
Transcript of Methoden der hrung Biosignalverarbeitung · identity transform (s1,s2), permutation of the sources...
1 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Methoden der Biosignalverarbeitung
Einführung / Überblick
Vorstellung des Cognitive Systems Lab
Dipl.-Math. Michael Wand
Dipl.-Inf. Christian Herff
Prof. Dr. Tanja Schultz
Vorlesung SS 2012
2 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Hir
nak
tivi
tät
Überblick
• Allgemeine Informationen
• Vorstellung der Vorlesung und des Lehrstuhls
• Angebote
• Einführung in diese Vorlesung
• Überblick über ausgewählte Biosignale
3 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Informationen zur Vorlesung
Weiterführende Vorlesung im Hauptdiplom/Bachelor/Master
• Vorkenntnisse: Erforderlich ist der Stoff der Vorlesung "Biosignale und Benutzerschnittstellen" oder "Multilinguale Mensch-Maschine-Kommunikation" oder entsprechend
• Besonders wichtig: Grundlagen der Signalverarbeitung (Fourier-Transformation etc.), Grundkenntnisse über maschinelle Lernverfahren
• Wenn es da Fragen gibt: Bitte sprechen Sie uns an
• Prüfung möglich in Kognitive Systeme und Anthropomatik
• Im Bachelor/Master-Studiengang: Teil verschiedener Module, bitte konsultieren Sie das Modulhandbuch oder fragen Sie uns
4 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Informationen zur Vorlesung
Turnus:
• Jährlich im SS, 2+0 oder 3 ECTS-Punkte
• Prüfungen ganzjährig während des Semesters, Anmeldung beim Sekretariat: [email protected]
Termine:
• Wöchentlich Di 11:30 Uhr, Seminarraum 236, Geb. 50.34
DozentInnen:
• Dipl.-Math. Michael Wand
• Dipl.-Inf. Christian Herff
• Prof. Dr. Tanja Schultz
Einen inhaltlichen Überblick
• machen wir gleich
5 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Informationen zur Vorlesung
• Alle Vorlesungsunterlagen befinden sich unter
http://csl.anthropomatik.kit.edu
• Alle Folien als pdf
• Aktuelle Änderungen, Ankündigungen, Syllabus
• Gegebenenfalls zusätzliches Material (Papers)
• Grundlagen für Prüfungen:
• Vorlesungsinhalt, Folien + evtl. Tafelanschrieb
• Fragen, Probleme und Kommentare sind jederzeit während der Vorlesung willkommen, oder im persönlichen Gespräch:
• Michael Wand ([email protected])
• Christian Herff ([email protected])
• Tanja Schultz ([email protected])
• Sprechstunden sind verfügbar, am besten per E-Mail anmelden
6 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Allgemeine Informationen: CSL
• Lehrstuhl für Kognitive Systeme seit 1. Juni 2007
• Karlsruher Institut für Technologie, Fakultät für Informatik
• Institut für Anthropomatik
• Neugründung des Cognitive Systems Laboratory (CSL)
• Homepage: http://csl.anthropomatik.kit.edu
• Laborgebäude Informatik 50.21, 1.OG (neben der alten Kinderklinik)
• Kontakt:
• Prof. Dr.-Ing. Tanja Schultz
[email protected], +49 721 608 46300
• Frau Helga Scherer (Sekretariat)
[email protected], +49 721 608 46312
• Michael Wand
+49 721 608 44043
• Christian Herff
+49 721 608 46307
7 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Technologien und Methoden:
Erkennen, Verstehen, Identifizieren
Statistische Modellierung, Klassifikation, ...
Anw
endu
ngsf
eld M
ensc
h-M
asch
ine
Inte
rakti
on
Her
asusf
ore
rder
ungen
und
Aufg
agen
:
Pro
dukti
vit
ät u
nd
Usa
bil
ity
Kommunikation des Menschen mit seiner Umwelt
im weitesten Sinn:
Sprache, Bewegung, … A
nw
endungsfeld
Men
sch-M
ensch
Kom
munik
ation
Herau
sford
erung u
nd A
ufg
aben
:
Sprach
envielfalt, k
ultu
relle Barrieren
Aufw
and u
nd K
osten
Forschung: Human-Centered Technologies
8 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Lehre am CSL
Regelmäßige Vorlesungen im Wintersemester
Alle Informationen im Web: http://csl.anthropomatik.kit.edu > Studium & Lehre
• Biosignale und Benutzerschnittstellen
• 4+0 oder 6 ECTS-Punkte, prüfbar in Kognitive Systeme und Anthropomatik
• Einführung in Erfassung und Interpretation von Biosignalen, Anwendungsbeispiele
• Design und Evaluation innovativer Benutzerschnittstellen
• 3 ECTS-Punkte
• Explizite und implizite Schnittstellen für Computersteuerung: Sprache, mentale Auslastung, Gesten + Emotionen
• Einzeltechniken und Gesamtsysteme
Alle Angaben ohne Gewähr.
9 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Lehre am CSL
Regelmäßige Vorlesungen im Sommersemester
Alle Informationen im Web: http://csl.anthropomatik.kit.edu > Studium & Lehre
• Methoden der Biosignalverarbeitung
• 2+0 oder 3 ECTS-Punkte
• Dienstags 11:30 Uhr, Geb. 50.34, SR 236
• Dieses Jahr zum zweiten Mal!
• Multilinguale Mensch-Maschine-Kommunikation
• 4+0 oder 6 ECTS-Punkte
• Dienstags + Donnerstags 14:00 Uhr
• Spracherkennung, Grundlagen und Techniken
• Kognitive Modellierung
• Donnerstags 15:45 Uhr, Raum 236, Gebäude 50.34
• Modellierung menschlicher Kognition im Kontext der Mensch-Maschine-Interaktion.
Alle Angaben ohne Gewähr.
26 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Überblick
• Allgemeine Informationen
• Vorstellung der Vorlesung und des Lehrstuhls
• Angebote
• Einführung in diese Vorlesung
• Überblick über ausgewählte Biosignale
27 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Allgemeine Information: Ziel der Veranstaltung
Ziele der Vorlesung "Methoden der Biosignalverarbeitung" • Vertiefter Einblick in die aktuelle Forschung zur Biosignalverarbeitung
• Informatisch/algorithmische Techniken mit vielerlei Anwendungen
• Signalerfassung, Artefaktreduktion, Filterung
• Umgang mit Signalüberlagerungen
• Beamforming
• Quellenseparation
• Diskriminative und andere Trainingsmethoden für maschinelle Klassifikatoren
• Entscheidungsfusion in multimodalen Systemen
Schauen wir uns doch mal einige dieser Themen an!
28 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Artefaktreduktion
• Hier sieht man ein typisches EEG-Signal...
• und was damit alles passieren kann!
• Artefakteinstreuungen sind ein großer Problem jeglicher Biosignalverarbeitung
• Wir lernen zwei wichtige Methoden der Artefaktreduktion kennen:
• Filterung
• BSS (Blind Source Separation)
29 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Filterung
• Wer die Vorlesung "Biosignale und Benutzerschnittstellen" gehört hat, kennt sie schon: Die Filterung.
• Aber warum tut ein digitales Filter (es heißt wirklich "das") das, was es tut?
• Wir werden die Methodik der Filterung, wie wir sie z.B. aus der Vorlesung BSBS kennen, wiederholen und vertiefen
• Außerdem lernen wir kennen, wie man ein digitales Filter entwirft
Filter H x[n] y[n]
Kammeyer/Kroschel, Frequenzantwort eines optimalen digitalen Filters
30 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Quellenseparation und Beamforming
• Eins unserer Hauptthemen: Quellenseparation (Source Separation)
• Wenn man heutzutage gewisse Biosignale aufnimmt (gerade die elektrischen, etwa EEG), bekommt man in der Regel ein Signal, das aus mehreren Kanälen besteht
• Was macht man mit diesen Kanälen?
• Wenn man's geschickt anstellt, kann man z.B. die Quelle eines Signals im Gehirn finden, obwohl man nur außerhalb des Schädels messen kann
• Oder man kann verschiedene, voreinander unabhängige Signale voreinander trennen
• Ganz zentral in der modernen Biosignalverarbeitung!
• Typisches Beispiel aus der Spracherkennung: Der Cocktail-Party Effekt
16-Kanal-Verstärker Recorder
Varioport ©
31 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Quellenseparation Beispiel EEG
• Ein typisches Beispiel von Quellenseparation (hier ICA).
• Das EEG-Signal ist durch Augenbewegungen gestört
• Mit ICA kann man diese als separaten Kanal extrahieren und dann die Daten ohne Augenbewegungen zurück- gewinnen
Original data ICA components
Back projected data
Removal of component 2
Quelle: Determining User State and Mental Task Demand from Electroencephalographic Data Diplomarbeit von Matthias Honal am CSL!
32 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Quellenseparation Beispiel EMG
[De Luca, 2006]
• So könnte es bei einem EMG-Signal aussehen.
• Man erkennt, dass die vier Kanäle ähnlich, aber doch nicht gleich sind.
• Man könnte sagen, sie stellen sehr ähnliche Aktivität aus verschiedenen "Blickwinkeln" dar.
• Dies gibt uns viele Möglichkeiten, optimale Algorithmen zu entwickeln!
• Einige lernen wir dann kennen.
33 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Quellenseparation
Wir werden in diesem Vorlesungsblock folgendes machen:
• Wie kann man erkennen, ob sich Quellen überlagern oder nicht, oder ob eine Trennung gelungen ist?
• Hier gibt es eine spannende Beobachtung, die auf der Gaussverteilung beruht!
• Wir werden auch noch einmal Maße der Unabhängigkeit von Daten (stochastische Unabhängigkeit, Entropie) wiederholen
• Ein kleines Beispiel: Hier wird ein aus zwei Signalquellen zusammen- gesetztes Signal gedreht und gestaucht. In den rechten Spalten sind die beiden Quellen nicht mehr unabhängig, und das erkennt man eigentlich schon mit bloßem Auge!
Ein Standardbeispiel für die lineare Überlagerung (4. und 5. Spalte) von zwei eigentlich unabhängigen Signalen (links) [Cardoso, 1998]
Fig. 3. Sample distributions of (x1, x2) when x = As for 5 different transformation matrices A, and 3 pairs of distributions for (s1, s2). From left to right: the identity transform (s1,s2), permutation of the sources (s2,s1), sign change (-s1,-s2), a /3 rotation, a ‘generic’ linear transform.
34 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Quellenseparation
Wie kann das der Computer erkennen?
• Wir werden zunächst eine einfache Maximum-Likelihood-Methode zur Quellenseparation kennenlernen
• Außerdem besprechen wir noch einen ganz anderen, sehr effizienten ICA-Algorithmus (FastICA).
[Cardoso, 1998] http://perso.telecom-paristech.fr/~cardoso/Papers.PDF/ProcIEEE.pdf
35 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Beamforming
• Zurück zu unserer Frage: Was machen wir aus einem aus mehreren Quellen kommenden Signal das beste?
• Wenn wir Signale haben, die aus verschiedenen (räumlichen) Richtungen kommen, bietet sich ein Beamforming an
• Beispiel: Sprachsignal, aber durchaus auch EEG und EMG
• Außerdem ist diese Methode in der Nachrichtentechnik sehr bedeutend
wikipedia
36 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Beamforming
• Hier ist ein einfacher Beamformer, nämlich ein Parabolspiegel. Die Grafik zeigt die Verstärkung des Eingangssignals abhängig von der Einfallsrichtung. (Ein Parabolspiegel ist ein Spiegel, dessen Oberfläche einer Parabel folgt. Er reflektiert einfallende ebene Wellen so, dass sie auf einen Punkt zulaufen)
• Beachte Ähnlichkeit Frequenzantwort eines Filters – Graphik Parabol
37 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Lernen / Entscheidungsfusion
• Wir werden auch das Thema "Maschinelles Lernen" näher betrachten.
• Nehmen wir als wichtige Anwendung die Fusion von Erkennungsergebnissen
• Beispiel: ein System erkennt Bewegung durch Beschleunigungssensoren und Kameras
38 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Lernen / Entscheidungsfusion
In diesem Beispiel gibt es eine Menge Sachen zu beachten.
• Die Quelldaten (Beschleunigung / Kamera) haben eine ganz unterschiedliche Datenrate
• ... und sind vielleicht auch nicht synchronisiert
• Die Kamera kann vielleicht einige Bereiche des Raums nicht erfassen
• ... aber andere sehr zuverlässig erkennen!
• Wie machen wir daraus ein integriertes System?
• Hiermit werden wir uns genauer befassen!
39 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Überblick
• Allgemeine Informationen
• Vorstellung der Vorlesung und des Lehrstuhls
• Angebote
• Einführung in diese Vorlesung
• Überblick über ausgewählte Biosignale
40 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Schnell-Einführung Biosignale
• Der menschliche Körper besteht aus ca. 75·1012 Zellen, davon etwa 25·109 Nervenzellen (Neuronen)
• Die Funktionsfähigkeit des menschlichen Organismus wird von lebenden Zellen und Zellverbänden gewährleistet
• Deren Aktivitäten lassen sich als physikalische Größen messen
• Diese Größen bezeichnet man als Biosignale
• Chemische und elektrische Biosignale bewerkstelligen die
• Steuerung
• Regelung
• und Informationsübertragung
• ... im menschlichen Organismus Regelkreis
Biosignale ermöglichen das geordnete Zusammenspiel im Gesamtsystem Mensch
41 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Definition Biosignale
Definition Biosignal (Lehrbuch) Biosignale sind autonome, vom lebenden Organismus erzeugte energetisch-stofflich messbare physikalische Größen
Definition Biosignal (DIN 44300) Nachrichten, die von physikalischen (ggf. chemischen) Aktionen des menschlichen Körpers ausgehen
42 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Taxonomie Biosignale
Biosignale
Mechanische Biosignale
Elektrische Biosignale
Akustische Biosignale
Chemische Biosignale
Sprache
Nichtsprachl. Artikulation
Hirn EEG
Augen EOG
Muskeln EMG
Herz EKG Bewegung
Mimik
Wärme MEG/PET
fMRI Körper-
geräusche
Thermische Biosignale
Gestik
43 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g In diesem Abschnitt
• Wir wollen kurz einige der wichtigsten Biosignale wiederholen, die wir in dieser Vorlesung betrachten
• Das sind insbesondere die elektrischen
• EEG
• EMG
• und auch das Sprachsignal (z.B. Beamforming ist gerade in der modernen Spracherkennung wichtig)
44 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal EEG: Das Nervensystem
• Der Hauptbaustein des Gehirns und des Nervensystems sind Neuronen.
• Neuronen können ganz verschiedene Formen haben, aber sie haben immer verästelte Dendriten, die Informationen aufnehmen, und ein Axon, das Informationen weiterleitet.
• Kommunikation zwischen Neuronen erfolgt ausschließlich an den Synapsen.
• Das gesamte Nervensystem teilt sich in zentralen Nervensystem (Gehirn + Rückenmark) und periphäres Nervensystem (Wege zu den einzelnen Teilen des Körpers).
45 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal EEG: Informationsweiterleitung
• In Nervenzellen erfolgt passiver Ladungstransport durch einen gewöhnlichen Ionenstrom (oben, unten links), er ist ineffizient und nur über kurze Strecken möglich.
• Aktionspotentiale sind der Hauptmechanismus der Informations-weiterleitung im Nervensystem und im Körper überhaupt.
• Sie treten insbesondere bei aktivierbaren Neuronen auf.
• Ablauf: Wenn bei einer positiven Polarisierung einer Nervenzelle eine gewisse Schwelle (ca -40 mV) überschritten wird, öffnen sich spannungsgesteuerte Ionenkanäle, und die Zelle wird stark positiv polarisiert.
46 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Aufbau des Gehirns
Wesentliche Bestandteile:
• Verlängertes Mark = Medulla oblongata
• Kleinhirn = Cerebellum
• Brücke = Pons
• Mittelhirn = Mesaencephalon
• Zwischenhirn = Diencephalon
• Endhirn = Cerebrum
Die höheren kognitiven Prozesse des Menschen finden im Endhirn statt. Für z.B. das Erleben von Emo- tionen usw. sind aber auch die anderen Hirnareale wichtig.
vorne
47 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Messung von Hirnaktivität
• Zur Messung der Hirnaktivität kommen insbesondere zwei Arten von Verfahren in frage:
• EEG (Elektroenzephalographie), auch MEG (Magnetenzephalographie)
• die bildgebenden Verfahren (***tomographie)
• Bei der EEG-Messung wird die Aktivität der Pyramidenzellen im Großhirn gemessen...
• ... sofern diese Zellen hinreichend oberflächennah sind
• ... und senkrecht zur Kopfoberfläche ausgerichtet (a)
48 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g + -
Messung von Hirnaktivität
• Gemessen werden dabei postsynaptische Potentiale!
• Die Messung ist auch nur dann möglich, wenn viele Zellen parallel ausgerichtet sind, und die Ausrichtung senkrecht zur Kopfoberfläche ist.
49 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Messung von Hirnaktivität
• Wenn man eine Frequenzanalyse des EEG durchführt, erhält man in etwa folgende Einteilung:
• Insbesondere wird der Alpha-Grundrhythmus mit dem Vorhandensein von Bewusstsein in Verbindung gebracht.
Bandname Frequenzber. Amplitude Aktivität
Alpha 8 – 13 Hz 20 – 120 V Wach, entspannt, Augen geschlossen
Beta 14 – 30 Hz 5 – 50 V Augen offen, Aufmerksamkeit
Gamma 31 – 60 Hz < 10 V Anspruchsvolle Tätigkeiten, Konzentration
Theta 4 – 7 Hz 20 – 100 V Übergang zum Schlaf, Einschlafen
Delta 0.5 – 3.5 Hz 5 – 250 V Tiefschlaf
50 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Anwendungen von EEG: Brain Computer Interfaces
• Brain-Computer-Interface (BCI): Steuerung von Maschinen mittels Gehirnaktivität
• Für Menschen mit starken motorischen Behinderungen (z.B. Prothesensteuerung, oder Kommunikationsmöglichkeit für Locked-in Patienten)
• Natürliche Schnittstelle für die Mensch-Maschine-Interaktion (z.B. kognitive Belastung)
• Forschungsinstrument, um neurologische Vorgänge zu untersuchen und zu verstehen
51 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Anwendungen von EEG: Brain Computer Interfaces
• Meist EEG, aber auch fMRT, ECoG, oder NIRS
• Beispiel: Schon durch die Vorstellung von Handlungen entstehen messbare Veränderungen der Hirnaktivität (z.B. im Motorkortex bei Vorstellung von Hand- oder Fußbewegungen)
• „Aktive“ BCI: Kontrolle von Maschinen
• „Passive“ BCI: Gehirnaktivität als Indikator für bewusste/unbewusste Vorgänge
TU Berlin (2009)
52 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Brain Computer Interfaces
• Ein klassisches BCI basiert auf zwei Mechanismen:
• Training von Klassifikatoren, die die generierten Gehirnaktivitätsmuster diskriminieren (maschinelles Lernen)
• Außerdem lernt der Benutzer, diskriminierbare Aktivität zu generieren (Lernen durch Biofeedback)
• Man bezeichnet dies auch als Koadaption: Üblicherweise passt sich der Mensch an das System an, und das System adaptiert sich an die gemessenen Signale.
Dornhege et. al (2007): Toward Brain-Computer Interfacing
53 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g EEG- Signale für BCIs
• Sensor-motorische Rhythmen (SMR)
• μ–Rhythmus: Aktivität bei ca. 10Hz im sensor-motorischen Kortex
• Desynchronisiert bei Vorstellung von Bewegungen
• Slow cortical potentials (SCPs)
• Benutzer lernt SCPs bewusst zu kontrollieren
• Ereigniskorrelierte Potentiale (EKP)
• Benutzer setzt sich einem Stimulus aus, der ein EKP auslöst
• z.B. 300ms nach akustischem oder visuellem Stimulus (P300)
• Steady-state evoked potentials (SSEPs)
• Benutzer betrachtet mit unterschiedlicher Frequenz blinkende Lichtquellen
• Aktivität im visuellen Kortex bei der Frequenz und ihren Oberschwingungen steigt
• Auch durch Vibration an Fingerspitzen entstehen SSEPs im Motorkortex
54 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Brain Computer Interfaces
• Herausforderungen für BCIs
• Hohe Dimensionalität
• Nicht-Stationarität der Signale
• Geringe Menge an Trainingsdaten
• Verrauschte Daten und Ausreißer
• Robustheit außerhalb von Laborbedingungen
• Fehlende „Ground truth“
• BCI-Analphabetismus
• State of the art
• Geringe Zahl von zu diskriminierenden Aktivitäten
• Robuste BCIs für einfache Aufgaben (z.B. Steuerung eines Mauscursors, Brain-Pong, Buchstabiersysteme)
• Erkennungsraten bis über 90% (2-Klassen) bei untrainierten Benutzern
• Geringe Kanalkapazität (ca. 0.5 bits/s)
• Starkes Forschungsinteresse
55 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g CSPs für EEG-basierte BCIs
• Eine Methode für BCIs, die wir nächstes Mal genauer behandeln: Common Spatial Patterns (CSP)
• Betrachte Sensor-motorische Rhythmen bei Bewegungsvorstellung (Beispiel: Linke Hand vs. Rechte Hand). Wie unterscheiden wir, welche Vorstellung gerade stattfindet?
• CSPs bieten einen einfachen Ansatz, solche binären Probleme anzugehen. Die Grafik unten zeigt relevante Hirnbereiche für die Vorstellung von Bewegungen der linken und rechten Hand.
56 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Beispiel: Epoc
• Epoc (Emotiv Systems)
• World’s first consumer neuro head-set
• Kommerziell verfügbares Peripheriegerät konzipiert für Computerspiele
Emotionserkennung (Aufregung, Frustration, Engagement,…)
Erkennung von Gesichtsausdrücken (Blinzeln, Lachen,…)
Steuerung (12 verschiedene Bewegungen)
• Bluetooth
• 16 Elektroden EEG/EOG/EMG
• 2 Gyroskope
• Erste Evaluierungen am CSL waren recht vielversprechend
57 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Beispiel Gaming: Mindflex
Mattel-Games-MindFlex
58 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Muskelaktivität
• Muskelaktivität ist die Grundlage mensch- licher Bewegung.
• Wir betrachten nur die Skelettmuskeln, die willentlich gesteuert werden können.
• Die Skelettmuskeln heißen aufgrund ihrer Struktur auch quergestreifte Muskulatur.
• Die Querstreifung entsteht durch das Neben- einanderliegen von Myosinfilamenten und Aktinfilamenten.
• Wenn eine Muskelkontraktion ausgelöst wird, verschieben sich diese Filamente gegeneinander.
• Der Muskel kann aus eigener Kraft nicht wieder dekontrahieren – dazu ist ein Gegenmuskel erforderlich.
59 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Neuromuskuläre Übertragung
• Die Aktivierung einer quergestreiften Muskelfaser erfolgt durch ein einzelnes Motoneuron, z.B. im Rückenmark.
• Das Axon dieses Neurons endet in einer oder mehreren Synapsen, die an den Muskel andocken und als motorische Endplatten bezeichnet werden.
• Wenn das Motoneuron feuert, entsteht im Muskel ein Aktionspotential (MUAP, motor unit action potential), das sich entlang der Muskelfasern ausbreitet und zur Kontraktion führt.
• Dieses Potential wird durch EMG gemessen.
60 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Ansteuerung von Muskeln
• Grundsätzlich gilt: Ein Motoneuron kann viele Muskelfasern steuern (wie viele, hängt von dem Muskel ab).
• Jede Muskelfaser wird nur von einem Motoneuron innerviert.
• Als motorische Einheit (MU, motor unit) bezeichnet man ein Motoneuron + alle von ihm innervierten Muskelfasern.
61 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Ansteuerung von Muskeln
• Da ein Muskel aus vielen verschiedenen MU besteht, kann die Kontraktionsstärke durch die „Rekrutierung“ mehrerer MUs gesteuert werden, zusätzlich aber auch durch die Frequenz der Ansteuerung.
62 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Elektromyographie
• Die EMG-Messung erfolgt durch Nadel- oder Oberflächenelektroden.
• Im Bereich der Benutzerschnittstellen kommen natürlich nur Oberflächenelektroden in frage!
• Hauptproblem bei Oberflächen-EMG: Es wird eine Überlagerung vieler verschiedener Aktionspotentiale gemessen.
• Anwendungen von EMG:
• Klinisch
• Sportwissenschaften
• Benutzerschnittstellen (z.B. Prothesensteuerung)
• Am CSL: Spracherkennung, Mimik-/Emotionserkennung (gut, aber noch nicht ganz marktreif)
Das selbe Signal – einmal mit Nadelelektrode, einmal an der Oberfläche gemessen
63 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
Quelle: www.otbioelettronica.it
Methoden für EMG
• Am CSL erforschen wir derzeit die Anwendung von Elektrodenarrays für EMG.
• Ein Elektrodenarray liefert ein mehrkanaliges Bild der EMG-Aktivität.
• Hier verwenden wir u.a. Independent Component Analysis (ICA), um z.B. Rauschen zu reduzieren.
• Unten sieht man ein Signal und seine Kompo- nenten: Einige bestehen nur aus Rauschen, andere enthalten ein gutes EMG-Signal.
64 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Sprache: Automatische Spracherkennung
I /i/ you /j/ /u/ we /v/ /e/
)(
1)|()(maxarg)|(maxarg
xPWXpWPXWP
WW
Hello
Speech Signal Capturing Signal Preprocessing
Automatic Speech Recognition
Output
I am You are We are
Acoustic Dictionary Language Model
Exam
ple
Patte
rn
t1 t2
?
t 1 t
2
t M
0 0.2 0.4 0.6 0.8 1 1.20
1000
2000
3000
4000
5000
6000
7000
8000
65 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Biosignal Sprache
• Spracherkennung: Von Spracheingabesignal nach Text
• Sprachsynthese: Von Text nach Sprachausgabesignal
• Sprachübersetzung (über Sprachengrenzen): Von Sprachsignal in Sprache L1 zu Sprachsignal in L2 = Spracherkennung + MT + Sprachsynthese
• Sprachverstehen, Zusammenfassen = Von Spracheingabesignal nach Bedeutung
• Sprachaktivität ist aber nicht nur das Was wird gesprochen Wer spricht? → SprecherIDentifizierung Welche Sprache wird gesprochen? → LanguageID Über was wird gesprochen? → TopicID Wie wird gesprochen? → EmotionID Zu wem wird gesprochen? → Focus of Attention
• Übersetzung (über Speziesgrenzen) Beispiel Delphine
66 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Information in Sprache
Speech Speech Recognition
Language Language Recognition
Speaker Speaker Recognition
Accent Recognition Accent Recognition
Words Onune baksana be adam!
Language Name TurkishTurkish
Speaker Name UmutUmut
Accent IstanbulIstanbul
: :
: :
Emotion Emotion Recognition
Emotion AngryAngry
Topic ID: Chemicals Entity Tracking: Istanbul Acoustic Scene: Bus Station Discourse Analysis: Negotiation
67 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g EMG-basiertes Silent Speech Interface
• Surface ElectroMyoGraphy (EMG)
• Nichtinvasiv (Messung an der Hautoberfläche)
• Electro (Messung elektrischer Aktivität)
• Myo (des Muskels)
• Sprache entsteht aus der Aktivität der Artikulationsmuskeln
• Die Elektroden erfassen diese Aktivität auch, wenn kein Geräusch entsteht
• Silent Speech Interface
EMG-Signal „zero zero zero“
+
–
ref
s1
s2
s2 – s1
68 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g EMG-basiertes Silent Speech Interface
Wozu könnte man ein solches Silent Speech Interface verwenden?
• Keine Störung von Umstehenden: Lautlose Kommunikation in stillen Umgebungen (Meetings, …)
• Privacy: Sichere Übermittlung vertraulicher Informationen
• Robustheit bei Umgebungsgeräuschen: Keine Störung in lauter Umgebung
• Speech Augmentation: gewöhnliche Spracherkennung kann durch EMG verbessert werden
• Hilfe für Sprachbehinderte: z.B. Laryngektomie
69 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g
• Modellierung:
• Geeignete Lauteinheiten, große Vokabulare
• Kontinuierliche Sprache, Koartikulation
• Robustheit
• “Nebengeräusche” durch Kauen, Mimik, Emotion
• Umgebungsvariablen (Haut, Schweiss, Feuchtigkeit, Behaarung)
• Sprecherabhängigkeiten Adaptation
• Ganz aktuelles Thema:
• Verwendung von Elektrodenarrays
• Einige Möglichkeiten erarbeiten wir uns in dieser Vorlesung
Herausforderungen und Offene Fragen
70 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n -
Ein
füh
run
g Plan der nächsten Vorlesungen
• Der Plan der nächsten Vorlesungen ist wie folgt:
1. Common Spatial Patterns – eine Vorverarbeitung, die im EEG-Bereich sehr beliebt ist
2. Filterdesign – Entwurf und Verwendung moderner Frequenzfilter
3. Blind Source Separation – ICA und weitere Algorithmen
4. Beamforming – Suche nach dem Quell der Erkenntnis
Weitere Blöcke: diskriminative Lernmethoden, Datenfusion, etc.