LEAP MOTION –Die...
Transcript of LEAP MOTION –Die...
![Page 1: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/1.jpg)
LEAP MOTION – Die Fuchtelkamera
Julian HermannJulian Bauer
![Page 2: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/2.jpg)
LEAP MOTION – Die Fuchtelkamera
Technische Betrachtung des Controllers
Theorie zur Stereobilderzeugung
Praktische Umsetzung
Fazit/Ausblick
![Page 3: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/3.jpg)
<Computer>
<Leap Motion>
Kamera
Objekt
Objektiv Beleuchtung
Vorverarbeitung
Datenüber‐tragung
Bildaufbereitung
Bildanalyse
Klassifikation
Anbindung an Peripherie
Aufbau des Leap Motion Controller
• Bildaufnahme im Leap Motion
Controller
• Bildauswertung zu 100% am Computer
• Datenübertragung via USB2.0
![Page 4: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/4.jpg)
<Leap Motion>
Kamera
Objekt
Objektiv Beleuchtung
Vorverarbeitung
Datenüber‐tragung
Bildaufnahme
• Die Beleuchtung der Handfläche durch drei
IR‐LED (~850nm)
• Das Objekt wird innerhalb des Arbeitsraum
positioniert
• Das Objektiv hat eine Brennweite von
f = 1.24mm
• Die zwei Kameras erzeugen ein Stereo‐
Graustufenbild mit je 200 fps
• Vorverarbeitung z.B. Median‐Filter
• Die Datenübertragung findet über USB statt
![Page 5: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/5.jpg)
Computer:
Datenüber‐tragung
Bildaufbereitung
Bildanalyse
Klassifikation
Anbindung an Peripherie
Bildauswertung
• Die Bildaufbereitung, Bildanalyse und
Klassifikation findet in der
mitgelieferten Software statt.
• Die Anbindung an die Peripherie ist
durch die API der SDK möglich.
![Page 6: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/6.jpg)
Erzeugung eines Stereo‐Bildes P
f f
b
P‘L P‘R
• Jede Kamera erzeugt in Abhängigkeit der
Brennweite f ein Bild.
• Der reale Punkt P wird in den beiden Bildern an
unterschiedlicher Stelle projiziert.
• Mit dem Abstand b der beiden Kameras
zueinander lässt sich die Position des Punktes P
ermitteln.
• Abstand/Versatz er beiden projizierten Punkten im
Bild zueinander wird Disparität genannt. (Skizze)
• Daraus lässt sich die Entfernung t des
Kamerasystems zum Punkt P bestimmen.
t
Tiefe t / f = b/Disparität
Tiefe t = f * b/Disparität
![Page 7: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/7.jpg)
Skizze (an Tafel zeichnen)
Disparität
![Page 8: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/8.jpg)
Praktische Relevanz des Leap Motion Controllers
• Wofür kann der Scheiß benutzt werden?
![Page 9: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/9.jpg)
Probleme
• Falschakzeptanzrate (FAR) [false acceptance rate] = Zulassungsrate Unberechtigter
• Falschrückweisungsrate (FRR) [false rejection rate] = Abweisungsrate Berechtigter
0
0,42
0
0,09 0,13
0,08
0 0
0,84
0,08
0,81
0,08
0,23
0,01
0,87 0,92
0,03
0,28
0,26
0,93
0,19
0,92
0,77
0,99
0,13
0,08
0,97
0,72 0,74
0,07
P INKY L R ING L MIDDLE L INDEX L THUMB L THUMB R INDEX R MIDDLE R RING R P INKY R
DETECTION RATEFAR FRR correctly identified
![Page 10: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/10.jpg)
Fehleranalyse: Fingererkennung eines Tastendrucks (aus hundert Versuchen)
FAR Zulassungsrate Unberechtigter FRR Abweisungsrate Berechtigter
Summe der erkannten Tastendrücke pro Finger
Pinky L Ring L Middle L Index L Thumb L Thumb R Index R Middle R Ring R Pinky R
Pinky L 19 29 0 0 0 0 0 0 0 0 81
Ring L 0 92 0 0 0 0 0 0 0 0 8
Middle L 0 13 77 9 0 0 0 0 0 0 23
Index L 0 0 0 99 0 0 0 0 0 0 1
Thumb L 0 0 0 0 13 0 0 0 0 0 87
Thumb R 0 0 0 0 0 8 0 0 1 0 92
Index R 0 0 0 0 0 0 97 0 0 0 3
Middle R 0 0 0 0 0 0 0 72 21 0 28
Ring R 0 0 0 0 0 0 0 0 74 8 26
Pinky R 0 0 0 0 0 0 0 0 62 7 93
0 42 0 9 13 8 0 0 84 8
![Page 11: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/11.jpg)
Bone model (side view)
![Page 12: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/12.jpg)
Auszug aus dem Fingeralphabet
![Page 13: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/13.jpg)
Wie die Leap‐Motion das Fingeralphabet sieht
![Page 14: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/14.jpg)
![Page 15: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/15.jpg)
Fazit und Ausblick
• Zur Zeichenerkennung mehr Merkmale hinzufügen
Position der Fingerspitzen
Abstand der Fingerspitzen/Gelenke zueinander – besser unterscheidbar
• Parameter einlernen durch Neuronales Netz
mit mehreren Durchgängen
mit mehreren Personen – individuellere Erkennung
Überwachtes Lernen
![Page 16: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/16.jpg)
Vielen Dank
für eure
Aufmerksamkeit
![Page 17: LEAP MOTION –Die Fuchtelkameraprojekte.rt-lions.de/misc/HandGestures/15WS_HerrmannBauer_Leap… · Thumb R0 0 0 0 0 8 0 0 1 0 92 Index R0 0 0 0 0 0 97 0 0 0 3 Middle R 0 0 0 0 0](https://reader031.fdocument.pub/reader031/viewer/2022041020/5ecf8e70170e3739bc11514b/html5/thumbnails/17.jpg)
• http://stackoverflow.com/questions/23861184/data‐pre‐processing‐with‐leap‐motion
• http://www.ni.com/white‐paper/14103/de/• http://www.cobocards.com/pool/de/cardset/5701403/online‐karteikarten‐epipolargeometrie/
• http://www.cs.put.poznan.pl/wjaskowski/pub/theses/LeapGesture_BScThesis.pdf
Quellen