Sustav za prepoznavanje gesti ruku temeljen na podacima s...
Transcript of Sustav za prepoznavanje gesti ruku temeljen na podacima s...
![Page 1: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/1.jpg)
Sustav za prepoznavanje gesti ruku temeljen na podacima s
mikrokontrolerske pločice i neuronskoj mreži
Student: Eugen Vušak
Mentor: doc. dr. sc. Alan Jović
Završni rad br. 5372
5. 7. 2018.
![Page 2: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/2.jpg)
Internet stvari
Pametne kuće
Ekspresivnost ruku
Motivacija
![Page 3: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/3.jpg)
Uređaj za dohvaćanje podataka
Aplikacija za prikupljanje podataka
Neuronska mreža
Aplikacija za prepoznavanje u stvarnom vremenu
Sadržaj
![Page 4: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/4.jpg)
Uređaj za dohvaćanje podataka
![Page 5: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/5.jpg)
MPU-6050 Arduino Nano
gumb LED
![Page 6: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/6.jpg)
![Page 7: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/7.jpg)
∑ ∑a
z-1
x(n) + y(n)
+
+
-
![Page 8: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/8.jpg)
𝑦[𝑛] = 𝑦[𝑛 − 1] + [( 𝑥[𝑛] − 𝑦[𝑛] ) / 𝐶 )]
∑ ∑a
z-1
x(n) + y(n)
+
+
-
![Page 9: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/9.jpg)
𝑦[𝑛] = 𝑦[𝑛 − 1] + [( 𝑥[𝑛] − 𝑦[𝑛] ) / 𝐶 )]
Data smoothOut(Data raw) { return smoothData.add(raw.sub(smoothData).div(smoothStrength));
}
∑ ∑a
z-1
x(n) + y(n)
+
+
-
![Page 10: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/10.jpg)
![Page 11: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/11.jpg)
Aplikacija za prikupljanje podataka
![Page 12: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/12.jpg)
UređajAplikacija za
prikupljanje podataka.csv
P Jezik Processing
Serijska komunikacija
011010
Iscrtavanje u stvarnom vremenu
![Page 13: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/13.jpg)
![Page 14: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/14.jpg)
![Page 15: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/15.jpg)
![Page 16: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/16.jpg)
Neuronska mreža
![Page 17: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/17.jpg)
• Unaprijedna arhitektura
• Gradijentni spust
• Algoritam propagacije pogreške unatrag
![Page 18: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/18.jpg)
......
360
...
100
...
12
• Unaprijedna arhitektura
• Gradijentni spust
• Algoritam propagacije pogreške unatrag
![Page 19: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/19.jpg)
Na ispitnom skupu od 281 primjera točnost je 91.429%
Epoha
Pogr
eška
![Page 20: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/20.jpg)
Aplikacija za prepoznavanje u stvarnom vremenu
![Page 21: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/21.jpg)
Demo
![Page 22: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/22.jpg)
![Page 23: Sustav za prepoznavanje gesti ruku temeljen na podacima s ...ajovic/mentorstva/vusak-zavrsni-prezentacija.pdf · Uređaj za dohvaćanje podataka Aplikacija za prikupljanje podataka](https://reader030.fdocument.pub/reader030/viewer/2022040713/5e178cb7feade510ab308ef7/html5/thumbnails/23.jpg)
Što dalje?