„Hands Up!”
Kézmozdulat felismerő rendszer
Jelenlegi iskola:Budapesti Műszaki Főiskola – Neumann János Informatika Kar - Szoftvertechnológia Intézet – Informatikai Automatizált Rendszerek
Szakirány
Érdeklődési kör: zene, képfeldolgozás
Bemutatkozás
22 / 2
Valós idejű gitár szimuláció Szórakoztató, interaktív formában
Célkitűzés
22 / 3
Rendszer áttekintés
Előfeldolgozás
Értelmezés
Kamera kép
Előfeldolgozott kép
Pengetés esemény
Előállt hang Hang előállítás
22 / 4
Előfeldolgozás
Simítás
HSV konverzió
Szegmentálás
Előfeldolgozás
Ablakok pozícionálása
Értelmezés
Kamera kép
Előfeldolgozott kép
Pengetés esemény
Előállt hang Hang előállítás
22 / 5
Képinformáció értelmezése
Simítás
HSV konverzió
Szegmentálás
Előfeldolgozás
Ablakok pozícionálása
Értelmezés
Lefogott hang kiszámítása
Pengetés esemény felismerése
Kamera kép
Szegmentált, konvertált kép
Kéztávolság és pengetés esemény
Előállt hang Hang előállítás
22 / 6
Hang előállítása
Simítás
HSV konverzió
Szegmentálás
Előfeldolgozás
Ablakok pozícionálása
Értelmezés
Lefogott hang kiszámítása
Pengetés felismerése
Kamera kép
Szegmentált, konvertált kép
Kéz távolság és pengetés esemény
((()))
Hang előállítás
Gitárnyak szimulálás (érintőkre számolás)
Kiválasztott gitárnyak, skála, elrendezés
Hangmagasság, megfelelő fájl kiválasztása
Hangbank
22 / 7
RGB színtér
HSV színtér
SzínterekKonverzió:V = MAX(R, G, B);delta = MAX(R, G, B) - MIN(R, G, B);S = delta / V; IF (R == MAX(R, G, B)) THENH = (G - B) / SIF (G == MAX(R, G, B)) THENH = 2 + (B – R) / SIF (B == MAX(R, G, B)) THENH = 4 + (R – G) / SH = H / 6
22 / 9
Szegmentálás
22 / 10
Hisztogram alapú szegmentálás
Lokális szegmentálás
Fix küszöb
Bőrszín statisztikája Hisztogramban tároljuk a bőrszínről vett
adatokatÖsszevetjük a kép pixeleit a
hisztogrammalStatisztikai adatokszürkeárnyalatos kép
Objektum keresés
22 / 12
Súlypont számolása CamShift algoritmussalÍgy meg lesz egy pontunk, amiből
tudunk következtetni a kéz helyzetére Gradiens hisztogramok használata
kutatás alatt
Kéz meghatározása
22 / 13
Képkockánként szegmentálás
Egymást követő képkockák különbsége
Objektum követés konstans háttérrel
Objektum követés megadott régióban
Objektum követés
22 / 14
A bal kéz pozíciója alapján ki tudjuk számolni, hogy hanyadik érintőnek megfelelő helyen lenne egy gitár nyakán
A jobb kéz mozgása alapján tudunk következtetni a pengetés eseményére
Kéz pozicionálás
22 / 15
„Hangbank” alkalmazásávalTömörített wav fájlok, felvéve gitárrólKönnyen bővíthető, kevésbé terheli a
CPU-t24-36 fájl kell a megfelelő
terjedelemhez/hangzás
Ebből beállítások után „keletkezik” az aktuális gitár hangbázisaSkálák, alaphang
Hangstruktúra
22 / 16
Maga a hang kezelése DirectSoundon keresztül történikJobban kihasználja a számítógép
erőforrásaitEgyéb funkciókkal további testre szabási
lehetőségek (pl. hangerő, panning, effektek...)
Legtöbb gépen megtalálható, mivel a DirectX része
DirectSound
22 / 17
A hangok tiszta csatornás gitárhangok
Tömörítési eljárások közül többet próbáltunkMS ADPCM lett a legoptimálisabb44 Khz, mono, 180 kbps
mintavételezéssel 200 kByte-os file-ok
Hangformátum
22 / 18
Célkitűzés Bemutatkozás Rendszerterv
Rendszer áttekintés Előfeldolgozás Képinformáció értelmezése Hang előállítás
Irodalomkutatás Szűrés Színterek Szegmentálás Objektum keresés
Objektum követés Kéz pozicionálás Hangstruktúra Direct Sound Összegzés Tartalomjegyzék Köszönetnyilvánítás Készítők
Tartalomjegyzék
22 / 20
A team nevében köszönöm a figyelmet!
22 / 21
Bónis Balázs
Gyöngyi Lajos
Szabó Attila
A projektet készítették:
http://iar.bmfnik.hu/2008_2009/hands_up/
Top Related