Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni...
Transcript of Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni...
![Page 1: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/1.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Napredno estimiranje strukture i gibanjakalibriranim parom kamera
Ivan Krešo
Mentor: Siniša Šegvic
3. srpnja 2013.
![Page 2: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/2.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Motivacija
Stereo viddvije kamere omogucavaju mjerenje dubinekorespondentnih tocaka slikerekonstrukcija strukture sceneodredivanje gibanja kamere iz videa (vizualna odometrija)
Primjene u okviru projekta Vistapoložaj kamere u odnosu na ravninu cestepoložaj vozila u odnosu na prometni trak (rub ceste)geometrijske indicije za položaj prometnog znaka
![Page 3: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/3.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Epipolarno ogranicenje
epipolarno ogranicenje - znacajku xL iz lijeve slikepretražujemo u desnoj slici na pravcu gdje ravninaodredena tockama xL,eL,eR sijece projekcijsku ravninudesne kamere.
Lijeva kamera
X
xL
xR
OL OR
Desna kamera
eL eR
X → promatrana tockaOL i OR → tockecentara projekcijexL i xR → projekcijetocke X
eL i eR → epipolovi
![Page 4: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/4.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Rektificiranje stereoskopskih slika
Lijeva kamera
X
xL
xR
OL OR
Desna kamera
eL eR
![Page 5: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/5.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Rektificirana triangulacija
bZ
=b + xR − xL
Z − f
Z =f · b
xL − xR=
f · bd
![Page 6: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/6.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Rektificirana triangulacija
![Page 7: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/7.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Kalibriranje stereoskopskog sustava
Kalibracijom stereo sustava dobivaju se:linearni intrinsicni parametri:
K =
f 0 u00 f v00 0 1
kamera matrice K opisuje pretvaranje normaliziranihkoordinata projekcije u koordinate slike
nelinearni intrinsicni parametri: distorzija lecepoložaj desne kamere u odnosu na lijevu: R, trektifikacijske matrice: Hl , Hr
udaljenost izmedu kamera (baseline) u rektificiranomsustavu: b
![Page 8: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/8.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Odredivanje korespondentnih znacajki
znacajke se dobivaju ciklickim podudaranjem izmedu cetirislike:
prethodne lijeve i desne te trenutne lijeve i desne.
![Page 9: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/9.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Filtriranje znacajki
iz pronadenih znacajki gradi se opticki tok (optical flow)najprije se filtriraju outlier znacajkezatim se odabire relevantan skup znacajki
![Page 10: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/10.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Model kamere
Geometrijski prikaz modela kamere uz K =
f 0 00 f 00 0 1
pf
C
Y
Z
f Y / Z
y
Y
x
X
x
p
image planecameracentre
Z
principal axis
C
X
![Page 11: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/11.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Model kamere
Projekcijska funkcija kamere
λ
uv1
= π(X,R, t) =
f 0 u00 f v00 0 1
[R t
]xyz1
−b
00
3D koordinate tocke X = (x , y , z)T
pomak za lijevu kameru b = 0, za desnu kameru b jejednak odmaku desne kamere u rektificiranom sustavurotacijska i translacijska matrica [Rt] dimenzija 3x4žarišna udaljenost fcentralna tocka (u0, v0)
koordinate projicirane tocke u slici (u, v ,1)T
λ - informacija o dubini tocke koju gubimo projiciranjem
![Page 12: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/12.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Odredivanje gibanja kamere
Obavlja se triangulacija znacajki iz para prethodnih slika:N - broj znacajki.Xi - tocka dobivena triangulacijom i-te znacajke.
Iterativnom gradijentnom minimizacijom izrazaN∑
i=1
‖xi(l) − π(l)(Xi,R, t)‖2 +
N∑i=1
‖xi(r) − π(r)(Xi,R, t)‖2
s obzirom na parametre (R, t) dobivamo one vrijednostiparametara za koje je pogreška projekcije minimalna.
π(l) - funkcija projiciranja na lijevu kameru.π(r) - funkcija projiciranja na desnu kameru.xi - (u, v) koordinate i-te znacajke u trenutnom paru slika.
Dobiveni [Rt] je transformacija tocaka izmedu dva trenutkau odnosu na kameru (koja je uvijek u ishodištu), a [Rt]−1 jetada gibanje kamere u odnosu na tocke.
![Page 13: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/13.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Programske biblioteke
1 calib3d (stereoCalibrate, stereoRectify) - OpenCV2 Libviso2 - KIT, Karlsruhe3 SBA (sparse bundle adjustment) - FORTH, Heraklion4 KLT tracker - Clemson University5 calcOpticalFlowPyrLK - OpenCV
![Page 14: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/14.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Eksperimentalni rezultati
1 Bumblebee dataset.2 Sinkronizacija vizualne odometrije i GPS podataka3 KITTI dataset.4 Stereo model sustava kamera: testiranje Libviso biblioteke.
![Page 15: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/15.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Ispitna snimka Bumblebee
Rezolucija: 640x480Odmak kamere: 0.12m
![Page 16: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/16.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Ispitna snimka Bumblebee
Rezultati vizualne odometrije (Libviso):
![Page 17: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/17.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Interpolacija odometrije u vremenima GPS tocaka
GPS podaci:trajanje vožnje: 111s, frekvencija dohvata: 1Hz
Vizualna odometrija:timestamp zapisan u pikselimabroj okvira: 2786, nakon poduzorkovanja: 929ukupan timestamp vožnje: 57032 ciklusa1 ciklus = 111
57032s ≈ 2ms
InterpolacijaPronalazimo okvire u kojima je broj akumuliranih ciklusa najbližitrenutku GPS-a.Položaj kamere u trenutcima GPS ocitanja odredujemointerpolacijom.
![Page 18: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/18.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Sinkronizacija videa i GPS-a poklapanjem rotacije
Kut Φ izmedu vektora pomaka kroz tri uzastopne tocke:
a× b =
axay0
×bx
by0
=
∣∣∣∣∣∣∣i j k
ax ay 0bx by 0
∣∣∣∣∣∣∣ =
00
axby − bxay
‖a× b‖ = ‖a‖‖b‖ sin Φ = axby − bxay
Φ = arcsin(
axby − bxay
‖a‖‖b‖
)ts - pomak vizualne odometrije u odnosu na UTC (GPS).
ts = argmints
111∑t=0
(Φvo(t + ts)− Φgps(t))2
![Page 19: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/19.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Sinkronizacija odometrije i GPS-a pomocu rotacije
Inkrementalni zakret Φ dobiven odometrijom i GPS-om
![Page 20: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/20.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Evaluacija preciznosti translacije
Inkrementalni translacijski pomak: ∆s(t) = ‖p(t)− p(t − 1)‖
![Page 21: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/21.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Evaluacija odometrije i GPS-a
Pogreška skale: E(t) = ‖pvo(t)−pvo(t−1)‖‖pGPS(t)−pGPS(t−1)‖
![Page 22: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/22.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Ispitna snimka KITTI
Rezolucija: 1241x376Razmak: 0.537m
![Page 23: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/23.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Umjetni ispitni skup podataka
Modelira linearne intrinsicne i ekstrinsicne parametreUlaz: ekstrinsicni parametri kretanja kamereIzlaz: projekcije generiranih 3D tocaka u tocke lijeve idesne slike - ulazni podaci za vizualnu odometriju
(e) XY osi (f) XZ osi
Slika: Distribucija generiranih tocaka u 3D prostoru
![Page 24: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/24.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Umjetni ispitni skup podataka
usporedba uprosjecene pogreške triangulacije zaparametre kamera Bumblebee i KITTI
![Page 25: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/25.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Umjetni ispitni skup podataka
Trajektorije dobivene za razlicite razmake kamera (Bumblebee)
![Page 26: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/26.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Zakljucak i buduci ciljevi
pracenje kroz više okviraproširiti SBA biblioteku za rad sa stereo sustavom i povezatije s vizualnom odometrijom
optimizacija: ukloniti proces rektifikacije citave slike:rektificirati odvojen skup znacajki iz lijeve slike i desne slikete ih zatim podudaratipodudarati znacajke pretraživanjem po epipolarnimpravcima
rektificirati samo pronadene znacajke
upotrijebiti estimaciju strukture scene i gibanja kamere zaciljeve projekta Vista:
pracenje oznaka na kolniku - razdjelna linija i rubovi cestelane departure warningdetekcija i filtriranje prometnih znakova
![Page 27: Napredno estimiranje strukture i gibanja kalibriranim parom ......Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi´ Napredno estimiranje strukture i gibanja kalibriranim](https://reader035.fdocument.pub/reader035/viewer/2022081402/6079bc762094605bba7a12fb/html5/thumbnails/27.jpg)
Motivacija Kamere Eksperimentalni rezultati Buduci ciljevi
Hvala na pažnji!