Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images...
Transcript of Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images...
![Page 1: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/1.jpg)
Mosaïques d’images
GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde
Merci à A. Efros, R. Szeliski et S. Seitz!
Dya
nne
Willi
ams
![Page 2: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/2.jpg)
Pourquoi les mosaïques?• Qu’est-ce qu’on voit?
• CdV d’une caméra standard = 50 x 35°
Crédit: Brown & Lowe
![Page 3: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/3.jpg)
Pourquoi les mosaïques?• Qu’est-ce qu’on voit?
• CdV standard = 50 x 35°
• CdV d’un humain = 190 x 135°
Crédit: Brown & Lowe
95° vers l’extérieur (+ 45° avec rotation)
190° (~280° avec rotation)
(selon wikipedia)
![Page 4: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/4.jpg)
Pourquoi les mosaïques?• Qu’est-ce qu’on voit?
• CdV standard = 50 x 35°
• CdV d’un humain = 200 x 135°
• CdV total = 360 x 180°
Crédit: Brown & Lowe
![Page 5: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/5.jpg)
Mosaïque: fusionner les images
caméra virtuelle à large champ de vue
![Page 6: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/6.jpg)
Mosaïque naïve
gauche par-dessus droite par-dessus
Translations insuffisantes pour aligner les images!
![Page 7: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/7.jpg)
Un pinceau de rayons capture toutes les vues
Nous pouvons générer n’importe quelle caméra synthétique (tant que le centre de projection soit le même)
![Page 8: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/8.jpg)
Re-projection d’images
• Interprétation en 3D:
• Les images sont re-projetées sur un plan virtuel
• Une mosaïque: caméra virtuelle à large champ de vue
plan virtuel
![Page 9: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/9.jpg)
Comment faire?• Algorithme de base:
• Prendre une séquence de photos à partir de la même position • (garder le même centre de projection)
• Calculer transformation entre la deuxième image et la première
• Transformer la deuxième image pour l’aligner avec la première
• Fusionner les deux images
• Répéter pour toutes les images
• Une seconde…
• On n’utilise pas la géométrie 3D de la scène??
![Page 10: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/10.jpg)
Géométrie de la scène?
• Au tableau
![Page 11: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/11.jpg)
De retour à la transformation d’imagesQuelle est la bonne transformation?
translation, affine, projective?
Translation Affine Perspective
![Page 12: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/12.jpg)
Homographies
• Réponse: Projective!
• Transformation entre deux caméras ayant le même centre de projection
• transformation entre deux plans (quadrilatères)
• on perd le parallélisme
• mais les droites sont préservées
PP2
PP1
![Page 13: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/13.jpg)
Homographies
• Pour appliquer une homographie H
• Calculer p’ = Hp (en coordonnées homogènes)
• Convertir p’ en coordonnées dans l’image
PP2
PP1
p0 = Hp
2
4wx
0
wy
0
w
3
5 =
2
4a b c
d e f
g h i
3
5
2
4x
y
1
3
5
![Page 14: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/14.jpg)
Homographies
plan de l’image en avantplan de l’image en dessous
![Page 15: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/15.jpg)
Rectification d’images
• Calculer l’homographie H entre p et p’
• Combien de correspondances?
• Transformer l’image selon H
• En pratique, partir de l’image de destination, et appliquer inv(H)
• Comment trouver H?
pp’
![Page 16: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/16.jpg)
Système d’équations linéaires• Prenons des paires de points (x1, x1’), (x2, x2’), (x3, x3’),
etc.
• par exemple: grandeur vs poids
• Nous voulons prédire les x’ en fonction des x avec une formule compacte (une ligne): ax + b = x’
• Nous voulons déterminer a et b
• Combien de paires (x, x’) avons-nous besoin?
ax1 + b = x
01
ax2 + b = x
02
x1 1x2 1
� a
b
�=
x
01
x
02
�
![Page 17: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/17.jpg)
Moindres carrés — exemple• Que faire s’il y a du bruit dans les données?
• Plus de correspondances (système sur-contraint)
• Trouver a et b qui minimisent la somme des erreurs au carré
• ‘\’ dans matlab
• minimise la somme des erreurs au carré si le système est sur-contraint (plus d’équations qu’il y a d’inconnues)
2
6664
x1 1x2 1...
...xn 1
3
7775
a
b
�=
2
6664
x
01
x
02...x
0n
3
7775 min ||Ax� b||2
![Page 18: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/18.jpg)
Revenons à nos homographies…
• Facteur d’échelle, i=1
• 8 inconnues, donc 8 équations sont nécessaires
• Écrire système d’équations linéaires Ah = 0
• Résoudre pour trouver h
• Si on a plus que 4 correspondances
• Minimiser la somme des différences au carré
• Dans les deux cas, ‘\’ est votre ami
• Voir “help lmdivide” dans Matlab
2
4wx
0
wy
0
w
3
5 =
2
4a b c
d e f
g h i
3
5
2
4x
y
1
3
5
![Page 19: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/19.jpg)
Système d’équations linéaires
• Tableau…
![Page 20: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/20.jpg)
On s’amuse avec les homographies
St.Petersburg photo: A. TikhonovCaméra virtuelles
Image originale
![Page 21: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/21.jpg)
Analyse d’oeuvres d’art
Version rectifiéeVersion agrandie
Quelle est la forme du carrelage sur le sol?
Crédit: Criminisi
Homographie
![Page 22: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/22.jpg)
Analyse d’oeuvres d’art
de: Martin Kemp, “The Science of Art” (reconstruction manuelle)
Rect
ifica
tion
auto
mat
ique
une deuxième forme est découverte!
Crédit: Criminisi
![Page 23: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/23.jpg)
Analyse d’oeuvres d’art
Image rectifiée
St. Lucy Altarpiece, D. Veneziano
Quelle est la forme du carrelage?
Crédit: Criminisi
![Page 24: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/24.jpg)
Martin Kemp, The Science of Art (reconstruction manuelle)
Automatique
Analyse d’oeuvres d’art
Crédit: Criminisi
![Page 26: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/26.jpg)
Holbein, The Ambassadors
![Page 27: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/27.jpg)
Panoramas
![Page 28: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/28.jpg)
Modifions le centre de projectionimage virtuelle
PP1
PP2
![Page 29: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/29.jpg)
Scène planaire (ou lointaine)plan1
plan3
plan2
![Page 30: Mosaïques d’imagesvision.gel.ulaval.ca/~jflalonde/cours/4105/h17... · Mosaïques d’images GIF-4105/7105 Photographie Algorithmique, Hiver 2017 Jean-François Lalonde Merci à](https://reader034.fdocument.pub/reader034/viewer/2022043003/5f836bb9da881b2f6842bb35/html5/thumbnails/30.jpg)
Mosaïque planaire