Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à...
-
Upload
jeannine-robert -
Category
Documents
-
view
104 -
download
0
Transcript of Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à...
![Page 1: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/1.jpg)
Insertion d’objets virtuels
GIF-4105/7105 Photographie AlgorithmiqueJean-François Lalonde
Merci à A. Efros et P. Debevec!
![Page 2: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/2.jpg)
Plan — reste de la session• Cette semaine: insertion d’objets virtuels
• Autres sujets: à votre choix!
• “Big Data”: comprendre et synthétiser les images à partir de grandes quantités de données visuelles
• Comment prendre de bonnes photos?
• Comment fonctionne la kinect?
• Caméras “lightfield”: focuser après avoir pris la photo!
• lytro.com
• Détecter les fausses images
• ACP et visages
• Caméras algorithmiques
• Autres idées?
Allez voter sur le groupe
Facebook!
Allez voter sur le groupe
Facebook!
![Page 3: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/3.jpg)
Aujourd’hui
• Retour sur la formation d’images à haute plage dynamique
• Reproduction tonale (“tone mapping”)
• Insertion d’objets virtuels
• À conclure mercredi
![Page 4: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/4.jpg)
Modèle radiométrique (simplifié)
∫∫ΔΔtt
radiance
(W/sr/m2)
irradianceau
capteur
expositionau
capteur
Lentille
Obturateur
voltage
valeursnumériqu
es
pixels
CCD
Conversionanalogique-numérique
Fonctionnon-
linéaire
![Page 5: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/5.jpg)
Modèle radiométrique (plus simplifié)
∫∫ΔΔtt
radiance
(W/sr/m2)
expositionau
capteur
Obturateur
pixels (z)
Fonctionnon-
linéaire
![Page 6: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/6.jpg)
AlgorithmeSérie d’images
• • 33• • 33
• • 11• • 11
• • 22• • 22
Δt = 1 sec
• • 33• • 33
• • 11• • 11
• • 22• • 22
Δt = 1/16 sec
• • 33• • 33
• • 11• • 11
• • 22• • 22
Δt = 4 sec
• • 33• • 33
• • 11• • 11
• • 22• • 22
Δt = 1/64 sec
• • 33• • 33
• • 11• • 11
• • 22• • 22
Δt = 1/4 sec
![Page 7: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/7.jpg)
AlgorithmeSérie d’images
• • 33• • 33
• • 11• • 11
• • 22• • 22
Δt = 1 sec
• • 33• • 33
• • 11• • 11
• • 22• • 22
Δt = 1/16 sec
• • 33• • 33
• • 11• • 11
• • 22• • 22
Δt = 4 sec
• • 33• • 33
• • 11• • 11
• • 22• • 22
Δt = 1/64 sec
• • 33• • 33
• • 11• • 11
• • 22• • 22
Δt = 1/4 sec
![Page 8: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/8.jpg)
Math• Notons la fonction inverse discrétisée: g(z)
• Pour chaque pixel i dans une image j, nous avons:
• Système d’équations linéaires sur-contraint:
composante pour s’assurer
qu’on approxime les données
composante s’assurer
que la courbe soit lisse
![Page 9: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/9.jpg)
Résultat
Courbe estimée
log exposition
Kodak DCS4601/30 à 30 sec
Pix
el
![Page 10: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/10.jpg)
Radiance
![Page 11: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/11.jpg)
Résultats: couleur
![Page 12: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/12.jpg)
12
Rouge Vert
RGBBleu
![Page 13: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/13.jpg)
Radiance
![Page 14: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/14.jpg)
RadianceImage
précédenteentre 0 et 255
![Page 15: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/15.jpg)
Et maintenant?
![Page 16: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/16.jpg)
Reproduction tonale
10-
6
106
Monde
Image(écran, projecte
ur) 0 à 255
Haute plage dynamique
• Comment faire?
• Linéaire? Seuil? Suggestions?
![Page 17: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/17.jpg)
Linéaire
En fonction des pixels
les plus clairs
En fonction des pixels
les plus sombres
![Page 18: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/18.jpg)
Opérateur global
• Déterminer une courbe qui:
• Ramène le contenu du signal HDR dans une plage qui convient à un écran ou un projecteur
• N’augmente pas les parties sombres
• Donc:
• Asymptote à 255
• Dérivée = 1 à 0
![Page 19: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/19.jpg)
Opérateur global (Reinhard et al.)• Solution toute simple: utiliser une
transformée non-linéaire
![Page 20: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/20.jpg)
Non-linéaire
Reinhard
En fonction des pixels
les plus sombres
![Page 21: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/21.jpg)
Opérateur global
![Page 22: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/22.jpg)
Qu’est-ce que nos yeux voient?
Vs.
![Page 24: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/24.jpg)
Insérons un objet virtuel
• Pourquoi le résultat est si mauvais?
• Mauvaise orientation
• Mauvais éclairage
• Pas d’ombre
![Page 25: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/25.jpg)
Solutions• Mauvaise orientation
• Estimer les paramètres de la caméra en fonction de la table. Comment?
• Calibrage géométrique
• Illumination
• Estimer la position et l’intensité des sources lumineuses à placer dans l’environnement virtuel
• Que faire si l’illumination est complexe?
• Sources étendues, inter-réflexions, etc…
![Page 26: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/26.jpg)
Carte d’environnement (environment map)• Solution simple pour objets réfléchissants
• Modélise l’illumination avec une image panoramique
• i.e. quantité de radiance qui provient de chaque direction
Tout premier résultat! (Jim Blinn, 1976)
![Page 27: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/27.jpg)
Carte d’environnementfonction qui convertit le
vecteur de réflexion (x, y, z) en coordonnées image
(u, v)
Rayon réfléchi: r=2(n·v)n-v
La texture est transférée directement sur l’objet en fonction du vecteur de réflexion et du
contenu de l’image d’environnement
Surface réfléchissante
Observateur
Image d’environnement
v
n
r
![Page 28: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/28.jpg)
Carte sphérique
• Enregistre la carte en format sphérique (θ, φ)
• Pour générer la carte:
• Effectuer un rendu sphérique à partir de la position de l’objet
• Pour utiliser la carte:
• Utiliser l’orientation du rayon réfléchi (en coordonnées angulaires), et lire la valeur de couleur correspondantes dans la carte sphérique
![Page 29: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/29.jpg)
Exemple: carte sphérique
![Page 30: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/30.jpg)
Exemple
http://youtu.be/ici8I2foBeQ?t=1m45s
(source: tchyup sur youtube)
![Page 31: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/31.jpg)
Approximations
• La carte continent une vue du monde à partir d’un seul point
• Cette vue change en fonction de la position sur l’objet!
• Introduit distorsions, mais difficile à remarquer
• Minimales pour un petit objet dans un grand environnement
• L’objet ne se réfléchit pas lui-même
![Page 32: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/32.jpg)
Scènes réelles?
Flight of the Navigator (1986), premier film à utiliser cette technologie
![Page 33: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/33.jpg)
Scènes réelles?
Terminator 2 (1991)
![Page 34: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/34.jpg)
Carte d’environnement réelles• Photographier le monde!
• Comment photographier toutes les directions?
• Panoramas!
• Existe aussi d’autres solutions…
• Comment photographier les sources lumineuses? Elles sont beaucoup plus lumineuses que le reste de l’environnement…
• Haute plage dynamique, bien entendu!
![Page 35: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/35.jpg)
Mosaïques HDRhttp://www.gregdowning.com/HDRI/
stitched/
![Page 36: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/36.jpg)
Caméras panoramiques• Avantages:
• très haute résolution (10K x 7K+)
• Pas de mosaïques: sphère automatique
• Bonne plage dynamique (même HDR)
• Problèmes
• $$$
• Long à capturer
![Page 37: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/37.jpg)
Lentilles
![Page 38: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/38.jpg)
Sphère métallique
![Page 39: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/39.jpg)
![Page 40: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/40.jpg)
Détour: où trouver une sphère métallique?• 2 pouces de diamètre ~ $20 ea.
• McMaster-Carr www.mcmaster.com
• 6-12 pouces, moins bonne qualité
• Baker’s Lawn Ornamentswww.bakerslawnorn.com
• Hollow Spheres, 2in – 4in
• Dube Juggling Equipmentwww.dube.com
![Page 41: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/41.jpg)
41
0.34 0.34
0.580.58
=> 59% réflective=> 59% réflective
Calibrage de la réflexivité de la sphère
Calibrage de la réflexivité de la sphère
![Page 42: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/42.jpg)
Real-World HDR Lighting Environments
Exemples: http://www.debevec.org/Probes/Exemples: http://www.debevec.org/Probes/
FunstonBeach
UffiziGallery
EucalyptusGrove
GraceCathedral
![Page 43: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/43.jpg)
Capturer l’environnementAvant
Arrière
![Page 44: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/44.jpg)
Composer l’environnementAvant
Arrière
![Page 45: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/45.jpg)
Pas seulement pour les objets réfléchissants• Nous avons capté une vraie image de radiance
• Nous pouvons
• la traiter comme une source lumineuse!
• l’utiliser pour éclairer la scène, en simulant la propagation de la lumière dans l’environnement virtuel
• Tous les objets peuvent être affichés (pas seulement les objets réfléchissants)!
• Quelle est le problème?
![Page 46: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/46.jpg)
Résultats
![Page 47: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/47.jpg)
Comparaison: radiance vs image
![Page 48: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/48.jpg)
Objets virtuels illuminés par une source virtuelle
![Page 49: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/49.jpg)
Illuminer les objets virtuels
Objet
Lumière
![Page 50: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/50.jpg)
![Page 51: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/51.jpg)
![Page 52: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/52.jpg)
http://www.pauldebevec.com/RNL/
![Page 53: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/53.jpg)
• Historique
• http://www.pauldebevec.com/ReflectionMapping/
• Mercredi:
• Combiner les objets virtuels avec les images réelles
![Page 54: Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!](https://reader035.fdocument.pub/reader035/viewer/2022062622/551d9dc0497959293b8e0ba7/html5/thumbnails/54.jpg)
Plan — reste de la session• Cette semaine: insertion d’objets virtuels
• Autres sujets: à votre choix!
• “Big Data”: comprendre et synthétiser les images à partir de grandes quantités de données visuelles
• Comment prendre de bonnes photos?
• Comment fonctionne la kinect?
• Caméras “lightfield”: focuser après avoir pris la photo!
• lytro.com
• Détecter les fausses images
• ACP et visages
• Caméras algorithmiques
• Autres idées?
Allez voter sur le groupe
Facebook!
Allez voter sur le groupe
Facebook!