Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet...
-
Upload
odette-kieffer -
Category
Documents
-
view
110 -
download
2
Transcript of Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet...
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Indexation d’images
Henri Maître
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
L’indexation : un avatar des masses de données
Indexer pour retrouver Retrouver en nommant Retrouver en décrivant Retrouver en montrant
Indexer pour trier Trier par catégories Trier par ordre
Indexer pour naviguer
Indexer pour … connaître
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Des objectifs différents des indexations différentes
Recherches catégorielles dans les bases ouvertes
Recherches exactes dans les bases ouvertes
Recherches catégorielles dans les bases spécialisées
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Les bases ouvertes
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Recherches catégorielles dans les bases ouvertes
Objectif : recherche « sémantique »
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Recherches catégorielles dans les bases ouvertes
Rechercher en nommant : index = mots Annotation :
coldfreshlandformsnatural worldnorth americaoregonpacific northwestpacific statespositive conceptsrunning watersnowstatesstreamstributaryusawaterweather (ex : LTU)
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Recherches catégorielles dans les bases ouvertes
Rechercher par l’exemple : quels index ? Index globaux, Robustes (donc imprécis), Invariants par échelle, déformations géométriques ou colorimétriques
Histogrammes quantifiés Histogrammes locaux Liste des plages dominantes et position Distribution des contrastes Densité de contours … N. Boujemaa, Technovision 2006
Leur nombre : 1 image = ~ 1000 indices Problème : quelle métrique ?
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Recherches catégorielles dans les bases ouvertes
Rechercher par l’exemple ! Quelle sémantique ?
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Recherche exacte dans les bases ouvertes
Retrouver un objet précis, sujet à des « déformations » :
Taille, cadrage Masquage Projection perspective (affine ?) Changement de contraste, d’éclairage Déformations ? Vieillissement
A. Zisserman, C. Schmidt, F. Jurie, 2005
Quels index ?
Des points caractéristiques (Harris, Deriche, Moravec, etc. ) Des descripteurs locaux autour des PC (gradients, ondelettes, etc.)
Nombre de PC de 100 à 1 000 Nombre de descripteurs : 10 à 30
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Retrouver un objet précis, sujet à des « déformations »
SIFT (Scale Invariant Feature Transform) Lowe, 2004
Filtrage espace-échelle
Recherche des points invariants par changement d’échelle = maxima dans le scale space de la dérivée seconde
Interpolation de la position des points
Test d’élimination des bords des objets
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Méthode de Lowe (suite)
Le descripteur de chaque point caractéristique :
ÑL(x,y)=[L(x+1,y)-L(x-1,y),L(x,y+1)-L(x,y-1)]T
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Méthode de Lowe
50 100 150 200 250 300 350 400 450 500
50
100
150
200
250
300
350
400
450
500
Détection des points Caractéristiques et représentation des Descripteurs
(J. Rabin - 2006)
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Méthode de Lowe
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x xx
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
xxx
x
xx
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x xx
x
x
x
x
x
x
x
xx
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x xx
x
x xx
x
x
x
x
x
x
x
x
x
x
x
200 400 600 800 1000 1200
50
100
150
200
250
300
350
400
450
Robustesse des descripteurs
(J. Rabin - 2006)
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
SIFT :
16 matchs
SIFT modifié a contrario :
260 matchs
J. Rabin, Y. Gousseau, J. Delon ( 2006)
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Recherche catégorielle dans des bases spécifiques
Exemples : Biomédical Biologie Astronomie Télédétection et imagerie satellitaire
Objectif : retrouver des scènes qui « ressemblent » à une scène donnée
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Quels index ?
Radiométrie En multispectral : canaux + NDVI + IB + ISU
Textures Filtres de Gabor Descripteurs des matrice de cooccurrence d’Haralick Les filtres miroirs en quadrature Les décompositions en contourlets Les décompositions en ondelettes adaptables (steerable wavelets) Paramètres des champs de Markov (gaussien, laplacie, loglaplacien …)
Structures Contours, régions Objets : routes, bâtiments, rivières, lacs Réseaux
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Nos choix
Indexation de petites vignettes (64 x 64) = 320 m x 320 m sur le terrain
Mélange de primitives : Radiométrie (Panchro seul) Structure (contours) Ondelettes : 2 directions, 4 échelles
Sélection automatique des primitives (Fisher FS ou k-means FS)
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Performance des algorithmes
Classification d'imagettes (128 x 128) :ville, forêt, champs, mer, désert et nuage600 images par classeRésultat : SVM gaussien, erreur moyenne de 1.4% ± 0.4%(147 attributs,validation croisée)
Vraie\Prédite
(%)
ville nuage désert champs forêt mer
ville 98.8 0 0 0.5 0 0
nuage 0 99.3 0.2 0 0 0
désert 0 0 99.0 0.3 0 0
champs 0.5 0.2 0.8 98.1 0.3 0.4
forêt 0 0.2 0 0 98.0 1.4
mer 0.7 0.3 0 1.0 1.7 98.2
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Combien de primitives ?
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Indexation : ce qui n’est pas résolu
Aucune preuve de qualité pour l’objectif final
Aucune démonstration de minimalité
Beaucoup trop d’index : il faut au moins une couche supplémentaire
Pas de sémantique
3 juillet 2006 Indexation
Co
mp
eten
ce C
entr
e o
n I
nfo
rmat
ion
Ext
ract
ion
an
d I
mag
e U
nd
erst
and
ing
fo
r E
arth
Ob
serv
atio
n
Comment introduire du sens ? Comment trouver des mots ?
Méthodes supervisées Totalement = annotation manuelle Partiellement (apprentissage) = KIM M. Costache
Analyse du contexte des images Titre, légende, texte environnant, site web = LIP6 : Detyniecki AVEIR
Utilisation de bases de données annexes Corine Land Cover (apprentissage de classes et de catégories) M. Liénou Cartes et SIG (annotation) = EOGIS
Inférence de sémantique Modèles latents = Blei & Jordan J.B. Bordes Déduction « ontologique » I. Kyrgyzov DaFOE4App