- TEMICS - Traitement d Images, Modélisation et CommunicationS Séminaire d évaluation du...
-
Upload
evette-genet -
Category
Documents
-
view
105 -
download
0
Transcript of - TEMICS - Traitement d Images, Modélisation et CommunicationS Séminaire d évaluation du...
- TEMICS -Traitement d ’Images, Modélisation
et CommunicationS
Séminaire d ’évaluation du programme 3B (15-16/3 2001)
1997: TEMIS (Traitement, Exploitation et Modélisation d ’Images Séquentielles) se scinde en deux projets
TEMICS -> Thème fédérateur : « Image et Communication » -> 18 personnes (dont 2 chercheurs INRIA, 1
Mdc, 1 IR CNRS, 1 IE INRIA (50%))
VISTA -> Thème fédérateur : « Modélisation statistique, vision dynamique et vision active »
Quelques dates, chiffres et mouvements
Mouvements: Arrivées -> 1 DR INRIA (Nov. 97), 1997-2001 1 CR INRIA en détach. (Sept 98), 1 CR CNRS (Janv. 2000).
Départs -> 1 DR INRIA (reste à 10%); changement chef de projet (Mars 99), 1 IE INRIA
Doctorants: 8 soutenances sur la période 1997- Fév. 2001
Composition au 15 Mars 2001
Objectifs en 1997 (création du projet)
Conception de schémas robuste d ’analyse spatio-temporelle (segmentation, suivi) de séquences et d ’extraction des attributs (mouvement, forme, illumination, …) des objets
Spécification de modèles conjoints pour l ’analyse d ’objets réels et synthétiques avec comme contexte la réalité augmentée
Adéquation de la représentation/compression de l ’information visuelle avec les protocoles réseau, notamment dans un contexte de réseaux hétérogènes
Thème fédérateur : « Image et Communication »
(Analyse,modélisation, édition, et communication)
« Infléchissements » sur la période 1997-2001
Fédération des efforts en analyse, codage et codage conjoint pour fonctionnalités telles que:
interactivité (manipulation, navigation), prise en compte des modèles de canal ;
Elargissement de la problématique codage conjoint à des liens sans fils;
Démarrage de travaux en tatouage d ’images et de séquences vidéo.
Axes de recherche (à partir de 1999)
Analyse, modélisation, édition de séquences
vidéoL. Amsaleg, L. Morin, H. Nicolas, S. Pateux
4 thèses soutenues + 5 thèses en cours
Codage et codage conjoint source-canal pour communication vidéo
C. Guillemot, C. labit (10 %)
4 thèses soutenues + 4 thèses en cours
Tatouage d ’images et de séquences vidéo C. Guillemot, S. Pateux
1 thèse en cours
Principaux résultats algorithmiques Analyse, segmentation, suivi temporel (approches régions et contours) Codage basé régions, et codage basé sur une représentation par maillages
Modélisation 3D pour compression et navigation
Edition de séquences pour post-production
Codage conjoint pour communication sur IP (codage robuste, contrôle de congestion point-à-point et multi-point, transformations redondantes)
Codage conjoint pour communication sans fils (décodage turbo)
Tatouage d ’images
Logiciels
Bilan factuel (publications, visibilité, collaborations)
Bilan
Bilan (1): Analyse, segmentation, suivi temporel
Première approche: Suivi temporel basé-contours Utilisation de contours actifs dans un cadre multi-objets
Suivi des objets par filtrage de Kalman et interpolation des images intermédiaires
dssddssdE rrppr '
dssNsdsPItEd
.
Contour actif
Attache aux données
Terme de régularisation
Minimisation de: rd EEE
Objectifs: Segmentation avec bonne localisation spatiale + suivi temporel Gestion objets multiples et déformables Représentation compacte et scalable
Bilan (2): Analyse, segmentation, suivi temporel
Seconde approche: Approche orientée-régions
Segmentation spatiale d ’images basée sur des outils de morphologie math.
Suivi temporel d ’objets vidéo par affectations, projection au sens du mouvement et redécoupage des régions
Interface Graphique pour le suivi interactif
Codage basé régions Segmentation basée mouvement avec modèles de mouvement affines Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction)
MPEG-2 (1 Mbits/s) Region (1 Mbits/s)
Bilan (3): Analyse, segmentation, suivi
temporel
rG
rGrGG
SSDL
SDLSDLDL
,,
,min
,
Bilan (4): Représentation par maillages
Objectifs
•Suivi des déformations par maillage actif•Maillage propre à un objet vidéo•Modélisation hiérarchique adaptative
Résultats
•Concept de lignes de ruptures•Schéma de codage vidéo basé maillage•Optimisation R-D des maillages
Bilan (5):Représentation/compression basées
modèles 3D Objectifs: Objectifs de compression et de navigation dans de grandes scènes Modélisation 3D à partir de séquences monoculaires géométrie projective, auto-calibration) Représentation compacte et scalable des modèles et attributs.
Approche: Estimation de mouvement par maillage Critères mixtes compression-qualité rendu Suite modèles 3D + images clés texture + position caméra; schéma IPP
H263 Rec3DR=117kb/s, format CIF, fr=25Hz
Bilan (6): Edition de séquences
)](sin))(1[(cos)(
)](sin))(1[(cos)(
gggy
gggx
xxyykyyktdy
yyxxkxxktdx
Analyse du mouvement + segmentation
Reconstruction d’images panoramiquesAnalyse des conditions d ’éclairement
Analyse
SynthèseCréation de nouvelles trajectoiresHarmonisation conditions d ’éclairement
Objectifs:
Manipulation d ’objets dans une séquence Mélange réaliste d ’objets synthétiques et d ’objets naturels
Détermination de la direction d ’éclairement
Détection des variations d ’éclairementSegmentation de l ’ombre
Bilan (7): Edition de séquences
Bilan (8): Codage conjoint source-canal (IP+sans fil)
Optimiser la QoS en prenant en compte les modèles de la source et du canal
Canaux hétérogènes (non stationnaires, multipoints, topologie fixes+sans fils)
Approches complémentaires - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal
Equilibre approches compatibles et non compatibles
Modèle de test H263 Optimisation R-D avec prise encompte du canal
taux de pertes=10%
Bilan (9) Codage conjoint compatible: redondance temporelle
Métriques de performance débit-distorsion
Estimation compensée en mvt de la propagation des pertes
Objectif: transmission robuste aux pertes
Bilan (10) Codage conjoint compatible: contrôle de congestion
Modèles de prédiction de bande passante Régulation de débit en point-à-point
)321()8
33,1min(
32 2
0 ppbp
Tbp
RTT
MSSB
n
iiii
n
iiii
Twd
cwdp
1
1
feedn
n
feedn
n
t
t
t
t Ne dttRdttR
)()(ne tB )(
buff
~
5% pertes, Rennes-Stuttgart
RTTRTT DST 40 RTTcurrRTT SRTTS )1(
FR
FRBWRTTfeed
)%5,max(
Objectif: Adaptation à la bande passante
Bilan (11) Codage conjoint compatible: codage scalable robuste et contrôle de congestion multipoint
Récepteur 3 (100Kbit/s)Récepteur 1 (50Kbit/S) Récepteur 2 (100Kbit/s)
Algorithme de clustering et d’agrégation (Planète) Représentation scalable
Modèles et régulation par niveau de scalabilité
Objectif: Adaptation à la bande passante en multi-point
Bilan (15): (Dé)Codage conjoint compatible Décodage conjoint source-canal (sans fils)
Modélisation des dépendances entre processus de la chaîne de codage de source et de codage de canal, formalisme réseau Bayésien (collaboration SIGMA2)
Décodage souple de VLCs, basé sur estimateur de type MAP
Turbo décodage source-canal
Synchronisation “douce” de VLCS
Réseau Bayésien aléatoire
Objectif: Exploiter la corrélation résiduelle ou introduite
Bilan (16): Codage conjoint non compatible Transformations redondantes
codeur de canal
Codeurde source
Décodeur de source
décodagesyndrôme
xWWy kn (n,n)(n,k) (k,k) (k,1)(n,1)
*1* )(~
FFFF
F
Expansion du signal sur des bases de fonctions (« frames ») redondantes (ou sur-échantillonnées)
Projectioncanal
« Bonnes » bases de décomposition?Mise en forme du bruit de quantification
Introduire de la redondance dans la représentation compressée du signal
Exploiter la diversité dans un contexte de transmission multi-canal
Objectif: Introduire de la corrélation au niveau de la représentation de source
Décodage basé syndrôme
Bilan(17): Tatouage d ’images fixes et animées
• Objectifs– Insertion de marque robuste– Invisibilité de la marque
(masquage psychovisuel)– Résistance aux attaques– Analogie avec le codage canal
• Premiers résultats– Modélisation des attaques– Analogie codage canal
• technique d ’étalement de spectre• utilisation de code correcteurs• définition de la capacité d ’insertion
Message inséré: Temics
originale tatouée
Attaquée (JPEG 10%)
Bilan (18): Logiciels
Logiciel de segmentation et de suivi interactif d’objets vidéo
Logiciel de création d’images mosaïques intégré sous forme de “plug-in” dans le logiciel “after-effect” de post-production
Logiciels avancés
Logiciels prototypes Plate-forme de communication: expérimentation, validation algorithmes dans des conditions aussi réalistes que possible Librairie d’outils de traitement d’images et de développement de démos interactives
Visibilité
Publications
Autres: Coordination scientifique CNRT-TIM (S. Pateux) Coordination réseau d ’actions intégrées Franco-Marocaine (C. Labit)
Editeur associé IEEE Trans. on image processing (C. Guillemot) Membres CT2 RNRT (C. Labit 98-99, C.Guillemot 2000) Participation évaluation propositions IST (99-2000), SFI (C. Guillemot) Membres comités techniques nationaux GRETSI (C. Labit), et internationaux: VCIP, NSIP, IEEE-IMDSP (C. Guillemot) .
Collaborations Inria
Programme 3B
VISTA
SIAMES
SYNTIM
Hors programme 3B
RODEO/PLANETE
SIGMA2
ARMOR
CODES
Analyse de mouvement, indexation et BDs
Représentation hiérarchique de scènes 3D (CTI-CNET); intégration outils dans « after-effect »
Thèmes
Outils de modélisation 3D pour champs denses de référence (RNRT-V2NET, IST-Openise)
ARC-DEVIN: vidéo sur Internet
Approches statistiques pour décodage conjoint source-canal
Montage projet RNRT sur tatouage
Différenciation de services
Collaborations Recherche Internationales
Actions intégrées
Univ. Brescia, Italie (Galilée)
Univ. Rabat, Maroc (action France-Maroc)
Univ. Polytechnique de catalogne, Espagne
(Picasso)
Univ. Hanovre, Allemagne (TMR- postdoc)
Univ. Stuttgart, Allemagne (Procope)
Accueils professeurs invités
Univ. Illinois Chicago, USA
QMW, Londres, UK
Compression avec régions d ’intérêtpour télédiagnostic médical
Segmentation
Modèles d ’illumination pour réalité augmentée
Thèmes
Co-encadrement thèses (statistiques d ’ordre supérieur en compression)
Différenciation de services
Transformations redondantes etdescriptions multiples
Représentation 3D
Convention CIFRE Microprocess Mai 97 - Avr. 2000; bourse thèse IRISA+ 125KF
Convention CIFRE Thomson TCO Mai 1998 - Avr. 2001; suivi thèse locaux TCO
CTI-CNET Mars 96 - Mars 99; 525KF
Convention CIFRE Thomson Multimédia Oct.98 - Sept. 2001; suivi thèse locaux TMM
Collaborations industrielles bi-latérales
Edition semi-automatiquede séquences
Reconstruction interactive de scènes 3D
Chaîne de navigation à distancedans des modèles 3D de scènes réelles
Thèmes / Contributions
Modélisation et représentation hiérarchique de scènes 3D
Partenaire
Contrat CNES Nov. 97 - Oct. 2000; bourse thèse IRISA
CTI - CNET Sept. 98 - Août 2001; 975 KF
Contrat CELAR Sept 99-Mars 2000; 610KF
Décodage conjoint source-canal pour liaison vidéo en robotique mobile
Codage scalable pour transmissionvidéo multipoint sur IP
Régulation de débit pour imageriesatellitaire
Collaborations Multi-partenaires
Projets Européens
ESPRIT-NEMESIS (Sept. 1998 - Août. 2000)
IST-SONG (Jan. 2000- Déc 2001)
IST OPENISE (Jan. 2000-Déc 20001)
Projets Nationaux
RNRT-OSIAM (Déc. 1998 - Nov. 2001)
RNRT-COHRAINTE (Mar. 1999 - Fév. 2002)
RNRT-VISI (Sept 1999 - Fév. 2001)
RNRT-V2NET (Jan. 2000- Déc. 2002)
Edition de séquences, mosaïckingpour postproduction
Codage robuste - contrôlede congestion sur IP
Régulation de débit en différenciation de services
Segmentation - suivi temporel
Représentation par maillages
Codage conjoint sur IP
Modélisation 3D
Contributions
Perspectives (1): Analyse Le thème « Image et communication » reste le thème fédérateur du projet
« Convergence » 2D / 2D déformable et 3D pour solutions codage basées modèles et manipulation
Perspectives (2): Analyse et codage conjoint
Couplage des schémas robustes d’analyse spatio-temporelle avec les techniques de représentation robuste et scalable de l ’information
Suivi maillage Texture générée Codage (~160Kb/s)
MPEG-1 300Kb/s H263 160Kb/s H263 300Kb/s
Perspectives (3): Analyse et codage conjoint
Perspectives (4): Codage conjoint source-canal
Prise en compte des modèles de canal dans la conception d’outils de représentation des images et signaux vidéo
Renforcement des approches non compatibles
représentation scalable à grain fin (représentation multi-résolution et quantification emboîtée)
conception de transformations multi-résolution redondantes
codage par descriptions multiples (analogie codes espace-temps)
exploitation du formalisme réseaux Bayésien en décodage conjoint
(Discussions en cours: Convention Bouygues télécom, projet RNRT Eire, )
Perspectives (5): Tatouage + évolution projet
Renforcement étude sur tatouage vidéo, en mettant l’accent sur tatouage multi-niveau
Prise en compte impact mutuel tatouage-indexation-représentation des données au sein d ’une base
(Projet RNRT et projet IST en cours de montage)
Réflexion sur création activité de recherche autonome sur les techniques de description, d ’exploitation (recherche, navigation,…) et de stockage de grands volumes de données multimédia et exotiques.
La réalisation des objectifs ci-dessus passe par le renforcement des moyens humains sur les thèmes du codage conjoint et du tatouage.