Ministère délégué à la Recherche Ministère de la Défense 1 Programme Techno Vision Argos...
-
Upload
nadiya-cheron -
Category
Documents
-
view
104 -
download
1
Transcript of Ministère délégué à la Recherche Ministère de la Défense 1 Programme Techno Vision Argos...
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense1
Argos
Evaluation of video surveillance tools
Thomas Fourès
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense2
General description
Steering committee
CLIPS IMAG EURECOM INA IRIT
LABRI LIP6 NOVELTIS SFRS
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense3
Goals Evaluation of analysis tools applied on heterogeneous contents Content sets
Documentaries, TV news, Videosurveillance
Results analysis Comparing methods Identifying remaining locks
General description
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense4
Tasks and evaluation
Phase 1Shot segmentationTransition effects identificationCamera motion identificationShot locationPresence of personsPresence of text
Phase 2Phase 1 tasks +Framing identificationSame person identificationText-in-video transcriptionStory segmentationBehaviour identification
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense5
Evaluation
Type of resultsSegmentation:
Starting/ending frame
Feature detection:Presence in a segment
Confrontation with the ground truth
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense6
Corpus
42 hours
11,2
10,510,5
10,5
Journaux télévisés -INA
Documentaires -SFRS
Videosurveillance 1
Videosurveillance 2
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense7
Corpus
Documentaries: 10h24 MPEG-2 720x576 25fps
TV News:11h10 MPEG-1 352x288 25fps
Videosurveillance I :10h32 MPEG-2 352x288 25fps
Videosurveillance II :10h50 MPEG-1 352x288 24 fps
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense8
Implementation
Web site : www.irit.fr/argos Public software resources
Evaluation tools Annotation tools
Ground truth Results submission
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense9
Implementation
ParticipantsCLIPS-IMAGEURECOMIRISAIRITLABRILIFLLIP6LIRIS
ParticipantsLISTICVIPER – U. GenevaENST
Cost 292
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense10
Implementation
Time ScheduleEnd January 2006 : Evaluations of the first phaseMarch 2006 : ResultsSeptember 2006 : Evaluations of the second phaseNovember 2006 : Results
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense12
Results in XML Schemes
Segmentation description scheme (T 1.1, 2.1, 2.10)
Feature description scheme (T 1.2, 1.3, 1.4, 1.5, 1.6, 2.2, 2.3, 2.4, 2.5, 2.6, 2.7, 2.8, 2.9)
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense13
Segmentation
<?xml version="1.0" encoding="utf-16"?> <xs:schema id="SegmentationEval" xmlns:xs="http://www.w3.org/2001/XMLSchema"> <xs:complexType name="segBoundaryResultsType"> <xs:sequence minOccurs="1" maxOccurs="unbounded"> <xs:element name="segBoundaryResult" type="segBoundaryResultType" /> </xs:sequence> </xs:complexType> <xs:complexType name="segBoundaryResultType"> <xs:sequence minOccurs="1" maxOccurs="unbounded"> <xs:element name="document" type="documentType" /> </xs:sequence> <xs:attribute name="sysId" type="xs:string" use="optional" /> </xs:complexType> <xs:complexType name="documentType"> <xs:sequence minOccurs="1" maxOccurs="unbounded"> <xs:element name="segment" type="segmentType" /> </xs:sequence> <xs:attribute name="src" type="xs:string" use="required" /> <xs:attribute name="sNum" type="xs:integer" use="required" /> </xs:complexType> <xs:complexType name="segmentType"> <xs:attribute name="FirstFrame" type="xs:integer" use="required" /> <xs:attribute name="LastFrame" type="xs:integer" use="required" /> </xs:complexType> <xs:element name="segBoundaryResults" type="segBoundaryResultsType" /> </xs:schema>
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense14
Segmentation
ARGOS Element TrecVideo Equivalent
Segment transDocument segsegBoundaryResult shotBoundaryResultsegBoundaryResults shotBoundaryResultsX type (transition effect)X asr (speech transcription)
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense15
Segmentation
<segBoundaryResults> <segBoundaryResult sysId="CLIPS_run01"> <document src="INA01" sNum="101"> <segment FirstFrame="1" LastFrame="256" /> <segment FirstFrame="313" LastFrame="558" /> </document> <document src="INA02" sNum="101"> <segment FirstFrame="1" LastFrame="117" /> <segment FirstFrame="257" LastFrame="879" /> </document> </segBoundaryResult> <segBoundaryResult sysId="CLIPS_run02"> <document src="INA01" sNum="210"> <segment FirstFrame="1" LastFrame="123" /> <segment FirstFrame="263" LastFrame="558" /> </document> <document src="INA02" sNum="210"> <segment FirstFrame="1" LastFrame="256" /> <segment FirstFrame="533" LastFrame="578" /> <segment FirstFrame="579" LastFrame="879" /> </document> </segBoundaryResult>
</segBoundaryResults>
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense16
Detection
<?xml version="1.0" encoding="utf-16"?> <xs:schema id="DetectionEval" xmlns:xs="http://www.w3.org/2001/XMLSchema"> <xs:element name="VideoFeatureExtractionResults" type="VideoFeatureExtractionResultsType" /> <xs:complexType name="VideoFeatureExtractionResultsType"> <xs:sequence minOccurs="1" maxOccurs="unbounded"> <xs:element name="VideoFeatureExtractionRunResult" type="VideoFeatureExtractionRunResultType" /> </xs:sequence> </xs:complexType> <xs:complexType name="VideoFeatureExtractionRunResultType"> <xs:sequence minOccurs="1" maxOccurs="unbounded"> <xs:element name="VideoFeatureExtractionFeatureResult" type="VideoFeatureExtractionFeatureResultType" /> </xs:sequence> <xs:attribute name="sysId" type="xs:string" use="optional" /> </xs:complexType> <xs:complexType name="VideoFeatureExtractionFeatureResultType"> <xs:sequence minOccurs="0" maxOccurs="unbounded"> <xs:element name="item" type="itemType" /> </xs:sequence> <xs:attribute name="fNum" type="xs:integer" use="required" /> </xs:complexType> <xs:complexType name="itemType"> <xs:attribute name="seqNum" type="xs:integer" use="required" /> <xs:attribute name="segId" type="xs:string" use="required" /> <xs:attribute name="textTranscription" type="xs:string" use="optional" /> </xs:complexType> </xs:schema>
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense17
DetectionArgos Element TRECVidéo Equivalent
videoFeatureExtractionResults videoFeatureExtractionResults
videoFeatureExtractionRunResult videoFeatureExtractionRunResult
sysId sysId
X trType (training type)
X priority (run priority, lab ranking)
X Desc (method textual description)
videoFeatureExtractionFeatureResult videoFeatureExtractionFeatureResult
fNum fNum
Item Item
segId shotId
seqNum seqNum
textTranscription X
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense18
Detection Result Submission
<VideoFeatureExtractionResults> <VideoFeatureExtractionRunResult sysId="IRIT_run01"> <VideoFeatureExtractionFeatureResult fNum="2081"> <item segId="INA01_00001" seqNum="2" /> <item segId="INA01_00003" seqNum="1" /> </VideoFeatureExtractionFeatureResult> </VideoFeatureExtractionRunResult> </VideoFeatureExtractionResults>
<VideoFeatureExtractionResults> <VideoFeatureExtractionRunResult sysId="INA"> <VideoFeatureExtractionFeatureResult fNum="2090"> <item segId="INA01_00001" textTranscription="Journal" seqNum="1" /> <item segId="INA01_00003" textTranscription="Les titres" seqNum="1" /> <item segId="INA02_00002" textTranscription="Proche Orient" seqNum="1" /> <item segId="INA02_00003" textTranscription="Climat" seqNum="1" /> </VideoFeatureExtractionFeatureResult> </VideoFeatureExtractionRunResult> </VideoFeatureExtractionResults>
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense19
Evaluation : recall x precision
« TRECVID-like » results
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense20
Participation
Corpus restriction to the videosurveillance partAgreement
Contact : [email protected]
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense21
Schémas de soumission des résultats - détection
fNum : PTTCP : Phase = {1,2}T : TâcheC : Numéro de la caractéristique
Tâche 1.2 : Identification des effets de transition
Cut 1021Transition complete par interpolation progressive (fondus, morphing ...) 1022 Transition complete par incrustation progressive (volets, iris...) 1023Transition partielle (compositing, incrustations, ...) 1024Autre 1020
Tâche 1.3 : Identification des mouvements de caméra plan fixe 1031 zoom/trav avant 1032 zoom/trav arrière 1033 pan/trav à droite 1034 pan/trav à gauche 1035 plongee/pano/ trav vers le bas 1036contre-plongee/pan/travvers le haut 1037Autre 1030
Tâche 1.4 : Identification du lieu du tournageinterieur 1041exterieur 1042autre 1040
Programme Techno Vision
Ministère délégué à la RechercheMinistère de la Défense22
Schémas de soumission des résultats - détection
Tâche 1.5 : Identification de la présence de personnes a l'image
Présence de personnes 1051Absence de personnes (non requise) 1052
Tâche 1.6 : Identification de la présence de texte à l'image
Présence de texte 1061Absence de texte (non requise) 1062
Tâche 2.7 : Identification du cadrage Plan rapproche (1 visage, 1 objet, ...) 2071 Plan moyen (2 ou 3 visages, 2 ou 3 objets, ...) 2072 Plan d'ensemble 2073 Autre 2070
Tâche 2.8 : Identification des différentes apparitions d'une même personne
personne 1 2081 personne 2 2082 personne 3 2083 …
Tâche 2.9 : transcription du texte ascii présent dans une vidéo 2090
Tâche 2.11 : identification du comportement de personnes
Courir 2111 S'arrêter 2112 Déposer un objet 2113