1. Universit degli studi di Firenze Corso di Laurea Magistrale in Ingegneria InformaticaBasi di Dati MultimedialiProf. Alberto Del BimboRe-Identification Bag of WordsMarco Di Lorenzo - Lorenzo Mazzi - Leonardo Sequi Andy Bagdanov Lamberto BallanAndrea Grifoni Giuseppe Lisanti Iacopo MasiLorenzo SeidenariGiuseppe SerraAnno Accademico 2010/2011 2. Scenario Visita da parte di un individuo ad un museo. Durante la visita Contesto lindividuo andr a creare un proprio percorso che evidenzier i suoipersonali interessi verso le opere esposte. Creazione di un sistema informatico in grado di monitorare tramite Obiettivovideocamere gli spostamenti dei visitatori per poter fornire in unfinalesecondo momento informazioni relative al percorso e ai punti diinteresse su cui i vari soggetti si sono soffermati maggiormente. Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi2 3. Processo di analisi del problemaCreazione di un dataset di Registrazione videopersone Applicazione del detector di Dalal-Triggs alla sequenza videoEstrazione di features Per ogni patch sono estratte le features relative ad alcuni tipi didalle immagini del datasetdescrittoriCreazione di un dizionario K-means Visual Word Rappresentazione delle Istogramma di Visual Word patch Calcolo della distanza tra query e patch del dataset Ranking Ordinamento delle patch in base alle distanze calcolateRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi 3 4. Creazione del datasetQuery eDetector diPeople Train-SetRegistrazione video Realizzazione delDalal-Triggs Utilizzo di una telecameragroundtruth: sullaPTZ (Pan,basatoZoom)Algoritmo Tilt, Classificazione manualevalutazione di istogrammidelle patch.Caratteristiche del video:normalizzati locali delle Scelta di 914orientazionidi unimmagine full Durata del gradiente in unabody come query pergriglia densa di unimmagineversione di OpenCV:Riproduzione di 25La ciascun individuofotogrammi/secondoAciascuna immagine Lavora su singole immagini Risoluzione detection Visualizza la di 704x576vengono associati due filedi metadati: originale sullimmagine La versione riadattata: .: features video estratte da ciascuna in Filtraggio delle detetction immagine base allarea .desc: Re-cropping delle patch file precedente ottimizzato Scaling delle patch ad una per lelaborazione di 70x280 risoluzione canonica dei dati pixelCaratteristiche del dataset: Salvataggio delle detection: Numero di soggetti: 11 crop_Frame_6539_FeetX_346_F Numero di patch: 3.669 eetY_490.jpg Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 4 5. Dataset 585 600548 500 398 389 400283 314261276 300 250223 200142#Patch 100 0 1 2 3 45 678 910 11 Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 5 6. Estrazione featuresPatch Color Descriptor Software BINDESC1 Dense File binario prodotto:sampling Descrittori estrattiKOEN1104; 28 45 4 0 0 0 9 14 10 11 9;; 7 82 80 62 23 2 15 6 21 23;; 50 67 10 0 0 0 69 44 31 23 0 1;; 21 12 0 0 8 18 127 50 2 0 0;Struttura DescEsecuzione script MatlabCreazione vocabolario Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 6 7. Creazione vocabolario: K-MeansPermette di suddividere i descrittori trovati in Kpartizioni, ognuna rappresentante una visual worddel vocabolario.Si sceglie in anticipo il numero di cluster che si vogliono ottenere. Si scelgono (in modo casuale) i punti che rappresentano i centroidi iniziali dei cluster. Si calcola la distanza di ciascun oggetto dai centroidi e si assegnano gli oggetti ai cluster. Si ricalcolano i centroidi (punti medi) dei cluster trovati. Si ripetono i punti 3 e 4 fino a che gli assegnamenti non cambiano (ocambiano poco).Si sceglie di terminare lalgoritmo al raggiungimento di un ottimo (locale) Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 7 8. Rappresentazione delle patch Patch Bag of Features Istogramma di Visual Word Codebook Codebook Visual Word 16 Visual Word 17 Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 8 9. RankingLa distanza Chi-Squared enfatizza maggiormente la Ordinamento di tutte le immagini deldifferenza tra due immagini.Obiettivo dataset in funzione della somiglianzaalla query image.dove v* e w* sono i vettori normalizzati con norma L1. Somiglianza valutata in termini di Chi-Approccio Squared distance tra istogrammi. Creazione classifica in base alladistanza calcolata Query imageDataset imagesRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi9 10. Test effettuati Descrittori utilizzati: C-SIFT Hue SIFT Transformed Color SIFT Parametri Rg SIFTOpponent SIFTRGB Siftdei test Numero di features (D), prese per la costruzione del vocabolario. Numero di visual words (N), contenute nel vocabolario.Precision e Recall Best-WorstExclusion Effettuato per tutti i Eseguito sul Valutazione della descrittori convocabolario miglioreAverage Precision di diversi valori D e N per i descrittori hue-un individuo le cui Valutazionesift e c-sift features sono dellAverage Studio dellAverage escluse durante la Precision. Precision delle query creazione delcon le migliori e vocabolario.peggioriperformance infunzione del numerodi individui neldataset. Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 10 11. C-Sift: Precision-Recall Test Sono state eseguite un totale di 7 prove, variando i valoriProve assunti dai parametri N e D.72TEST MEDIA (%) 70.33 69.37 69.2470 68.63N=50 D=20.000 6168 67.22 N=100 D=20.000 64,3666 64.36 N=100 D=80.000 68,63 64 N=150 D=60.000 69,37 6261 N=175 D=60.000 69,24 60 N=200 D=60.000 67,22 5856 N=250 D=80.000 70,33 N=50N=100 N=100 N=150 N=175 N=200 N=250 D=20000 D=20000 D=80000 D=60000 D=60000 D=60000 D=80000Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi11 12. C-Sift: Caso Migliore N=250 Best: query 4D=80.000 Worst: query 11 98.92 QUERY AP (%)10090 85.53 86.44 86.84 1 85,5380 75.04 69.51 2 57,5770 63.24 62.93 57.57 3 75,0460 53.7850 4 98,92 33.8640 5 53,783020 6 86,4410 7 63,24 01 2 3 4 5 6 7891011 8 69,51 9 62,9310 86,84AP Media = 70,33%11 33,86 Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 12 13. C-Sift: Precision-Recall TestRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi 13 14. C-Sift: Matrice di confusioneCaso BESTRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi 14 15. C-Sift: Best & Worst 70 Caso 65.61 WORST 6052.69 51.6752.48 50 Andamento della AP dei45.79 50.31 49.99 48.55 40.44 40soggetti 4 e 11 30allaumentare del numero 30.03 20 di individui considerati. 10 0Ind. 1Ind. 2Ind. 3Ind. 4 Ind. 5Ind. 6 Ind. 7 Ind. 8 Ind. 9 Ind. 10 Caso BEST 10099.66 Caso BESTCaso WORST (ind. 11)99.51 99.599.6999.21Graduale decremento della AP99 99.24allaumentare del numero di 98.6598.7798.6498.4 soggetti. 98.59898.2Caso BEST (ind. 4) 97.5 Minime oscillazioni del valore97di AP.Ind. 1 Ind. 2 Ind. 3 Ind. 5 Ind. 6Ind. 7Ind. 8Ind. 9 Ind. 10 Ind. 11 Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 15 16. C-Sift: Exclusion TestRisultati mediamente di poco inferiori ai risultati# Test effettuati: 4originali.Soggetti esclusi : 4 8 9 11 Lesclusione di un soggetto non compromettesignificativamente le performance di AP globali. 100 QUERY AP Orig. AP Exclusion 4 AP Exclusion 8 AP Exclusion 9AP Exclusion 1190 1 86,16 77,89 85,7484,1563,2280 2 66,37 55,56 61,37 48,948,3870 3 76,06 79,08 71,7780,2775,5360 4 97,81 94,16 98,3698,9499,0950 5 67,18 61,169,4864,0759,7740 6 81,59 82,19 86,3887,39 82,730 7 58,37 63,55 51,4353,5961,6820 8 63,69 68,66 77,1661,5467,8110 9 54,16 46,34 47,2658,5654,19 0 110 2 85,443 76,93 45 62,716 789,238 9 84,93101111 41,48 29,38 33,63 36,842,59 A.P. OriginaleA.P. Exclusion 4 A.P. Exclusion 8 A.P. Exclusion 9 A.P. Exclusion 11 Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 16 17. Hue-Sift: Precision-Recall Test Sono state eseguite un totale di 5 prove, variando i valori Prove assunti dai parametri N e D.84 83.02 82.4482.63 TESTMEDIA (%)8381.7882N=100 D=40.000 81,7881N=150 D=60.000 77,6880N=200 D=60.000 82,6379 77.6878N=350 D=80.000 83,0277N=600 D=80.000 82,447675 N=150N=100N=200 N=350N=600D=60000D=40000D=60000 D=80000D=80000 Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 17 18. Hue-Sift: Caso Migliore N=350 Best: query 5D=80.000 Worst: query 1198.9 99.18 99.73 99.25 QUERY AP (%) 10091.24 87.37 90 79.07 79.51 80.49 1 98,980 65.36 2 91,24 70 60 3 79,07 50 4 99,18 4033.13 30 5 99,73 20 6 87,37 10 7 79,5101 2 3 4 5 6 7 8 91011 8 80,49 9 65,36AP Media = 83,02%10 99,2511 33,13 Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 18 19. Hue-Sift: Precision-Recall TestRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi 19 20. Hue-Sift: Matrice di confusioneCaso BESTRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi 20 21. Hue-Sift: Best & Worst 80 Caso WORST 7070.7365.12 Andamento della AP dei60soggetti 5 e 115050.92 39.08 40.4436.82allaumentare del numero 4042.6 37.24 34.97 30 di individui considerati. 34.15 20 10 0 Ind. 1 Ind. 2Ind. 3Ind. 4 Ind. 5Ind. 6 Ind. 7 Ind. 8 Ind. 9 Ind. 10 Caso BEST 100 Caso Caso WORST (ind. 11)99.38 99.5 BEST 99.5 99.68 99.04 Significativo decremento della9998.7198.65AP allaumentare del numero98.44 99.09 98.5 di soggetti.98 98.27 97.597.88Caso BEST (ind. 4)97Minime oscillazioni del valore 96.5di AP.Ind. 1 Ind. 2 Ind. 3 Ind. 4 Ind. 6Ind. 7Ind. 8 Ind. 9 Ind. 10 Ind. 11 Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 21 22. Hue-Sift: Exclusion Test Risultati mediamente di poco inferiori ai risultati# Test effettuati: 4 originali.Soggetti esclusi : 4 8 9 11Lesclusione di un soggetto non compromette significativamente le performance di AP globali. 100QUERY AP Orig. AP Exclusion 4 AP Exclusion 8 AP Exclusion 9 AP Exclusion 11901 99,89 99,7 99,799,52 99,08802 89,97 84,0288,386,12 81,3670376,4 75,6674,09 75,36 76,35604 99,13 98,4299,06 99,35 99,04505 99,57 99,7699,87 99,77 99,79406 90,31 86,5485,83 90,39 84,87307 75,51 59,7463,18 70,66 67,08208 88,76 84,3784,47 83,69 91,01109 76,69 68,4172,361,94 70,32 0 1097,8 98,8996,23 97,79 96,591 2 3 4 56 7 8910 11 1130,3 34,9640,83 33,89 27,1A.P. Originale A.P. Exclusion 4 A.P. Exclusion 8 A.P. Exclusion 9A.P. Exclusion 11 Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 22 23. Opponent-Sift: Caso Migliore N=200 Best: query 4D=60.000 Worst: query 197.93 QUERY AP (%) 100 90.32 90 1 35,3476.8578.479.27 8071.4 2 54,43 70 60 54.43 53.56 3 76,8549.28 50 39.22 4 97,93 40 35.34 30 5 90,32 20 6 78,4100 7 39,221 234567 8 91011 8 71,4 9 53,56 1079,27 AP Media = 66,00% 1149,28 Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi23 24. Opponent-Sift: Matrice di confusione Caso BEST Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 24 25. Transformed Color-Sift: Caso MiglioreN=250 Best: query 4 D=60.000 Worst: query 11QUERY AP (%)100 97.2987.711 58,0890 76.77 83.19 85.72 802 76,77 69.2763.85 64.5867.79 70 58.083 87,7160 50 42.714 97,29 405 69,2730 206 83,19 107 63,85 0 1 23 45 6 7 89 10118 64,589 67,79 10 85,72 AP Media = 72,45% 11 42,71Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 25 26. Transformed Color-Sift: Matrice di confusioneCaso BESTRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi 26 27. Rgb-Sift: Caso MiglioreN=350 Best: query 4 D=60.000 Worst: query 197.61QUERY AP (%) 100901 25,776.938070.69 69.412 40,25 7063.6160.37 61.546054.973 63,615040.2536.414 97,61 40 25.7305 54,97206 70,69 10 07 36,411 2 345 6 7 8 910118 69,419 60,37 AP Media = 59,77% 10 76,93 11 61,54Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 27 28. Rgb-Sift: Matrice di confusione Caso BEST Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 28 29. Rg-Sift: Caso MiglioreN=350 Best: query 4 D=80.000 Worst: query 11 99.26QUERY AP (%) 10089.27 87.5790 80.721 87,5775.59802 47,68 70 59 61.6755.8660 52.583 80,7247.6845.26504 99,26 40305 52,58206 75,59 10 07 591 2 3 4 5 67 8 910118 61,679 55,86AP Media = 68,58% 10 89,27 11 45,26Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 29 30. Rg-Sift: Matrice di confusioneCaso BESTRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi 30 31. Conclusioni: descrittori a confrontoMigliori average precision di ogni descrittore calcolate per ciascun individuo10090807060504030201001 2 34567 8910 11 C-Sift Opponent-Sift Rg-Sift Hue-Sift TransformedColor-Sift Rgb-SiftRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi 31 32. Conclusioni: descrittori a confrontoMigliori average precision di ogni descrittore calcolate per ciascun individuo100 Soggetto con peggiori90 performance: individuo 11 Average Precision media inferiore al80 50%.70 Tra i risultati ottenuti figurano patch di altri soggetti (1,7,9)60 Il soggetto ritratto frontalmente nella query mentre nella maggior50 parte del dataset esso compare di40 spalle. Utilizzando come query lo stesso30 individuo preso di spalle si registra un AP del 99% con Hue-SIFT2010 Soggetto con migliori performance: individuo 40 Average Precision media prossima al1 2 345678 9 1011 99%. C-Sift Opponent-Sift Rg-Sift Hue-Sift TransformedColor-Sift Rgb-SiftRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi 32 33. Conclusioni: descrittori a confrontoMigliori average precision registrate per ogni descrittore Rgb-Sift59.77 Best Descriptor: HUE-SIFTTransformedColor-Sift72.45 AP pari a 83,02% Hue-Sift83.02Rg-Sift 68.58 Worst Descriptor: RGB-SIFT Opponent-Sift 66 AP pari al 59.77% C-Sift 70.330 10 2030 40 50 6070 80 90Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 33 34. Sviluppi futuri: Re-rankingSituazione Il ranking stila una classifica di patch secondo la similarit alla query.attuale I risultati possono essere affetti da falsi positivi. 1 2 3 45 6 7 8 9 10 QueryRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi34 35. Sviluppi futuri: Re-rankingSituazione Il ranking stila una classifica di patch secondo la similarit alla query.attuale I risultati possono essere affetti da falsi positivi. Utilizzo delle informazioni spazio-temporali che sono associate a ciascuna patch per ottenere risultati migliori.Idea Data la detection con coordinate (x, y, t) probabile che altre detection dello stesso soggetto si trovino in un intorno (xx, yy, tt).t-1t+1 t Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 35 36. Sviluppi futuri: Re-ranking Per migliorare i risultati si va a prendere un insieme iniziale e lo si espande Idea di baseaggiungendovi altre patch. Si deve quindi prendere in considerazioni alcuni problemi.Scelta dello Quanti elementi considerare inizialmente? start-set Con quale criterio individuare tale numero? Metodo AScegliere una soglia di distanza dalla query entro la quale le patch sono considerate affidabili.ll valore di soglia opportuno pu variare notevolmente a seconda del dataset e della query. Metodo B Selezionare le prime N patch date dal ranking con N prefissato. Non possibile sapere a priori quante patch vi siano per ciascun individuo allinterno del dataset e quindi tale numero potrebbe risultare inadeguato.Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi36 37. Sviluppi futuri: Re-ranking Utilizzo della somiglianza alle patch dello start-set. Utilizzo delle coordinate spazio-temporali e della somiglianza Espansionealla query.dello start-set Utilizzo delle coordinate spazio-temporali e della somiglianzaalle patch dello start-set.Intervallo Tutto lintervallo temporale con le sue patch.temporale su Suddivisione dellintervallo temporale in sotto-intervalli su cui cui fare effettuare loperazione in modo indipendente luna dallaltra.lespansioneRe-identification Bag of Words Di Lorenzo, Mazzi, Sequi 37 38. Sviluppi futuri: Re-ranking Soluzione 1 1. Selezionare un insieme ristretto di immagini con distanza dalla query minore di una soglia S1. 2. Aggiungere allinsieme di partenza ulteriori patch correlate spazio-temporalmente a quelle gi presenti e con distanza dalla query minore di una soglia S2 (S1 < S2). 3. Ripetere il punto 2 fino a che linsieme non viene pi espanso. ProblematicheMolte patch valide possono essere scartate.Rischio di considerare corrette patch di individui che si sono incrociati con il soggetto interessatodurante la visita e hanno distanza minore di S2.Una patch errata pu causare lespansione dellinsieme in direzioni errate.Se le patch migliori appartengono ad un breve arco temporale probabile che lalgoritmo diespansione produca un insieme di patch appartenenti ad un arco temporale limitato.Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 38 39. Sviluppi futuri: Re-ranking Soluzione 2 1. Suddividere lintervallo temporale (individuato utilizzando i primi N risultati del ranking) in cui presente il soggetto. 2. Ad ogni sotto-intervallo si associa tutte le patch del dataset che rientrano in questultimo. 3. Si esegue lalgoritmo di espansione della soluzione 1 per ogni sotto-intervallo. 4. Verificare la consistenza delle informazioni spaziali agli estremi di tali sotto-intervalli. ProblematicheLintervallo temporale considerato potrebbe non corrispondere a quello effettivo.Uscita ?soggettoda scenaEspansione EspansioneEspansioneEspansione Espansione Espansione?Ingressosoggettoin scenaVerifica della consistenza Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 39 40. Sviluppi futuri: Re-rankingSoluzione 31) Considerare la distanza spazio-temporale fra le patch per individuare una sequenza di traiettorie.2) Con un sistema di votazione a maggioranza si valuta quali tra queste traiettorie possono essereassociate alla query, basandosi sulla distanza chi-squared fra istogrammi.3) Ricostruzione del percorso ordinando temporalmente le traiettorie individuate.Problematiche Lindividuazione delle traiettorie real-time potrebbe essere onerosa, soprattutto nel caso in cui ci siano molti soggetti. Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi40 41. Universit degli studi di Firenze Corso di Laurea Magistrale in Ingegneria InformaticaBasi di Dati MultimedialiProf. Alberto Del BimboRe-Identification Bag of WordsMarco Di Lorenzo - Lorenzo Mazzi - Leonardo Sequi Andy Bagdanov Lamberto BallanAndrea Grifoni Giuseppe Lisanti Iacopo MasiLorenzo SeidenariGiuseppe SerraAnno Accademico 2010/2011 42. Universit degli studi di Firenze Corso di Laurea Magistrale in Ingegneria InformaticaBasi di Dati MultimedialiProf. Alberto Del BimboRe-Identification Bag of WordsMarco Di Lorenzo - Lorenzo Mazzi - Leonardo Sequi Andy Bagdanov Lamberto BallanAndrea Grifoni Giuseppe Lisanti Iacopo MasiLorenzo SeidenariGiuseppe SerraAnno Accademico 2010/2011 43. Universit degli studi di Firenze Corso di Laurea Magistrale in Ingegneria InformaticaBasi di Dati MultimedialiProf. Alberto Del BimboRe-Identification Bag of WordsMarco Di Lorenzo - Lorenzo Mazzi - Leonardo Sequi Andy Bagdanov Lamberto BallanAndrea Grifoni Giuseppe Lisanti Iacopo MasiLorenzo SeidenariGiuseppe SerraAnno Accademico 2010/2011 44. Appendice 1Descrittori di colore Color HistogramsColor Moments SIFT Descriptors Rappresentano con Rappresentano i Descrivono la forma uno o pi istogrammimomenti di colore dilocale di una regione la distribuzione di unimmagine usando istogrammi di colori di unimmagine orientamento dei Contengono margini Non contengonoinformazioni locali informazioni spaziali fotometriche spaziali Contengono localiderivate dai valori dei informazioni locali pixel spaziali Sono derivative based Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 44 45. Appendice 2Color SIFT DescriptorsHue-Sift RGB SIFT Hue IConcatenazione sono calcolati per ciascun canale Rdescrittori SIFT dello hue histogram con ilG e B in modo indipendente descrittore SIFT Opponent-Sift IListogramma tonalit reso robusto pesando ognivalori che assume sono uguali a quelli deltransformed color SIFT la sua saturazione campione di colore con C-Sift Ildescrittore HueSIFT opera solo su derivate, laIl descrittore SIFT scale-invariant e shift- invariant rispetto alla intensit della lucesottrazione dei valori medi nel transformedcolor model ridondante, dato che questoRg-Siftoffset viene annullato La divisione per la deviazione standard gi Transformed Color-Sift implicitamente ottenuta tramite lanormalizzazione per la lunghezza del vettoredei descrittori SIFT RGB-Sift Re-identification Bag of Words Di Lorenzo, Mazzi, Sequi 45