Eigenfaces, część 2
description
Transcript of Eigenfaces, część 2
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Eigenfaces, część 2
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Plan wykładuPCA – krótkie przypomnienieEkstrakcja cechProjekcja wstecznaPorównywanie kluczyUdoskonalenia metodyFunkcja błędu i jej minimalizacjaLokalne PCA
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Krótkie przypomnienie
Eigenfaces – metoda ekstrakcji cechEliminacja nadmiarowych informacji (zbędnych wymiarów)Dwa etapy: trening rzutowanieMożliwa projekcja wsteczna
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Trening
Obrazy znormalizowane
C00
Cn0
C0n
Cnn
...
...... ......
Macierz kowariancji Twarze własne(eigenfaces)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
RzutowanieDane wejściowe: zbiór wektorów własnych znormalizowany obrazRzutowanie: - macierz złożona z wektorów
własnych x – wektor wejściowy po odjęciu
wektora średniego x’ – wektor po rzutowaniu
xx T '
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład...
Przestrzeń dwuwymiarowa: wektory własne:
Rzutowanie wektorów: [3; 1], [-2; -2], [10, 9]Projekcja i jej błąd
]22;
22[ ]
22;
22[
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ekstrakcja cechObcięcie macierzy i wektora x’
Element klucza - iloczyn skalarny obrazu i wektora:
Wyniki iloczynów = wektor cech
xvw Tii
’ ’’
xW T '
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ekstrakcja cech
...
Mnożenie wektora obrazu przez wektory własne
...
K1
K2
K3
Wektor cech
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Trening – optymalizacja
Duży rozmiar macierzy kowariancji (NxN)Trick:
Av’ – szukane wektory własne
vvAA T ''' vvAAT
)'(')'( vAvAAA T ' 'Avv
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Projekcja wsteczna
Wektor cech -> obraz twarzy
Różnica między obrazem wejściowym a odtworzonym (błąd projekcji)
'
1
N
iiiP vwx
|||| Pxx
WxP '
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd 2D
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd 2D
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd 2D
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd 2D
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Projekcja obrazu
Wektor cech – opis twarzy eliminacja części informacjiWynik projekcji – obraz twarzy brak informacji wyeliminowanychBłąd – przykład 2DWniosek: błąd zależy od podobieństwa do próbki treningowej
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Zastosowanie do detekcji
Projekcja wsteczna obrazów: twarz -> zmodyfikowany obraz
twarzy kwiatek -> obraz jakiejś twarzyBłąd nieporównywalnie większy dla obrazów nie-twarzyMetoda czasochłonna
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Charakterystyka metody
Eigenfaces – popularna metoda rozpoznawania twarzyTrening i ekstrakcja cechMetoda holistycznaWysoka szybkośćPrzeciętna skuteczność
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie kluczyPodobieństwo kluczy (metryka): odległość Euklidesowa (norma L2)
odległość Mahalanobisa kąt między wektorami SVM korelacja i kowariancja
'
1
22121 )(),(
N
iii wwwwS
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Odległość Mahalanobisa
Normalizacja wariancji we wszystkich kierunkach (wybielanie)
- wartość własna
'
1
221
21)(),(
N
i i
ii wwwwS
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Słabe wybielanieOsłabienie wpływu wartości własnej:
Filtr wyrównujący:
'
1
221
21)(),(
N
i i
ii wwwwS
'
12
'
22121 )(
)(),(N
i Ni
iii wwwwS
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Kąt między wektorami
Liczony na podstawie iloczynu skalarnego
Odrzucenie informacji o długości wektora cech w przestrzeni twarzy
||||),(
21
2121 ww
wwwwS
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie SVM
Co klasyfikować? dwa wektory na wejściu różnica wektorówZbiór uczący: różnice wewnątrzklasowe różnice międzyklasoweKonieczne losowanie próbek
K11
K12
K1n
...
K21
K22
K2n
...
SVM
Ta sama klasa
Różne klasy
SVM
Ta sama klasa
Różne klasy
K11 - K21
...
K12 - K22
K1n - K2n
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wybór metryki
Para kluczy: wiele metryk metryka jako odrębna metodaŁączenie metryk Mahalanobis + norma L2 ze słabym
wybielaniemTesty, testy, testy...
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Topografia twarzy
Cechy intra- i ekstra-personalne oczy i nos usta i policzkiCharakter cech, a ich lokalizacjaMaska – modyfikacja ekstrakcji cech
N
jjjiji Mxuw
1xuw ii
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska „T”
Sztuczna maska na nos i oczyWartości 0 i 1Poprawa wyników: FeretA: 813 -> 834 (3,6%) wyniki dla „czystego” EF
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska różnicowaZbiory par obrazów: intra-personalne extra-personalneUśrednienie różnic obydwu klas par: średnia różnica intra-personalna średnia różnica extra-personalnaMaska – różnica średniej różnicy ekstra-personalnej i intra-personalnej
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska dynamicznaTworzona osobno dla każdego obrazuWykorzystanie projekcji wstecznej: projekcja pojedynczych pikseli wartość maski odwrotnie proporcjonalna
do błędu projekcjiZmniejszenie wpływu obszarów zasłoniętychMożna stosować dla grup pikseli
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykłady...
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wagi wektorów własnych
Nie zawsze związana z lokalizacją np. oświetlenie„Rzut oka” na twarze własne niosą różne rodzaje informacji
(kierunki)Wektor własny, element wektora cech, funkcja porównującaModyfikacja:
N
jjjijii MxuWw
1
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Problem rozpoznawania
Definicja problemu rozpoznawania: C klas i C wektorów bazowych NC wektorów w każdej klasie klasyfikacja wszystkich wektorówPunkt wyjścia – porównanie dwóch wektorów cechKlasa własna i obca
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd rozpoznania 1Błąd pojedynczego porównania:
uij – rozpoznawany wektor ui1 – wektor bazowy klasy własnej uk1 – wektor bazowy klasy obcej S – funkcja porównująca (norma L2)
),(),(
),(1
11
kij
iijkij uuS
uuSuuP
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd rozpoznania 2
Błąd rozpoznania pojedynczego wektora:
Błąd dla całej próbki:
C
i
N
j
C
ikk
ij
i
kuuPD1 2 1
),( 1
C
ikk
ijij kuuPD1
),( 1
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Funkcja błędu
Błąd jest funkcją maski i wag funkcja wymiernaMinimalizacja funkcji znalezienie optymalnej maski i wag
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Problem dostosowaniaSilne dostosowanie do próbki znaczne polepszenie
dla zbioru treningowego pogorszenie dla reszty Rozwiązanie: optymalizacja częściowaDostosowanie do osób, nie obrazów możliwe usprawnienie klasyfikacji
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Lokalne PCADetekcja cech charakterystycznych oczy, usta, nosRozpoznawanie po cechach fragment obrazu twarzy różnica w normalizacji łączenie kilku lokalnych PCA (eigeneyes,
eigennoses, itp.)Przestrzenie posiadają mniej wymiarów
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Lokalne PCA
K1K2K3
K4
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Podsumowanie
Porównywanie kluczy – wiele sposobówEigenfaces – wadom można zaradzić maski wagi wektorów własnych dostosowanie do zadanego zbioru
twarzy cel: uwzględnienie topologii twarzy
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dziękuję za uwagę!
Za tydzień: Pochodne Eigenfaces