Slide 1

VECTORI I VALORI PROPRIIANALIZA IN COMPONENTE PRINCIPALE (PCA)

I. VECTORI I VALORI PROPRII

II. DESCOMPUNEREA SCHUR

II. DESCOMPUNEREA SCHUR

III. DESCOMPUNEREA SVD

IV. PCA

I. PCA

Definiia 1. Fie nxn;

QUOTE valoare proprie a lui A dac exist n nenul (vector propriu asociat valorii proprii ) cu (1)Mulimea valorilor proprii asociate matricei A: (spectrul lui A) Definiia 2. Fie nxn

QUOTE o valoare proprie; x i y se numesc vector propriu la dreapta (drept), respectiv vector propriu la stnga (stng) asociai valorii proprii dac

i ,(2)

QUOTE valoare proprie a lui : soluie a ecuaiei caracteristice (polinom characteristic)

(3)

Proprieti

1. Fie o valoare proprie a lui A i x un vector propriu asociat. Atunci

EMBED Equation.3 2.

3.

4. ,

_1444637952.unknown

_1444637970.unknown

_1444637973.unknown

_1444637975.unknown

_1444638701.unknown

_1444638710.unknown

_1444638592.unknown

_1444637974.unknown

_1444637971.unknown

_1444637964.unknown

_1444637969.unknown

_1444637963.unknown

_1444637946.unknown

_1444637950.unknown

_1444637951.unknown

_1444637947.unknown

_1444637943.unknown

_1444637945.unknown

_1444637942.unknown

Definiia 3. nxn se numete hermitian sau auto-adjunct dac ; unitar dac ; dac se numete ortogonal;

normal dac .

Definiia 4. Fie , nesingular. i sunt similar;

se numete transformare similar. i se numesc unitar/ortogonal similare dac este unitar/ortogonal.

Definiia 5. Fie . se numete diagonalizabil dac exist o matrice nesingular astfel nct , unde este matrice diagonal.

Proprietatea 1. Descompunerea Schur Fie . Atunci exist o matrice unitar astfel nct s aib loc relaia (4)unde este o matrice superior triunghiular astfel nct _1444637976.unknown

Observaii.

1) Dac matricea este hermitian, atunci (5)

Valorile proprii ale matricei hermitiene A sunt numere reale. n particular, dac matricea A este cu numere reale i este simetric, rezult c valorile proprii ale lui A sunt numere reale.

, , (6)

deci U este matrice cu coloane un set de vectori proprii ai matricei A. U este matrice unitar, deci coloanele lui U formeaz o baz ortogonal a spaiului .

2) Dac matricea este hermitian, (7)

unde . Relaia (7) este referit drept descompunerea spectral a matricei A. Proprietatea 2. Descompunerea SVD. Fie . Exist matricele unitare i V astfel nct

(8)

.

Relaia (8) - descompunerea SVD a matricei AValorile (notate i ) - valorile singulare ale lui A.

Observaii 1) QUOTE

(9)2) Dac este matrice hermitian avnd valorile proprii , atunci valorile singulare ale lui A coincid cu modulul valorilor proprii ale lui A:

, pentru .

Analiza n componente principale este o tehnic prin care este explicat structura corelaiilor prezente ntr-un set de variabile, prin utilizarea unei mulimi de combinaii liniare de variabile. Analiza n componente principale presupune c statisticile de ordinul I i II ale lui X sunt cunoscute sau pot fi estimate din datele de observaie; nu sunt necesare cunotine a priori asupra densitii de probabilitate a lui X. Nu este necesar cunoaterea modelului generativ al vectorului aleator X. Selectarea caracteristicilor lineare de varian maxim

Fie vector aleator n-dimensional astfel nct i .

Definiia 6 Vectorul Rn este prima ax principal n sensul varianei dac i .

- prima component principal a lui X, n sensul varianei. _1046290726.unknown

_1046290728.unknown

_1253621541.unknown

_1253621554.unknown

_1046290729.unknown

_1046290727.unknown

_1046290725.unknown

Pentru , Rn este cea de-a k-a ax principal n sensul varianei dac i

- spaiul ortogonal pe spaiul linear generat de primele k-1 componente principale .

- cea de-a k-a component principal a lui X, n sensul varianei. Definiia 7 Pentru m numr natural, , axele (caracteristicile) optimale n sensul varianei pentru reprezentarea formei X sunt . Vectorul aleator , n care , , este reprezentarea formei X n termenii setului de caracteristici . _1046290735.unknown

_1046290739.unknown

_1046290742.unknown

_1253621633.unknown

_1273045557.unknown

_1046290743.unknown

_1046290741.unknown

_1046290737.unknown

_1046290738.unknown

_1046290736.unknown

_1046290732.unknown

_1046290733.unknown

_1046290731.unknown

Observaii1. Dac

este baz ortonormal a spaiului Rn i pentru orice i, , rezult,

,

,

i .

2. Dac = un set de vectori proprii corespunztori matricei , atunci,

,

i sunt valorile proprii ale matricei . Rezult c transformarea realizeaz decorelarea variabilelor aleatoare .

n cazul particular al repartiiei normale X~, ~, .

Teorema1 Fie vector aleator n-dimensional astfel nct i . Atunci, pentru orice k, , cea de-a k-a ax principal n sensul varianei este vectorul propriu corespunztor matricei i asociat valorii proprii . _1414816717.unknown

_1414816721.unknown

_1414816725.unknown

_1414816729.unknown

_1414816731.unknown

_1414816732.unknown

_1414816733.unknown

_1414816730.unknown

_1414816727.unknown

_1414816728.unknown

_1414816726.unknown

_1414816723.unknown

_1414816724.unknown

_1414816722.unknown

_1414816719.unknown

_1414816720.unknown

_1414816718.unknown

_1046290768.unknown

_1046290770.unknown

_1414816716.unknown

_1046290769.unknown

_1046290766.unknown

_1046290767.unknown

_1046290765.unknown

Caracteristicile lineare optimale din punct de vedere al erorii medii ptratice; reprezentarea Karhunen-Love

cu i mN fixat, , (R) cu WTW inversabil. Dac sunt selectate drept caracteristici vectorii coloan ai matricei W, atunci reprezentarea unei forme X este Y=WTX,

, .

Teorema2. Dac (R) fixat este astfel nct matricea WTW este nesingular, reconstrucia optimal din punct de vedere al erorii medii ptratice este realizat prin intermediul transformrii,

.

Schema de compresie/decompresie rezultat n urma transformrii U, este,

(10)_1046290786.unknown

_1046290788.unknown

_1046290790.unknown

_1444644900.unknown

_1444644924.unknown

_1046290793.unknown

_1046290789.unknown

_1046290787.unknown

_1046290784.unknown

_1046290785.unknown

_1046290783.unknown

W este astfel nct s fie minimizat eroarea medie ptratic a schemei

(11)

Teorema3 (Schema de compresie/reconstrucie linear optimal LMS) Fie valorile proprii ale matricei de covarian i un set de vectori proprii asociai. Schema de compresie/reconstrucie linear definit prin (11) este optimal din punct de vedere al erorii medii ptratice dac

EMBED Equation.3, spaiul linear generat de vectorii .

Schema de compresie/decompresie linear de eroare ptratic minim corespunde matricelor

EMBED Equation.3, ,

(12)

.

Dac m=n i sunt vectorii proprii ortonormali ai matricei de covarian , atunci este referit drept reprezentarea Karhunen-Love a formei X.

_1046290849.unknown

_1046290897.unknown

_1046290900.unknown

_1046290902.unknown

_1444645150.unknown

_1444645304.unknown

_1046290901.unknown

_1046290899.unknown

_1046290895.unknown

_1046290896.unknown

_1046290851.unknown

_1046290847.unknown

_1046290848.unknown

_1046290846.unknown