Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1...
Transcript of Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1...
Vorlesung
Theoretische Grundlagen derInformationstechnik
Prof. Dr.-Ing. Jürgen Götze
Arbeitsgebiet DatentechnikTechnische Universität Dortmund
http://www.dt.e-technik.tu-dortmund.de
Organisatorisches| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.1
Vorlesung: Mo 14:15 - 15:45 ET A 3.21 GötzeDi 14:15 - 15:45 SRG 2.009 Götzelsf: 080314
Übung: Mo 16:15 - 17:45 P1-04-207 Abdallatiflsf: 080315
Adresse: Prof. Dr.-Ing. Jürgen GötzeEmail: [email protected]: P1-04-214, Tel.: 0231 755-2091
M. Sc. Mohammed AbdallatifEmail: [email protected]: P1-04-216, Tel.: 0231 755-2862
Webseite: http://www.dt.e-technik.tu-dortmund.de/lehrePrüfung: Klausur (3 Stunden)
Vorleistungen: 2 von 4 Pflichtübungen, Praktikumsversuch(lsf: Versuch 207)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.1
1 Einführung
2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume
3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation
4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.1
5 Prinzipielle Komponenten Analyse und AnwendungenFundamentale Unterräume einer MatrixPrinzipielle Komponenten einer MatrixParameterschätzung basierend auf SWZ/EWZSystemidentifikation und Zustandsraummodell
6 Wahrscheinlichkeit, Zufallsvariablen und stochastische ProzesseWahrscheinlichkeitsrechnungZufallsvariableZufallsvektorenStochastische Prozesse
7 Informationstheorie und CodierungGrundlagen der InformationstheorieQuellencodierungKanalkapazität und KanalcodierungstheoremGrundlagen des Rechnens auf endlichen KörpernErzeugung von KanalcodesHamming CodesBCH CodesRS Codes
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.1
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
Literatur| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.2
1 G. Strang, Linear Algebra and Its Applications, Academic Press, 3rd edition, 1989.
2 A. Hoffmann, B. Marx, W. Vogt, Mathematik für Ingenieure 1, Pearson Studium, 2005.
3 G.H. Golub, C.F. van Loan, Matrix Computations, The John Hopkins University Press, 3rdedition, 1996.
4 A.V. Oppenheim, R.W. Schafer, J.G. Buck, Zeitdiskrete Signalverarbeitung, PearsonStudium, 2004.
5 J.G. Proakis, D.G. Manolakis, Digital Signal Processing: Principles, Algorithms andApplications, Macmillan, 2nd edition, 1992.
6 E. Hänsler, Statistische Signale - Grundlagen und Anwendungen, Springer, 2. Auflage,1997.
7 A. Papoulis, Probability , Random Variables, and Stochastic Processes, McGraw Hill, 4thedition, 2001.
8 J.G. Proakis, M. Salehi Grundlagen der Kommunikationstechnik, Pearson Studium, 2.Auflage 2004.
9 K.D. Kammeyer, Nachrichtenübertragung, B.G. Teubner, 3. Auflage, 2004.
10 H. Rohling, Einführung in die Informations- und Codierungstheorie, Teubner 1995.
11 T.M. Cover, J.A. Thomas: Elements of Information Theory. Wiley 1991.
12 D.J.C. MacKay: Information Theory, Inference and Learning Algorithms. CambridgeUniversity Press 2007.
13 M. Bossert, Kanalcodierung, B.G. Teubner, 2nd edition, 1998.
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 1.0.0
1 Einführung
2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume
3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation
4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen
Informationstechnische Systeme und Anwendungen| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.1
Informationstechnische Komponenten| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.2
Architekturen, Methoden/Algorithmen| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.3
Mikro-prozessor
Digitaler Signal-Prozessor (DSP)
Field ProgrammableGate Array (FPGA)
Application SpecificIntegrated Circuit (ASIC)
SignaltransformationFilterung
Detektion,Schlätzung
Entzerrung,Identifikation
Kodierung,Dekodierung
Signal- und Informations-Verarbeitung
Eingangssignale Ausgangssignale
Architekturen (zum Aufbau der Komponenten)
Methoden/Algorithmen
Blockschaltbild eines Übertragungssystems| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.4
Signal i q k d
Signal i q k d
analogQuellen- Kanal- Signal-
Modu-
digital
analog
digital
kodierung kodierung transformation
Quellende- Kanalde-kodierung kodierung
Detektion/Schätzung/
lation
Kanal
Demodu-
lation
Entzerrung
InverseSignal-
transformation
• Handy→ Funkkanal→ Handy (gezeigtes Beispiel)
• WLAN-Router→ Funkkanal→ Laptop
• Server→ Kabel (Ethernet)→ Rechner
• Bluray Disc→ Laser→ Bildschirm
Signale & Systeme| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.5
Signale: Sprache, Bilder, Daten (Text, Bitfolge)Systeme: Operation wird auf Signal angewendet;
1) Schalter, Rechnerprogramm, Prozessor, Filter,2) Leitung, Mobilfunkkanal, Motor, chemischer Prozess
Eingangs-
signalSystem
Ausgangs-
signal
y[t]x[t]
x(n) y(n){..i..} {..k..}
Modellbildung: Die betrachteten physikalischen Systemen (gemäßPunkt 2)) werden häufig durch Modelle beschrieben. Diese werden für denEntwurf der Methoden/Algorithmen (gemäß Punkt 1)) verwendet. DieseModelle sind auch erforderlich, um eine Simulation des realen Systemsdurchzuführen.
Klassifikation von Signalen und Systemen| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.6
Klassifikation von Signalen:• deterministisches Signal x[t] = Ae−αt sin(ωt− φ)
• stochastisches Signal: Geräusche, Sprache
• mehrkanaliges Signal: EKG von Baby, Sensorfelder (Antennen)
• mehrdimensionales Signal: Bild
Klassifikation von Systemen bezüglich:• Linearität, Kausalität, Zeitvarianz, . . .
• Hardware, Software, physikalisches System, . . .
Beispiele für Signale| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.7
0 50 100 150 200
−1
−0.8
−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1
Zeit in µsec
Be
tra
g
Deterministisches Signal
0.48 0.49 0.5 0.51 0.52 0.53 0.54
−0.1
0
0.1
Time in seconds
Am
plit
ud
e
Stochastisches Signal: Train Whistle
M
0 2 4 6 8 10 12 14−50
0
50EKG: Sensor 2
Am
plit
ude
0 2 4 6 8 10 12 14−50
0
50EKG: Sensor 5
Am
plit
ude
0 2 4 6 8 10 12 14−500
0
500
1000EKG: Sensor 9
Am
plit
ude
Time
Bild: 480x500 Bildpunkte
50 100 150 200 250 300 350 400 450 500
50
100
150
200
250
300
350
400
450
Theoretische Informationstechnik| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.8
Informationstechnik: Umsetzung von Methoden und Verfahren der
Nachrichtentechnik (z. B. Übertragungstechnik, Mobilfunk),
Signalverarbeitung (z. B. Filterung, Signaltransformation, Detektion),
Informationstheorie (z. B. Codierung, Kryptographie), Robotik (z. B.
Systemidentifikation, Modellierung), usw. in technische Systeme
(DVD-Spieler, Handy, Festplatte, eingebettetes System, . . .) bzw. in die zur
Realisierung dieser Systeme erforderlichen elektronischen Komponenten
(Mikroprozessor, Signalprozessor,Integrierte Schaltungen, Speicher, . . .).
Theoretische Informationstechnik:Mathematische Darstellung der
theoretischen Grundlagen der Informationstechnik und der Grundlagen
der Informationstheorie, so dass Anwendungen in den verschiedenen oben
genannten Gebieten allgemein beschrieben werden können und
Zusammenhänge der verschiedenen Problemstellungen aufgezeigt werden
können.
Vorhaben und Ziele der Vorlesung I| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.9
Vorhaben: Definition von Grundbegriffen der Informationstechnik undInformationstheorie. Signale und Systeme der IT werden durchmathematische Konstrukte (z. B. Vektoren/Matrizen) beschrieben.Algebraische und geometrische Methoden dienen zur Herleitung vonLösungsverfahren für verschiedene Problemstellungen und zur Darstellungvon Zusammenhängen. Grundlagen der Statistik dienen zur Analyse undzur informationstheoretischen Beschreibung der Signale und Systeme.
• Wie lassen sich Signale und Systeme durch algebraische Strukturen(z.B. Mengen, Vektoren, Matrizen) beschreiben? Wie lässt sich derInformationsgehalt und die Übertragung von Informationmathematisch beschreiben? M
• Was sagen Beschreibungsgrößen der algebraischen Strukturen (z. B.φ(v1, v2): Winkel zwischen zwei Vektoren, λ(A): Eigenwerte der Matrix)und der Statistik (Varianz, Korrelation) über die Signale und Systemeder Informationstechnik?• Welche Problemstellungen der obigen Anwendungsgebiete könnendamit gelöst werden?
Vorhaben und Ziele der Vorlesung II| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.10
Ziel ist zu zeigen,• wie reichhaltig mathematische(algebraische/geometrische/statistische) Beschreibungen in derInformationstechnik vertreten sind• wie sie das Verständnis (für Zusammenhänge) fördern
Signale und Systeme
deterministische stochastischeSignale & Systeme
Signale & lineare Systeme
Signale & Systeme Datenmatrizen Korrelationsmatrizen
Algebra und Transformationen
Lineare Algebra & lineare Transformationen
Codierung
Block Codes Faltungscodes
Informationstheorie
Anwendungsgebiete
Technische InformatikNachrichtentechnik, Signalvarbeitung,
Filterung, Entzerrung, Detektion,Schätzung, Identifikation, Codierung
Vorlesung
Nichts ist praktischer als eine gute Theorie.
- Ludwig Boltzmann
Kapitelübersicht| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.11
Kap. 1 Einführung (dieses Kapitel)
Kap. 2 Signale und Systeme
Kap. 3 Lineare Transformationen von Signalen und Systemen
Kap. 4 Lineare Gleichungssysteme und Anwendungen
Kap. 5 Prinzipielle Komponenten Analyse und Anwendungen
Kap. 6 Wahrscheinlichkeit, Zufallsvariablen und stochastischeProzesse
Kap. 7 Informationstheorie und Codierung
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 2.0.0
1 Einführung
2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume
3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation
4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen
| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.0
2.1 Zeit-diskrete und digitale Signale
Analoges Signal| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.1
x[t] = Ae−αt sin( 2πT t− φ)
z. B. : A = 1.6, α = 0.0005, T = 50 µs, f = 20 kHz, φ = 0.1
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Be
tra
g
Frage: Wie wird das Zeit- und Werte-kontinuierliche (analoge) Signal ineinem Rechner abgespeichert?
Diskretisierung der Zeit| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.2
Werte des kontinuierlichen Signals bei t = n · ∆t (n ∈ Z)
→ x(n∆t) = Ae−α·n·∆t sin(2π
Tn · ∆t− φ)
∆t ||| Normierung
x(n) = Ae−(α·∆t)·n sin(2π∆t
Tn− φ)
Zeit-diskretes Signal x(n) = Zahlensequenz:
x(n) = {..., x(n− 1), x(n), x(n + 1), ...}Zur exakten Darstellung des zeit-diskreten, werte-kontinuierlichenSignals x(n) ist im Allgemeinen eine Wortlänge w→ ∞ (unendlich vieleBits) für jeden Abtastwert x(n) erforderlich.
Diskretisierung der Amplitudenwerte| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.3
Quantisierung:
xq(n) = Q[x(n)] ,
wobei Q[ · ] die Quantisierung beschreibt (durch Wortlänge w begrenzt).Hier z. B. für w=4 (mit Vorzeichen):
VZ 22 21 20
± 0 0 0 0.0± 0 0 1 0.2± 0 1 0 0.4± 0 1 1 0.6± 1 0 0 0.8± 1 0 1 1.0± 1 1 0 1.2± 1 1 1 1.4 −1.5 −1 −0.5 0 0.5 1 1.5
−1.5
−1
−0.5
0
0.5
1
1.5Quantisierungskennlinie
Eingang
Au
sg
an
g
VZ:+→ 0;− → 1;
Zeit- und werte-diskretes Signal = Digitales Signal
Quantisierung| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.4
∆ =xmax − xmin
L︸︷︷︸Anzahl der Quantisierungsstufen
=1.5− (−1.5)
15=
315
= 0.2
A/D Wandler w= 11 bit⇒ L = 2w − 1 = 2047⇒ ∆ = 3
2047 ≈ 0.0015
Anmerkung:• Quantisierung werden wir in den folgenden Kapiteln 3-5vernachlässigen. Annahme: Wortlänge genügend groß, umQuantisierungseffekte zu vernachlässigen (z.B. MatlabGleitpunktdarstellung ε = 2.2204 · 10−16). In der Praxis istQuantisierung/Wortlänge aber ein wichtiges Problem: Kosten,Auflösung der A/D Wandler.• Quantisierung/Binärdarstellung der Amplitudenwerte wird in denKapiteln 6 und 7 berücksichtigt (z.B. wie oft tritt der Wert−0.2 auf).
M
Beispiel ∆t = 10µsec: Graphische Darstellung| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.5
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Be
tra
g
Kontinuierliches Signal und Abtastwerte
(1)
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Be
tra
g
Halten der Abtastwerte (sample & hold)
(2)
0 2 4 6 8 10 12 14 16 18 20−1.5
−1
−0.5
0
0.5
1
1.5
n (entspricht Zeitpunkt n∆t)
Betr
ag
Digitales Signal
(4)
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Be
tra
g
Halten der Abtastwerte (sample & hold)
(3) Quantisierung
Digitales Signal: x(n) = {−0.2,+1.4,+1.0,−0.6,−1.4,−0.2, · · · }x(n) = {1001, 0111, 0101, 1011, 1111, 1001, · · · }
Zeit-diskrete Abtastwerte = Zahlensequenz| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.6
Annahme: endlich viele Abtastwerte eines zeit-diskreten Signals: x(n):n = 0, 1, . . . , N (Quantisierung vernachlässigt, Zeitbezug implizit durch ∆t,Fehler bei Rekonstruktion vernachlässigt).
0 2 4 6 8 10 12 14 16 18 20−1.5
−1
−0.5
0
0.5
1
1.5
n
Betr
ag
(1)
Kontinuierliches Signal und Abtastwerte
x(n) = {−0.1000 . . . , 1.3121 . . . , 1.0969 . . . ,−0.5424 . . . ,−1.3114 . . . ,−0.2802 . . . , · · · }x = [−0.1000 . . . , 1.3121 . . . , 1.0969 . . . ,−0.5424 . . . ,−1.3114 . . . ,−0.2802 . . . , · · · ]T
Zeit- und werte-diskrete Abtastwerte| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.7
Zeit- und werte-diskrete Abtastwerte = diskrete Zahlensequenz
0 2 4 6 8 10 12 14 16 18 20−1.5
−1
−0.5
0
0.5
1
1.5
n (entspricht Zeitpunkt n∆t)
Betr
ag
Digitales Signal
(4)
p = 121
102230006221101
p ∈NL
0 beschreibt relative Häufigkeit der quantisierten Amplitudenwerte.
Datenvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.8
Vektor: x =
x(1)x(2)...
x(n)...
x(N)
x(n) ∈ F⇒ x ∈ FN
Transponierter Vektor:
Für x ∈ RN; xT = [x(1) x(2) . . . x(N)]Für x ∈ CN; xH = (x∗)T konjugiert transponiert
Beispiele: Sprachsignal (F = R), Antennensignal (F = C)Abtastwerte bilden Vektorkomponenten
Datenmatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.9
X = [xij] =
x1(1) x2(1) . . . xM(1)x1(2) x2(2) . . . xM(2)x1(3) x2(3) . . . xM(3)...
.... . .
...x1(N) x2(N) . . . xM(N)
= [x1 x2 . . . xM] =
xT(1)xT(2)xT(3)...
xT(N)
xij = xj(n) X ∈ FN×M
Beispiele:
Bilder: Pixelwerte bilden Matrixelemente xij (F = R).Sensorfelder: Abtastwerte xj(n) der M Sensoren bilden die
M Spalten der Matrix (F = C bei Antennenfeldern).
Abtasttheorem| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.10
Gegeben: Die höchste Frequenz, die in einem analogen Signal x[t]vorhanden ist, sei fmax. Die Abtastwerte des zeit-diskreten Signals seienx(n) ≡ x(n ∆t), wobei ∆t := Abtastintervall.
Theorem:
a) Falls ∆t = 1fA
< 12fmax
gilt, lässt sich das kontinuierliche Signal x[t] exaktaus den Abtastwerten x(n) rekonstruieren (fA = 2fmax: Nyquistrate).
b) Mit
g[t] =sin(πfAt)
πfAt
gilt
x[t] =+∞
∑n=−∞
x(n)g[t− n ∆t]
Anmerkung:
Abtasttheorem gilt nur für exakte Abtastwerte (d.h. keine Quantisierung).M
Beispiel (1): Rekonstruktion aus Abtastwerten| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.11
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
g(t−n∆t) fuer vier Abtastwerte
Be
tra
g
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Urspruengliches und rekonstruiertes Signal (ohne Quantisierung)
Be
tra
g
Anmerkung: keine Fensterung (≈ unendlich viele Abtastwerte), d.h. hierwird nur der Ausschnitt für die ersten 21 Abtastwerte gezeigt.
Beispiel (2): Rekonstruktion aus Abtastwerten (quantisiert)| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.12
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Urspruengliches und rekonstruiertes Signal (Quantisierung 0.1)
Be
tra
g
0 20 40 60 80 100 120 140 160 180 200−1.5
−1
−0.5
0
0.5
1
1.5
Zeit in µsec
Urspruengliches und rekonstruiertes Signal (Quantisierung 0.2)
Be
tra
g
Definition: Impuls| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.13
Impulsfunktion δ[t]:
δ[t] =
{1 für t = 00 für t 6= 0
Zeit-diskreter Impuls δ(n):
δ(n) =
{1 für n = 00 für n 6= 0
δ(n) = {. . . , 0, . . . , 0, 1, 0↑
n=0
, . . . , 0, . . . }
−10 −5 0 5 10
0
0.2
0.4
0.6
0.8
1
t
δ(t
)
−10 −5 0 5 10
0
0.2
0.4
0.6
0.8
1
n
δ(n
)
Anmerkung: Abtasttheorem nicht erfüllt (Definition)
| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.0
2.2 Zeit-diskrete Systeme
Beschreibung zeit-diskreter Systeme| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.1
Ein-/Ausgangsbeschreibung:
y(n) = H[x(n)
] Eingangs-signal
Ausgangs-signal
SystemH
x(n) y(n)
Transformation von Eingangssequenz x(n) durch ein System H (vgl. Folie1.1.5), so dass eine Ausgangssequenz y(n) entsteht. Für ein n ∈ Z gilt:
y(n) = H[xT(n)
]= f(n, {x(n− k); k ∈ Z}
); xT(n) ⊆ x(n)
• H kann auch teilweise kontinuierliches System sein (z.B. Kanal), wobeieine diskrete E/A-Beschreibung erfolgt.• H ist selbst zeit-diskret: z.B. Algorithmus
y(n) = H[xT(n)
]= x(n− 3) + x(n); xT(n) = {x(n− 3), x(n)} ⊆ x(n)
Klassifikation von zeit-diskreten Systemen| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.2
Klassifikationen:
• K1: Kausal/Nichtkausal• K2: Statisch/Dynamisch• K3: Zeitvariant/Zeitinvariant• K4: Linear/Nichtlinear
Zeitverschiebung:
Die Verschiebung eines Signals (Sequenz) x(n) um k ∈ Z Zeitschrittesei x(n− k).Entsprechend gilt:xT(n) = {x(n− 3), x(n)} ⇒ xT(n− k) = {x(n− 3− k), x(n− k)}
K1: Kausal/ Nichtkausal| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.3
Ein System ist kausal, wenn
y(n) = H[xT(n)
]= f (n, x(n), x(n− 1), x(n− 2), . . . ) ∀ n
für eine beliebige Funktion f ( · ) gilt, d.h. die Ausgabe des Systems hängtnur von momentanen und vergangenen Eingangswerten ab, aber nicht vonden zukünftigen Eingangswerten (x(n + 1), x(n + 2), . . . ) Beispiel:
y(n) = x(n)− x(n− 1) kausaly(n) = x(n)− x(n + 1) nicht kausal
Anmerkung: Im Folgenden werden nur kausale Systeme betrachtet.
K2: Statisch/ Dynamisch↔ Gedächtnis-behaftet| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.4
y(n) = H[xT(n)
]= f (n, x(n), x(n− 1), . . . , x(n− K)) ∀ n
H statisch: K = 0 ; y(n) = f (n, x(n))
H dynamisch: 0 < K < ∞ endliches GedächtnisK = ∞ unendliches Gedächtnis
Beispiel:y(n) = a · x(n) (K = 0)y(n) = x(n) + 3x(n− 1) (K = 1)
y(n) =∞
∑k=0
x(n− k) = x(n) + x(n− 1) + . . . (K = ∞)
K3: Zeitvarianz/ Zeitinvarianz| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.5
Gegeben sei das System H : y(n) = H[x(n)
]. Für ein k ∈ Z sei
yk(n) = H[x(n− k)
]Das System H ist zeit-invariant (schiebe-invariant) genau dann, wenn
yk(n) = y(n− k) ∀ n, k
Z
SystemH
SystemH
x(n− k)x(n)
x(n) y(n) y(n− k)
yk(n)Tk
Verzögerung umk ZeitschritteTk
Tk
K3: Zeitvarianz: Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.6
b = 140 : y(n) = H
[xT(n)
]= b · n · x(n)
y(n− k)yk(n) = H
[xT(n− k)
] = b · (n− k) · x(n− k)= b · n · x(n− k)
}≡ ZV
0 50 100 150
−1
−0.5
0
0.5
1
x(n
)
0 50 100 150−2
−1
0
1
2
y(n
)
0 50 100 150
−1
−0.5
0
0.5
1
x(n
+4
0)
0 50 100 150−2
−1
0
1
2
y(n
,40
)
0 50 100 150−2
−1
0
1
2
y(n
+4
0)
K3: Zeitinvarianz: Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.7
y(n) = H[xT(n)
]= x(n)− x(n− 1)
y(n− k)yk(n) = H
[xT(n− k)
] = x(n− k)− x(n− k− 1)= x(n− k)− x(n− k− 1)
}≡ ZIV
0 50 100 150
−1
−0.5
0
0.5
1
x(n
)
0 50 100 150
−1
−0.5
0
0.5
1
y(n
)
0 50 100 150
−1
−0.5
0
0.5
1
x(n
+4
0)
0 50 100 150
−1
−0.5
0
0.5
1
y(n
,40
)
0 50 100 150−1
−0.5
0
0.5
1
y(n
+4
0)
K4: Linear/ Nichtlinear| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.8
Das System H : y(n) = H[x(n)
]ist linear genau dann, wenn
H[a1 x1(n) + a2 x2(n)
]= a1H
[x1(n)
]+ a2H
[x2(n)
]∀ x1(n), x2(n), a1, a2
System
H
System
H
System
H
x2(n)
a2
x1(n)
x2(n) y2(n)
y(n)
a2
a1a1
x1(n) y1(n)
y(n)
Allgemein:
H
[∑
iai xi(n)
]= ∑
iaiH [xi(n)] ∀ xi(n), ai
K4: Linear/ Nichtlinear: Beispiele| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.9
(1) linear: y(n) = n · x(n)H[a1 x1(n) + a2 x2(n)
]= n(a1 x1(n) + a2 x2(n))= n a1 x1(n) + n a2 x2(n)
a1H[x1(n)
]+ a2H
[x2(n)
]= a1 n x1(n) + a2 n x2(n))= n a1 x1(n) + n a2 x2(n)
(2) nichtlinear: y(n) = x2(n)H[a1 x1(n) + a2 x2(n)
]= (a1 x1(n) + a2 x2(n))2
= a21 x2
1(n) + a22 x2
2(n) + 2 a1 a2 x1(n) x2(n)a1H
[x1(n)
]+ a2H
[x2(n)
]= a1 x2
1(n) + a2 x22(n)
(3) linear: y(n) = x(n)− x(n− 1)H[a1 x1(n) + a2 x2(n)
]= a1 x1(n) + a2 x2(n)− a1 x1(n− 1)− a2 x2(n− 1)
a1H[x1(n)
]+ a2H
[x2(n)
]= a1 x1(n)− a1 x1(n− 1) + a2 x2(n)− a2 x2(n− 1)= a1 x1(n) + a2 x2(n)− a1 x1(n− 1)− a2 x2(n− 1)⇒ 3) ist lineares zeit-invariantes (LZI) System
| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.0
2.3 Algebraische Beschreibung zeit-diskreterSysteme
Auflösung eines zeit-diskreten Signals in Impulse| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.1
Mit δ(n) ={
1 n = 00 n 6= 0
lässt sich jedes zeit-diskrete Signalfolgendermaßen darstellen:
x(n) =∞
∑k=−∞
x(k)δ(n− k)
Beispiel: Äquivalente Beschreibungen eines zeit-diskreten Signals
n −1 0 1 2x(n) 2.2 4.1 0.3 3.1
t = n · ∆tx[n · ∆t]
xT = [2.2 4.1↑
n=0
0.3 3.1]
x(n) = 2.2 · δ(n + 1) + 4.1 · δ(n) + 0.3 · δ(n− 1) + 3.1 · δ(n− 2)= {. . . , 0, . . . , 0, 2.2, 4.1
↑n=0
, 0.3, 3.1, 0 . . . , 0, . . . }
Definition: Impulsantwort| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.2
Bestimmung der Antwort eines linearen Systems H auf Impulse amEingang.
• Die Impulsantwort hk(n) des Systems H auf den Eingangsimpuls bein = k (d.h. x(n) = δ(n− k)) sei
y(n) = H[δ(n− k)
]≡ hk(n) −∞ < k < +∞
• Impulsantwort auf skalierten Impuls c · δ(n− k)
y(n) = H[c · δ(n− k)
]= c · hk(n)
Impulsantwort einer Mehrwegausbreitung| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.3
Beispiel: Betrachtetes System sei eine Funkübertragung:
a1, τ1
a1a2, τ2
nn
k + n1 k + n2
a2
δ(n− k)
k
x(n) hk(n)
1.Echo-Pfad
Sender Direkter Weg
Direkter Weg: a1, τ1 = n1∆tEcho Pfad: a2, τ2 = n2∆t
Lineare Faltung| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.4
Bestimmung der Antwort y eines linearen Systems H auf Eingangssignal x.
• Mit x(n) =+∞
∑k=−∞
x(k)δ(n− k) gilt
y(n) = H[x(n)
]= H
[ +∞
∑k=−∞
x(k)δ(n− k)]
(Linearität)=
+∞
∑k=−∞
x(k)H[δ(n− k)
]=
+∞
∑k=−∞
x(k)hk(n) (1)
Lineare Faltung: y(n) =+∞
∑k=−∞
x(k)hk(n) = x(n) ∗ hk(n) (2)
Faltung bei LZI Systemen| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.5
LZI-System: hk(n) = H[δ(n− k)
]= h(n− k), vollständige
Charakterisierung von H durch h(l), l = n− k (eine Impulsantwort für allen; lediglich Verschiebung um k).
y(n) =+∞
∑k=−∞
x(k)h(n− k) (3)
Kausale LZI-Systeme:⇔ h(l) = 0 f ur l < 0
y(n) =n
∑k=−∞
x(k)h(n− k) (4)
Kausale LZI-Systeme mit Eingangssignal x(k) = 0 für k < 0
y(n) =n
∑k=0
x(k)h(n− k) (5)
Beispiel (nächsten 2 Folien): T
x(n) = {. . . , 0, 1↑, 2, 3, 1, 0, . . .}, h(n) = {. . . , 0, 1, 2
↑, 1,−1, 0, . . .} M
Graphisches Beispiel der diskreten Faltung I| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.6
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
x(0)
x(1)
x(2)
x(3)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
Graphisches Beispiel der diskreten Faltung II| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.7
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
−5 −4 −3 −2 −1 0 1 2 3−1
0
1
2
h(n
)
0
1
2
3
x(n
−k)
−2
0
2
4
6
h(n
)x(n
−k)
−2 −1 0 1 2 3 4 5 6−2
0
2
4
6
8
y(n
)
Faltungsoperation: Kommutativ, Assoziativ, Distributiv| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.8
• Kommutativ:
y(n) = x(n) ∗ h(n) =+∞
∑k=−∞
x(k)h(n− k) = h(n) ∗ x(n) =∞
∑m=−∞
h(m)x(n−m) Z
• Assoziativ: [h1(n) ∗ h2(n)] ∗ x(n) = h1(n) ∗ [h2(n) ∗ x(n)]
x(n) x1(n) y(n) x(n) y(n)⇔h2(n)h1(n) h1(n) ∗ h2(n)
• Distributiv: [h1(n) + h2(n)] ∗ x(n) = h1(n) ∗ x(n) + h2(n) ∗ x(n)
y(n)h1(n) + h2(n)
x(n)
x(n)
x(n)
h1(n)
h2(n)
y(n)⇔
| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.0
2.4 Signale und Signalräume
Achtung: Integral (analog)↔ Summe (diskret)| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.1
Zusammenhang: Definitionen gelten äquivalent für analoge (Integral) undzeit-diskrete (Summe) Signale auf Basis des Abtasttheorems.vgl. Abtasttheorem: analoge Funktion aus Abtastwerten exaktrekonstruierbar.
Aber:
Im Allgemeinen gilt dieÄquivalenz von Summe undIntegral nur für N → ∞, d.h.nur für infinitesimal kleineAbtastperioden ∆t
N
∑i=1
x(i)∆t N→∞−→∫ b
ax(t) dt
x1 xN
a b
x(t)
t
Energie-und Leistung-begrenzte Signale| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.2
Energie eines kontinuierlichen Signals x(t):
Ex =∫ +∞
−∞|x(t)|2 dt
Mittlere Leistung von x(t):
Px = limT→∞
1T
∫ T2
− T2
|x(t)|2 dt
Falls Ex < ∞, dann ist x(t) ein Energie-begrenztes Signal; Falls Ex → ∞
aber Px < ∞, dann ist x(t) ein Leistung-begrenztes Signal.
Klassifikation in Signalräumen| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.3
Lp(a, b)mit 1 ≤ p < ∞ beschreibt die Klasse von Signalen x(t) für die gilt:
∫ b
a|x(t)|p dt < ∞
Für a→ −∞ und b→ ∞ schreiben wir Lp(∞) oder Lp(R).z.B.: Energie-begrenzte Signale gehören zum Signalraum L2(R); x ∈ L2(R)lp(n1, n2) ist das zeit-diskrete Äquivalent zu Lp(a, b) (a = n1∆t, b = n2∆t) mit
n2
∑n=n1
|x(n)|p
d.h. Ex =+∞
∑n=−∞
|x(n)|2 < ∞; x ∈ l2(Z)
Normierte Räume| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.4
Eine Normmuss folgende drei Axiome erfüllen (α ∈ R, C)
(1) ‖x‖ ≥ 0, ‖x‖ = 0 falls x = 0(2) ‖x+ y‖ ≤ ‖x‖+ ‖y‖(3) ‖αx‖ = α‖x‖
Norm für kontinuierliche Signale: ‖x‖Lp =
[∫ b
a|x(t)|p dt
] 1p
, 1 ≤ p < ∞
z.B. p = 2: Ex = ‖x‖2L2(Euklidische Norm)
Norm für zeit-diskrete Signale: ‖x‖lp =
[n2
∑n=n1
|x(n)|p] 1
p
, 1 ≤ p < ∞
z.B. p = 2: Ex = ‖x‖2l2
T
Metrische Räume| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.5
Eine Funktion, die zwei Elementen x und y einer Menge X eine reelle Zahlzuordnet, heißt Metrik für X, falls
(1) d(x, y) ≥ 0, d(x, y) = 0, falls x = y(2) d(x, y) = d(y, x)(3) d(x, z) ≤ d(x, y) + d(y, z)
d(x, y) kann als Distanz von x und y betrachtet werden. Euklidische Metrik:
d(x, y) =
[∫ b
a|x(t)− y(t)|2 dt
] 12
= ‖x− y‖L2 x, y ∈ L2(a, b)
d(x, y) =
[n2
∑n=n1
|x(n)− y(n)|2] 1
2
= ‖x− y‖l2 x, y ∈ l2(n1, n2)
Bem.: Ein normierter Raum ist auch ein metrischer Raum. T
Signalräumemit inneren Produkten| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.6
Sei x(t), y(t) ∈ L2(a, b) bzw. x(n), y(n) ∈ l2(n1, n2). Ein inneres Produktordnet den beiden Signalen x und y eine Zahl c ∈ C zu:< x, y >= c.Ein inneres Produkt muss folgende Axiome erfüllen:
(1) < x, y >=< y, x >∗
(2) < αx + βy, z >= α < x, z > +β < y, z >; (α, β ∈ C)
(3) < x, x > ≥ 0, < x, x >= 0, falls x(t) = 0 bzw. x(n) = 0 ∀n
Beispiel: < x(t), y(t) > =∫ b
ax(t)y∗(t) dt
< x(n), y(n) > =n2
∑n=n1
x(n)y∗(n) = yHx
fürx = [x(n1) x(n1 + 1)...x(n2)]
T, y = [y(n1) y(n1 + 1)...y(n2)]T
Analoge Faltung→ Diskrete Faltung I| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.7
y[t] = h[t] ∗ x[t] =+∞∫−∞
h[τ]x[t− τ] dτ (1)
Es gilt gemäß Abtasttheorem für x[t] (ebenso für y[t] und h[t]):
x[t] =+∞
∑n=−∞
x(n∆t)g[t− n∆t] =
[+∞
∑n=−∞
x(n∆t)δ[t− n∆t]
]∗ g[t]
mit g[t] = sin(πfAt)πfAt und fA = 1
∆t , so dass sich für (1) ergibt:[+∞
∑n=−∞
y(n∆t)δ[t− n∆t]
]∗ g[t] =
=
[+∞
∑n=−∞
h(n∆t)δ[t− n∆t]
]∗ g[t] ∗
[+∞
∑n=−∞
x(n∆t)δ[t− n∆t]
]∗ g[t]
Kommutativität der Faltung und g[t] ∗ g[t] = ∆tg[t] liefert:
Analoge Faltung→ Diskrete Faltung II| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.8
+∞
∑n=−∞
y(n∆t)δ[t− n∆t] = ∆t
[+∞
∑n=−∞
h(n∆t)δ[t− n∆t]
]∗[
+∞
∑n=−∞
x(n∆t)δ[t− n∆t]
]
Faltungsintegral ausschreiben (Umbenennung der Summationsvariablen):
+∞
∑n=−∞
y(n∆t)δ[t− n∆t] = ∆t+∞∫−∞
+∞
∑m=−∞
h(m∆t)δ[τ −m∆t] ·+∞
∑k=−∞
x(k∆t)δ[t− k∆t− τ] dτ
Da+∞∫−∞
s[τ]δ[t− τ] dτ = s[t], gilt für
+∞∫−∞
δ[τ −m∆t]δ[t− k∆t− τ] dτ =
+∞∫−∞
δ[τ − (m + k)∆t]δ[t− τ] dτ = δ[t− (m + k)∆t] ,
so dass T
Analoge Faltung→ Diskrete Faltung III| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.9
+∞
∑n=−∞
y(n∆t)δ[t− n∆t] = ∆t+∞
∑m=−∞
+∞
∑k=−∞
h(m∆t)x(k∆t)δ[t− (m + k)∆t]
Mit k + m = n (und Summierung von jeweils−∞ bis+∞): T
+∞
∑n=−∞
y(n∆t)δ[t− n∆t] = ∆t+∞
∑n=−∞
+∞
∑m=−∞
h(m∆t)x((n−m)∆t)δ[t− n∆t]
Für die Abtastwerte y(n∆t) gilt mit ∆t = 1 (Normierung):
y(n) =+∞
∑m=−∞
h(m)x(n−m)
Hiermit ist die Äquivalenz von diskreter und analoger Faltung auf Basis desAbtasttheorems gezeigt.
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 3.0.0
1 Einführung
2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume
3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation
4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen
| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.0
3.1 Lineare Transformationen
Lineare Transformationen| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.1
Sei vi ∈ Rn, i = 1, . . . , n eine Basis des Vektorraums V = Rn.
Damit gilt für jeden Vektor v ∈ Rn : v = c1v1 + c2v2 + · · ·+ cnvn.
Für eine lineare Transformation T gilt:
T(v) = c1T(v1) + c2T(v2) + · · ·+ cnT(vn) ∀ ci ∈ R; vi ∈ V
(vgl. auch Folie 2.2.8, T=H)
Matrixdarstellung einer linearen Transformation:
T =[T(v1) T(v2) . . . T(vn)
]∈ Rm×n
Mit c = [c1 . . . cn]T gilt dann: T(v) = T · cAnmerkung: Falls die Basis verändert wird, bleibt T gleich, aber die Matrix
T ändert sich.⇒ Basiswechsel = Linearer Transformation
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.2
v1 =
[10
]v2 =
[01
], v = 1 · v1 + 2 · v2 =
[12
](c =
[12
])
T(v1) =
234
T(v2) =
555
⇒ T(v) = 1 · T(v1) + 2 · T(v2) =
121314
T(v) =
2 53 54 5
[ 12
]= T · c =
121314
Orthogonale Transformationen| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.3
Definition: Ein Satz von Vektoren qi ∈ Rm, i = 1, 2, . . . , n ist orthogonal,wenn
qTi · qj =
{0 für i 6= jcii für i = j
}⇔ qi ⊥ qj (i 6= j)
Falls cii = 1 ∀ i sind die Vektoren orthonormal.Mit Q = [q1 q2 . . .qn] (orthonormale Matrix) gilt
QT · Q = I↑
Einheitsmatrix
=
1 0. . .
0 1
Falls die lineare Transformation T durch eine orthogonale Matrix Qrepräsentiert wird, d.h. Q =
[T(v1) T(v2) . . . T(vn)
]∈ Rm×n , ist T eine
orthogonale Transformation.Falls Q ∈ Cm×n mit QHQ = I repräsentiert Q eine unitäre Transformation.Anmerkung: Zwei Unterräume V1 und V2 eines Vektorraumes V sindorthogonal, falls
vTi · vj = 0 für alle vi ∈ V1 und alle vj ∈ V2
Anmerkungen zu linearen Transformationen I| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.4
• Es seien T1, T2, . . . , Tn die Matrixdarstellungen von linearenTransformationen. Es gilt:
T =n
∏i=1
Ti
ist ebenfalls eine lineare Transformation.Dies gilt auch für orthogonale Transformationen Qi:
Q =n
∏i=1
Qi
ist ebenfalls eine orthogonale Transformation.• Lineare Transformationen sind aber auch als Transformationen einergegebenen Matrix von Bedeutung. Methoden der linearen Algebra(Gauß Algorithmus, Eigenwertzerlegung, ...) lassen sich als lineareTransformationen darstellen.
Anmerkungen zu linearen Transformationen II| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.5
• Signale und Systeme (vgl. Kap. 2) bzw. Größen der Statistik (vgl. Kap.6) können als Vektoren/Matrizen repräsentiert werden. Mit linearenTransformationen stehen uns Werkzeuge zur Bearbeitung dieserRepräsentationen zur Verfügung.
• Die Signaltransformationen DFT (Diskrete Fourier Transformation),DST (Diskrete Sinus Transformation), DCT (Diskrete CosinusTransformation) oder DWT (Diskrete Wavelet Transformationen) lassensich als lineare Transformationen bzw. durchTransformationsmatrizen darstellen. Anwendung sind z.B.Compressionsverfahren (JPEG,MPEG, . . .) oder Orthogonal FrequencyDivision Multiplex (OFDM wird bei DVB-T, LTE, . . . verwendet)→Kapitel 3.2.
• Dies gilt auch für die Verfahren der Informationstechnik undSignalverarbeitung. Lineare Systeme lassen sich als lineareTransformationen darstellen (z.B. Faltung, Filterung, Korrelation, . . .)→ Kapitel 3.3.
| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.0
3.2 Diskrete Signaltransformationen
Diskrete Cosinus Transformation (DCT)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.1
Die DCT eines Vektors/Signals xn = [x1 x2 . . . xn]T ∈ Rn ist:
yn = Cn · xn
wobei yn ∈ Rn die Cosinus Transformierte darstellt und Cn ∈ Rn×n dieDCT-Matrix ist:
Cn = [ckl]mit ckl = γk1√n
cos(
π(k− 1)(2l− 1)2n
),
wobei γk =
{1 k = 1√
2 2 ≤ k ≤ n
Anmerkungen: (1) Es gilt: C−1n = CT
n (Orthogonalität)(2) Berechnung der DCT: n2 Multiplikationen und n(n− 1)
Additionen(3) Anwendung auf Bild B ∈ Rn×n: D = Cn · B · CT
n(zweiseitige DCT)
M
Beispiel: DCT eines Bildes| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.2
Das folgende Beispiel zeigt das prinzipielle Vorgehen bei der Bildcodierungunter Verwendung der DCT (z.B. JPEG, MPEG). Das 480× 480 Orginalbild(Bild 1) wird in 8× 8 Blöcke zerlegt.Jeder Block Bij wird mit der zweiseitigen DCT transformiert:Dij = C8 · Bij · CT
8 (Bild 2; zur besseren Visualisierung zeigt das kleine Bildden links oben liegenden 32× 32 Ausschnitt des großen Bildes).Von jedem 8× 8 Block Dij werden nur die ersten 2× 2 Pixel übertragen:Dij(k, l) = 0 für k > 2∨ l > 2 (Bild 3; zur besseren Visualisierung zeigt daskleine Bild den links oben liegenden 32× 32 Ausschnitt des großen Bildes).Damit ergibt sich eine Reduktion der Datenmenge auf 1/16. Aus diesenverbleibenden Koeffizienten wird das Bild wieder durch die zweiseitigeinverse DCT rekonstruiert: B′ij = CT
8 · Dij · C8 (Bild 4).Bild 5 zeigt zum Vergleich das rekonstruierte Bild, wenn die ersten 4× 4Pixel übertragen werden: Dij(k, l) = 0 für k > 4∨ l > 4 für alle i, j (Reduktionauf 1/4).
Bild 1: Orginalbild| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.3
Bild 2: DCT des Bildes| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.4
Bild 3: Reduktion der DCT Koeffizienten (8× 8→ 2× 2)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.5
Bild 4: Rekonstruiertes Bild aus verbleibenden DCT Koeff.| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.6
Bild 5: Rekonstruiertes Bild für 8× 8→ 4× 4| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.7
Diskrete Fourier Transformation (DFT)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.8
Die DFT eines Vektors/Signals xn = [x1 x2 . . . xn]T ∈ Cn ist:
yn = Fn · xn
wobei yn ∈ Cn die Fourier Transformierte darstellt und Fn ∈ Cn×n dieDFT-Matrix ist:
Fn = [fkl] k, l = 1, 2, . . . , n
mit fkl = w(k−1)(l−1)n , wobei wn = e−j 2π
n .
Anmerkungen: (1) Es gilt: F−1n = 1
n · FHn = 1
n · F∗n = 1n · [f ∗kl] (Orthogonalität)
(2) Berechnung der DFT: n2 Multiplikationen und n(n− 1)Additionen
(3) Es gilt: w(k−1)(l−1)n = w(k−1)(l−1)mod n
n
Beispiel: DFT| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.9
n = 4: w4 = e−j 2π4 = e−j π
2 = −j
F4 =
w04 w0
4 w04 w0
4
w04 w1
4 w24 w3
4
w04 w2
4 w44 w6
4
w04 w3
4 w64 w9
4
=
w04 w0
4 w04 w0
4
w04 w1
4 w24 w3
4
w04 w2
4 w04 w2
4
w04 w3
4 w24 w1
4
=
1 1 1 1
1 −j −1 j
1 −1 1 −1
1 j −1 −j
(w(k−1)(l−1)
4 = w(k−1)(l−1)mod 44 )
w12
n = 2
w02 w2
4 w04
w34
w14
w68
w78
w08
w18
w28
w38
w48
w58
n = 4 n = 8
1
−j
+j
−1
M
Fast Fourier Transformation (FFT)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.10
Durch Ausnutzung der speziellen Struktur von Fn kann die DFT mitn2 log2(
n2 )Multiplikationen und n log2 n Additionen
berechnet werden=⇒ FFT
Zur Herleitung einige Definitionen:
• Indexvektor: in = [1 2... n]• Permutationsvektor: pn = [beliebige Permutation von in]z.B. p4 = [3 4 2 1]• Permutationsmatrix: Pn(n× n):
Pn = P(pn) = [k-te Zeile hat 1 Element in Spalte pn(k) ; sonst Null]
P4 = P(p4) =
0 0 1 00 0 0 10 1 0 01 0 0 0
• Für Pn gilt: Pnin = pn und P
Tn · Pn = I
FFT: Zerlegung der DFT-Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.11
Hier nur für Radix-2 FFT, d.h. wir nehmen an n = 2t
Startpunkt: Permutationsvektor pn = [1 3 . . . (n− 1) 2 4 . . . n] =⇒ Pn
Fn · PTn =
F n2
D n2· F n
2
F n2−D n
2· F n
2
=
I n2
D n2
I n2−D n
2
· F n
20
0 F n2
wobei
D n2=
1 0
wnw2
n. . .
0 wn2−1n
; d n2= diag(D n
2) =
1
wnw2
n...
wn2−1n
Durch Fn · PT
n werden die Spalten von Fn gemäß pn getauscht (d.h. zuerstungerade Spalten, dann gerade Spalten).
Beispiel: Zerlegung von F4| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.12
F4 =
1 1 1 1
1 −j −1 j
1 −1 1 −1
1 j −1 −j
;
F2 =
[1 11 −1
]; D2 =
[1 00 −j
];
d2 =
[1−j
]; p4 = [1 3 2 4]
F4 · PT4 =
1 1 1 1
1 −1 −j j
1 1 −1 −1
1 −1 j −j
=
1 0 1 0
0 1 0 −j
1 0 −1 0
0 1 0 j
·
1 1 0 0
1 −1 0 0
0 0 1 1
0 0 1 −1
=
F2 D2 · F2
F2 −D2 · F2
=
I2 D2
I2 −D2
· F2 0
0 F2
Wiederholte Zerlegung| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.13
Die Zerlegung kann log2 n-mal rekursiv wiederholt werden. Im k-ten Schrittwird die Zerlegung 2(k−1) mal angewendet. Als Beispiel sind im Folgendendie ersten zwei Schritte dargestellt:
yn = Fn · xn =
I n2
D n2
I n2−D n
2
·
I n4
D n4
0 0
I n4−D n
40 0
0 0 I n4
D n4
0 0 I n4−D n
4
·
F n4
0 0 0
0 F n4
0 0
0 0 F n4
0
0 0 0 F n4
· xp,
wobei xp der entsprechend oft permutierte Vektor xn ist (siehe nächsteFolie bezüglich der Permutation von xn).
Berechnung der FFT| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.14
Sei Pn · xn =
[xuxg
], wobei
xu = [x1 x3 . . . xn−1]T ∈ C
n2
xg = [x2 x4 . . . xn ]T ∈ Cn2, und y1, y2 ∈ C
n2 :
yn =
[y1y2
]= Fn ·xn = Fn ·PT
n · Pn︸ ︷︷ ︸I
·xn =
I n2
D n2
I n2−D n
2
F n2
0
0 F n2
· xu
xg
=⇒Mit yu = F n
2· xu und yg = F n
2· xg (zwei DFT der Dimension n
2 ) ergibt sich:
y1 = yu + D n2yg = yu + d n
2. ∗ yg
y2 = yu − D n2yg = yu − d n
2. ∗ yg (
n2Multiplikationen und n Additionen)
wobei .∗ komponentenweise Vektormultiplikation=⇒ a = b. ∗ c bedeutet demnach ai = bi · ci ∀i
Für n = 2t lässt sich dieser Prozess t = log2 n-mal wiederholen=⇒ n
2 log2(n2 )Multiplikationen und n log2 n Additionen
Beispiel: Berechnung der FFT (n = 4)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.15
DFT:
y4 = F4x4 =
1 1 1 1
1 −j −1 j
1 −1 1 −1
1 j −1 −j
1
2
2
1
=
6
−1− j
0
−1 + j
FFT:
yu = F2xu =
[1 11 −1
] [12
]=
[3−1
]; yg = F2xg =
[1 11 −1
] [21
]=
[31
];
y4 =
[yuyu
]+
[d2−d2
]. ∗[ygyg
]=
3−1
3−1
+
1−j−1
j
. ∗
3131
=
6
−1− j0
−1 + j
Berechnungsschema der FFT| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.16
Stage 1 Stage 2 Stage 3
−1
−1
−1 −1
−1
−1
−1 −1
−1
−1 −1 −1
x(1)
x(2)
x(3)
x(4)
x(5)
x(6)
x(7)w3
8
w28
w18
w08
w08
w28
w28
w08
w08
w08
w08
w08
x(0)x(0)
x(4)
x(6)
x(2)
x(1)
x(5)
x(3)
x(7)
Eight-point decimation-in-time FFT algorithm.
baA=
a+
wr N
b
B=
a−
wr N
b−
1
wr N
Basicbu
tterflycompu
tation
inthe
decimation-in-timeFFTalgorithm.
| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.0
3.3 Faltung als lineare Matrixtransformation
Faltung als Matrix-Vektor-Multiplikation| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.1
Die Faltung war folgendermaßen definiert: y(n) = ∑∞k=−∞ x(k)h(n− k)
Annahme: endliche Sequenzen in einem Vektor zusammengefasst
endliche Impulsantwort h = [h(−n−), . . . , h(−1), h(0), h(1), . . . , h(n+)]T
mit Länge: nh = n− + n+ + 1endliche Eingangssequenz x = [x(−k−), . . . , x(−1), x(0), x(1), . . . , x(k+)]T
mit Länge: nx = k− + k+ + 1
Der Vektor y der Länge ny = nh + nx − 1 (endliche Ausgangssequenz) lässtsich als Matrix-Vektor-Produkt berechnen:
y = Th · x mit y : ny × 1; x : nx × 1; Th : ny × nx
Faltungsmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.2
Th wird folgendermaßen gebildet:
Th =
h(−n−) 0 . . . 0... h(−n−)
...
h(−1)...
. . . 0h(0) h(−1) h(−n−)
h(1) h(0)...
... h(1). . . h(−1)
h(n+)... h(0)
0 h(n+) h(1)... 0
. . . h(1)...
......
0 0... h(n+)
Toeplitz-Matrix
Eine Toeplitz Matrix ist eine Matrix, die auf ihren Diagonalen identischeElemente besitzt.
Beispiel: Faltungmit MVM| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.3
Die Impulsantwort eines LZI-Systems sei:
h(n) = {1, 2↑
n=0
, 1,−1}, nh = 1 + 2 + 1 = 4
Bestimme die Antwort des Systems für das Eingangssignal:
x(n) = {1, 2↑
n=0
, 3, 1}, nx = 4
Es ergibt sich ny = nx + nh − 1 = 7 so, dass Th : 7× 4.
y =
n = −1012345
1 0 0 02 1 0 01 2 1 0−1 1 2 1
0 −1 1 20 0 −1 10 0 0 −1
·
1231
=
14883−2−1
y = Th · x
M
Zeitbezug der Übertragung in MVM| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.4
h(-2)
h(-1) h(-2)
h(-1) h(-2)
h(-1)
h(-2)h(-1)
h(-2)h(-1)
y(-4)
y(-3)
y(-2)
y(-1)
y(0)
y(1)
y(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
x(-2)
x(-1)
x(0)
x(1)
x(2)
h(-2)
h(-1) h(-2)
h(-1) h(-2)
h(-1)
h(-2)h(-1)
h(-2)h(-1)
y(-4)
y(-3)
y(-2)
y(-1)
y(0)
y(1)
y(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
h(0)
h(1)
h(2)
x(-2)
x(-1)
x(0)
x(1)
x(2)
Die roten und blauen Werte zeigen die Veränderungen derFaltungsoperation und der Position von n = 0 in den Vektoren für den Fall,dass zusätzliche Werte (Vergangenheit) bei den Signalen berücksichtigtwerden
Faltungsmatrix und Systemeigenschaften| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.5
Eigenschaften der Faltungsoperation und Charakterisierung zeit-diskreterlinearer Systeme mit MVM (Matrix Vektor Multiplikation)
Linearität⇔MVMBeschreibungmöglich
hh
h
0
0
Kausalität
Gedächtnis N
n = 0
00
Th
Zeitinvarianz = Schiebeinvarianz der Toeplitz-Matrix
hk(n) = h(n− k) ⇔ ti,j = konst. für i− j = konst.
Äquivalente Beschreibungen| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.6
1) Multiplikation zweier Polynome p1(x), p2(x), (hi=p1i, xi=p2i)
2) Filterung mit FIR-Filter in Direktstruktur (hi=wi, x=x)
∆t
x(n− 1) x(n− 2)x(n) x(n−M + 2) x(n−M + 1)
y(n)
w∗0 w∗1 w∗M−2 w∗M−1
∆t∆t
3) Autokorrelations- und Kreuzkorrelationssequenz⇒ AKF/KKFx(n), y(n) : (h=y, x=flip(x)) (siehe Folie 3.3.11)• Für unendliche Sequenzen ergeben sich unendlich dimensionaleVektoren und Matrizen→ Operatoren Z
Zyklische Faltung| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.7
Zunächst werden h und x auf Länge ny erweitert (Anhängen von Nullen):
hz =
[h0ny−nh
]: ny × 1, xz =
[x0ny−nx
]: ny × 1
Unter der Annahme, dass es sich bei h um eine periodische Sequenzhandelt, lässt sich eine zyklische Faltungsmatrix Thz : ny × ny aufbauen.Vorgehen wie beim Aufbau der Toeplitz Matrix, wobei Spalten zyklisch(periodisch) wiederholt werden1).Für h = [h1 h2 h3]
T und ny = 4 (nx = 2) ergibt sich:
Thz =
h1 0 h3 h2h2 h1 0 h3h3 h2 h1 00 h3 h2 h1
und es gilt: y = Th · x = Thz · xz
1): „Was unten herausfällt, kommt oben wieder rein.“
Eigenschaften der Faltung anhandMVM| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.8
• Kommutativität:
Th · x = Thz · xz = Tx · h = Txz · hz (Betrachtung der Matrizen)
• Assoziativität:(Th1z · Th2z) · xz = Th1z · (Th2z · xz)
• Distributivität:
(Th1z + Th2z) · xz = Th1z · xz + Th2z · xz
• Ferner gilt: Kommutativität aufeinander folgender Faltungen :
Th1z · Th2z = Th2z · Th1z
Kommutativität der MMM (Matrix Matrix Multiplikation) gilt fürzyklische Matrizen. (allg.: A · B 6= B · A für A,B ∈ Fn×n)
Faltung im Frequenzbereich| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.9
Für eine zyklische Matrix gilt: Die Spalten der inversen FourierTransformation F−1
ny = 1nyFH
ny bilden die Eigenvektoren der zyklischenMatrix und die Eigenwerte ergeben sich durch die Fourier Transformationder ersten Spalte der zyklischen Matrix.
Thz = F−1ny ΛFny , wobei diag(Λ) =
λ1λ2...λny
= Fny · Thz(:, 1) = Fny · hz
und Λ eine Diagonalmatrix ist. Somit gilt:
y = Th · x = Thz · xz = F−1ny ΛFnyxz = F−1
ny
[(Fny · hz
). ∗(Fnyxz
)]wobei .∗ die elementweise Multiplikation zweier Vektoren beschreibt.Rechenkomplexität: Faltung (MVM): CMVM = nynx − n2
x + nxMultiplikationen;Faltung im Frequenzbereich: CF = 3 ny
2 log2(ny2 ) + ny Multiplikationen;
z. B. für nh = 65, nx = 192: ny = nh + nx − 1 = 256 ⇒ CMVM = 12480 undCF = 2944.
Beispiel: Faltung im Frequenzbereich| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.10
Faltung von h = [1 2 1]T und x = [2 1]T.
y = Th · x =
1 02 11 20 1
· [ 21
]= Thz · xz =
1 0 1 22 1 0 11 2 1 00 1 2 1
·
2100
=
2541
F4 · [hz xz] =
1 1 1 11 −j −1 j1 −1 1 −11 j −1 −j
·
1 22 11 00 0
=
4 3−2j 2− j0 12j 2 + j
yF = (F4 · hz) . ∗ (F4xz) =
4−2j02j
. ∗
32− j12 + j
=
12−2− 4j0−2 + 4j
F−14 · yF =
14FH
4 · yF =14
1 1 1 11 j −1 −j1 −1 1 −11 −j −1 j
·
12−2− 4j0−2 + 4j
=14
8
20164
=
2541
Faltung und Korrelation| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.11
Mit y = Th · x ergibt sich die Faltung von h und x. Die Korrelation von h und x
kann genauso berechnet werden
rhx = Th · xf ,
wobei xf = flip(x) Vektor/Sequenz in umgekehrter Ordnungx = [x1 x2 . . . xn]T → xf = flip(x) = [xn . . . x2 x1]
T
Anmerkung: Alle für die Faltung gemachten Aussagen gelten äquivalent
für die Korrelation (zyklische Korrelation, Korrelationsberechnung im
Frequenzbereich). Lediglich die Eingangsdaten werden in umgekehrter
Reihenfolge verwendet.
Anwendung: Akquisition der GPS Satelliten.
Beispiel: Das vorherige Beispiel zeigt die Faltung von h = [1 2 1]T und
x = [2 1]T.
Mit xf = flip(x) = [1 2]T und xfz = [1 2 0 0]T berechnet sich die Korrelation
von h und x genau äquivalent.
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 4.0.0
1 Einführung
2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume
3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation
4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen
| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.0
4.1 Matrixzerlegungen
Definition und Hilfssatz| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.1
Matrixzerlegungen, d. h. die Zerlegung einer gegebenen Matrix X in das
Produkt von mehreren Matrizen, ergeben sich durch lineare
Transformationen der Matrix X.
z. B. Gauß Algorithmus→ LR-Zerlegung T
Hilfssatz (Konstruktion einer orthogonalenMatrix).
Sei x = [x1 x2 . . . xm]T ∈ Rm. Mit s = ||x||2 = (xTx)1/2 und
i1 = [1 0 . . . 0]T ∈ Rm sei
u = x− s · i1und mit I (m×m Einheitsmatrix) sei
H = I− 2uT u
· uuT .
Die Matrix H ist symmetrisch und orthogonal und es gilt:
H · x = s · i1T
Beweis| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.2
• H symmetrisch:
HT = (I− 2u uT
uTu)T = IT − 2(
u uT
uTu)T = I− 2 · u u
T
uTu= H
• H orthogonal:
HTH = HH = (I− 2u uT
uTu)(I− 2
u uT
uTu) =
= I− 2u uT
uTu− 2
u uT
uTu+ 4
u uTu uT
uTu uTu= I
• Mit uTu = (x− s · i1)T(x− s · i1) = xTx︸︷︷︸s2
−2s xTi1︸︷︷︸x1
+s2 iT1 i1︸︷︷︸1
= 2s2 − 2sx1
und uTx = (x− s · i1)Tx = s2 − sx1 gilt:
H · x = (I− 2u uT
uTu)x = x− 2
u uTxuTu
=
= x− 2(x− s · i1)(s2 − sx1)
2(s2 − sx1)= x− x+ s · i1 = s · i1 �
QR-Zerlegung (QRZ)| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.3
Theorem: Es sei X ∈ Rm×n (m ≥ n).
Es existiert eine orthogonale Matrix Q ∈ Rm×m (QTQ = I), so dass
QTX =
[R0
], (6)
wobei R ∈ Rn×n eine rechte obere Dreiecksmatrix mit nichtnegativen
Diagonalelementen (rii ≥ 0) ist.
z. B. für m = 4, n = 3:
X = Q[R0
]=
q11 q12 q13 q14q21 q22 q23 q24q31 q32 q33 q34q41 q42 q43 q44
r11 r12 r130 r22 r230 0 r330 0 0
Beweis| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.4
Induktion über Anzahl der Spalten: X = [x1 x2 . . . xn]n = 1: X = x1: Hilfssatz⇒ ∃ H, so dass (s = (xT
1x1)1/2)
HTX = HTx1 = Hx1 = s · i1 =
[s01
]= (6)
n > 1: X = [x1 Xr]:
HTX =
[s bT
01 C
]Theorem liefert: QT
c C =
[Rc02
](QRZ von C), so dass sich mit
QT =
[1 0T
101 QT
c
]·HT ergibt:
QTX =
s bT
03 Rc04 02
=
[R05
]Anmerkung: Für die Dimensionen der Nullvektoren/-matrizen gilt:01 = 0m−1×1, 02 = 0m−n×n−1, 03 = 0n−1×1, 04 = 0m−n×1, 05 = 0m−n×n
| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.0
4.2 Lineare Gleichungssysteme
Lineare Gleichungssysteme| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.1
X = [x1 x2 . . . xn ] ∈ Rm×n(m ≥ n); xi linear unabhängig (Rang(X) = n)X ·w = w1x1 + w2x2 + · · ·+ wnxn: Linearkombination der Spalten
Lineares Gleichungssystem:X ·w = b
Lösung des linearen Gleichungssystems: Finde Vektorw = [w1, . . . , wn]T ∈ Rn, so dass Linearkombination der Spalten von X denVektor b ∈ Rm ergibt.
X ·w = b ist exakt lösbar, falls b ∈ SR(X)
x2
w2x2
w1x1
bx1b liegt in der Ebene,die von x1, x2aufgespannt wird
Minimierung des quadratischen Fehlers| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.2
Falls b 6∈ SR(X): Minimiere den Fehler, d.h. den Abstand zu SR(X)
x2
w2x2
w1x1
x1
b
e = X w - b
r
Mit r = Xw = w1x1 + w2x2 + · · ·+ wnxn gilt: rTe = 0⇔ e⊥r⇔ e⊥SR(X)
Abstand = Länge von e : ||e||2 = (e21 + e2
2 + · · ·+ e2m)
12 = (eTe)
12
Least Squares (LS) Problem: minw||e||2 = min
w||Xw−b||2
Lösungmit QR-Zerlegung| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.3
Es gilt:||e||2 = (eTe)
12 = (eT QQT︸︷︷︸
I
e)12 = ||QTe||2
||e||2 = ||Xw−b||2 = ||QTe||2 = ||QTXw−QTb||2 = ||[R0
][w]−
[b1b2
]||2 ,
wobei R : n× n (rechte obere Dreiecksmatrix), b1 : n× 1 undb2 : (m− n)× 1.
Damit ergibt sich der Lösungsvektorw durch Rücksubstitution aus:
Rw = b1
und der minimale Fehler emin zu:
emin = minw||e||2 = ||b2||2
Lösungmit Normalengleichung:| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.4
Orthogonalität von SR(X) und Fehler e liefert:
XTe = 0
so dass,XTe = XTXw− XTb = 0 ⇔ XTXw = XTb
Da XTX eine quadratische nichtsinguläre (Rang(X) = n) Matrix ist, existiertInverse, d.h.
w = (XTX)−1XTb
Die Matrix X# = (XTX)−1XT heißt Pseudo-Inverse der m× n Matrix X.T
| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.0
4.3 Anwendungen
Anwendung I: Detektion und Kanalschätzung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.1
Gegeben sei ein zeit-invarianter Kanal (nh = 4), der mit Rauschen behaftetist:
h(k)
Kanalx(n) y(n) y(n)
v(n)
Übertragungsverhalten (ohne Rauschen) durch Faltung beschrieben:
h(1)h(2) h(1)h(3) h(2)
h(4) h(3). . .
0 h(4)... 0...
...0 0
·
x(1)x(2)x(3)...
=
y(1)y(2)y(3)............
Th · x = y
Detektion und Kanalschätzung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.2
Detektion: Kanalimpulsantwort h(k) bekannt; Gesucht: Schätzung dergesendeten Daten x(n).y = y+ v
y ∈ SR(Th), aber empfangene Daten sind mit Rauschen v =[v(1) . . . v(n)]T beaufschlagt, d.h. y = y+ v 6∈ SR(Th) liegt am Emp-fänger vor.
Zur Rekonstruktion der gesendeten Daten:
minx||Thx− y||2 ⇒ x = (TH
h Th)−1TH
h y = T#h · y
M
Kanalschätzung: Gesendete Daten x(n) bekannt; Gesucht: Schätzung derKanalimpulsantwort h(k).
Äquivalente Problemstelllung↔ Kommutativität der Faltung
minh||Txh− y||2 ⇒ h = (TH
x Tx)−1TH
x y = T#x · y
Anwendung II: Frequenzschätzung und Prädiktion| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.3
Gegeben: Messwerte x(n); Gesucht: fi (i = 1, . . . , p) (vgl. Fourieranalyse). Z
Annahme: Signal setzt sich aus p Frequenzanteilen (ωi = 2πfi) zusammen
x(n) =p
∑i=1
cos ωin ,
Hilfssatz: Für ein (p = 1) Kosinussignal x(n) = cos ωn gilt folgendeDifferenzengleichung:
x(n) = c1 x(n− 1) + c2 x(n− 2) ,
mit c1 = 2 cos ω, c2 = −1 und x(−1) = −1, x(−2) = 0 (Initialisierung).Beweis:
cos(ωn) = 2 cos ω cos ω(n− 1)− cos ω(n− 2)
= 2 cos ω[cos ω cos ωn + sin ω sin ωn]− [cos 2ω cos ωn + sin 2ω sin ωn]
= [2 cos2 ω− cos 2ω︸ ︷︷ ︸cos2 ω−sin2 ω
] cos ωn + [2 cos ω sin ω︸ ︷︷ ︸sin 2ω
− sin 2ω] sin ωn
= [2 cos2 ω− cos2 ω + sin2 ω] cos ωn = cos ωn
Allgemeine Differenzengleichung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.4
Allgemein gilt für x(n) =p
∑i=1
cos ωin (ωi = 2πfi) folgende
Differenzengleichung:
x(n) =2p
∑m=1
cmx(n−m) (7)
Lässt sich ebenfalls mit Additionstheoremen zeigen (Hilfssatz erweitertauf p Cosinussignale).Gleichung (7) über mehrere Zeitpunkte (n = 2p + 1, . . . , N) ausgeschriebenergibt:
c2px(1) +c2p−1x(2) + . . . +c1x(2p) = x(2p + 1)c2px(2) +c2p−1x(3) + . . . +c1x(2p + 1) = x(2p + 2)
......
... =...
c2px(N− 2p) +c2p−1x(N− 2p + 1) + . . . +c1x(N− 1) = x(N)(8)
Matrixschreibweise| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.5
Da p normalerweise unbekannt ist, verwenden wir L > 2p anstatt 2p.Damit ergibt sich für Gleichung (8) in Matrixschreibweise (N− 2p > L):
x(1) x(2) . . . x(L)x(2) x(3) . . . x(L + 1)x(3) x(4) . . . x(L + 2)...
.... . .
...x(N− L) x(N− L + 1) . . . x(N− 1)
·
cL
cL−1...
c1
=
x(L + 1)x(L + 2)x(L + 3)
...x(N)
X · c = xp
Anmerkung: Dieses Gleichungssystem läßt sich vollständig aus denAbtastwerten x(n), n = 1, . . . , N aufbauen.
Lineare Prädiktion und Frequenzschätzung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.6
Lineare Prädiktion:Wie gut lässt sich x(N) aus den vorhergehenden Messwerten vor-hersagen?Exakte Vorhersage⇔ xp ∈ SR(X).Da aber x(N) neuer Messwert (neue Information) gilt: xp 6∈ SR(X).
minc||Xc− xp||2 ⇔ best mögliche Vorhersage von xp im SR(X)
Frequenzschätzung:
Px(f ) =σ2
L∣∣∣∣∣1 + L
∑k=1
cke−j2πfk
∣∣∣∣∣2 ,
wobei σ2L =
(1N
N
∑n=1
x2(n)
)·
L
∏k=1
(1− |ck|2
).
Die Maxima von Px(f ) liefern die gesuchten Frequenzen fi (i = 1, . . . , p). M
Diskussion LS| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.7
LS: minw
||e||2 = minw
||Xw− b||2 =
minb+e ∈SR(X)
||e||2 = minb+e ∈SR(X)
||Xw− b||2
⇒ Xw = b+ e
Entspricht der Veränderung von b durch einen Vektor e (minimale Länge),so dass b+ e durch eine Linearkombination von X dargestellt werden kann.
Anwendung I: Problemstellung entspricht LS Problem (h(k)→ Th bekannt,nur Fehler in rechter Seite y→ y)Anwendung II: Auch Matrix X enthält Störungen, nicht nur rechte Seite xp.Eine gleichzeitige Minimierung der Fehler in der Matrix und in der rechtenSeite liefert genauere Ergebnisse (Totale Minimierung: siehe Anhang D).
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 5.0.0
5 Prinzipielle Komponenten Analyse und AnwendungenFundamentale Unterräume einer MatrixPrinzipielle Komponenten einer MatrixParameterschätzung basierend auf SWZ/EWZSystemidentifikation und Zustandsraummodell
6 Wahrscheinlichkeit, Zufallsvariablen und stochastische ProzesseWahrscheinlichkeitsrechnungZufallsvariableZufallsvektorenStochastische Prozesse
7 Informationstheorie und CodierungGrundlagen der InformationstheorieQuellencodierungKanalkapazität und KanalcodierungstheoremGrundlagen des Rechnens auf endlichen KörpernErzeugung von KanalcodesHamming CodesBCH CodesRS Codes
| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.0
5.1 Fundamentale Unterräume einer Matrix
Vektorräume einer Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.1
Matrix = zwei Vektorräume→ Zeilenvektoren, SpaltenvektorenEine N× L Matrix Xmit xij ∈ R, d.h. X ∈ RN×L (N ≥ L) ist ein Satz von• L Spaltenvektoren xi ∈ RN
X = [x1 x2 . . . xL]
• N Zeilenvektoren x(i) ∈ RL
X =
xT(1)xT(2)...
xT(N)
Beispiel:
X =
3 11 11 3
: x1 =
311
; x2 =
113
; x(1) =[
31
]; x(2) =
[11
]; x(3) =
[13
]
Die vier fundamentalen Unterräume| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.2
1 Spaltenraum von X: SR(X) = {y ∈ RN : y = X · v für v ∈ RL}=Menge aller Linearkombinationen der Spalten von X
SR(X) ={ L
∑i=1
vi xi : vi ∈ R}
• SR(X) ist ein Unterraum des RN
2 Linker Nullraum von X: LR(X) = NR(XT) = {v ∈ RN : XT · v = 0}3 Zeilenraum von X: ZR(X) = SR(XT) = {y ∈ RL : y = XT · v für v ∈ RN}
=Menge aller Linearkombinationen der Zeilen von X
ZR(X) ={ N
∑i=1
vi x(i) : vi ∈ R}
• ZR(X) ist ein Unterraum des RL
4 Nullraum von X: NR(X) = {v ∈ RL : X · v = 0} T
Rang und Dimension| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.3
Der Rang der Matrix X ist die Dimension des Spaltenraumes:
p = Rang(X) = dim[SR(X)]= Anzahl der linear unabhängigen Spaltenvektoren xi
Die vier fundamentalen Unterräume besitzen folgende Dimensionen:
dim[SR(X)] = p , dim[NR(X)] = L− pdim[ZR(X)] = p , dim[LR(X)] = N− p
dim[SR(X)] = dim[ZR(X)]
Orthogonalität der fundamentalen Unterräume| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.4
• NR(X) = {v ∈ RL : Xv = 0}, d. h. jede Zeile von X ist orthogonal zuv ∈ NR(X) (x(i) ⊥ v)• ZR(X) wird von den Zeilen von X aufgespannt⇒ NR(X) ⊥ ZR(X)• LR(X) = NR(XT) = {v ∈ RN : XTv = 0}, d. h. jede Spalte von X istorthogonal zu v ∈ LR(X) (xi ⊥ v)• SR(X) wird von den Spalten von X aufgespannt⇒ SR(X) ⊥ LR(X)
L Spalten xi ∈ RN (N ≥ L) N Zeilen x(i) ∈ RL
dim = p Spalten-raum
SR(X)
NR(XT)
dim = N− p
NullraumLinker
alle X v
XTv = 0
RN
orthogonal komplementär,nicht nur orthogonal !
Zeilen-raum
alle XTv
RL
SR(XT)
dim = p
NR(X)Nullraum dim = L− p
X v = 0
Lin. Transformationen + fundamentale Unterräume| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.5
Es sei mit p < n:X
=
S
· CT
X : N× LS : N× p, Rang(S) = pCT : p× L, Rang(C) = p
Dann gilt:ZR(X) = ZR(CT)
Multiplikation von CT mit S liefert Linearkombination der Zeilen von CT.
SR(X) = SR(S)
Multiplikation von Smit CT liefert Linearkombination der Spalten von S.
| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.0
5.2 Prinzipielle Komponenten einer Matrix
Eigenwerte und Eigenvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.1
Für einen Eigenwert λ und einen Eigenvektor y 6= 0 einer Matrix A ∈ RL×L
gilt:A · y = yλ (9)
d. h. ywird durch lineare Transformation A nur in der Länge um λ verändert.
A · y = λy⇔ (λI− A)︸ ︷︷ ︸⇓
y = 0
ΦA(λ)↑
= det(λI− A) = 0
charakteristisches Polynom
⇒ λ
(9) gilt für alle Eigenwerte λi und Eigenvektoren yi (Vorraussetzungλi 6= λj ∀ i, j Matrix A diagonalisierbar)
⇒ A [y1 y2 . . . yL]︸ ︷︷ ︸Y
= [y1 y2 . . . yL]︸ ︷︷ ︸Y
λ1 0...
0 λL
︸ ︷︷ ︸
Λ
⇒ A = YΛY−1
Eigenwertzerlegung hermitscher/symmetrischer Matrizen| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.2
Eine Matrix A ∈ CL×L ist hermitsch (symmetrisch) falls gilt:
A = AH für A ∈ CL×L (A = AT für A ∈ RL×L).
Die EWZ der Matrix A sei A = YΛY−1, dann gilt für A = AH:
A = YΛY−1 = AH =(Y−1
)HΛHYH
⇒ Λ = ΛH ⇒ λi = λ∗i ⇒ λi reell
YH = Y−1 ⇒ Y unitär/orthogonal
so dass (mit Q als Symbol für unitäre/orthogonale Matrix; QHQ = I) gilt T
A = QΛQH
M
Singulärwertzerlegung (SWZ)| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.3
Theorem: (Singulärwertzerlegung). Die Matrix X ∈ RN×L (N ≥ L) sei vom
Rang p. Es existieren orthogonale Matrizen U ∈ RN×N,V ∈ RL×L und eine
Diagonalmatrix Σ ∈ RN×L, so dass
X = UΣVT , (10)
wobei
Σ = diag(σ1, σ2, . . . , σL) =
σ1 0σ2
. . .σL
0
mit σ1 ≥ σ2 ≥ · · · ≥ σp > σp+1 = · · · = σL = 0
Beweis| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.4
Es sei Σp = diag(σ1, σ2, . . . , σp) ∈ Rp×p, XTX symmetrisch
EWZ⇒ VTXTXV =
[Σ2
p 00 0
], V orthogonal
Mit V = [V1 V2];V1 ∈ RL×p : VT1X
TXV1 = Σ2p
VT2X
TXV2 = 0⇒ XV2 = 0 (1)
Nun sei U1 = XV1Σ−1p , (2)
so dass UT1U1 = Σ−1
p VT1X
TXV1Σ−1p = I⇒ U1 ∈ RN×p orthogonale Spalten
Es existiert ein U2, so dass U = [U1 U2] orthogonal ist (z.B. QR-Zerlegung
von U1 )
Aus (2) ⇒ UT2XV1 = UT
2U1︸ ︷︷ ︸=0
Σp = 0 und UT1XV1 = UT
1U1︸ ︷︷ ︸=I
Σp = Σp
Zusammen mit (1) ergibt sich damit:
UTXV =
[UT
1UT
2
]· X · [V1 V2] =
[UT
1XV1 UT1XV2
UT2XV1 UT
2XV2
]=
[Σp 00 0
]T
Eigenschaften der Matrix und SWZ| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.5
Rang(X) = p= Anzahl der σi 6= 0SR(X) = span{u1, u2, . . . ,up}NR(X) = span{vp+1, vp+2, . . . , vL}ZR(X) = span{v1, v2, . . . , vp}LR(X) = span{up+1, up+2, . . . ,uN}
orthogonale Basen für diefundamentalen Unterräume
Orthogonalität der fundamentalen Unterräume:
SR(X) ⊥ LR(X) (UTU = I);
ZR(X) ⊥ NR(X) (VTV = I)
Kondition von X :cond(X) =
σmax
σmin
Zusammenhang: Singulärwerte⇔ Eigenwerte| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.6
A = XTX = VΣT UTU︸︷︷︸I
ΣVT = VΣ2VT
XTX = A = QΛQT
⇓Q = V
λi(A) = σ2i (X) ∀ i
Daraus ergibt sich:
ZR(A) = ZR(X)NR(A) = NR(X)
Rang(A) = Rang(X)
cond(A) = (cond(X))2
Überblick: Zerlegungen| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.7
X ∈ RN×L: (0) X = QR Q orthogonal, R rechte obere Dreiecksmatrix
A ∈ RL×L: (1) A = YΛY−1 Y EV-Matrix, Λ EW (Diagonalmatrix)
(2) A = QΛQT Q orthogonal und reelle EW∃ für A hermitsch/symmetrisch
(3) A = UΣVT U,V orthogonal (verschieden); Σ Diagonalmatrix∃ für beliebige A
X ∈ RN×L: (4) X = UΣVT U : N×N und V : L× L orthogonal, Σ diagonal
Aus den Zerlegungen lassen sich auch die inversen Matrizen bestimmen
(lediglich die Diagonalmatrix muss invertriert werden; siehe Anhang 12).
| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.0
5.3 Parameterschätzung basierend auf SWZ/EWZ
Problemformulierung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.1
Bisher: Parameterschätzung basierend auf linearen Transformationen der
Signale (Kap. 3) bzw. Lösung linearer Gleichungssysteme (Kap. 4)
Jetzt: Parameterschätzung basierend auf SWZ/EWZ der Signalmatrix.
Signalmodell: Komplexe Schwingungen ejωin = cos ωin + j sin ωin
x(n) =p
∑i=1
aiejωin + v(n) (v(n) : Rauschen)
Aufgabe: Bestimme ωi aus Messwerten x(n), d.h. gesucht p, ωi
(i = 1, . . . , p).
Anmerkung: Es gilt: cos ωin = 12(ejωin + e−jωin
), so dass sich p
Kosinusschwingungen auf 2p komplexe Schwingungen abbilden (±ωi).
Annahme: Rauschen wird zunächst vernachlässigt.
Signalmodell für p = 2| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.2
x(n) = a1ejω1n + a2ejω2n (ejω(n−k) = ejωne−jωk)x(n− 1) = a1ejω1n e−jω1 + a2ejω2n e−jω2
x(n− 2) = a1ejω1n e−j2ω1 + a2ejω2n e−j2ω2
x(n− 3) = a1ejω1n e−j3ω1 + a2ejω2n e−j3ω2
...
Darstellung aufeinanderfolgender Abtastwerte als Matrixprodukte:
[x(n) x(n− 1) x(n− 2)] = [a1 a2] ·[
ejω1n 00 ejω2n
]·[
1 e−jω1 e−j2ω1
1 e−jω2 e−j2ω2
]︸ ︷︷ ︸
CT
[x(n− 1) x(n− 2) x(n− 3)] = [a1e−jω1 ejω1n a2e−jω2 ejω2n] · CT =
= [a1e−jω1 a2e−jω2 ] ·[
ejω1n 00 ejω2n
]· CT
Zusammenfassung der beiden Zeilen:[x(n) x(n− 1) x(n− 2)x(n− 1) x(n− 2) x(n− 3)
]=
[a1 a2a1e−jω1 a2e−jω2
]·[
ejω1n 00 ejω2n
]· CT
Allgemeines Signalmodell (N > L)| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.3
X =
x(n) x(n− 1) . . . x(n− L + 1)
x(n− 1) x(n− 2) . . . x(n− L)...
.... . .
...x(n−N + 1) x(n−N) . . . x(n−N− L + 2)
: N× L (L > p)
S =
a1 a2 . . . ap
a1e−jω1 a2e−jω2 . . . ape−jωp
......
. . ....
a1e−j(N−1)ω1 a2e−j(N−1)ω2 . . . ape−j(N−1)ωp
ejω1n 0
. . .0 ejωpn
CT =
1 e−jω1 e−j2ω1 . . . e−j(L−1)ω1
1 e−jω2 e−j2ω2 . . . e−j(L−1)ω2
......
.... . .
...1 e−jωp e−j2ωp . . . e−j(L−1)ωp
X = S · CT =
P
L
CT·SN P
Anwendung Richtungsschätzung: Sensorfelddatenmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.4
· · · · · · · · · ·��
��
��
@@
@@
@@
��
@@
x1(t) x2(t) x3(t) xL(t)
-� ∆
��������������������������������������
��������������������������������������
��������������������������������������
���������������������������
ZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZ
ZZ
ZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZZZ
�������/
si(t)
ZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZZ
ZZZ
ZZZ
ZZZ
ZZ
ZZ
ZZZZ
θi θi θi
���/
τi
x1(1) x2(1) . . . xL(1)x1(2) x2(2) . . . xL(2)x1(3) x2(3) . . . xL(3)... ... . . . ...
x1(N) x2(N) . . . xL(N)
= X
Äquivalentes Signalmodell| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.5
p Signale si(n) aus unterschiedlichen Raumrichtungen θi werden vonäquidistantem linearen Sensorfeld empfangen.
S =
s1(1) s2(1) . . . sp(1)s1(2) s2(2) . . . sp(2)...
.... . .
...s1(N) s2(N) . . . sp(N)
CT, wie zuvor mit ωi = ω0
∆c sin θi
ω0 : Trägerfrequenz∆ Abstand der Sensorenc : Wellenausbreitungsgeschwindigkeitθi : Signalrichtungen
Aufgabe: Schätzung der Signalrichtungen. Bestimme Zahl und Richtungder ankommenden Signale (Wellenfronten), d.h. p und ωi (i = 1, . . . , p).
⇒ θi = arcsin(
cω0∆ ωi
)Z
X = S · CT =
P
L
CT·SN P
Lösung der Schätzprobleme I: Herleitung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.6
Anwendung der SVD auf X (nur X bekannt; S, CT unbekannt)
X = S · CT = UΣVT mit V = [v1, . . . , vL]
Bestimmung der Anzahl der Frequenzen/Signalquellen p:dim[ZR(X)] = dim[SR(S)] = dim[ZR(CT)] = p⇒ Rang(X) = p, d.h σi > 0 ∀ i ≤ p
Damit lassen sich die Unterräume bestimmen. Ausnützung derOrthogonalität der Unterräume liefert Parameter:
ZR(X) : VZR = [v1, . . . , vp]; ⊥ NR(X) : VNR = [vp+1, . . . , vL]|| ← (siehe Folie 5.1.5)
ZR(CT) ⊥ NR(X)
Berechne P(ω) = n||cH(ω)VNR||2 mit c
H(ω) = [1 e−jω e−j2ω . . . e−j(L−1)ω ]
(wobei cH(ω) eine Zeile von Cmit ω unbekannt)P(ω)→ ∞ für ω → ωi⇒ ωi
Algorithmus I| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.7
Berechnungsschritte:
1 Berechne X = UΣVT
2 Bestimme p = Anzahl σi 6= 0⇒ VNR = [vp+1, . . . , vL]
3 Bestimme P(ω) = n||cH(ω)VNR||2
mit cH(ω) = [1 e−jω e−j2ω . . . e−j(L−1)ω ]
4 Bestimme Unendlichkeitsstellen (Maxima) von P(ω):
P(ω)→ ∞/max für ω → ωi⇒ ωi
Anmerkung: Berechnungsaufwand für Schritt (3) sehr groß (Auflösung).Dieser Algorithmus ist unter dem Namen MUSIC (MUltiple SIgnalClassification) bekannt.
M
Lösung der Schätzprobleme II: Schiebeinvarianz von C:| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.8
Mit
J1 = [IL−1×L−1 OL−1×1]
J2 = [OL−1×1 IL−1×L−1]
und
Φ = diag(e−jωi) =
e−jω1 0
e−jω2
. . .0 e−jωp
: p× p
gilt:J1 · C ·Φ = J2 · C
Lösung der Schätzprobleme II: Herleitung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.9
Aus Folie 5.1.5 folgt:
ZR(CT) = ZR(X) = ZR(VTZR)
Für eine nichtsinguläre p× p Transformationsmatrix T gilt also:
CT = TT · VTZR ⇔ C = VZR · T
Damit ergibt sich aus der Schiebeinvarianz von C:
J1 · C ·Φ = J2 · CJ1 · VZR · T ·Φ = J2 · VZR · T
Mit Ψ = T ·Φ · T−1 ergibt sich damit:
J1 · VZR ·Ψ = J2 · VZR
Algorithmus II| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.10
Berechnungsschritte:
1 Berechne X = UΣVT
2 Bestimme p = Anzahl σi 6= 0⇒ VZR = [v1, . . . , vp]
3 Löse LS Problem (p rechte Seiten):
minΨ||J1 · VZR ·Ψ− J2 · VZR||F⇒ Ψ
4 Berechne Eigenwertzerlegung: Ψ = T ·Φ · T−1
Eigenwerte: φii = e−jωi ⇒ ωi⇒ θi
Anmerkung: Berechnungsaufwand geringer als bei Algorithmus I (keineMaximumsuche). Dieser Algorithmus ist unter dem Namen ESPRIT(Estimation of Signal Parameters via Rotational Invariant Techniques)bekannt.
Praktisches Signalmodell| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.11
Jetzt kommt Rauschen dazu:
X = S · CT +N
Rauschniveau γ⇒für N → ∞: σ1 ≥ σ2 ≥ · · · ≥ σp > σp+1 = · · · = σL = γfür N groß: σ1 ≥ σ2 ≥ · · · ≥ σp > σp+1 ≈ · · · ≈ σL ≈ γ
Es gibt keine Singulärwerte σi = 0 mehr: σi 6= 0 ∀i→ Schätzung von pAlgorithmus:wie oben, nur (2) p = Anzahl der großen Singulärwerte
Da σi 6= 0 ∀i→ es gibt keine Nullräume mehr→ Schätzung der fundamentalen UnterräumeZR(X) ≈ Signalraum (Vektoren, die zu großen Singulärwerten
gehören)NR(X) ≈ Rauschraum (Vektoren, die zu kleinen Singulärwerten
gehören)ZR(X) ⊥ NR(X) (weiterhin gilt Signalraum⊥ Rauschraum)
M
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.12
Lineares Antennenfeld mit L = 5 Sensoren. p = 2 Signale:θ1 = 20◦ , θ2 = 40◦
SNR = 10 dB, N = 100
Gegeben: X : 100× 5Gesucht: p und θi, i = 1, . . . , pBerechnung: X = UΣVT V : 5× 5
σ(X) = [25, 38 19, 92︸ ︷︷ ︸ 3, 38 3, 17 2, 79︸ ︷︷ ︸][v1 v2
]Signalraum
[v3 v4 v5
]Rauschraum
dim[Signalraum]= 2⇒ p = 2.
Beispiel: Algorithmus I| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.13
Bestimme P(θ) = n||cH(θ)[v3 v4 v5]||2 mit c
H(θ) = [1 e−jω e−j2ω e−j3ω e−j4ω ],wo-
beiω = ω0
∆c sin θ
5 10 15 20 25 30 35 40 45 500
1000
2000
3000
4000
5000
6000
7000
θ
P(θ
)
Beispiel: Algorithmus II| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.14
VSignalraum = [v1 v2] =
−0.3671− 0.0000i 0.5921− 0.0000i−0.0099 + 0.5036i 0.0128− 0.3117i
0.5584 + 0.0109i 0.0399− 0.0088i0.0133− 0.4699i 0.0204− 0.3632i−0.2799− 0.0175i −0.6443− 0.0543i
(3) Löse LS Problem: min
Ψ||J1 · VSignalraum ·Ψ− J2 · VSignalraum||F
⇒ Ψ =
[0.0104− 0.8682i 0.0282− 0.6283i0.0029 + 0.3338i 0.0413− 0.9205i
]
(4) Eigenwerte von Ψ: λ1 = e−jω1 = −0.4317− 0.9018i,λ2 = e−jω2 = 0.4835− 0.8870i
Mit θi = arcsin(
cωiω0∆
): θ1 = 19.9463,
θ2 = 39.9504
M
Anmerkung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.15
Die Verfahren lassen sich auch für die Autokorrelationsmatrizen der Datenangeben, wobei die SWZ von X durch die EWZ der entsprechendenAutokorrelationsmatrix A ersetzt wird (vgl. Zusammenhang:Singulärwertzerlegung↔ Eigenwertzerlegung)
A = XTX = VΣT UTU︸︷︷︸I
ΣVT = VΣ2VT
XTX = A = QΛQT
Q = Vλi = σ2
i ∀ i
Anstatt Singulärwertzerlegung von X (Schritt 1): Schätzung derAutokorrelationsmatrix A = 1
NXTX und Berechnung der
Eigenwertzerlegung von A.Weitere Anwendung: Die Identifikation eines unbekannten Systems durchsein Zustandsraummodell kann ebenfalls mit den hier vorgestelltenKonzepten (QRZ, SWZ, Schiebeinvarianz) durchgeführt werden (nächstesKapitel 5.4).
| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.0
5.4 Systemidentifikation und Zustandsraummodell
Zustandsraummodell| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.1
unbekanntes
System
A, B, C,D
u(n)
m-dim
y(n)
l-dim
Modell:T−1Tx[n + 1]
k×1= T−1 A
k×kTx[n] + T−1 B
k×mu[n]m×1
y[n]l×1
= Cl×k
Tx[n] + Dl×m
u[n]
Gegeben: u[n], y[n] n = 1, 2, . . .
E-/A-Verhalten invariant gegen Transformation T:Gesucht:
[AT, BT, CT, D
]=[T−1AT, T−1B, CT, D
]Z
Kombinierte Gleichungen| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.2
Wiederholtes Einsetzen der Zustandsgleichung in Ausgangsgleichung:
y[n + i− 1] =Cx[n + i− 1] + Du[n + i− 1]=CAx[n + i− 2] + CBu[n + i− 2] + Du[n + i− 1]
=CA2x[n + i− 3] + CABu[n + i− 3] + CBu[n + i− 2] + Du[n + i− 1]
=CA3x[n + i− 4] + CA2Bu[n + i− 4] + CABu[n + i− 3] ++CBu[n + i− 2] + Du[n + i− 1]
...=CAi−1x[n] + CAi−2Bu[n] + CAi−3Bu[n + 1] + . . .
+CBu[n + i− 2] + Du[n + i− 1]
Matrixdarstellung| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.3
Diese Gleichung läßt sich über mehrere Zeitpunkte folgendermaßendarstellen:
Y = M · X+H · U,wobei: X = [x[n] x[n + 1] . . . x[n + N− 1]] : k×N
M =
CCACA2
...CAi−1
: li× k H =
D 0CB DCAB CB D...
.... . .
CAi−2B CAi−3B . . . . . . D
: li×mi
Y =
y[n] y[n + 1] . . . y[n + N− 1]
y[n + 1] y[n + 2] . . . y[n + N]...
.... . .
...y[n + i− 1] y[n + i] . . . y[n + N + i− 2]
: li×N
U = [genau wie Y nur u[n] statt y[n]] : mi×N
Identifikationsalgorithmus I| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.4
Mit N � max(li, mi), i > k
1 Bilde S = [UT YT]
2 Berechne QRZ von S:
S = [UT YT] = Q ·[R0
]= Q
mi li R11 R120 R220 0
mi
li
N−(mi+li)
3 Berechne SWZ von R22 (li× li):
R22 = UΣVT =↑
σk�σk+1
[U1U2] ·k li−k[
ΣSΣR
] [VT
SVT
R
]k
li−k
Identifikationsalgorithmus II| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.5
4 Schiebeinvarianz vonM überträgt sich auf Signalraum von VS (li× k).Mit V(1)S = VS(1 : l(i− 1), :) und V(2)S = VS(l + 1 : li, :) ergibt sich:
minAT||V(1)S AT − V(2)S ||F
woraus man AT erhält. Ferner gilt:
CT = VS(1 : l, :)
5 BT und DT lassen sich ebenfalls aus den berechneten Größen durchLösungen von Gleichungssystemen bestimmen (hier nicht weiterausgeführt, da komplexe Nomenklatur erforderlich, aber prinzipielleinfach).
Beispiel I| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.6
Das Zustandsraummodell eines unbekannten Systems sei
x[n + 1] = Ax[n] + Bu[n]y[n] = Cx[n] + Du[n] ,
wobei
A =
0.8 0 00 0.5 0.60 −0.6 0.5
B =
111
C =
[1 1 1
]D = [1]
Offensichtlich gilt k = 3, m = 1 und l = 1. Eingangssignal:u[n] = sign(w[n]) ∈ {−1,+1}, wobei w[n] Gauss’sches weißes Rauschenist. Messung am Ausgang des Systems liefert: y[n] = y[n] + v[n], wobei v[n]Gauss’sches weißes Rauschen mit SNR = 10dB.
Beispiel II| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.7
Wir wählen i = 5 (groß genug um i > k zu erfüllen) und N = 200.Aus dem Eingangssignal u[n] und dem gemessenen Ausgangssignal y[n]lassen sich U:5× 200 und Y:5× 200 bilden.
1) Bilde S =[UT YT
]: 200× 10
2) QRZ von S liefert:
S = [UT YT] = Q ·[R0
]= Q
5 5 R11 R120 R220 0
5
5
190
Beispiel III| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.8
3) SWZ von R22: 5× 5 liefert die Singulärwerte
σ(R22) = [54.5224 , 19.3371 , 14.8940 , 4.7064 , 4.6391]
und die rechtsseitigen Singulärvektoren
V =
0.8674 −0.2522 0.3016... −0.1582 −0.2608
0.4722 0.4888 −0.3020... 0.1664 0.6475
0.0673 0.6987 −0.0563... 0.2459 −0.6660
−0.1188 0.4522 0.4641... −0.7370 0.1511
−0.0776 0.0686 0.7741... 0.5862 0.2152
.
R22 besitzt drei große Singulärwerte:⇒ k = 3VS = [v1 v2 v3] VR = [v4 v5]
Beispiel IV| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.9
Gleichungssysteme aufstellen und lösen liefert:
AT =
0.4379 0.7893 −0.4045−0.2002 0.5537 0.7718
0.1393 −0.1876 0.8096
BT =
3.63510.2646−0.0588
CT =
[0.8674 −0.2522 0.3016
]DT = [1.0869]
Vergleich: ursprüngliches System↔ identifiziertes System
i λi(A) λi(AT)1 0.8 0.81272 0.5 + j0.6 0.4943+j0.59733 0.5− j0.6 0.4943-j0.5973
Beispiel V| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.10
Ausgangssignal des ursprünglichen (durchgezogene Linie) und desidentifizierten Systems (gestrichelte Linie).
50 100 150 200-8
-6
-4
-2
0
2
4
6
8
10
n
Aus
gang
ssig
naly
[n]
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 6.0.0
5 Prinzipielle Komponenten Analyse und AnwendungenFundamentale Unterräume einer MatrixPrinzipielle Komponenten einer MatrixParameterschätzung basierend auf SWZ/EWZSystemidentifikation und Zustandsraummodell
6 Wahrscheinlichkeit, Zufallsvariablen und stochastische ProzesseWahrscheinlichkeitsrechnungZufallsvariableZufallsvektorenStochastische Prozesse
7 Informationstheorie und CodierungGrundlagen der InformationstheorieQuellencodierungKanalkapazität und KanalcodierungstheoremGrundlagen des Rechnens auf endlichen KörpernErzeugung von KanalcodesHamming CodesBCH CodesRS Codes
Deterministische/ stochastische Signale| DT/IPLDT/IPLDT/IPL | TGIT | 6.0.1
Zeit-diskretes deterministisches Signal: Werte-kontinuierlicheSignalwerte x(n) lassen sich für jeden Zeitpunkt n ∆t genau angeben(Funktion der Zeit: x(n) = x(n∆t) = sin(2πfn∆t)).
Zeit-diskretes stochastisches Signal: Werte-kontinuierliche Signalwertex(n) lassen sich nicht für jeden Zeitpunkt n genau angeben, aberbestimmte Werte (z.B. Mittelwert von x(n)) gehen gegen einen konstantenWert, wenn Anzahl der Versuche (Messungen)→ ∞. Ferner bleibt dieserWert unverändert, wenn nur eine Untermenge der Signalwerte betrachtetwird (z.B. jeder 4. Abtastwert). Z
Digitales stochastisches Signal: Quantisierte (werte-diskrete) Signalwertetreten zufällig auf und weisenHäufigkeits-/Wahrscheinlichkeitsverteilungen auf (z.B. ein Signal mit 8Quantisierungsstufen/Amplitudenwerten, bei dem die 8 Werte gleichhäufig auftauchen, entspricht einem fairen Würfel mit 8 Seiten).
| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.0
6.1 Wahrscheinlichkeitsrechnung
Nomenklatur in der Wahrscheinlichkeitsrechnung| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.1
• Grundmenge: Φ = {ϕ1, ϕ2, . . . , ϕn} |Φ| = n Ereignismenge
z.B. Würfel: ΦW = {1, 2, 3, 4, 5, 6}, |ΦW | = 6Münze: ΦM = {K, Z}, |ΦM| = 2Messungen: Φx = {xq}
(Menge der möglichen quantisierten Werte)
• Untermenge:A = {ϕk1, ϕk2, . . . , ϕkm} ⊂ Φ; ki ∈ {1, 2, . . . , |Φ|} EreignisA = {2, 4, 6} ⊂ ΦW
Das Ergebnis eines Versuchs ist ein elementares Ereignis ϕi:• A = Φ tritt bei jedem Versuch ein;A = ∅ tritt nie ein• A und B sind disjunkte Ereignisse, falls ϕi ∈ A ⇒ ϕi 6∈ B• A ∪ B tritt ein, falls ϕi ∈ A oder ϕi ∈ B oder ϕi ∈ A ∪ B• A ∩ B tritt ein, falls ϕi ∈ A und ϕi ∈ B
Komplementäres Ereignis A:A∪ A = Φ, A∩ A = ∅
Die Axiome der Wahrscheinlichkeitsrechnung| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.2
Jedem EreignisA wird ein Wert P(A) (Wahrscheinlichkeit des EreignissesA) zugeordnet, so dass
(I) P(A) ≥ 0(II) P(Φ) = 1(III) P(A∪ B) = P(A) + P(B) fallsA∩ B = ∅
(IIIa) P(A1 ∪A2 ∪ . . . ) = P(A1) + P(A2) + . . . fallsAi : disjunkte Mengen
Axiome: Alle Herleitungen basieren nur auf den Axiomen (siehe AnhangFolie 10.0.1)z. B. : P(A∪ B) = P(A) + P(B)− P(A∩ B) ≤ P(A) + P(B)Bew.:A∪ B = A∪ (A ∩ B) (III)⇒ P(A∪ B) = P(A) + P(A ∩ B) (1)
B = (A∩ B) ∪ (A ∩ B) (III)⇒ P(B) = P(A∩ B) + P(A ∩ B) (2)(1)− (2) : P(A∪ B)− P(B) = P(A)− P(A∩ B) �
Definition eines Experiments| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.3
• EndlicheMenge: |Φ| = N < ∞
P(ϕi) = pi für i ∈ {1, 2, . . . , N} Axiome⇒ pi ≥ 0;N
∑i=1
pi = 1
SeiA = {ϕk1, ϕk2, . . . , ϕkr} für ki ∈ {1, 2, . . . , N} dann gilt wegen
A =r⋃
i=1
{ϕki} und {ϕki} ∩ {ϕkj} = ∅ ∀ i, j:
P(A) = P(ϕk1) + · · ·+ P(ϕkr) = pk1 + · · ·+ pkr
• UnendlicheMenge: |Φ| = ∞ (z.B. reelle ZahlenA = {x|x1 ≤ x ≤ x2})
P(x1 ≤ x ≤ x2)P(x ≤ x1)
x1 x2 x
P(x ≤ x1) + P(x1 ≤ x ≤ x2) = P(x ≤ x2) (III)
Beispiele| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.4
1 Fairer Würfel: Φ = {1, 2, 3, 4, 5, 6}, pi =1N = 1
6 ∀ i⇒ P(A) = rN
2 Faire Münze: Φ = {K, Z}, wobei P({K}) = P({Z}) = 12
3 Würfe: Φ = {KKK, KKZ, KZK, KZZ, ZKK, ZKZ, ZZK, ZZZ}P({ϕi}) = pi =
18 ∀ i
Wie groß ist die Wahrscheinlichkeit für das Ereignis:A = {KZZ, ZZZ} (Zahl bei den letzten beiden Würfen)P(A) = P({KZZ}) + P({ZZZ}) = p4 + p8 = 1
8 + 18 = 1
4
3 Abtastwerte eines Signals (siehe Folie 2.1.7)Φ = {−1.4 − 1.2 − 1.0 − 0.8 . . . − 0.2 0.0 + 0.2 . . . + 0.8 + 1.0 + 1.2 + 1.4}P({ϕi}) = { 1
21[
1 0 2 2 3 0 0 0 6 2 2 1 1 0 1]}
Anmerkung: Unendliche Ereignismengen (|Φ| = ∞) tretten bei digitalen(zeit-, wertediskreten) Signalen und Systemen nicht auf.
Bedingte Wahrscheinlichkeit| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.5
Die bedingte Wahrscheinlichkeit des EreignissesA unter der Annahme,dass das EreignisM eingetreten ist, ist
P(A|M) =P(A∩M)
P(M)(P(M) 6= 0) (1)
• WennA ⊂M⇒ A∩M = A ⇒ P(A|M) = P(A)P(M)
≥ P(A)• WennM⊂ A ⇒ A∩M =M⇒ P(A|M) = P(M)
P(M)= 1
Anmerkung: Für bedingte Wahrscheinlichkeiten gelten ebenfalls dieAxiome.
Beispiel: Fairer Würfel: Φ = {1, 2, 3, 4, 5, 6}mit P(ϕi) =16
Wahrscheinlichkeit von ϕ2 = 2 unter der Bedingung, dass gerader Wurfeingetreten ist:
A = {2}; M = {2, 4, 6}
Es gilt P(A) = 16 und P(M) = 3
6 . WegenA ⊂M gilt: P(A|M) =P(A)P(M)
=13
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.6
Schachtel mit 3 weißen und 2 roten Kugeln.Experiment: Ziehe zwei Kugeln hintereinander.Gesucht: Wahrscheinlichkeit für 1. Kugel weiß und 2. Kugel rot
w1w2w2w1w3w1r1w1r2w1
w1w3w2w3w3w2r1w2r2w2
w1r1w2r1w3r1r1w3r2w3
w1r2w2r2w3r2r1r2r2r1} |Φ| = 5 · 4 = 20
Φ = {A =W1∩R2
a)
b) EreignisseW1 = {weiße Kugel im 1. Zug},R2 = {rote Kugel im 2. Zug}.Weiße Kugel gezogen (im ersten Zug); es verbleiben zwei weiße und zweirote Kugeln.
P(W1) =Anzahl weiße Kugeln
Anzahl Kugeln=
35
; P(R2|W1) =Anzahl rote KugelnAnzahl Kugeln
=24
DaW1 ∩R2 = R2 ∩W1 ist, gilt:
P(W1 ∩R2) = P(R2 ∩W1)(1)= P(R2|W1) · P(W1) =
24 · 3
5 = 620
Unabhängigkeit| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.7
Zwei EreignisseA und B sind unabhängig, falls
P(A∩ B) = P(A) · P(B)
Verallgemeinerung: n EreignisseAi sind unabhängig, falls
P(A1 ∩ · · · ∩ An) =n
∏i=1
P(Ai)
für jede mögliche Kombination derA1, . . . ,An.Vergleiche Beispiel: Ziehen von Kugeln.
P(W1 ∩R2) =6206= P(W1) · P(R2) =
35· 2
5=
625
Die beiden Ereignisse sind abhängig, da zweiter Zug vom Ergebnis desersten Zuges abhängt
| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.0
6.2 Zufallsvariable
Definition einer Zufallsvariable (ZV)| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.1
Eine Zufallsvariable (ZV) x erhält man, wenn jedem elementaren Ereignisϕk ∈ Φ eine Zahl x(ϕk) zugeordnet wird. Die Abbildungsmenge X seiX = {x1, . . . , xN} =
⋃k
x(ϕk).
Mit xi = x(ϕi) gilt:
(I) {xj ≤ x(ϕk) ≤ xi} ⊂ X definiert ein EreignisA = {ϕk|xj ≤ x(ϕk) ≤ xi} für alle xi ∈ X
(II) |Φ| = |X| = N
Φ
ϕ1
ϕ
ϕΝ
k
x x jx i x k x N1
Α
Bemerkung: Bei einer komplexen ZV z = x + jy sind der Realteil x und derImaginärteil y jeweils reelle ZV.
Z
Beispiele: ZV| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.2
a) Würfelexperiment: Φ = {1, 2, 3, 4, 5, 6} 10
a1) x(ϕi) = i, X = Φ, {2 ≤ x(ϕi) ≤ 3} = {2, 3} ⇒ A = {2, 3}a2) x(ϕi) = i2, X = {1, 4, 9, 16, 25, 36}, {2 ≤ x(ϕi) ≤ 10} = {4, 9}⇒wie a1)
b) Münzwurf: Φ = {ϕ1, ϕ2} = {K, Z},
x(ϕi) =
{+1 für i = 1 (K)−1 für i = 2 (Z) X = {+1, −1, }
c) Gauss’sches weißes Rauschen: (zeit-diskrete Abtastwerte x(n))
Quantisierung: x(ϕi) = xi =
−3.0 für x(n) < −2.75−2.5 für − 2.75 ≥ x(n) < −2.25
...+3.0 für x(n) ≥ +2.75
X = {−3.0,−2.5,−2.0, . . . ,−0.5, 0.0,+0.5, . . . ,+2.0,+2.5,+3.0}
10000 Abtastwerte x(n): {+1.6589,+0.7058,−0.1041,−1.0279,+2.0692, . . .}10000 Ereignisse xi: {+1.5,+0.5,−0.0,−1.0,+2.0, . . .}
Wahrscheinlichkeitsdichtefunktion (WDF)| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.3
p(xi) = P({ϕk|x(ϕk) = xi})⇒WDF: p(x) =∞
∑i=−∞
p(xi) δ(x− xi)
a) p(xi) =16 ∀ i
16
1 2 3 4 5 6 xi
p(xi)a1)16
p(xi)a2)
1 4 xi3625169
b) p(xi) =12 ∀ i c)
p(xi)
1
1/2
-1 xi −3 −2 −1 0 1 2 30
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0.18
x
Wahrs
chein
lichkeitsdic
hte
Wahrscheinlichkeitsverteilungsfunktion (WVF)| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.4
f (xi) = P({ϕk|x(ϕk) ≤ xi}) =i
∑k=1
p(xk)
Eigenschaften:1 Es gilt f (−∞) = 0 und f (+∞) = 12 Falls xs < xt, dann f (xs) ≤ f (xt) (monoton steigende Sequenz)3 P({x(ϕk) = xi}) = p(xi) = f (xi)− f (xi−1)
1 2 3 4 5 6 xi
16
1 F(xi)a1)
1
16
1 F(xi)a2)
4 xi3616 259
F(xi)
xi-1 1
12
1
b)
−3 −2 −1 0 1 2 30
0.2
0.4
0.6
0.8
1
x
Wah
rsch
einl
ichk
eits
verte
ilung
Mittelwert und Varianz| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.5
Mit x = [x(ϕ1), . . . , x(ϕN)]T = [x1 . . . xN]
T
und p = [p(x1), . . . , p(xN)]T = [p1 . . . pN]
T
gilt für den Mittelwert der ZV x(ϕi) folgende Gleichung:
ηx = E[x(ϕ)
]= xTp =
N
∑i=1
pi xi
und die Varianz ergibt sich mit v = [(x1 − ηx)2 . . . (xN − ηx)2]T zu:
σ2x = E
[(x(ϕ)− ηx)
2] = vTp =N
∑i=1
pi(xi − ηx)2
Beispiele| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.6
a1) x = [1 2 3 4 5 6]T,p = 16 [1 1 1 1 1 1]T, ηx = xT · p = 3.5
v = 14 [25 9 1 1 9 25]T, σx =
√vT · p = 1.7078
a2) x = [1 4 9 16 25 36]T,p = 16 [1 1 1 1 1 1]T, ηx = xT · p = 91
6 = 15.1667v = 1
36 [7225 4489 1369 25 3481 15625]T, σx =√vT · p = 12.2122
b) x = [−1 + 1]T,p = 12 [1 1]T, ηx = xT · p = 0
v = [1 1]T, σx =√vT · p = 1
c) x = [−3 − 2.5 − 2 − 1.5 − 1 − 0.5 ± 0 + 0.5 + 1 + 1.5 + 2 + 2.5 + 3]T,p = [0.003 0.009 0.029 0.065 0.116 0.174 0.201 0.177 0.120 . . .]T
ηx = xT · p = 0.0019(≈ 0.0 nur 10000 Werte im Experiment)v = [9.00 6.25 4.00 2.25 1.00 0.25 0.00 0.25 1.00 2.25 4.00 6.25 9.00]T,σx =
√vT · p = 1.0081(≈ 1.0)
d) Berechne ηx, σx für Signal von Folie 2.1.7.
| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.0
6.3 Zufallsvektoren
Zweidimensionale Zufallsvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.1
Zwei Zufallsvariablen: x(θi), θi ∈ Θ, |Θ| = M undy(ψj), ψj ∈ Ψ, |Ψ| = N.
Zwei Abbildungsmengen: X = {x1 . . . xM} =⋃
i x(θi) undY = {y1 . . . yN} =
⋃j y(ψj).
Verbundverteilung:Mit Φ = Θ×Ψ = {(θi, ψj) ∀ i, j}, |Φ| = M ·N gilt:
p(xi, yj) = P({θi|x(θi) = xi} ∩ {ψj|y(ψj) = yj}
)∀ i, j
Es gilt:• ∑
i,jp(xi, yj) = 1
• f (xm, yn) = P({θi|x(θi) ≤ xm} ∩ {ψj|y(ψj) ≤ yn}
)=
m
∑i=1
n
∑j=1
p(xi, yj)
• P = [p(xi, yj)]M×N F = [f (xm, yn)]M×N
Beispiel I: Würfel undMünze| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.2
10
Münze: Θ = {θ1, θ2}, |θ| = 2Würfel: Ψ = {ψ1, ψ2, . . . , ψ6}, |ψ| = 6
ZV1: x(θi) =
{+1 for i = 1−1 for i = 2; X = {+1 − 1}
ZV2: y(ψj) = j for j = 1, 2, . . . , 6; Y = {1 2 3 4 5 6}
Verbundverteilungen:Mit Φ = Θ×Ψ = {(θi, ψj) ∀ i, j}, |Φ| = 2 · 6 = 12 gilt:
p(xi, yj) = P({θi|x(θi) = xi} ∩ {ψj|y(ψj) = yj}
)=
112
P =112
[1 1 1 1 1 11 1 1 1 1 1
]F =
112
[1 2 3 4 5 62 4 6 8 10 12
]
Beispiel II: Gauss’sches weißes Rauschen 2D| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.3
P und F sind 13× 13 Matrizen (hier graphische Darstellung derMatrixelemente)
P F
−3−2
−10
12
3
−3
−2
−1
0
1
2
3
0
0.005
0.01
0.015
0.02
0.025
0.03
0.035
xy
Wahrs
chein
lichkeitsdic
hte
−3−2
−10
12
3
−3−2
−10
12
30
0.2
0.4
0.6
0.8
1
xy
Wah
rsch
einl
ichk
eits
verte
ilung
M
Verbundwahrscheinlichkeit und bedingte Wahrscheinlichkeit| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.4
Gegeben seien zwei ZV x und y mit Verbundverteilung P = [p(xi, yj)]M×N.Daraus lassen sich die folgenden Verteilungen bestimmen:
p(xi) =N
∑j=1
p(xi, yj) und p(yj) =M
∑i=1
p(xi, yj)
Ferner gilt (vgl. Folie 6.1.5):
p(xi, yj) = p(xi ∩ yj) = p(xi) · p(yj|xi) ⇒ p(yj|xi) =p(xi, yj)
p(xi)
p(xi, yj) = p(yj ∩ xi) = p(yj) · p(xi|yj) ⇒ p(xi|yj) =p(xi, yj)
p(yj)
Das folgende Beispiel zeigt die Berechnungen dieser Verteilungen auseiner gegebenen Verbundverteilung P = [p(xi, yj)]4×4.
Beispiel: Berechnung| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.5
yj p(xi) p(yj|xi)p(xi, yj) 0 1 2 3 0 1 2 3 ∑
0 1/8 1/16 1/16 1/4 1/2 1/4 1/8 1/8 1/2 1xi 1 1/16 1/8 1/16 0 1/4 1/4 1/2 1/4 0 1
2 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 13 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 1
p(yj) 1/4 1/4 1/4 1/4 ∑ = 10 1/2 1/4 1/4 1
p(xi|yj) 1 1/4 1/2 1/4 02 1/8 1/8 1/4 03 1/8 1/8 1/4 0∑ 1 1 1 1
Wahrscheinlichkeiten bei Übertragungssystem| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.6
Eingangssignal x(n) liefert Zufallsvariable x mit X = {x1, . . . , xM}Ausgangssignal y(n) liefert Zufallsvariable y mit Y = {y1, . . . , yN}• p(xi): Wahrscheinlichkeitsverteilung der Eingangsdaten.• p(yj): Wahrscheinlichkeitsverteilung der Ausgangsdaten.• p(xi, yj): Verbundverteilung, d.h. Wahrscheinlichkeit, dass yjempfangen wurde und xi gesendet wurde.• p(yj|xi): Wahrscheinlichkeit, dass yj empfangen wird, unter derBedingung, dass xi gesendet wurde.• p(xi|yj): Wahrscheinlichkeit, dass xi gesendet wurde, unter derBedingung, dass yj empfangen wurde.
Beispiel:Alphabet des Senders: X = {00, 01, 10, 11}, (Signal mit 4 Quantisierungsstufen)Alphabet des Empfängers: Y = {00, 01, 10, 11}
Korrelation und Kovarianz| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.7
Korrelation:rxy = E{x y} = ∑
i,jxi yj pij = xT · P · y
Kovarianz:cxy = rxy − ηx · ηy ; ηx = E{x}, ηy = E{y}
Zwei ZV x und y sind unkorreliert, falls
cxy = 0 ; E{xy} = E{x} · E{y}
Zwei ZV x und y sind orthogonal, falls
rxy = E{xy} = 0 x⊥y
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.8
• Würfel/Münze x = [+1 − 1]; y = [1 2 3 4 5 6]T; ηx = 0; ηy = 3.5;P = [pij]2×6 mit pij =
112
rxy = xTPy = 0
• Zwei Würfel: x = y = [1 2 3 4 5 6]T; ηx = ηy = 3.5;P = [pij]6×6 mit pij =
136
rxy = xTPy = 12.25 6= 0cxy = rxy − ηx · ηy = rxy − (3.5)2 = 0
• x = y = [−3 − 2.5 − 2 − 1.5 − 1 − 0.5 0 + 0.5 + 1 + 1.5 + 2 + 2.5 + 3]T;ηx = ηy = 0; PMatrix gemäß Folie 6.3.3rxy = xTPy = 0
M
Mehrdimensionale Zufallsvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.9
n Zufallsvariablen xi = xi(ϕk), i = 1, . . . , n⇒ x = [x1 x2 . . . xn]T
Interesse an gegenseitigen Abhängigkeiten (Korrelationen)
Korrelationsmatrix: Rn = [rij] rij = E{xi xj} = xTi Pijxj
Kovarianzmatrix: Cn = [cij] cij = rij − ηi · ηj
Mit x = [x1 x2 . . . xn]T gilt:
Rn = E{x xT} =
E{x1 x1} E{x1 x2} · · · E{x1 xn}E{x2 x1} E{x2 x2} · · · E{x2 xn}
......
. . ....
E{xn x1} E{xn x2} · · · E{xn xn}
Bem.: Für komplexe ZV gilt: rij = E{xi x∗j }
cij = rij − ηiη∗j
Rn = E{x xH}
| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.0
6.4 Stochastische Prozesse
Definition eines stochastischen Prozesses| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.1
Ein stochastischer Prozess ist eine zeitabhängige Zufallsvariable, wobeifür jeden Zeitpunkt 0 ≤ n ≤ N− 1 eine Zufallsvariable x(n, ϕk) existiert,wobei ϕk ∈ Φ (Φ Menge der möglichen Quantisierungsstufen). Wir nehmenan das ∞-viele Realisierungen (z.B. Messungen eines Signals) desProzesses existieren.
Wir können vier Bedeutungen unterscheiden:• ϕk und n sind variabel. x(n, ϕk) ist ein stochastischer Prozess (eineSchar von Mustersignalen).• ϕk ist fest und n ist variabel. Wir erhalten eine Realisierung desstochastischen Prozesses, d.h. ein (ganz normales) digitales Signalx(n), wobei die Werte von x(n) ∈ Φ• ϕk ∈ Φ ist variable und n ist fest. Für den Zeitpunkt n stellt x(n) eineZV dar.• Für ein festes n und festes ϕk ist x(n, ϕk) ein (ganz gewöhnlicher)Abtastwert.
Realisierungen eines Stochastischen Prozesses| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.2
0 10 20 30 40 50 60 70 80 90 100−4
−2
0
2
4
Realisierung 1
x(n
)
0 10 20 30 40 50 60 70 80 90 100−4
−2
0
2
4
Realisierung 2
x(n
)
0 10 20 30 40 50 60 70 80 90 100−4
−2
0
2
4
Realisierung ∞
x(n
)
...
Stationäre stochastische Prozesse (SSP)| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.3
Für jeden Zeitpunkt n existieren Beschreibungsgrößen (Mittelwert,Varianz) von ZV.Mittelwert: η(n) = E
{x(n)
}Autokorrelation: r(n, k) = E
{x(n)x(k)
}für k = n− l, l = 0, 1, 2, . . .
Autokovarianz: c(n, k) = E{(
x(n)− η(n))(
x(k)− η(k))}
= r(n, k)− η(n)η(k)Ein stochastischer Prozess ist stationär (zeitinvariant), wenn seinestatistischen Eigenschaften invariant bezüglich einer Zeitverschiebungsind, d.h.
η(n) = η ∀ nr(n, k) = r(k) ∀ nc(n, k) = c(k) ∀ n
Bem.:Wahrscheinlichkeitsdichtefunktion 6= f (n)
Bem.: r(0) = E{|x(n)|2
}< ∞ (Quadratischer Mittelwert)
c(0) = E{|x(n)− η|2
}(Varianz)
Beispiel: Autokorrelation| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.4
Gauss’sches weißes Rauschen: η = E{
x(n)}= 0 für n = 0, 1, 2, . . .
r(k) = E{
x(n)x(n− k)}=
{σ2
x für k = 00 sonst
Der Rauschprozess enthält keine Korrelationen zwischen den Daten.
Sprachsignal: Die Abtastwerte eines Sprachsignals weisen Korrelationen auf.Für n = 12880 Abtastwerte eines Gauss’schen weißen Rauschprozesses und einesSprachsignals wurden die Korrelationen mit den benachbarten Werten fürk = −20 . . . + 20 berechnet und in folgenden Abbildungen dargestellt.
−20 −15 −10 −5 0 5 10 15 20−1
−0.8
−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1Autokorrelation: Rauschen
k
r(k)
−20 −15 −10 −5 0 5 10 15 20−1
−0.8
−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1Autokorrelation: Sprachsignal
k
r(k)
Autokorrelationsmatrix eines SSP| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.5
Mit x(n) =[x(0) x(1) . . . x(N− 1)
]T ergibt sich dieAutokorrelationsmatrix A des SSP zu:
A=E{x(n) x(n)T} =
=
E{
x(0) x(0)}
E{
x(0) x(1)}
· · · E{
x(0) x(N− 1)}
E{
x(1) x(0)}
E{
x(1) x(1)}
· · · E{
x(1) x(N− 1)}
......
. . ....
E{
x(N− 1) x(0)}
E{
x(N− 1) x(1)}· · · E
{x(N− 1) x(N− 1)
} =
=
r(0) r(1) r(2) · · · r(N− 1)
r(−1) r(0) r(1) · · · r(N− 2)r(−2) r(−1) r(0) · · · r(N− 3)...
......
. . ....
r(−N + 1) r(−N + 2) r(−N + 3) · · · r(0)
(1)
sym. Toeplitz-Matrix (N×N) T
Schätzung der statistischen Beschreibungsgrößen| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.6
Problem: In der Praxis nur eine Zeitreihe x(n) (eine Realisierung) verfügbar:
⇒ Ensemble Mittelwerte (Mittelwerte über die Realisierungen) werdendurch Zeit Mittelwerte (Mittelwerte über die Abtastwerte) ersetzt.
(z.B. 1000 Realisierungen mit 100 Abtastzeitpunkten werden durch 100000Abtastzeitpunkte einer Realisierung ersetzt) ! SSP !
Annahme: pij = const. ∀ i, j
Mittelwert: η =1N
N−1
∑n=0
x(n)
Autokorrelation: r(k) =1N
N−1
∑n=0
x(n)x(n− k) für−N + 1 ≤ k ≤ N−1Autokovarianz: c(l) = r(l)− η
Schätzung von r(l)mit MVM| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.7
x = [x(N− 1) x(N− 2) . . . x(1) x(0)]T;
r = [r(−N + 1) . . . r(−1) r(0) r(1) . . . r(N− 1)]T
X =
x(0) 0 0 · · · 0x(1) x(0) 0 · · · 0x(2) x(1) x(0) · · · 0...
......
. . ....
x(N− 1) x(N− 2) x(N− 3) · · · x(0)0 x(N− 1) x(N− 2) · · · x(1)0 0 x(N− 1) · · · x(2)...
......
. . ....
0 0 0. . . x(N− 1)
Toeplitz: (N + m− 1)×m
r =1NXx (vgl. Faltung; Folie 3.3.11)
⇒ A gemäß (1) aus r(l) liefert Schätzung für Autokorrelationsmatrix A.Anmerkung: Auch A = 1
NXTX liefert Schätzung (A keine Toeplitz Struktur).
M
Ergodizität| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.8
Schätzung nur sinnvoll, falls die Zeitmittelwerte η, r, c gegen die
Ensemblemittelwerte η, r, c konvergieren.
Theorem (Ergodizität desMittelwerts). Für den mittleren quadratischen
Fehler (Konvergenzkriterium) des Mittelwerts eines ergodischen
stationären stochastischen Prozesses x(n), der asymptotisch unkorreliert
(c(l) = 0 für N → ∞) ist, gilt:
limN→∞
E{|η − η|2} = 0
Anmerkung: Der Beweis ist im Anhang (siehe Folien 10.0.2 und 10.0.3) zu
finden. In ähnlicher Weise lässt sich auch die Ergodizität von
Autokorrelation und Autokovarianz zeigen.
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 7.0.0
5 Prinzipielle Komponenten Analyse und AnwendungenFundamentale Unterräume einer MatrixPrinzipielle Komponenten einer MatrixParameterschätzung basierend auf SWZ/EWZSystemidentifikation und Zustandsraummodell
6 Wahrscheinlichkeit, Zufallsvariablen und stochastische ProzesseWahrscheinlichkeitsrechnungZufallsvariableZufallsvektorenStochastische Prozesse
7 Informationstheorie und CodierungGrundlagen der InformationstheorieQuellencodierungKanalkapazität und KanalcodierungstheoremGrundlagen des Rechnens auf endlichen KörpernErzeugung von KanalcodesHamming CodesBCH CodesRS Codes
Einführung| DT/IPLDT/IPLDT/IPL | TGIT | 7.0.1
Die Informationstheorie liefert die theoretischen Grundlagenzum Entwurf von Codes.Codierung: Abbildung einer Informationsfolge i in ein Codewort c
i = [i0 i1 . . . ik−1]T ∈ Fk → c = [c0 c1 . . . cn−1]
T ∈ Fn
Lineare Codes: i ∈ Fk → c ∈ Fn : c = Gimit G ∈ Fn×k
z. B. F = GF(2) = {0, 1}, für k = 3, n = 5: i = [101]T → c = [10110]T).Coderate: Rc =
kn
• Quellcodierung: Entfernung von Redundanz (n < k,Datenkompression).z. B. MP3, JPEG, MPEG, DivX• Kanalcodierung: Schutz der Daten vor Übertragungsfehlern durchHinzufügen von Redundanz (n > k); erlaubt Erkennung/Korrektur vonFehlern.z. B. Speichermedien (CD, DVD, Festplatte), Mobilfunk (GSM, UMTS),Modem (Standard-, DSL-, Kabelmodem), Rundfunk/Fernsehen (DAB,DVB)
Z
| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.0
7.2 Grundlagen der Informationstheorie
Informationsgehalt und Entropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.1
X = {x1, . . . , xN}: Zeichenvorrat einer diskreten Quelle (Zufallsvariable).p(xi): Auftrittswahrscheinlichkeiten der Zeichen xi.Def.: Der Informationsgehalt eines einzelnen Zeichens xi sei:
I(xi) = log2
(1
p(xi)
)= − log2 (p(xi)) ; (bit/Zeichen)
Def.: Die Entropie H(X) beschreibt den mittleren Informationsgehalt einesZeichenvorrats:
H(X) = ∑xi∈X
p(xi)I(xi) = − ∑xi∈X
p(xi) log2(p(xi))
• H(X) ist eine Funktion, die ausschließlich auf denWahrscheinlichkeiten p(xi) der Zeichen basiert (nicht auf den Wertender Zeichen). !
• H(X) kann auch als der Erwartungswert (Mittelwert) von− log2(p(xi))
betrachtet werden.
Beispiel: Entropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.2
X = {0, 1}mit p(0) = pb und p(1) = 1− pb:H(X) := S(pb) =
= −pb log2(pb)− (1− pb) log2(1− pb)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.2
0.4
0.6
0.8
1
Entropie
pb
S(p
b)
X = {a, b, c, d}mit p(a) = 1/2, p(b) = 1/4, p(c) = p(d) = 1/8:
H(X) = −12
log2(12)− 1
4log2(
14)− 2
18
log2(18) =
74(bits/Zeichen)
Vergleiche: Binärcodierung von 4 Zeichen: a→ 00, b→ 01, c→ 10, d→ 11.Hierbei nehmen wir an, dass
p(a) = p(b) = p(c) = p(d) = 1/4 ⇒ H(X) = 2 (bits/Zeichen)
Verbundentropie und bedingte Entropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.3
Def.: Die Verbundentropie H(X, Y) eines Paares von zweiZeichensätzen/ZVs X und Y mit Verbundverteilung p(xi, yj) ist
H(X, Y) = − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi, yj))
Def.: Die bedingte Entropie H(Y|X), d.h. der mittlere Informationsgehaltvon Y unter der Bedingung, dass die Information von X bekannt ist, ist
H(Y|X) = − ∑xi∈X
p(xi)H(Y|X = xi) =
= − ∑xi∈X
p(xi) ∑yj∈Y
p(yj|xi) log2(p(yj|xi)) =
vgl. Folie (6.3.4) = − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(yj|xi))
Kettenregel der Verbundentropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.4
Theorem: Die Verbundentropie eines Paares von ZVs H(X, Y) ergibt sichaus der Summe der Entropie einer ZV und der bedingten Entropie deranderen ZV.
H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y) (11)
Bew.:H(X, Y) = − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi, yj)) =
vgl. Folie (6.3.4) = − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi)p(yj|xi)) =
= − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi))−∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(yj|xi)) =
= − ∑xi∈X
p(xi) log2(p(xi))− ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(yj|xi)) =
= H(X) + H(Y|X)
Anmerkung: Für unabhängige ZV gilt:p(xi, yj) = p(xi) · p(yj)⇒ H(X, Y) = H(X) + H(Y)
Relative Entropie und Transinformationsgehalt| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.5
Def: Die relative Entropie (Kullback Leibner Distanz) zwischen zweiVerteilungen p(xi) und q(xi) einer ZV X ist:
D(p‖q) = ∑xi∈X
p(xi) log2
(p(xi)
q(xi)
)Anm.: Keine Distanz im Sinne von Folie (2.4.5), da Dreiecksungleichungnicht erfüllt. Man verwendet: 0 log2(
0q ) = 0 und p log2(
p0 ) = ∞.
Def: Der Transinformationsgehalt I(X, Y) ist der mittlereInformationsgehalt, den eine ZV X über die andere ZV Y besitzt:
I(X, Y) = ∑xi∈X
∑yj∈Y
p(xi, yj) log2
(p(xi, yj)
p(xi)p(yj)
)
Anm.: Für unabhängige ZV gilt: p(xi, yj) = p(xi) · p(yj)⇒ I(X, Y) = 0
Zusammenhang: Entropie↔ Transinformationsgehalt| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.6
Wieder durch Anwendung von Folie (6.3.4) ergibt sich:
I(X, Y) = ∑xi∈X
∑yj∈Y
p(xi, yj) log2
(p(xi, yj)
p(xi)p(yj)
)=
= ∑xi∈X
∑yj∈Y
p(xi, yj) log2
(p(yj) · p(xi|yj)
p(xi) · p(yj)
)=
= − ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi)) + ∑xi∈X
∑yj∈Y
p(xi, yj) log2(p(xi|yj)) =
= − ∑xi∈X
p(xi) log2(p(xi))−− ∑
xi∈X∑
yj∈Yp(xi, yj) log2(p(xi|yj))
=
= H(X)−H(X|Y)= H(Y)−H(Y|X) = siehe Gl. (11)
= H(X) + H(Y)−H(X, Y)
Graphische Veranschaulichungen| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.7
Entropien von Infomationsmengen:
I(X,Y)
H(X,Y)
H(Y|X)H(X|Y)
H(X) H(Y)
H(X, Y) = H(X) + H(Y|X)
= H(Y) + H(X|Y)
Entropien bei Übertragungssystem:
H(Y)H(X)
H(X|Y) Verlustentropie
H(Y|X) Fehlinformation
I(X,Y)
Kanal
Äquivokation
Irrelevanz
I(X, Y) = H(X)−H(X|Y)= H(Y)−H(Y|X) =
= H(X) + H(Y)−H(X, Y)
Wiederholung| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.8
(Wiederholung von Folie 6.3.5)
yj p(xi) p(yj|xi)p(xi, yj) 0 1 2 3 0 1 2 3 ∑
0 1/8 1/16 1/16 1/4 1/2 1/4 1/8 1/8 1/2 1xi 1 1/16 1/8 1/16 0 1/4 1/4 1/2 1/4 0 1
2 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 13 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 1
p(yj) 1/4 1/4 1/4 1/4 ∑ = 10 1/2 1/4 1/4 1
p(xi|yj) 1 1/4 1/2 1/4 02 1/8 1/8 1/4 03 1/8 1/8 1/4 0∑ 1 1 1 1
Beispiel: Berechnung der informationstheoretischen Größen| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.9
H(X)=−4
∑i=1
p(xi) log2(p(xi)) = −12
log2
(12
)− 1
4log2
(14
)− 2
18
log2
(18
)=
74
H(Y)= −4
∑j=1
p(yj) log2(p(yj)) = −414
log2
(14
)= 2
H(X, Y)= −4
∑i=1
4
∑j=1
p(xi, yj) log2(p(xi, yj)) =
= −61
16log2
(116
)− 2
18
log2
(18
)− 4
132
log2
(132
)− 1
4log2
(14
)=
278
H(Y|X)= −4
∑i=1
p(xi)H(Y|X = xi) =
=12
H(14
,18
,18
,12) +
14
H(14
,12
,14
, 0) + 218
H(14
,14
,12
, 0) =138
H(X|Y)= −4
∑i=1
p(yj)H(X|Y = yj) =118
I(X, Y)= H(X)−H(X|Y) = 74− 11
8= H(Y)−H(Y|X) = 2− 13
8=
38
| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.0
7.3 Quellencodierung
Codierung von Quellen| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.1
Die N Zeichen einer Quelle definieren eine ZV X, |X| = N. Jedem xi ∈ X mitWahrscheinlichkeit p(xi) wird ein binäres Codewort C(xi) zugeordnet,wobei die jeweilige Codewortlänge `(xi) ist. Diemittlere CodewortlängeL(X) ergibt sich wie folgt:
L(X) = ∑xi∈X
p(xi)`(xi)
Beispiel: Unterschiedliche Codes für englischen Text.
ASCII-Code Morse Code Huffman Codei Zeichen xi p(xi) C(xi) C(xi) C(xi)1 A x1 0.0642 01000001 01 01002 C x2 0.0218 01000011 1010 111113 B x3 0.0127 01000010 1000 0111111...
......
......
......
z. B. für i = 2 gilt: xi ≡ C und `(xi) = 8 (ASCII) , `(xi) = 4 (Morse), `(xi) = 5(Huffman)
Eigenschaften von Quellcodes| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.2
• Der Code C ist nicht-singulär, wenn xi 6= xj ⇒ C(xi) 6= C(xj)
• Die Erweiterung eines Codes C ist: C(x1)C(x2) . . . C(xk) = C(x1x2 . . . xk)z. B. C(x1) = 00; C(x2) = 11;→ C(x1x2) = 0011• Der Code C ist eindeutig decodierbar, falls seine Erweiterung nichtsingulär ist.• Der Code C ist ein Präfix-Code, falls kein Codewort den Beginn einesanderen Codewortes darstellt.
nicht-singulär, eindeutigaber nicht decodierbar,eindeutig aber
xi singulär decodierbar kein Präfix-Code Präfix-Codex1 00 0 10 0x2 01 010 00 10x3 11 01 11 110x4 00 10 110 111
Konstruktion eines Quellcodes| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.3
Die xi ∈ X seien entsprechend ihrer Wahrscheinlichkeiten geordnet, d.h.p(x1) ≥ p(x2) ≥ . . . ≥ p(xN). Daraus ergeben sich die akkumulierten
Wahrscheinlichkeiten Pi =i−1
∑j=1
p(xj). Die Nachkommastellen der
Binärdarstellung von Pi liefern die Codewörter (Präfix Code), wobei dieCodewortlänge folgendermaßen gewählt wird:
12`(xi)
≤ p(xi) <1
2`(xi)−1
Beispiel: N = 5 Zeichen mit Wahrscheinlichkeiten p(xi) gegeben:
xi p(xi) Pi Pi binär `(xi) Codex1 0,33 0,00 0,000000... 2 00x2 0,24 0,33 0,010101... 3 010x3 0,19 0,57 0,100100... 3 100x4 0,15 0,76 0,110000... 3 110x5 0,09 0,91 0,111010... 4 1110
∑ = 1
H(X) =−5
∑i=1
p(xi) log2(p(xi))
= 2.2004
L(X) =5
∑i=1
p(xi)`(xi)
= 2.7600
Quellencodierungstheorem (QCT)| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.4
Theorem: Sei `(xi) die optimale (minimale) Codewortlänge und
L(X) =N
∑i=1
p(xi)`(xi) die entsprechende optimale mittlere Codewortlänge,
dann giltH(X) ≤ L(X) < H(X) + 1
Bew.: 1) Wegen 12`(xi)
≤ p(xi) <1
2`(xi)−1 gilt:
log2(p(xi)) < −(`(xi)− 1) ⇒ `(xi) < 1− log2(p(xi))
Damit gilt für die mittlere Codewortlänge:
L(X) = ∑xi∈X
p(xi)`(xi) < ∑xi∈X
p(xi) (1− log2(p(xi))) =
= − ∑xi∈X
p(xi) log2(p(xi)) + ∑xi∈X
p(xi) =
= H(X) + 1
Beweis QCT: Fortsetzung| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.5
2) Mit log2(s) =ln(s)ln(2) ≤ 1
ln(2) (s− 1) und 12`(xi)
≤ p(xi) ergibt sich:
H(X)− L(X) = − ∑xi∈X
p(xi) log2(p(xi))− ∑xi∈X
p(xi)`(xi) =
= − ∑xi∈X
p(xi) log2(p(xi)) + ∑xi∈X
p(xi) log2
(1
2`(xi)
)=
= ∑xi∈X
p(xi) log2
( 12`(xi)
p(xi)
)≤
≤ 1ln(2) ∑
xi∈Xp(xi)
( 12`(xi)
p(xi)− 1
)=
=1
ln(2) ∑xi∈X
(1
2`(xi)− p(xi)
)≤ 0
Binärbaum| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.6
Der folgende Binärbaum gibt die Codeworte des Beispiels von Folie (7.2.3)wieder.
0 1
0 1 0 1
0 0 0 1
0
x1
x2 x3 x4
x5
Der Code erfüllt das QCT gemäß Konstruktionsvorschrift, d.h.H(X) ≤ L(X) < H(X) + 1 wird erfüllt. Da aber nicht alle Endkonten desBinärbaumes durch gültige Codeworte belegt sind, existiert ein Code mitL∗(X) < L(X).
⇒ Huffman-Code
Codierung von Zeichenketten| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.7
Für Zeichenketten, die sich aus M Einzelzeichen der gleichenZeichenmenge zusammensetzen (X(i) = X ∀i) und bei denen dieEinzelzeichen statistisch unabhängig sind, gilt (vgl. Folie (7.1.4)):
H(X(1), X(2), . . . , X(M)) ≤ L(X(1), X(2), . . . , X(M)) < H(X(1), X(2), . . . , X(M)) + 1
M ·H(X) ≤ M · L(X) < M ·H(X) + 1
H(X) ≤ L(X) < H(X) + 1/M
Je mehr Zeichen zusammengefasst werden, umso näher geht die mittlereCodelänge L(X) an H(X). Dafür nimmt maxi `(xi) zu und es sind mehrCodeworte erforderlich.
| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.0
7.4 Kanalkapazität und Kanalcodierungstheorem
Kanalkapazität| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.1
Def.: Die Kanalkapazität K eines diskreten Kanals ohne Gedächtnis ist derTransinformationsgehalt I(X; Y), der maximal übertragen werden kann.
K = maxp(xi)
I(X, Y) = maxp(xi)
(H(X)−H(Y|X)),
wobei das Maximum über alle möglichen Verteilungen p(xi) gebildet wird.Beispiel: Fehlerfreier Kanal (0 −→ 0 1 −→ 1)
yj p(xi) p(yj|xi)p(xi, yj) 0 1 0 1xi 0 1/2 0 1/2 1 0
1 0 1/2 1/2 0 1p(yj) 1/2 1/2 ∑ = 1
p(xi|yj) 0 1 01 0 1
H(X) = − 12 log2(
12 )− 1
2 log2(12 ) = 1
H(Y) = H(X)H(Y|X) = 1
2 H(1, 0) + 12 H(0, 1)
= −1 log2(1)− 0 log2(0) = 0I(X, Y) = H(X)−H(Y|X) = 1
für p(x1) = p(x2) = 1/2
Beispiel: Binärer symmetrischer Kanal| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.2
x1 = 0
1− pb
pb
pb
1− pb
x2 = 1
y1 = 0
y2 = 1
yj p(xi) p(yj|xi)p(xi, yj) 0 1 0 1xi 0 (1− pb)/2 pb/2 1/2 1− pb pb
1 pb/2 (1− pb)/2 1/2 pb 1− pb
p(yj) 1/2 1/2 ∑ = 1p(xi|yj) 0 1− pb pb
1 pb 1− pb
H(X) = H(Y) = 1
H(Y|X) =12
H(1− pb, pb) +12
H(pb, 1− pb)
= H(pb, 1− pb) = S(pb)
I(X, Y) = H(X)−H(Y|X) = H(X)− S(pb)
K = maxp(xi)
I(X, Y) = 1− S(pb)
für p(x1) = p(x2) = 1/2 0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
Kanalkapazität
pb
K(p
b)
Bitfehlerwahrscheinlichkeit bei einer Übertragung| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.3
pb: Wahrscheinlichkeit, dass ein Bit falsch empfangen wird.n: Anzahl der übertragenen bits.P: Wahrscheinlichkeit, dass f Bits falsch sind (f < n; bestimmte
Fehlerposition)
P = pfb(1− pb)
(n−f )
Pf : Wahrscheinlichkeit, dass f Bits falsch sind (beliebigeFehlerpositionen)
Pf =
(nf
)· P =
(nf
)pf
b(1− pb)(n−f )
z. B. n = 7; pb = 0.01; f = 0, 1, 2
P0 = (1− pb)7 = 0.93207
P1 = 7 · pb(1− pb)6 = 0.06590
P2 = 21 · p2b(1− pb)
5 = 0.00200
Restbitfehlerwahrscheinlichkeit ohne/mit Codierung| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.4
Wenn kf Fehler in einem Codewort der Länge n korrigiert werden können,dann ergibt sich als Restbitfehlerwahrscheinlichkeit prest:
prest =n
∑f=kf +1
Pf = 1−kf
∑f=0
Pf =
= 1−kf
∑f=0
(nf
)pf
b(1− pb)(n−f )
(für n · pb � 1) ≈(
nkf + 1
)p
kf +1b
Beispiel: Code kann kf Fehler korrigieren:
kf = 0 : prest = 1− P0 = 0.06793kf = 1 : prest = 1− (P0 + P1) = 0.00203kf = 2 : prest = 1− (P0 + P1 + P2) = 0.00003
Kanalcodierungstheorem| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.5
Theorem: Für jede Zahl ε > 0 und jede Coderate Rc =kn kleiner als die
Kanalkapazität K (Rc < K) existiert ein binärer Code (n hinreichend groß),so dass die Restbitfehlerwahrscheinlichkeit prest nach der Decodierungkleiner als ε ist (Shannon 1948).Bew. (nur Idee): Für jede typische Eingangssequenz aus X der Länge n(Anzahl 2nH(X)) gibt es≈ 2nH(Y|X) mögliche Ausgangssequenzen aus Y, diealle gleich wahrscheinlich sind. Jede Sequenz aus X muss eine eindeutigzuordenbare Sequenz aus Y erzeugen (sonst ist keine Decodierungmöglich). Die Y-Sequenzen (Anzahl 2nH(Y)) muss in Mengen der Größe2nH(Y|X) aufgeteilt werden; entsprechend der verschiedenen X-Sequenzen.Die Gesamtzahl der unterscheidbaren Mengen ist≤ 2n(H(Y)−H(Y|X)) = 2nI(X,Y), d.h. wir können maximal 2nI(X,Y)
unterscheidbare Sequenzen der Länge n senden. Mit n hinreichend groß,gibt es hinreichend viele unterscheidbare Sequenzen, so dass prest < ε fürε→ 0 erreicht wird (z. B. Wiederholungscode: jedes bit wird n mal gesendetRc =
1n ; Decodierung nach Mehrheitsprinzip).
Kanalcodierung: Wiederholungscode| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.6
Wiederholungscode: 0→ 000 . . . 0 n ungerade1→ 111 . . . 1 Rc =
1n
Decodierung: Mehrheitsentscheidung> (n− 1)/2 Nullen empfangen→ 0;> (n− 1)/2
Einsen empfangen→ 1;d.h. wenn≥ (n + 1)/2 bits falsch empfangen werden, tritt Fehler auf:
Pf =n
∑f=(n+1)/2
(nf
)pf
b(1− pb)(n−f )
Beispiel für pb = 0.1:
0 0.2 0.4 0.6 0.8 110
−8
10−7
10−6
10−5
10−4
10−3
10−2
10−1
Bitfehlerwahrscheinlichkeit und Shannon Limit
Coderate Rc
Pf
n=5
n=3
n=7
Wiederholungscodes
Shannon Limit
bessere codes
Beispiel I: pb = 0.1, Wiederholungscode Rc = 1/3| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.7
Original image (repetition code) Distorted image (repetition code)
Decoded image (majority decision)
Beispiel II: pb = 0.1, Hamming Code Rc = 4/7| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.8
Original image (Hamming code) Distorted image (Hamming code)
Decoded image (Hamming code)
Beispiel III: Vergleich| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.9
Original image
Distorted Image (no coding) Decoded image (repetition code − majority decision) Decoded image (Hamming code)
| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.0
7.1 Grundlagen des Rechens auf endlichen Körpern
Modulorechung| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.1
Seien a, c ∈ Z und b ∈N, d ∈N0 und gelte a = c · b + d, so schreibt man
a ≡ d mod b bzw. a mod b = d , wobei d < b .
Beispiele: 71 ≡ 1 mod 7 , 30 ≡ 6 mod 8 , 30 mod 8 = 625 · 31 ≡ (4 mod 7) · (3 mod 7) ≡ 5 mod 7−13 = −3 · 5 + 2 ≡ 2 mod 5 , −1 = −1 · 2 + 1 ≡ 1 mod 2
Für Polynome: Für a(x) = c(x) · b(x) + d(x) gilt: a(x) ≡ d(x) mod b(x)
Vektoraddition: (a+ c) mod b ergibt sich aus (ai + ci) mod b∀i
Skalarprodukt: aTc mod b = (n
∑i=1
aici) mod b
Endliche Körper| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.2
Ein Körper mit endlich vielen Elementen wird mit GF (Galois Feld)bezeichnet. Sei p ∈N eine Primzahl. Die Menge der Elemente
{0, 1, 2, . . . , p− 1}mit (+, ·) mod pgenügt den Axiomen eines Körpers und wird Primkörper genannt und mitGF(p) bezeichnet.Beweis:(I) GF(p) ist eine kommutative Gruppe bezüglich der Addition modp(II) GF(p) ist eine kommutative Gruppe bezüglich der Multiplikation modp(III) Distributivität: a · (b + c) = a · b + a · c, wobei (+, ·) mod p
Beispiel: GF(5)| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.3
+ 0 1 2 3 40 0 1 2 3 41 1 2 3 4 02 2 3 4 0 13 3 4 0 1 24 4 0 1 2 3
· 0 1 2 3 40 0 0 0 0 01 0 1 2 3 42 0 2 4 1 33 0 3 1 4 24 0 4 3 2 1
• Distributivität gilt allgemein für ganze Zahlen (also auch im endlichenKörper)• Gruppeneigenschaften von (+, ·):
• (+, ·) Abgeschlossenheit und Kommutativität (Symmetrie) aus Tabelle• (+, ·) Assoziativität gilt allgemein für ganze Zahlen• neutrales Element: (+, 0) und (·, 1)• inverses Element: (+, p− a), denn a + p− a = p ≡ 0 mod p• inverses Element: (·1, 1); (·2, 3); (·3, 2); (·4, 4);
Zyklische Körper und primitives Element| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.4
• Ein Körper heißt zyklisch, wenn alle Elemente von GF(p)\{0} durchPotenzen eines Elementes von GF(p) erzeugt werden können.• Primitives Element: Ein Element α ∈ GF(p), dessen p− 1 Potenzen
(αj) mod p, j = 1, 2, . . . , p− 1, genau alle Elemente a ∈ GF(p)\{0}erzeugen.• Jeder endliche Körper GF(p) besitzt mindestens ein primitivesElement.• Die Ordnung eines Elementes a ∈ GF(p)\{0} ist der kleinste Exponent
r > 0, so dass (ar) mod p = 1 gilt. Falls r = p− 1 gilt, ist a = α (primitivesElement).
Anmerkung: - Formal gilt: 0 = α−∞
- Mit a, b ∈ GF(p); α primitives Element:(a · b) mod p = (αi · αj) mod p = α(i+j) mod (p−1)
Beispiel: GF(5)| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.5
Element 2 ist ein primitives Element:
• 21 = 2 ; 22 = 4 ; 23 = 8 ≡ 3 mod 5 ; 24 = 16 ≡ 1 mod 5
• 24 = 16 ≡ 1 mod 5 ⇒ r = 4 = p− 1
• (3 · 4) mod 5 = 12 mod 5 = 2 = (23 · 22) mod 5 = 25 mod 4 = 21 = 2
Element 3 ist ein primitives Element:
• 31 = 3 ; 32 ≡ 4 mod 5 ; 33 ≡ 2 mod 5 ; 34 ≡ 1 mod 5
• 34 ≡ 1 mod 5 ⇒ r = 4 = p− 1
Element 4 hat die Ordnung r = 2⇒ kein primitives Element
• 41 = 4 ; 42 ≡ 1 mod 5 ⇒ r = 2
Anmerkung: Jedes Element von GF(5) kann als Potenz der primitivenElemente 2 oder 3 dargestellt werden.⇒ GF(5) ist zyklisch.
Erweiterungskörper| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.6
Endlicher Körper (Galois-Feld):
a ∈ GF(2) : a ∈ {0, 1}a ∈ GF(8) : a ∈ {0, 1, 2, 3, 4, 5, 6, 7}
Erweiterungskörper ergibt sich z. B. durch binäre Darstellung der Elementevon GF(8):
a ∈ GF(23) : a ∈ {000, 001, 010, 011, 100, 101, 110, 111}
Allgemein: Erweiterungskörper GF(pm), wobei p Primzahl und m ∈N
Nicht-reduzierbare Polynome| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.7
Polynom über GF(p):
q(x) = qmxm + qm−1xm−1 + . . . + q1x + q0 mit qi ∈ GF(p)
Nicht-reduzierbares Polynom: Ein Polynom q(x) über GF(p)mitgrad(q(x)) = m ist nicht-reduzierbar bezüglich GF(p), wenn es nicht alsProdukt von Polynomen f (x)mit grad(f (x)) < m, die ebenfalls Polynomeüber GF(p) sind, dargestellt werden kann. Es existieren pm Polynome f (x)mit grad(f (x)) < m (einschließlich f (x) = 0).
Anmerkung: Seien q1(x), q2(x) nicht-reduzierbare Polynome bzgl. GF(p),dann hat q(x) = q1(x) · q2(x) keine Nullstellen aus GF(p), ist aberreduzierbar⇒ q(x) keine Nullstellen aus GF(p) ist notwendig, aber nichthinreichend.
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.8
q(x) = x4 + x + 1 ist Polynom über GF(2). Es existieren 24 = 16 Polynomef (x) in GF(2)mit grad(f (x)) < 4, nämlich:
0, 1, x, x + 1, x2, x2 + 1, x2 + x, x2 + x + 1, x3, x3 + 1, x3 + x, x3 + x + 1, . . .
. . . , x3 + x2, x3 + x2 + 1, x3 + x2 + x, x3 + x2 + x + 1
Für alle f (x) 6= 0, 1 muss überprüft werden, ob sie q(x) ohne Rest teilen⇒kein f (x) teilt q(x), so dass q(x) nicht-reduzierbar.
Anmerkung: Die Polynome f (x) ergeben sich aus der Dualdarstellung mitxi=2i (z. B. 1011=1 · x3 + 0 · x2 + 1 · x + 1).
Nullstellen eines Polynoms| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.9
Sei q(x)mit grad(q(x)) = m ein nicht-reduzierbares Polynom über GF(p),d.h. q(x) hat keine Nullstellen aus GF(p).Nullstelle von q(x): Ein Element α aus dem Erweiterungskörper GF(pm)
heißt Nullstelle (Wurzel) von q(x), wenn
q(α) = 0 ,
Anmerkung: Obwohl q(x) keine Nullstelle aus GF(p) hat, existiert eineNullstelle aus GF(pm).Vergleiche: x2 + 1 = 0 hat keine Nullstelle aus R, aber x = ±j mitj =√−1 ∈ C ist Nullstelle. x ist Nullstelle im Erweiterungskörper C.
Primitives Element und primitives Polynom| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.10
Sei q(x)mit grad(q(x)) = m ein nicht-reduzierbares Polynom über GF(p).
• Ein Element α ∈ GF(pm) heißt primitives Element desErweiterungskörpers, wenn alle pm − 1 Potenzen (αj) mod q(α),j = 1, 2, . . . , pm − 1 alle Elemente a ∈ GF(pm)\{0} erzeugen.]• Das Polynom q(x) heißt primitiv, wenn es ein primitives Element α alsNullstelle besitzt.
• Nicht jedes nicht-reduzierbare Polynom ist ein primitives Polynom.
• Für jeden Körper GF(p) und jede Zahl m ∈N existiert mindestens einprimitives Polynom q(x) über GF(p)mit grad(q(x)) = m.
Darstellung der Erweiterungskörper| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.11
Es existieren zwei Darstellungsarten für die Elemente einesErweiterungskörpers:
Exponentendarstellung: Jedes Element a ∈ GF(pm)\{0} ist als Potenz desprimitiven Elementes α darstellbar.
Komponentendarstellung: Die Elemente a ∈ GF(pm) werden durch dieKoeffizienten der Polynome f (x) dargestellt (vgl. Beispiel:nichtreduzierbare Polynome).
Anmerkung: Die Dualdarstellung ist lediglich eine verkürzte Schreibweiseder Komponentendarstellung.
Beispiel GF(23)| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.12
nicht-reduzierbares Polynom: q(x) = x3 + x + 1 , qi ∈ GF(2)primitives Element α: q(α) = 0⇔ α3 + α + 1 = 0 ⇒ α3 = α + 1
Exponent Komponenten- Dual- Exponentendarstellungj α2 α1 α0 22 21 20 (αj) mod q(α)−∞ 0 0 0 0 α−∞
0 1 0 0 1 α0
1 α 0 1 0 α1
2 α2 1 0 0 α2
3 α 1 0 1 1 α3 = α + 14 α2 α 1 1 0 α4 = α · α3 = α2 + α
5 α2 α 1 1 1 1 α5 = α2 · α3 = α3 + α2 = α2 + α + 16 α2 1 1 0 1 α6 = α · α5 = α3 + α2 + α = α2 + 17 1 0 0 1 α7 = α · α6 = α3 + α = 1
Alle 23 − 1 Elemente werden mit (αj) mod q(α)erzeugt⇒ q(x) primitives Polynom.
T
| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.0
7.5 Erzeugung von Kanalcodes
HammingMetrik| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.1
Hamming Gewicht des Vektors c ∈ GF(2)n ist die Anzahl der Elemente 6= 0:
wH(c) = cT · 1 mit 1 = [1, . . . , 1]T
Hamming Distanz von ci und cj ist die Anzahl unterschiedlicher Elemente:
dH(ci, cj) = wH((ci + cj) mod 2)
Mindestdistanz ist die minimale Distanz zweier Codewörter des Codes:
d = mini, j
i 6= j
(dH(ci, cj)
) Lineare Codes= min
i, ji 6= j
(wH((ci + cj) mod 2)
)
Anmerkung: c = 0muss Codewort eines linearen Codes sein (ci + ci = 0).
Fehlerkorrektur und Fehlererkennung| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.2
Mit einem Code C(n, k, d) (Codelänge n, Informationslänge k,Mindestdistanz d) können
e′ = d− 1 Fehler erkannt und
e = bd− 12c Fehler korrigiert werden.
Hamming Schranke: Für einen binären Code C(n, k, d)muss gelten:
2k(
1 +(
n1
)+
(n2
)+ . . . +
(ne
))≤ 2n mit e = bd− 1
2c
Der Code C ist perfekt, falls das Gleichheitszeichen gilt.Veranschaulichung: Hamming Schranke beschreibt nicht überlappendeKorrekturkugeln mit möglichst großem Radius; Zuordnung: Mittelpunktder Kugel
Beispiel: Fehlererkennung und Fehlerkorrektur| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.3
R c= R c= R c=
000
110
001
101
111
011
100
010
000
110
001
101
111
011
100
010
000
110
001
101
111
011
100
010
32
1 2/3 1/31= = =d d d
Linker Würfel: bei Einzelfehler (1 Bit falsch) wieder gültiges Codewort⇒ keine Fehler-Erkennung, keine Fehler-Korrektur
Mittlerer Würfel: bei Einzelfehler wird ungültiges Codewort empfangen⇒ 1 Fehler-Erkennung, keine Fehler-Korrektur
Rechter Würfel: bei Einzelfehler hat ungültiges Codewort geringerenAbstand zum richtigen Wort als zum ungültigen Wort⇒ 2 Fehler-Erkennung, 1 Fehler-Korrektur
Beispiel: Wiederholungscode der Länge n| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.4
n ungerade
i = 0 → c0 = 0 (n× 1)i = 1 → c1 = 1 (n× 1)
Rc =kn=
1n
dH(c0, c1) = wH((c0 + c1) mod 2) = wH(c1) = cT1 · 1 = n = d
e′ = d− 1 = n− 1 , e = bd− 12c = bn− 1
2c
Decodierung von Empfangswort r (n× 1): wH(r) > e⇒ i = 1wH(r) < e⇒ i = 0
Für n = 3 gilt: e = 1
Hamming Schranke: 21(
1 + (31))= 21 · 4 = 8 = 2n
⇒ Code ist perfekt
Beispiel: Parity Check Code| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.5
n = k + 1 : ci = ij für j = 0, . . . , k− 1
cn−1 +k−1
∑j=0
ij = 0Rc =
kn=
n− 1n
Für n = 3 gilt (Rc =23 ):
c0 = i0 c1 = i1 c2
0 0 00 1 11 0 11 1 0
Daraus ergibt sich d = 2, e′ = 1 und e = 0⇒ keine Fehlerkorrektur; ungerade Fehleranzahl wird erkannt.Hamming Schranke: 2n−1(1) < 2n⇒ Code ist nicht perfekt.
Prüfmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.6
Der Vektor c ist genau dann ein Codewort, wenn gilt
H · c = 0
H heißt Prüfmatrix (Parity Check Matrix) und hat Dimension (n− k)× n.
• Der Code C = {c|Hc = 0} ist durch Nullraum von H definiert.
• Anzahl der Zeilen von H= Anzahl der Prüfstellen.
• Damit H einen Code mit Mindestdistanz d definiert, muss gelten:• beliebige d− 1 Spalten von H sind linear unabhängig.• es existieren d Spalten von H, deren Linearkombination= 0 ist.
Beispiel: Prüfmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.7
Parity Check Code: n− k = 1,
H =[
1 1 · · · 1]
(1× n)
Wiederholungscode: k = 1, so dass n− k = n− 1
H =
1 11 1...
. . .
1 1
((n− 1)× n)
Darstellung ist systematisch (Definition, siehe nächste Folie).
Systematische Codierung| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.8
Die Informationszeichen sind unverändert ein Teil des Codewortes, z. B.
i ∈ GF(2)k → c ∈ GF(2)n mit ci = ii für i = 0, . . . , k− 1
Die Prüfmatrix hat dann die Form:
H =[A
... I(n−k)×(n−k)
]Anmerkung: Durch Linearkombination der Zeilen von H kann diesystematische Form immer erreicht werden (jedoch I verteilt auf beliebigeSpalten muss zulässig sein).
Syndrom| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.9
Das Syndrom s (Symptome für Fehler) wird definiert durch dieMultiplikation der Prüfmatrix mit dem empfangenen Wort r = c+ f, wobeic ∈ C und f Fehler:
s = H · r = H · (c+ f) = H · f
Anmerkung: s ist nur von f nicht von c abhängig (H · c = 0).
Generatormatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.10
Die Generatormatrix G der Dimension n× k (n > k) beschreibt dieAbbildung der Informationsfolge i in die Codeworte c:
c = Gi
• Alle Codeworte sind Linearkombinationen der Spalten von G.
• Spaltenraum von G bildet die Basis für den Code:
- Spaltentausch→ selber Code→ Abbildung unterschiedlich.
- Zeilentausch→ äquivalenter Code (andere Codeworte).
Bestimmung der Generatormatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.11
Annahme: systematische Codedarstellung: c0 = i0, c1 = i1, . . . , ck−1 = ik−1
H · c =[A
... I(n−k)×(n−k)
]· c = 0
A ·
c0...
ck−1
+ I(n−k)×(n−k) ·
ck...
cn−1
= 0
ck...
cn−1
= −A ·
c0...
ck−1
= −A ·
i0...
ik−1
c =
Ik×k
−A
· i = G · i
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.12
Parity Check Code: n− k = 1
H =[
1 1 · · · 1 1]⇒ G =
11
. . .
1−1 −1 · · · −1
=
11
. . .
11 1 · · · 1
Wiederholungscode: k = 1, so dass n− k = n− 1
H =
1 11 1...
. . .
1 1
⇒ G =
1−1−1...−1
=
111...1
| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.0
7.6 Hamming Codes
Definition von Hamming Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.1
Die Prüfmatrix H eines Hamming Codes besteht aus den 2h − 1 Spalten, diegenau alle Vektoren aus GF(2)h - ohne den Nullvektor - sind. Damitergeben sich folgende Parameter des Hamming Codes C(n, k, d):
n = 2h − 1 , k = n− h , d = 3
Beweis: n und k aus Dimension von H ablesen. d− 1 = 2 beliebige Spaltenvon H sind linear unabhängig. Es existieren d = 3 Spalten derenLinearkombination= 0.Anmerkung: Hamming Codes sind perfekt, da mit e = b d−1
2 c = 1 gilt:
2k(
1 +(
n1
))= 2k(1 + n) = 2k(1 + 2h − 1) = 2k+h = 2n
Beispiel: Hamming Code für h = 3| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.2
n = 2h − 1 = 7 , k = n− h = 4 ⇒ Prüfmatrix: H ((n− k)× n = 3× 7)
H = [h1, . . . ,h7] =
0 0 0 1 1 1 10 1 1 0 0 1 11 0 1 0 1 0 1
d = 3: - beliebige zwei Spalten linear unabhängig (keine identischen Spalten)
- h1 + h2 + h3 = 0: d = 3 Spalten, deren Linearkombination= 0
⇒ H ist Prüfmatrix von Hamming Code C(7, 4, 3)Code ist perfekt:
24(
1 +(
71
))= 24(1 + 7) = 24 · 23 = 27
c = [1 1 1 0 0 0 0]T ist ein Codewort, da Hc = 0
Beispiel: Decodierung des Hamming Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.3
Annahme: Fehler bei der Übertragung von c = [1 1 1 0 0 0 0]T.Es sei ein Fehler an der 6. Stelle aufgetreten, d.h. das empfangeneWort ist:
r = c+ f = [1 1 1 0 0 1 0]T
mit f = [0 0 0 0 0 1 0]T.Berechnung des Syndroms:
s = Hr = h1 + h2 + h3 + h6 = h6 =
110
⇒ Decodiervorschrift: Syndrom gibt Fehlerstelle in binärer Darstellung an.
Systematische Darstellung und Generatormatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.4
Durch Linearkombination der Zeilen von H lässt sich die systematischeDarstellung der Prüfmatrix bestimmen(I + II→ I , I + III→ II , I + II + III→ III):
H =
0 0 0 1 1 1 10 1 1 0 0 1 11 0 1 0 1 0 1
⇒ H =
0 1 1 1
... 1 0 0
1 0 1 1... 0 1 0
1 1 0 1... 0 0 1
=
[A... I3×3
]
Daraus ergibt sich die Generatormatrix für C(7, 4, 3):
G =
I4×4
−A
=
11
11
0 −1 −1 −1−1 0 −1 −1−1 −1 0 −1
=
11
11
0 1 1 11 0 1 11 1 0 1
| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.0
7.7 BCH Codes(Bose, Ray-Chandhuri, Hocquenghem)
Generatorpolynom zyklischer Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.1
Für zyklische Codes (BCH Codes, auch Reed-Solomon Codes) lässt sich dieAbbildung c = Gi durch die Multiplikation zweier Polynome darstellen.
c = G · i = c(x) = g(x) · i(x)
mit
c = [c0 c1 . . . cn−1]T = c(x) = c0x0 + c1x1 + . . . + cn−1xn−1
g = [g0 g1 . . . gn−k]T = g(x) = g0x0 + g1x1 + . . . + gn−kxn−k
i = [i0 i1 . . . ik−1]T = i(x) = i0x0 + i1x1 + . . . + ik−1xk−1
wobei cj, gj, ij ∈ GF(p).G ist eine n× k Faltungsmatrix mit erster Spalteg1 = [g0 g1 . . . gn−k 0 . . . 0]T.
Kreisteilungsklassen| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.2
Die Kreisteilungsklassen Ki bezüglich einer Zahl n = qm − 1 sind:
Ki = {(i · qj) mod n , j = 0, 1, . . . , m− 1} ,
wobei i das kleinste Element der Menge Ki ist (q = pl , l > 0 auch möglich).Kreisteilungsklassen haben folgende Eigenschaften:
|Ki| ≤ m
K0 = {0}Ki ∩ Kj = ∅ für i 6= j⋃
i
Ki = {0, 1, . . . , n− 1}
Wenn n eine Primzahl ist, sind alle Ki, i > 0, gleich mächtig.
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.3
Kreisteilungsklassen bezüglich der Zahl n = 15.
n = 15 = 24 − 1 , p = 2 , q = 21
K0 = {0} K1 = {1, 2, 4, 8}K3 = {3, 6, 9, 12} K5 = {5, 10}K7 = {7, 11, 13, 14}
Kreisteilungsklassen bezüglich der Zahl n = 7 (Primzahl).
n = 7 = 23 − 1 , p = 2 , q = 21
K0 = {0}K1 = {1, 2, 4}K3 = {3, 6, 5}
Nicht-reduz. Polynome aus Kreisteilungsklassen| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.4
Sei Ki eine Kreisteilungsklasse bezüglich der Zahl n = pm − 1 und α einprimitives Element von GF(pm), so ist das minimale Polynom mi(x):
mi(x) = ∏j∈Ki
(x− αj)
nicht-reduzierbar über GF(p) und hat nur Koeffizienten aus GF(p).
Beweis: Es gilt (mi(x))p = mi(xp), da αipl, l = 0, 1, 2, . . . die Elemente der
Kreisteilungsklasse durchläuft. Damit gilt für die Koeffizienten:(mij)
p = mij, was nur für mij ∈ GF(p) erfüllt werden kann. Da mi(x) nurNullstellen aus GF(pm) besitzt und gemäß Definition genau aus einerKreisteilungsklasse entstanden ist, ist es auch nicht-reduzierbar.
Definition eines BCH Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.5
Seien Ki die Kreisteilungsklassen der Zahl n = 2m − 1, sei α ein primitivesElement von GF(2m) und seiM die Vereinigungsmenge von beliebig vielenKreisteilungsklassen. Ein primitiver BCH Code hat die Länge n = 2m − 1und das Generatorpolynom
g(x) = ∏i∈M
(x− αi)
mit gi ∈ GF(2). Die geplante Mindestdistanz ist δ, falls δ− 1aufeinanderfolgende Zahlen inM existieren. Für die tatsächlicheMindestdistanz d gilt: d ≥ δ. Ferner gilt: k = n− |M|.
Beispiel: Ein-fehlerkorrigierender BCH Code (n = 7)| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.6
Kreisteilungsklassen für n = 7 = 23 − 1: K0 = {0}, K1 = {1, 2, 4},K3 = {3, 6, 5}.
e = b d−12 c = 1 ⇒ d ≥ 3 ⇒
δ− 1 = 2 aufeinanderfolgende Zahlen inM nötig.
Es genügt alsoM = K1 = {1, 2, 4} zu wählen, so dass k = 7− |M| = 4. Mitα primitives Element von GF(23) (siehe Tabelle Folie 7.4.12) gilt:
g(x) = m1(x) = ∏i∈M
(x− αi)
= (x− α)(x− α2)(x− α4) = (x2 − (α + α2)x + α3)(x− α4)
= x3 − (α + α2)x2 + α3x− α4x2 + α4(α + α2)x− α7
x2 : α + α2 + α4 = α + α2 + α + α2 = 2α + 2α2 = 0x1 : α3 + α5 + α6 = α + 1 + α2 + α + 1 + α2 + 1 = 2α2 + 2α + 3 = 1x0 : α7 = 1
g(x) = 1 + x + x3
Beispiel: BCH Codierung| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.7
k = 4: Codierung von i = [1 0 0 1]T = i(x) = 1 + x3
Polynommultiplikation:
c(x) = g(x)i(x) = (1 + x + x3)(1 + x3) =
= 1 + x + 2x3 + x4 + x6 =
= 1 + x + x4 + x6 ⇒ c = [1 1 0 0 1 0 1]T
Matrixmultiplikation (Faltung) g1 = [1 1 0 1 0 0 0]T:
c = Gi =
1 0 0 01 1 0 00 1 1 01 0 1 10 1 0 10 0 1 00 0 0 1
1001
=
1100101
| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.0
7.8 RS Codes(Reed, Solomon)
Grundlagen von RS Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.1
Fundamentalsatz der Algebra gilt auch im GF(p): Ein PolynomC(x) = C0 + C1x + C2x2 + . . . + Ck−1xk−1 vom Grad k− 1 mit KoeffizientenCi ∈ GF(p) hat höchstens k− 1 verschiedene Nullstellen αj ∈ GF(p). T
Gewicht eines Vektors c: Gegeben seien n ≤ p− 1 von Null verschiedeneunterschiedliche Elemente (a0, a1, . . . , an−1) von GF(p) und ein Polynom C(x)vom Grad k− 1 ≤ n− d mit Koeffizienten aus GF(p), dann gilt das Gewichteines Vektors c = [c0 c1 . . . cn−1]
T mit ci = C(ai) , i = 0, 1, . . . , n− 1 ist:
wH(c) ≥ d
Beweis: Gemäß Fundamentalsatz hat C(x) höchstens k− 1 Nullstellen,d.h. c hat mindestens n− k + 1 ≥ d von Null verschiedene Stellen.�
⇒ Vektoren cmit wH(c) ≥ d, d.h. mit vorgegebenemMinimalgewicht/Mindestdistanz.
Definition von RS Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.2
Sei α ∈ GF(p) ein Element der Ordnung n, so ist ein RS Code der Länge ndefiniert durch die Menge der Polynome C(x) vom Grad kleiner k:C(x) = C0 + C1x + C2x2 + . . . + Ck−1xk−1, Ci ∈ GF(p), k ≤ n. Die Codewörterc = [c0 c1 . . . cn−1]
T werden durch die Beziehung ci = C(αi) gebildet:
C(n, k, d) = {c | ci = C(αi) , i = 0, 1, . . . , n− 1 , grad(C(x)) < k}
Die Mindestdistanz ist d = n− k + 1.Das Generatorpolynom eines RS Codes ergibt sich aus:
g(x) =n−1
∏i=k
(x− α−i) =n−k
∏i=1
(x− αi)
Beispiel: Konstruktion eines RS Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.3
Konstruktion eines RS Codes C(6, 2, d) im GF(7).Mindestdistanz: d = n− k + 1 = 5Wir benötigen ein Element der Ordnung n = 6: α = 5, Überprüfung: 51 = 5,52 = (25) mod 7 = 4, 53 = 5 · 52 = 5 · 4 = (20) mod 7 = 6, 54 = (30) mod 7 = 2,55 = (10) mod 7 = 3, 56 = (15) mod 7 = 1. Die Codewörter c = [c0 . . . c5]
T
ergeben sich aus ci = C(αi), wobei C(x) = C0 + C1x (grad(C(x)) < k) mitC0, C1 ∈ GF(7), d.h. es gibt pk = 72 = 49 verschiedene C(x) und somit 49Codewörter, z. B. das Codewort zu C(x) = 5 + 3x:
c0 = C(α0) = C(1) = 5 + 3 ≡ 1 mod 7
c1 = C(α1) = C(5) = 5 + 3 · 5 ≡ 6 mod 7
c2 = C(α2) = C(4) = 5 + 3 · 4 ≡ 3 mod 7
c3 = C(α3) = C(6) = 5 + 3 · 6 ≡ 2 mod 7
c4 = C(α4) = C(2) = 5 + 3 · 2 ≡ 4 mod 7
c5 = C(α5) = C(3) = 5 + 3 · 3 ≡ 0 mod 7
Beispiel: Berechnung des Generatorpolynoms| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.4
g(x) =5
∏i=2
(x− α−i) =
= (x− α−2)(x− α−3)(x− α−4)(x− α−5) = | mod 6 (für Exponent)
= (x− α4)(x− α3)(x− α2)(x− α1) =
= (x2 − (α4 + α3)x + α7)(x2 − (α2 + α)x + α3) =
= (x2 − x + 5)(x2 − 2x + 6) =
= x4 − x3 + 5x2 − 2x3 + 2x2 − 10x + 6x2 − 6x + 30| mod 7 (für Koeffizienten)
= x4 + 4x3 + 6x2 + 5x + 2
Z
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 8.0.0
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.0
8.1 Grundlagen der Vektor/Matrixrechnung
Skalar, Vektor, Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.1
Skalar: c ∈ F (F steht für einen Körper, z. B. R, C )c ist eine reelle Zahl, c ∈ R
c ist eine komplexe Zahl, c ∈ C, c = cR + jcI mit cR, cI ∈ R
c∗ = cR − jcI (konjugiert komplex)
Vektor: Matrix:
x =
x1x2...
xm−1xm
x ∈ Fm , xi ∈ F
X =
x11 x12 . . . x1(n−1) x1nx21 x22 . . . x2(n−1) x2n...
.... . .
......
x(m−1)1 x(m−1)2 . . . x(m−1)(n−1) x(m−1)nxm1 xm2 . . . xm(n−1) xmn
X ∈ Fm×n , xij ∈ F
Transponierte Vektoren undMatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.2
Transponierter/Konjugiert transponierter Vektor:
x ∈ Rm : xT =[
x1 x2 . . . xm−1 xm]
x ∈ Cm : xH =[
x∗1 x∗2 . . . x∗m−1 x∗m]
Transponierte/Konjugiert transponierte Matrix:
X ∈ Rm×n : C = XT ⇒ C ∈ Rn×m, wobei cij = xji
X ∈ Cm×n : C = XH ⇒ C ∈ Cn×m, wobei cij = x∗ji
Geometrische Interpretation| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.3
Darstellung von Vektoren x ∈ Rm im m-dimensionalen Raum
2
2
x
x
x
[2 2 1]
[1 1 2]
1
3
2
T
T
2
2
x
x
1
2
[1 2]
[2 1]
T
T
Matrix X ∈ Fm×n:n m-dimensionale Spalten-Vektoren spannen n-dimensionalen Raum auf (m ≥ n)m n-dimensionale Zeilen-Vektoren spannen n-dimensionalen Raum auf (m ≥ n)
X =
2 12 11 2
∈ R3×2 XT =
[2 2 11 1 2
]∈ R2×3
Z
Linear unabhängige Vektoren| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.4
Die Vektoren v1, v2, . . . , vn sind linear unabhängig, wenn
n
∑i=1
civi = c1v1 + c2v2 + · · ·+ cnvn = 0
nur für ci = 0 ∀ i.
Fallsn
∑i=1
civi = 0 ,
wobei ci 6= 0 , i ∈ {1, . . . , n} ⇒ linear abhängig
Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.5
v1
v2
R2a)v1 =
[42
]v2 =
[ −2−1
]⇒ v1 + 2v2 = 0 , c =
[12
]
R2
v1v2
b)
v1 =
[42
]v2 =
[12
]⇒ c1v1 + c2v2 = 0[
4 12 2
]·[
c1c2
]=
[00
]
A · c = 0 ⇒ c =
[00
]
| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.0
8.2 Matrixrechnung
Inneres und äußeres Produkt| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.1
Gegeben seien zwei Vektoren
aH =[
a∗1 a∗2 . . . a∗n]∈ Fn
bH =[
b∗1 b∗2 . . . b∗n]∈ Fn
Das innere Produkt (Skalarprodukt) ergibt sich zu
aH · b =n
∑i=1
a∗i · bi
Für a ∈ Fm und b ∈ Fn ergibt sich das äußere Produkt zu
a · bH =
a1 · b∗1 a1 · b∗2 . . . a1 · b∗na2 · b∗1 a2 · b∗2 . . . a2 · b∗n...
.... . .
...am · b∗1 am · b∗2 . . . am · b∗n
∈ Fm×n
Skalar-Multiplikation und Addition vonMatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.2
Gegeben seien zwei Skalare c, d ∈ F und zwei Matrizen A,B ∈ Fm×n.Die Matrix Cmit
C = c · A+ d · B
ergibt sich zu C = [cij] ∈ Fm×n mit
cij = c · aij + d · bij
Anmerkung: Die Skalar-Multiplikation und Addition von Vektoren stellteinen Spezialfall dar, wobei gilt: n = 1 bzw. m = 1.
Matrix Multiplikation| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.3
Die Multiplikation zweier Matrizen A ∈ Fm×p und B ∈ Fp×n ergibt:
C = A · B ∈ Fm×n, wobei cij =p
∑k=1
aikbkj
Verschiedene Berechnungsformen:• Innere Produkte:[
1 23 4
]·[
5 67 8
]=
[1 · 5 + 2 · 7 1 · 6 + 2 · 83 · 5 + 4 · 7 3 · 6 + 4 · 8
]• Äußere Produkte:[
1 23 4
]·[
5 67 8
]=
[13
] [5 6
]+
[24
] [7 8
]• Spaltenkombination:[
1 23 4
]·[
5 67 8
]=
[5
[13
]+ 7
[24
]6
[13
]+ 8
[24
] ]
Anschauliche Berechnung| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.4
p
p
m
n
A C
B
Achtung: Spaltenzahl A= Zeilenzahl BSpezialfälle:
• Skalarprodukt: m = 1∧ n = 1• Äußeres Produkt: p = 1• Matrix Vektor Multiplikation: n = 1∨m = 1
BlockMatrix Multiplikation| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.5
A ∈ F(m1+m2)×(p1+p2), B ∈ F(p1+p2)×(n1+n2+n3)
⇒ C = A · B ∈ F(m1+m2)×(n1+n2+n3)
m1
1 2
p2
p1
n1
n2
n3
m2
p p
M N
O P Q
R T
V W
X Y
U
Z
S
LK
A =
= B
= C
Es gilt:U = KO+ LR V = KP+ LS W = KQ+ LT
X = MO+NR Y = MP+NS Z = MQ+NT
| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.0
8.3 Vektorräume und Unterräume
Linearer Vektorraum I| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.1
Ein linearer Vektorraum V besteht aus
1 einer Menge von Vektoren vi ∈ V i = 1, 2, . . .
2 einer Menge von Skalaren ci ∈ F
zusammen mit zwei Operationenα) Vektoraddition+
β) Skalarmultiplikation · ,so dass
Anmerkung: Die Definitionen von algebraischen Strukturen (Gruppe, Körper,Vektorraum, Algebra) ist im Anhang B zusammengefasst.
Linearer Vektorraum II| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.2
1 (V,+) eine kommutative (abelsche) Gruppe ist:1 vi, vj ∈ V ⇒ vi + vj ∈ V (Abgeschlossenheit)2 vi + (vj + vk) = (vi + vj) + vk (Assoziativität)3 v0 + vi = vi (Identität)(v0 = 0)4 vi + (−vi) = v0 (Inverses Element)5 vi + vj = vj + vi (Kommutativität)
2 (V, ·) folgende Bedingungen erfüllt:1 fi ∈ F, vj ∈ V ⇒ fi · vj ∈ V (Abgeschlossenheit)2 fi · (fj · vk) = (fi · fj) · vk (Assoziativität)3 1 · vi = vi (Identität)4 fi · (vj + vk) = fi · vj + fi · vk (Bilinearität)
(fi + fj) · vk = fi · vk + fj · vk
Beispiele für Vektorräume| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.3
• Eine Menge von Vektoren v ∈ Fn ist ein Vektorraum.• Die Menge der Matrizen A ∈ Fm×n ist ein Vektorraum.• Die komplexen Zahlen bilden einen Vektorraum über dem Körper derreellen Zahlen (Basis [1, j]T).• Die Funktionen f (Φ), die auf dem Einheitskreis (0 ≤ φ < 2π) definiertsind, mit
f (Φ) =∞
∑m=−∞
amejmφ
bilden einen Vektorraum.
Unterraum| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.4
Eine Teilmenge V0 des Vektorraums V ist ein Unterraum von V, wenn füralle vi ∈ V0 und ci ∈ F gilt:
vi + vj ∈ V0civi ∈ V0
}⇔ civi + cjvj ∈ V0
v0 = 0 und V heißen uneigentliche Unterräume.Beispiel:
1{v = [v1 v2 v3]
T : v1 = at, v2 = bt, v3 = ct; a, b, c, t ∈ R; a, b, c = konst.}
ist Unterraum von R3. (Gerade durch den Ursprung)2 Die Menge aller rechten oberen DreiecksmatrizenR = [rij] ∈ Rn×n, rij = 0 für i > j ist Unterraum von Rn×n
3 Die Menge alle symmetrischen Matrizen A ∈ Rn×n mit A = AT istUnterraum von Rn×n
Anmerkungen| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.5
• Jeder Unterraummuss immer das Nullelement enthalten (d.h. Gerade,die nicht durch den Ursprung geht ist kein Unterraum).
• Jeder Unterraum V0 von V ist selbst ein linearer Vektorraum.
• Im Folgenden F = R, da sich geometrische Betrachtungen im Körperder reellen Zahlen einfacher veranschaulichen lassen. Diedargestellten Zusammenhänge gelten aber allgemein für beliebigeKörper F.
„Aufspannen“ eines Raumes| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.6
Ein Satz von n linear unabhängigen Vektoren vj ∈ Rm(n ≤ m) spannt einenn−dimensionalen Unterraum V0, des Rm auf.
V0 = span{v1v2 . . . vn} = {n
∑j=1
cjvj, cj ∈ R}
Beispiel:
1
2
3
4
1 2 3 4
12
x
y
v2
v1
z
v1 =
311
v2 =
113
⇒ v1, v2 ∈ R3 Ebene in R3
„Aufspannen“ : Jeder Punkt des Raumes kann durch Linearkombinationder vi erreicht werden.
Spaltenraum einer Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.7
Spaltenraum von X = [x1 x2 . . . xn] ∈ Rm×n (xi ∈ Rm ist i-te Spalte von X):
SR(X) = {y ∈ Rm : y = X · c für c ∈ Rn}
=Menge aller Linearkombinationen der Spalten von X
SR(X) ={ n
∑i=1
ci xi : ci ∈ R}
• SR(X) ist der Raum Rm, falls n = m und xi linear unabhängig.
• SR(X) ist ein r-dimensionaler Unterraum des Rm, falls n = m und nur rVektoren xi linear unabhängig sind.
• SR(X) ist ein n-dimensionaler Unterraum des Rm, falls n < m und xi
linear unabhängig.
• SR(X) ist ein r-dimensionaler Unterraum des Rm, falls n < m und nurr < n Vektoren xi linear unabhängig sind.
Basis und Dimension| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.8
Die Basis eines Vektorraumes V ist ein Satz von Vektoren vi, wobei
1 vi sind linear unabhängig
2 vi spannen den Vektorraum auf
n Vektoren vi ∈ Rm(m ≥ n) sind erforderlich, um Rn aufzuspannen.
v =n
∑i=1
ci vi ∀ v ∈ Rn, wobei die ci eindeutig bestimmt sind.
Die Dimension eines Vektorraums V ist die Anzahl der Vektoren jeder Basisvon V.
Beispiel:R3| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.9
v1 =
311
v2 =
113
v3 =
010
Basis 1
e1 =
100
e2 =
010
e3 =
001
Basis 2
• Zwei Vektoren (z. B. v1, v2) spannen nur Ebene (d.h. R2) auf.• Vektor kann in verschiedenen Basen dargestellt werden.
v = 7e1 + 9e2 + 5e3 = [7 9 5]TBasis 2= 2v1 + 1v2 + 6v3 = [2 1 6]TBasis 1
• Anzahl der Basisvektoren ist für jede Basis gleich: T
dim[v1 v2 v3] = dim[e1 e2 e3] = 3
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.0
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
Menge| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.1
Eine Menge ist eine Ansammlung von n Objekten, die keine zusätzlicheStruktur oder Eigenschaft haben.
Beispiel: Eine Ansammlung von n Bananenn Personenn Punkten
Gruppe| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.2
Eine Gruppe G besteht aus1 einer Menge gi ∈ G i = 1, 2, . . . , n
Zusammen mit einer Operationα) Gruppenmultiplikation ◦,
so dass
1 (G, ◦) folgende Eigenschaften hat:1 gi, gj ∈ G⇒ gi ◦ gj ∈ G (Abgeschlossenheit)2 gi ◦ (gj ◦ gk) = (gi ◦ gj) ◦ gk (Assoziativität)3 g0 ◦ gi = gi (Identität)(g0 = 0)4 gi ◦ gk = g0 (Inverses Element gk = g−1
i )5 gi ◦ gj = gj ◦ gi (kommutative Gruppe)
Beispiel: (R,+), (C,+), (R\{0}, ·), (C\{0}, ·), die nichtsingulären MatrizenA ∈ Rn×n mit Matrixmultiplikation bilden eine Gruppe.
Körper| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.3
Ein Körper K besteht aus1 einer Menge gi ∈ K i = 1, 2, . . . , n
Zusammen mit zwei Operationenα) Addition+
β) Skalarmultiplikation ·,so dass
1 (K,+) eine kommutative Gruppe mit Identität g0 ist.2 (K, ·) folgende Eigenschaften hat:
1 gi, gj ∈ G⇒ gi · gj ∈ G (Abgeschlossenheit)2 gi · (gj · gk) = (gi · gj) · gk (Assoziativität)3 g0 · gi = gi (Identität)(g0 = 1)4 gi · gk = gk · gi = g0 (Inverses Element gk = g−1
i , gi 6= g0)5 gi · (gj + gk) = gi · gj + gi · gk (Distributivität)6 gi · gj = gj · gi (kommutativer Körper)
Beispiel: R, C,
Linearer Vektorraum I| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.4
Ein linearer Vektorraum V besteht aus
1 einer Menge von Vektoren vi ∈ V i = 1, 2, . . .
2 einer Menge von Skalaren ci ∈ F
zusammen mit zwei Operationenα) Vektoraddition+
β) Skalarmultiplikation ·,so dass
Linearer Vektorraum II| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.5
1 (V,+) eine kommutative (abelsche) Gruppe ist:1 vi, vj ∈ V ⇒ vi + vj ∈ V (Abgeschlossenheit)2 vi + (vj + vk) = (vi + vj) + vk (Assoziativität)3 v0 + vi = vi (Identität)(v0 = 0)4 vi + (−vi) = v0 (Inverses Element)5 vi + vj = vj + vi (Kommutativität)
2 (V, ·) folgende Bedingungen erfüllt:1 fi ∈ F, vj ∈ V ⇒ fi · vj ∈ V (Abgeschlossenheit)2 fi · (fj · vk) = (fi · fj) · vk (Assoziativität)3 1 · vi = vi (Identität)4 fi · (vj + vk) = fi · vj + fi · vk (Bilinearität)
(fi + fj) · vk = fi · vk + fj · vk
Beispiele für Vektorräume| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.6
• Eine Menge von Vektoren v ∈ Fn ist ein Vektorraum.• Die Menge der Matrizen A ∈ Fm×n ist ein Vektorraum.• Die komplexen Zahlen bilden einen Vektorraum über dem Körper derreellen Zahlen (Basis [1, j]T).• Die Funktionen f (Φ), die auf dem Einheitskreis (0 ≤ φ < 2π) definiertsind, mit
f (Φ) =∞
∑m=−∞
amejmφ
bilden einen Vektorraum.
Lineare Algebra I| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.7
Eine Lineare Algebra A besteht aus
1 einer Menge von Vektoren vi ∈ V, i = 1, 2, . . .
2 ci ∈ F
zusammen mit drei Operatorenα) Vektoraddition+
β) Skalarmultiplikation ·
γ) Algebraische Multiplikation ∗
so dass
Lineare Algebra II| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.8
1 (A1)-(A5) von V gilt2 (B1)-(B4) von V gilt
(C1) v1, v2 ∈ V ⇒ v1 ∗ v2 ∈ V (Abgeschlossenheit)(C2) v1 ∗ (v2 + v3) = v1 ∗ v2 + v1 ∗ v3 (Bilinearität)
(v1 + v2) ∗ v3 = v1 ∗ v2 + v2 ∗ v3
Es existieren verschiedene Varianten, je nachdem welche zusätzlichenPostulate erfüllt werden
(C3) v1 ∗ (v2 ∗ v3) = (v1 ∗ v2) ∗ v3 (Assoziativität)(C4) v1 ∗ 1 = v1 (Identität)(C5) v1 ∗ v2 = v2 ∗ v1 (Symmetrie)(C6) v1 ∗ v2 = −v2 ∗ v1 (Antisymmetrie)(C7) v1 ∗ (v2 ∗ v3) = (v1 ∗ v2) ∗ v3 + v2 ∗ (v1 ∗ v3) (Ableitung)
[(a · b)′ = a′b + b′a v1 ∗ = ddx ]
Beispiel I| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.9
1 A ∈ Rn×n Vektorraum (s.o.); Standard Matrix-Matrix-Multiplikation
A ∗ B := AB = C : cik =n
∑j=1
aij bjk
(A1)-(A5)|(B1)-(B5) erfüllt, (C1), (C2) erfüllt⇒ lineare Algebraz.B. Identitäten 0,+ 1, · I, ∗(C3) und (C4) sind ebenfalls erfüllt⇒ A ∈ Rn×n assoziative lineareAlgebra mit Identität
2 S ∈ Rn×n, ST = S reelle symmetrische Matrizen(C1) nicht erfüllt
S1 · S2 6= (S1 · S2)T = ST
2 · ST1 = S2 · S1
MMM nicht kommutativ3 Definiere: A ∗ B :≡ AB+ BA (C1),(C2) und (C5)⇒ Lineare Algebra unterSymmetrierung
Beispiel II| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.10
4 Definiere: A ∗ B :≡ AB− BA Antisymmetrie(C1),(C2) ja (C6) ja (C7) ja⇒ Lineare Algebra(C3),(C4),(C5) nein
In der Vorlesung behandeln wir ausschließlich lineare Algebra mit MMMgemäß Beispiel 1).
A ∈ Rm×n kann immer auf quadratische Form gebracht werden(Nullvektoren einfügen).
Kompakte Schreibweise (vgl. Faltung):A ∈ Rm1×n, B ∈ Rn×m2 , AB ∈ Rm1×m2
Überblick: algebraische Strukturen| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.11
Anzahl/Arten Anzahl/Arten von Operationen
von Elementen 0 1 2 3
1 Menge Gruppe Körper
(G,+) oder (G, ·) (K,+, ·)
2 Vektorraum Algebra
(V,+, ·) (A,+, ·, ∗)
Anmerkung: Im Allgemeinen gilt, dass sich in strukturierteren Systemenmehr beweisen lässt. Auf der anderen Seite sind Ergebnisse, die für einweniger strukturiertes System bewiesen werden können, auch in einemhöher strukturierten System gültig.
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.0
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
Herleitungen aus Axiomen| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.1
1 P(∅) = 0A∩∅ = ∅, A∪∅ = AP(A) = P(A∪∅)
(III)= P(A) + P(∅)⇒ P(∅) = 0 �
2 P(A) = 1− P(A) ≤ 1
A∪ A = Φ, A∩ A = ∅⇒ 1 (II)= P(Φ) = P(A∪ A) (III)
= P(A) + P(A) �
3 P(A∪ B) = P(A) + P(B)− P(A∩ B) ≤ P(A) + P(B)A∪ B = A∪ (A ∩ B) (III)⇒ P(A∪ B) = P(A) + P(A ∩ B) (1)
B = (A∩ B) ∪ (A ∩ B) (III)⇒ P(B) = P(A∩ B) + P(A ∩ B) (2)(1)− (2) : P(A∪ B)− P(B) = P(A)− P(A∩ B) �
4 Wenn B ⊂ A, dannA = B ∪ (A∩ B), B ∩ (A∩ B) = ∅(III)⇒ P(A) = P(B) + P(A∩ B) ≥ P(B)
5 A und B sind gleich, falls P(A) = P(B)︸ ︷︷ ︸genügt nicht
= P(A∩ B)
Beweis der Ergodizität desMittelwerts I| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.2
E{|η − η|2} = E{| 1N
N−1
∑n=0
x(n)− η|2} = 1N2 E{|
N−1
∑n=0
(x(n)− η)|2} =
=1
N2 E{N−1
∑n=0
N−1
∑k=0
(x(n)− η)(x(k)− η)∗}
=1
N2
N−1
∑n=0
N−1
∑k=0
E{(x(n)− η)(x(k)− η)∗} = 1N2
N−1
∑n=0
N−1
∑k=0
c(n− k)
k\n 0 1 2 . . . N− 10 0 1 2 . . . N-11 -1 0 1 . . . N-22 -2 -1 0 . . . N-3...
......
.... . .
...N-1 -N+1 -N+2 -N+3 . . . 0
T
Beweis der Ergodizität desMittelwerts I| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.3
Mit l = n− k lässt sich die doppelte Summe über n und k wie folgtvereinfachen:
E{|η − η|2} =1
N2
N−1
∑l=−N+1
(N− |l|)c(l)
=1N
N−1
∑l=−N+1
(1− |l|N)c(l)
Es gilt
limN→∞
1N
N−1
∑l=−N+1
(1− |l|N)c(l) = 0
falls x(n) ein asymptotisch unkorrelierter stochastischer Prozess ist. �
In ähnlicher Weise lässt sich auch die Ergodizität von Autokorrelation undAutokovarianz zeigen.
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 11.0.0
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
Problemstellung: Totale Minimierung| DT/IPLDT/IPLDT/IPL | TGIT | 11.0.1
Für X,E ∈ Rm×n,w ∈ Rn und b,e ∈ Rm löse
(X+ E)w = b+ e
Mit B = [X b], D = [E e] und z =
[w−1
]ergibt sich:
Xw− b+ Ew− e =([X b] + [E e]
)·[
w−1
]= 0(
B + D) · z = 0 (Nullraum)
⇒ TLS Problem: minb+e ∈SR(X+E)
||D||F , wobei ||D||F = (∑i
∑j
d2ij)
12
Lösung von TLS| DT/IPLDT/IPLDT/IPL | TGIT | 11.0.2
Lösung: z ∈ NR(B+ D)
1 Berechne NR(B)mit SVD: B = UΣVT
2 Da NR(B+ D) 6= NR(B) bestimmeM = {σi(B)|σi > σn+1 + ε} ,wobei ε > 0 klein⇒ M = |M| (Anzahl großer Singulärwerte).
3 VNR = [vM+1, . . . , vn+1]
Die letzte Zeile von VNR sei zTv .
Berechne z = zv||zv||2 und y = [y1 . . . yn yn+1]
T = VNR · zEs giltwTLS = − 1
y(n+1) [y1 . . . yn]
Anwendung: Frequenzschätzung und lineare Prädiktion:Bestimme TLS-Lösung von
(X+ E)c = xp + e
Bestimme Px(f ) aus den berechneten Lösungsvektor c (siehe Folie 6.21)
Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 12.0.0
8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume
9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)
10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung
11 Anhang: Total Least Squares (Ergänzung)
12 Anhang: Inverse Matrizen (Ergänzung)
Inversion einer Diagonalmatrix:| DT/IPLDT/IPLDT/IPL | TGIT | 12.0.1
Λ ∈ Fn×n
Λ =
λ1 0 . . . 00 λ2 0...
. . ....
0 0 . . . λn
⇒ Λ−1 =
1
λ10 . . . 0
0 1λ2
0...
. . ....
0 0 . . . 1λn
Σ ∈ Fm×n
Σ =
σ1 0 . . . 00 σ2 0...
. . ....
0 0 . . . σn0 0 . . . 0...
.... . .
...0 0 . . . 0
⇒ Σ# =
1σ1
0 . . . 0 0 . . . 00 1
σ20 0 . . . 0
.... . .
......
. . ....
0 0 . . . 1σn
0 . . . 0
Σ# heißt Pseudoinverse von Σ.
InverseMatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 12.0.2
Mit (M1 ·M2)−1 = M−1
2 ·M−11 ergibt sich aus den Matrixzerlegungen
1 A = YΛY−1 ⇒ A−1 = (Y−1)−1Λ−1Y−1 = YΛ−1Y−1
Bew.: A · A−1 = YΛY−1Y︸ ︷︷ ︸I
Λ−1Y−1 = YΛΛ−1︸ ︷︷ ︸I
Y−1 = YY−1 = I
2 A = QΛQT(A normal)⇒ A−1 = (QT)−1Λ−1Q−1 = QΛ−1QT
Bew.: A · A−1 = QΛQTQ︸︷︷︸I
Λ−1QT = QΛΛ−1︸ ︷︷ ︸I
QT = QQT = I
3 A = UΣVT ⇒ A−1 = (VT)−1Σ−1U−1 = VΣ−1UT
Bew.: AA−1 = UΣ VTV︸︷︷︸I
Σ−1UT = UΣΣ−1︸ ︷︷ ︸I
UT = UUT = I
4 X = UΣVT ⇒Pseudoinverse
X# = (VT)−1Σ#U−1 = VΣ#UT
Bew.: XX# = UΣ VTV︸︷︷︸I
Σ#UT = U ΣΣ#︸︷︷︸I
UT = U[In 00 0
]UT =
[In 00 0
]