Computervisualistik Integration
Dietrich Paulus
Wintersemester 2009/10
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 0-1
CV Integration
Modulverantwortlicher Stefan Muller
Veranstaltung von Stefan Muller und Dietrich Paulus
Beteiligung von Jurgen Ebert, Lutz Priese, Steffen Staab,Karin Harbusch
Veranstaltung im Master Computervisualistik
Anrechenbar im Diplomstudiengang als Veranstaltung der CV
4 ECTS / LP
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 0-2
Gesamtubersicht I
1 Gliederung
2 Einleitung
3 Bildentstehung
4 Licht und Farbe
5 Interpretation von Bildern
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 0-3
Gesamtubersicht II
1 Gliederung1.1 CV Master1.2 Vorlesungen der CG1.3 Vorlesungen der AGAS1.4 Vorlesung CVI1.5 Quellen
2 Einleitung2.1 Unterschiede und Gemeinsamkeiten2.2 Licht und Farbe2.3 Photogrammetrie2.4 Modelle
3 Bildentstehung3.1 Einleitung3.2 Technischer Aufbau3.3 Storquellen
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 0-4
Gesamtubersicht III
3.4 Biologische Bildentstehung3.5 Abtastung3.6 Modelle3.7 Geometrie3.8 Orientierungsverfahren
4 Licht und Farbe4.2 Farbe4.3 Farberaume4.4 Abstande4.5 Kalibrierung4.6 Metamerie4.7 Color Constancy
5 Interpretation von Bildern5.1 Prinzipien5.2 Modelle
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 0-5
Gesamtubersicht IV
5.4 Orientierungsverfahren5.5 Objekterkennung5.6 Semantic Web und Ontologien5.7 Object Models5.8 Model Matching
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 0-6
1: Gliederung 1.1: CV Master
Wahlpflicht Forschungspraktikum,Sem Pflicht Wahlpflicht Wahlpflicht Mathematik / Interdisziplinarer Seminare, Soft ECTS SWS
CV CV Informatik Theoretische Bereich CV SkillsInformatik
Wahlpflicht AsthetikWahlpflicht Mathe / (3 ECTS, 2 SWS)
1. CV-Integration Wahlpflicht CV Informatik Theoretische ProjektmanagementJahr (4 ECTS, 2 SWS) (6 ECTS, 4 SWS) (6 ECTS, 4 Informatik Wahl aus (3 ECTS, 2 SWS) 31 20WS SWS) (6 ECTS, 4 Interdisziplinar
SWS) (3 ECTS, 2 SWS)Bildverarbeitung Team- und
III Fuhrungstraining1. (5 ECTS, 3 SWS) Wahlpflicht CV (3 ECTS, 2 SWS)Jahr (3 ECTS, 2 SWS) Seminar CV 29 18SS Computergraphik III (4 ECTS, 2 SWS)
(5 ECTS, 3 SWS) Forschungspraktiku(9 ECTS, 6 SWS)
Wahlpflicht Elektronische2. Wahlpflicht Mathe / BildbearbeitungJahr Wahlpflicht CV Informatik Theoretische (6 ECTS, 4 SWS) Seminar Informatik 30 19WS (5 ECTS, 3 SWS) (6 ECTS, 4 Informatik Wahl aus (4 ECTS, 2 SWS)
SWS) (6 ECTS, 4 InterdisziplinarSWS) (3 ECTS, 2 SWS)
Masterarbeit 30 20
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.1-1
1: Gliederung 1.2: Vorlesungen der CG
CG
CG1
CG2
AnSim
ARVR
CVI
CG3
PCG
EZR
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.2-1
1: Gliederung 1.3: Vorlesungen der AGAS
1 Bildverarbeitung 1Die Veranstaltung behandelt den Anfang derBildverarbeitungskette: Bildaufnahme, einfach Filter, Punkteund Linien bis hin zu Segmenten. Statistik wird nichtverwendet. Programmier-Ubungen und Programmbeispielewerden in C++ geschrieben.
2 Bildverarbeitung 2Diese Vorlesung baut auf Bildverarbeitung 1 auf, behandeltkomplexere Merkmale und Objekterkennung. Ein bisschenStatistik wird verwendet. Die Programmiersprache ist C++.
3 Bildverarbeitung 3In BV3 geht es erstmals um 3D, Bildfolgen und Bewegung.Programmiersprache ist Matlab/Octave.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.3-1
1: Gliederung 1.3: Vorlesungen der AGAS
4 Medizinische Bildverarbeitung 1 (MI1)Diese Veranstaltung behandelt alles, was mit Rontgen undmedizinischen Videodaten zu tun hat, von Entstehung bis zurInterpretation. Es wird wenig Statistik verwendet und alsProgrammiersprache dient Matlab/Octave.
5 Medizinische Bildverarbeitung 2 (MI2)Die Veranstaltung MedBV2 enthalt im gegensatz zu MedBV1viel Statistik. Programmiersprache ist Matlab/Octave.
6 Pattern RecognitionIn PR gibt es viel StatistikIm Winter 2009/10: Dr. Marcin Grzegorzek
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.3-2
1: Gliederung 1.3: Vorlesungen der AGAS
7 CV-IntegrationCV-I behandelt Themen aus CG und BV und derenGemeinsamkeiten (und Unterschiede).Themen
ProjektionsartenProjektive GeometrieHomogene KoordinatenPlenoptische FunktionFarbraumeMetamerieSensorcharakteristikaRadiometrische Kalibrierung
8 IPCV (Sommerschule, unregelmaßig)
9 Industrielle BildverarbeitungVeranstaltung im Bachelor. Anwendungsorientiert, vieleBeispiele, relativ einfache Algorithmen, SystemeErstmals im Winter 2009/10 durch Yannick Coulier, FhGErlangen, Blockveranstaltung
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.3-3
1: Gliederung 1.3: Vorlesungen der AGAS
10 AMSSLAM, Robotik, Sensoren, Laser, Registrierung, Fusion
11 MTI-KolloquiumMedizinische Themen, nicht nur fur MedizinischeBildverarbeitung interessant.http://www.uni-koblenz.de/MTI/kolloquium
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.3-4
1: Gliederung 1.3: Vorlesungen der AGAS
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.3-5
1: Gliederung 1.3: Vorlesungen der AGAS
BV1
IBV
BV2
BV3
PRC
IPCV
AMS
MI1 MI2
MTI
CVI
AGAS
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.3-6
1: Gliederung 1.3: Vorlesungen der AGAS
Statistics MI2
AMS
PRC
Linear Algebra
BV3
C++ BV1
Octave
MI1
Numerik
Analysis 1 Analysis 2BV2
IBV
IPCV
MTI
CVI
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.3-7
1: Gliederung 1.3: Vorlesungen der AGAS
Vorlesungssprache
The language of science is English
Vorlesungsunterlagen generell auf Englisch1
Ausnahme: CVI – Folien auf Deutsch
Vorlesungen auf Deutsch
Handapperat
Erganzendes Material auf den Webseiten der Veranstaltungen
Evaluation
1Vorlesungsunterlagen sind kein Skript, sondern eine Arbeitserleichterung.Sie ersetzen nicht das Literaturstudium
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.3-8
1: Gliederung 1.3: Vorlesungen der AGAS
Dilbert, 17.09.2009Hier naturlich kein Powerpoint, sondern PDF (aus LATEX) - wassonst
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.3-11
1: Gliederung 1.3: Vorlesungen der AGAS
Sprechstunden
Dietrich Paulus: Mittwoch 13:30-15:00 Uhr(nach Voranmeldung per E-Mail an [email protected])
Detlev Droege
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.3-12
1: Gliederung 1.4: Vorlesung CVI
Inhalt laut Modulhandbuch I
Radiometrische und photometrische Grundlagen
Spektren, XYZ-Farben und V(lambda)-Kurve
Photometrisches Strahlungsaquivalent
Die 5 Großen und ihre Einheiten : Licht und Farbe
Integration von photometrischen Großen in das rgb-System
Photometrische Konsistenz
CCD-Eigenschaften, Kamera-Eigenschaften,High-Dynamic-Range (HDR) Bilder
Tone-Mapping
Rendering Equation
Herleitung der Rendering Equation
Unterschiede zu colorimetrischen Modellen
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.4-1
1: Gliederung 1.4: Vorlesung CVI
Inhalt laut Modulhandbuch II
Materialbeschreibungen
BRDF und ihre Annaherungen
Methoden zur Erstellung und Vermessung
Dreidimensionalitat
3D Rekonstruktion (Rechnersehen)
3D Modellierung (Computergraphik)
Gemeinsamkeiten und Unterschiede (am Beispiel vomMPEG7)
Projektionsmodelle
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.4-2
1: Gliederung 1.4: Vorlesung CVI
Computervisualistik Integration
Computergraphik
DAS BILD
Bildverarbeitung und Bildinterpretation
Gemeinsamkeiten erkennenUnterschiede verstehen
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.4-3
1: Gliederung 1.4: Vorlesung CVI
V0: WS 2007/08: Paulus / Muller und Beitrage von Ebert, PrieseV1: WS 2008/09: Paulus / Muller und Beitrage von Ebert, Staab,Priese, HarbuschV2: WS 2009/10: Paulus / Muller und Beitrage von Ebert, Staab,Priese, HarbuschIm Rahmen dieser Vorlesung werden die Grundlagen undgrundsatzlichen Modelle der Bildentstehung aus Sicht derComputergraphik, der Bildverarbeitung und des Rechnersehensvorgestellt, ganzheitlich betrachtet und gegenubergestellt. DieVeranstaltung wird von 2 Dozenten (je einer aus Bildverarbeitungund Computergraphik) gemeinsam gehalten.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.4-5
1: Gliederung 1.5: Quellen
Der Abschnitt 3.8 basiert auf
Wolfgang Forstner (2000): Moderne Orientierungsverfahren.Photogrammetrie — Fernerkundung — Geoinformation 2000(3): 163 – 176.
Richard Hartley, Andrew Zisserman (2003): Multiple ViewGeometry in Computer Vision – Second Edition. CambridgeUniversity Press, Cambridge, UK.
Texte, Bilder und Formeln zur projektiven Geometrie stammen vonProf. Dr. Helmut Meyer, Universitat der Bundeswehr, MunchenFigure 3.7-4 ist dem Skript von Helmut Meyer entnommen und inder Notation angepasst.Die Texte und Bilder zum Abtasttheorem (Abs. 3.5) zur Codierungund zu Abs. 5.7, 5.8 stammen von Heinrich Niemann (Erlangen)aus den Vorlesung ME1 und ME2. Material hierzu findet sich inseinen Buchern Niemann (1990, 2007)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.5-1
2: Einleitung
Outline
Zusammenfassung 2: Einleitung
In diesem Abschnitt werden eher”philosophische“ Gedanken uber den
Begriff”Bild“ angestellt.
sab2-0
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2-1
2: Einleitung 2.1: Unterschiede und Gemeinsamkeiten
Outline (Subsection Handout)
2: Einleitung
Zusammenfassung 2.1: Unterschiede und Gemeinsamkeiten
In diesem Abschnitt werden die Inhalte der Vorlesung eingefuhrt und
erklart, worum es sich bei den Themen handelt.
sab2-1
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.1-1
2: Einleitung 2.1: Unterschiede und Gemeinsamkeiten
Wer hat recht?
Computergraphik ? (Stefan Muller)
Rechnersehen ? (Dietrich Paulus)
Photogrammetrie ? (Helmut Meyer)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.1-2
2: Einleitung 2.1: Unterschiede und Gemeinsamkeiten
Gibt es nur eine Wahrheit?
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.1-3
2: Einleitung 2.1: Unterschiede und Gemeinsamkeiten
Grundlage der Bildentstehnung und des Bildverstehens
Physik
Anatomie
Physiologie
Psychologie
→ Gesamtprozess individuellNicht allein deswegen: es gibt mehrere gultige Interpretationen
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.1-4
2: Einleitung 2.1: Unterschiede und Gemeinsamkeiten
Ernsthafte Bildverarbeitung muss den Bildentstehungsprozessverstehen und modellieren.Fur das Rechnersehen ist das sogar unerlasslich!
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.1-5
2: Einleitung 2.1: Unterschiede und Gemeinsamkeiten
GraphikBildText Sound
SyntheseText
AnalyseSehen
Figure 2.1-1: Synthese und Analyse
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.1-6
2: Einleitung 2.2: Licht und Farbe
Outline (Subsection Handout)
2: Einleitung
Zusammenfassung 2.2: Licht und Farbe
Licht und Farbe sind die zentralen Thema der Vorlesung.
Licht und Farbe werden in der CG und BV ahnlich betrachtet. Es
geht nun darum, Unterschiede und Gemeinsamkeiten zu klaren, was
Terminologie, Ausschnitt aus der Physik und technische Umsetzung
angeht.
sab2-2
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.2-1
2: Einleitung 2.2: Licht und Farbe
Bild
1 Welt → Sensor → ← Bild2 Welt → Sensor(en) → Computer → Bild3 Weltmodell + Sensormodell → Bild4 Sensormodell ← Bild5 Weltmodell ← Sensormodell + Bild(er)6 Welt + Sensoren → Computer → Bild7 Karte ← Sensormodell + Bild(er)
1: Sensorbilder2: Computed Imaging3: Computergrafik4: Kalibrierung5: Bildanalye6: Visualisierung7: Photogrammetrie
Bilder: Medizinische Bildverarbeitung
a
aQuelle: http://www.givenimaging.com
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.2-2
2: Einleitung 2.2: Licht und Farbe
Licht
Welt Sensor Bild
Licht GeometrieObjekte/Bild Quantisierung Bild/IdeeReflektion Spektrum
Physik Mathematik
Bildanalyse: Bildentstehung in der KameraComputergraphik: Bildentstehung in der Modellkamera, Bild-beobachtung
Beobachtungsmodell (auch erforderlich in der CG!)Aufgaben/Themen fur die Vorlesung
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.2-3
2: Einleitung 2.2: Licht und Farbe
Model
Instanz
beschreibt
Aufbereitung
beobachtet
beobachtet
Medium
Mensch
Sensor
Welt
Beschreibung
BeschreibungBild
Graphik
Analyse
Themen:1 Bildentstehung 2 Licht und Farbe3 Modelle 4 Forschung und Anwendung
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.2-4
2: Einleitung 2.3: Photogrammetrie
Outline (Subsection Handout)
2: Einleitung
Zusammenfassung 2.3: Photogrammetrie
Die Photogrammetrie ist eine Wissenschaft, die CG und BV verwendet.
Hier wird kurz eingefuhrt, um welche Themen sich die Photogramme-
trie kummert.
sab2-3
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.3-1
2: Einleitung 2.3: Photogrammetrie
Bildgroße (Luftaufnahme) 23cm × 23cmAmateurkameras: 24mm × 36mmqc
Helmut Meyer
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.3-2
2: Einleitung 2.3: Photogrammetrie
Definition 2.1
Photogrammetrie Photogrammetrie und Fernerkundung dienen zurberuhrungslosen Erfassung und Vermessung von Objekten mit Hilfevon Bildern. Die fruher eigenstandigen Gebiete
”Photogrammetrie“
mit Schwerpunkt auf geometrischen Fragen und”Fernerkundung“,
die sich vor allem mit der Bildinterpretation befasst, wachsen heuteimmer mehr zusammen. Diese Entwicklung soll durch das ’&’ inPhotogrammetrie & Fernerkundung ausgedruckt werden.
http://www.ipi.uni-hannover.de/52.html
Wesentliche Anwendungsbereiche von Photogrammetrie &
Fernerkundung sind die Erfassung und Aktualisierung topographischer
Daten fur Geo-Informationssysteme (GIS), die Erfassung von
Umweltparametern (z. B. Landbedeckung, Wasserverschmutzung,
Bodenerosion) sowie die 3D-Vermessung von Objekten in Industrie,
Medizin, Architektur, Archaologie und anderen Disziplinen. Der
Zusammenhang von Photogrammetrie & Fernerkundung mit anderen
Bereichen des Vermessungswesens ist in der Graphik verdeutlicht.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.3-3
2: Einleitung 2.4: Modelle
Outline (Subsection Handout)
2: Einleitung
Zusammenfassung 2.4: Modelle
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.4-1
2: Einleitung 2.4: Modelle
Modellebegriff
Physikalische Modelle (implizit)
BildentstehungFarbeReflektion
Szenegraph (explizit, CG)
Objektmodelle (explizit, CG, BV)
Objekterkennung (explizit, BV)
Modellbegriff der Softwartechnik / Semantic Web
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 2.4-2
3: Bildentstehung
Outline
Zusammenfassung 3: Bildentstehung
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3-1
3: Bildentstehung 3.1: Einleitung
Outline (Subsection Handout)
3: Bildentstehung
Zusammenfassung 3.1: Einleitung
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.1-1
3: Bildentstehung 3.1: Einleitung
CG: Hauptsachlich Lichtund MaterialBV: HauptsachlichKamera
Gemeinsamkeiten:
Graphische Modelle (Szenengraph, Semantische Netze)
(NEU) BRDF-Modellierung (Heigl and Niemann (1999); Heiglet al. (1999))
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.1-2
3: Bildentstehung 3.2: Technischer Aufbau
Outline (Subsection Handout)
3: Bildentstehung
Zusammenfassung 3.2: Technischer Aufbau
In diesem Abschnitt werden Kameras erklart
sab3-2
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-1
3: Bildentstehung 3.2: Technischer Aufbau
Beleuchtung
Objektpunkt
in der Szene
xc
y c
zc
Reflektierte Strahlung
Optisches System
Kamera–Koordinatensystemc
Bildpunkt
Bildebene
z
x
(x i, y i
)T
i
Figure 3.2-1: Entstehung zweidimensionaler Bildinformation (nachPosch (1990))
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-2
3: Bildentstehung 3.2: Technischer Aufbau
Videostandards: CCIR (comite consultatif international desradiocommunications), EIA (electronics industriesassociation), digitales Video RS-422Historie: Bildrohrenheute: CCD (charge coupled device) Kamerasheute: CMOS2
Mittels Photodioden: kein Ubersprechen, da das Licht eineKapazitat entladt im Gegensatz zur Akkumulation vonLadung bei einerCCD!außerdem weniger Stromverbrauch, als CCDFullfaktor ca. 50% (Verhaltnis der empfindlichen Flache zurGesamtflache), Verstarker nah am Sensor! Dunkelstrom ca.100pA/cm2 (CCD 5− 10pA/cm2)CCD Chips bestehen aus lichtempfindlichen Elementen,genannt Pixel (picture elements)Auflosung: steigt standig: typischerweise 756× 581 heute biszu 60 Megapixel
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-3
3: Bildentstehung 3.2: Technischer Aufbau
Vorteile gegenuber Rohren: klein, billig, hohe Dynamik, großerlinearer BereichPixel ubertragt Licht (400nm to 1000nm) in Ladung (charge),die gemessen wirdweitere Effekte: thermische Effekte der Rauschen verursachtBelichtung des CCD Chips: elektronischer Shutter
2Fruher: C-MOS hatte starkeres Rauschen als CCD, heute scheint dasbehoben zu sein
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-4
3: Bildentstehung 3.2: Technischer Aufbau
Prinzip der CCD Kamera
memory
process.
videosignal
syncgenerat.
videointegration
control
dx
dy
gerade Zeilen
ungerade Zeilen
Sen
sor
arra
y
Figure 3.2-2: Prinzip der CCD Kamera
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-5
3: Bildentstehung 3.2: Technischer Aufbau
Zwei Bauprinzipien:1 Strahlteilung mittels Prisma, um drei Farbauszuge zu
bekommen, die auf 3 CCD Chips aufgenommen werden
Vorteil: hohrere Auflosung und Qualitataber: teurer, anfalliger gegen mechanische Erschutterungbenotigen spezielle Optik
2 Filter auf dem CCD-Chip fur verschidene Farbauszuge(ahnlich wie das Auge)
Vorteil: billig, keine speziellle Linse erforderlichNachteil: Geringere Auflosung
Farbstandards:
Europa: PAL (phase alternation line) und SECAM(sequential couleur a memoire) basierend auf CCIR
US: RS170, RS170a bekannt als NTSC (national televisionsystem committee)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-6
3: Bildentstehung 3.2: Technischer Aufbau
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
Rot-Pixel: 1
Grun-Pixel: 2
Grun-Pixel: 3
Blau-Pixel: 4
Makro-Pixel
(einfaches Modell)
Figure 3.2-3: Prinzip der 1-Chip CCD FarbkameraWS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-7
3: Bildentstehung 3.2: Technischer Aufbau
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
Figure 3.2-4: Makro-Pixel der 1-Chip CCD Farbkamera
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-8
3: Bildentstehung 3.2: Technischer Aufbau
Typische Probleme des CCD Sensors:
Dunkelstrom unwichtig fur normale Anwendungen; Problemfur Astronomie
Ubersprechen: Nachbarelemente sprechen auch an
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-9
3: Bildentstehung 3.2: Technischer Aufbau
Progressive Scan Cameras
Interlace kann reduziert werden durch
Verwendung nur eines Halbbilds (fields)Tiefpassfilterung und Unterabtastungsehr kurze Belichtungszeit
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-11
3: Bildentstehung 3.2: Technischer Aufbau
Sensor: RechteckCCD (charge-coupled device) odf CMOS (complimentarymetal-oxide semiconductor) Sensoren
integration
control
process.
videosignal
video
dxdy
gerade Zeilen
ungerade Zeilen
Sen
sor
arra
y
Figure 3.2-5: Artefakte durch Bewegung
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-12
3: Bildentstehung 3.2: Technischer Aufbau
Interlace Sensoren:Bild wird in zwei Frames getrennt
gerade Zeilen
ungerade Zeilen
Verdoppelt die Rate fur die menschliche WahrnehmungBewegungsartefakte im Rechnersehen
Progressive scan Ganzes Bild auf einmal
Weiter Probleme:
Quadratische Pixel
Rechteckige Pixel dx × dy
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-13
3: Bildentstehung 3.2: Technischer Aufbau
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
1 2
3 4
Grun: 2 Grun: 3
Blau: 4Rot: 1
LensBeam splitter
CCDs
RGB
CCD
CCDFilter for blue
Electro
nics
Filter for green
Filter for red
Figure 3.2-6: Farbaufnahme mit CCD Sensoren
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-14
3: Bildentstehung 3.2: Technischer Aufbau
Human Perception I
Auge des Menschen / Retina als Ideengeber fur Kamerabau
Linse
Retina
Iris
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-15
3: Bildentstehung 3.3: Storquellen
Outline (Subsection Handout)
3: Bildentstehung
Zusammenfassung 3.3: Storquellen
Bildverarbeitung muss generell damit rechnen, dass Bilder fehlerhaft,
gestort oder ungenau sind. Hierfur wird im Folgenden ein einfaches
Modell angegeben.
sab3-3
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.3-1
3: Bildentstehung 3.3: Storquellen
Storquellen
Blooming
Dunkelstrom (Normalverteilt?)
Photonenrauschen (Poisson-verteilt)
Quantisierungsrauschen
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.3-2
3: Bildentstehung 3.3: Storquellen
Additives Rauschen:
g(t) = f (t) + n(t) . (3.3-1)
Zum Vergleich (hier nicht verwendet)Multiplikatives Rauschen:
g(t) = f (t) · n(t) . (3.3-2)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.3-3
3: Bildentstehung 3.3: Storquellen
Weitere Storquellen
Optik
VerzerrungChromatische Aberration
Elektronik
Ubertragung
Außerdem: prinzipielle Beschrankungen der Physik, z. B. durchWellenlange des Lichts, Lichtgeschwindigkeit, Abtast-Theorem
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.3-4
3: Bildentstehung 3.3: Storquellen
Folge
Bildanalyse muss zurechtkommen mit (d. h., modellieren)
Unsicherheit
Ungenauigkeit
Unwissenheit
Unvollstandigkeit
→ Statistik und Bewertungsmaße
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.3-5
3: Bildentstehung 3.4: Biologische Bildentstehung
Outline (Subsection Handout)
3: Bildentstehung
Zusammenfassung 3.4: Biologische Bildentstehung
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.4-1
3: Bildentstehung 3.4: Biologische Bildentstehung
Cornea
Fovea
Nerven
Retina
Nasale Seite
Optische
Achse
Pupille
Figure 3.4-1: Querschnitt des Auges
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.4-2
3: Bildentstehung 3.4: Biologische Bildentstehung
R−G S−W B−Y
BGR
Photorezeptoren
Figure 3.4-2: Schematische Darstellung der Reizverarbeitung in derNetzhaut entsprechend der Zonentheorie. (Vgl. Lang (1995))
L,M,S Photorezeptoren fur lang-, mittel- und kurzwelligesWS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.4-3
3: Bildentstehung 3.4: Biologische Bildentstehung
Dreikomponententheorie von Helmholtz
Drei verschieden Rezeptoren in der Netzhaut
Erklart additive Farbmischung
Erklart Farbfehlsichtigkeit
Erklart aber andere Aspekte des Farbensehens nicht
Gegenfarbentheorie Hering (1920)
Deutliche Wahrnehmungsunterschiede bunt-unbunt
Als rein empfindet man rot, grun, blau und gelb (Urfarben)
Rot ist nie grunlich oder Gelb blaulich (Gegenfarbenpaare)
Es gibt verschiedene Empfindlichkeiten fur Farbunterschiede
Zonentheorie von Kries (1920)
Kombination beider Theorien
Dreikomponenten auf Ebene der Sehzellen
Gegenfarben auf Ebene der Reizverarbeitung
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.4-4
3: Bildentstehung 3.4: Biologische Bildentstehung
Themen
Retina (→ RGB / Sensorik)
Farbwahrnehmung (→ Farbraume, v(λ))
Nervensystem (→ Vorverarbeitung, Filter)
Gehirn (→ Modelle, Wahrnehmung)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.4-5
3: Bildentstehung 3.5: Abtastung
Outline (Subsection Handout)
3: Bildentstehung
Zusammenfassung 3.5: Abtastung
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-1
3: Bildentstehung 3.5: Abtastung
Abtasttheorem
t
digital analoganalog
MonitorBild-Matrix
Lautsprecher
f
f
Folge v. Abtastwerten
f (x , y)
fi
Mikrophon
fijx
y
t
f (t) f (t)
f (x , y)
Figure 3.5-1: ADDA Wandlung
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-3
3: Bildentstehung 3.5: Abtastung
Eigenschaften der Fouriertransformation:
Ortsbereich Frequenzbereich
Skalierung f (at) 1|a|F ( ξ
a)
Verschiebung f (t − t0) exp(−iξt0)F (ξ)
Symmetrie −1/(2π) · F (t) f (−ξ)
Ableitung dn f (t)/d tn (i ξ)n F (ξ)
Table 3.5-1: Einige Eigenschaften der Fourier-Transformation
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-4
3: Bildentstehung 3.5: Abtastung
3 4 5 6
Wie reprasentiert man Muster der oben gezeigten Art?
3SAR image from http://www.sandia.gov/RADAR/images/dc_big.jpg4Interferometrische Bildauswertung aus Merz et al. (1998)5PET Bild (Centro PET Complutense, Madrid, Spain, freigegeben)6
”Standardbild der Bildverarbeitung“: Lena, Playboy, copyright unklar
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-5
3: Bildentstehung 3.5: Abtastung
Darstellung eines Musters - 2:Ein Muster wurde in Kapitel 1 definiert als Funktion
f(x) =
f1(x1, x2, . . . , xn)f2(x1, x2, . . . , xn)
. . .fm(x1, x2, . . . , xn)
.
Wie kann man eine solche Funktion darstellen?Im Allgemeinen hat eine derartige Funktion einen
kontinuierlichen Wertevorrat fur die x-Werte und einenkontinuierlichen Wertevorrat fur die Amplitudenwerte f ,
d. h. es gibt nicht-abzahlbar unendlich viele Funktionswerte.Ein Digitalrechner kann aber nur
endlich viele Werte speichern,endlich viele bits verarbeiten.
Man muss also die Funktion f(x) durch einen Vektor oder eineZahlenfolge f mit endlich vielen Werten approximieren.Dieses ist der/ein Zweck der Codierung
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-6
3: Bildentstehung 3.5: Abtastung
Codierung:Die Codierung erfolgt, indem man
die Amplituden (oder Funktionswerte) an endlich vielen, (hier:aquidistanten) Stutzstellen misst:Abtastung,
die Funktionswerte mit endlich vielen ganzzahligen Wertendarstellt:Quantisierung.
Aufnahme und Wiedergabe eines Musters
Vorfilterung Abtastung Codierung
SpeicherungUbertragungVerarbeitung
DecodierungNachfilterung
- - -
?
Aufnahmedes Musters
Wiedergabedes Musters
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-7
3: Bildentstehung 3.5: Abtastung
Probleme:1 Wieviele Abtastwerte braucht man?
Oder wie groß soll die Schrittweite bei der Abtastung sein?=⇒ Satz 3.2
2 Wieviele Quantisierungsstufen braucht man fur dieAmplituden?=⇒ Satz 3.3
3 Wie soll man die Quantisierungskennlinie wahlen?=⇒ Satz 3.5
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-8
3: Bildentstehung 3.5: Abtastung
Abtasttheorem — 1:
Definition 3.1
Die Funktion f (x) habe die Fourier Transformierte
F (ξ) =
∫ ∞
−∞f (x)e−iξx dx = FTf (x)
und es gelte
F (ξ) = 0 fur |ξ| > ξ0 = 2πBx .
Dann heißt f (x) bandbegrenzt im Frequenzbereich (−Bx ,Bx).
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-9
3: Bildentstehung 3.5: Abtastung
Theorem 3.2
(Abtasttheorem)Die Funktion f (x) sei bandbegrenzt im Frequenzbereich (−Bx ,Bx).Dann ist f (x) vollstandig bestimmt durch die Abtastwerte
fj = f (j∆x) , j = 0,±1,±2, . . . ,
wenn man als Abstand oder Schrittweite der Abtastwerte
∆x <1
2Bx=
π
ξ0wahlt.
Man kann f (x) aus der Interpolationsformel
f (x) =
∞∑
j=−∞
fjsin[2πBx(x − j∆x)]
2πBx(x − j∆x)
exakt rekonstruieren.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-10
3: Bildentstehung 3.5: Abtastung
Abtasttheorem — Beweis (1):Erinnerung 1: Fourier Transformation (Fourier Integral)
F (ξ) =
∫ ∞
−∞f (x) exp [−iξx ]dx ,
f (x) =1
2π
∫ ∞
−∞F (ξ) exp [iξx ] dξ
Erinnerung 2: Fourier Reihe (Fourier Entwicklung) einer Funktion,die im Intervall (−ξ0, ξ0) periodisch ist.
F (ξ) =
∞∑
j=−∞
aj exp
[i2π
jξ
2ξ0
],
aj =1
2ξ0
∫ ξ0
−ξ0
F (ξ) exp
[−i2π
jξ
2ξ0
]dξ ,
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-11
3: Bildentstehung 3.5: Abtastung
Beweisidee 1:Wir berechnen f (x) aus dem Umkehrintegral der FT.Beweisidee 2:Dabei denken wir uns F (ξ) als eine Periode einer gedanklichperiodisch fortgesetzten Funktionund entwickeln F (ξ) in eine Fourier Reihe.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-12
3: Bildentstehung 3.5: Abtastung
Abtasttheorem — Beweis (2):Da F (ξ) bandbegrenzt im Intervall (−ξ0, ξ0) ist, kann man es indiesem Intervall gemaß
F (ξ) =
∞∑
j=−∞
aj exp
[i2π
jξ
2ξ0
]
in eine Fourier Reihe entwickeln mit den Entwicklungskoeffizienten
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-13
3: Bildentstehung 3.5: Abtastung
aj =1
2ξ0
∫ ξ0
−ξ0
F (ξ) exp
[−i2π
jξ
2ξ0
]dξ
=1
2π
π
ξ0
∫ ξ0
−ξ0
F (ξ) exp
[iξ−jπ
ξ0
]dξ
= f
(−jπ
ξ0
)π
ξ0
= f (−j∆x)∆x
Dabei wurde ∆x = 12Bx
= πξ0
gesetzt.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-14
3: Bildentstehung 3.5: Abtastung
Damit erhalt man fur F (ξ)
F (ξ) =
∞∑
j=−∞
f (−j∆x) exp [ijξ∆x ] ∆x
=∞∑
j=−∞
f (j∆x) exp [−ijξ∆x ]∆x .
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-15
3: Bildentstehung 3.5: Abtastung
Abtasttheorem — Beweis (3):Nun setzen wir den letzten Ausdruck fur F (ξ) in dasUmkehrintegral fur f (x) ein.
f (x) =1
2π
∫ ξ0
−ξ0
∞∑
j=−∞
f (j∆x) exp [−ijξ∆x ]∆x
exp [iξx ] dξ
=1
2π
∞∑
j=−∞
f (j∆x)
∫ ξ0
−ξ0
exp [iξ(x − j∆x)] ∆x dξ
=∞∑
j=−∞
f (j∆x)∆x
2π
[exp [iξ(x − j∆x)]
i(x − j∆x)
]ξ0
−ξ0
=∞∑
j=−∞
f (j∆x)∆x
2π
2 sin(ξ0(x − j∆x))
(x − j∆x).
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-16
3: Bildentstehung 3.5: Abtastung
Beachten wir nun, dass ξ0 = 2πBx , ∆x = 12Bx
und f (j∆x) = fj , sofolgt
f (x) =
∞∑
j=−∞
fjsin[2πBx(x − j∆x)]
2πBx(x − j∆x)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-17
3: Bildentstehung 3.5: Abtastung
Anmerkung:Die exakte Rekonstruktion von f (x) erfordert offenbar dieSchrittweite ∆x = 1/(2Bx ) und eine unendliche Summe vonAbtastwerten.Fur die Approximation zeitlich begrenzter Funktionen mit einerendlichen Summe ist Vorfilterung und ∆x < 1/(2Bx ) sinnvoll.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-18
3: Bildentstehung 3.5: Abtastung
Band– und Zeitbegrenzung:
Theorem 3.3
Es gibt keine Funktion (in L2), die sowohl bandbegrenzt als auchzeitbegrenzt ist (außer der identisch verschwindenden Funktion).
Beweis: s. z. B. R.E.A.C. Paley, N. Wiener: The Fourier Transformin the Complex Domain. American Mathematical Society.Providence RI, 1934
Folge: je schmaler eine Funktion im Zeit/Ortsbereich ist, um sobreiter ist sie im Frequenzbereich (und umgekehrt).
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-19
3: Bildentstehung 3.5: Abtastung
Abtasttheorem — 2:Man braucht einen Kompromiss zwischen
1 Genauigkeit der Darstellung,hohe Genauigkeit, viele Abtastwerte, kleine Schrittweite,
2 Speicherbedarf fur die Darstellung,wenig Speicherbedarf, wenig Abtastwerte, große Schrittweite.
Wir setzen also
f (x , y) → fj ,k
fj ,k = f (x0 + j∆x , y0 + k∆y) (3.5-1)
j = 0, 1, . . . ,Mx − 1 , k = 0, 1, . . . ,My − 1
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-21
3: Bildentstehung 3.5: Abtastung
Ohne Beschrankung der Allgemeinheit setzen wir weiterx0 = y0 = 0 sowie ∆x = ∆y = 1 Einheit.
Dann ist
fj ,k = f (j , k)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-22
3: Bildentstehung 3.5: Abtastung
Abtastung: Es gibt drei regelmaßige Zerlegungen der Ebene.
6?y- x -x
6y
90.....................................................................................................6 - -
x
y
- xbb bb y
60..................................................................6jP TT TT TTTT TT TT TTTT TT TT P TTTT TTTTTTTTTTTT P
m mm mm ml ll ll lj jj jj j
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-23
3: Bildentstehung 3.5: Abtastung
Quantisierungsstufen - 1:
Quantisierung
-
6
r
r
r
r
0
1
2
3
f ′j
fmin fmax
fj -s
- -fj f ′j
6
-j
6
-j
fj f ′j
0
1
2
3
q q q q
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-24
3: Bildentstehung 3.5: Abtastung
Quantisierungsrauschen
nj = fj − f ′j
Signal-zu-Rausch Verhaltnis
r ′ =Ef 2
j En2
j
Annahme: Das Intervall (fmin, fmax) wird mit L = 2B Stufenquantisiert, die durch ganze Zahlen 0, 1, . . . , 2B − 1 gegeben sind.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-25
3: Bildentstehung 3.5: Abtastung
Quantisierungsstufen - 2:
Theorem 3.4
Unter den im Beweis genannten Voraussetzungen und mit
r = 10 log10 r ′
gilt die Beziehung
r = 6B − 7, 2 .
In Worten: Wenn man ein bit mehr fur die Quantisierung nimmt,verbessert sich das Signal-zu-Rausch-Verhaltnis um 6dB.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-26
3: Bildentstehung 3.5: Abtastung
Beweis: (Theorem 3.4)Es sei Ef = En = 0Die Zahl der Quantisierungsstufen sei so groß, dass derQuantisierungsfehler n nahezu gleichverteilt ist.Wenn s die Schrittweite des Quantisierers ist, so ist dieVerteilungsdichte des Fehlers
p(n) =
1s
fur −s2 ≤ n ≤ s
20 sonst .
Dabei ist vorausgesetzt, dass der Quantisierer nicht ubersteuertwird.Damit erhalt man fur die Varianz des Fehlers
En2j =
∫ s2
−s2
1
sn2 d n =
s2
12.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-29
3: Bildentstehung 3.5: Abtastung
Mit der Bezeichnung
σf =√
Ef 2j
und der Annahme
fmin = −4σf , fmax = 4σf
erhalt man als Schrittweite
s =8σf
2B.
Einsetzen ergibt die Behauptung (nach Logar.)
r ′ = 12 · 22B−6 .
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-30
3: Bildentstehung 3.5: Abtastung
Quantisierungskennlinie:
-
-
f ′j
fja1
fmin
a2 a3 a4 aL+1
fmax
b1 b2 b3 bL
Fehlermaß
ε =L∑
ν=1
∫ aν+1
aν
(f − bν)2p(f ) df ,
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-31
3: Bildentstehung 3.5: Abtastung
Die optimale Quantisierungskennlinie ist durch die Werte aν , bν
definiert, fur die der Fehler ε minimiert wird.
Theorem 3.5
Die optimalen Werte aν , bν , welche ε minimieren, sind durch dieGleichungen
aν =bν−1 + bν
2, ν = 2, 3, . . . ,L = 2B ,
bν =
∫ aν+1
aνfp(f ) df
∫ aν+1
aνp(f ) df
, ν = 1, . . . ,L .
gegeben.Dabei ist vorausgesetzt, dass p(f = aν) 6= 0 ist.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-32
3: Bildentstehung 3.5: Abtastung
Beweis: (Theorem 3.5)Die Bildung der partiellen Ableitung von ε nach bν und Nullsetzenderselben ergibt
∂ε
∂bν=
∫ aν+1
aν
−2(f − bν)p(f ) df = 0 .
Daraus folgt der Ausdruck fur die bν .
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-33
3: Bildentstehung 3.5: Abtastung
Analog erhalt man fur aν
∂ε
∂aν=
∂
∂aν
[. . .
∫ aν
aν−1
(f − bν−1)2p(f )df (3.5-2)
+
∫ aν+1
aν
(f − bν)2p(f )df
+ . . .]
= (aν − bν−1)2p(aν)− (aν − bν)
2p(aν)
= 0
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-34
3: Bildentstehung 3.5: Abtastung
Auflosen nach aν ergibt die andere Gleichung.Man erkennt: eine lineare Quantisierungskennlinie (mitgleichgroßen Quantisierungsstufen) ist nur dann optimal, wenn dieSignalamplituden gleichverteilt sind.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-35
3: Bildentstehung 3.5: Abtastung
Erganzungen
Eine Codierung nach obigem Verfahren heißt auch Puls CodeModulation (PCM). Sie ist Ausgangspunkt der weiterenVerarbeitung.
Auf Codierverfahren mit speziellen Eigenschaften wurde nichteingegangen:
minimale Zahl von Bit zur CodierungFehlererkennung und -korrektur
Ein spezielles Codierverfahren ist die Lauflangencodierung.Es werden Paare (Grauwert,Lauflange) angegebenoder Paare (Grauwertsprung,Koordinaten).
Ein weiteres spezielles Verfahren ist die Kettencodierung
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-36
3: Bildentstehung 3.5: Abtastung
Resampling Methoden
Fourier Transformation
Interpolation
z. B. bei rechteckigen → quadratischen Pixeln
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-37
3: Bildentstehung 3.5: Abtastung
Aliasing
-1
-0.5
0
0.5
1
0 1 2 3 4 5 6 7 8
erte
-1
-0.5
0
0.5
1
0 1 2 3 4 5 6 7 8
Figure 3.5-2: Cosinus mit s Hz (links) abgetastet mit s/2 ((rechts))
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.5-38
3: Bildentstehung 3.6: Modelle
Outline (Subsection Handout)
3: Bildentstehung
Zusammenfassung 3.6: Modelle
Computergraphik und Bildanalyse (Rechnersehen) bedienen sich dersel-ben Beschreibung von Geometrie. Mit homogenen Koordinaten werdengeometrische Objekte einfach beschrieben und transformiert.Diese Technik benutzt ausschließlich lineare Algebra.
Der folgende Abschnitt stammt von Helmut Meyer (vgl. Abs. 1.5).
sab3-6
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.6-1
3: Bildentstehung 3.6: Modelle
Optische Sensoren:
CCD Kameras
Objektive (Zoom, Fix-focus, etc.)
Projektionsmodelle: Kameramodell
Perspektivische Projektion
Parallel Projektion
Schwach-perspektivische Projektion
Einfach−→ Lochkameramodell
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.6-3
3: Bildentstehung 3.6: Modelle
Abstand
(xi, yi)T
zc
yc
(xc, yc, zc)T
zyi
F
−F
y
Tiefe
Figure 3.6-1: Lochkameramodell
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.6-4
3: Bildentstehung 3.6: Modelle
Parallelprojektion
Tele-Objektiv
Telezentrischens Objektiv
Ursprung im LochEinfache Gleichungen
xi =F xc
zc
yi =F yc
zc
, (3.6-1)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.6-5
3: Bildentstehung 3.6: Modelle
Parallelprojketion
Ahnliche Gleichungen bei Ursprung in der Bildebene (verschobenum F )Wir setzen zc := F + z und berechnen den Limes
xi = limF→ 8
F xc
F + z= xc yi = lim
F→ 8
F yc
F + z= yc (3.6-2)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.6-6
3: Bildentstehung 3.6: Modelle
Brennpunkt
Bildebene
y
xy
x
Figure 3.6-2: Perspektivische (links) und orthographische (rechts)Projektion
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.6-7
3: Bildentstehung 3.6: Modelle
Optik
FBlende
pc
pi
y c
y i
d d ′
Figure 3.6-3: Dunne Linse mit Blende
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.6-8
3: Bildentstehung 3.6: Modelle
Lochkameramodell
x i = Fxc
zcy i = F
y c
zc. (3.6-3)
Dunnes Linsenmodell: d ′ Objektweite und d Bildweite
1
F=
1
d ′+
1
d. (3.6-4)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.6-9
3: Bildentstehung 3.6: Modelle
Abstand
(xi, yi)T
zc
yc
(xc, yc, zc)T
zyi
F
−F
y
Tiefe
Figure 3.6-4: Lochkameramodell
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.6-10
3: Bildentstehung 3.6: Modelle
Mit homogenen Koordinaten wird aus dem Lochkameramodell einelineare Gleichung:
(x i
y i
)=
(Fxc/zc
Fy c/zc
)7→
Fxc
Fy c
zc
(3.6-5)
Wir erhalten die folgende Abbildung IP3 → IP
2:
uvw
=
Fxc
Fy c
zc
=
F 0 0 00 F 0 00 0 1 0
︸ ︷︷ ︸Pper
xc
y c
zc
1
(3.6-6)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.6-11
3: Bildentstehung 3.7: Geometrie
Outline (Subsection Handout)
3: Bildentstehung
Zusammenfassung 3.7: Geometrie
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-1
3: Bildentstehung 3.7: Geometrie
tx
−ty
tz
φx
φy
φz
2D Bild
3D Objekt
Weltkoordinatensystem w
Kamera-koordinaten-
system c
R, t
Figure 3.7-1: Transformation von Koordinatensystemn
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-2
3: Bildentstehung 3.7: Geometrie
Weltkoordinatensystem (w): beschreibt festen Referenzpunkt(im Prinzip beliebig gewahlt). (euklidisch xw,homogen xw)
Objektkoordinatensystem: Objektpunkte .Verwendung in der Computergraphik, nicht imRechnersehen
Kamerakoordinatensystem (c): an der (moglichereweisebeweglichen) Kamera. (euklidisch xc, homogen xc)
Bildkoordinatensystem (i): 2D -Koordinatensystem mitUrsprung auf optischer Achse in der Bildebene(euklidisch xi, homogen xi)
Pixelkoordinatensystem (p): 2D -Koordinatensystem, diskret,Ursprung normalerweise oben links. (euklidisch xp,homogen xp)
Pixelkoordinatensystem (m): 2D -Koordinatensystem, Ursprungin der Bildmitte M. (euklidisch xM, homogen xM)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-3
3: Bildentstehung 3.7: Geometrie
xM
yM
xMH
yMH
H
M
Figure 3.7-2: Bildzentrum und Koordinatensysteme
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-4
3: Bildentstehung 3.7: Geometrie
zw
yw
xw
HpM
xM
yM
cw
F
pw
M
Figure 3.7-3: Homogene Kamera I
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-5
3: Bildentstehung 3.7: Geometrie
xM, yM Bildkoordinaten, bezogen auf MxMH , xM
H Bildkoordinaten des Hauptpunkts H bezogen auf dasBildzentrum MxM, yM, zM raumliche Bildkoordinaten bezogen auf dasBildzentrum MBildpunkt pM mit Koordinaten
(xM, yM, 0
)T bezogen auf das
Bildzentrum MF = KamerakonstanteProjektionszentrum cw mit (xM
c , xMc ,−F ) bezogen auf das
Bildzentrum MProjektionszentrum cw mit (xw
c , ywc , zw
c ) in WeltkoordinatenObjektpunkt pw = (xw, yw, zw)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-6
3: Bildentstehung 3.7: Geometrie
zw
yw
xw
HpM
xM
yM
cw
F
pw
M
Figure 3.7-4: Homogene Kamera
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-7
3: Bildentstehung 3.7: Geometrie
xw
yw
zw
−
xwc
ywc
zwc
= s
xM
yM
0
−
xMc
yMc
−F
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-8
3: Bildentstehung 3.7: Geometrie
xw − xwc = s(xM − xM
c )yw − yw
c = s(yM − yMc )
zw − zwc = sF
xw−xwc
zw−zwc
= xM−xMc
Fyw−yw
c
zw−zwc
= yM−yMc
F
(3.7-1)
xw = xwc + (zw − zw
c )xM − xM
c
F, xM = xM
c + Fxw − xw
c
zw − zwc
yw = ywc + (zw − zw
c )yM − yM
c
F, yM = yM
c + Fyw − yw
c
zw − zwc
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-9
3: Bildentstehung 3.7: Geometrie
Kollinearitatsgleichungen
xM = xMc
zw−zwc
zw−zwc
+ F xw−xwc
zw−zwc
yM = yMc
zw−zwc
zw−zwc
+ F yw−ywc
zw−zwc
u′ = xMc (zw − zw
c ) + F (xw − xwc )
v ′ = yMc (zw − zw
c ) + F (yw − ywc )
w ′ = zw − zwc
(3.7-2)
u′
v ′
w ′
=
F 0 xM
c
0 F yMc
0 0 1
∣∣∣∣∣∣
−Fxwc − xM
c zwc
−Fywc − yM
c zwc
−zwc
xw
yw
zw
1
y = Px (3.7-3)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-10
3: Bildentstehung 3.7: Geometrie
Ubergang zu euklidischen Koordinaten, Separierung in Matrizen furHauptunkt und Kamerakonstante
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-11
3: Bildentstehung 3.7: Geometrie
y =
1 0 xM
c
0 1 yMc
0 0 1
F (xw − xw
c )F (yw − yw
c )zw − zw
c
(3.7-4)
=
1 0 xM
c
0 1 yMc
0 0 1
F 0 00 F 00 0 1
∣∣∣∣∣∣
000
xw − xwc
yw − ywc
zw − zwc
1
(3.7-5)
=
1 0 xM
c
0 1 yMc
0 0 1
F 0 0 00 F 0 00 0 1 0
1 0 0 −xwc
0 1 0 −ywc
0 0 1 −zwc
0 0 0 1
xw
yw
zw
1
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-12
3: Bildentstehung 3.7: Geometrie
Die Kollinearitatsbediungung in Matrixform wird fur die Projektionauf den Bildschirm in der Computergraphik verwendet, da siemittels Vektorarithmetik extrem schnell berechenbar ist.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-13
3: Bildentstehung 3.7: Geometrie
Dasselbe gilt auch fur Pixelkoordinaten mit Ursprung oben links.
(x i, y i) = (0, 0)
= (Hxp,Hy
p)
(0, 0)p
yp/i
xp/j
x i
y i
Figure 3.7-5: Koordinatensysteme der Bildebene
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-14
3: Bildentstehung 3.7: Geometrie
Allgemeine AbbildungsgleichungenGegeben:
Objektpunkt P(X)
Außere Orientierung der Kamera durch
Projektionszentrum c′(xwc) und
Rotationsmatrix R
Innere Orientierung modelliert durch
Kamerakonstante F
Hauptpunkt (xMc
, yMc
)
Maßstabsunterschied s der Achsen und Scherung der Achsen θ
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-15
3: Bildentstehung 3.7: Geometrie
Θ
x
y
u
v
Hx
Hy
op
o i
p
Figure 3.7-6: Pixelkoordinatensystem
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-16
3: Bildentstehung 3.7: Geometrie
x/y Koordinatensystem:
Ideales Koordinatensystem (wie bisher verwendet)(Bildkoordinatensystem mit Ursprung oi)
u/v Koordinatensystem:
Reales Pixelkoordinatensystem, (Ursprung op)
Θ: Winkel zwischen den Achsen,
kx, ky: Einheiten von u und v Achsen, im Hinblick aufEinheiten im x/y System
(Hx , Hy ): (verzerrt) Koordinaten des Ursprungs i im x/ySystem
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.7-17
3: Bildentstehung 3.8: Orientierungsverfahren
Outline (Subsection Handout)
3: Bildentstehung
Zusammenfassung 3.8: Orientierungsverfahren
Computergraphik und Bildanalyse (Rechnersehen) bedienen sich dersel-ben Beschreibung von Geometrie. Mit homogenen Koordinaten werdengeometrische Objekte einfach beschrieben und transformiert.Diese Technik benutzt ausschließlich lineare Algebra.
Der folgende Abschnitt stammt von Helmut Meyer (vgl. Abs. 1.5).
sab3-8
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.8-1
3: Bildentstehung 3.8: Orientierungsverfahren
Orientierungsverfahren I
Orientierungsverfahren auf Grundlage der projektivenGeometrieOrientierungsverfahren = pose estimation
Diese Orientierungsverfahren stellen direkte Losungen bereit,d. h. sie benotigen keine Naherungswerte und keineIterationen. Dies ist fur automatische Verfahren imNahbereich in vielen Fallen essentiell.
Geraden und Kegelschnitt e, wie z. B. Ellipsen, konnen anStelle von oder zusammen mit Punkten fur die Orientierunggenutzt werden.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.8-2
3: Bildentstehung 3.8: Orientierungsverfahren
Orientierungsverfahren II
Fur Anwendungen wie bildgestutzte Fahrzeugnavigation odervor allem erweiterte Realitat (augmented reality ) mithead-mounted Displays ist eine stabile und genaueOrientierung in Echtzeit erforderlich. Allerdings ist dieKamerageometrie, d. h. die innere Orientierung, oft nichtbekannt und/oder instabil.
Reprasentation und Projektion auf Grundlage projektiverGeometrie ist Standard im Bereich Computergrafik.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.8-3
3: Bildentstehung 3.8: Orientierungsverfahren
Stratifikation geometrischer RaumeGeometrische Raume konnen in Ebenen, d. h. Strata,7 unterteiltwerden, die durch ihre Eigenschaften charakterisiert sind.Ausgangspunkt ist, dass aus einer projektiven Abbildung ohneZusatzwissen nur der
”projektive Raum“ rekonstruiert werden kann.
Aus dem projektiven Raum kann man weder Langen noch Winkelund damit auch keine parallelen Geraden entnehmen. Letztereschneiden sich in
”Fluchtpunkten“. Das einzige, was der projektive
Raum erhalt (Table 3.8-1) sind”Doppelverhaltnisse“.
7lokal abgeschlossene Teile, die zusammenhangende glatteMannigfaltigkeiten sind
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.8-4
3: Bildentstehung 3.8: Orientierungsverfahren
Fur vier Punkte auf einer Objektgerade (Figure 3.8-1) gilt:
AC
AD:
BC
BD=
A′C ′
A′D ′:
B ′C ′
B ′D ′.
A’B’C’
D’AB
C D
Figure 3.8-1: Doppelverhaltnis
Doppelverhaltnisse: Invarianten, d. h. Maße, die unter dem zu einer
”Ebene“ (Stratum) gehorigen Typ von Transformation erhalten
bleiben.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.8-5
3: Bildentstehung 3.8: Orientierungsverfahren
Im Weiteren
euklidische,
ahnliche,
affine und
projektive Raume
mit verschiedenen Invarianten:
Im zur Modellierung des 3D Raumes meist verwendeteneuklidischen Raum sind Langen und Winkel und damit auchLangenverhaltnisse nicht paralleler Geraden definiert.
Der ahnliche Raum unterscheidet sich vom euklidischen durchden undefinierten Maßstab. Dieser Raum kann nach derrelativen Orientierung aus zwei mit kalibrierter Kameraaufgenommenen projektiven Abbildungen rekonstruiertwerden.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.8-6
3: Bildentstehung 3.8: Orientierungsverfahren
Der in der rechten Abbildung dargestellte affine Raum zeichnetsich dadurch aus, dass parallele Geraden erhalten bleiben. DieWinkel zwischen ihnen konnen sich allerdings andern.
Im weiter oben dargestellten projektiven Raum gelten dagegennur die oben angesprochenen Doppelverhaltnisse.
Raum bestimmt durch Invariante Maße
projektiv Doppelverhaltnisse
affin Ebene im ∞ Langenverhaltnisse paralleler Geraden
ahnlich absoluter Kegelschnitt Winkel, Langenverhaltnisse nicht paralleler Geraden
euklidisch Maßstab Langen
Table 3.8-1: Invariante Maße
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.8-7
4: Licht und Farbe
Outline
Zusammenfassung 4: Licht und Farbe
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4-1
4: Licht und Farbe 4.1: Einleitung
Siehe Abs. 3.4
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.1-1
4: Licht und Farbe 4.2: Farbe
Outline (Subsection Handout)
4: Licht und Farbe
Zusammenfassung 4.2: Farbe
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.2-1
4: Licht und Farbe 4.2: Farbe
Farbe I
Was ist Farbe?
Wie stellen wir Farbe im Rechner da? → Farbraume
Wie nehmen wir Farbdifferenzen wahr? → Farbabstande
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.2-2
4: Licht und Farbe 4.3: Farberaume
Outline (Subsection Handout)
4: Licht und Farbe
Zusammenfassung 4.3: Farberaume
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-1
4: Licht und Farbe 4.3: Farberaume
CCD Kameras mit RGB:
RGB
=
0.842 0.156 0.091−0.129 1.320 −0.2030.008 −0.069 0.897
RperzeptivGperzeptivBperzeptiv
(4.3-1)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-2
4: Licht und Farbe 4.3: Farberaume
G
R
B
gelb(1,1,0)
(1,1,1)
rot(1,0,0)
magenta
(1,0,1)(0,0,1)blau
cyan(0,1,1)
(0,1,0)
schwarz(0,0,0)
weiß
grun
Figure 4.3-1: RGB-Farbwurfel
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-3
4: Licht und Farbe 4.3: Farberaume
Der intensitatsnormierte rg–Farbraum, mit den Komponenten(r , g)T ergibt sich aus den RGB–Werten durch
(rg
)=
1
R + G + B
(RG
). (4.3-2)
Auf eine dritte Komponente kann verzichtet werden, da sich mitb = B/ (R + G + B) fur alle Pixel r + g + b = 1 ergibt.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-5
4: Licht und Farbe 4.3: Farberaume
Der YUV–Farbraum wird im europaischen Fernsehen verwendet.Die Konvertierung ist eine lineare Transformation desRGB–Farbraums:
YUV
=
Y
B − YR − Y
(4.3-3)
=
0.299 0.587 0.114−0.299 −0.587 1− 0.114
1− 0.299 −0.587 −0.114
RGB
Der Y –Kanal bildet dabei das Grauwertbild.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-6
4: Licht und Farbe 4.3: Farberaume
Der RGB–Farbraum besitzt den Nachteil, dass in einigen Bereichennegative Komponenten erforderlich sind, um fur den menschlichenBetrachter alle Farben darstellen zu konnen.RGB nach XYZ:X , Y und Z werden dabei als imaginar bezeichnet, da sie keinentatsachlich existierenden Gewichtungen fur monochromatischeLichter entsprechen, die in der Colorimetrie als primare Stimuliverwendet werden konnten.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-7
4: Licht und Farbe 4.3: Farberaume
Colorimetry I
−1.0−2.0 1.0
1.0
2.0
500
645.2444.4
526.3
555
400
470
480
490
r
g
(R)(B)
(G )
(E )
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-8
4: Licht und Farbe 4.3: Farberaume
Colorimetry II
$x$
$y$
0.0 0.2 0.3 0.4 0.5 0.6 0.7 0.80.10.0
0.1
0.2
0.4
0.5
0.6
0.7
0.8
0.3
($G$)
($R$)
700
600
550500
470
380($B$)
Figure 4.3-2: xy–Diagramm des XYZ–Farbraums
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-9
4: Licht und Farbe 4.3: Farberaume
Colorimetry III
Kurven der Spektralwerte bezuglich des so genanntenNormvalenztripels X ,Y ,Z
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-10
4: Licht und Farbe 4.3: Farberaume
Die HSI– und HSL–Farbraume stellen Farben durch Hue,Saturation, Intensity / Luminanz dar. Die Wertebereiche liegen furH ∈ [0 . . . 2π], S ∈ [0 . . . 1], I ∈ [0 . . . 1].Konvertierung komplizierter, in der Literatur nicht einheitlich:
S =√
R2 + G 2 − R ∗ G − R ∗ B − B ∗ G
I =R + G + B
3
α =
π/2 wenn G > B3π/2 wenn B > G
H =
1 wenn G = B
1/2π(α− arctan((R − I )
√3/(G − B))
)sonst
(4.3-4)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-11
4: Licht und Farbe 4.3: Farberaume
L
S
R
c000
0,0Schw
H
CyGr
c120G
Bl Mag
W
c240
Figure 4.3-3: HLS–Farbraum
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-12
4: Licht und Farbe 4.3: Farberaume
(Pomierski and Gross 1995) verwenden einen physiologischmotivierten Farbraum mit den Komponenten (RG ,BY ,WB),dessen Transformation in (4.3-5) angegeben ist.
RGBYWB
=
0.5 −1 0.5−0.875 0 0.875
1.5 1.5 1.5
RGB
(4.3-5)
Die so genannte Unbuntachse , die durch die Vektoren gebildetwird, die als weiß, grau oder schwarz wahrgenommen werden,ergibt sich hier als die WB Achse.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-13
4: Licht und Farbe 4.3: Farberaume
Aufbauend auf dem XYZ–Farbraum entwickelte die C.I.E. zwei sogenannte uniforme Farbraume: Abstande perzeptiv mittelsEuklid’scher DistanzDie beiden Farbraume werden als Luv–Farbraum undLab–Farbraum bezeichnet. Ersterer wurde von der CIE im Jahr1964 folgendermaßen definiert:
L∗ = 116 3
√Y
Yn− 16, (4.3-6)
u∗ = 13L∗(u′ − u′n), (4.3-7)
v∗ = 13L∗(v ′ − v ′n) (4.3-8)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-14
4: Licht und Farbe 4.3: Farberaume
Dabei gilt:
u′ =4X
X + 15Y + 3Z, (4.3-9)
v ′ =9Y
X + 15Y + 3Z, (4.3-10)
u′n =
4Xn
Xn + 15Yn + 3Zn
, (4.3-11)
v ′n =
9Yn
Xn + 15Yn + 3Zn(4.3-12)
Die Werte Xn, Yn und Zn sind die in den XYZ–Farbraumtransformierten Tristimulus–Werte des Stimuls gleicher Energie E ,also
Xn = 98.10, Yn = 100.00, Zn = 117.70 R ,G ,B ∈ [0, 100] nach (??)(4.3-13)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-15
4: Licht und Farbe 4.3: Farberaume
Fur Werte Y /Yn < 0.01 wird zur Berechnung vonL∗ statt derobigen folgende Formel verwendet: L∗ = 903.3Y /Yn. Fur dieweiteren Betrachtungen sei die Notation
fLuv = (L∗, u∗, v∗)T
eingefuhrt. Der Lab–Farbraum wurde von der C.I.E. im Jahr 1976definiert und lasst sich aus dem XYZ–Farbraum berechnen:
a∗ = 500
(3
√X
Xn
− 3
√Y
Yn
), (4.3-14)
b∗ = 200
(3
√Y
Yn
− 3
√Z
Zn
)(4.3-15)
Der Wert L∗ wird ebenso wie beim Luv–Farbraum berechnet.Entsprechend wird auch hier die Notation fLab = (L∗, u∗, v∗)T
eingefuhrt.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-16
4: Licht und Farbe 4.3: Farberaume
Zur Berechnung von Mischfarben hat der Luv–Raum im Gegensatzzum Lab–Raum den Vorteil, dass im uv–Diagramm der Punkt derMischfarbe auf der Geraden liegt, die durch die beiden Punkte derentsprechend zu mischenden Teilfarben bestimmt wird.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-17
4: Licht und Farbe 4.3: Farberaume
Ein Vertreter der Farbraume, in denen Farbinformation vonIntensitat getrennt ist, ist der YCrCb–Farbraum. Seine ersteKomponente Y steht fur die Luminanz . Die Komponenten Cr undCb enthalten die Chromazitat , die Farbigkeit.
C
B
M
R
G
W
Cb0,5
0,5−0,5
−0,5
Cr
Y
Figure 4.3-4: Die Lage der wichtigsten Farben in der Cr–Cb–Farbebenenach (Wang and Chang 1997): Blau (B), Magenta (M), Rot (R), Geld(Y), Grun (G), Cyan (C) und Weiß (W)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-18
4: Licht und Farbe 4.3: Farberaume
YCbCr
=
0.2989 0.5866 0.1145−0.1688 −0.3312 0.50000.5000 −0.4184 −0.0816
RGB
(4.3-16)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.3-19
4: Licht und Farbe 4.4: Abstande
Outline (Subsection Handout)
4: Licht und Farbe
Zusammenfassung 4.4: Abstande
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.4-1
4: Licht und Farbe 4.4: Abstande
Maß fur Qualitat eines Filters signal-to-noise ratio (SNR). FurFarbbildpaare definieren wir:
SNR = 10 log10
E [fiTfi]
E [niTni]
, (4.4-1)
wobei f i der Farbvektor und ni der Rauschvektor ist.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.4-2
4: Licht und Farbe 4.4: Abstande
CIELAB Farb-Metrik
∆E∗ab =
√(∆L∗
ab)2 + (∆a∗ab)
2 + (∆b∗ab)
2 . (4.4-2)
Ein Wert von ∆E∗ab = 1 resp. ∆E∗
CH = 1 entspricht der minimalmenschlich wahrnehmbaren Farbdifferenz CIELAB Farbmetrikdurch CIE (International Commission on Illumination) verwendetden uniformen L∗a∗b∗ Farbraum.
lightness-axis L∗, red-green-axis a∗, yellow-blue-axis b∗ Sangwineand Horne (1998)
In diesem Farbraum: Euklidischer Abstand entsprichtWahrnehmung Zhang and Wandell (1998). Die Symbole∆L∗
ab,∆a∗ab und ∆b∗ab bedeuten komponentenweise Differenz
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.4-3
4: Licht und Farbe 4.4: Abstande
Die Farbdifferenz (4.4-2): ist nicht genau genug Zhang andWandell (1998). Neue Metrik CIE94 berechnet gewichteteEuklid’sche Distanz im L∗C∗H∗ Raum.Dieser Farbraum verwendet Polarkoordinaten fur Chroma C∗ undHue H∗ anstelle der kartesischen Koordinaten a∗ und b∗ im L∗a∗b∗
Raum. Chroma
C∗ab =
√(a∗)2 + (b∗)2 , (4.4-3)
und Hue
H∗ab = arctan
b∗
a∗. (4.4-4)
CIE94 Farbdifferenzen L∗C∗H∗ Raum durch
∆E∗CH =
√(∆L∗
ab
kLSL
)2
+
(∆C∗
ab
kCSC
)2
+
(∆H∗
ab
kHSH
)2
. (4.4-5)
kL, kS und kH Parameter (experimentell ermittelt) Zhang andWandell (1998)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.4-4
4: Licht und Farbe 4.4: Abstande
Parameter Zhang and Wandell (1998):
kL = kS = kH = SL = 1 (4.4-6)
SC = 1 + 0.045¯C∗ab (4.4-7)
SH = 1 + 0.015¯C∗ab (4.4-8)
Die Werte SC und SH werden von den Mittelwerten des Chromasberechnet ¯C
∗ab fur die zwei gegebenen Farb-Stimuli.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.4-5
4: Licht und Farbe 4.5: Kalibrierung
Outline (Subsection Handout)
4: Licht und Farbe
Zusammenfassung 4.5: Kalibrierung
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-1
4: Licht und Farbe 4.5: Kalibrierung
Radiometrische Kalibrierung
Color Checker
x
ρλ(x)
E (λ)
CCD-Chip Rk(λ)
Bild sk(x)
1K
Figure 4.5-1: Sensor, Reflektivitat, Messung
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-2
4: Licht und Farbe 4.5: Kalibrierung
K Sensoren pro Bildpunkt, typischerweise je ein Sensor fur Rot,Grun und Blau, haben spektrale Empfindlichkeiten von
Rk(λ), (k = 1, . . . ,K ) (4.5-1)
Dadurch tastet jeder Sensor k im Punkt x folgendeEnergieverteilung des Lichts ab
sk(x) =
∫ ∞
0E (λ) · ρ(x, λ) · Rk(λ) dλ (4.5-2)
ρk(x) = Fk
(tb · e(x) · n(x)
∫ ∞
0E (λ) · ρ(x, λ) · Rk(λ)dλ
)
(4.5-3)
Fk = photometrische Antwortfunktion des k-ten Kanalstb = Belichtungszeite(x) = Einheitsvektor in Richtung Lichtquelle von der Stelle xausn(x) = Einheitsvektor der Oberflachennormalen an der Stelle x
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-3
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten I
nach Alsam and Finlayson (2002): Summe von L = 31Abtastungen
sk(x) =
L∑
λ=1
Eλ · ρλ(x) · Rk,λ ·∆λ . (4.5-4)
Vektor E = [Eλ]λ=1...L: spektrale Energie des Lichts,Vektor ρ(x) = [ρλ(x)]λ=1...L: diskrete Reflektanz an Position xMatrix R = [Rk,λ]
k=1,...,K ,λ=1...L diskrete spektraleEmpfindlichkeitskurven
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-4
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten II
Wir schreiben die Matrix R als Vektor
r := (R1,1 . . . R1,L,R2,1 . . . R2,L, . . . RK ,1 . . . RK ,L)
Wir definieren eine (KN × LK ) - Matrix A bestehend ausSensorantworten gemessen an N Punkten, entweder 0 oderProdukten aus Eλ · ρλ
s = Ar (4.5-5)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-5
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten III
Im Speziellen, mit K = 3 ergibt dies
s1,r
s1,g
s1,b
. . .sN,r
sN,g
sN,b
= A
Rr,1
Rr,2...
Rr,L
. . .Rb,1
Rb,2...
Rb,L
(4.5-6)
Empirisches Ergebnis: A hat Rang 6 bis 8 Maloney (1986);Parkkinen et al. (1989).Einschrankungen zur Regularisierung Alsam and Finlayson (2002):
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-6
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten IV
1 Sensor Positivitat:Rk,λ ≥ 0 wobeil k ∈ 1, . . . ,K, λ ∈ 1, . . . ,L
2 Sensor-Glattheit:|Rk,λ − Rk,λ+1| ≤ T fur eine Schwelle T undλ ∈ 1, . . . ,L− 1
3 Unimodalitat:∀k∃κ : Rk,λ < Rk,λ+1 fur λ ≤ κ und Rk,λ > Rk,λ+1 fur λ > κ
4 beschrankter Vorhersagefehler:|si −
∑Lj=1 Ai ,j · rj | ≤ ǫ fur i ∈ 1, . . . ,N.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-7
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten V
In Paulus et al. (2002)
geringfugig schwachere Einschrankungen fuhren zu linearemProblem
Losung mit SVD(A) = UΣVT
Lineare Approximation der Kalibrierzusammenhange
r =(VPΣ2VT + µ · G
)−1VPΣUTs . (4.5-7)
mit
Regularisierungsparameter µMatrix P zum Erzwingen des RangsMatrix D
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-8
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten VI
Simultane OptimierungOptimierung der Kriterien 1–4In einigen Fallen geringfugig schwachere Einschrankungen.Ungleichungen durch Zielfunktion erseztKriterium 4 wird beschrieben durch
||Ar − s||2 → min . (4.5-8)
Leicht abgeschwachte Version des Kriteriums 2:
K∑
k=1
L−1∑
λ=1
(Rk,λ − Rk,λ+1)2 → min . (4.5-9)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-9
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten VII
Indem hier Qudrate statt der Norm |Rk,λ − Rk,λ+1| verwendetwerden, ergibt sich eine Bestrafung großerer Abstande. Wirdefinieren eine L× L Matrix8
G =[Gi ,j
]=
1 −1 0 0 . . . . . . 0−1 2 −1 0 . . . . . . 00 −1 2 −1 0 . . . 0
. . .0 . . . 0 −1 2 −1 00 . . . . . . 0 −1 2 −10 . . . . . . . . . 0 −1 1
(4.5-10)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-10
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten VIII
und eine weitere K · L× K · L Matrix
G =
G′
0 · · · 0
0 G · · · 0...
......
...
0 0 0 G′′
mit
[G ′
i ,j
]=
0 falls i = 1, j = 2
Gi ,j sonst[G ′′
i ,j
]=
0 falls i = L− 1, j = L
Gi ,j sonst
(4.5-11)Damit wird Einschrankung 2 zu
L∑
k=1
L−1∑
λ=1
(rk,λ − rk,λ+1)2 = rTGr→ min . (4.5-12)
Ableitungen∂
∂rrTGr = 2 · rTG , (4.5-13)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-11
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten IX
da G symmetrisch ist. Verknupfung von (4.5-12) mit (4.5-8) ergibt
f := ||Ar − s||2 + µ||rTGr|| → min (4.5-14)
fur ein festes µ > 0. Ableitungen von (4.5-14) ergeben
∂f
∂r= 2rTATA− 2sTA + 2µ · rTG (4.5-15)
– einen Vektor der Dimension K · L.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-12
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten X
Wir setzen∂f
∂r= 0
und losen das fur r, wie im Folgenden gezeigt wird. Wir erhalten
rT(ATA + µ ·G
)= sTA . (4.5-16)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-13
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten XI
Da(ATA + µ · G
)symmetrisch und positiv definitit ist, erhalten
wir
r =(ATA + µ ·G
)−1ATs . (4.5-17)
Dies ist eine Regularisierung ahnlich einer TikhonovRegularisierung, wie sie in Piana and Brown (1998) verwendet wird.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-14
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten XII
Rang-EinschrankungEinschrankung, dass rank (A) ≤ 8.Faktorisierung
A = UΣVT
mittels SVD,Σ: Diagonalmatrix der Singularwerte σi of AΣ = diag (σi ) with σi ≥ σi+1.Wir definieren eine Matrix
P = [Pij ]i ,j=1...N
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-15
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten XIII
wobei Pij = 1 fur die ersten 8 Elemente der Diagonalwerte
P =
1 0 0 0 0 0 0 0 00 1 0 0 0 0 0 0 00 0 1 0 0 0 0 0 00 0 0 1 0 0 0 0 00 0 0 0 1 0 0 0 00 0 0 0 0 1 0 0 00 0 0 0 0 0 1 0 00 0 0 0 0 0 0 1 0
Erzeuge Σ′ als
Σ′ = PΣ
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-16
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten XIV
Uberprufe P9,9 = σ9 > θ fur eine kleine Schwelle θ; Falls das nichtder Fall ist, kann die Messmatrix A nicht korrekt sein oder sieenhalt zu viel Rauschen.
Einsetzen in (4.5-17) ergibt
r =(VPΣ2VT + µ ·G
)−1VPΣUTs . (4.5-18)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-17
4: Licht und Farbe 4.5: Kalibrierung
Diskrete Gerate-Empfindlichkeiten XV
TestdatenVon Kobus Barnard Barnard et al. (2002): Daten fur K = 3 andL = 101.9
Gemessen mit D65 Beleuchtung
8Vergl. die Matrix zur 2. Ableitung in Barnard and Funt (2002).9Verfugbar im Internet in
http://www.cs.berkeley.edu/~kobus/research/data/camera_calibration/index.html.WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-18
4: Licht und Farbe 4.5: Kalibrierung
Eigene (neuere) Arbeiten:
HDR (mit Unterstutzung des FB3 (Physik))
Endoskopie (in Zusammenarbeit mit der FhG, Erlangen),Munzenmayer et al. (2006)
Schatzung der Kamerasensitivitaten (bei bekannterBeleuchtung)
Schatzung der Beleuchtung (bei bekannten Sensitivitaten)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-19
4: Licht und Farbe 4.5: Kalibrierung
Lichtquelle HDR-Kamera
λ
LinseLinse Spiegel
Photodiode
MonochromatorPolarisationsfilter
Figure 4.5-3: Versuchsaufbau
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-20
4: Licht und Farbe 4.5: Kalibrierung
0
200
400
600
800
1000
1200
1400
1600
400 450 500 550 600 650 700
Wavelength
G1-KanalB-KanalR-Kanal
G2-KanalPix
elwer
t
Figure 4.5-4: Sensorantwortenbei 15mW
0
200
400
600
800
1000
1200
1400
400 450 500 550 600 650 700 750
5mW10mW15mW20mW
Wellenlange
Pix
elwer
t
Figure 4.5-5: Sensorantwort furGrun 1 bei 5, 10, 15 und 20mW
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-21
4: Licht und Farbe 4.5: Kalibrierung
-0.0005
0.0000
0.0005
0.0010
0.0015
0.0020
0.0025
0.0030
400 450 500 550 600 650 700
Radia
nce
[W/(s
r∗
m2)]
Wavelength [nm]
OriginalConstrained PE
Schatzung des Beleuchtungsspektrums
0.0
0.2
0.4
0.6
0.8
1.0
400 450 500 550 600 650 700
Refl
ectivi
tyS
Wavelength [nm]
OriginalReconstructed
P5 = J18 (∆E∗
ab= 3.31, εæ = 2.25)
Figure 4.5-6: (a) Schatzung des Beleuchtungsspektrums mitµ∗ = 0.00001, r∗ = 3, ν∗ = 0.1 im Vergleich zur Referenzmessung. (b)Schatzung des Oberflachenspektrums eines grunen Patchs (J18) mittelsWiener-Inverse (ρ = 0.99). (aus Munzenmayer et al. (2006))
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-22
4: Licht und Farbe 4.6: Metamerie
Outline (Subsection Handout)
4: Licht und Farbe
Zusammenfassung 4.6: Metamerie
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.6-1
4: Licht und Farbe 4.6: Metamerie
Thanks to Fogra (Andreas Kraushaar)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.6-2
4: Licht und Farbe 4.6: Metamerie
FWS, Aachen, 2008
Andreas Kraushaar | [email protected] 3
Farben sind Taten des Lichts, ...
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.6-3
4: Licht und Farbe 4.6: Metamerie
FWS, Aachen, 2008
Andreas Kraushaar | [email protected] 4
...,Taten und Leiden
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.6-4
4: Licht und Farbe 4.6: Metamerie
FWS, Aachen, 2008
Andreas Kraushaar | [email protected] 5
„Die haben‘s nicht gewusst.“
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.6-5
4: Licht und Farbe 4.6: Metamerie
FWS, Aachen, 2008
Andreas Kraushaar | [email protected] 6
Im 19. Jahrhundert war eine dem Scheele-Grün verwandte Farbe, das seit 1814 hergestellte „Schweinfurter Grün“, eine Verbindung aus
Kupferarsenit und Kupferacetat, sehr beliebt. Wegen ihrer Brillanz und ihres bei Tages- und Kunstlicht gleich bleibenden Tons wurde sie im
Biedermeier besonders gern als Tapetenfarbe benutzt“
E. Vaupel, Kultur & Technik 04/2005
Die schon
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.6-6
4: Licht und Farbe 4.6: Metamerie
FWS, Aachen, 2008
Andreas Kraushaar | [email protected] 7
2. Warum Multispektraltechnik?
Heute
• metamere Reproduktion
• ein Beobachter (z.B. 2°)
• eine Lichtart (z.B. D50)
• dreikomponentige Farbe
(„Unterabtastung“)
• durchgängige Verarbeitung von Spektren
• weniger Lichtartmetamerie
• weniger Beobachtermetamerie
• Glanz, Textur, ...
Morgen?
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.6-7
5: Interpretation von Bildern
Outline
Zusammenfassung 5: Interpretation von Bildern
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5-1
5: Interpretation von Bildern 5.1: Prinzipien
Outline (Subsection Handout)
5: Interpretation von Bildern
Zusammenfassung 5.1: Prinzipien
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.1-1
5: Interpretation von Bildern 5.1: Prinzipien
Classification of simple patterns
f f ′ c
Lernen
KlassifikationSignal
Stichprobe
Vor-verarbeitung
Merkmals-extraktion
Ergebnis
κ
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.1-2
5: Interpretation von Bildern 5.2: Modelle
Outline (Subsection Handout)
5: Interpretation von Bildern
Zusammenfassung 5.2: Modelle
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.2-1
5: Interpretation von Bildern 5.2: Modelle
Modelle in CG und CV
implizite
explizite
Software-Modelle
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.2-2
5: Interpretation von Bildern 5.2: Modelle
Coding, Filter etc.
Preprocessing
Lines, Regions, ... Words ...
Mainly data driven (bottom up)
Objects
Dialog
Model driven analysis (top down)
Inference
State Description
Segmentation into ...
Recognition of ...
Utterances
R
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.2-3
5: Interpretation von Bildern 5.2: Modelle
Stukturelle Modelle
Unterscheidung nach Broy and Rumpe (2007)
Modelle in der Softwaretechnik (explizt)
Modelle in der klassischen Ingenieurwissenschaften / Physik(Formeln)
Modelle der Bildanalyse ahnlich zu denen der Softwaretechnik(Technik: UML)
Eigenschaften eines Modells nach Stachowiak (1973) (vgl. Broyand Rumpe (2007))
hat einen Zweck
hat einen Bezug zum Original
ist eine Abstraktion des Originals
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.2-5
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Outline (Subsection Handout)
5: Interpretation von Bildern
Zusammenfassung 5.4: Orientierungsverfahren
Orientierungsverfahren dienen der Feststellung des Sichtpunkts und derOrientierung der Kamera (oder des Beobachters) in der Welt.
Neben den Verfahren, die in Abs. 3.8 eingefuhrt wurden, konnen auch
modellbasierte Methoden verwendet werden, die im Folgenden erklart
werden.
sab5-4
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-1
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Teilproblem: Pose-Schatzung I
In der Regel: Gleichungssystem mit Punkten im Bild undunbekannten Transformationsparametern
Punkte Haralick et al. (1989), DeMenthon and Davis (1992)
Segmente : Dhome et al. (1989), Rehrmann and Priese (1998)
Spezifische Merkmale von Segmenten (Form, Punkte auf demUmriss): Geraden Kumar and Hanson (1994),Konturen Marchand et al. (1999), Punkte aufKonturen Drummond and Cipolla (2002),
Merkmale im Frequenzraum : Guo et al. (2005)
Relativ abstrakte Merkmale : Lowe (2004)
Zuordnungsstarategien:
PCA : Gonzalez and Woods (2001)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-2
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Teilproblem: Pose-Schatzung II
Nearest Neighbor Search Nayar et al. (1996)
Randomized Trees Lepetit et al. (2005)
Homographieschatzung: ((Hartley and Zisserman 2003, S. 87ff)),Direct Linear Transformation Faugeras (1993),Genc et al. (2002): bild- und modellbasierte Poseschatzung mitWissensakquisition
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-3
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Zentrale Bereiche fur die Wissensbasierte Bildanalyse nach Liedtkeand Ender (1989)
Reprasentation
Kontrolle
Nach Abrams et al. (1993) KBIA in den 80’er Jahren popular –aber Fehlschlag!10
Erfolgreich z. B. aus Erlangen: Niemann et al. (1996) Sagerer(1985); Niemann et al. (1985, 1990); ERNEST Niemann et al.(1990) Fischer et al. (1998)Ebenfalls bedeutsam: Wissensakquisition und Lernen
10In der Veroffentlichung fehlen Referenzen auf die erfolgreichen Systeme der90’er Jahre in Deutschland
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-4
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Beispiele: Body Tracking Thome et al. (2006)
Body Tracking aus Thome et al. (2006)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-5
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Analyse durch Synthese
Sicht auf 3-D-Modell Vergleich Kameraaufnahme
S(Renderbild,Kamerabild)
Bilderzeugung mitParametervektor (rx , ry , rz , tx , ty , tz)
Erkenntnis: Graphik bietet machtige Werkzeuge – aber einfacheReprasentation
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-6
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Bild f
ModellM ModelleMi
Parametervektor a, z. B. (R, t)
Graphikfunktion G (M; a) liefert Bild g
Abstandsfunktion d(g, f)
Poseerkennung : a∗ = argminad(f,G (M; a))
Objekterkennung (a∗, i) = argmina,id(f,G (Mi ; a))
Weitere Probleme:
Startwerte fur a
Wahl der Optimierungsfunktion (vgl. http://www.nr.com)
Parametierung (z. B. der Rotation) ( faire Parametierung)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-7
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Schatzung der F-Matrix
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-8
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Parametrierung I
fair
geeignet (z. B. Quaternionen statt R)
ggf. Normieren
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-9
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Parametrierung II
If the only tool that you have is a hammer, everything looks like anail11
LSE nicht immer optimal!
Bayes / MAP
Min Entropy / MMI
nichtlineare Optimierung
etc.
11Old saying credited to Abraham Maslow, a famous psychologistWS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-10
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Zuordnung
Bilder
Merkmale
Segmentierungsergebnisse
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-11
5: Interpretation von Bildern 5.4: Orientierungsverfahren
Bezeichnungen / Begriffe
Bild Welt
Segmente ObjekteGruppierungen Szenen
Punkt im Bild ObjektpunktLinie, Polyline Objektkante
Region, Polygon FlacheVolumen-Kontour Korper
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-12
5: Interpretation von Bildern 5.5: Objekterkennung
Outline (Subsection Handout)
5: Interpretation von Bildern
Zusammenfassung 5.5: Objekterkennung
Objekterkennung ist eines der zentralen Probleme des Bildverste-
hens. In vielen Fallen werden explizite Objektmodelle zur Erkennung
eingesetzt. Hier ergeben sich Querbezuge zu anderen Disziplinen,
insbesondere zur Softwaretechnik und Computergraphik.
sab5-5
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.5-1
5: Interpretation von Bildern 5.5: Objekterkennung
Just an outline:Store knowledge about the world in a so-called model that ideallyhas approximately the same structure as the result of featureextraction or segmentationMatch features to modelChoose best fitting model
Example: model cube by wire frame (lines), match them to thelines segmented in the image
This is – of course – oversimplified. Matching as well as modelingis a very complex topic.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.5-2
5: Interpretation von Bildern 5.5: Objekterkennung
Messwerte
(4,3)
KreisKreis KreisKreisKreisKreisKreis
RechteckRechteck
Gruppe
Figure 5.5-1: Erkennen eines Dominosteins
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.5-3
5: Interpretation von Bildern 5.5: Objekterkennung
Modelle fur die Bildverarbeitung
Mogliche geometrische Modellierungen je nach Anwendungsfall:
(a) kantenorientiert
(b) flachenorientiert
(c) volumenorientiert
a)
KAPITEL 3. MODELLE DREIDIMENSIONALER OBJEKTE 25(a) (b) (c)Bild 3.2: (a) eine volumenorientierte, (b) eine kantenorientierte und (c) eine achenori-entierte Modellierung eines 3DObjektssowie die Bestimmung des vom Objekt eingenommenen Raumes unmoglich. Letzterer kann le-diglich naherungsweise durch Bildung der konvexen Hulle [Meh84a, Seite 93] der Punkte desModells geschatzt werden.3.2.2 Flachenorientierte ModellierungEin Flachenmodell enthalt die Darstellung der Flachen, die das Objekt begrenzen, durchFlachenelemente (engl. surfacepatches) [Shi87, Seiten 189195, 293207]. Dies sind gewohnlichFlachen mit einer einfachen analytischen Beschreibung, z.B. Quadriken [Fau86] oder Approxi-mationen von Freiform achen mit Bezier oder BSplineFlachen [New86, Kapitel 21]. Bei der achenorientierten Modellierung (engl. boundary representation) ist eine Bestimmung verdeck-ter Flachen und Linien des 3DObjekts und die Bestimmung des vom 3DObjekt eingenomme-nen Raumes nur dann moglich, wenn zusatzlich fur jede Flache bekannt ist, auf welcher Seitesich das Volumen des Korpers bendet. Dies kann, wie in [Xu90], durch die Orientierung derFlachennormalen vom Volumen des Korpers weg geschehen. Solche Flachenmodelle werden inder Literatur sowohl als Volumenmodelle [Xu90, Seite 19] als auch als Flachenmodelle [Bal82,Seiten 266268] eingeordnet. Bild 3.2(c) skizziert ein Flachenmodell des in Bild 3.2(a) darge-stellten 3DObjekts. Je nach Art der fur die Modellierung zugelassenen Flachentypen, ergibtsich auch hier das Problem, da die Darstellung nicht eindeutig ist.3.2.3 Volumenorientierte ModellierungDas Volumenmodell eines 3DObjekts (engl. volumetric representation) deniert die Ausdeh-nung des 3DObjekts durch Volumenelemente. Diese Denition kann durch die Zerlegung in
b)
KAPITEL 3. MODELLE DREIDIMENSIONALER OBJEKTE 25(a) (b) (c)Bild 3.2: (a) eine volumenorientierte, (b) eine kantenorientierte und (c) eine achenori-entierte Modellierung eines 3DObjektssowie die Bestimmung des vom Objekt eingenommenen Raumes unmoglich. Letzterer kann le-diglich naherungsweise durch Bildung der konvexen Hulle [Meh84a, Seite 93] der Punkte desModells geschatzt werden.3.2.2 Flachenorientierte ModellierungEin Flachenmodell enthalt die Darstellung der Flachen, die das Objekt begrenzen, durchFlachenelemente (engl. surfacepatches) [Shi87, Seiten 189195, 293207]. Dies sind gewohnlichFlachen mit einer einfachen analytischen Beschreibung, z.B. Quadriken [Fau86] oder Approxi-mationen von Freiform achen mit Bezier oder BSplineFlachen [New86, Kapitel 21]. Bei der achenorientierten Modellierung (engl. boundary representation) ist eine Bestimmung verdeck-ter Flachen und Linien des 3DObjekts und die Bestimmung des vom 3DObjekt eingenomme-nen Raumes nur dann moglich, wenn zusatzlich fur jede Flache bekannt ist, auf welcher Seitesich das Volumen des Korpers bendet. Dies kann, wie in [Xu90], durch die Orientierung derFlachennormalen vom Volumen des Korpers weg geschehen. Solche Flachenmodelle werden inder Literatur sowohl als Volumenmodelle [Xu90, Seite 19] als auch als Flachenmodelle [Bal82,Seiten 266268] eingeordnet. Bild 3.2(c) skizziert ein Flachenmodell des in Bild 3.2(a) darge-stellten 3DObjekts. Je nach Art der fur die Modellierung zugelassenen Flachentypen, ergibtsich auch hier das Problem, da die Darstellung nicht eindeutig ist.3.2.3 Volumenorientierte ModellierungDas Volumenmodell eines 3DObjekts (engl. volumetric representation) deniert die Ausdeh-nung des 3DObjekts durch Volumenelemente. Diese Denition kann durch die Zerlegung in
c)
KAPITEL 3. MODELLE DREIDIMENSIONALER OBJEKTE 25(a) (b) (c)Bild 3.2: (a) eine volumenorientierte, (b) eine kantenorientierte und (c) eine achenori-entierte Modellierung eines 3DObjektssowie die Bestimmung des vom Objekt eingenommenen Raumes unmoglich. Letzterer kann le-diglich naherungsweise durch Bildung der konvexen Hulle [Meh84a, Seite 93] der Punkte desModells geschatzt werden.3.2.2 Flachenorientierte ModellierungEin Flachenmodell enthalt die Darstellung der Flachen, die das Objekt begrenzen, durchFlachenelemente (engl. surfacepatches) [Shi87, Seiten 189195, 293207]. Dies sind gewohnlichFlachen mit einer einfachen analytischen Beschreibung, z.B. Quadriken [Fau86] oder Approxi-mationen von Freiform achen mit Bezier oder BSplineFlachen [New86, Kapitel 21]. Bei der achenorientierten Modellierung (engl. boundary representation) ist eine Bestimmung verdeck-ter Flachen und Linien des 3DObjekts und die Bestimmung des vom 3DObjekt eingenomme-nen Raumes nur dann moglich, wenn zusatzlich fur jede Flache bekannt ist, auf welcher Seitesich das Volumen des Korpers bendet. Dies kann, wie in [Xu90], durch die Orientierung derFlachennormalen vom Volumen des Korpers weg geschehen. Solche Flachenmodelle werden inder Literatur sowohl als Volumenmodelle [Xu90, Seite 19] als auch als Flachenmodelle [Bal82,Seiten 266268] eingeordnet. Bild 3.2(c) skizziert ein Flachenmodell des in Bild 3.2(a) darge-stellten 3DObjekts. Je nach Art der fur die Modellierung zugelassenen Flachentypen, ergibtsich auch hier das Problem, da die Darstellung nicht eindeutig ist.3.2.3 Volumenorientierte ModellierungDas Volumenmodell eines 3DObjekts (engl. volumetric representation) deniert die Ausdeh-nung des 3DObjekts durch Volumenelemente. Diese Denition kann durch die Zerlegung in
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.5-4
5: Interpretation von Bildern 5.5: Objekterkennung
Probleme
Fehler im Sensor
Ungenauigkeit durch Digitalisierung
Fehler in der Segmentierung
Unsicherheit der Zuordnung
→ Suchproblem
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.5-5
5: Interpretation von Bildern 5.5: Objekterkennung
(4,3) (4,4)
KreisKreisKreisKreis KreisKreisKreisKreisKreisKreis KreisKreisKreisKreisKreis
RechteckRechteckRechteckRechteck
GruppeGruppe
Figure 5.5-2: Suchproblem beim Erkennen eines Dominosteins
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.5-6
5: Interpretation von Bildern 5.5: Objekterkennung
Suchproblem der Analyse
m2m4
m1
m3
o1
o2
o3 o4
o5o6
o7
o8
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.5-7
5: Interpretation von Bildern 5.5: Objekterkennung
M’
NilP
NilM
P’
Figure 5.5-3: Association
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.5-8
5: Interpretation von Bildern 5.5: Objekterkennung
Menge der moglichen Zuordnungen
Suchbaum
Kombinatorische Explosion
Pruning benotigt
Erfordert Strategie
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.5-9
5: Interpretation von Bildern 5.5: Objekterkennung
Verstehen erfordert Wissen, das explizit in einer Wissensbasisgespeichert ist
Gutemaße der Segmentierung sind erforderlich
Suchproblem (Ungarischer Algorithmus, A∗–Graphsuche,dynamische Programmierung)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.5-10
5: Interpretation von Bildern 5.6: Semantic Web und Ontologien
Outline (Subsection Handout)
5: Interpretation von Bildern
Zusammenfassung 5.6: Semantic Web und Ontologien
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.6-1
5: Interpretation von Bildern 5.6: Semantic Web und Ontologien
Semantic Web
Modern
teilweise traditionelle Ideen neu aufbereitet
Beschreibungslogik
Deduktion
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.6-2
5: Interpretation von Bildern 5.7: Object Models
Outline (Subsection Handout)
5: Interpretation von Bildern
Zusammenfassung 5.7: Object Models
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-1
5: Interpretation von Bildern 5.7: Object Models
1. MODELLE
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-2
5: Interpretation von Bildern 5.7: Object Models
2D– und 3D–Modelle:Mit Objekterkennung werden hier zwei Teilaufgabenzusammengefasst, namlich die
Identifikation (oder die Klassifikation) — die Ermittlung derObjektklasse oder des symbolischen Klassennamens
Lokalisation — die Ermittlung der Lage im Raum (3D) oderin der Ebene (2D)Bei einem starren Korper erfordert das die Berechnung
fur den 3D–Fall — von 3 Koordinaten fur die Translation und3 Winkeln fur die Rotationfur den 2D–Fall — von 2 Koordinaten und 1 Winkel
EinModell enthalt die rechnerinterne Reprasentation derEigenschaften eines Objekts, die zu seiner Identifikation undLokalisation notwendig sind.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-3
5: Interpretation von Bildern 5.7: Object Models
Man unterscheidet
3D–Modelle — in dreidimensionalen Objektkoordinatensie modellieren das 3D–Objekt
2D–Modelle — in zweidimensionalen ObjektkoordinatenSie modellieren eine Ansicht (Projektion) des 3D–Objekts
Modelle konnen globale und/oder lokale Attribute (oder Merkmaleoder Eigenschaften) enthalten.lokale Ansatze sind nutzlich z. B. bei teilweisen Verdeckungen
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-4
5: Interpretation von Bildern 5.7: Object Models
Schematisiertes Beispiel:
-xo
3
yo
6zo
u
-xo
6yo
u
-xw
3
yw
6zw
BBBBM
αu!!!!!!!!
.............................................................................
.............................................................................
....................................................................
................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
...................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
...........................................................................................................................
-xp
6yp
αu
BBBBBBBBBBBBBBBBBB
-xw3yw
6zw
.........................................................................................
..........................................................................................
.............................................................
.......................................................................................................................................................................................................................
...........................................................................................................................................................................................................................................................................................................................................................................................................................................
............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
.....................................................................................................................................
....................................................................................................................................
-xp
6yp
BBBBBBBBB
BBBBBBBBB
BBBB
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-5
5: Interpretation von Bildern 5.7: Object Models
Modellstruktur (1):Ein ModelM hat (in der Bildanalyse)
einen symbolischen Namen T
Attribute oder Eigenschaften, Merkmale A
Teile P , die selbst Objektmodelle sind
Konkretisierungen K in Richtung auf die Daten
Spezialisierungen V zur kompakteren Darstellung
strukturelle Relationen S zwischen seinen Attributen oderdenen seiner Teile
Bewertung G von Instanzen
Instanzen, d. h. Auftreten im Bild
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-6
5: Interpretation von Bildern 5.7: Object Models
Modellstruktur (2):Es gibt spezielle Objektmodelle oder –teile ohne weitere Teile —dieses sind die atomaren ObjekteVoraussetzung:Segmentierung und Modelle sind so aufeinander abgestimmt, dassdie Segmentierungsobjekte atomare Objekte im Sinne derObjektmodelle liefern.Ansich ist obige Voraussetzung trivial — wir haben(stillschweigend) auch in BV1 stets angenommen, dass Merkmaleund Klassen in diesem Sinne
”zusammenpassen“
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-7
5: Interpretation von Bildern 5.7: Object Models
Beispiel (1):
Linie Flache
Haus hausMiets-
Dach
?
QQQQs
-*
konk
spez
teil
M =
(D : Haus,
A : (Laenge 7→ Fl),P : DachK : (Linie,Flaeche)V : Mietshaus,S(Dach ueber Giebel) 7→ F )∗,
(G 7→ F )
)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-8
5: Interpretation von Bildern 5.7: Object Models
von Objekten2D-Ansichten
ElektromotorenTeile von
Lufterflugel
Linie
kreisformig
gerade
Bewertung GRelationen SAttribute A
Lufterrad C
Nummer 1 ILufterrad
Signal fKamera
-modl
M-spez
V
?
konk K
-spez-
*
teil P
-inst
L
?konk· · ·
?konk
Modellschema Wissensbasis Ergebnisse
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-9
5: Interpretation von Bildern 5.7: Object Models
Beispiel (2): PKW
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-10
5: Interpretation von Bildern 5.7: Object Models
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-11
5: Interpretation von Bildern 5.7: Object Models
Beispiel (3): 2D Objekt
Grauwertbild Segmentierungsergebnis
2D Modell AnalyseergebnisWS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-12
5: Interpretation von Bildern 5.7: Object Models
Beispiel (4): 2D Ansichten eines 3D Objekts
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-13
5: Interpretation von Bildern 5.7: Object Models
Modelltypen:Wir unterscheiden zwei Typen von Modellen
1 Modelle, die exakte Definitionen der Zahl, Klasse undrelativen Lage der in ihnen enthaltenen Objekte geben
Thorax–RontgenaufnahmeGebaudegrundriss
hier variieren nur die Attribute der Modellelemente2 Modelle, die nur Restriktionen zu Zahl, Klasse und relativer
Lage von Objekten enthalten
StraßenverkehrSchaltplan
hier variieren Zahl, Attribute und Relationen derModellelemente
3 dazu kommen Mischtypen
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-14
5: Interpretation von Bildern 5.7: Object Models
2. STRATEGIEN
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-15
5: Interpretation von Bildern 5.7: Object Models
Problematik:ein 2D–Bild eines 3D–Objekts:Aufgabe : Klassifikation (Ωκ) von i. A. mehreren Objekten
und deren Lokalisation (R, t),(3 – 6 Freiheitsgrade)
Beispiel : Klassifikation und Lokalisation industrieller Teile
heuristische : κ = argminMλd(Mλ, A) + Suche
Losung hypothetisiere und teste
optimale : Rκ, tκ = argmaxRκ,tκ p(A|Bκ,Rκ, tκ)
Losung ⇒ globale Sucheκ = argmaxΩλ
P(Ωλ | A) : Bayes
keine Suche
Probleme : A, M, P, ⊆, Suche
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-16
5: Interpretation von Bildern 5.7: Object Models
Prototypefλ
-x3
y6z
1 2
345 6
7
8
Bild f
-x
3y6z
*
Aufgabe : Klassifikation (Ωκ) von i. A. mehreren Objektenund deren Lokalisation (R, t),(3 – 6 Freiheitsgrade)
Beispiel : Klassifikation und Lokalisation industrieller Teile
heuristische Lösung :κ = argminMλ d(Mλ,A) + Suche
hypothetisiere und teste
optimale Lösung : Rκ, tκ = argmaxRκ,tκp(A|Bκ, Rκ, tκ)
⇒ globale Sucheκ = argmaxΩλ P (Ωλ | A) : Bayeskeine Suche
Probleme : A, M, P , ⊆, Suche
...........................................................................
...........................................................................
............................................................................
..................................................................
..................................................................
....................................
....................................
..............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
............................................................................................................................................
....................................................................
............................................................................................................................................................................................
..................................................
......................................................................................................................................................................................................
............................................................................
...........................................................................
..........................................................
................................
...................... ................
45
98
1112
............................................................
........................................................................................................................................................................................................................................................................................................................................
.........................................
................................
.......................
...................................................................
................................
.......................
12
3...............................................................................................
.....................................................................................................................................................................................................................................................................................................................................................................................................................................................
......................................................................................................................................................................................................................
67
10
13
Mκ ?
...........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
...........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................1 2 3 4 5 6 7 8
A ?
...........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
...........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................4 5 6 7 8 9 10 11 12 13
.......................................................................................................................................................................................................................................................................................................................................................................................................................................
...............................................................................................................................................................................................................................
.......................................................................................................................................................................................
.............................................................................................................................................................................................................................................................................
..........................................................................................................................................................
..........................................................................................................................................................
......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
.........................................................................................................(R, t)κ
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-17
5: Interpretation von Bildern 5.7: Object Models
die drei prinzipiellen Strategien (1):daten–getriebene Strategie: (bottom–up, data–driven)
FOR alle Segmentierungsobjekte im segmentierten Bild
wahle ein Segmentierungsobjekt, z. B. eine lange Linie, einegroße Flache
suche Modell(e) mit ahnlichen Segmentierungsobjekten
erhohe Bewertung fur die Modelle, die das Segmentierungsob-jekt enthaltenu.U. erniedrige die Bewertung aller Modelle, die es nichtenthalten
nimm an, dass die Objekte im Bild enthalten sind, deren Bewertunguber einer Schwelle liegt
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-18
5: Interpretation von Bildern 5.7: Object Models
modell–getriebene Strategie: (top–down, model–driven)
FOR alle Modelle
wahle ein Modell und versuche es, im Bild zu verifizierenz. B. mit der verallgemeinerten Hough–Transformation (s.u.)oder durch Suche nach den Modellbestandteilen im Bild
berechne ein Maß der Ubereinstimmung zwischen Modell undBild
nimm an, dass die Objekte im Bild enthalten sind, deren Bewertunguber einer Schwelle liegtDie Lageschatzung ist hier nicht ausdrucklich Bestandteil derStrategie.In einfachen Fallen wird sie durch Speicherung von Modellen furverschiedene Ansichten bestimmt.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-19
5: Interpretation von Bildern 5.7: Object Models
Kombination der obigen beiden Strategien ergibt dieHypothetisiere–und–Teste Strategie: (hypothesize–and–test)
bestimme eine oder mehrere anfangliche Hypothesen oder Zuordnungen (Pi ∈Mκ; Oj ∈ A)dieses erfolgt auf Grund einiger weniger großer Teile
berechne Schatzwert a′′ der unbekannten Lageparameter a oder einiger Kom-ponenten von a
suche nach weiteren kompatiblen Zuordnungen (Pk ; Ol) und berechne damitfehlende Komponenten von a
Ende Hypothetisierungsphase -- Start Testphase
generiere eine vollstandige Liste von Zuordnungen mit den geschatztenParametern
IF Zahl der passenden Zuordnungen ist genugend groß
THEN nimm an, dass das vom Modell Mκ reprasentierte Objekt im Bildvorhanden ist
eliminiere die erfolgreich zugeordneten Segmentierungsobjekte Oj
UNTIL wenigstens p% der Segmentierungsobjekte sind zugeordnet
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-20
5: Interpretation von Bildern 5.7: Object Models
Die HT ist ein wichtiges Element in vielen Algorithmen zurObjekterkennung
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-24
9: Fourier Transformation
Outline
Zusammenfassung 9: Fourier Transformation
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9-1
9: Fourier Transformation 9.1: Eingangsbemerkungen
Outline (Subsection Handout)
9: Fourier Transformation
Zusammenfassung 9.1: Eingangsbemerkungen
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.1-1
9: Fourier Transformation 9.1: Eingangsbemerkungen
Alle Vektoren v ∈ IR2 konnen als Linearkombination geschrieben
werden
v = a1e1 + a2e2 , (9.1-1)
wobei die Koeffizienten a1, a2 ∈ IR. Der Vektorraum fur Polynomewird durch den unendlichen Raum der Monome xn|n ≥ 0generiert. Ein Polynom
h(x) =n∑
k=0
hk xk (9.1-2)
vom Grad n wird eindeutig durch seine n + 1 Koeffeizientenh0, h1, . . . , hn bestimmt.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.1-2
9: Fourier Transformation 9.1: Eingangsbemerkungen
empty
−10 −5 0 5 10
1
2
3
4
5
−10 −5 0 5 10
1
2
3
4
5
t t
f (t) = π − 29∑
k=1
cos(kt)
k2f (t) = π − 2
9∑
k=1
sin(kt)
k
Figure 9.1-1: Linearkombination trigonometrischer Funktionen
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.1-3
9: Fourier Transformation 9.2: Fourier-Reihen
Outline (Subsection Handout)
9: Fourier Transformation
Zusammenfassung 9.2: Fourier-Reihen
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.2-1
9: Fourier Transformation 9.2: Fourier-Reihen
Definition der Fourier Reihe:
f (t) =a0
2+∑
k≥1
(ak cos(kt) + bk sin(kt)) , (9.2-1)
Dirichlet:Unter gewissen Bedingungen konvergiert diese Serie gegen eineperiodische Funktion f (t).
Ergebnis: Jede periodische Funktion kann charakterisiert werdendurch die Koeffienten der Fourier Serie a0, a1, . . . und b1, b2, . . .
Problem: Wie findet man die Fourier Koeffizienten?
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.2-2
9: Fourier Transformation 9.2: Fourier-Reihen
Dazu multiplizieren wir beide Seiten von (9.2-1) mit cos(lt) undberechne das Integral uber [−π, π] fur die Ergebnisfunktion. Durchdie Orthogonalitat der trigonometrischen Funktionen, d. h., furganze Zahlen k und l ,
π∫
−π
sin(kt) cos(lt) dt = 0 und
π∫
−π
sin(kt) sin(lt) dt =
π∫
−π
cos(kt) cos(lt) dt =
0, wenn k 6= lπ,wenn k = l
,
Wir erhalten . . . die Euler Formeln.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.2-3
9: Fourier Transformation 9.2: Fourier-Reihen
Euler-Formeln: Sei die Funktion f (t) eine 2π–periodischeFunktion; Die Fourier-Koeffizienten lassen sich durch folgendeFormeln berechnen:
ak =1
π
π∫
−π
f (t) cos(kt) dt . (9.2-2)
bk =1
π
π∫
−π
f (t) sin(kt) dt . (9.2-3)
Diese Formeln heißen Euler Formeln.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.2-4
9: Fourier Transformation 9.2: Fourier-Reihen
Beispiel:
f (t) =
1, wenn 0 < t ≤ π2
−1, wenn π2 < t ≤ 3π
2
1, wenn 3π2 < t ≤ 2π
. (9.2-4)
ak =
0, wenn k gerade ist
4kπ sin
(kπ2
), sonst
. (9.2-5)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.2-5
9: Fourier Transformation 9.2: Fourier-Reihen
-1.5
-1
-0.5
0
0.5
1
1.5
-10 -5 0 5 10-1.5
-1
-0.5
0
0.5
1
1.5
-10 -5 0 5 10-1.5
-1
-0.5
0
0.5
1
1.5
-10 -5 0 5 10
Figure 9.2-1: Die ersten drei Summanden der Fourier Serie aus (9.2-4)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.2-6
9: Fourier Transformation 9.2: Fourier-Reihen
00−10 5 10
−1
−0.5
0.5
−5
..
f (t)
t
Figure 9.2-2: Uberlagerung der Funktionen aus Figure 9.2-1 und dreiweiteren Summanden der Serie
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.2-7
9: Fourier Transformation 9.3: Fourier-Transformation
Outline (Subsection Handout)
9: Fourier Transformation
Zusammenfassung 9.3: Fourier-Transformation
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-1
9: Fourier Transformation 9.3: Fourier-Transformation
Grundlegende Idee: Umschreiben der Fourier Serie mit komplexenZahlenEuler-Formel:
exp(±iφ) = cos φ± i sinφ , (9.3-1)
Damit werden die Sinus- und Cosinus- Terme umgeschrieben zu:
cos(kt) =1
2(exp(ikt) + exp(−ikt)) (9.3-2)
and
sin(kt) =1
2i(exp(ikt)− exp(−ikt)) . (9.3-3)
Einsetzen in die Fourier Serie
f (t) =1
2π
+∞∑
k=−∞
ckexp(ikt) , (9.3-4)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-2
9: Fourier Transformation 9.3: Fourier-Transformation
wobei:where
ck =
π(ak − i bk), wenn k ≥ 0
π(a|k| + i b|k|), sonst. (9.3-5)
Damit ergibt sich die komplexe Serie durch:
ck =
π∫
−π
f (t)exp(−ikt) dt . (9.3-6)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-3
9: Fourier Transformation 9.3: Fourier-Transformation
Fourier-Transformation
Annahme: Periodizitatsintervall von f (t) sei unendlich. DieSumme (9.3-4) wird zum Integralund die Koeffizienten ck werdenzu einer kontinuierlichen Gewichtsfunktion c(k) der Variable k .
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-4
9: Fourier Transformation 9.3: Fourier-Transformation
c(k) =
+∞∫
−∞
f (t)exp(−ikt) dt . (9.3-7)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-5
9: Fourier Transformation 9.3: Fourier-Transformation
Definition: Die Fourier-Transformation F (ξ) von f (t) ist definiertals:
F (ξ) =
+∞∫
−∞
f (t)exp(−iξt) dt = FTf . (9.3-8)
Beispiel
f (t) =
1 falls |t| < t00 sonst ,
(9.3-9)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-6
9: Fourier Transformation 9.3: Fourier-Transformation
-1.5
-1
-0.5
0
0.5
1
1.5
-10 -5 0 5 10-1.5
-1
-0.5
0
0.5
1
1.5
-40 -20 0 20 40-1.5
-1
-0.5
0
0.5
1
1.5
-40 -20 0 20 40
Figure 9.3-1: Kontinuierliche Funktion, Fourier Transformation undderen Absolutbetrag
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-7
9: Fourier Transformation 9.3: Fourier-Transformation
Inverse Fourier Transform I
f (t) =1
2π
+∞∫
−∞
F (ξ)exp(iξt) dξ . (9.3-10)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-8
9: Fourier Transformation 9.3: Fourier-Transformation
Inverse Fourier Transform II
Eigenschaften der Fourier-Transformation
Ortsbereich Frequenzbereich
Skalierung f (at) 1|a|F ( ξ
a)
Verschiebung f (t − t0) exp(−iξt0)F (ξ)
Symmetrie −1/(2π) · F (t) f (−ξ)
Ableitung dn f (t)/d tn (i ξ)n F (ξ)
Table 9.3-1: Einige Eigenschaften der Fourier-Transformation
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-9
9: Fourier Transformation 9.3: Fourier-Transformation
Inverse Fourier Transform III
Faltungstheorem:Falls
h(t) = f (t) ⋆ g(t) =
+∞∫
−∞
f (x) g(t − x) dx (9.3-11)
gilt fur die Fourier-Transformation
H(ξ) = F (ξ)G (ξ) , (9.3-12)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-10
9: Fourier Transformation 9.3: Fourier-Transformation
Inverse Fourier Transform IV
Beweis:
H(ξ) =
+∞∫
−∞
h(t)exp(−iξt) dt =
+∞∫
−∞
+∞∫
−∞
f (x) g(t − x) dx exp(−iξt) dt
=
+∞∫
−∞
f (x)
+∞∫
−∞
g(t − x)exp(−iξt)dt
dx
=
+∞∫
−∞
f (x) exp(−iξx)G (ξ) dx = F (ξ)G (ξ) . (9.3-13)
q.e.d.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-11
9: Fourier Transformation 9.3: Fourier-Transformation
Inverse Fourier Transform V
F (ξ) =H(ξ)G (ξ)
h(t) = f (t) ⋆ g(t)
H(ξ) = F (ξ)G (ξ)
f (t)
FT FT−1
Figure 9.3-2: Anwendung des Faltungstheorems
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.3-12
9: Fourier Transformation 9.4: Diskrete Fourier-Transformation
Outline (Subsection Handout)
9: Fourier Transformation
Zusammenfassung 9.4: Diskrete Fourier-Transformation
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.4-1
9: Fourier Transformation 9.4: Diskrete Fourier-Transformation
Zur Berechnung der FT eines diskreten Signalsf0, f1, . . . , fM−1, wird die diskrete FT benotigt.where µ ∈ [0, . . . M − 1]
Fν =
M−1∑
t=0
ft ·(exp(−i2π
ν
M))t
= DFTf . (9.4-1)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.4-2
9: Fourier Transformation 9.4: Diskrete Fourier-Transformation
Offensichtlich:
1 die diskrete FT ist linear und kann als Matrix angegebenwerden;
2 Fν ist eine Linearkombination der Nulldurchgange einesPolynoms
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.4-3
9: Fourier Transformation 9.4: Diskrete Fourier-Transformation
Berechnung der diskreten Fourier Transformation (DFT ) kanngeschrieben werden in Matrix-Form als:
xM − 1 = 0 (9.4-2)
Seien mtν = exp(−i2π tνM
) die Potenzen der Losungen dieserGleichung.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.4-4
9: Fourier Transformation 9.4: Diskrete Fourier-Transformation
Seien
m = exp(−i2π
M) (9.4-3)
und
mtν = exp(−i2πtν
M) (9.4-4)
die Potenzen der Gleichungslosung von oben. Die Wurzel m wirdgewohlich die M–te Einheitswurzel genannt, und wir wissen:Es gilt:
M−1∑
t=0
exp(−i2πt
M) = 0 . (9.4-5)
Mit Gleichung (9.4-1) fur ν = 0, 1, 2, . . . ,M − 1, erhalten wirfolgendes lineares Gleichungssystem:
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.4-5
9: Fourier Transformation 9.4: Diskrete Fourier-Transformation
DFT als Matrix:
F0
F1
F2...
FM−1
=
1 1 1 · · · 11 m m2 · · · mM−1
1 m2 m4 · · · m2(M−1)
......
......
...
1 mM−1 m2(M−1) · · · m(M−1)2
︸ ︷︷ ︸Dm
f0f1f2...
fM−1
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.4-6
9: Fourier Transformation 9.5: Complexe Zahlen
Outline (Subsection Handout)
9: Fourier Transformation
Zusammenfassung 9.5: Complexe Zahlen
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.5-1
9: Fourier Transformation 9.5: Complexe Zahlen
Berechnung von Potenzen komplexer ZahlenZerteilung in gerade und ungerade Potenzen
zn = z2n′ =(z2)n′
, (9.5-1)
for arbitrary numbers z .
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.5-2
9: Fourier Transformation 9.5: Complexe Zahlen
Noch einfacher
z = a + i b =√
a2 + b2exp(i arctan(b/a)) , (9.5-2)
zn =(√
a2 + b2)n
exp(i arctan(b/a) · n) . (9.5-3)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.5-3
9: Fourier Transformation 9.6: Invers diskrete Fourier Transformation
Outline (Subsection Handout)
9: Fourier Transformation
Zusammenfassung 9.6: Invers diskrete Fourier Transformation
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.6-1
9: Fourier Transformation 9.6: Invers diskrete Fourier Transformation
Was ist eine inverse FT?Antwort:
fn =1
M
M−1∑
ν=0
Fνexp(i2πνn/M) (9.6-1)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.6-2
9: Fourier Transformation 9.6: Invers diskrete Fourier Transformation
Die inverse FT DFT−1 kann durch Invertierung der Matrix Dm
berechnet werden. Weil die Komponenten von Dm als(Dm)u,v = muv berechnet werden, schließen wir
(Dm ·Dm−1)u,v =
M−1∑
t=0
mutm−tv
=
M−1∑
t=0
exp(− i2π
M· t(u − v))
=
M, falls u = v0, sont .
(9.6-2)
Die inverse FT ist ebenfalls linear
(Dm)−1 =1
MDm−1 , (9.6-3)
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.6-3
9: Fourier Transformation 9.6: Invers diskrete Fourier Transformation
wobei
Dm−1 =
1 1 1 · · · 1
1 m−1 m−2 · · · m−(M−1)
1 m−2 m−4 · · · m−2(M−1)
......
......
...
1 m−(M−1) m−2(M−1) · · · m−(M−1)2
(9.6-4)
Eigenschaften in Table 9.3-1 gelten auch fur die DFT
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.6-4
9: Fourier Transformation 9.7: 2–D Fourier Transform
Outline (Subsection Handout)
9: Fourier Transformation
Zusammenfassung 9.7: 2–D Fourier Transform
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.7-1
9: Fourier Transformation 9.7: 2–D Fourier Transform
Erweiterung der DFT auf 2-D
Fµ,ν =N−1∑
u=0
M−1∑
v=0
fu,vexp(−i2πuµ
N)exp(−i2π
vν
M)
=N−1∑
u=0
(M−1∑
v=0
fu,vexp(−i2πvν
M)
)exp(−i2π
uµ
N) .(9.7-1)
Strategy for DFT of an image:
1 Fourier transform each line
2 put the resulting vectors as lines into a matrix
3 Fourier transform each column of this matrix
4 put the resulting vectors as columns into a matrix
This will convert an input image into a complex matrix: its Fouriertransform
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 9.7-2
10: Literaturangaben
Outline
Zusammenfassung 10: Literaturangaben
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 10-1
11: References
S. Abrams, P.K. Allen, and K.A. Tarabanis. Dynamic sensorplanning. In Proceedings Workshop DARPA, pages 599–607,1993.
G. A. Agoston. Color Theory and Its Application in Art andDesign. Springer–Verlag, Berlin Heidelberg New York, 1987.
A. Alsam and Graham D. Finlayson. Recovering spectralsensitivities with uncertainty. In Proceedings of the Firstinternational Conference CGIV, pages 22–26, Poitiers, France,2002. The Society for Imaging Science and Technology.
Kobus Barnard and Brian V. Funt. Camera characterization forcolor research. Color Research and Application, 27(3):153–164, 2002.
Kobus Barnard, Lindsay Martin, and Brian V. Funt. A data set forcolor research. Color Research and Application, 27(3):148–152, 2002.
P.J. Besl and R.C. Jain. Three-dimensional object recognition.ACM Computing Surveys, 17:75–145, 1985.
Manfred Broy and Bernhard Rumpe. Modulare hierarchische
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
11: References
modellierung als grundlage der software- undsystementwicklung. Informatik Spektrum, 30(1), 2007.
G.A. Carpenter and W.D. Ross. ART-EMAP: A neural networkarchitecture for object recognition by evidence accumulation.IEEE Trans. on Neural Networks, 6:805–818, 1995.
Daniel DeMenthon and Larry S. Davis. Model-based object pose in25 lines of code. In ECCV ’92: Proceedings of the SecondEuropean Conference on Computer Vision, page 335 343,London, UK, 1992. Springer-Verlag.
Michel Dhome, Marc Richetin, Jean-Thierry Lapreste, and GerardRives. Determination of the attitude of 3d objects from asingle perspective view. IEEE Trans. Pattern Anal. Mach.Intell., 11(12):1265–1278, 1989.
Tom Drummond and Roberto Cipolla. Real-time visual tracking ofcomplex structures. IEEE Trans. Pattern Anal. Mach. Intell.,24(7):932 946, 2002.
S. Edelman. Representation without reconstruction. ComputerVision, Graphics, and Image Processing: Image Understanding,
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
11: References
60:92–94, 1994.Olivier D. Faugeras. Three-Dimensional Computer Vision: A
Geometric Viewpoint. MIT Press, Cambridge, Massachusetts,1993.
J. Fischer, H. Niemann, and E. Noeth. A real-time and any-timeapproach for a dialog system. In Proc. International WorkshopSpeech and Computer (SPECOM’98), pages 85–90, St.Petersburg, 1998.
Y. Genc, S. Riedel, F. Souvannavong, C. Akinlar, and NassirNavab. Marker-less tracking for ar: A learning-basedapproach. In Anne Jacobs, editor, ISMAR ’02: Proceedings ofthe first IEEE and ACM International Symposium on Mixedand Augmented Reality (ISMAR 2002), 30 September - 1October, Darmstadt, Germany, pages 295–304. IEEEComputer Society, 2002.
Rolf Gierling. Farbmanagement. Moderne Industrie Buch AG amp;Co. KG, Bonn2, 2001.
Rafael C. Gonzalez and Richard E. Woods. Digital Image
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
11: References
Processing. Prentice Hall, 2. edition, 2001.W.E.L. Grimson. Object Recognition by Computer: The Role of
Geometric Constraints. The MIT Press, Cambridge, MA, 1990.Xiaoxin Guo, Zhiwen Xu, Yinan Lu, and Yunjie Pang. An
application of fourier-mellin transform in image registration. InCIT, pages 619–623. IEEE Computer Society, 2005.
R.M. Haralick, H. Joo, C.N. Lee, X. Zhuang, V.G. Vaidya, andM.B. Kim. Pose estimation from corresponding point data. 19(6):1426–1446, 1989.
Richard I. Hartley and Andrew Zisserman. Multiple View Geometryin Computer Vision. Cambridge University Press, 2 edition,2003.
B. Heigl and H. Niemann. Camera calibration from extendedimage sequences for lightfield reconstruction. In WorkshopVision, Modeling and Visualization, page 43 50, Erlangen,Germany, 1999.
Benno Heigl, Mark Pollefeys, Reinhard Koch, and Luc J. Van Gool.Plenoptic modeling and rendering from image sequences taken
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
11: References
by a hand held camera. In Wolfgang Forstner, J.M. Buhmann,A. Faber, and P. Faber, editors, Mustererkennung 1999, pages94–101, Heidelberg, 1999. Springer Verlag.
Ewald Hering. Grundzuge der Lehre vom Lichtsinn. SpringerVerlag, Berlin, 1920. Sonderabdruck aus dem Handbuch derAugenheilkunde I. Teil XII. Kapitel.
A.K. Jain and P.J. Flynn, editors. Three-Dimensional ObjectRecognition Systems. Elsevier, Amsterdam, 1993.
Rakesh Kumar and Allen R. Hanson. Robust methods forestimating pose and a sensitivity analysis. CVGIP: ImageUnderst., 60(3):313 342, 1994.
Heinwig Lang. Farbwiedergabe in den Medien. Muster-SchmidtVerlag, Gottingen / Zurich, 1995.
Vincent Lepetit, Pascal Lagger, and Pascal Fua. Randomized treesfor real-time keypoint recognition. In Conference on ComputerVision and Pattern Recognition, San Diego, CA, pages775–781, 2005.
C.-E. Liedtke and M. Ender. Wissensbasierte Bildverarbeitung.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
11: References
Springer, Heidelberg, 1989.David G. Lowe. Distinctive image features from scale-invariant
keypoints. International Journal of Computer Vision, 60(2):91–110, 2004.
L. T. Maloney. Evaluation of linear models of surface spectralreflectance with small numbers of parameters. J. Opt. Soc.Am. A, 3:1673–1683, 1986.
’Eric Marchand, Patrick Bouthemy, Franccois Chaumette, andVal’erie Moreau. Robust real-time visual tracking using a2d-3d model-based approach. In International Conference onComputer Vision, pages 262–268, 1999.
Torsten Merz, Dietrich Paulus, and Heinrich Niemann. Featureextraction from interferograms for phase distribution analysis.In M. Kujawinska, G. Brown, and M. Takeda, editors, LaserInterferometry IX: Techniques and Analysis, pages 181–191.SPIE, 1998.
Christian Munzenmayer, Dietrich Paulus, and Thomas Wittenberg.A spectral color correction framework for medical applications.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
11: References
IEEE Transactions on Biomedical Engineering, 53(2):254–265, 2006.
Shree K. Nayar, Masahiro Watanabe, and Minori Noguchi.Real-time focus range sensor. IEEE Transactions on PatternAnalysis and Machine Intelligence, 18(12):1186–1198, 1996.
H. Niemann, H. Bunke, I. Hofmann, G. Sagerer, F. Wolf, andH. Feistel. A knowledge based system for analysis of gatedblood pool studies. Pattern Analysis and Machine Intelligence,7(3):246 – 259, 1985.
H. Niemann, G. Sagerer, S. Schroder, and F. Kummert. Ernest: Asemantic network system for pattern understanding. IEEETransactions on Pattern Analysis and Machine Intelligence, 9:883–905, 1990.
H. Niemann, V. Fischer, D. Paulus, and J. Fischer. Knowledgebased image understanding by iterative optimization. InG. Gorz and St. Holldobler, editors, KI 96: Advances inArtificial Intelligence, volume 1137 (Lecture Notes in ArtificialIntelligence), page 287 301. Springer, Berlin, 1996.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
11: References
Heinrich Niemann. Pattern Analysis and Understanding, volume 4.Springer Verlag, Heidelberg, 1990.
Heinrich Niemann. Klassifikation von Mustern, 2. uberarbeiteteund erweiterte Auflage im Internet. 2007.
J. Parkkinen, J. Hallikanen, and T. Jaaskelainen. Characteristicspectra of munsell colors. J. Opt. Soc. Am. A, 6:318–322,1989.
Dietrich Paulus, Joachim Hornegger, and L. Csink. Linearapproximation of sensitivity curve calibration. In K.-H. Franke,editor, 8. Workshop Farbbildverarbeitung, pages 3–10,Ilmenau, 2002. Schriftenreihe des Zentrums fquot;ur Bild- undSignalverarbeitung.
Piana and J.C. Brown. Optimal inversion of hard x-raybremsstrahlung spectra. Astron. Astrophys. Suppl., 132:291–299, 1998.
T. Pomierski and Horst-Michael Gross. Verfahren zurempfindungsgemaßen farbumstimmung. In Mustererkennung1995, 17. DAGM-Symposium, pages 473–480, London, UK,
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
11: References
1995. Springer-Verlag.Stefan Posch. Automatische Tiefenbestimmung aus
Grauwertstereobildern. Deutscher Universitats Verlag,Wiesbaden, 1990.
R.J. Prokop and A.P. Reeves. A survey of moment basedtechniques for unoccluded object recognition. ComputerVision, Graphics, and Image Processing: Graphical Models andImage Processing, 54(5):438–460, 1992.
Volker Rehrmann and Lutz Priese. Fast and robust segmentation ofnatural color scenes. In Roland T. Chin and Ting-Chuen Pong,editors, 3rd Asian Conference on Computer Vision (ACCV’98),number 1351, pages 598–606. Springer Verlag, 1998.
G. Sagerer. Darstellung und Nutzung von Expertenwissen fur einBildanalysesystem. Springer, Berlin, 1985.
Stephen J. Sangwine and R. E. N. Horne. The Colour ImageProcessing Handbook. Chapman Hall, London, 1998.
H. Stachowiak. Allgemeine Modelltheorie. Springer, 1973.P. Suetens, P. Fua, and A.J. Hanson. Computational strategies for
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
11: References
object recognition. ACM Computing Surveys, 24(1):5–61,1992.
Nicolas Thome, Djamel Merad, and Serge Miguet. Human bodypart labeling and tracking using graph matching theory. InAVSS ’06: Proceedings of the IEEE International Conferenceon Video and Signal Based Surveillance, page 38, Washington,DC, USA, 2006. IEEE Computer Society.
Carlo Tomasi and Takeo Kanade. Shape and Motion from ImageStreams: a Factorization Method, Full Report on theOrthographic Case. Technical Report CMU-CS-92-104,Carnegie Mellon University, 1992.
Hermann von Helmholtz. Handbuch der Physiologischen Optik.Verlag von Leopold Voss, Leipzig.
Johannes von Kries. Handbuch der Physiologie des Menschen,volume 3, pages 109–282. Friedrich Vieweg amp; SohnVerlag/GWV Fachverlage GmbH, Braunschweig, 1920.
H. Wang and S.-F. Chang. A highly efficient system for automaticface region detection in mpeg video. IEEE Transactions on
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
11: Literaturangaben
Circuits and Systems for Video Technology, 7(4):615–628,1997.
Gunter Wyszecki and W. S. Stiles. Color Science: Concepts andMethods, Quantitative Data and Formulas. Wiley, secondedition, 1982.
Xuemei Zhang and Brian A. Wandell. Color image fidelity metricsevaluated using image distortion maps. Signal Processing, 70(3):201–214, 1998.
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 11-0
12: Tabellen
Outline
Zusammenfassung 12: Tabellen
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 12-1
12: Tabellen 12.1: Notation
Outline (Subsection Handout)
12: Tabellen
Zusammenfassung 12.1: Notation
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 12.1-1
13: Tabellen Notation
pi Punkt, page 118
pi Punkt, page 118
x i Bildkoordinaten x bezogen auf Bildmittelpunkt, page 118
y i Bildkoordinaten y bezogen auf Bildmittelpunkt, page 118
ow Optisches Zentrum, page 118
xw eukl. X (Bildkoord.), page 118
yw eukl. Y (Bildkoord.), page 118
zw eukl. Z (Bildkoord.), page 118
F Kamerakonstante, page 118
H Hauptpunkt, page 118
M Bildmittelpunkt, page 118
c′ HM: Projektionszentrum, page 128
κ Index for Classes, page 224
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 13-0
13: Tabellen Notation
Pper Projection model matrix, page 113
ρ Reflexions–Koeffizient, page 166
Θ Verzeichnungswinkel, page 129
c Focal point, page 128
c1 Focal point left, page 8
c2 Focal point left, page 8
A Matrix of E and S terms, page 169
c Merkmal, page 224
dx Pixel Size X, page 47
dy Pixel Size Y, page 47
E Spektrale Energieverteilung der Licht-quelle, page 166
G Matrix for enforcing constraints, page 172
H Hauptpunkt, page 117
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 13-1
13: Tabellen Notation
kx Skalierte Brennweite fur x , page 130
ky Skalierte Brennweite fur y , page 130
L Anzahl Frequenzen, page 168
M Bildzentrum, page 116
P HM: Raumpunkt, page 128
s Scale Factor, page 121
R rotmatrix, page 115
c Kamerakoordinatensystem, page 8
i Bildkoordinatensystem, page 8
p Rechnerkoordinatensystem, page 8
w Weltkoordinatensystem, page 8
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 13-2
13: Tabellen 13.1: Index
Outline (Subsection Handout)
13: Tabellen
Zusammenfassung 13.1: Index
a
aTextvorschlage bitte schicken an [email protected]
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 13.1-1
13: Tabellen 13.1: Index
Index I
augmented reality, 300132
Blooming, 300059
CCD, 300054
CCIR, 300048, 300052
CMOS, 300054
coordinate system
- camera, 300116
- image, 300116
- object, 300116
- pixel, 300116
- world, 300116
correlation coefficient, 300344
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 13.1-2
13: Tabellen 13.1: Index
Index II
covariance, 300342
covariance matrix, 300342
density, 300329
DFT, 300371
Dunkelstrom, 300045, 300059
estimation
- pose, 300132
Euler’s formula, 300352
Fahrzeugnavigation, 300132
Fourier
- series complex, 300359
function
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 13.1-3
13: Tabellen 13.1: Index
Index III
- density, 300329
Gauss
- distribution, 300330
Hough transform, 300279
information, 300338
Interlace, 300054
Kegelschnitt, 300132
kernel, 300311
linear
- composition, 300349
Luminanz, 300158
moment
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 13.1-4
13: Tabellen 13.1: Index
Index IV
- absolute, 300336
NTSC, 300048, 300052
nullspace, 300311
Orientierungsverfahren, 300132
PAL, 300048, 300052
Photonenrauschen, 300059
polynomial, 300349
Progressive scan, 300054
Quantisierungsrauschen, 300059
Retina, 300064
root of unity, 300371
SECAM, 300048
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 13.1-5
13: Tabellen 13.1: Index
Index V
Unbuntachse, 300153
Ungenauigkeit, 300062
Unsicherheit, 300062
Unwissenheit, 300062
vector space, 300349
Verteilung
- Normal-, 300059
- Poisson, 300059
WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 13.1-6