Post on 20-Sep-2019
Sledovanie pohybu očí
http://vret.ces.clemson.edu/sigcourse/
SIGGRAPH 2000 Course 05: Eye-Based Interaction in
Graphical Systems: Theory & Practice
www.cs.uta.fi/hci/ieye/html/docs/intro.ppt
Introduction to Eye Tracking
Videnie Zorné pole:
Centrálne videnie – najostrejšie (1-2 stupne)
Mimocentrálne videnie – zaisťuje priestorové videnie (30 stupňov) Periférne videnie – reaguje na blikajúce objekty a náhly pohyb (15-50% ostrosti centrálneho videnia, nerozpoznáva farby)
1 15 25
S – veľkosť objektu
D – vzdialenosť
Zorný uhol
D
SV
2arctan2
http://en.wikipedia.org/wiki/Visual_angle
Pohyby očí
Oči sa hýbu stále (aj počas spánku)
Rôzne typy pohybov
Sledovanie
Chvenie
Otáčanie
Drift
Najzaujímavejšie sú
Fixácie
Kmity
Fixácie Obdobie relatívnej stability, počas ktorého vnímame objekty
Relatívna stabilita: oko nie je nehybné, ale mierne driftuje (v rámci 1 stupňa), vracia sa skokmi – mikrosakádami
Informáciu o scéne dostávame len počas počas fixácií
Trvanie 120-1000 ms, väčšinou okolo 200-600 ms
Nasledované kmitmi – sakádami
Kmity - sakády
Skoky spájajúce fixácie
Veľmi krátke – trvajú 40-120 ms
Veľmi rýchle (až do 600o/s), vizuálny systém je nefunkčný počas pohybu
V priebehu kmitu sa nedá meniť jeho smer alebo koncový bod, tieto sú určené pred začatím kmitu
Pri kmitoch väčších ako 30 stupňov sa hýbe aj hlava
Metódy sledovania pohybov oka
Elektronické
Mechanické
Videometódy
Jednobodové
Dvojbodové
Elektronické metódy
Elektródy na koži okolo oka
merajú potenciálové zmeny v
oku
Slabá presnosť
Zachytáva lepšie relatívne
pohyby
Použitie pri neurologickej
diagnostike -
elektrookulografia
Mechanické metódy
Kontaktné šošovky Cievka v magnetickom poli
Veľmi presné
Veľmi nepríjemné
Rozdiel medzi MM a VM 0.56°, 0.78° and 0.18°
v troch smeroch
Jednobodové videometódy
Sledovanie jednoho objektu vo videu:
Zrenička
Dúhovka
SW analyzuje videosignál a sleduje vybraný objekt
Kalibračná procedúra
Prenosný, neprenosný
zrenička
dúhovka
Dvojbodové videometódy
Sledujú dva objekty Zrenička + odraz na rohovke
IR svetlo Odraz na rohovke
Zvýraznenie zreničky
Výrazná zrenička
Odraz na rohovke
Odraz na rohovke
Purkiňove obrázky
Odraz na
1. Prednej strane rohovky
2. Zadnej strane rohovky
3. Prednej strane šošovky
4. Zadnej strane šošovky
Väčšina systémov sleduje 1.
Odraz na rohovke Poloha odrazu voči zreničke určuje smer pohľadu
kalibrácia
http://sunburst.usd.edu/~schieber/eyetracking/ets/ets-calibration.html
Termíny
Presnosť Očakávaný rozdiel medzi skutočnou pozíciou oka a vypočítanou
Väčšinou do 1°
Priestorové rozlíšenie Najmešia zachytiteľná zmena pozície oka (0.03-0.2°)
Časové rozlíšenie Počet zachytených pozícií oka za sekundu (30-500Hz)
Spracovanie dát
Dáta priamo z eye-trackera nepoužiteľné
Treba ich analyzovať, vizualizovať
Analýza Nájsť oblasti náhlej zmeny
Fixácia/kmit
Kmit/fixácia
Príklad pohybu oka v x-ovom smere
dispersion threshold – 1/2° až 1° zorného uhla (ak poznáme vzdialenosť k obrazovke)
duration threshold – 100 až 200 ms
Vizualizácia Teplotné mapy
3 fixacie
17 fixacii
Fixation Maps: Quantifying Eye-
movement Traces
David S. Wooding
Prahovanie
Teplotné mapy
Paul Cairns, York University
Paul Cairns, York University
Teplotné mapy
http://www.grokdotcom.com/2009/04/08/doesnt-graphic-designlayout-affect-scanning-patterns/
Miera rozdielnosti teplotných máp
Kullback-Leiblerova divergencia
Teplotná mapa = hustota pravdepodobnosti
Kruhy označujú fixácie
Polomer určuje dobu strávenú pri danej fixácii
Čiarou spojené kruhy – trajektória, časová postupnosť fixácií, určuje sakadický pohyb
Trajektória pohľadu s fixáciami
http://gurneyjourney.blogspot.sk/2009/11/do-artists-see-differently.html
Trajektória pohľadu - použitie
Fixácie určujú, kam sa človek pozerá,
ale nie, či daný obraz vníma
http://web.kennesaw.edu/news/stories/eyes-have-it
HDR
Dynamický rozsah Pomer maximálnej a minimálnej hodnoty merania
Scéna: pomer najjasnejšieho a najtmavšieho miesta v scéne
Fotoaparát: pomer nasýtenia (pretečenia senzoru) a šumu
Displej: pomer maximálnej a minimálnej vyžarovanej
intenzity
Správna expozícia scény záleží na obsahu
scény a dynamickom rozsahu
Scéna s vysokým dynamickým rozsahom
Histogram log-intenzít scény
Na fotku dokážeme preniesť 1.8 log-jednotiek
Digitálna úprava “dodge-and-burn”
1850 Gustave Le Gray
Kombinácia dvoch negatívov
Ansel Adams
Clearing Winter Storm, Yosemite National Park
pred 1942
Burning In
stmavenie časti fotografie
Dodging
zjasnenie časti fotografie
prekrytie miest, na ktoré
nemá dopadať toľko svetla
pri vyvolaní
Dynamický rozsah fotoaparátu
CCD chip 1:1000
čas 1:100
clona ~1:100
citlivosť (ISO) ~1:10
Celkový operačný rozsah 1:100,000,000
Jediný obrázok 1:1000
http://www.ephoto.sk/fotoskola/clanky/zaciname-s-fotografovanim/m---manualny-expozicny-rezim/
EV =
EV+1 … s/2 alebo a/√2
EV-1 … 2*s alebo a*√2
Fixná clona a => rovnaká hĺbka ostrosti
Expozičný čas:
¼, 1/8, 1/15, 1/30, 1/60, 1/125, 1/250, 1/500, 1/1000 sec
V skutočnosti:
¼, 1/8, 1/16, 1/32, 1/64, 1/128, 1/256, 1/512, 1/1024 sec F3.2 F9.0
Clonové číslo je pomer ohniskovej vzdialenosti optickej
sústavy k priemeru vstupnej šošovky.
• jj
Mapovanie osvetlenia scény na hodnoty intenzity – krivka
reakcie na svetlo
Nie je známa, líši sa podľa výrobcu, modelu, fotoaparátu...
Zvýšenie DR
Technika viacerých expozícií
– využíva operačný rozsah
– kombinuje viacero fotiek do jednej
Problémy:
– neznáma reakcia fotoaparátu
na svetlo
– neznáma šumová charakeristika
vstup: fotky scény z rovnakého miesta s rôznymi časmi
expozície Δtj
predpoklad: scéna je statická, proces snímania je rýchly =>
osvetlenie scény v bode i: Ei je konštantné
Zij – hodnota intenzity v bode i pri čase Δtj
Recovering High Dynamic Range Radiance
Maps from Photographs
Paul E. Debevec, Jitendra Malik, 1997
minimalizujeme
g(z) – v blízkosti Zmin a Zmax bude strmá
Dôraz na hladkosť v strede krivky
kvôli hladkosti krivky g(z)
stredná intenzita zodpovedá
jednotkovej expozícii
Neznáme:
Ei
g(zij)
len N bodov
v P fotografiách
Správne určený systém rovníc
N(P - 1) > (Zmax – Zmin)
ak (Zmax - Zmin) = 255, P = 11
N ≥ 50
Výber bodov: vhodné rozloženie intenzít z intervalu Zmin to Zmax
zároveň vhodne priestorovo rozložené v obraze v oblastiach
relatívne konštantnej intenzity
Výber bodov pomocou kumulatívneho histogramu -
percentily
Bez podmienky
Robustnejší odhad: použijeme váhovú funkciu a viac fotiek
Určenie osvetlenia ľubovoľnej scény pomocou získanej funkcie g
Z 1 obrazu
RGB
K
k
k
k ZcZf0
)(
2
1
1
1 1 1
1,1,,
N
i
P
j
K
k
K
k
k
jikjj
k
jik ZcRZc
)(
)(
1,
,
1,
ji
ji
jjZf
ZfR Podiel expozícií
N
iK
k
k
ji
m
k
K
k
k
ji
m
km
jj
Zc
ZcR
10 1,
)(
0 ,
)(
)(
1,
)()( 1,
)(
,
)(
ji
m
ji
m ZfZf
Vypočítame pre K ≤ 10, vyberieme najlepší
HDR formáty
RADIANCE
RGBE Format
http://radsite.lbl.gov/radiance/
SGI
LogLuv Format
Sam Leffler's TIFF library
http://www.anyhere.com/gward/pixformat/tiffluv.html
Industrial Light and Magic's
OpenEXR
http://www.openexr.net/
Pixar
Log Format
Sam Leffler's TIFF library
ftp://ftp.sgi.com/graphics/tiff/
http://www.pixar.com/
RGBE
3×8 bitov pre mantisy hodnôt jednotlivých
farevných kanálov
8 bitov pre spoločný exponent
LogLuv 24
lookup tabuľka: 0=najmenšie v vo viditeľnom
gamute, potom zľava doprava zdola
nahor. Krok pre u aj v 0.0035, pokryje
gamut v 214 hodnotách
LogLuv32
8 bitov na u a v zabezpečí dostatočne
malý krok kvantizácie
OpenEXR
16-bit Half floating-point type
Pixar log
33-bit/pixel, 11 bitov pre R,G,B, logaritmické
mapovanie, pokryje gamut filmu
8 rádov
0.2
0.3
0.06
(Source: http://www.anyhere.com/gward/hdrenc/)
24-bit LogLuv 32-bit LogLuv EXR RGBE
XYZE scRGB scRGB-nl scYCC-nl
(Source: http://www.anyhere.com/gward/hdrenc/)
# sférické HDR
obrázky
(360° x 180°)
# 26 EV rozsah
jedného skenu
# 50 megapixlov
Radiance (.hdr) a
OpenEXR (.exr)
http://www.spheron.com
hardware
• jj
Sony Pictures Imageworks use
Spheron Cameras in latest VFX
Productions
http://www.youtube.com/watch?v=
Luprwm9JOi4
# sférické HDR
obrázky
(360° x 180°)
# 28 EV rozsah
jedného skenu
# 100 megapixlov
96 Bit TIFF RGB
http://www.weiss-ag.org/
Civetta
HDR
Čo s tým
ďalej?
•Over 3,000 cd/m2 brightness
•0.015 cd/m2 black level
•Contrast ratio > 200,000:1
•High-definition 1,920 x 1,080
•37-inch screen
•16 bits per color
Brightside DR37-P
teraz Dolby
prototyp
príkon ~ 1600W,
hmotnosť ~ 70kg
cena ~ 49000 USD
SIM2 HDR47E S 4K
Technology HDR LCD Display with individually
controlled LED backlight modulation
Resolution 1920 x 1080 pixels
Display size 47”
Panel aspect ratio 16:9
Number of real
colours 16 bit per channel
Number of LED 2202
Brightness 4000 cd/m2
ANSI Contrast >20.000:1
FULL ON/OFF
Contrast
virtually infinite
(>1.000.000:1)
White point 6500K (totally adjustable
5000k–9000k)
LED B.L.U. life time 50.000 hours
Tone Mapping
10-6 106
10-6 106
High dynamic range
0 to 255
Tone Mapping
Typy operátorov
Globálne
Rovnaká nelineárna krivka aplikovaná na všetky body obrazu
Lokálne
Adaptačná krivka je rôzna pre každý bod podľa jeho okolia
Frekvenčné
DR je menený podľa frekvencií obsiahnutých v obraze
Gradientné
Mení sa derivácia obrazu
A review of tone reproduction techniques
Kate Devlin DCS, University of Bristol, 2002
Globálny Operátor
Adaptive Logaritmic Mapping For
Displaying High Contrast Scenes.
Drago, Myszkowski, Annen, Chiba, 2003
A Contrast-based Scalefactor for
Luminance Display
Ward, 1994
Reinhard, 2002
Zonálny systém Ansela Adamsa
Photographic Tone Reproduction
for Digital Images
Reinhard et al. 2002
Kľúč: subjektívna miera svetlosti obrazu
Log priemer:
Osvetlenie preškálované vzhľadom na kľúč:
Dodging and Burning
center-surround funkcia
Gradient Domain HDR Compression
Fattal et al., 2002
Jednoduchá myšlienka
Identifikácia veľkého gradientu v rôznych škálach
Progresívne zoslabenie veľkosti gradientu
Rekonštrukcia obrazu z nového gradientu
From: High Dynamic Range Capture and Tone Mapping, Grzegorz Krawczyk
Mapa potlačenia
http://www.cs.huji.ac.il/~danix/hdr
Gaussovská pyramída
Škálové funkcie potlačenia
Konštrukcia výslednej funkcie
),( yxHk
Perception Motivated Hybrid Approach
to Tone Mapping
Martin Čadík, 2007
Enhancement map
Fast Bilateral Filtering for the Display of HDR Images
Frédo Durand & Julie Dorsey
Fast Bilateral Filtering
[Tomasi a Manduchi 1998]
Detail
Farba
Intenzita Báza
Rýchly
bilaterálny
filter
Redukcia
kontrastu
Detail
Báza
Farba
zachováme
Vstupné HDR výsledok
Detail = Intenzita – báza
Time-dependent visual adaptation for realistic
image display
Pattanaik, Tumblin, Yee, Greenberg, 2000
multi-scale observer
operator
attempts to model all
steps within the human
visual system currently
known well enough to
be modelled
http://www.mpi-inf.mpg.de/resources/tmo
Adaptive Logarithmic Mapping for Displaying High Contrast Scenes
F. Drago, K. Myszkowski, T. Annen, and N. Chiba, 2003
Time-Dependent Visual Adaptation for Realistic Image Display S.N. Pattanaik, J. Tumblin, H. Yee, and D.P. Greenberg, 2000
Dynamic Range Reduction Inspired by Photoreceptor Physiology E. Reinhard and K. Devlin, 2004
Photographic Tone Reproduction for Digital Images E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, 2002
Fast Bilateral Filtering for the Display of High-Dynamic-Range Images F. Durand and J. Dorsey, 2002
A Tone Mapping Algorithm for High Contrast Images M. Ashikhmin, 2002
Gradient Domain High Dynamic Range Compression R. Fattal, D. Lischinski, and M. Werman, 2002
A Perceptual Framework for Contrast Processing of HDR Images R. Mantiuk, K. Myszkowski, and H.-P. Seidel, 2006
tone mapping:
upravenie intenzity
gamut mapping:
upravenie farieb
Gamut = rozsah farieb, ktoré dokáže
zariadenie zobraziť, alebo rozsah farieb v
obraze
Mapovanie gamutu:
Napr. Prevod farieb
obrazu do farieb
zobraziteľných
tlačiarňou
Gamut CRT monitora (drôtený model)
Gamut rôznych tlačiarní (pevné teleso)
CIELAB space
Deskriptor hranice gamutu
Gamut mapping algoritmy
globálne GMA
– Kompresia gamutu
– Orezanie gamutu
lokálne GMA
– Závisí od okolitých bodov
– Zachováva detaily
Typy mapovania
Orezanie gamutu
Mení body len mimo gamutu
Kompresia gamutu
Mení body aj vnútri
Orezanie
Ortogonálne
Radiálne
Horizontálne (C)
Vertikálne (L)
L+C
Kompresia Lineárna kompresia L
Lineárna kompresia C
Nelinárna kompresia C
Radiálna kompresia
L+C