Treści multimedialne - kodowanie, przetwarzanie, prezentacja
Andrzej Majkowski
1 informatyka +
Program wykładu
1. Dźwięk w przekazie multimedialnym
2. Obraz w multimediach
3. Budowa wyświetlaczy LCD
informatyka + 2
informatyka + 3
Multimedia
• Multimedia to media, które wykorzystują różne formy informacji oraz różne formy ich przekazu w celu dostarczania odbiorcom informacji lub rozrywki.
• Prezentacje multimedialne mogą być odbierane na żywo, wyświetlane, transmitowane lub odtwarzane w dowolnym miejscu.
• Termin „multimedia” jest niejednoznaczny.
informatyka + 4
Multimedia – formy przekazu
• Wykorzystywane formy przekazu to tradycyjne: tekst
• Tekst może być wzbogacony innymi środkami przekazu, z których najważniejsze to:
– dźwięk,
– obraz: grafika, animacja, wideo
• Te dwie formy będą dokładniej omówione w dalszej części prezentacji
Co to jest dźwięk ?
Fala dźwiękowa rozchodzi się jako podłużna fala akustyczna w danym ośrodku sprężystym: gazie, płynie. W ciałach stałych, takich jak metale, występuje również fala poprzeczna.
Dźwięk, jako drgania cząsteczek, charakteryzuje się tym, że cząsteczka pobudzona przekazuje energię cząstce sąsiedniej, a sama drga wokół własnej osi. Skutkiem tego są lokalne zmiany ciśnienia ośrodka rozchodzące się falowo.
informatyka + 5
Dźwięk
informatyka + 6
• W powietrzu w temperaturze otoczenia 20oC prędkość dźwięku wynosi ok. 345 m/s.
• Zakres częstotliwości od 20 Hz do 20 kHz jest zakresem częstotliwości słyszalnych (fonicznych, audio).
• Fala o częstotliwości 20 Hz ma długość 17,25 m. Fala o częstotliwości 20 kHz ma długość 1,72 cm.
• Dźwięki o częstotliwości mniejszej od 20 Hz są nazywane infradźwiękami, zaś o częstotliwości większej od 20 kHz – ultradźwiękami.
Zakres słyszalności
informatyka + 7
informatyka + 8
Komputerowa edycja dźwięku
• Zastosowanie w komputerach kart dźwiękowych umożliwiło łatwą i jednocześnie zaawansowaną obróbkę sygnałów dźwiękowych na potrzeby prezentacji multimedialnych
informatyka + 9
Karty dźwiękowe
• W 1987 r. powstaje pierwsza karta dźwiękowa firmy AdLib, wyposażona w złącze ISA .
• Sercem karty był procesor Yamaha YM3812.
• Karta mogła odtwarzać 9 kanałów jednocześnie albo 11 (polifonia) w tym 5 kanałów przeznaczonych na instrumenty perkusyjne.
• Dźwięk był generowany na zasadzie syntezy FM (Frequency Modulation), jako wynik mieszania pary fal o określonych kształtach.
informatyka + 10
Karty dźwiękowe
• W 1988 r. firma Creative Music Systems (dzisiaj Creative Labs) zaproponowała klientom pierwszą w swoim dorobku kartę ISA, tj. Game Blaster.
• Była to nowsza wersja dotychczas produkowanego syntezatora C/MS.
• Karta odtwarzała 12 kanałów z regulowanym poziomem głośności oraz 3 kanały perkusyjne.
• Dźwięk stereo.
• Przeznaczona była dla użytkowników gier.
informatyka + 11
Karty dźwiękowe
• Pierwszą kartę z serii Sound Blaster wyprodukowano w 1989r. Karta zawierała syntezator FM, odtwarzała dźwięk mono z rozdzielczością 8 bitów.
• Karty Sound Blaster 16 i moduł Wave Blaster wprowadzono na rynek w 1992r. Karta mogła odtwarzać i zapisywać dźwięk (stereo) z częstotliwością 44,1kHz w 16 bitowej rozdzielczości. Istniała możliwość podłączenia modułu Wave Blaster, który posiadał 4MB próbek dźwięków.
• W 1994 r. wprowadzono nowy model karty Sound Blaster AVE32, z którym zintegrowano moduł Wave Blaster.
• W 1998 r. opracowano kartę Sound Blaster Live!, która umożliwiała uzyskanie dźwięku 4-kanałowego i dysponowała technologią EAX (symulacja dźwięku w różnych środowiskach).
informatyka + 12
Budowa kart dźwiękowych
1. Generator dźwięku - występował w starszych kartach i był to zazwyczaj generator FM oraz generator szumu, służył do sprzętowego generowania dźwięków za pomocą modulacji i łączenia fal oraz szumu.
2. Pamięć ROM lub półprzewodnikowa typu „flash” – umożliwia przechowywanie danych (np. próbek wykorzystywanych do syntezowania dźwięku).
3. Przetworniki a/c i c/a - umożliwiające rejestrację i odtwarzanie dźwięku.
4. Mikser dźwięku - służy do łączenia sygnałów dźwięku z różnych źródeł, generatorów dźwięku, przetworników c/a, wejść zewnętrznych, itp.
informatyka + 13
Budowa kart dźwiękowych cd.
5. Wzmacniacz wyjściowy - służy do podłączenia słuchawek lub dopasowania linii wyjściowych przetwornika c/a.
6. Interfejs do komputera - służący do komunikacji i wymiany danych z kartą dźwiękową, zazwyczaj ISA, PCI lub USB.
7. Procesor DSP - służy do cyfrowej obróbki dźwięku, np. nakładania efektów.
8. Interfejs MIDI - służy do podłączania do komputera cyfrowych instrumentów muzycznych.
informatyka + 14
Karty dźwiękowe
Sound Blaster® Audigy™ 2 ZS Platinum Pro
• Karta PCI z zewnętrznym interfejsem
• Dolby Digital 7.1, - próbkowanie: 24bit/96kHz
• wejście i wyjście S/PDIF: 2x RCA i 2x Toslink
• wyjścia liniowe: 3x stereo, - wejścia liniowe: 3x stereo
• wejście mikrofonowe
• wejście i wyjście MIDI
• wyjście słuchawkowe,
• złącza FireWire
Formaty zapisu i przechowywania plików multimedialnych
Kontenery multimedialne umożliwiają przechowywanie różnego rodzaju danych: dźwięku, obrazów, filmu, napisów, informacji o rozdziałach itp. w wielu formatach.
Przykładami kontenerów multimedialnych są:
• AVI (standardowy kontener systemu Windows)
• Advanced Systems Format (standardowy kontener dla multimediów pakietu Windows Media - WMA oraz WMV)
• OGG (bezpłatny kontener dla multimediów strumieniowych wysokiej jakości)
• MPEG-4 Part 14 (standardowy kontener AV dla MPEG-4)
informatyka + 15
Kodowanie PCM
informatyka + 16
Metoda PCM polega na reprezentacji wartości chwilowej sygnału
(próbkowaniu) w określonych (najczęściej równych) odstępach czasu,
czyli z określoną częstością (tzw. częstotliwość próbkowania).
Kodowanie PCM - kwantyzacja
Wartość chwilowa sygnału jest przedstawiana za pomocą słowa kodowego, którego wartości odpowiadają wybranym przedziałom kwantyzacji sygnału wejściowego.
informatyka + 17
Inne metody cyfrowego kodowania dźwięku
informatyka + 18
Mp3 – Standard MPEG-1 - "Layer3„
Ogg Vorbis
Mp4 (MPEG-4 Part14) ?
AAC
Usprawnienia względem starszych algorytmów kompresji dźwięku
• próbkowanie 8-96 kHz (MP3 16-48 kHz)
• do 48 kanałów (MP3 2 kanały w standardzie MPEG-1 i 5.1 w standardzie
MPEG-2)
• skuteczniejszy i wydajniejszy
• lepsze przenoszenie częstotliwości ponad 16 kHz
• lepszy tryb kompresji sygnału stereofonicznego joint-stereo
Co to jest obraz cyfrowy?
• Sygnały świetlne docierające do oczu są zamieniane na cechy takie jak kształt, kolor, czy wzajemne relacje przestrzenne obiektów.
• Obrazy cyfrowe reprezentują te same sceny wizualne w postaci dwuwymiarowych tablic pikseli.
• Technika cyfrowa umożliwia przeprowadzenie szeregu operacji obróbki obrazu, w tym także działań niewykonalnych tradycyjnymi metodami przy pomocy filtrów optycznych lub analogowej elektroniki.
informatyka + 19
Jak widzimy ?
• Rejestracja promieniowania świetlnego jest realizowana na siatkówce oka.
• Siatkówkę oka można przyrównać do pewnego rodzaju światłoczułej matrycy, na której znajdują się receptory widzenia – pręciki i czopki.
informatyka + 20
Początki
informatyka + 21
• Lata 1939÷45 - systemy rozpoznawania wojskowego, wykorzystanie podwyższania jakości obrazu fotograficznego (dystorsja, nieostrość, kontrast)
• Początek lat 60. XX wieku - początki cyfrowego przetwarzania obrazu na potrzeby NASA (misje Ranger’a)
Początki
informatyka + 22
Lata 60. XX wieku technika cyfrowa wykorzystywana jest do obróbki zdjęć satelitarnych i zdjęć pochodzących z kolejnych misji NASA oraz europejskich programów kosmicznych.
Po prawej pierwszy obraz Księżyca sfotografowany przez statek Ranger 7.
Dziedziny zastosowania CPO
informatyka + 23
metrologia
sejsmologia
nawigacja automatyczna
telekomunikacja
nadzór przemysłowy
medycyna
rozrywka
kino i TV wojsko
bezpieczeństwo
robotyka
mikroskopia
obrazowanie ultradźwiękowe
radiologia
astronomia
CPO
Dziedziny zastosowania CPO
Zdjęcia zarejestrowane z użyciem różnych technik, wykorzystywane w różnych dziedzinach nauki.
Poniżej:
• zdjęcie rentgenowskie dłoni,
• angiogram (obraz żył lub tętnic).
informatyka + 24
Dziedziny zastosowania CPO
Przykład obrazu zarejestrowanego kamerą termowizyjną
informatyka + 25
Dziedziny zastosowania CPO
Zdjęcie radarowe,
stopiona powierzchnia Wenus.
informatyka + 26
Dziedziny zastosowania CPO
Jądrowy rezonans magnetyczny
a) aparat MRI b) przekrój mózgu
informatyka + 27
Dziedziny zastosowania CPO
informatyka + 28
Mikroskopia elektronowa
Modele barw
informatyka + 29
Modele barw
Kojarzone ze sprzętem
RGB • model addytywny, • barwa powstaje w wyniku emisji światła, • wszystkie barwy powstają przez zmieszanie trzech barw podstawowych:
czerwonej, zielonej i niebieskiej. CMY, CMYK • model substraktywny, • barwy uzyskuje się dzięki światłu odbitemu od zadrukowanego podłoża, • wszystkie barwy w modelu CMY powstają przez zmieszanie trzech barw
podstawowych: cyan (zielono-niebieska), magenta (purpurowa), yellow (żółta).
informatyka + 30
Mieszanie barw
informatyka + 31
Mieszanie addytywne Mieszanie substraktywne
Modele barw
informatyka + 32
Atrybuty barwy
informatyka + 33
Odcień barwy wrażenie związane z konkretną długością fali. Nasycenie - „mieszanie” (0 - 100%) z barwą białą. Jasność (luminancja) wrażenie związane z wielkością strumienia świetlnego (umowna skala 0 – 1).
Balans bieli i korekcja barw
• Zadaniem całego toru wizyjnego jest wierna reprodukcja barw. • Często jednak okazuje się, że odtwarzane barwy są w pewnym stopniu
zafałszowane (skóra, śnieg).
• Zadaniem korekcji barw jest właśnie sprowadzenie postaci barw do formy akceptowalnej przez widza.
• Celem ustawienia balansu bieli jest osłabienie barwy dominującej. W
procesie edycji obrazu przy pomocy odpowiednich narzędzi można zaznaczyć fragment obrazu, który według widza ma być biały, a program dokona automatycznego zrównoważenia bieli dla całego obrazu.
informatyka + 34
Balans bieli i korekcja barw
informatyka + 35
W niektórych sytuacjach nie warto nawet szukać ustawienia gwarantującego neutralne kolory
Temperatura barwowa
informatyka + 36
• Temperatura barwowa, jako cecha określająca wrażenie percepcyjne oglądanego obrazu, zależy głównie od rodzaju oświetlenia oraz od właściwości barwnych elementów występujących w scenie obrazowej.
• W praktyce temperaturę barwową definiuje się na podstawie relacji jakie zaobserwowano pomiędzy temperaturą a właściwościami emisyjnymi ciała czarnego.
• Temperaturę barwową oblicza się na podstawie średniej wartości kolorów całego obrazu, z pominięciem pikseli, które nie mają wielkiego wpływu na temperaturę barwową, a mianowicie pikseli koloru czarnego i tzw. pikseli samo-świecących czyli większych od wartości średniej o pewną wartość progową.
Podział zakresu temperatury barwowej
informatyka + 37
Kategoria subiektywna Zakres temperatur
Gorąca 1667K ~ 2250K
Ciepła 2251K ~ 4170K
Neutralna 4171K ~ 8060K
Zimna 8061K ~ 25000K
Temperatura barwowa, balans bieli
informatyka + 38
informatyka + 39
Komputerowa edycja obrazu
• Istnieje wiele narzędzi umożliwiających przetwarzanie obrazów dwuwymiarowych statycznych
• Coraz silniejsze obliczeniowo komputery oraz dostępność kamer cyfrowych umożliwiły również stosowanie nagrań wideo
System do cyfrowego przetwarzania obrazów
informatyka + 40
Etapy przetwarzania sygnału wizyjnego
informatyka + 41
Zanim obraz zostanie poddany cyfrowej obróbce, musi być przekształcony do postaci elektrycznej w przetworniku analizującym, a następnie poddany dyskretyzacji i kwantyzacji.
we/wy cyfrowe Kompresja
Próbkowanie Skanowanie A/C C/A
Bufor ramek
Wy analogowe We analogowe
Kamery cyfrowe
informatyka + 42
Taśmy: MiniDV
Parametry: - rozdzielczość 500 do 540 linii - dźwięk – 2 kanały rozdzielczości 16 bitów z próbkowaniem 48 kHz lub 4 kanały 12 bitów 32 kHz - port IEEE 1394 – FireWire
informatyka + 43
Standard AVCHD (Advanced Video Coding High Definition)
Specyfikacja formatu AVCHD została
ogłoszona przez firmy Sony i Panasonic
- sygnał o wysokiej rozdzielczości HDTV
- kompresja wideo MPEG-4 AVC/H.264
- kompresja audio Dolby Digital (AC-3),
PCM, zapis 1-7.1 kanałowy
- zapis na dyskach HDD lub na kartach
pamięci flash
Kamery cyfrowe
Filtry mozaikowe
informatyka + 44
Na jeden pixel czerwony lub niebieski przypadają dwa zielone.
Odpowiada to warunkom widzenia człowieka, które najczulej reaguje na
zmiany jasności w zielonej części widma. Aby uzyskać dane o kolorze
danego punku musimy skorzystać z algorytmu interpolacji i danych z
sąsiednich pixeli. Dopiero po procesie interpolacji uzyskujemy dane o
kolorze danego punktu. W praktyce stosowane są różne układy filtrów
barwnych. Najpopularniejszym jest oczywiście filtr RGB.
System 3CCD
informatyka + 45
Podstawą technologii zawartej w przetwornikach obrazu 3CCD jest
pryzmat, który rozszczepia światło na trzy podstawowe kolory RGB
Skanowanie
informatyka + 46
Odczyt zawartości bufora w trybie międzyliniowym lub kolejnoliniowym (skanowanie progresywne)
Skanowanie międzyliniowe
Skanowanie progresywne
informatyka + 47
Przykład zastosowania skanowania progresywnego oraz międzyliniowego. Samochód porusza się z prędkością 20 km/h. 4CIF - 704 x 596 2CIF - 704 x 288
skanowanie
progresywne 4CIF Skanowanie
międzyliniowe 4CIF
Skanowanie
międzyliniowe 2CIF
Efekty specjalne
informatyka + 48 48
Kluczowanie Chroma Key: nałożenie na zwykle niebieskie lub zielone tło nowego obrazu.
Ekrany LCD – ukierunkowanie światła
informatyka + 49
Ekrany LCD – przepływ światła
informatyka + 50
Ekrany LCD – TN (Twisted Nematic)
informatyka + 51
Ekrany LCD – TN (Twisted Nematic)
informatyka + 52
Ekrany LCD – TN (Twisted Nematic)
informatyka + 53
Różnicując napięcie na końcówkach ciekłego kryształu można modulować stopień zamknięcia przełącznika, aby uzyskać stany pośrednie
DSTN (dual scan TN) – matryce pasywne
informatyka + 54
Matryce aktywne
informatyka + 55
Budowa matryc TFT
informatyka + 56
Budowa matryc TFT
informatyka + 57
Powiększenie
pikseli na
wyświetlaczu
LCD
Technologia IPS (In-Plane Switching)
informatyka + 58
Filtr polaryzujący
Powierzchnia przeźroczysta
Filtr polaryzujący
Powierzchnia przeźroczysta
Elektroda
Ciekły kryształ
Pojedynczy piksel bez napięcia
Technologia IPS (In-Plane Switching)
informatyka + 59
Filtr polaryzujący
Powierzchnia przeźroczysta
Filtr polaryzujący
Powierzchnia przeźroczysta
Elektroda
Ciekły kryształ
Pojedynczy piksel z przyłożonym napięciem
Multidomain Vertical Alignment (MVA)
informatyka + 60
Multidomain Vertical Alignment (MVA)
informatyka + 61
informatyka + 62
Dziękuję za uwagę
Top Related