1

Multimedia

Poglavje 7

7.1 Uvod v multimedio7.2 Multimedijske datoteke7.3 Video kompresija7.4 Razporejanje multimedijskih procesov 7.5 Multimedijski datotečni sistem7.6 Strukturiranje datotek 7.7 Vmesni pomnilniki 7.8 Razporejanje opravil za disk

2

Uvod v multimedijo (1)

Video na zahtevo: (a) ADSL vs. (b) kabl

3

Uvod v multimedijo (2)

• Nekaj hitrosti prenosa– multimedija, hiter prenos V/I naprav

• Opomba: 1 Mbps = 106 bit/s toda 1 GB = 230 bytes

4

Multimedijske datoteke

Film se sestoji iz večih datotek

5

Audio kodiranje (1)

• Audio signal je pretvorjen v digitalen zapis– Električna napetost noter– Binarne vrednosti ven

6

Audio kodiranje (2)

• Napaka se inducira zaradi vzorčenja – Imenujemo kvantifikacijski šum

• Primeri vzorčenega zvoka– telefon – pulsna modulacija– Audio kompaktni diski

7

Video kodiranje

Vzorec skeniranja za NTSC Video in TV

8

Video kompresija

• Pri multimediji je potrebno prenašati veliko podatkov

• Kodiranje in dekodiranje– Včasih kodiranje lahko traja več časa (film)– Ni pa nujno … (video konference)– Kodiranje+dekodiranje lahko spremeni original– Nekatere naprave ne potrebujejo iste kvalitete

zapisa

9

JPEG standard

• Vhod: 640x480 RGB slika• 1. korak: priprava slike -> Y I Q -> 3 slike +

pakiranje 2x2 I, Q -> 320x240 -> -128 -> 8x8 bloki slike

• 2. korak: DCT PO 8x8 blokih

• 3. korak: kvantizacija, „rezanje“ koeficientov deljenje s koeficienti iz tabele

• 4. korak: razlike s sosednjimi 8x8 bloki

• 5. korak: lineariziranje 64 el., rep ničel

• 6. korak: Hoffmanovo kodiranje podatkov

10

Video kompresijaJPEG standard (1)

RGB vhodni podatki in priprava bloka

11

JPEG standard (2)

En blok Y matrike in DCT koeficienti

12

JPEG standard (3)

Izračun kvantificiranih DCT koeficientov

13

JPEG standard (4)

Vrstni red kvantificiranih vrednosti med pošiljanjem

14

MPEG standard (1)

• Motion Picture Expert Group• Uporaba 2 vrst redundanc: prostorsko + časovno• Prostorsko-->JPEG• Časovno-->razlike med zaporednimi slikami• Fiksne scene: OK, Premikanje scene: ni OK• Kompenziranje premikov kamere, zoom, …

– Razlika med JPEG in MPEG

15

MPEG standard (2)

MPEG-2 ima tri vrste okvirjev: I, P, B

• I (intracoded frames)- Samostojne JPEG-slike

• P (predictive frames)- Razlika izračunana med bloki in zadnjim okvirjem

• B (bi-directional frames)- Razlike z zadnjim in naslednjim okvirjem

16

MPEG standard (2')

• Periodično prenašanje I-okvirjev– Sinhronizacija, premiki nazaj in naprej, …

• P-okvirji– Makro-bloki: 16x16 točk Y, 8x8 I in Q– Bloki se primerjajo, da odkrijemo spremembe– Algoritem ni del standarda

• B-okvirji– Reference naprej in nazaj– Izboljšanje premikov scene– V spominu imamo tri okvirje

17

MPEG standard (3)

Zaporedni okvirji video slike

18

MPEG Audio (MP3)

• CD kvaliteta audio signala zahteva 1.411Mbps– Razvoj kompresijskih algoritmov za audio– Eden boljših MPEG nivo 3

• Pretvorba signala s Fourierjevo transformacijo– Prvih 15 koeficientov – Pri sprejemniku obratna transformacija

• Psihoakustika– Močnejši signal maskira šibkejše okoli podobne

ferkvence– Začasno maskiranje: po tem ko se močnejši signal

umakne

19

Fourierjeva transformacija

20

Fourierjeva transformacija

21

Fourierjeva transformacija

22

Razporejanje multimedijskih procesov

• Periodični procesi, ki prikazujejo film

• Hitrost prenosa okvirjev in zahteve po procesiranju se lahko razlikujejo med filmi

23

Razporejanje multimedijskih procesov

• Razporejenje homogenih procesov– Najenostavnejši video strežnik– Fiksno število enakih procesov

• Enako – Potrebna hitrost prenosa, ločljivost, prenos podatkov, itd.

• En film en proces – pošilja se okvir za okvirjem• Vsi procesi imajo enako prioriteto• Lahko uporabimo Round-Robin• Po pošiljanu okvirja se proces zablokira• Potrebujemo budilko, da pravočasno zbudi procese

– NTSC – 30 okvirjev/s– Procesi se zvrstijo v seriji in potem zablokirajo

24

Monotonično razporejanje (1)

Uporabi se lahko za procese, ki zadostijo naslednjim pogojem:1. Vsak periodični proces mora biti zaključen v dani periodi

2. Vsi procesi so neodvisni med sabo

3. Vsak proces potrebuje enak CPU čas v vsaki periodi

4. Neperiodični procesi nimajo rokov

5. Zamenjava procesa se zgodi takoj, ni dodatnega dela

25

Monotonično razporejanje (2)

● Prioriteta se dodeli glede na potrebno št-okvirjev/s● Višja ferkvenca – višja prioriteta● Proces z višjo prioriteto prekine tiste z nižjo prioriteto

26

Razporejanje: Najprej najbližji rok (1)

• Razporejanje procesov v realnem času – RMS – EDF

27

Razporejanje: Najprej najbližji rok (2)

Še en primer razporejanja v realnem času z RMS in EDF

28

Multimedijski datotečni sistem

Strežniki: potegni in potisni

29

Kontrolne funkcije VCR

• Previjanje je enostavno– Postavi naslednji okvir na 0

• Hitro premikanje naprej/nazaj je težje– Hitro premikanje je počasno zaradi kompresije– Posebna datoteka, ki vsebuje vsak 10 okvir

30

Video (skoraj) na zahtevo

Nov tok se začne v pravilnih intervalih

31

Video (skoraj) na zahtevo in VCR funkcije

Izravnalnik za previjanje

32

Strukturiranje datotek

Shranjevanje datoteke na en disk

• Prepletanje (angl. interleaving)

– Vido, audio in tekst v eni datoteki

Frame 1 Frame 2 Frame 3

AudioFrame

TextFrame

33

Dve alternativne datotečne organizacije (1)

• Nezvezen spomin za filme(a) majhni diskovni bloki(b) veliki diskovni bloki

34

Dve alternativne datotečne organizacije (2)

Tehtnica med malimi in velikimi bloki• Indeks okvirja

– Večja uporaba RAM med igranjem filma

– Malo neuporabljenega prostota na disku• Indeks bloka (ni deljenja okvirjev preko strani)

- Majhna poraba pomnilnika - Veliko neuporabljenega prostora

• Indeks bloka (deljenje okvirjev med bloki)- Mala poraba RAM- Ni neuporabljenega prostora- Dodatno iskanje sektorja

35

Shranjevanje datotek za video na zahtevo

Optimalna postavitev okvirjev za video na zahtevo

36

Shranjevanje večih datotek na en disk (1)

• Zipf-ov zakon za N=20• Merilo za 20 največjih mest v US

– Uredi po rangu

37

Shranjevanje večih datotek na en disk (2)

• Organ-pipe algoritem za porazdelitev datotek na srežniku– Najbolj populaen film je na sredini diska– Naslednji najbolj popularen je zraven...

38

Shranjevanje datotek na več diskov

Organizacija multimedijskih datotek na večih diskih (a) Ni pasov(b) Isti vzorec pasov za vse datoteke(c) Nivojski pasovi(d) Naključni pasov

39

Prestrezanje

Prestrezanje blokov(a) dva uporabnika, isti film z 10s zakasnitve(b) zlivanje dveh tokov v enega

40

Prestrezanje datotek

• Večino filmov je shranjenih na DVD ali na trakovih– Prepiši na disk, ko potrebuješ– Rezultat: dolg čas zagona– Najbolj popularni filmi se hranijo na disku

• Na disku imamo lahko prvih nekaj minut vsakega filma– Zaženi film iz obstoječe datoteke, preostali del se prepiše

iz traku

41

Razporejanje diska za multimedio

Statično razporejanje opravil diska• V eni rundi vsak film potrebuje nov okvir

Order in which disk requests are processed

Stream

42

Dinamično razporejane diska

• Scan-EDF algoritem– Uporabi roke in številke cilindrov za razporejanje