1

Multimedia Systems

多媒體系統

國立政治大學資訊科學系沈錳坤

多媒體• Multimedia: 整合

– Text( 文字 )– Image( 影像 ) – Graphics( 圖形 )– Audio( 音訊 )– Video( 視訊 )– Animation( 動畫 )

等各種不同的媒體

Multimedia (cont.)

• 連續的媒體 (Continuous media)– 音訊、視訊、動畫

• 非連續的媒體 ( Discrete media)– 文字、圖形、影像

多媒體系統的應用• Interactive video game （互動式電玩）• News-On-Demand （隨選新聞）• Movie-On-Demand （隨選電影）• KTV-On-Demand （隨選 KTV)• Game-On-Demand （隨選遊戲）• Distance Learning （遠距教學）• Videophone （視訊電話）• Video conference （視訊會議）• Multimedia e-mail （多媒體電子郵件）• CSCW (Computer-Supported Cooperative Work)• Tele-commuting （電子通勤）

多媒體系統的應用（續）

• CD-Titles• Electronic encyclopedias （電子百科全書） • Multimedia magazines （多媒體雜誌）• Digital libraries （數位圖書館）• Digital museums （數位博物館）• Information Kiosks （資訊站）• WWW （全球資訊網）

6

Images

影像

數位影像 (Digital Images)

• 特徵– 像素 (pixels, picture elements)– 顏色 (colors )

Digital Image (Cont.)

• Bitmap images (.bmp):– 黑白 (monochrome images)

• 1 像素 1 bit: 純白、純黑– 灰階 (grayscale images)

• 1 像素 1 byte•每個像素 : 256 個等級的灰階

– 彩色 (color images)• 1 像素 8 bits 256 色影像 color images• 1 像素 24 bits 全彩影像

顏色的模型• RGB (Red, Green, Blue)

• CMY (Cyan 藍綠 , Magenta 紫紅 , Yellow)• YUV (Y: 亮度 , U, V: 色度 )

– Y = 0.299R + 0.587G + 0.114B– U = B - Y – V = R - Y

• HSV (Hue 色度 , Saturation 飽和度 , Value 亮度 )– Hue: 色系– Saturation: 顏色純度– Value: 明亮度

Y, U, V Colors

影像壓縮• 640 x 480 x 24 bits 全彩影像 = 7.4Mb• 影像壓縮的原理

– 人類的視覺– 像素的重複性– 統計上的不均勻度

• 影像壓縮的標準– GIF

• Graphics Interchange Format• LZW

– JPEG• Joint Photographic Experts Group,

– JPEG 2000

326,321 Bytes

46, 295 Bytes

29,360 Bytes

9,438 Bytes

Fractal Coding

19

Audio

音訊

數位 與 類比• 數位 (Digital) 與類比 (Analog)

-1.5

-1

-0.5

0

0.5

1

1.5

Time

Am

plitu

de

-1.5

-1

-0.5

0

0.5

1

1.5

Time

Am

plitud

e

Digital Audio • 音訊：聲波• 特徵

– 振幅 (amplitude): 音量 – 頻率 (frequency): 音階、音高 – 相位 (phase): 聲音來源– 波形 (wave form): 音色

鋼琴的 Do

大鍵琴的 Do

Happy Birthday

音訊的檔案格式• Wave form: .wav, .au, ra,

• MIDI(Musical Instrument Digital Interface): mid

• 壓縮檔案 : mp3

音訊壓縮• 2 Bytes 44.1KHz 2 channel 2*44100*60*2 = 10MB per minute• 壓縮原理：人類聽覺限制、音訊重複性、統計不均勻度• Audio Compression standards

– MPEG-1 Layer 1,2,3 – MPEG 2 Layer 1,2,3– MPEG-2 AAC– Dolby AC-3 (DVD, HDTV)– MPEG-4 （語音合成、音樂壓縮 )

音訊壓縮的標準sampling bits/s channel quality rate

MPEG-1 Layer 1 32, 44.1, 48k 32-448k 1-2 192k

MPEG-1 Layer 2 32, 44.1, 48k 32-448k 1-2 128k

MPEG-1 Layer 3 32, 44.1, 48k 32-320k 1-2 96k

MPEG-2 Layer 1 32, 44.1, 48k 32-448k 1~5.1 192k

16,22.05,24k 32-256k

MPEG-2 Layer 2 32, 44.1, 48k 32-384k 1~5.1 192k

16,22.05,24k 8-160k 1~5,1

MPEG-2 Layer 3 32, 44.1, 48k 32-320k 1~5.1 64k

16,22.05,24k 8-160k 1~5,1

MPEG-2 AAC 8k~96k 264.6(44.1k) 1~5.1 384k( 原音）Dolby AC-3 32, 44.1k, 48k 32~640k 1~5.1 384k

26

Video

視訊

Video • 視訊

– 連續影像 (Still images)– Frame rate: 人類視覺暫留 24~30 frames per second

• 現有類比視訊系統視訊– NTSC (National Television Systems Committee)

• Taiwan, North American, Japan

– PAL(Phase Alternation Line)• Western Europe except Franc

– SECAM (Sequential Couleur Avec Memire)• France & parts of Eastern Europe

視訊壓縮標準• NTSC: 30*640*480*3 27.7MB/s 每小時 100GB • Video Compressions Standards

– Motion JPEG– H.261, H.263– MPEG-1– MPEG-2– MPEG-4

＊ MPEG: Motion Picture Expert Group

B id irectio n a l P red ic tio n

1I

2B

3B

4B

5P

6B

7B

8B

9P

1 0

B

F o rw a rd P red ic tio n

11

B1 2

B1 3I

MPEG 壓縮的原理

視訊檔案格式• .avi

• .mpg

• .mov

• .rm

31

Design Issues of Multimedia Systems

多媒體系統的研究課題

多媒體系統

• 多媒體系統 : – 產生 (creation)– 處理 (processing)– 儲存 (storage)– 管理 (management)– 擷取 (retrieval)– 傳送 (transfer)– 呈現 (presentation)

* 數位 & 互動

多媒體資訊

多媒體系統的特色

• 多媒體整合• 儲存空間的需求• 及時的需求• 服務品質的需求• 同步的需求• 互動性• 標準化

多媒體頻寬的需求

• 文字 : 1 byte per character

• 影像 (bitmapped graphics, photos, faxes)– 64 KB per image– 7.5 MB per image

• 音訊– Phone voice 8 KHz/8 bits (mono): 6-44KB/s– Audio CD DA 44.1 KHz/16 bit: 176 KB/s

多媒體頻寬的需求 (cont.)

• 動畫– 15-19 frames/s– 320 x 640 x 16 pixels frame, 16 bit color, 16

frames/s: 2.5MB/s

• 視訊– 24-30 frames/s– 640 x 480 x 24 pixels frame, 24 bit color, 30

frames/s: 27.7 MB/s

多媒體資料的空間需求• 500 pages text: 1MB

• 100 fax images (uncompressed): 6.4 MB

• 100 color images (compressed 15:1): 500MB

• 10 min animation (compressed 15:1): 100MB

• 10 min video (compressed 30:1): 550MB

• 1 hr. video (compressed 200:1): 1GB

37

Authoring of Multimedia Systems

多媒體節目的編輯

40

Video-On-Demand

System Architecture of VOD

CD Juke Box

DiskArray

Set-Top-Box

multimedianetwork

Server

Streaming Media

• RealNetwork RealPlayer G2

• Microsoft Windows Media Player

• 台北愛樂電台

43

Content-Based Image Retrieval

以影像內容為主的查詢

影像查詢的方式

影像查詢的方式

Query By Image Example• Query By Image Example

– users select most similar image from randomly displayed images. – The State Hermitage Museum, St. Petersburg, Russia - Powered by IBM

Query By Image Example (cont.)

Relevance Feedback

Color Features

• Consideration of color feature– color model: RGB, HSV, YIQ, …– number of colors: 256, 166, 26, 3, …– color representation: color histogram

• Color histogram: n-dimensional color bins

Color Histogram

紋路、材質

Brodatz collection

形狀

空間關係

55

Content-Based Video Retrieval

根據視訊內容的查詢

視訊瀏覽

劇情為主的視訊瀏覽

物體移動軌跡為主的視訊查詢

物體移動軌跡與空間關係為主的視訊查詢

以例子為主的視訊查詢

場景變換的偵測

關鍵畫面的自動產生• Uniform extraction

– first, last frames– uniform sampling

• Non-uniform extraction

63

多媒體的智慧財產權管理

數位浮水印

數位浮水印