Šenon Fanoovi i Hafmanovi Kodovi

7/24/2019 enon Fanoovi i Hafmanovi Kodovi

1/24

enonova teorema o kodovanjubez risustva uma

Milan M.Milosavljevi


2/24

Teorema o kodovanju bez uma Koristei dosadanje rezultate, u stanju smo da odredimo

fundamentalnu donju granicu oekivane vrednosti prefiksni

kodova datog informacionog izvora.

TEOREMA 2.4 enonova teorema kodovanja Deo I

!a bilo koji diskretni izvor informacija bez memorije ija jeentropija "#$%, oekivana du&ina '(arnog prefiksnog koda )*+tog izvora, zadovoljava


3/24

Teorema o kodovanju bez uma


4/24

Teorema o kodovanju bez uma Teorema -. daje jednu donju granicu za oekivanu

du&inu koda datog izvora informacija. Kakva je tagranica/ 'a li ima i drugi granica #npr 0%/

1asno je da ovaj rezultat postaje visokovrednovan

samo ako poka&emo da je ta granica najbolja moguadonja granica.

'a bi smo ovo pokazali, potrebno je konstruisati

konkretan kod ija se oekivana du&ina kodni reiproizvoljno tano pribli&ava ovoj granici.


5/24

enon 23anoov prefiksni kod


6/24

enon 2 3anoov prefiksni kod


7/24



8/24

enon 23anoov prefiksni kodTEOREMA 2.5 enonova teorema kodovanja, Deo II

!a bilo koji diskretni izvor informacija bez memorije,ija je entropija "#$%, postoji barem jedan '(arni prefikskod ija je oekivana du&ina kodni rei )*+ data sa


9/24

enon 23anoov prefiksni kod4rimer -.05

6azmotrimo binarni #'7-% enon(3anoov kod za izvor $ sa etirisimbola ije su verovatnoe p078., p-78.9, p978.- i p78.0.

Kodne rei su date du&inama

Kod konstruiemo na osnovu postupka datog u dokazu Kraftovenejednakosti.


10/24


11/24

enon 23anoov prefiksni kodNastavak Primera 2.15

:a osnovu +eme o du&ini puta, imamo


12/24

enon 23anoov prefiksni kod:astavak 4rimera -.05

'irektan raun daje

;idimo da je zadovoljena nejednakost

?07-.>.Medjutim vidi se da ovaj kod nije optimalan. Kada bi smoupotrebili kodne rei du&ine -, imali bi smo krau oekivanudu&inu koda )*+7-.


13/24



14/24

"afmanov kod "afmanov algoritam kodovanja izvora informacija bez

memorije, pomou '(arnog prefiksnog koda, daje optimalankod minimalne mogue oekivane vrednosti kodni rei.

:eka izvor $ ima n simbola u0,u-,...,un, sa odgovarajuim, ,...., .

HAFMANOV KOD

0. @tartujemo sa svi n vorova, koji e na kraju kodovanja bitilistovi.

Azraunajmo ostatak r pri delenju 0(n sa '(0. #4rimetimo da zan parno, r e uvek biti nula%

$inim svi n vorova BaktivnimC.


15/24

"afmanov kod-. 3ormirajmo novi vor, ija su deca(vorovi '(r najmanjeverovatni aktivni vorova i r neiskorieni vorova #listova%

Novi vor


16/24

"afmanov kod'odeliti novokreiranom voru verovatnou jednaku sumi upravo

deaktivirani '(r vorova.9. Dko postoji samo jedan aktivan vor tada se proceduraokonava. Taj vor je ujedno i koren konanog kodnog stabla. $

7, .

4refiksni kod koji rezultuje u opisanoj proceduri se naziva"afmanov kod, budui da je upravo opisani algoritam prvi dao"afman 58(ti godina EE veka.


17/24

"afmanov kodPrimer 2.1% Binarni Hafmanov kod

:eka je dat izvor $

1edan "afmanov kod za izvor $ je dat sa


18/24

"afmanov kodNastavak Primera 2.1%

;erovatnoe unutranji vorova su date u tabeli

4rimetimo da je

Ali pomou +eme du&ine puta

'ok je entropija izvora $


19/24

"afmanov kodPrimer 2.1& Ternarni Hafmanov kod

:eka je izvor informacija $, kao u pretodnom primeru -.0F. Dkoupotrebimo ternarni kod '79, ostatak od 0(n?0(F75 pri deljenjusa '(079(07- iznosi r70. #4rovera (57(9G-?0%. @toga treba uvesti

.


20/24

"afmanov kod


21/24


22/24


23/24


24/24

Šenon Fanoovi i Hafmanovi Kodovi

Documents

Transcript of Šenon Fanoovi i Hafmanovi Kodovi