7/30/2019 ti4

1/18

Kuliah 4

Source Coding (samb)Indrabayu

bhayu16@yahoo.com

7/30/2019 ti4

2/18

Klasifikasi Kode

Misal Sumber dengan 4 Simbol dikodekan dlm kode biner sbb:

1. Fixed-Length Codesadalahkodedengan panjangtetap(fixed).Contoh : code1 dan2.

2. Variabel-Length Codesadalahkodedengan panjangtidaksama /bervariasi.Contoh : semua codekecuali code 1 dan2.

code 1 code 2 code 3 code 4 code 5 code6

00 00 0 0 0 1

01 01 1 10 01 0100 10 00 110 011 001

11 11 11 111 0111 0001

xi

x1

x2

x3

x4

7/30/2019 ti4

3/18

Klasifikasi Kode (Lanjutan)

3. Distinct Codes

bila tiap codeword berbeda dengan codeword yang lainnya. Contoh :

Semua kecuali code 1.

4. Prefix-Free Codes

Bila tidak ada codeword yang dibentuk dengan menambah simbol-simbol kode pada codeword yang lainnya. Contoh : code 2, 4, & 6.

5. Uniquely Decodable Codesbila simbol semula dapat dikodekan kembali secara unik. Contoh : code3 bukan Uniquely Decodable Codes.

6. Instantaneous Codes

Bila akhir kode dapat dikenali tanpa melihat kode pesan keseluruhan.

Yang termasuk dlm prefix-free codes umumnya juga instantaneouscodes.

7. Optimal Codes

bila instantaneous codes dan mempunyai panjang minimal.

7/30/2019 ti4

4/18

Ketidaksamaan Kraft

Misal DMS X dengan alphabet {xi}( i= 1,2,,m).

Diasumsikan panjang codeword yang berkaitan dengan

xi adalah ni.

Kondisi perlu dan cukup agar diperoleh instantaneous

binary codes adalah :

disebut sebagai ketidaksamaan Kraft.

m

i

niK

1

12

7/30/2019 ti4

5/18

Kuis

Dari tabel sebelumnya, cari kode yg memenuhi

Kraft ineguality

Jawab

Kode 1

Kode 2

14

1

4

1

4

1

4

12

4

1

i

niK

14

1

4

1

4

1

4

12

4

1

i

niK

7/30/2019 ti4

6/18

Kuis

Kode 3

Kode 4

Kode 5

Kode 6

5,14

1

4

1

2

1

2

12

4

1

i

niK

181

81

41

212

4

1

i

niK

94,016

1

8

1

4

1

2

12

4

1

i

niK

94,016

1

8

1

4

1

2

12

4

1

i

niK

7/30/2019 ti4

7/18

ENTROPY CODING

Disain suatu variable-length code sedemikian rupa

sehingga panjang codeword rata-rata mendekati

entropyDMS disebut dengan entropy coding.

Beberapa contoh pengkodean adalah :

- Shannon-Fano Coding

- Huffman Coding

- Lempel-Ziv Coding, dll

m

i

ii

m

i

iiixPxPxIxPxIEXH

1

2

1

b/simbol)/1(log

7/30/2019 ti4

8/18

Shannon-Fano Coding

Pengkodean ini dapat dilakukan dengan prosedursederhana, yang disebut dengan algorithma

Shannon -Fano sbb:

1. Daftar simbol-simbol sumber urut berdasar

besarnya peluang (dari terbesar menurun hingga

terkecil)

2. Bagi menjadi dua set dgn jumlah peluang masing-

masing set sama/mendekati sama. Beri tanda 0

untuk set atas dan 1 untuk set bawah.

3. Lanjutkan proses diatas, sampai pembagian tidakdimungkinkan lagi.

7/30/2019 ti4

9/18

Contoh Shannon-Fano Coding

xi P(xi) Step 1 Step 2 Step 3 Step 4 Codeword

0 0000 1 01

0 10

0 110

0 1110

x1

x2

x3

x4

x5

x6

0,300,25

0,200,12

0,080,05

11

11

1

11

11 1 1111

H(X) = 2,36 b/simbol

L = 2,38 b/simbol

= H(X)/L = 0.99

7/30/2019 ti4

10/18

Huffman Coding

Umumnya Huffman Coding menghasilkan kodeoptimum. Prosedur Huffman Codingadalah sbb:

1. Daftar simbol-simbol sumber urut berdasarbesarnya peluang (dari terbesar menurun hingga

terkecil)

2. Kombinasikan peluang dua simbol dgn peluangterkecil. Dengan Jumlah peluang tersebut,

Urutkan kembali daftar simbol point 1: langkahini disebut reduksi -1. Prosedur ini diulang

hingga tinggal dua peluang.

7/30/2019 ti4

11/18

Huffman Coding

Umumnya Huffman Coding menghasilkan kodeoptimum. Prosedur Huffman Codingadalah sbb:

3. Mulai pengkodean pada reduksi terakhir, denganmemilih 0 (merupakan simbol pertama dari

codeword) pada peluang pertama dan 1 padapeluang kedua.

4. Ulangi prosedur ini sampai reduksi pertama.

7/30/2019 ti4

12/18

Contoh Huffman Coding

xi P(xi) Code

x1

x2

x3

x4

x5

x6

0,30

0,25

0,20

0,12

0,08

0,05

00

01

11

101

100

100

0,30

0,25

0,20

0,13

0,12

0

1

0,30

0,25

0,25

0,20

0

1

0,45

0,30

0,25

0

1

0,55

0,45

0

1

H(X) = 2,36 b/simbol

L = 2,38 b/simbol

= H(X)/L = 0.99

0

1

7/30/2019 ti4

13/18

Yg mana yg dipilih?

Terlihat pada contoh sebelumnya, shannon-fano danHuffman memberi efisiensi yg sama.

Bgmn dgn kraft inequality? Shannon-fano :

Huffman

In this case, both is ok

116116181414141 K

116

116

18

14

14

14

1 K

7/30/2019 ti4

14/18

kuis

Bagaimana bila semua

probabilitas

kemunculan sama

Mana yg lebih baik,

shannon atau huffman

xi P(xi)

x1

X2

X3

X4

X5

0.2

0.2

0.2

0.2

0.2

7/30/2019 ti4

15/18

Dgn Shannon

Bisa dua cara (cara 1)

xi P(xi) Step 1 Step2 Step 3 kode

x1

x2

x3

x4

x5

0.2

0.2

0.2

0.2

0.2

0

0

1

1

1

0

1

0

1

1

0

1

00

01

10

110

111

7/30/2019 ti4

16/18

Dgn Shannon

(cara 2)

xi P(xi) Step 1 Step2 Step 3 kode

x1

x2

x3

x4

x5

0.2

0.2

0.2

0.2

0.2

0

0

0

1

1

0

1

1

0

1

0

1

00

010

011

10

11

7/30/2019 ti4

17/18

Dgn Shannon

Entropy

Panjang kode rata

Efisiensi

Kraft inequality

5

1

22 32.2)2.0log2.0(5)(log)()(i

iixPxPXH

5

1

4.2)33222(2.0)(iinxPL

967.04.2

32.2)(

L

XH

18

18

14

14

14

1 K

7/30/2019 ti4

18/18

Dgn Huffman

xi P(xi)

x1

x2

x3

x4

x5

0.2

0.2

0.2

0.2

0.2

0.4

0.2

0.2

0.2

0.4

0.4

0.2

0.6

0.4

0

1

0

1

0

1

0

1

01

000

001

10

11