53681582 Giai Bai Tap Ly Thuyet Thong Tin PTIT(1)
-
Upload
hoa-cuc-dai -
Category
Documents
-
view
469 -
download
36
Transcript of 53681582 Giai Bai Tap Ly Thuyet Thong Tin PTIT(1)
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
GiảiSơ đồ mã hóa theo phương pháp mã hóa shannon:
Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p= =0,8279
__________________________________________________________________
Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
Bài tập: Ma trận sinh của bộ mã tuyến tính (6,3) trên trường GF(2) là:
14/13/2023
Ui P(ui) Pi ni Dạng mã nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
G=
a. Biểu diễn G dưới dạng chuẩn Gch.
b. Liệt kê các từ mã có được từ G và Gch.
c. Có bao nhiêu từ mã có trọng số hamming là 1,2,3,4,5,6,7.
Giảia. Biểu diễn G dưới dạng chuẩn Gch.
Gch=
b. Liệt kê các từ mã của G và Gch.
Vector mang tin a
v= a.G w(v) v’=a.Gch w(v’)
000 000000 0 000000 0001 110110 4 001111 4010 110001 3 010110 3011 000111 3 011001 3100 011010 3 100011 3101 101100 3 101100 3110 101011 4 110101 4111 011101 4 111010 4
c. Cả hai bộ mã trên đều có 1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
4 từ mã có trọng số là 3
24/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6
__________________________________________________________________
Chương V: MÃ VÒNG
Bài tập: Cho mã vòng (n,k)=(7,4)có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bit?
Giảia. Cho d= (0001) ta tính được:
V1=0001000+dư số
V1=0001000+011=0001011
Quay vòng từ mã v1 ta sẽ được thêm 6 từ mã nữa:V2=1000101
V3=1100010
V4=0110001
V5=1011000
V6=0101100
V7=0010110
Cho d=(0011) ta tính được:
Vδ=0011000+dư số
Vδ=0011000+101=00111101
34/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Quay vòng từ mã vδ ta sẽ được thêm 6 từ mã nữa:V9 =1001110
V10 =0100111
V11=1010011
V13 =1110100
V14=0111010
Cho d=(1111000) ta tinh được:
V15=1111000+dư số
V15=1111000+111=1111111
Cho d=(0000) ta tính được:
V0=0000000 + dư số
b. Ta có thể tính dễ dàng trọng số Hamming của bộ mã là trọng số nhỏ nhất của từ mã khác không : H(V)=3 nên bộ mã có khả năng sửa được tất các mẫu sai 1bít.
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 2: Lượng Tin
Trong một trò sổ số vui người ta sổ 10 chữ số từ 0 đến 9.
Xác suất trúng của mỗi nhóm lá như nhau.
a. Tính lượng tin riêng của tin: “số trúng giải là số 9”b. Tính lượng tin tương hỗ giữa tin: “số trúng giải là số 9” so với tin: “số trúng giải là
số chia hết cho 3”.
44/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
c. Trong 10 tin trên gọi U={u1, u2, u3, u4, u5, u6} với ui là tin “số i trung giải” (i=0,1,.....,6).
Tìm lượng tin trung bình của tập tin U.
Giải
a. Gọi p(9) là xác suất số 9 trúng giải ta có:
p(9) = = 0.1
Vậy I(9) =
b. Gọi p(0-3-6-9) là xác suất trúng giải chia hết cho 3.
Ta có p(0-3-6-9) =
Mặc khác I(9/0-3-6-9) = =
=
Vậy: I(9;0-3-6-9) = I(9)-I(9/0-3-6-9)
=
= 1.322c. Lượng tin trung bình của tập tin U:
I(U) = = - = = 2.325
Chương 3: Mã Thống Kê Tối Ưu
Cho nguồn tin U có sơ đồ thống kê như sau:
ui u1 u2 u3 u4 u5-6 u7-9 u10-18 u19
54/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
p(ui) 0.338 0.32 0.13 0.1 0.018 0.01 0.005 0.01
Dùng mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m=3. Tính n tb
và tính kinh tế của từ mã:
Giải
Sơ đồ mã hóa theo phương pháp mã hóa Huffman:
ui p(ui) ni Từ mãu1 0.338 1 0u2 0.32 1 1u3 0.13 2 20u4 0.1 2 21u5 0.018 4 2210u6 0.018 4 2211u7 0.01 4 2200u8 0.01 4 2201u9 0.01 4 2202u10 0.005 5 22200u11 0.005 5 22201u12 0.005 5 22202u13 0.005 5 22210u14 0.005 5 22211u15 0.005 5 22212u16 0.005 5 22220u17 0.005 5 22221u18 0.005 5 22222u19 0.001 4 2212
Phương pháp mã hóa như sau:
Bước 1: sắp xếp các tin có xác suất theo thứ tự giảm dần. Bước 2: ghép 3 tin có xác suất nhỏ nhất, trở thành tin phụ mới Bước 3: lặp lại giống bước 1( sắp xếp các tin theo xác suất giảm dần Bước 4: ghép 3 tin có xác suất nhỏ nhất trở thành tin phụ mới (cách trình
bày này lập đi lập lại cho đến khi còn 1 tin cuối cùng).
Độ dài trung bình tư mã: ntb =
Entropy của tập tin: H(U) = -
64/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chỉ số kinh tế của bộ mã: p = = = 0.9913
Chương 4: Mã Khối Mã Chống Nhiễu
Ma trận sinh của bộ mã tuyến tính (7,3) trên trường GF(2) là:
G =
d. Biểu diễn G dưới dạng chuẩn Gch.
e. Xác định ma trận thử Hch.
f. Liệt kê các từ mã có được từ G và Gch.
g. Xác định khoảng cách Hamming của bộ mã này.
Giải
d.
Gch =
e. Ta có Hch = [-PT.In-k]
1 0 1 1 0 0 0 0 1 1 0 1 0 0 1 1 1 0 0 1 0 1 1 0 0 0 0 1
f. Liệt kê các từ mã của G và Gch.
74/13/2023
Hch =
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Vector mang tin a
v= a.G w(v) v’=a.Gch w(v’)
000 0000000 0 0000000 0001 1011100 4 0011110 4010 0101110 4 0100111 4011 1110010 4 0111001 4100 0010111 4 1001011 4101 1001011 4 1010101 4110 0111001 4 1101100 4111 1100101 4 1110010 4
g. Cả hai bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác không của chúng.
Chương 5: Mã Vòng
Đa thức sinh của bộ mã vòng hamming là: g(x)=1+x3+x4
a. Tìm đa thức thử h(x) của bộ mã này.b. Thiết kế mạch mã hóa thực hiện qua h(x).c. Xác định các bit thử và từ mã nhận được tương ứng với chuỗi bit mang tin
d=(10000001011).
Giải
a. Bộ mã hamming có (n,k) = (2n-k-1,k) nên:n = 2n-k-1 = 24-1 = 15.
Từ công thức: h(x) = (xn+1)/g(x)
Ta tính được: h(x) =
b. Khi d = (10000001011) hay d(x) = thì:
v(x) = d(x).xn-k + dư số của
84/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
= + số dư của
= ( )
Trong đó x3+1 tương ứng với chuỗi bit 1001 là các bit thử và từ mã nhận được
tương ứng với v(x) = ( ) là v = (100000101110010).
BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN.
CHƯƠNG 1: LƯỢNG TIN
ĐỀ BÀI: Xác định entropy khi đổ súc sắc. Giả sử súc sắc được chế tạo sao cho xác xuất suất hiện của bất kỳ mặt nào cũng tỉ lệ với số chấm trên mặt súc sắc.
GIẢI:
Gọi P(xi) là xác suất của các mặt súc sắc. Với i=(1,2,3,4,5,6)
Entropy khi đổ súc sắc:
H(x) = P(xi). I(xi)
= - - - - -
= 0.209 + 0.323 + 0.401 + 0.455 + 0.492 + 0.516
= 2.396 (bit)
CHƯƠNG 2: MÃ THỐNG KÊ TỐI ƯU
ĐỀ BÀI: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
Ui U1 U2 U3 U4 U5 U6 U7 U8 U9
P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01
Bằng mã nhị phân (m = 2) theo phương pháp Shannon. Tính độ dài trung bình của từ mã và tính kinh tế của bộ mã.
94/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
GIẢI:
Sơ đồ mã hóa theo phương pháp Shannon:
ui P(ui) Pi ni Dạng nhị phân của Pi Từ mãU1 .34 0 2 0 00U2 .2 .34 3 0.010 010U3 .19 .54 3 0.100 100U4 .1 .73 4 0.1011 1011U5 .07 .83 4 0.1101 1101U6 .04 .9 5 0.11100 11100U7 .03 .94 6 0.111100 111100U8 .02 .97 6 0.111110 111110U9 .01 .99 7 0.1111110 1111110
Độ dài trung bình của từ mã:
Entropy của tập tin:
Tính kinh tế của bộ mã:
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 2: Lượng Tin
104/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Xem các con bài của bộ bài 52 lá tạo thành 1 nguồn tin rời rạc. Tính entropy của một lá bài rút ngẫu nhiên. Giả sử bỏ qua nước của con bài để bây giờ U={ Ace, 2, 3, 4, 5, 6, 7, 8, 9, 10, Jack, Qeen, King}. Tính entropy của một lá bài rút ngẫu nhiên trong trường hộp này, trong trường hợp U=(bài có hình, bài không hình).
Giải
d. H(U)= với p(ui)= (i=1, 2, 3,.......,52)
=- =-52 =5.700
e. H(U)= với p(ui)= (i=1, 2, 3,.......,13)
=- =-13 =3.700
f. Gọi uh là tin bài có hình thì p(uh)=
Gọi uoh là tin con bài không hình thì p(uoh)=
Vậy H(U)= p(uh)I(uh)+p(uoh)I(uoh)
=- p(uh) )-p( )
=- - = 0.779
114/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chương 5: Mã Vons
Đa thức sinh của bộ am vòng hamming là:g(x)=1+x3+x4
d. Tìm đa thức thử h(x) của bộ am này.e. Thiết kế mạch am hóa thực hiện qua h(x).f. Xác định các bit thử và từ am nhận được tương ứng với chuỗi bit mang tin
d=(10000001011).
Giải
c. Bộ am hamming có (n,k)=(2n-k-1,k) nên:n=2n-k-1=24-1=15.
Từ công thức: h(x)=(xn+1)/g(x)
Ta tính được: h(x)=
d. Khi d=(10000001011) hay d(x)= thì:
v(x)=d(x).xn-k+ dư số của
= + số dư của
=( )
Trong đó x3+1 tương ứng với chuỗi bit 1001 là các bit thử và từ am nhận được
tương ứng với v(x)= ( ) là v=(100000101110010).
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 2: Lượng Tin.
=
124/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chương 3: Mã Thống Kế Tối Ưu.
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntbvà tính kinh tế của từ mã:p=H(U)/Ntb
GiảiSơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng mạ nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110
Độ dài trung bình tư mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p= =0,8279
Chương 4: Mã Chống Nhiếu : Mã Khối
Chương 5: Mã Vòng.
134/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bài tập: cho mã vòng (n,k)=(7,4) có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bít.
Giải
A.cho d= (0001) ta tính được:
V1=0001000+dư số
V1=0001000+011=0001011
Quay vòng từ mãv1 ta sẽ đượcthêm 6 từ mã nữa:V2=1000101
V3=1100010
V4=0110001
V5=1011000
V6=0101100
V7=0010110
Cho d=(0011)ta tính được:
Vδ=0011000+dư số
Vδ=0011000+101=00111101Quay vòng từ mã vδ ta sẽ đượcthêm 6 từ mã nữa:V9 =1001110
V10 =0100111
V11=1010011
V13 =1110100
V14=0111010
Cho d=(1111000) ta tinh được:
144/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
V15=1111000+dư sô
V15=1111000+111=1111111
Cho d=(0000) ta tính được:
V0=0000000+dư số
B. ta có thể tính rễ ràng trọng số hamming của bộ mã là trọng số nhở nhất của từ mã khác không : H(V)=3 nên bộ mã có khả năng sửa được tất các mẫu sai 1bít.
__________________________________________________________________
Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
GiảiSơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng mã nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110
Độ dài trung bình từ mã: NTB=
154/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p= =0,8279
__________________________________________________________________
Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
Bài tập: Ma trận sinh của bộ mã tuyến tính (6,3) trên trường GF(2) là:
G=
h. Biểu diễn G dưới dạng chuẩn Gch.
i. Liệt kê các từ mã có được từ G và Gch.
j. Có bao nhiêu từ mã có trọng số hamming là 1,2,3,4,5,6,7.
Giảih. Biểu diễn G dưới dạng chuẩn Gch.
Gch=
i. Liệt kê các từ mã của G và Gch.
Vector mang tin a
v= a.G w(v) v’=a.Gch w(v’)
000 000000 0 000000 0001 110110 4 001111 4010 110001 3 010110 3011 000111 3 011001 3100 011010 3 100011 3
164/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
101 101100 3 101100 3110 101011 4 110101 4111 011101 4 111010 4
j. Cả hai bộ mã trên đều có 1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
4 từ mã có trọng số là 3
3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6
__________________________________________________________________
Chương V: MÃ VÒNG
BÀI T P MÔN LÝ THUY T THÔNG TIN.Ậ Ế
CH NG 1: L NG TIN.ƯƠ ƯỢ
1. Trong m t trò ch i x s vui ng i ta x 10 ch s t 0 đ n 9.ộ ơ ổ ố ườ ổ ữ ố ừ ếXác xu t trúng c a m i s là nh nhau.ấ ủ ỗ ố ưa. Tính l ng tin riêng c a tin : “ s trúng gi i là s 9”.ượ ủ ố ả ốb. Tính l ng tin t ng h gi a tin : “s trúng gi i là 9” so v i tin :”s ượ ươ ỗ ữ ố ả ớ ố
trúng gi i là s chia h t cho 3”.ả ố ếc. Trong 10 tin trên g i U=(uọ 1,u2,u3,u4,u4,u5,u6) v i uớ i là tin “s i trúng ố
gi i” (i=0,1,…,6).ảTìm l ng tin trung bình c a t p tin U.ượ ủ ậ
Bài làma. G i p(9) là xác su t s 9 trúng gi i ta cóọ ấ ố ả
p(9) = 1/10= 0.1
174/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
v y I(9)= -log p(9)= log 10= 3.322ậ
b. G i p(0-3-6-9) là xác su t đ s trúng gi i chia h t cho 3, ta có:ọ ấ ể ố ả ế
p(0-3-6-9) = 4/10= 0.4
M t khác : I (9/0-3-6-9) = - log p(9/0-3-6-9)ặ
V y I(9; 0-3-6-9) = I(9) – I(9/0-3-6-9)ậ
c. L ng tin trung bình c a t p tin U :ượ ủ ậ
CH NG 2: MÃ TH NG KÊ T I ƯƠ Ố Ố
Trong kênh truy n tin nh phân có nhi u ngu n X = {x0,x1} có p(x0) = 0.4 và p(xề ị ễ ồ 1) = 0.6. Xác su t truy n tin sai nh m p(yấ ề ầ 0/x1) = p(y1/x0) = 0.1, xác su tấ truy n ề tin đúng p(y0/x0) = p(y1/x1) = 0.9, v i Y = {yớ 0,y1}
a/ Tính H(Y)
b/ Tính H(Y/X)
c/ Tính I(X;Y)
Bài làm:
184/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
a/ H(Y) = p(y0)I(y0) + p(y1)I(y1)
Áp d ng công th cụ ứ
Ta có: P(y0) = p(y0,x0) + p(y0,x1)
= p(y0) p(y0/x0) + p(x1) p(y0/x1)
= 0,4.0,9 + 0,6.0,1
= 0,42
P(y1) = p(y1,x0) + p(y1,x1)
= p(x0) p(y1/x0) + p(x1) p(y1/x1)
= 0,4.0,1 + 0,6.0,9
= 0,58
H(Y) = -0,42log0,42 – 0,58log0,58
=0,8915
b/
= p(x0,y0) I(y0/x0) + p(x0,y1) I(y1/x0) + p(x1,y0) I(y0/x1) + p(x1,y1) I(y1/x1)
Mà: p(x0,y0) = p(x0) p(y0/x0) = 0,4.0,9 = 0,36
p(x0,y1) = p(x0) p(y1/x0) = 0,4.0,1 = 0,04
p(x1,y0) = p(x1) p(y0/x1) = 0,6.0,1 = 0,06
p(x1,y1) = p(x1) p(y1/x1) = 0,6.0,9 = 0,54
I(y0/x0) = -log p(y0/x0) = -log0,9 = log10/9
I(y1/x0) = -log p(y1/x0) = -log0,1 = log10
I(y0/x1) = -log p(y0/x1) = -log0,1 = log10
I(y1/x1) = -log p(y1/x1) = -log0,9 = log10/9
Nên: H(Y/X) = 0,36log10/9 + 0,04log10 + 0,06log10 + 0,54log10/9
194/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
= 0.469
c/
= p(x0,y0) I(x0;y0) + p(x0,y1) I(x0;y1) + p(x1,y0) I(x1;y0) + p(x1,y1)I(x1;y1)
Mà: I(x0;y0) = I(y0;x0) = I(y0) - I(y0/x0) = log p(y0/x0)/p(y0) = log0,9/0,42
I(x0;y1) = I(y1;x0) = I(y1) - I(y1/x0) = log p(y1/x0)/ p(y1) = log0,1/0,58
I(x1;y0) = I(y0;x1) = I(y0) - I(y0/x1) = log p(y0/x1)/ p(y0) = log0,1/0,42
I(x1;y1) = I(y1;x1) = I(y1) - I(y1/x1) = log p(y1/x1)/ p(y1) = log0,9/0,58
V y I(X;Y) = 0,36log0,9/0,42 + 0.04log0,1/0,58 + 0,06log0,1/0,42 + 0,54log0,9/0,58ậ
= 0,512
BÀI TẬP LÝ THUYẾT THÔNG TIN
__________________________________________________________________
Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
GiảiSơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng mã nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100
204/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110
Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p= =0,8279
__________________________________________________________________
Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
__________________________________________________________________
Chương V: MÃ VÒNG
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương II
Xem các con bài của bộ bài 52 lá tạo thành 1 nguồn tin rời rạc, Tính Entropy của 1 lá bài rút ngẫu nhiên. Giả sử bỏ qua nước của con bài để bây giờ U={ Ace, 2,3,4,5,6,7,8,9,10,Jack, Queen, King}. Tính Entropy của 1 lá bài rút ngẫu nhiên trong trường hợp này, trong trường hợp U={ bài có hình, bài ko hình}
Giải:
H(U)=i=152puiIui với p(ui)=1/52 ( i= 1,2,3,….52)
=-i=152p(ui)log pui =-52.1/52 log (1/52)= log52 = 5700
b) H(U)=i=113puiIui với p(ui)=1/13 ( i= 1,2,3,….13)
=-i=113p(ui)Iui =-13.1/13 log (1/13)= log13 = 3700
c) Gọi uh là tin bài có hình thì p(uh)=3/13
Gọi uoh là tin bài có hình thì p(uoh)=10/13
214/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Vậy H(U)= p(uh)I (uh)+ p(uoh)I (uoh)
=- p(uh)log p(uh)- )- p(uoh)log (uoh)
= 313log 313- 1013log1013
=0,779
Chương III
Lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
Ui u1 u2 u3 u4 u5 u6 u7 u8 u9
P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01
Bằng mã nhị phân the phương pháp shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã p=H(U)/ ntb
Giải:
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng nhị phân của Pi Từ Mã
U1
U2
U3
U4
U5
U6
U7
U8
U9
.34
.2
.19
.1
.07
.04
.03
.02
.01
0
.34
.54
.73
.83
.9
.94
.97
.99
2
3
3
4
4
5
6
6
7
0
0,01010111
0,10001010
0,10111010
0,11010100
0,11100110
0,11110000
0,11111000
0,11111101
00
010
100
1011
1101
11100
111100
111110
1111110
224/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Độ dài trung bình từ mã : ntb= i=19ni pui=3.1
Entropy của tập tin : H(U)=-i=19puilogui=2,5664
Chỉ số kinh tế của bộ mã: ρ= H(U)/ ntb=2.5664/3.1=0,8279
Chương V
Chứng minh rằng trong 1 bộ mã vòng khi sai E(x) có thể dò được thì mẫu sai Ei(x) chuyển dịch vòng I bit so với E(x) cũng có thể dò được
Giải:
Nếu Ei(x) là 1 mẫu sai ko phát hiện được thì Ei(x) là 1 từ mã. Từ đây theo đn của mã vòng thì E(x) cũng là 1 từ mã.Khi đó vì mã vòng là mã tuyến tính nên 1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và không phát hiện sai được. Điều này mâu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.
BÀI TẬP LÝ THUYẾT THÔNG TIN
Bài 8 : chứng minh rằng
Bài giải :
234/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
= H(X) + H(Y/X) (đpcm)
Bài 9 : Giả sử có một nguồn tin rời rạc xuất hiện p(u) khi u U. Với mỗi tin u chọn 1 từ mã có
độ dài l(u) thỏa :
Chứng minh rằng độ dài trung bình
Thỏa
Bài giải:
Theo đề bài với mọi u ta có:
Vì p(u)>0 nên bất đẳng thức trên tương đương với:
Cộng tất cả các bất đẳng thức của từng tin u theo vế:
244/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Hay
Chương III :MÃ THỐNG KÊ TỐI ƯU
BÀI 1: cho bộ mã có cơ số mã m = 4 như sau:
U={3,23,11,123,10}
a. Vẽ cây mã và đồ hình kết cấu của bộ mã Ub. Vẽ mặt tọa độ mãc. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa
lặp
Bài giải:
a. Cây mã :----------------------------------------------------------------------------------------------------Mức 0
2 1---------------------------------------------------------------------------------------------------Mức 1
3 1 2 0--------------------------------------------------------------------------------------------------Mức 2
3---------------------------------------------------------------------------------------------------Mức 3Đồ hình kết cấu :
3
b. Mặt tọa độ mã:
ui ni pi
3 1 3
23 2 14
11 2 5
123 3 57
10 2 1
254/13/2023
0
01
0
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
c. Tổ hợp sơ đẳng : 23,123,10Tổ hợp cuối : 3,11Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311, u6=102311
Bài 5 : lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui u1 u2 u3 u4 u5 u6 u7 u8 u9
P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01
Bằng mã nhị phân m=2, theo phương pháp Shannon,tính đọ dài trung bình của từ mã ntb và tính theo kinh tế của từ mã :
Bài giải :
Sơ đồ mã hóa theo phương pháp Shannon:
ui P(ui) Pi ni Dạng nhị phân của Pi Từ Mã
u1 .34 0 2 0 00
u2 .2 .34 3 0.01010111 010
u3 .19 .54 3 0.10001010 100
u4 .1 .73 4 0.1011010 1011
u5 .07 .83 4 0.11010100 11 01
u6 .04 .9 5 0.11100110 11100
u7 .03 .94 6 0.11110000 111100
u8 .02 .97 6 0.11111000 111110
u9 .01 .99 1 0.11111101 1111110
264/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Đọ dài trung bình từ mã :
Etropy của tập tin:
Chỉ số kinh tế của bộ mã :
Bài 7 : cho nguồn tin U có sơ đồ thống kê như sau:
ui u1 u2 u3 u14
P(ui) .5 .25 .315 .31 . 0157 .0156
Dung mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m=2
Bài giải:
P(ui) Sơ đồ mã hóa Từ mã
.5 0
.25 10
.315 11000
.31 11001
.31 11010
.31 11011
. 0157 111000
. 0157 111001
. 0157 111010
. 0157 111011
. 0157 111100
274/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
. 0157 111101
. 0157 111110
.0156 111111
Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI
Bài 3 : ma trận Sinh của bộ mã tuyến tính (7,3) trên đường GF (2) là :
a.Biểu diễn G dưới dạng chuẩn Gch
b.Xác định ma trận thử Hch
c. Liệt kê các từ mã có được từ G và Gch
d. Xác định khoảng cách Hamming của bộ mã này
bài giải:a.Lấy cột 7 làm cột 1,cột 1 làm cột 3 ta có ma trận Sinh Gch:
b.Ta có :Hch [-PTIn-k] =
284/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
c.Liệt kê các từ mã của G và Gch:
Vector mang tin a
V=a.G w(v) v’=a.Gch W(v’)
000 0000000 0 0000000 0
001 1011100 4 0011110 4
010 0101110 4 0100111 4
011 1110010 4 0111001 4
100 0010111 4 1001011 4
101 1001011 4 1010101 4
110 0111001 4 1101100 4
111 1100101 4 1110010 4
a. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác không của chúng
Chương 5 : MÃ VÒNG
Bài 1: chứng minh rằng đa thức sinh g(x) của 1 bộ mã vòng là ước số của xn+1
Bài giải:
Giả sử
cũng là 1 đa thức mã.Khi đó:
Và
Từ đây :
294/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Hay
Tức là (đpcm)
Bài 5 : chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì mẫu sai E(i)(x) chuyển dịch vòng i bit so với E(x) cũng có thể dò được
Bài giải:
Ta chứng minh bằng phản chứng.
Nếu E(i)(x) là 1 mẫu sai không phát hiện được thì E(i)(x) là 1 từ mã. Từ đây theo định nghĩa của mã vòng thì E(x) cũng là 1 từ mã. Khi đó vì mã vòng là mã tuyến tính nên 1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và không phát hiện sai được. Điều nay mẫu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.
BÀI TẬP LÝ THUYẾT THÔNG TIN
Bài tập: Xem các con bài của bộ bài 52 lá tạo thành một nguồn tin rời rạc. Tính entropy của một lá bài rút ngẫu nhiên. Giả sử bỏ qua nước của con bài để bây giờ U={Ace,2,3,4,5,6,7,8,9,10, Jack, Queen, King}. Tính entropy của một lá bài rút ngẫu nhiên trong trường hợp này, trong trường hợp U={bài có hình, bài không có hình}
Giải:
Câu a:
H(U)= với = (i= 1,2,…,52)
304/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
=
=-52
= 52
=5.7
Câu b:
H(U)= với = (i= 1,2,…,13)
=
=-13
= 13
=3.7
Câu c:
Gọi =
Gọi là tin bài không có hình =
314/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Vậy: H(U) = +
=
=
= 0.779
CHƯƠNG III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê:
0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01
Bằng mã nhị phân (m=2)theo phương pháp Fano. Tính độ dài trung bình của từ mã ntbvà tính kinh tế của từ mã: =H(U)
324/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Giải:
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Từ mã0.34 0 0 00 20.2 0 1 01 20.19 1 0 0 100 30.1 1 0 1 101 30.07 1 1 0 110 30.04 1 1 1 0 1110 40.03 1 1 1 1 0 11110 50.02 1 1 1 1 1 0 111110 60.01 1 1 1 1 1 1 111111 6
Độ dài trung bình tư mã: =
Entropy của tập tin: H(U)= =2.5664
Chỉ số kinh tế của bộ mã: = = 0.9685
334/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
CHƯƠNG IV: MÃ CHỐNG NHIỄU – MÃ KHỐI
Bài tập: Một không gian vector được tạo bởi mọi tổ hợp tuyến tính của tập hợp các vector:
= 1101000
= 0110100
= 0100011
= 1110010
= 1010001
a. Các vector b có độc lập tuyến tính không?b. Tìm số chiều và cơ hệ của không gian vector này
Giải:
Câu a: Các vector phụ thuộc tuyến tính vì:
= 0
344/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Câu b:
Gọi là hệ số
Giả sử tồn tại sao cho:
= 0
1101000)+ (0110100)+ 0100011) + (1110010) = (0000000)
= 0
= 0
= 0
= 0
= 0
= 0
= 0
354/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
= = = = 0
Vậy độc lập tuyến tính, có thể biểu diễn tuyến tính theo
nên không gian vector có 4 chiều và một cơ hệ của nó là
< >.
CHƯƠNG V: MÃ VÒNG
Bài tập:Xét bộ mã vọng (7,3) có đa thức sinh g(x)= 1+ + + . Cho v =
(0011101) là một từ mã của bộ mã (7,3). Tìm tất cả các từ mã bằng cách
dùng đẳng thức sau:
[v(i)T]=S[v(i-1)]T, i= 1,n-1
Với v(k) là từ mã thứ k và:
364/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
S =
Giải:
Trước hết đặt : v(1)= (0011101)
[v(2)]T= [v(1)]T
374/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
=
=
Vậy v(2)= (1001110). Tương tự ta xác định được:
v(3)= (0100111)
v(4)= (1010011)
v(5)= (1101001)
v(7)= (1110100)
v(8)= (0111010)
Cuối cùng bộ mã có từ mã tầm thường:
384/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
v(0)= (0000000)
394/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
404/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương II: LƯỢNG TIN
Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
GiảiSơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng mã nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110
Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p= =0,8279
__________________________________________________________________
Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
414/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
__________________________________________________________________
Chương V: MÃ VÒNG
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 2 lượng tin
Chương 3:Mã thống kê tối ưu:
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntbvà tính kinh tế của từ mã:p=H(U)/Ntb
GiảiSơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng mạ nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110
Độ dài trung bình tư mã:NTB=
Entropy của tập tin:H(u)=
424/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chỉ số kinh tế của bộ mã:p= =0,8279
Chương 4:mã chống nhiếu:mã khối
Bài tập ma trận sinh của bộ mã tuyến tính (6,3)có dạng chuẩ1n là
a.tìm ma trận thử hch của bộ mã.b.liệt kê tất cả các từ mã của bộ mã trên và xác định khoảng cách hamming của bộ mã.c.xác định hàm cấu trúc trọng số mã A(z) và xác định hàm số cấu trủ trọng số mã của bộ mã trực giao sinh ra từ ma trận HCH làB (z) bằng hai phương pháp:trực tiếp và gian tiếp qua A(z).d.lập bảng sắp chuẩncủa bộ mã này với chú ý rằng bảng có chứa mấu sai 2 bít và tính syndrome của tất cả các mẫu sai có thể sửa sai được.e,thiết lập mạch mã hõa,mạch tinhsyndrome và mạch sửa sai của bộ mã.
GIẢI
a Hch=(-pT,IN-K)=
HTch=
b liệt kê các từ mã:
Vector mang tin a V= aGch W(v)000 000 000 0001 001 010 2010 010 111 4011 011 101 4100 100 100 2101 101 110 4110 110 011 4
434/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
111 111 001 4Vậy khoảng cách hamming của bộ mã D=2 là trọng số hamming nhở nhất của các từ mã khác không.
C: Dựa vào bảng liệt kê ta có:A(z)=1+2z2=5z4
Xác định trực tiếp b(z):Ta liẹt kê các tu8ừ mã của5 bộ mã sinh ra bởi hch
Vector mang tin a V= aGch W(v)000 000 000 0001 010 001 2010 011 010 3011 001 011 3100 110 100 3101 100 101 3110 101 110 4111 111 111 6
Vậy B(z)=1+z2+4z3+z4+z6
Chương 5:mã vòng:
Bài tập:cho mã vòng (n,k)=(7,4)có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bít.
GIẢIA.cho d= (0001) tatính được:
V1=0001000+dư số
V1=0001000+011=0001011Quay vòng từ mãv1 ta sẽ đượcthêm 6 từ mã nữa:V2=1000101
V3=1100010
V4=0110001
V5=1011000
V6=0101100
V7=0010110
Cho d=(0011)ta tính được:
Vδ=0011000+dư số
Vδ=0011000+101=00111101Quay vòng từ mã vδ ta sẽ đượcthêm 6 từ mã nữa:V9 =1001110
444/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
V10 =0100111
V11=1010011
V13 =1110100
V14=0111010
Cho d=(1111000) ta tinh được:
V15=1111000+dư sô
V15=1111000+111=1111111
Cho d=(0000) ta tính được:
V0=0000000+dư số
b,ta có thể tính rễ ràng trọng số hamming của bộ mã là trọng số nhở nhất của từ mã khác không : H(V)=3 nên bộ mã có khả năng sửa được tất các mẫu sai 1bít
BÀI TẬP LÝ THUYẾT THÔNG TIN
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 5: Mã Vons
Đa thức sinh của bộ am vòng hamming là:g(x)=1+x3+x4
g. Tìm đa thức thử h(x) của bộ am này.
454/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
h. Thiết kế mạch am hóa thực hiện qua h(x).i. Xác định các bit thử và từ am nhận được tương ứng với chuỗi bit mang tin
d=(10000001011).
Giải
e. Bộ am hamming có (n,k)=(2n-k-1,k) nên:n=2n-k-1=24-1=15.
Từ công thức: h(x)=(xn+1)/g(x)
Ta tính được: h(x)=
f. Khi d=(10000001011) hay d(x)= thì:
v(x)=d(x).xn-k+ dư số của
= + số dư của
=( )
Trong đó x3+1 tương ứng với chuỗi bit 1001 là các bit thử và từ am nhận được
tương ứng với v(x)= ( ) là v=(100000101110010).
BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN
CHƯƠNG 1: LƯỢNG TIN
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 3: Mã Thống Kê Tối Ưu
464/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui u1 u2 u3 u4 u5 u6 u7 u8 u9
P(ui) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2) theo phương pháp shannon. Tính độ dài trung bình của từ mã ntbvà tính kinh tế của từ mã: p=H(U)/ntb
Giải
Sơ đồ mã hóa theo phương pháp mã hóa shannon:ui p(ui) Pi ni Dạng mạ nhị phân của Pi Từ mãu1 0.34 0 2 0 00u2 0.2 0.34 3 0.01010111 010u3 0.19 0.54 3 0.10001010 100u4 0.1 0.73 4 0.10111010 1011u5 0.07 0.83 4 0.11010100 1101u6 0.04 0.9 5 0.11100110 11100u7 0.03 0.94 6 0.11110000 111100u8 0.02 0.97 6 0.11111000 111110u9 0.01 0.99 7 0.11111101 1111110 Chọn ni thỏa điều kiện 2-ni<p(ui)<21-ni
Độ dài trung bình tư mã: ntb=
entropy của tập tin: H(U)=-
Chỉ số kinh tế của bộ mã: p= = =0.8279
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 1 : Tin và lượng tin
Bài 2.9 / tr 36
Cho tập tin U={ ui } với ui=xiyizi ( i = 1,2,3,4,5)
474/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
i 1 2 3 4 5 6Ui 010 011 100 101 110 111P(ui) 0.25 0.25 0.125 0.125 0.125 0.125
Gọi tin a là tin ui= u3 = 100, gọi tin b là tin xi=1 ,gọi tin c là tin yi=0 . Tính I(a) , I(a;b) , I(a;c)
Giải
I(a) = - log 2 0.125
>> I(a) = - log(0.125)/log(2)
= 3
I(a;b) = I (a) – I(a/b)
= -log p(u3) + log p( u3/ u3,u4,u5,u6)
= 3 + log 2 0.125/0.125*4
>> I= 3+log(0.125/4/0.125)/log(2)
= 1
I(a;c) = I (a) – I(a/c)
= -log p(u3) + log p( u3/ u3,u4)
= 3 + log 2 0.125/0.125*2
>> I= 3+log(0.125/2/0.125)/log(2)
= 2
Chương 2 : Mã hóa nguồn tin
Bài 5 / tr
Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui U1 U2 U3 U4 U5 U6 U7 U8 U9
P(ui) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01
484/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bằng mã nhị phân (m=2) theo phương pháp Fano . Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã p=H(u)/ ntb
Giải
Ui P(ui) Lần 1 Lần 2 Lần 3 Lần 4 Lần 5 Lần 6 ni Từ mã
U1 0.34 0 0 2 00
U2 0.2 0 1 2 01
U3 0.19 1 0 0 3 100
U4 0.1 1 0 1 3 101
U5 0.07 1 1 0 3 110
U6 0.04 1 1 1 0 4 1110
U7 0.03 1 1 1 1 0 5 11110
U8 0.02 1 1 1 1 1 0 6 111110
U9 0.01 1 1 1 1 1 1 6 111111
Độ dài trung bình của từ mã ntb là:
ntb = ∑ ni pi
= (0.34*2) + (0.2*2) + (0.19*3) + (0.1*3) + (0.07*3) +(0.04*4) +(0.03*5) +(0.02*6) + (0.01*6)
= 2.65
H(u) = - ∑ pi log2 pi
= - [ (0.34*log2 0.34)+(0.2*log2 0.2)+(0.19*log2 0.19)+(0.1*log2 0.1)+(0.07*log2 0.07)+(0.04*log2 0.04)+(0.03*log2 0.03)+(0.02*log2 0.03)+(0.01*log2 0.01) ]
H(u) = 2.5664
Chỉ số kinh tế của bộ mã : p = H(u) / ntb = 2.5664 / 2.65 = 0.9684
494/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chương 3 : Mã hóa kênh truyền ( mã khối Hamming)
Bài 2 / tr
Cho ma trân sinh của bộ mã tuyến tính C (6,3) trên trường Galois
G = 0 1 1 0 1 0
1 1 0 0 0 1
1 1 0 1 1 0
Tính Gch
Có bao nhiêu từ mã có trọng số Hamming 0,1,2,3,4,5,6,7
Giải
Lấy cột 3 làm cột 1, cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch như sau :
Gch = 1 0 0 0 1 1
0 1 0 1 1 0
0 0 1 1 1 1
Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh chuẩn tắc Gch
Vector mang tin a
V=aG W(v) V’ = a Gch W(v’)
000 000000 0 000000 0
001 110110 4 001111 4
010 110001 3 010110 3
011 000111 3 011001 3
100 011010 3 100011 3
101 101100 3 101100 3
110 101011 4 110101 4
111 011101 4 111010 4
504/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Vậy bộ mã có
1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
4 từ mã có trọng số là 3
3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6
0 từ mã có trọng số là 7
Chương 3 : Mã vòng
Bài 2 / tr
Cho bộ mã vòng (7,4) có đa thức sinh là :
G(x) = x3+x2+1
a. Tìm đa thức thử h(x) của bộ mã này
b. Giả sử nhận được tổ hợp u(x) = x6+x5+x2+1 . Xác định đa thức syndrome của u(x)
Giải
a.Ta có công thức h(x) = xn+1 / g(x) và ta tính được
h(x) = x7+1 / x3+x2+1 = x4+ x3+x2+1
vậy h(x) = x4+ x3+x2+1
b.Già sử nhận được đa thức u(x) = x6+x5+x2+1 , khi đó đa thức syndrome của nó :
Su(x) = số dư của ( u(x) / g(x) ) = số dư của (x6+x5+x2+1 / x3+x2+1) = 0
Vậy đa thức syndrome của u(x) là su(x) = 0
514/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 1 : Tin và lượng tin
Bài 2.9 / tr 36
Cho tập tin U={ ui } với ui=xiyizi ( i = 1,2,3,4,5)
i 1 2 3 4 5 6Ui 010 011 100 101 110 111P(ui) 0.25 0.25 0.125 0.125 0.125 0.125
Gọi tin a là tin ui= u3 = 100, gọi tin b là tin xi=1 ,gọi tin c là tin yi=0 . Tính I(a) , I(a;b) , I(a;c)
524/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Giải
I(a) = - log 2 0.125
>> I(a) = - log(0.125)/log(2)
= 3
I(a;b) = I (a) – I(a/b)
= -log p(u3) + log p( u3/ u3,u4,u5,u6)
= 3 + log 2 0.125/0.125*4
>> I= 3+log(0.125/4/0.125)/log(2)
= 1
I(a;c) = I (a) – I(a/c)
= -log p(u3) + log p( u3/ u3,u4)
= 3 + log 2 0.125/0.125*2
>> I= 3+log(0.125/2/0.125)/log(2)
= 2
Chương 2 : Mã hóa nguồn tin
Bài 5 / tr
Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui U1 U2 U3 U4 U5 U6 U7 U8 U9
P(ui) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01
Bằng mã nhị phân (m=2) theo phương pháp Fano . Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã p=H(u)/ ntb
Giải
Ui P(ui) Lần 1 Lần 2 Lần 3 Lần 4 Lần 5 Lần 6 ni Từ mã
534/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
U1 0.34 0 0 2 00
U2 0.2 0 1 2 01
U3 0.19 1 0 0 3 100
U4 0.1 1 0 1 3 101
U5 0.07 1 1 0 3 110
U6 0.04 1 1 1 0 4 1110
U7 0.03 1 1 1 1 0 5 11110
U8 0.02 1 1 1 1 1 0 6 111110
U9 0.01 1 1 1 1 1 1 6 111111
Độ dài trung bình của từ mã ntb là:
ntb = ∑ ni pi
= (0.34*2) + (0.2*2) + (0.19*3) + (0.1*3) + (0.07*3) +(0.04*4) +(0.03*5) +(0.02*6) + (0.01*6)
= 2.65
H(u) = - ∑ pi log2 pi
= - [ (0.34*log2 0.34)+(0.2*log2 0.2)+(0.19*log2 0.19)+(0.1*log2 0.1)+(0.07*log2 0.07)+(0.04*log2 0.04)+(0.03*log2 0.03)+(0.02*log2 0.03)+(0.01*log2 0.01) ]
H(u) = 2.5664
Chỉ số kinh tế của bộ mã : p = H(u) / ntb = 2.5664 / 2.65 = 0.9684
Chương 3 : Mã hóa kênh truyền ( mã khối Hamming)
Bài 2 / tr
Cho ma trân sinh của bộ mã tuyến tính C (6,3) trên trường Galois
G = 0 1 1 0 1 0
544/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
1 1 0 0 0 1
1 1 0 1 1 0
Tính Gch
Có bao nhiêu từ mã có trọng số Hamming 0,1,2,3,4,5,6,7
Giải
Lấy cột 3 làm cột 1, cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch như sau :
Gch = 1 0 0 0 1 1
0 1 0 1 1 0
0 0 1 1 1 1
Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh chuẩn tắc Gch
Vector mang tin a
V=aG W(v) V’ = a Gch W(v’)
000 000000 0 000000 0
001 110110 4 001111 4
010 110001 3 010110 3
011 000111 3 011001 3
100 011010 3 100011 3
101 101100 3 101100 3
110 101011 4 110101 4
111 011101 4 111010 4
Vậy bộ mã có
1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
554/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
4 từ mã có trọng số là 3
3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6
0 từ mã có trọng số là 7
Chương 3 : Mã vòng
Bài 2 / tr
Cho bộ mã vòng (7,4) có đa thức sinh là :
G(x) = x3+x2+1
c. Tìm đa thức thử h(x) của bộ mã này
d. Giả sử nhận được tổ hợp u(x) = x6+x5+x2+1 . Xác định đa thức syndrome của u(x)
Giải
a.Ta có công thức h(x) = xn+1 / g(x) và ta tính được
h(x) = x7+1 / x3+x2+1 = x4+ x3+x2+1
vậy h(x) = x4+ x3+x2+1
b.Già sử nhận được đa thức u(x) = x6+x5+x2+1 , khi đó đa thức syndrome của nó :
Su(x) = số dư của ( u(x) / g(x) ) = số dư của (x6+x5+x2+1 / x3+x2+1) = 0
Vậy đa thức syndrome của u(x) là su(x) = 0
564/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương II: LƯỢNG TIN
Bài tập: Giả sử có một nguồn tin rời rạc với xác suất xuất hiện p<u> khi u thuộc U, với mỗi tin u, chọn một từ mã có dộ dài 1(u) thỏa:
Log(1/p(u))<l(u)<log(1/p(u))+1Chứng minh rằng độ dài trung bình:
<1(u)>=
Thỏa H(u)<<1(u)><H(u)+1Giải
Theo đề bài với mọi u ta có:
Ví p(u) nên bất đẳng thức trên tương đương với:
P(u)
Cộng tất cả các bất đẳng thức của trường tin u vế theo vế:
574/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Hay H(u) l(u) H(u)+1
__________________________________________________________________
Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
GiảiSơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng mã nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110
Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p= =0,8279
__________________________________________________________________
Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
584/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
__________________________________________________________________
Chương V: MÃ VÒNG
Chương II : LƯỢNG TIN
Bài 8 : Chứng minh rằng
Bài giải :
= H(X) + H(Y/X) (đpcm)
CHƯƠNG III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê:
0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01
594/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bằng mã nhị phân (m=2)theo phương pháp Fano. Tính độ dài trung bình của từ mã ntbvà tính kinh tế của từ mã: =H(U)
Giải:
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Từ mã0.34 0 0 00 20.2 0 1 01 20.19 1 0 0 100 30.1 1 0 1 101 30.07 1 1 0 110 30.04 1 1 1 0 1110 40.03 1 1 1 1 0 11110 50.02 1 1 1 1 1 0 111110 60.01 1 1 1 1 1 1 111111 6
Độ dài trung bình tư mã: =
Entropy của tập tin:
H(U)= =2.5664
604/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chỉ số kinh tế của bộ mã: = = 0.9685
CHƯƠNG IV : MÃ CHỒNG NHIỄU: MÃ KHỐI
CHƯƠNG V: MÃ VÒNG
Bài tập:Xét bộ mã vọng (7,3) có đa thức sinh g(x)= 1+ + + . Cho v =
(0011101) là một từ mã của bộ mã (7,3). Tìm tất cả các từ mã bằng cách
dùng đẳng thức sau:
[v(i)T]=S[v(i-1)]T, i= 1,n-1
Với v(k) là từ mã thứ k và:
S =
614/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Giải:
Trước hết đặt : v(1)= (0011101)
[v(2)]T= [v(1)]T
=
624/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
=
Vậy v(2)= (1001110). Tương tự ta xác định được:
v(3)= (0100111)
v(4)= (1010011)
v(5)= (1101001)
v(7)= (1110100)
v(8)= (0111010)
Cuối cùng bộ mã có từ mã tầm thường:
v(0)= (0000000)
BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN.
CHƯƠNG 1: LƯỢNG TIN
CHƯƠNG 3: MÃ KHỐI
634/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chương II : LƯỢNG TIN
Bài 8 : chứng minh rằng
Bài giải :
= H(X) + H(Y/X) (đpcm)
Chương III :MÃ THỐNG KÊ TỐI ƯU
Bài 5 : lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui u1 u2 u3 u4 u5 u6 u7 u8 u9
P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01
Bằng mã nhị phân m=2, theo phương pháp Shannon,tính đọ dài trung bình của từ mã ntb và tính theo kinh tế của từ mã :
Bài giải :
644/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Sơ đồ mã hóa theo phương pháp Shannon:
ui P(ui) Pi ni Dạng nhị phân của Pi Từ Mã
u1 .34 0 2 0 00
u2 .2 .34 3 0.01010111 010
u3 .19 .54 3 0.10001010 100
u4 .1 .73 4 0.1011010 1011
u5 .07 .83 4 0.11010100 11 01
u6 .04 .9 5 0.11100110 11100
u7 .03 .94 6 0.11110000 111100
u8 .02 .97 6 0.11111000 111110
u9 .01 .99 1 0.11111101 1111110
Độ dài trung bình từ mã :
Etropy của tập tin:
Chỉ số kinh tế của bộ mã :
Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI
Bài 3 : ma trận Sinh của bộ mã tuyến tính (7,3) trên đường GF (2) là :
a.Biểu diễn G dưới dạng chuẩn Gch
b.Xác định ma trận thử Hch
654/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
c. Liệt kê các từ mã có được từ G và Gch
d. Xác định khoảng cách Hamming của bộ mã này
bài giải:a.Lấy cột 7 làm cột 1,cột 1 làm cột 3 ta có ma trận Sinh Gch:
b.Ta có :Hch [-PTIn-k] =
c.Liệt kê các từ mã của G và Gch:
Vector mang tin a
V=a.G w(v) v’=a.Gch W(v’)
000 0000000 0 0000000 0
001 1011100 4 0011110 4
010 0101110 4 0100111 4
011 1110010 4 0111001 4
100 0010111 4 1001011 4
101 1001011 4 1010101 4
110 0111001 4 1101100 4
111 1100101 4 1110010 4
b. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác không của chúng
664/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chương 5 : MÃ VÒNG
Bài 5 : chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì mẫu sai E(i)(x) chuyển dịch vòng i bit so với E(x) cũng có thể dò được
Bài giải:
Ta chứng minh bằng phản chứng.
Nếu E(i)(x) là 1 mẫu sai không phát hiện được thì E(i)(x) là 1 từ mã. Từ đây theo định nghĩa của mã vòng thì E(x) cũng là 1 từ mã. Khi đó vì mã vòng là mã tuyến tính nên 1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và không phát hiện sai được. Điều nay mẫu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.
Chương II: LƯỢNG TIN
Bài 6: Trong kênh truyền tin nhị phân có nhiễu nguồn X =
{x0,x1} có p(x0) = 0.4 và p(x1) = 0.6. Xác suất truyền tin sai nhầm p(y0/x1) = p(y1/x0) = 0.1, xác suất truyền tin đúng p(y0/x0) = p(y1/x1) = 0.9, với Y = {y0,y1}
a/ Tính H(Y)
b/ Tính H(Y/X)
c/ Tính I(X;Y)
Bài làm:
a/ H(Y) = p(y0)I(y0) + p(y1)I(y1)
Áp dụng công thức
Ta có: P(y0) = p(y0,x0) + p(y0,x1)
= p(y0) p(y0/x0) + p(x1) p(y0/x1)
674/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
= 0,4.0,9 + 0,6.0,1
= 0,42
P(y1) = p(y1,x0) + p(y1,x1)
= p(x0) p(y1/x0) + p(x1) p(y1/x1)
= 0,4.0,1 + 0,6.0,9
= 0,58
H(Y) = -0,42log0,42 – 0,58log0,58
=0,8915
b/
= p(x0,y0) I(y0/x0) + p(x0,y1) I(y1/x0) + p(x1,y0) I(y0/x1) + p(x1,y1) I(y1/x1)
Mà: p(x0,y0) = p(x0) p(y0/x0) = 0,4.0,9 = 0,36
p(x0,y1) = p(x0) p(y1/x0) = 0,4.0,1 = 0,04
p(x1,y0) = p(x1) p(y0/x1) = 0,6.0,1 = 0,06
p(x1,y1) = p(x1) p(y1/x1) = 0,6.0,9 = 0,54
I(y0/x0) = -log p(y0/x0) = -log0,9 = log10/9
I(y1/x0) = -log p(y1/x0) = -log0,1 = log10
I(y0/x1) = -log p(y0/x1) = -log0,1 = log10
I(y1/x1) = -log p(y1/x1) = -log0,9 = log10/9
Nên: H(Y/X) = 0,36log10/9 + 0,04log10 + 0,06log10 + 0,54log10/9
= 0.469
c/
= p(x0,y0) I(x0;y0) + p(x0,y1) I(x0;y1) + p(x1,y0) I(x1;y0) + p(x1,y1)I(x1;y1)
Mà: I(x0;y0) = I(y0;x0) = I(y0) - I(y0/x0) = log p(y0/x0)/p(y0) = log0,9/0,42
684/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
I(x0;y1) = I(y1;x0) = I(y1) - I(y1/x0) = log p(y1/x0)/ p(y1) = log0,1/0,58
I(x1;y0) = I(y0;x1) = I(y0) - I(y0/x1) = log p(y0/x1)/ p(y0) = log0,1/0,42
I(x1;y1) = I(y1;x1) = I(y1) - I(y1/x1) = log p(y1/x1)/ p(y1) = log0,9/0,58
Vậy I(X;Y) = 0,36log0,9/0,42 + 0.04log0,1/0,58 + 0,06log0,1/0,42 + 0,54log0,9/0,58
= 0,512
Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài 5: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui u1 u2 u3 u4 u5 u6 u7 u8 u9
P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01
Bằng mã nhị phân(m = 2)theo phương pháp Shannon. Tính độ dài trung binh2cua3 từ mã ntbvà tính kinh tế của từ mã.
Bài làm:
Sơ đồ mã hóa theo phương pháp mã hóa Shannon:
ui P(ui) Pi ni Dạng nhị phân của pi Từ mã
u1 .34 0 2 0 00
u2 .2 .34 3 0,01010111 010
u3 .19 .54 3 0,10001010 100
694/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
u4 .1 .73 4 0,10111010 1011
u5 .07 .83 4 0,11010100 1101
u6 .04 .9 5 0,11100110 11100
u7 .03 .94 6 0,11110000 111100
u8 .02 .97 6 0,11111000 111110
u9 .01 .99 7 0,11111101 1111110
Độ dài trung bình từ mã:
Entropy của tập tin:
Chỉ số kinh tế của bộ mã:
Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
Bài 2: Ma trận của bộ mã tuyến tính (6,3) trên trường GF (2) được cho bởi:
a/ Hãy biểu diễn G dưới dạng chuẩnGch
b/ Liệt kê các từ mã có được từ 2 ma trận sinh G và Gch
c/ Co1bao nhiêu từ mã có trọng số hamming là 0,1,2,3,4,5,6?
Bài làm:
704/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
a/ Lấy cột 3 làm cột 1, cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch
b/ Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh Gch
Vector mang tin a V = aG W(v) V’ = aGch W(v’)
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 1 1 1 0 1 1 0 4 0 0 1 1 1 1 4
0 1 0 1 1 0 0 0 1 3 0 1 0 1 1 0 3
0 1 1 0 0 0 1 1 1 3 0 1 1 0 0 1 3
1 0 0 0 1 1 0 1 0 3 0 1 1 0 0 1 3
1 0 1 1 0 1 1 0 0 3 1 0 1 1 0 0 3
1 1 0 1 0 1 0 1 1 4 1 1 0 1 0 1 4
1 1 1 0 1 1 1 0 1 4 1 1 1 0 1 0 4
c/ Cả 2 bộ mã đều có:
1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
4 từ mã có trọng số là 3
3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6
714/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chương V: MÃ VÒNG
Bài 2: Chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì mẫu sai E(i)(x) chuyển dịch vòng I bit so với E(x) cũng có thể dò được.
Bài làm:
Chứng minh bằng phản chứng.
724/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Nếu E(i)(x)là một mẫu sai không phát hiện được thì E(i)(x) là một từ mã. Từ đây theo định nghĩa của mã vòng thì E(x) cũng là một từ mã. Khi đó vì mã vòng là mã tuyến tính nên một từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành một từ mã v’(x) và không phát hiện sai được. Điều này mâu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.
BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN.
CHƯƠNG 1: LƯỢNG TIN
CHƯƠNG 3: MÃ KHỐI
=
734/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chương II : LƯỢNG TIN
BÀI 2: Với nguồn tin rời rạc gồm 2 ký tự U = {a1,a2} và p(a1) = p
Chứng minh rằng H(U) = H(p) = p log (1/p) + log 1/(1-p) lớn nhất khi p= ½
Bài giải:
Xét hàm số : f(x) = log = - log
Có f’( ) = -log e (ln ) = -log e (ln )
f ’’( ) =
trong khoảng (0,1] có f’’( .
Vậy với a,b
Dấu đẳng thức xảy ra khi và chỉ khi a = b
Cho a = p và b = 1-p ta được :
=
744/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Vậy H(U) =
Bài 8 : chứng minh rằng
Bài giải :
= H(X) + H(Y/X) (đpcm)
Bài 9 : Giả sử có một nguồn tin rời rạc xuất hiện p(u) khi u U. Với mỗi tin u chọn 1 từ mã có
độ dài l(u) thỏa :
754/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chứng minh rằng độ dài trung bình
Thỏa
Bài giải:
Theo đề bài với mọi u ta có:
Vì p(u)>0 nên bất đẳng thức trên tương đương với:
Cộng tất cả các bất đẳng thức của từng tin u theo vế:
Hay
Chương III :MÃ THỐNG KÊ TỐI ƯU
BÀI 1: cho bộ mã có cơ số mã m = 4 như sau:
U={3,23,11,123,10}
d. Vẽ cây mã và đồ hình kết cấu của bộ mã Ue. Vẽ mặt tọa độ mãf. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa
lặp
Bài giải:
d. Cây mã :
764/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
----------------------------------------------------------------------------------------------------Mức 02 1
---------------------------------------------------------------------------------------------------Mức 13 1 2 0
--------------------------------------------------------------------------------------------------Mức 23
---------------------------------------------------------------------------------------------------Mức 3Đồ hình kết cấu :
3
e. Mặt tọa độ mã:
ui ni pi
3 1 3
23 2 14
11 2 5
123 3 57
10 2 1
f. Tổ hợp sơ đẳng : 23,123,10Tổ hợp cuối : 3,11Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311, u6=102311
Bài 5 : lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui u1 u2 u3 u4 u5 u6 u7 u8 u9
P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01
Bằng mã nhị phân m=2, theo phương pháp Shannon,tính đọ dài trung bình của từ mã ntb và tính theo kinh tế của từ mã :
774/13/2023
0
01
0
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bài giải :
Sơ đồ mã hóa theo phương pháp Shannon:
ui P(ui) Pi ni Dạng nhị phân của Pi Từ Mã
u1 .34 0 2 0 00
u2 .2 .34 3 0.01010111 010
u3 .19 .54 3 0.10001010 100
u4 .1 .73 4 0.1011010 1011
u5 .07 .83 4 0.11010100 11 01
u6 .04 .9 5 0.11100110 11100
u7 .03 .94 6 0.11110000 111100
u8 .02 .97 6 0.11111000 111110
u9 .01 .99 1 0.11111101 1111110
Đọ dài trung bình từ mã :
Etropy của tập tin:
Chỉ số kinh tế của bộ mã :
Bài 7 : cho nguồn tin U có sơ đồ thống kê như sau:
ui u1 u2 u3 u14
P(ui) .5 .25 .315 .31 . 0157 .0156
Dung mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m=2
Bài giải:
784/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
P(ui) Sơ đồ mã hóa Từ mã
.5 0
.25 10
.315 11000
.31 11001
.31 11010
.31 11011
. 0157 111000
. 0157 111001
. 0157 111010
. 0157 111011
. 0157 111100
. 0157 111101
. 0157 111110
.0156 111111
Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI
Bài 3 : ma trận Sinh của bộ mã tuyến tính (7,3) trên đường GF (2) là :
a.Biểu diễn G dưới dạng chuẩn Gch
b.Xác định ma trận thử Hch
794/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
c. Liệt kê các từ mã có được từ G và Gch
d. Xác định khoảng cách Hamming của bộ mã này
bài giải:a.Lấy cột 7 làm cột 1,cột 1 làm cột 3 ta có ma trận Sinh Gch:
b.Ta có :Hch [-PTIn-k] =
c.Liệt kê các từ mã của G và Gch:
Vector mang tin a
V=a.G w(v) v’=a.Gch W(v’)
000 0000000 0 0000000 0
001 1011100 4 0011110 4
010 0101110 4 0100111 4
011 1110010 4 0111001 4
100 0010111 4 1001011 4
101 1001011 4 1010101 4
110 0111001 4 1101100 4
804/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
111 1100101 4 1110010 4
c. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác không của chúng
Chương 5 : MÃ VÒNG
Bài 1: chứng minh rằng đa thức sinh g(x) của 1 bộ mã vòng là ước số của xn+1
Bài giải:
Giả sử
cũng là 1 đa thức mã.Khi đó:
Và
Từ đây :
Hay
Tức là (đpcm)
Bài 5 : chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì mẫu sai E(i)(x) chuyển dịch vòng i bit so với E(x) cũng có thể dò được
Bài giải:
Ta chứng minh bằng phản chứng.
Nếu E(i)(x) là 1 mẫu sai không phát hiện được thì E(i)(x) là 1 từ mã. Từ đây theo định nghĩa của mã vòng thì E(x) cũng là 1 từ mã. Khi đó vì mã vòng là mã tuyến tính nên 1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và không phát hiện sai được. Điều nay mẫu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.
814/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương III
Lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
Ui u1 u2 u3 u4 u5 u6 u7 u8 u9
P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01
Bằng mã nhị phân the phương pháp shannon. Tính độ dài trung bình của từ mã ntb
và tính kinh tế của từ mã p=H(U)/ntb
Giải:
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng nhị phân của Pi Từ Mã
U1
U2
U3
U4
U5
U6
U7
U8
U9
.34
.2
.19
.1
.07
.04
.03
.02
.01
0
.34
.54
.73
.83
.9
.94
.97
.99
2
3
3
4
4
5
6
6
7
0
0,01010111
0,10001010
0,10111010
0,11010100
0,11100110
0,11110000
0,11111000
0,11111101
00
010
100
1011
1101
11100
111100
111110
1111110
Độ dài trung bình từ mã :ntb= =3.1
824/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Entropy của tập tin : H(U)= =2,5664
Chỉ số kinh tế của bộ mã: ᵨ= H(U)/ntb=2.5664/3.1=0,8279
Chương IV
Chương V
Chứng minh rằng trong 1 bộ mã vòng khi sai E(x) có thể dò được thì mẫu sai Ei(x) chuyển dịch vòng I bit so với E(x) cũng có thể dò được
Giải:
Nếu Ei(x) là 1 mẫu sai ko phát hiện được thì Ei(x) là 1 từ mã. Từ đây theo đn của mã vòng thì E(x) cũng là 1 từ mã.Khi đó vì mã vòng là mã tuyến tính nên 1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và không phát hiện sai được. Điều này mâu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.
Chương II : LƯỢNG TIN
BÀI 2:
Với nguồn tin rời rạc gồm 2 ký tự U = {a1,a2} và p(a1) = p
Chứng minh rằng H(U) = H(p) = p log (1/p) + log 1/(1-p) lớn nhất khi p= ½
Bài giải:
Xét hàm số : f(x) = log = - log
Có f’( ) = -log e (ln ) = -log e (ln )
834/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
f ’’( ) =
trong khoảng (0,1] có f’’( .
Vậy với a,b
Dấu đẳng thức xảy ra khi và chỉ khi a = b
Cho a = p và b = 1-p ta được :
=
Vậy H(U) =
Chương III :MÃ THỐNG KÊ TỐI ƯU
BÀI 1:
cho bộ mã có cơ số mã m = 4 như sau:
U={3,23,11,123,10}
g. Vẽ cây mã và đồ hình kết cấu của bộ mã Uh. Vẽ mặt tọa độ mãi. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa
lặp
Bài giải:
g. Cây mã :
844/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
----------------------------------------------------------------------------------------------------Mức 02 1
---------------------------------------------------------------------------------------------------Mức 13 1 2 0
--------------------------------------------------------------------------------------------------Mức 23
---------------------------------------------------------------------------------------------------Mức 3Đồ hình kết cấu :
3
h. Mặt tọa độ mã:
ui ni pi
3 1 3
23 2 14
11 2 5
123 3 57
10 2 1
i. Tổ hợp sơ đẳng : 23,123,10Tổ hợp cuối : 3,11Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311, u6=102311
Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI
Chương V : MÃ VÒNG
Bài 1: chứng minh rằng đa thức sinh g(x) của 1 bộ mã vòng là ước số của xn+1
Bài giải:
Giả sử
854/13/2023
0
01
0
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
cũng là 1 đa thức mã.Khi đó:
Và
Từ đây :
Hay
Tức là (đpcm)
BÀI TẬP LÝ THUYẾT THÔNG TIN
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương II: LƯỢNG TIN
Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
GiảiSơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng mã nhị phân của pi Từ mã
864/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
U1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110
Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p= =0,8279
__________________________________________________________________
Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
__________________________________________________________________
Chương V: MÃ VÒNG
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương II
Chương III
Lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
Ui u1 u2 u3 u4 u5 u6 u7 u8 u9
P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01
874/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bằng mã nhị phân the phương pháp shannon. Tính độ dài trung bình của từ mã ntb
và tính kinh tế của từ mã p=H(U)/ntb
Giải:
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng nhị phân của Pi Từ Mã
U1
U2
U3
U4
U5
U6
U7
U8
U9
.34
.2
.19
.1
.07
.04
.03
.02
.01
0
.34
.54
.73
.83
.9
.94
.97
.99
2
3
3
4
4
5
6
6
7
0
0,01010111
0,10001010
0,10111010
0,11010100
0,11100110
0,11110000
0,11111000
0,11111101
00
010
100
1011
1101
11100
111100
111110
1111110
Độ dài trung bình từ mã :ntb= =3.1
Entropy của tập tin : H(U)= =2,5664
Chỉ số kinh tế của bộ mã: ᵨ= H(U)/ntb=2.5664/3.1=0,8279
BÀI TẬP LÝ THUYẾT THÔNG TIN-----------------o0o-----------------
884/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
CHƯƠNG I:
HỆ THỐNG THÔNG TIN
CHƯƠNG II:
LƯỢNG TIN
BÀI 6: Trong kênh truyền tin nhị phân có nhiễu nguồn X={x0,x1} có p(x0)=0.4 và
p(x1)=0.6. Xác suất truyền tin sai nhầm p(y0, x1)=p(y1, x0)=0.1, Xác suất truyền tin đúng p(y0, x0)= p(y1, x1)=0.9 với Y= (y0, y1).a.Tính H(Y).b.Tính H(Y/X).c.Tính I(X;Y).
Giải.
a. H(Y) = p(y0)I(y0) + p(y1)I(y1)
Áp dụng công thức :Ta có p(y0)= p(y0, x0)+ p(y0, x1) = p( x0) p(y0 /x0)+ p( x1) p(y0 /x1)=0.4*0.9+0.6*0.1=0.42
p(y1)= p(y1, x0)+ p(y1, x1)= p( x0) p(y1 /x0)+ p( x1) p(y1 /x1)=0.4*0.1+0.6*0.9=0.58
H(Y)=-0.42log0.42-0.58log0.58=0.8915
b. H(Y/X) =
= p(x0, y0) I(y0 / x0) + p(x0, y1) I(y1 / x0)+ p(x1, y0) I(y0 / x1)+ p(x1, y1) I(y1 /x1)Mà
894/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
p(x0, y0)= p(x0 ) p(y0 /x0)=0.4*0.9=0.36p(x0, y1)= p(x0 ) p(y1 / x0)=0.4*0.1=0.04p(x1, y0)= p(x1 ) p(y0 /x1)=0.6*0.1=0.06p(x1, y1)= p(x1 ) p(y1 / x1)=0.6*0.9=0.54
I(y0 /x0)= - log p(y0 /x0)= - log 0.9 = log (10/9)I(y1 /x0)= - log p(y1 /x0)= - log 0.1 = log 10I(y0 /x1)= - log p(y0 /x1)= - log 0.1 = log 10I(y01/x1)= - log p(y1 /x1)= - log 0.9 = log (10/9)
Nên H(Y/X) = 0.36log (10/9) + 0.04*log10 + 0.06*log10 + 0.54*log(10/9) = 0.469
c. I(X/Y) =
= p(x0, y0) I(x0 ;y0) + p(x0, y1) I(x0 ;y1) + p(x1, y0) I(x1 ;y0) + p(x1, y1) I(x1;y1)Mà I(x0 ;y0) = I(y0 ;x0)= I(y0)- I(y0 ;x0) = log (p(y0 ;x0)/ p(y0))=log(0.9/0.42) I(x0 ;y1) = I(y1 ;x0)= I(y1)- I(y1 ;x0) = log (p(y1 ;x0)/ p(y1))=log(0.1/0.58)I(x1 ;y0) = I(y0 ;x1)= I(y0)- I(y0 ;x1) = log (p(y0 ;x1)/ p(y0))=log(0.1/0.42)I(x1;y1) = I(y1 ;x1)= I(y1)- I(y1 ;x1) = log (p(y1 ;x1)/ p(y1))=log(0.9/0.58)
Vậy I(X;Y) = 0.36*log(0.9/0.42) + 0.04*log(0.1/0.58) + 0.06*log(0.1/042) + 0.54*log(0.9/0.58) = 0.512
CHƯƠNG III:
MÃ THỐNG KÊ TỐI ƯU90
4/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Câu 2: Với bộ mã gốc {00,01,100,1010,10110} phân thành 3 tổ hợp sơ đẳng 00,01,100
và hai tổ hợp cuối 1010 và 10110 để thành lập mã hệ thống có tính prefix. Hãy xác định G(nj) với nj = 1,2,3,……,9.
Giải:
Theo đề bài:
n1=2, n2=2, n3=3, i=3
λ1 =4, λ2 =4, k=2.
Áp dụng công thức:
G(nj)= g(nj- λ1) + g(nj- λ2)+…..+ g(nj- λ1)+ g(nj- λk)
Ta được: G(nj)= g(nj- 4) + g(nj- 5) (1)
Mặc khác: g(nj)= g(nj- n1) + g(nj- n2) + g(nj- n3)
Hay g(nj)= g(nj- 2) + g(nj- 2) + g(nj- 3)
g(nj)= 2*g(nj- 2) + g(nj- 3) (2)
Vậy
g(1)=2g(-1)+g(-2)=0
g(2)=2g(0)+g(-1)=2
g(3)=2g(1)+g(0)=1
g(4)=2g(2)+g(1)=4
g(5)=2g(3)+g(2)=4
Từ đây theo (1):
G(1)= g(-3) + g(-4)=0
G(2)= g(-2) + g(-3)=0
G(3)= g(-1) + g(-2)=0
G(4)= g(0) + g(-1)=1
914/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
G(5)= g(1) + g(0)=1
G(6)= g(2) + g(1)=2
G(7)= g(3) + g(2)=3
G(8)= g(4) + g(3)=5
G(9)= g(5) + g(4)=8
CHƯƠNG IV:
MÃ CHỐNG NHIỄU (MÃ KHỐI)
924/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Câu 1: Một không gian vectơ được tạo bởi mọi tổ hợp tuyến tính của tập hợp các
vectơ sau:
b0=1101000
b1=0110100
b2=0100011
b3=1110010
b4=1010001
a. Các vêctơ b ở trên có độc lập tuyến tính hay không?b. Tìm số chiều và cơ hệ của không gian vectơ này.
Giải:
1. a. Các vectơ b0, b1, b2, b3, b4 phụ thuộc tuyến tính vì dễ thấy:0 b0 +0b1 + b2+b3+b4=0b.Bây giờ giả sử tồn tại λ0 ,λ1, λ2, λ3 sao cho:λ0b0 + λ1b1+ λ2b2+ λ3b3=0
↔ λ0(1101000)+ λ1(0110100)+ λ2(0100011)+ λ3(1110010)=(0000000)
→ λ0+ λ3=0
λ0+ λ1 + λ2+ λ3=0λ0+ λ3=0λ0=0λ1=0λ2+ λ3=0λ2=0
→ λ0= λ1= λ2= λ3=0
Vậy b0, b1, b2 ,b3 độc lập tuyến tính, b4 có thể biểu diễn tuyến tính theo b0, b1, b2, b3 nên không gian vectơ có 4 chiều dài và một cơ hệ của nó là < b0, b1,b2, b3>.
934/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
CHƯƠNG V:
MÃ VÒNG
944/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Câu 8: Cho bộ mã vòng (n,k)=(7,4) có ma trận sinh là g(x)=x3+x+1. Liệt kê tất
cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa được các mẫu sai bao nhiêu bit.
Giải:
8. a. Cho d=(0001) ta tính được:v1=0001000 + dư số (0001000/1011)v1=0001000 + 011=0001011Quay vòng từ mã v1 ta sẽ được them 6 từ mã nữa:v2=1000101v3=1100010v4=0110001v5=1011000v6=0101100v7=0010110Cho d=(0011) ta tính được:v8=0011000 + dư số(0011000/1011)v8=0011000 + 101=0011101Quay vòng từ mã v8 ta sẽ được thêm 6 từ mã nữa;v9=1001110v10=0100111v11=1010011v12=1101001v13=1110100v14=0111010Cho d=(11110) ta tính được.V15=1111000 + dư số(1111000/1011)
V15=1111000 + 111=1111111
Cho d=(0000) ta tính được:V0=0000000 + dư số(1111000/1011)
V0=0000000 + 000=0000000
b.Ta có thể tính được dễ dàng trọng số Hamming của bộ mã là trọng số nhỏ nhất của các từ mã khác không: H(V) = 3 nên bộ mã có khả năng sửa được tất cả các mẫu sai 1 bit.
954/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
BÀI TẬP96
4/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
LÝ THUYẾT THÔNG TIN
CHƯƠNG 2: LƯỢNG TIN
974/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
1. Cho tập tin U = {ui} với ui = xi yi zi
i 1 2 3 4 5 6 7 8
ui 000 001 010 011 100 101 110 111
p(ui) 0.25 0.25 0.125 0.0625 0.0625 0.0625 0.0625 0.0625
Gọi tin ui = u6 = 101 là tin a
xi = 1 là tin b
xi = 1 , xi = 0 là tin c
xi = 1 , yi = 0 , zi = 1 là tin d
Tính I(a) , I(a,b) , I(a,c) , I(a,d).
Bài làm:
I(a) = I(u6) = - log p(u6)
= - log 1/16 = log 1/16
I(a,b) = I(u6 ; xi=1)
= I(u6) - I(u6/ xi=1)
= log
= log
984/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
= log
= log
= log
= log
= log
= log 4
I(a,c) = I(u6 ; xi=1,yi=0)
= I(u6) - I(u6/ xi=1,yi=0)
= log
= log
994/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
= log
= log
= log
= log 8
I(a,d) = I(u6) - I(u6) = 0
CHƯƠNG 3: MÃ THỐNG KÊ TỐI ƯU
1. Lập một bộ mã cho nguồn tin U có thống kê như sau:
ui u1 u2 u3 u4 u5 u6 u7 u8 u9
1004/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
p(ui) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01
Bằng mã nhị phân (m=2) theo phương pháp Shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã:
ρ = H(U)/ ntb
Bài làm:
Sơ đồ mã hóa theo phương pháp mã hóa Shannon:
ui p(ui) pi ni Dạng nhị phân của pi Từ mã
u1 0.34 0 2 0 00
u2 0.2 0.34 3 0,01010111 010
u3 0.19 0.54 3 0,10001010 100
u4 0.1 0.73 4 0,10111010 1011
u5 0.07 0.83 4 0,11010100 1101
u6 0.04 0.9 5 0,11100110 11100
u7 0.03 0.94 6 0,11110000 111100
u8 0.02 0.97 6 0,11111000 111110
u9 0.01 0.99 7 0,11111101 1111110
Độ dài trung bình của từ mã: ntb =
Entropy của tập tin: H(U) = -
Chỉ số kinh tế của bộ mã: ρ =
1014/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
2. Cho nguồn tin U có sơ đồ thống kê như sau:
ui u1 u2 u3 u4+ u6 u7+ u13 U14
p(ui) 0.5 0.25 0.315 0.31 0.0157 0.0156
Dùng mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m = 2.
Bài làm:
Sơ đồ mã hóa theo phương pháp mã hóa Fano:
ui p(ui) Từ mã ni
u1 0.34 0
0
0 2
u2 0.2 1 2
u3 0.19 1
1
1
1
1
1
1
0
0
0 3
u4 0.1 1 3
u5 0.07 1
1
1
1
1
0 3
u6 0.04 1
1
1
1
0 4
u7 0.03 1
1
1
0 5
u8 0.02 1
1
0 6
u9 0.01 1 6
Độ dài trung bình của từ mã: ntb =
Entropy của tập tin: H(U) = -
1024/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Chỉ số kinh tế của bộ mã: ρ =
CHƯƠNG 5: MÃ VÒNG
1. Cho bộ mã vòng (7,4) có đa thức sinh là:
g(x) = x3+ x2+ 1
a. Tìm đa thức thử H(x) của bộ mã này.b. Giả sử nhận được tổ hợp u(x) = x6+ x5+ x2+ 1. Xác định đa thức syndrome của u(x).
Bài làm:
a. Từ công thức:
h(x) =
1034/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
ta tính được h(x) = = x4+ x3 +x2+ 1
b. Giả sử nhận được đa thức u(x) = x6+ x5+ x2+ 1, khi đó đa thức syndrome của nó :
Su(x) = số dư của = số dư của = 0
Vậy đa thức syndrome của u(x) là Su(x) = 0.
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 3:Mã thống kê tối ưu:
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntbvà tính kinh tế của từ mã:p=H(U)/Ntb
GiảiSơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui P(ui) Pi ni Dạng mạ nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110
Độ dài trung bình tư mã:NTB=
1044/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Entropy của tập tin:H(u)=
Chỉ số kinh tế của bộ mã:p= =0,8279
Chương 5:mã vòng:Bài tập:cho mã vòng (n,k)=(7,4)có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bít.
GIẢIA.cho d= (0001) tatính được:
V1=0001000+dư số
V1=0001000+011=0001011
Quay vòng từ mãv1 ta sẽ đượcthêm 6 từ mã nữa:V2=1000101
V3=1100010
V4=0110001
V5=1011000
V6=0101100
V7=0010110
Cho d=(0011)ta tính được:
Vδ=0011000+dư số
Vδ=0011000+101=00111101Quay vòng từ mã vδ ta sẽ đượcthêm 6 từ mã nữa:V9 =1001110
V10 =0100111
V11=1010011
V13 =1110100
V14=0111010
Cho d=(1111000) ta tinh được:
1054/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
V15=1111000+dư sô
V15=1111000+111=1111111
Cho d=(0000) ta tính được:
V0=0000000+dư số
b,ta có thể tính rễ ràng trọng số hamming của bộ mã là trọng số nhở nhất của từ mã khác không : H(V)=3 nên bộ mã có khả năng sửa được tất các mẫu sai 1bít
Trong các bài tập logarit được tính theo cơ số 2.
Bài 1-Chương LƯỢNG TIN
1. Trong một trò chơi xổ số vui người ta xổ 10 chữ số từ 0 đến 9.Xác xuất trúng của mỗi số là như nhau.a. Tính lượng tin riêng của tin : “ số trúng giải là số 9”.b. Tính lượng tin tương hỗ giữa tin : “số trúng giải là 9” so với tin :”số
trúng giải là số chia hết cho 3”.c. Trong 10 tin trên gọi U=(u1,u2,u3,u4,u4,u5,u6) với ui là tin “số i trúng
giải” (i=0,1,…,6).Tìm lượng tin trung bình của tập tin U.
Bài làma. Gọi p(9) là xác suất số 9 trúng giải ta có
p(9) = 1/10= 0.1
vậy I(9)= -log p(9)= log 10= 3.322
b. Gọi p(0-3-6-9) là xác suất để số trúng giải chia hết cho 3, ta có:
p(0-3-6-9) = 4/10= 0.4
Mặt khác : I (9/0-3-6-9) = - log p(9/0-3-6-9)
1064/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Vậy I(9; 0-3-6-9) = I(9) – I(9/0-3-6-9)
c. Lượng tin trung bình của tập tin U :
Bài 2 – Chương MÃ CHỐNG NHIỄU
1074/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
2. Ma trận sinh của bộ giải mã tuyến tính (6,3) trên đường GF (2) được cho bởi :
a. Hãy biểu diễn G dưới dạng chuẩn Gch.b. Liệt kê các từ mã có được từ 2 ma trận sinh G và Gch .c. Có bao nhiêu từ mã có trọng số Hamming là 0,1,2,3,4,5,6,7
Bài làm
a. Lấy cột 3 làm cột 1,cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch :
b. Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh Gch :
Vector mang tin a
V=aG w(v) v’= a.Gch w(v’)
000
001
000000
110110
0
4
000000
001111
0
4
1084/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
010
011
100
101
110
111
110001
000111
011010
101100
101011
011101
3
3
3
3
4
4
010110
011001
100011
101100
110101
111010
3
3
3
3
4
4
c. Cả 2 bộ mã đều có :
1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
4 từ mã có trọng số là 3
3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6.
1094/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
1104/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bài 9 –Chương MÃ THỐNG KÊ TỐI ƯU
3. Cho nguồn tin có sơ đồ thống kê như sau :
Dùng mã Fano để mã hóa nguồn tin trên với cơ số mã m = 3. Tính ntb và tính kinh tế từ mã :
P = H(U) / ntb
Bài làm
Sơ đồ mã hóa bằng bộ mã Fano :
1114/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Độ dài trung bình từ mã :
1124/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Entropy của tập tin :
Chỉ số kinh tế của bộ mã :
1134/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bài 1 – Chương MÃ VÒNG
4. Chứng minh rằng đa thức sinh g(x) của một mã vòng là ước số của xn +1
Giả sử v(x) = v1xn-1 + v2xn-2 + … +vn-1x + vn là một đa thức mã khi đó v’(x) = vnxn-
1 + v1xn-2 + … +vn-2x + vn-1 cũng là một đa thức mã . Khi đó :
v(x) = v1xn-1 + v2xn-2 + … +vn-1x + vn g(x)
và v’(x) = vnxn-1 + v1xn-2 + … +vn-2x + vn-1 g(x)
1144/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Từ đây : xv’(x) – v(x) = vnxn – vn g(x)
Hay : xn – 1 g(x)
Đây là điều cần chứng minh.
Chương II : LƯỢNG TIN
BÀI 2: Với nguồn tin rời rạc gồm 2 ký tự U = {a1,a2} và p(a1) = p
Chứng minh rằng H(U) = H(p) = p log (1/p) + log 1/(1-p) lớn nhất khi p= ½
Bài giải:
Xét hàm số : f(x) = log = - log
Có f’( ) = -log e (ln ) = -log e (ln )
f ’’( ) =
trong khoảng (0,1] có f’’( .
Vậy với a,b
Dấu đẳng thức xảy ra khi và chỉ khi a = b
Cho a = p và b = 1-p ta được :
1154/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
=
Vậy H(U) =
Bài 8 : chứng minh rằng
Bài giải :
= H(X) + H(Y/X) (đpcm)
1164/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bài 9 : Giả sử có một nguồn tin rời rạc xuất hiện p(u) khi u U. Với mỗi tin u chọn 1 từ mã có
độ dài l(u) thỏa :
Chứng minh rằng độ dài trung bình
Thỏa
Bài giải:
Theo đề bài với mọi u ta có:
Vì p(u)>0 nên bất đẳng thức trên tương đương với:
Cộng tất cả các bất đẳng thức của từng tin u theo vế:
Hay
Chương III :MÃ THỐNG KÊ TỐI ƯU
BÀI 1: cho bộ mã có cơ số mã m = 4 như sau:
U={3,23,11,123,10}
j. Vẽ cây mã và đồ hình kết cấu của bộ mã Uk. Vẽ mặt tọa độ mã
1174/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
l. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa lặp
Bài giải:
j. Cây mã :----------------------------------------------------------------------------------------------------Mức 0
2 1---------------------------------------------------------------------------------------------------Mức 1
3 1 2 0--------------------------------------------------------------------------------------------------Mức 2
3---------------------------------------------------------------------------------------------------Mức 3Đồ hình kết cấu :
3
k. Mặt tọa độ mã:
ui ni pi
3 1 3
23 2 14
11 2 5
123 3 57
10 2 1
l. Tổ hợp sơ đẳng : 23,123,10Tổ hợp cuối : 3,11Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311, u6=102311
Bài 5 : lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui u1 u2 u3 u4 u5 u6 u7 u8 u9
P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01
1184/13/2023
0
01
0
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bằng mã nhị phân m=2, theo phương pháp Shannon,tính đọ dài trung bình của từ mã ntb và tính theo kinh tế của từ mã :
Bài giải :
Sơ đồ mã hóa theo phương pháp Shannon:
ui P(ui) Pi ni Dạng nhị phân của Pi Từ Mã
u1 .34 0 2 0 00
u2 .2 .34 3 0.01010111 010
u3 .19 .54 3 0.10001010 100
u4 .1 .73 4 0.1011010 1011
u5 .07 .83 4 0.11010100 11 01
u6 .04 .9 5 0.11100110 11100
u7 .03 .94 6 0.11110000 111100
u8 .02 .97 6 0.11111000 111110
u9 .01 .99 1 0.11111101 1111110
Đọ dài trung bình từ mã :
Etropy của tập tin:
Chỉ số kinh tế của bộ mã :
Bài 7 : cho nguồn tin U có sơ đồ thống kê như sau:
1194/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
ui u1 u2 u3 u14
P(ui) .5 .25 .315 .31 . 0157 .0156
Dung mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m=2
Bài giải:
P(ui) Sơ đồ mã hóa Từ mã
.5 0
.25 10
.315 11000
.31 11001
.31 11010
.31 11011
. 0157 111000
. 0157 111001
. 0157 111010
. 0157 111011
. 0157 111100
. 0157 111101
. 0157 111110
.0156 111111
Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI
1204/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bài 3 : ma trận Sinh của bộ mã tuyến tính (7,3) trên đường GF (2) là :
a.Biểu diễn G dưới dạng chuẩn Gch
b.Xác định ma trận thử Hch
c. Liệt kê các từ mã có được từ G và Gch
d. Xác định khoảng cách Hamming của bộ mã này
bài giải:a.Lấy cột 7 làm cột 1,cột 1 làm cột 3 ta có ma trận Sinh Gch:
b.Ta có :Hch [-PTIn-k] =
c.Liệt kê các từ mã của G và Gch:
Vector mang tin a
V=a.G w(v) v’=a.Gch W(v’)
000 0000000 0 0000000 0
001 1011100 4 0011110 4
1214/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
010 0101110 4 0100111 4
011 1110010 4 0111001 4
100 0010111 4 1001011 4
101 1001011 4 1010101 4
110 0111001 4 1101100 4
111 1100101 4 1110010 4
d. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác không của chúng
Chương 5 : MÃ VÒNG
Bài 1: chứng minh rằng đa thức sinh g(x) của 1 bộ mã vòng là ước số của xn+1
Bài giải:
Giả sử
cũng là 1 đa thức mã.Khi đó:
Và
Từ đây :
Hay
Tức là (đpcm)
1224/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Bài 5 : chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì mẫu sai E(i)(x) chuyển dịch vòng i bit so với E(x) cũng có thể dò được
Bài giải:
Ta chứng minh bằng phản chứng.
Nếu E(i)(x) là 1 mẫu sai không phát hiện được thì E(i)(x) là 1 từ mã. Từ đây theo định nghĩa của mã vòng thì E(x) cũng là 1 từ mã. Khi đó vì mã vòng là mã tuyến tính nên 1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và không phát hiện sai được. Điều nay mẫu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.
BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 5: Mã Vòng
Gỉa sử g(x) là đa thức sinh của một bộ mã vòng có độ dài từ mã n.Chứng minh rằng nếu n là số nguyên nhỏ nhất sao cho xn + 1 chia hết cho g(x) thì trọng số Hamming của bộ mã không nhỏ hơn 3.
GIẢI
Ta chứng minh bài toán bằng phương pháp chứng minh phàn chứng.Giả sử bộ mã như vậy có trọng số Hamming nhỏ hơn 3,tức là bằng 1 hoặc 2.a. Trường hợp trọng số Hamming bằng 1 thì tồn tại một từ mã v(x) sao cho
w(v)=1.Khi đó trong từ mã v chỉ có duy nhất một ký tự bằng 1,giả sử đó là vi. Vậy:
Vi(x) = vixn-i : g(x)Khi đó g(x) không thể là ước số của xn + 1
b. Trường hợp trọng số Hamming bằng 2 thì tồn tại một từ mã v(x) sao cho w(v) = 2. Khi đó trong từ mã v có 2 ký tự bằng 1, giả sử đó là vi và vj. Có thể giả sử i > j và dĩ nhiên n > i > j.Vậy:
vi(x)= vixn-i + vjxn-j = xn-i + xn-j : g(x)
1234/13/2023
ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH
Hay: xn-i (xi-j + 1) : g(x)
Từ đây: xi-j + 1 : g(x) trong khi i-j < n mâu thuẫn với giả thiết ban đầu n là số nhỏ nhất sao cho xn + 1 : g(x).
Vậy trọng số Hamming của bộ mã phải luôn lớn hơn hoặc bằng 3.
1244/13/2023