Základy informatiky
-
Upload
stone-kelley -
Category
Documents
-
view
85 -
download
3
description
Transcript of Základy informatiky
1. Vznik a vývoj teorie informace
2. Matematický aparát v teorii informace• Základy teorie pravděpodobnosti – Náhodné veličiny• Číselné soustavy
3. Informace• Základní pojmy – jednotka a zobrazení informace, informační hodnota• Entropie – vlastnosti entropie• Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv• Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu,
způsoby boje proti šumu
4. Kódování• Elementární teorie kódování• Rovnoměrné kódy – telegrafní kód• Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů• Efektivní kódy – Shannonova – Fanova metoda, Hoffmanova metoda
5. Bezpečností kódy • Zabezpečující schopnosti kódů, • Systematické kódy, • Nesystematické kódy
ZÁKLADY INFORMATIKY – Bezpečnostní kódyZÁKLADY INFORMATIKY – Bezpečnostní kódy
V každé oblasti přenosu a zpracovaní diskrétních V každé oblasti přenosu a zpracovaní diskrétních informací se proto postupně stabilizuje používání informací se proto postupně stabilizuje používání určitých kódů, které se ukazují jako nejvýhodnější z určitých kódů, které se ukazují jako nejvýhodnější z hlediska kompromisu mezi:hlediska kompromisu mezi:
a) stupněm zabezpečení proti chybáma) stupněm zabezpečení proti chybám
b) jednoduchostí (efektivností)b) jednoduchostí (efektivností)
c) cenou realizace příslušných zařízeníc) cenou realizace příslušných zařízení
V reálném životě často dochází při přenosu V reálném životě často dochází při přenosu zakódovaných informací k chybám způsobeným zakódovaných informací k chybám způsobeným šumem prostředí (přenosového kanálu).šumem prostředí (přenosového kanálu).
Snažíme se tedy najít kód, který má co nejkratší délku a Snažíme se tedy najít kód, který má co nejkratší délku a přitom opravuje co největší počet chyb.přitom opravuje co největší počet chyb.
Každé kódové slovo představuje bod v Každé kódové slovo představuje bod v signálním signálním prostoru.prostoru. V důsledku rušivých vlivů se tento bod vysune V důsledku rušivých vlivů se tento bod vysune do jiné polohy. Při náhodném charakteru rušivých vlivů do jiné polohy. Při náhodném charakteru rušivých vlivů se poloha tohoto bodu neustále mění – tvoří soustavu se poloha tohoto bodu neustále mění – tvoří soustavu bodů kolem původního místa.bodů kolem původního místa.
Rozložení náhodných poruch - Rozložení náhodných poruch - GAUSSOVO rozdělení.GAUSSOVO rozdělení.
Z předchozího vyplýváZ předchozího vyplývá
––>> pravděpodobnost chybného přenosu zprávy se pravděpodobnost chybného přenosu zprávy se zmenší vzdálením jednotlivých symbolů množiny zmenší vzdálením jednotlivých symbolů množiny signálů.signálů.
To lTo lze zze zajistit ajistit tak, že vyjádříme signálové symboly tak, že vyjádříme signálové symboly nějakým kódem a pak je vzdálíme od sebe vložením nějakým kódem a pak je vzdálíme od sebe vložením dalších míst do každého kódového slova.dalších míst do každého kódového slova.
Opatření, která provádíme pro zvýšení odolnosti Opatření, která provádíme pro zvýšení odolnosti kódových slov proti vlivům poruchkódových slov proti vlivům poruch
bezpečnostní kódování (kódové zabezpečení)bezpečnostní kódování (kódové zabezpečení)
Snížení výskytu chyb při přenosu dat je možné Snížení výskytu chyb při přenosu dat je možné zabezpečit několika způsoby:zabezpečit několika způsoby:
Bez zabezpečovacích zařízeníBez zabezpečovacích zařízení - tj. úpravou zprávy, velice účinný způsob ochrany, nevyžaduje žádná přídavná zařízení
S pomocí zabezpečovacích zařízení tj.bezpečnostní kódyS pomocí zabezpečovacích zařízení tj.bezpečnostní kódy – systematické, nesystematické kódy
Kontrolou kvality signáluKontrolou kvality signálu - tj. při vybočení sledovaného parametru signálu z tolerance se žádá o opakované zaslání posledního bloku dat
Ad 1) Ad 1) Bez zabezpečovacích zařízeníBez zabezpečovacích zařízení
Nejjednodušším způsobem snížení chybnosti je zvýšení zvýšení redundanceredundance (nadbytečnosti) zprávy = opakování každého kódového slova.
Příklad:Příklad: Pro přenesení binárního kódového slova 1010 použijeme opakování třikrát za sebou. Vysíláme tedy kódové slovo 101010.101010. (při takovém přenosu je možné opravit jednu chybu)
Maximální délka kódu při šestimístném kódovém slově je dána L=2L=266=64=64. Informaci však nesou pouze 2 místa a další čtyři jsou zabezpečující, tzn. LLZZ=2=222=4=4.
Poměr zkrácené a maximální délky kódu = v y u ž i t í k ó d uv y u ž i t í k ó d u
6,25%0,0625222
LL
V 46
2Z
U číselných položek se používá úprava kontrolním úprava kontrolním součtemsoučtem..
Příklad:Příklad:
Chceme-li přenést číslo 5 4 3 2 15 4 3 2 1 sečteme 5+4+3+2+1=15, poslední číslici přidáme k původnímu číslu a pak přenášíme číslo
5 4 3 2 1 55 4 3 2 1 5
10%0,1101010
LL
V 16
5Z
Maximální délka kódu při šestimístném kódovém slově je dána L=10L=1066. Informaci nese prvních 5 míst a poslední místo je zabezpečující, tzn. LLZZ=10=1055.
Příklad:
Přeneste dvoumístné kódové slovo vyjádřené desítkovou číselnou soustavou. Použijte přenesení se zabezpečením pomocí dvojnásobného opakování. Jaké je využití tohoto kódu.
Řešení:Maximální délka kódu pro čtyřmístné dekadické kódové slovo je dána L=10L=1044. Informaci však nesou pouze 2 místa a další 2 jsou zabezpečující, tzn. LLZZ=10=1022.Poměr zkrácené a maximální délky kódu = v y u ž i t í k ó d v y u ž i t í k ó d uu
1%0,01101010
LL
V 24
2Z
Geometrický model kóduGeometrický model kódu
je výhodný pro odvození zabezpečujících vlastností kódu
umožňuje názorné odvození vzdálenosti kódových slov, která je rozhodující pro určení počtu chyb, které je možno objevit popř. opravit
m-místný binární kód (2m kódových slov) lze znázornit pomocí m-rozměrné krychle - HAMMINGHAMMING
nejvýhodnější je představa pro 3-místný binární kód (délka kódu je 23=8) KRYCHLE
HAMMINGOVA KOSTKAHAMMINGOVA KOSTKA
000000
101101
111111
110110
011011
100100
010010
001001
◙ můžeme názorně odvodit z geometrického můžeme názorně odvodit z geometrického modelu kódumodelu kódu
◙ je dána počtem hran, které spojují jednotlivá je dána počtem hran, které spojují jednotlivá kódová slovakódová slova
◙ je rovna počtu znaků, ve kterých se dvě kódová je rovna počtu znaků, ve kterých se dvě kódová slova lišíslova liší
◙ Je označována jako Je označována jako
tzv. tzv. Hammingova vzdálenost - dHammingova vzdálenost - d
Geometrická interpretace viz následující obrázky
Vzdálenost kódových slovVzdálenost kódových slov
000000
101101
111111
110110
011011
100100
010010
001001
Hammingova vzdálenost Hammingova vzdálenost
d = 1d = 1
délka hrany krychle a = 1a = 1
poloměr opsané koule r = 1r = 1
kombinační číslokombinační číslo
počet vrcholů počet vrcholů ležících na opsané ležících na opsané
koulikouli
1
3
d
m
000000
101101
111111
110110
011011
100100
010010
001001
Hammingova vzdálenost Hammingova vzdálenost
d = 2d = 2
délka hrany krychle a = 1a = 1
poloměr opsané koule r = r =
kombinační číslokombinační číslo
počet vrcholů počet vrcholů ležících na opsané ležících na opsané
koulikouli
2
3
d
m
2
000000
101101
111111
110110
011011
100100
010010
001001
Hammingova vzdálenost Hammingova vzdálenost
d = 3d = 3
délka hrany krychle a = 1a = 1
poloměr opsané koule r = r =
kombinační číslokombinační číslo
počet vrcholů počet vrcholů ležících na opsané ležících na opsané
koulikouli
3
3
d
m
3
Příklad: Mějme dvojkový 3-místný kód. Sledujte jaký vliv na zabezpečující vlastnosti kódu má velikost Hammingovy vzdálenosti.
Detekční a korekční schopnosti kóduDetekční a korekční schopnosti kódu
• kód využijeme celý (každé kódové slovo nese informaci d=1d=1) – takový kód neumožňuje registrovat chybu
• využijeme jen kódová slova o d=2d=2 (např. 000, 101, 110, 011) – takový kód umožňuje detekovat chybu
• využijeme jen kódová slova o d=3 (např. 000, 111) – takový kód umožňuje detekovat i opravit chybu
Demonstrace viz předchozí obrázky
Maximální délka dvojkového 3-místného kódu – L = 2L = 233 = 8 = 8 (viz Hammingova kostka)
Z předchozího příkladu vyplývá, že kód objevuje (detekuje) -násobné chyby-násobné chyby, když platí:
d 1d α
Pod detekčními schopnostmi kódudetekčními schopnostmi kódu rozumíme schopnost kódu objevovatobjevovat - - detekovatdetekovat chyby vzniklé při přenosu informací.
Pod pojmem korekční schopnosti kódukorekční schopnosti kódu rozumíme schopnost kódu chyby objevené při přenosu i opravitopravit - korigovatkorigovat. .
Z předchozího příkladu vyplývá, abychom mohli opravit (korigovat) -násobnou chybu-násobnou chybu, musí platit:
22
d 1d
Příklad:
Jaké jsou detekční a korekční schopnosti kódu s minimální Hammingovou vzdáleností d = 3.
Opakovací kódOpakovací kód - přenášený znak se vyšle vícekrát (lichý počet krát - např. 5).
Pro dekódování se pak uplatňuje většinové zastoupenívětšinové zastoupení (větší počet stejných znaků je uznán jako přijatý znak).
1 11111 10101 1Zdrojové slovo
kódování přenos dekódování
Kódové slovo
šum
Přijaté slovo znak
Příklad: Uvažujte opakovací kód. Sledujte detekční a korekční schopnosti tohoto kódu.
d=5 d=5 → → = 4 = 4 = 2 = 2
(můžeme objevit 4 chyby a dvě chyby můžeme opravit)(můžeme objevit 4 chyby a dvě chyby můžeme opravit)
Hammingova váha kódového slovaHammingova váha kódového slova
Je definována jako součet nenulových míst dvojkové posloupnosti tvořící kódové slovo. Lze jí tedy zapsat ve tvaru:
0 kde wm
ii
i aa1
3 )w(C5
k 1i
ia
Příklad: Uvažujte kódové slovo ve tvaru CCkk = 11010 = 11010. Jaká je Hammingova váha takového kódového slova.
Distribuce chybových míst v kódovém slověDistribuce chybových míst v kódovém slově
Máme-li m-místné kódové slovo a z toho je k míst zasaženo rušením (je chybných) pak existuje právě N možností výskytu chybových míst v kódovém slově.
k
mN
Celkový počet možností nulové až m-násobné chyby můžeme vyjádřit vztahem:
mm
k k
m2
0
Nechť pro výskyt chyby platí pravděpodobnost pp a pravděpodobnost (1-p)(1-p) pro ostatní místa složky. Pak pravděpodobnost, že na kk místech kódové složky se vyskytne chyba, a na (m - k)(m - k) místech nikoli, bude:
kmkch p)(1pp
Protože však počet možností výskytu k-násobné chyby je dáno kombinačním číslem mm nad k, platí pro pravděpodobnost výskytu kk-násobné chyby:
kmkch p)(1p
k
mp
Označíme-li pravděpodobnost vzniku chyby na jednom místě kódového slova pch1, pravděpodobnost vzniku chyby na dvou místech pch2 a analogicky pravděpodobnost vzniku chyby na n
místech pchn pak platí nerovnost ppch1ch1 > p > pchch22 > ...> ...>> p pchchnn
Příklad:
Mějme pětimístné kódové slovo (m=5)(m=5) a sledujme pravděpodobnost vzniku dvoumístné chyby (k=2).(k=2). Výskyt chyby je dán pravděpodobností pp a pravděpodobností (1 - p)(1 - p) je dán správný přenos ostatních míst.
Řešení:Počet všech kombinací pro dvě chyby je dán kombinačním číslem:
Pravděpodobnost výskytu dvojnásobné chyby je pak dána:
102
5
32ch2 p)(1p10p
Příklad: Stanovte pravděpodobnost bezchybného přenosu a dále pravděpodobnost výskytu 1, 2, 3, 4-násobné chyby v čtyřmístém kódovém slově. Pravděpodobnost chyby je dána p=0.2p=0.2 a tedy (l - p) = 0.8(l - p) = 0.8
Pozn: Pravděpodobnost přechodu z nuly na jedničku a naopak (tedy pravděpodobnost chyby) může mít různou hodnotu (v příkladu jsme volili p = 0.2), musí však platit 0 < p < 0.5. (Pro hodnotu p = 0.5 klesá kapacita kanálu C na nulu)
0,40960,80,21p)(1p0
4p 4040
ch0
0,40960,80,21p)(1p1
4p 3131
ch1
0,15360,80,21p)(1p2
4p 2222
ch2
0,02560,80,21p)(1p3
4p 1313
ch3
0,00160,80,21p)(1p4
4p 0404
ch4