7_resumen Segundo Capitulo de Abramson
-
Upload
jorge-arango -
Category
Documents
-
view
221 -
download
0
Transcript of 7_resumen Segundo Capitulo de Abramson
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
1/15
20
Captulo 2 de Abramson
Clase 3
2. LA INFORMACIN Y SUS FUENTES2.1.Definicin de informacin
Definicin:sea E un suceso que puede presentarse con probabilidad . Cuando tiene lugar se dice que hemos recibido
.Al elegir la base se elige la unidad (
,
,
para
2,
y
10
respectivamente)
Se observa que s /, ser , o sea que un bit es la cantidad deinformacin obtenida al especificar una de dos posibles alternativas igualmente
probables.
Ej.: imagen de televisin en gris de pixeles con igualmenteprobables de brillantez y sin dependencia entre pxeles consecutivos.
Ej.:Informacin contenida en
emitidas por un locutor de radio de un
vocabulario de .2.2.Fuente de informacin de memoria nula2.2.1. Definicin:
Se define un mecanismo generador de informacin (fuente) como el de la ilustracin 1
Ilustracin 1: fuente de informacin
Si la fuente emite una secuencia de smbolos pertenecientes a un alfabeto finito y fijo {, , , } y, adems, los smbolos son estadsticamente independientes, la fuente esde memoria nula y se puede describir mediante el alfabeto fuente y la probabilidad deque los smbolos se presenten , ,,().La informacin media suministrada por esta fuente est dada por la entropa:
=
=
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
2/15
21
En donde nuevamente las unidades por smbolo de la entropa dependern de la base
escogida para el logaritmo.
Ejemplo: sea la fuente sin memoria , , con / y /
, entonces
12 2 14 4 14 4 32 /Puede interpretarse como la informacin necesaria para que la presencia de seacierta.
La entropa puede interpretarse como el valor medio de la informacin por smbolosuministrada por la fuente o el valor medio de la incertidumbre de un observador antes de
conocer la salida de la fuente.
2.2.2.
Propiedades de la entropa
Las propiedades de la entropa se pueden obtener con base en el comportamiento de las
dos curvas que se muestran en la ilustracin 2:
Ilustracin 2: Grficos de
y
Como se observa en esta figura, la recta se mantiene por encima de la curva y por tanto puede escribirse
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
3/15
22
Multiplicando por 1se tiene que
Si , , , , e , , , , son dos conjuntos de probabilidades, se demuestra(ver Pg. 30)que
= Y, adems,
=
=
Ejemplo:
Si se tienen los siguientes conjuntos de probabilidad
, , , , , , , , La informacin de los smbolos individuales ser:
1.5850,2.5850,2.5850,3.5850,2.0000
2.5850,2.5850,2.5850,2.5850,1.5850La entropa de la fuente est dada por log 1 2.1887
= La entropa de la fuente
est dada por
log 1 2.2516= Las entropas cruzadas:
log 1 2.335
= log 1 2.39
=
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
4/15
23
Para analizar de qu modo depende la entropa de la probabilidad de los diferentes
smbolos de la fuente sea una fuente
isS y sus probabilidades qisP i ,,2,1,
Se demuestra (ver Pg. 31)que
0)log( SHq
O sea que la entropa de la fuente siempre es menor o igual que )log(q . La igualdad se
cumple siq
Pi1
Luego el valor mximo de la entropa es )log(q y se alcanza cuando todos los smbolos
son equiprobables. (Ejemplo: representacin fija con log ).Un ejemplo particularmente importante de fuente de informacin de memoria nulacorresponde a una fuente binaria de memoria nula. En tal fuente, el alfabeto se reduce a0 , 1. La probabilidad de un 0 esy la de un 1, . La entropa de tal fuente
/ (2-12)La funcin en (2.12) aparece con frecuencia en los problemas de teora de la informacin.
Por esta razn se acostumbra a representarla por un smbolo especial. Por definicin:
/
(2-13)
Que llamaremos funcin entropa. Hay que sealar la diferencia existente entre (2-12) y
(2-13). La funcin determina la entropa de una fuente particular S, mientras quees una funcin de la variable definida en el lintervalo , .El significado delsmbolo depende, en definitiva, de la variable. Otro punto importante es que
Y as por definicin
En la ilustracin 3 se observa la variacin de la curva en funcin de , en elintervalo 0 , 1de la variable independiente. En este caso se muestra que una fuente binaria no suministra ninguna informacin en
el caso de la informacin cierta y que la informacin media mxima es 1 bit. Adems,
aunque los binits de salida pueden aportar informacin mayor a 1 bit, en promedio la
informacin de la fuente siempre ser menor o igual a 1 bit por binit.
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
5/15
24
Debe observarse tambin que la cantidad mxima de informacin crecelentamente al aumentar , de tal manera que para duplicar la informacin promediomxima se debe tener una fuente con 2q smbolos.
Ilustracin 3: funcin entropa
2.2.3. Extensiones de una fuente de memoria nula
Se trabaja con grupos de smbolos, lo que equivale a tener una fuente con ms smbolos.Si se tiene una fuente de memoria nula con un alfabeto {, , , }se pueden agruparlas salidas en paquetes de smbolos, lo que permite nq secuenciasde salida distintas.Sea
una fuente de memoria nula, con un alfabeto
{, , , }. Sea
iP la probabilidad
correspondiente ai
s . La extensin de orden de , nS ,es una fuente de memoria nulade nq smbolos, nq
,,,21 . El smbolo
i corresponde a una secuencia de
smbolos de losq
s , con una probabilidad i
P que es precisamente la probabilidad de la
secuencia correspondiente. Es decir, sii
representa la secuencia inii sss ,,, 21 ,entonces
iniii PPPP ***
21
En este caso se demuestra (ver pginas 35-36) que
SHnSH n
*
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
6/15
25
Ejemplo: Consideremos la extensin de segundo orden de la fuente que tiene un alfabeto
321 ,, sssS con probabilidades 4/1,4/1,2/1SP . Dicha fuente tendr losnueve smbolos mostrados en la tabla 1:
Tabla 1: Fuente extendida
Para esta fuente extendida la informacin promedio ser:
14 l o g 4 4 18 l o g 8 4 116 log16 3 /
2.3.Fuentes de informacin de Markov (fuente con memoria)2.3.1. Definicin:
En este caso la presencia de un determinado smboloi
s depende de un nmero finito de smbolos precedentes. Tal fuente se define por su alfabeto
y el conjunto de
probabilidades condicionales
mpqjqissssP pjmjji ,,2,1,,,2,1;,,2,1para,,,/ 21
En una fuente de Markov de orden la probabilidad de un smbolo cualquiera vienedeterminada por lossmbolos precedentes. Puesto que existen smbolos distintos,existirn estados posibles, en donde estadosignifica los smbolos precedentes.Un estado cambia cuando la fuente emite nuevos smbolos. Una forma de representar este
comportamiento es el diagrama de estados.
En este diagrama los estados se representan cada uno por un punto (o por un crculo),indicndose mediante flechas las transiciones entre estados.Ejemplo:consideremos una fuente de Markov de segundo orden con un alfabeto binario0,1. Supongamos que las probabilidades condicionales son
(0 00 ) (1 11 ) 0.8
(1 00 ) (0 11 ) 0.2
(0 01 ) (0 10 ) (1 01 ) (1 10 ) 0.5
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
7/15
26
El diagrama de estados para esta fuente se muestra en la ilustracin 4:
Ilustracin 4: Diagrama de estados de una fuente de Markov de segundo orden
Fuente ergdica: es aquella que observada durante un tiempo suficientemente largo, emite
con toda seguridad una secuencia tpica de smbolos.
Las fuentes no ergdicas son una rareza y por tanto si se escoge un estado inicial de una
fuente de Markov y se deja transcurrir un gran nmero de transiciones de estado, se sabe
que existir una probabilidad finita de que se presente cada uno de ellos. Adems en una
fuente ergdica los estados que realmente aparecen en una secuencia larga lo harn (con
probabilidad 1) con las mismas probabilidades.
Ejemplo: Consideremos una fuente de Markov de segundo orden con un alfabeto binario
0,1. Supongamos que las probabilidades condicionales son:(0 01 ) (0 10 ) (1 01 ) (1 10 ) 0.5(0 00 ) (1 11 ) 1.0(1 00 ) (0 11 ) 0.0
Su correspondiente diagrama de estados se muestra en la ilustracin 5:
Ilustracin 5: Diagrama de estados de una fuente de Markov de segundo orden no ergdica.
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
8/15
27
Una propiedad adicional de las fuentes ergdicas es que la distribucin de probabilidades
de un conjunto de estados que se presentan despus de producirse un gran nmero de
transiciones (o, anlogamente, la distribucin de estados en una secuencia de salida tpica)
no depende de la distribucin inicial con que son elegidos los diferentes estados.
Existe una distribucin de probabilidades nica para un conjunto de estados de una fuentede Markov ergdica y los estados en cualquier secuencia suficientemente larga se
presentarn (con probabilidad 1) de acuerdo con esa distribucin. Esta distribucin se
llama distribucin estacionaria y puede calcularse a partir de las probabilidadescondicionales de los smbolosya que no depende de la distribucin inicial con que losestados fueron escogidos.
Por ejemplo en la fuente de Markov del ejemplo 2.3 Pg. 37se tiene que
10*10/000*00/000 PPPPP
10*5.200 PP
10*10/100*00/101 PPPPP
1001 PP
01*01/111*11/111 PPPPP
0011 PP
Adems
111100100 PPPP
1005.2/005.2/0000 PPPP
Finalmente:
2/1410P01
5/1411P00
P
P
Cuando se definen las probabilidades condicionales de los smbolos
jmjji ssssP ,,,/ 21 de un proceso ergdico de Markov de orden , implcitamentedefinimos tambin las mq probabilidades de estado jmjj sssP ,,, 21 .
Combinando estas dos probabilidades se obtiene la probabilidad del suceso simultneo,fuente en el estado
jmjj sss ,,, 21 y is presente.Esta probabilidad es precisamente
jmjjjmjjiijmjj sssPssssPssssP ,,,*,,,/,,,, 212121 .
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
9/15
28
En la tabla 2 se observan las probabilidades de transicin, las probabilidades de losestados y las probabilidades del suceso simultneo.
,
,
,
(
,
)
(
,
, )
000 0,8 5/14 4/14001 0,2 5/14 1/14
010 0,5 2/14 1/14
011 0,5 2/14 1/14
100 0,5 2/14 1/14
101 0,5 2/14 1/14
110 0,2 5/14 1/14
111 0,8 5/14 4/14
Tabla 2: Tabla con las probabilidades de la fuente del ejemplo
La informacin media suministrada por una fuente ergdica de Markov de orden sepuede calcular de la siguiente manera:Si nos encontramos en el estado
jmjj sss ,,, 21 , la probabilidad condicional de recibir
el smboloi
s es jmjji ssssP ,,,/ 21 . La informacin obtenida si se presenta is es
jmjji
jmjjissssP
ssssI,,,/
1log,,,/
21
21
La informacin media por smbolo cuando nos encontramos en el estado jmjj sss ,,, 21
est dada por
S
jmjjijmjjijmjj ssssIssssPsssSH ,,,/*,,,/,,,/ 212121
La cantidad media de informacin o entropa de la fuente de Markov de orden , secalcula obteniendo el valor medio de esta cantidad, extendida a los mq estados posibles.
m
S
jmjjjmjj sssSHsssPSH ,,,/*,,, 2121
Al escribir esta ecuacin se ha supuesto que el estado jmjj sss ,,, 21 es equivalente a
un smbolo dem
S
m
S S jmjji
jmjjijmjjssssP
ssssPsssPSH,,,/
1log*,,,/*,,,
21
2121
1
21
2121,,,/
1log*,,,/*,,,
m
S jmjji
jmjjijmjjssssP
ssssPsssPSH
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
10/15
29
1 21
21,,,/
1log*,,,,
mS jmjji
ijmjjssssP
ssssPSH
En dondem
S es una extensin de orden
de una fuente de Markov.
Ejemplo:Consideremos la fuente de Markov ergdica previa. Las probabilidades ms
significativas estn resumidas en la tabla 3:
, , , ( , ) (, , )000 0,8 5/14 4/14
001 0,2 5/14 1/14
010 0,5 2/14 1/14
011 0,5 2/14 1/14
100 0,5 2/14 1/14
101 0,5 2/14 1/14110 0,2 5/14 1/14
111 0,8 5/14 4/14
Tabla 3: distribucin de probabilidades para la fuente de Markov de segundo orden del ejemplo.
La entropa se calcula de la siguiente manera:
( , , ) , 2 4 14 10.8 2 114 10.2 4 114 10.50.81 2.3.2. Fuente afn
Se define una fuente afn as: Suponiendo que el alfabeto de una fuente de Markov deorden es { , , , } y que, adems, , , , son las probabilidades deprimer orden de los smbolos de la fuente, la fuente afn de , llamada ,es la fuente deinformacin de memoria nula del alfabeto idntico al de , y de smbolos de
probabilidades , , , .Por la simetra que tiene la fuente de Markov de orden 2 de la ilustracin 4los 1y los0son igualmente probables y por tanto la fuente afn ser aquella fuente de memorianula con smbolos equiprobables y .Se demuestra (ver pp. 42-43) que la entropa de la fuente afn
nunca es menor que la
entropa de la fuente , o sea
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
11/15
30
Lo cual significa que como las dos fuentes y tienen las mismas probabilidades de
primer orden y difieren en el hecho de las probabilidades condicionales de impuestas asus secuencias de salida, entonces es esta restriccin la que hace decrecer la informacin
promedia que fluye de la fuente.
La igualdad se cumple cuando es estadsticamente independiente de o sea que seauna fuente de memoria nula. Esto se comprueba en el ejemplo visto previamente en donde
la fuente de Markov tiene una entropa de . y su fuente afn tiene una entropade .
2.3.3. Extensiones de una fuente de Markov
Se define una fuente conformada por smbolos construidos a partir de
smbolos de una
fuente de Markov de orden
, as:
Sea una fuente de informacin de Markov de orden , de alfabeto {, , , } yprobabilidades condicionales ( , , , ).La extensin de orden de , ,es una fuente de Markov de orden , con smbolos, {, , , }. Cada corresponde a una secuencia de de los smbolos y las probabilidades condicionalesde son ( , , , ). Estas probabilidades, as como , se definen acontinuacin.
Si
representa un smbolo de la extensin de orden
, o sea una secuencia de
smbolos de la fuente original, entonces la secuencia , , , es equivalente aalguna secuencia de , digamos , , , en donde Luego es el menor nmero entero igual o superior a . Las probabilidadescondicionales de los smbolos de, por lo tanto, pueden escribirse en la forma
( , , , )Por ejemplo, la tercera extensin de una fuente de Markov de quinto orden con
smbolos
sera una fuente de Markov de segundo orden con smbolos. De aqu se puede concluirque si se toman al menos extensiones de una fuente de Markov de orden puedesiempre obtenerse una fuente de Markov de primer orden.
Para obtener la probabilidad condicional de la extensin en funcin de lasprobabilidades condicionales de los smbolos de la fuente original , sea
, , , Por lo tanto la probabilidad condicional
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
12/15
31
( , , , ) ( , , , , , , )( , , , ) ( , , , ) ( , + , ) En el ltimo termino del producto se ha supuesto que > . Si este ltimotrmino sera ( , , ).Se demuestra en laspginas 45 y 46 que
Se demuestra adems que la entropa de una fuente afn de la extensin de orden de unafuente de Markov de primer orden, cumple con
, , , [ / /] . . SH
n
SH n
n
_
lim
Lo cual significa que para valores grandes de
, las limitaciones de Markov sobre los
smbolos de son cada vez menos importantes.De este resultado puede concluirse que la fuente afn de la extensin de orden de nocoincide con la extensin de orden de la fuente afn de , o sea
Ejemplo: Resumiremos algunos de los resultados obtenidos en los ejemplos anteriores en
el caso de la fuente de la ilustracin 4:
0.81 1.0 1.62 Puede calcularse( ) ( , )1/ (, ) 1.86
Un clculo ms largo y complicado permite deducir los valores siguientes:
( ) 2.66 ( ) 3.47
Hay que destacar como la secuencia
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
13/15
32
1 ( )2 0.93 ( )3 0.89 ( )4 0.87Se aproxima al valor de .Ver ejemplo 2-6 pp. 47 y 48
2.4.Estructura del lenguaje
En esta seccin se estudia la analoga que hay entre el modelo de probabilidades
previamente visto y el proceso fsico de generacin de informacin. En particular se
estudia el modelo de generacin de mensajes compuestos de palabras de la lengua inglesa.
Se asume un alfabeto de 26 letras ms el espacio.
Si se asume una fuente con memoria nula con smbolos equiprobables se tiene una
entropa de 4.75 /.En la ilustracin 6se muestra una secuencia tpica de 76 para este caso.ZEWRTZYNSADXESYJRQY_WGECIJJ_OBVKRBQPOZBYMBUAWVLBTQCNIKFMP_KMVUUGBSAXHLHSIE_M
Ilustracin 6: Aproximacin cero al ingls
Si se usan las probabilidades reales de los smbolos que se muestran en la tabla 4se
puede obtener una aproximacin ms exacta al idioma ingls. En este caso la entropa esde 4.03 /.
Smbolo Probabilidad Smbolo Probabilidad
Espacio 0.1859 N 0.0574A 0.0642 O 0.0632B 0.0127 P 0.0152C 0.0218 Q 0.0008D 0.0317 R 0.0484E
0.1031 S
0.0514
F
0.0208 T
0.0796
G 0.0152 U 0.0228H 0.0467 V 0.0083I 0.0575 W 0.0175J 0.0008 X 0.0013K 0.0049 Y 0.0164L 0.0321| Z 0.0005M 0.0198
Tabla 4: Probabilidades de los smbolos en ingls (Reza, 1961)
La ilustracin 7muestra una secuencia tpica para esta fuente.
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
14/15
33
AL_NGAE__ITF_NNR_ASAEV_OIE_BAINTHA_HYROO_POER_SETRYGAIETRWCO__EHDUARU_EU_C_FT_NSREM_DIY_EESE__F_O_SRIS_R_UNNASHOR
Ilustracin 7: primera aproximacin al ingls
En este caso se tiene una mejor aproximacin dado que las palabras son en su mayora de
longitud apropiada, y la proporcin entre consonantes y vocales es ms real.
Si se utiliza una fuente de Markov de primer orden con probabilidades condicionales bien
escogidas (Pratt 1942) se tiene que
, .
Utilizando un mtodo sugerido por Shannon en donde se toman las probabilidades de un
texto que se desprenden directamente de l.
El proceso es el siguiente:
Se abre el texto y se selecciona una letra al azar
Se saltan varias lneas buscando la prxima ocurrencia de la letra y se mira cual
letra le sigue.
Se repite de nuevo la operacin y se mira la ocurrencia de la letra que sigui en el
caso anterior y cual le sigue y as sucesivamente.
Con este procedimiento se construye la aproximacin al ingls de la ilustracin 8.
URTESHETHING_AD_E_AT_FOULE_ITHALIORT_WACT_D_STE_MINTSAN_OLINS_TWID_OULY_TE_THIGHE_CO_YS_TH_HR_UPAVIDE_PAD_CTAVED
Ilustracin 8: segunda aproximacin al ingls
En este caso se observa que el texto generado tiene un sabor a ingls.
Con este procedimiento y construyendo una fuente de Markov de segundo orden se logra
un texto como el de la ilustracin 9en donde Shannon estim que la entropa era delorden de 3.1 /.IANKS_CAN_OU_ANG_RLER_THATTED_OF_TO_SHOR_OF_TO_HAVEMEM_A_I_MAND_AND_BUT_WHISSITABLY_THERVEREER_EIGHTS_TAKILLIS_TA
Ilustracin 9: tercera aproximacin al ingls
Utilizando una fuente con memoria nula que emite palabras del ingls con probabilidadessimilares a las del ingls Shannon obtuvo la aproximacin de la ilustracin 10
-
7/25/2019 7_resumen Segundo Capitulo de Abramson
15/15
34
REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CANDIFFERENT NATURAL HERE HE THE A IN CAME THE TO OF TO EXPERTGRAY COME TO FURNISHES THE LINE MESSAGE HAD BE THESE
Ilustracin 10: cuarta aproximacin al ingls
Utilizando una fuente de Markov de primer orden que genere palabras inglesas Shannon
gener la secuencia de la ilustracin 11:
THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THATTHE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHODFOR THE LETTERS THAT THE TIME OF WHO EVER TOLD THE PROBLEMFOR AN UNEXPECTED
Ilustracin 11: quinta aproximacin al ingls