CADENAS DE MARKOV

Espacio de estados de un
proceso:
El conjunto de todos
los posibles estados
que un proceso puede
ocupar en los distintos
movimientos se llama
espacio de estados. Un
espacio de estados
puede ser
finito,
numerable
no numerable.
Usaremos a
1
,a
2
,.....a
n

para representar los (n)
estados de un estado
a
i
------> a
j
para
representar que el
proceso se mueve del
estado (i) al estado (j).
Probabilidades de transicin de
un solo paso
P(a
i
-----> a
j
) es la
probabilidad condicional para
que el proceso que se
encuentra en el estado a
i
se
mueva al estado a
j
en un slo
paso, y se designa por P
ij
.
Esto recibe el nombre de
probabilidad de transicin de
un slo paso. Si todas estas
probabilidades son conocidas
para todos los pares de estados
se ordenan en una matriz
cuadrada que recibe el
nombre de matriz de transicin.
P = [p
ij
]
Ejemplo:
Sea una persona sentada en
el asiento de en medio de una
fila de cinco asientos
[marcados con
A,B,C,D,E] de izquierda a
derecha. Esta persona se
mueve por seis veces de una
silla a la otra, estando sus
movimientos controlados por
una moneda que se tira al aire.
a) Si no est al final de una
fila de asientos se mueve
hacia la derecha si sale CARA
y hacia la izquierda si sale
CRUZ.
b) Si est al final se quedar
donde est salga lo que
salga.
Espacio de Estados:
[ A, B, C, D, E ]

P[A ---> A] = P[E ---> E] = 1
ya que se queda donde est.
P[B ---> A] = 1/2 puesto
que la probabilidad de que
salga CR es 1/2.
P[C ---> C] = 0 ya que
aqu no se puede quedar.
La p
ij
= 1
Las matrices que tienen
elementos no negativos y a
suma de los elementos de
sus filas valen la unidad
se llaman matrices
estocsticas
A B C D E
A 1 0 0 0 0
B 1/2 0 1/2 0 0
C 0 1/2 0 1/2 0
D 0 0 1/2 0
E 0 0 0 0 1
Vector probabilidad inicial
Existe un vector
probabilidad inicial tal
que:
a = (a
1
, a
2
,....a
n
) en
la que los elementos a
i

son las probabilidades de
que el estado inicial del
proceso sea S
i
.

En el ejemplo anterior
El vector probabilidad
inicial sera
a = (0, 0,.1, 0, 0)
puesto que el proceso
comienza en la silla C.

Propiedad de Markov
Considerar una secuencia
S
i
,S
j
,S
k
de un experimento
cuyo vector y matriz inicial son
conocidos. Entonces la
secuencia de probabilidad ser:
P( Si,Sj,Sk ) = P( Si) P( Si--->Sj)
P( Sj--->Sk) P( Si)
Podramos ampliar la regla
para cubrir secuencias de
cualquier nmero de pasos. A
los procesos a los cuales
podemos aplicar esta regla se
dicen que tienen la propiedad
de Markov.
Para tales procesos la
probabilidad de la siguiente
direccin depende del estado
presente del proceso y no
depende del estado precedente.
Ejemplo:
En el problema anterior
calcular la probabilidad de la
secuencia.
P[C,D,C,B,A,A,A] =
P[C] P[C -->D]
P[D -->C] P[C -->B].
P[B -->A] P[A -->A]
P[A -->A]
=1.1/2.1/2.1/2.1/2.1.1
=1/16
Cadena de Markov finita y
estacionara.
Una cadena de Markov estacionara
y finita queda completamente definida
cuando se conoce:
a) Espacio de estados finito.
b) Una matriz [Pij] de probabilidades de
transicin de un slo paso estacionara.
c) El vector de probabilidad inicial.
. Cadena ergdica: transicin de
n pasos
El diagrama es un
grfico de una
secuencia de una
muestra de una cadena
de Markov de cinco
estados A ----> E .En
los doce pasos se
recorren todos los
estados y se sale.
Evidentemente el
proceso no puede
quedarse nunca
atrapado. A los
estados que pueden
atrapar un proceso se
les llaman estados
absorventes.
Probabilidades de transicin
superiores
La probabilidad de que el
proceso pase del estado S
i
al
S
j
en (n) pasos se llama
probabilidad de transicin en
n pasos y se simboliza por :
P
(n)
ij

La matriz formada por
todos los P
(n)
ij
es una
matriz cuadrada y se
denomina matriz de
transicin de un (n) pasos.
TEOREMA:
Si P es la matriz de
transicin de un paso en una
cadena finita de Markov,
entonces P
n
es la matriz de
transicin de (n) pasos.

La probabilidad P(n)
ij
es la probabilidad
de pasar de S
i
a S
j
en dos pasos.
Suponiendo (m) estados en S.
Existen m caminos mutuamente
excluyentes
S
i
---->S
1
---->S
j
S
i
---->S
2
---->S
j
.......
Las probabilidades de esos caminos son:
p
i1
p
1j
p
i2
p
2j
........
Por lo que por la regla de la cadena la
probabilidad del suceso S
i
---->S
j
en dos
pasos ser la suma de estas dos
probabilidades.
As
P
ij
(n
) = Pir Prj
Pero por definicin de la multiplicacin
de matrices, la sumatoria es el elemento
ij-simo de la matriz P
2
. Luego
P
2
= P
ij
Por induccin se puede demostrar que
P
n
= P
ij
(n
)
A B C D E
A 1 0 0 0 0
B 1/2 1/4 0 1/4 0
C 1/4 0 1/2 0 1/4
D 0 1/4 0 1/4
E 0 0 0 0 1
A B C D E
A 1 0 0 0 0
B 1/2 0 1/2 0 0
C 0 1/2 0 1/2 0
D 0 0 1/2 0
E 0 0 0 0 1
MATRIZ DE UN SOLO PASO
MATRIZ DE DOS PASOS
CADENAS DE MARKOV
ABSORVENTES
Estados transitorios:

Sea T un subespacio de
S y T' su
complementario. Si cada
estado de T se puede
alcanzar desde otro estado
de T y es posible
moverse de un estado de T
a otro T', entonces T es un
conjunto transitorio. Un
estado transitorio es un
elemento de un conjunto
transitorio.
Estados ergdicos:
Sea E un subconjunto
de S y E' el
complementario de E
en S. Si cada estado de
E se puede alcanzar
desde cualquier otro
estado de E, pero
ningn estado de E' se
puede alcanzar desde
E, entonces E recibe el
nombre de conjunto
ergdico. Un estado
ergdico es un
elemento de un
conjunto ergdico.
CADENAS DE MARKOV
ABSORVENTES
Son cadenas en donde
todos los estados
transitorios son absorventes.
CADENAS ERGODICAS
Cadena que est formada
por un conjunto ergdico se
llama cadena ergdica. Se
distinguen dos tipos de
cadenas ergdicas:
a) Cadena ergdica cclica:
en ella slo se puede entrar
en un estado a intervalos
peridicos fijos.
b) Cadena ergdica
regular: cadena ergdica
no-cclica.
EJEMPLO
S
1
S
2
S
1
1/2 1/2
S
2
1/2 1/2
Est claro que el sistema
completo nunca estar
completamente "atrapado" en un
estado, as que la cadena es
regular.
S
1

S
2

S
3

S
1

0 3/4 1/4
S
2

1/2 0 1/2
S
3

1/4 3/4 0
Siempre es posible moverse de
un estado a cualquier otro, en
cualquier paso siendo los
movimientos no-cclicos. As la
cadena y la matriz son regulares.
S
1

S
2

S
3

S
1

1/4 1/4
S
2

0 1/3 1/3
S
3

0 1/4 1/4
Despus de n pasos la cadena entrar
(con probabilidad 1 cuando n tiende a
) en S
2
o en S
3
. Una vez situada en
uno de estos estados nunca podr pasar a
S
1
. Por lo tanto S
1
es un estado
transitorio y as la cadena es no regular y
por lo tanto no-ergdica, aunque el
conjunto [ S
2
, S
3
] sea un conjunto
ergdico.
S
1

S
2

S
3

S
1

0 0 1
S
2

1 0 0
S
3

0 1 0
La cadena se mueve con perodo
3 a travs de los conjunto
cclicos [ S
1
] [ S
2
] y [ S
3
]. Es por
lo tanto una cadena cclica
ergdica y no una cadena regular.

Fuentes de Markov

Fuentes de Markov Hasta este momento se
ha considerado las fuentes de memoria nula,
pero en la mayora de los casos reales los
smbolos del alfabeto no tienen probabilidades
fijas, sino que dichas probabilidades
dependern en general de los smbolos
emitidos. A este tipo de fuentes se les denomina
fuentes de Markov.


Fuentes de Markov
Supongamos que un sistema evoluciona con
el tiempo. En cada instante t cada parmetro
tendr unos valores determinados. Cada
coleccin de esos valores define lo que
llamamos estado del sistema. La evolucin
es tal que en unos instantes determinados
el estado cambia o permanece fijo. Es decir
que en cada instante el sistema evoluciona
con una transicin de un estado a otro, o
bien permanece en el anterior.

ESTADOS DE UN SISTEMA
En cada instante t ( t
1
<t<
t
2
) el sistema se
encuentra en el estado
E
1
. En t
2
existe una
transicin a E
2
y en t
3

permanece en este
estado. Para conocer el
estado del sistema es
preciso conocer la
probabilidad de transicin
P(E
1
--->E
2
).



E
1

t
1
t
2
t
3
t
4

E
2

E
3

La fuente de Markov , o fuentes con memoria,
es aquella en que la presencia de un
determinado smbolo a
i
depende de un nmero
finito m de smbolos precedentes. Esta fuente
se llama fuente de Markov de orden m y viene
definida por su alfabeto
A = (a
1
, a
2
,....a
n
)
y el conjunto de probabilidades
P( a
i
/a
j1
, a
j2
,....a
jm
)
Para i = 1,2....n y j = 1, 2....m

Esto nos indica que la probabilidad de un
smbolo cualquiera viene determinada por la
secuencia de los m smbolos que lo preceden .
Definiremos el estado de la fuente de Markov de
orden m por los m smbolos precedentes y
puesto que el alfabeto de la fuente es de n
smbolos, entonces una fuente de Markov de
orden m admite n
m
estados posibles. Al emitir la
fuente nuevos smbolos el estado de la fuente
cambia.

Sea una fuente de Markov de n smbolos
de alfabeto A = (a
1
, a
2
,.a
j
...a
n
).
Se define la probabilidad de aparicin del
smbolo a
i
despues de la secuencia (a
j1
,
a
j2
,....a
jm
) por
P( a
i
/a
j1
, a
j2
,....a
jm
)

Como hay n
m
sucesiones posibles de m
smbolos y cada una de estas sucesiones
puede considerarse como un estado del
sistema.
X
i
` = a
i2
,....a
im
. a
i

o P( a
i
/a
i1
, a
i2
,....a
im
)
X
i
= a
i1
, a
i2
,....a
im
P( a
i
/ X
i
)


Fuentes de Markow
ergdicas:
Se dice que una fuente de
Markov es ergdica,
cuando siendo estacionara
las probabilidades de
estado tienden a
estabilizarse y hacerse
constantes cuando t .
A esta distribucin lmite
de probabilidades se le
denomina rgimen
permanente de la fuente, o
sea que cuando una fuente
entra en un estado y queda
atrapado en l.
La condicin necesaria
y suficiente para que
una fuente sea ergdica
es que si P
ij
es la
matriz estocastica de la
fuente y p
1
,p
2
......p
n

cantidades
desconocidas que
representan a las
probabilidades de
estado, se tiene que
cumplir que:
P
j
= Pj Pij
sea compatible y la
distribucin
estacionara.
Entropa de una fuente de
Markov:
Sea una fuente de
Markov de alfabeto A
= (a
1
, a
2
,....a
n
). Para
hallar la informacin
media por smbolo
procedamos de la
siguiente manera:
1.- Determinacin de la
informacin absoluta
por smbolo emitido en
una transicin de
estado fija.
Si nos encontramos en
el estado definido por
X
j
= (a
j1
, a
j2
,....a
jm
), es
decir los m smbolos
emitidos anteriormente
fueron (a
j1
, a
j2
,....a
jm
), la
probabilidad condicional
de recibir a
i
es decir
de pasar al estado
X
j
= (a
j2
, a
j3
,....a
jm
, a
i
)
es:
P( a
i
/a
j1
, a
j2
,....a
jm
).


Indudablemente la
probabilidad del
estado actual es
igual a la
probabilidad del
estado anterior por la
probabilidad de
transicin de un
estado a otro., esto
es :
P(X
j
) = P(a
i
/X
i
).P(X
i
)
[I]
Utilizaremos la siguiente
notacin:
Probabilidad de aparicin del
smbolo ai despus de la
secuencia (aj1, aj2,...ajm):
P(ai/aj1,aj2,..ajm).= P(ai/Xj)
probabilidad del smbolo
emitido en estado anterior.
Probabilidad de la secuencia
(aj1, aj2,....ajm):
P( aj1, aj2,....ajm).= P(Xj) =
Probabilidad de Estado
anterior.

Al emitir el smbolo a
i
y se pasa del
estado X
j
= (a
j1
, a
j2
,....a
jm
) al X
j
= ( a
j2
,....a
jm

a
i
) .
La cantidad de informacin
correspondiente es: I( a
i
/a
j1
, a
j2
,....a
jm
) = -
log P( a
i
/a
j1
, a
j2
,....a
jm
)
utilizando la otra notacin
I( a
i
/X
j
/) = - log P(a
i
/X
j
)

2.- Si ahora dejamos fijo el estado X
j
= (a
j1
,
a
j2
,....a
jm
) y recorremos todos los smbolos a
i

de la fuente y calculamos el promedio
obtendremos la informacin media por smbolo
para un estado dado X
j
, valor ya independiente
de los smbolos. Este valor ser:
H [ A/a
j1
, a
j2
,....a
jm
] =
P( a
i
/a
j1
, a
j2
,....a
jm
) I ( a
i
/aj1, a
j2
,....a
jm
)
H [ A/a
j1
, aj2,....a
jm
] =
- P( a
i
/a
j1
, a
j2
,....a
jm
) log P( a
i
/a
j1
, a
j2
,....a
jm
)
3.- Si ahora promediamos el valor anterior
recorriendo los n
m
estados posibles, tendremos
la cantidad media de informacin o entropa de
la fuente de Markov de orden m . Ser
entonces:
H[A] = -
nm
H[ A/a
j1
, a
j2
,....a
jm
] P( a
j1
, a
j2
,....a
jm
)
Sustituyendo el valor
H[A] = -
nm
P( a
j1
, a
j2
,....a
jm
) P( a
i
/a
j1
,
a
j2
,....a
jm
) log P( a
i
/a
j1
, a
j2
,....a
jm
)
Ejemplo:
Supongamos una
fuente de Markov de
cuatro estados cuyo
diagrama se presenta en
la fig. Demostrar que la
fuente es ergdica y
calcular la informacin
suministrada por la
fuente.
Los estados iniciales
son:
E
1
= (0,0)
E
2
= (0,1)
E
3
= (1,0)
E
4
= (1,1)
Las probabilidades de
transisicin son:
P
11
= 0.8 P
12
= 0.2
P
13
= 0 P
14
= 0
P
21
= 0 P
22
= 0
P
23
= 0.5 P
24
= 0.5
P
31
= 0.5 P
32
= 0.5
P
33
= 0 P
34
= 0
P
41
= 0 P
42
= 0
P
43
= 0.2 P
44
= 0.8
E
1
E
2
E
3
E
4

E
1
0.8 0.2 0 0
E
2
0 0 0.2 0
E
3
0.5 0.5 0 0
E
4
0 0 0.2 0.8

( ) ( ) p p p p
0 0.2 0 0
0 0 0.5 0.5
0 0.2 0 0
0 0 0.2 0.8
= p p p p
4 3 2 1 4 3 2 1
|
|
|
|
|
.
|

\
|
Aplicando la condicin
necesaria y suficiente de
ergocidad
Pi = P
i
P
ij
La matriz de
transicin sera:
Resolviendo:
p
1
= 0.8p
1
+ 0.5p
3
p
2
= 0.2p
1
+ 0.5p
3
p
3
= 0.5p
1
+ 0.2p
4
p
4
= 0.2p
3
+ 0.8p
4
p
1
+ p2 + p
3
+ p
4
= 1
Compatible y determinado
cuya solucin es:
p
1
= p
4
= 5/14
p
2
= p
3
= 2/14
Entonces las probabilidades
de estado son:
p
1
= p(0,0) = 5/14
p
2
= p(0,1) = 2/14
p3 = p(1,0) = 2/14
p
4
= p(1,1) = 5/14
Luego la fuente es ergdica
y las probabilidades de
estado son las probabilidades
son las anteriores
independientes de la
distribucin inicial.
ESTADO
ANTERIOR
PR. ESTADO
ANTERIOR
SIMBOLO
EMITIDO
ESTADO
ACTUAL
PR. ESTADO
ACTUAL
PR. TRANSICION
AN-AC
0 0 5/14 0 0 0 0.8 5/14 = 4/14 0.8
0 0 5/14 1 0 1 0.2 5/14 = 1/14 0.2
0 1 2/14 0 1 0 0.5 2/14 = 1/14 0.5
0 1 2/14 1 1 1 0.5 2/14 = 1/14 0.5
1 1 5/14 0 1 0 0.2 5/14 = 1/14 0.2
1 1 5/14 1 1 1 0.8 5/14 = 4/14 0.8
1 0 2/14 0 0 0 0.5 2/14 = 1/14 0.5
1 0 2/14 1 0 1 0.5 2/14 = 1/14 0.5
Recurdese que la probabilidad del estado actual es la
probabilidad del estado anterior por la probabilidad de
transicin del estado anterior al actual.

P(Xj) = P(ai/Xi) P(Xi)
La cantidad de informacin
adquirida cuando se pasa
de un estado Xi a un estado
Xj es:
I(a
j
/X
i
) = - log P(a
j
/X
i
) = I
j
I(0/00) = - log p(0/00) =-log 0.8 = I
1
I(1/00) = - log p(1/00) =-log 0.2 = I
2
I(0/01) = - log p(0/01) =-log 0.5 = I
3

.
Para obtener la cantidad
media de informacin por
smbolo a partir del estado
X
i
, dejamos fijo el estado
X
i
= a
i1
,...a
in
y
recorremos todos los
smbolos de la fuente.

H[A/X
i
] = p(aj/Xi) Ij

H[A/X
i
]= - p(a
j
/X
i
) log p(a
j
/X
i
)
Entonces
H[A/00] = - p(0/00) log p(0/00) - p(1/00) log p(1/00)
H[A/01] = - p(0/01) log p(0/01) - p(1/00) log p(1/01)
H[A/10] = - p(0/10) log p(0/10) - p(1/10) log p(1/10)
H[A/11] = - p(0/11) log p(0/11) - p(1/11) log p(1/11)
La informacin media suministrada por la
fuente independiente de los estados y de los
smbolos lo obtenemos promediando [*]
recorriendo los N
n
estados posibles.
H[A] =
i
p(Xi) H[A/Xi]
Sustituyendo el valor de [*] en la anterior
H[A]= -
i
p(Xi)
ij
p(aj/Xi) log p(aj/Xi)
Entonces
H[A] =
i
p(Xi) H[A/Xi]
H[A] = p(00) H[A/00] + p(01) H[A/01] +
p(10) H[A/10] + p(11) H[A/11]
H[A] = 0.8 5/14 log 0.8 + ..........
= - [4/14 log 0.8 +1/14 log 0.2 +1/14 log
0.5 +1/14 log 0.5 +1/14 log 0.2 +4/14 log 0.8
+1/14 log 0.5 +1/14 log 0.5 = 0.81 Bits
Extensin de una fuente de
Markov de orden N
Sea una fuente de Markov de orden
N y alfabeto A = [a
1
,a
2
...a
n
]. La
extensin de orden n de la fuente
anterior es otra fuente de Markov de
alfabeto N
n
elementos, estando cada
elemento formado por n smbolos de
A. La entropa de esta fuente es
H[An] = n H[A]
Fuente afn de una fuente de
Markov
Dada una fuente de Markov de orden de
orden n y alfabeto [a
1
,a
2
...a
m
] y sean [
p(a
1
), p(a
2
)......p(a
m
)] las
probabilidades absolutas de los smbolos.
Se denomina fuente afn de A y la
representamos por A* a la fuente de
memoria nula que tiene el mismo alfabeto
que A e igual juego de probabilidades.
Teorema:
Una fuente de Markov
proporciona menor cantidad de
informacin que su fuente afn.
Vamos a demostrarlo para fuentes
de Markov de primer orden y
luego lo generalizamos. Las
probabilidades de transicin son
de la forma:
p(a
i
/a
j
) y cumplen la
condicin
p(a
i
/a
j
) = 1
Recordando la desigualdad
logartmica
log x < x - 1
p(a
i
) p(a
j
)
)
a
,
a
p(
)
a
p( )
a
p(
= x
2 1
2 1
1 -
)
a
,
a
p(
)
a
p( )
a
p(

)
a
,
a
p(
)
a
p( )
a
p(

2 1
2 1
2 1
2 1
s log
0
)
a
)/p(
a
p(
)
a
p( )
a
p(
) pa ,
a
p(
j i
j i
j
i
m
1 = j
n
1 = i
s

log
0 )
a
/
a
p( ) pa , pa ( - )
a
p( ) pa ,
a
p(
j i
j i
m
j=1
n
=1 i
i
j
i
m
j=1
n
=1 i
s

log log
0 )
a
/
a
p( ) pa , pa ( - )
a
p( )
a
p(
j i
j i
m
j=1
n
=1 i
i i
n
=1 i
s

log log
Pero
p(a
i
) log p(a
i
) = - H[A*]
p(a
i
,a
j
) log p(a
i
/a
j
) = - H[A]
Entropa de la fuente de Markov de primer orden
Luego H[A*] H[A]
La igualdad se cumple solamente en el caso de que p(a
i
, a
j
) = p(a
i
) p(a
j
)
|
|
.
|

\
|
s

)
a
,
a
p(
)
a
p( )
a
p(
) pa , pa (
)
a
,
a
p(
)
a
p( )
a
p(
) pa ,
a
p(
j i
j i
j i
m
j=1
n
=1 i j i
j i
j
i
m
j=1
n
=1 i
log
)
a
,
a
p( - ) pa ( ) pa (
)
a
,
a
p(
)
a
p( )
a
p(
) pa ,
a
p(
j i
j i
m
j=1
n
=1 i j i
j i
j
i
m
j=1
n
=1 i

s log
0
)
a
,
a
p(
)
a
p( )
a
p(
) pa ,
a
p(
j i
j i
j
i
m
j=1
n
=1 i
s

log
El segundo miembro de la desigualdad vale 0 ya que cada doble
sumando es la unidad.
Pero p(a
i
a
j
) = p(a
j
) p(a
i
/a
j
)
Luego
Estructura del lenguaje
Un caso particularmente
importante de generacin de
informacin es la creacin de
un mensaje compuesto de
palabras de la lengua inglesa.
Demostraremos en este
apartado como podremos
aproximarnos a un mensaje de
este tipo mediante una
secuencia de fuentes de
informacin cada vez mas
complicadas
Sea un conjunto de 27
smbolos, las 26 letras del
alfabeto ingls, mas un espacio
La fuente mas simple de este
alfabeto seria aquella de
memoria nula, con todos los
smbolos igualmente probables.
La entropia de esta fuente seria
H (S) = log 27 = 4,75
bits/smbolos
La secuencia siguiente muestra
una secuencia tpica de
smbolos emitidos por la fuente
Definiremos esta secuencia
como aproximacin cero al
ingls
ZEWRTZYNSADXESYJRQY_
WGECIJJ_oBVI~RBQPOZBYM
BUAWVLBTQCNIKFMP
T~MVUUGBSAXHLHSIE _ M
TABLA 2-2 PROBABILIDADES DE LOS SIMBOLOS EN INGLES (REZA 1961)

SIMBOLOS PROBABI-
LIDAD
SIMBOLOS PROBABI-
LIDAD
Espacio 0.1859 N 0.0574
A 0.0642 O 0.0632
B 0.0127 P 0.0152
C 0.0128 Q 0.0008
D 0.0317 R 0.0484
E 0.1031 S 0.0514
F 0.0208 T 0.0796
G 0.0152 U 0.0228
H 0.0467 V 0.0083
I 0.0575 W 0.0175
J 0.0008 X 0.0013
K 0.0049 Y 0.0164
L 0.0321 Z 0.0005
M 0.0198
La entropia de una
fuente de memoria
nula, cuyas
probabilidades sean
las de esa tabla, tiene
el valor
H (S) = - P
i
log p
i
=
4,03 bits/smbolos

La siguiente frase representa
una secuencia tpica de
simbolos emitidos por esta
fuente.
.AI_NGAE__TI'F_NNR_ASAEV
_OIE_BAINTHA_HYROO_POE
R_SETRYGAIETRWCO_
_EHDUARU_EU_C_FT_NSRE
M_DIY_ SE__F_O_SRIS _R
_UNNASHOR
Primera aproximacin al ingls.
Aun cuando no puede
calificarse de buen ingls, esta
secuencia presenta la
estructura propia del lenguaje
(comprese con la
aproximacin cero):

Las (.palabras de esta aproximacin
son, en su mayor parte, de longitud
apropiada, y la proporcin entre
vocales y consonantes ms real Aun
cuando no puede calificarse de buen
ingls, esta secuencia presenta la
estructura propia del lenguaje
(comprese con la aproximacin
cero): Las (.palabras de esta
aproximacin son, en su mayor parte,
de longitud apropiada, y la
proporcin entre vocales y
consonantes ms real
Utilizando una fuente de Markov de primer orden, con
smbolos de probabilidades condicionales bien elegidas
Estas probabilidades fueron definidas por Pratt (1942)
H (A) = - P(a
i
/b
j
) log P(a
i
/b
j
) = 3,32 bit/smbolos
URTESEIETHING_AD_E_AT_FOULE_ITHALIORT _
WACT _ D _ STE _ MINTSAN _ OLINS _ TWID _
OULY _ TE _ THIGHE _ CO _ YS _ TH _ HR _
UPAVIDE _ PAD _ CTAVED
Segunda aproximacin al ingls
La secuencia obtenida en la segunda aproximacin ya
deja trascender un regusto a ingls

El mtodo de Shannon puede
aplicarse a la construccin de
mejores aproximaciones al
ingls. En efecto, pueden
elegirse las letras
precedentes, construyendo as
una secuencia tpica de una
fuente de Markov,
aproximacin del ingls, de
segundo orden.
IANKS_CAN_OU_ANG_RLER
_THATTED_OF_TO_SHOR _
OF _ TO _ HAVEMEM _ Al _
MAND _ AND _ BUT
_WHISSITABLY _
THERVEREER _ EIGHTS _
TAKILLIS _ TA
Tercera aproximacin al ingls
Puede ampliarse el
procedimiento anterior, para
generar secuencias tpicas de
probabilidades idnticas Sin
embargo, es prcticamente im-
posible para m mayor de 2

Shannon, utiliz una fuente de informacin de
memoria nula que emite palabras inglesa en lugar de
letras Las probabilidades de ocurrencia de las
diferentes palabras son aproximadamente las mismas
que en un texto ingls Shannon (1948) obtuvo la
aproximacin mostrada en la siguiente secuencia.
REPRESENTING AND SPEEDILY IS AN GOOD APT
OR COME CAN DIFFERENT NATURAL HERE HE
THE A IN CAME THE TO OF TO EXPERT
GRAY COME TO FURNISHES THE LINE MES-
SAGE HAD BE THESE
Cuarta aproximacin al ingles
haciendo depender de la palabra precedente la
probabilidad de que una palabra sea elegida
La fuente correspondiente sera una fuente de
Markov de primer orden, con palabras inglesa
como smbolos Shannon (1948) construy una
secuencia tpica a partir de una fuente de este
tipo.
THE HEAD AND IN FRONTAL ATTACK ON
AN ENGLISH WRITER THAT THE
CHARACTER OF THIS POINT IS
THEREFORE ANOTHER METHOD FOR THE
LETTERS THAT TIIE TIME OF WHO EVER
TOLD THE PROBLEM FOR AN UNE~
PECTED
Quinta aproximacin al ingls
R_EPTTFVSIEOISETE_
TLTGNSSSNLN_UNST_
FSNSTF_E_IONIOILEC
MPADINMEC_TCEREPT
TFLLUMGLR
ADBIUVDCMSFUAISRP
MLGAVEAI _ MILLUO
a) Primera aproximacin
al francs
UOALNAO_NEL_D_NIS
_ETR_TEGATUEOEC_S
_ASUDU_ZELNNTSSCA
SOSED_T_I_R_EIS_TA
MMO_TIIUOEDEO _ UEI
_ EOSEELA _
NMSLAANTEC
a) Primera Aproximacin
al Espaol
ITEPONT_JENE_IESEM
ANT _ PAVEZ _ L_BO _
S _ PASE_LQU _ SUIN _
DOTI _ CIS _
NCMOUROUNENT_FUIT
_JE_DABREZ
oAUIETOUNT_LAGAUV
RSOUT_MY
b) Segunda aproximacin
al francs
CINDEUNECO_PE_CAL
_PROS_E_LAS_LABITE
JASTE_ONTOMECITRO
DRESIO_PAY_EN_SPU
SEL_LA_ S _
UTAJARETES _
OLONDAMIVE _ ESA _
S _ CLUS _
b) Segunda aproximacin
al Espaol.
JOU_MOUPLAS_DE_M
ONNERNAISSAINS_DE
ME
US_VREH_BRE_TU_DE
_TOUCUEUR_DIMMER
E_IL
ES _ MAR _ELAME _
RE _ A _ VER _ IL _
DOUVENTS _ SO
c) Tercera aproximacin
al francs.
RAMA _ DE T.LA _ EL _
GUIAIMO _ SUS _
CONDIAS_SU _ E _
UNCONDADADO _ DEA
_ MARE _
TO_UERBALIA_NUE_Y
_HERARSIN_DE_SE_S
US_SUPAROCEDA
C) Tercera aproximacin
al Espaol.