CADENAS DE MARKOV

Espacio de estados de un
proceso:
Usaremos a1,a2,.....an
El conjunto de todos
para representar los (n)
los posibles estados
estados de un estado
que un proceso puede
ocupar en los distintos ai ------> aj para
movimientos se llama representar que el
espacio de estados. Un proceso se mueve del
espacio de estados estado (i) al estado (j).
puede ser
finito,
numerable
no numerable.
Probabilidades de transicin de
un solo paso
P(ai -----> aj) es la
probabilidad condicional para
que el proceso que se
encuentra en el estado ai se
mueva al estado aj en un slo
paso, y se designa por Pij .
Esto recibe el nombre de
probabilidad de transicin de
un slo paso. Si todas estas
probabilidades son conocidas
para todos los pares de estados
se ordenan en una matriz
cuadrada que recibe el
nombre de matriz de transicin.
P = [pij]
Ejemplo:
Sea una persona sentada en
el asiento de en medio de una
fila de cinco asientos
[marcados con
A,B,C,D,E] de izquierda a
derecha. Esta persona se
mueve por seis veces de una
silla a la otra, estando sus
movimientos controlados por
una moneda que se tira al aire.
a) Si no est al final de una
fila de asientos se mueve
hacia la derecha si sale CARA
y hacia la izquierda si sale
CRUZ.
b) Si est al final se quedar
donde est salga lo que
salga.
 Espacio de Estados:
[ A, B, C, D, E ]

P[A ---> A] = P[E ---> E] = 1

A B C D E ya que se queda donde est.
P[B ---> A] = 1/2 puesto
A 1 0 0 0 0 que la probabilidad de que
salga CR es 1/2.
B 1/2 0 1/2 0 0 P[C ---> C] = 0 ya que
aqu no se puede quedar.
C 0 1/2 0 1/2 0 La pij = 1
Las matrices que tienen
D 0 0 1/2 0 elementos no negativos y a
suma de los elementos de
E 0 0 0 0 1 sus filas valen la unidad
se llaman matrices
estocsticas
 Vector probabilidad inicial
Existe un vector En el ejemplo anterior
probabilidad inicial tal El vector probabilidad
que: inicial sera
a = (a1, a2,....an) en a = (0, 0,.1, 0, 0)
puesto que el proceso
la que los elementos ai
comienza en la silla C.
son las probabilidades de
que el estado inicial del
proceso sea Si.

 Propiedad de Markov
Considerar una secuencia
Si,Sj,Sk de un experimento
cuyo vector y matriz inicial son
conocidos. Entonces la
secuencia de probabilidad ser:
P( Si,Sj,Sk ) = P( Si) P( Si--->Sj)
P( Sj--->Sk) P( Si)
Podramos ampliar la regla
para cubrir secuencias de
cualquier nmero de pasos. A
los procesos a los cuales
P[C,D,C,B,A,A,A] =
podemos aplicar esta regla se
dicen que tienen la propiedad
de Markov.
Para tales procesos la
probabilidad de la siguiente
direccin depende del estado
presente del proceso y no
depende del estado precedente.
Ejemplo:
En el problema anterior
calcular la probabilidad de la
secuencia.
P[C] P[C -->D]
P[D -->C] P[C -->B].
P[B -->A] P[A -->A]
P[A -->A]
=1.1/2.1/2.1/2.1/2.1.1
=1/16
 Cadena de Markov finita y
estacionara.
Una cadena de Markov estacionara
y finita queda completamente definida
cuando se conoce:
a) Espacio de estados finito.
b) Una matriz [Pij] de probabilidades de
transicin de un slo paso estacionara.
c) El vector de probabilidad inicial.
. Cadena ergdica: transicin de
n pasos
El diagrama es un
grfico de una
secuencia de una
muestra de una cadena
de Markov de cinco
estados A ----> E .En
los doce pasos se
recorren todos los
estados y se sale.
Evidentemente el
proceso no puede
quedarse nunca
atrapado. A los estados
que pueden atrapar un
proceso se les llaman
estados absorventes.
 Probabilidades de transicin
superiores
La probabilidad de que el TEOREMA:
proceso pase del estado Si al
Si P es la matriz de
Sj en (n) pasos se llama transicin de un paso en una
probabilidad de transicin en cadena finita de Markov,
n pasos y se simboliza por :
entonces Pn es la matriz de
P(n)ij transicin de (n) pasos.
La matriz formada por
todos los P(n)ij es una
matriz cuadrada y se
denomina matriz de
transicin de un (n) pasos.
 La probabilidad P(n)ij es la probabilidad
de pasar de Si a Sj en dos pasos.
Suponiendo (m) estados en S.
Existen m caminos mutuamente
excluyentes
Si---->S1---->Sj Si---->S2---->Sj.......
Las probabilidades de esos caminos son:
pi1 p1j
pi2 p2j
........
Por lo que por la regla de la cadena la
probabilidad del suceso Si---->Sj en dos
pasos ser la suma de estas dos
probabilidades.
As
Pij(n) = Pir Prj
Pero por definicin de la multiplicacin
de matrices, la sumatoria es el elemento
ij-simo de la matriz P2. Luego
P2 = Pij
Por induccin se puede demostrar que
MATRIZ DE UN SOLO PASO MATRIZ DE DOS PASOS
A B C D E A B C D E

A 1 0 0 0 0 A 1 0 0 0 0
B 1/2 0 1/2 0 0 B 1/2 1/4 0 1/4 0
C 0 1/2 0 1/2 0 C 1/4 0 1/2 0 1/4
D 0 0 1/2 0 D 0 1/4 0 1/4
E 0 0 0 0 1 E 0 0 0 0 1
 CADENAS DE MARKOV
ABSORVENTES
Estados transitorios:
Sea T un subespacio de
S y T' su
complementario. Si cada
estado de T se puede
alcanzar desde otro estado
de T y es posible
moverse de un estado de T
a otro T', entonces T es un
conjunto transitorio. Un
estado transitorio es un
elemento de un conjunto
transitorio.
Estados ergdicos:
Sea E un subconjunto
de S y E' el
complementario de E
en S. Si cada estado de
E se puede alcanzar
desde cualquier otro
estado de E, pero
ningn estado de E' se
puede alcanzar desde
E, entonces E recibe el
nombre de conjunto
ergdico. Un estado
ergdico es un
elemento de un
conjunto ergdico.
 CADENAS DE MARKOV
ABSORVENTES
Son cadenas en donde
todos los estados
transitorios son absorventes.
CADENAS ERGODICAS
Cadena que est formada
por un conjunto ergdico se
llama cadena ergdica. Se
distinguen dos tipos de
cadenas ergdicas:
a) Cadena ergdica cclica:
en ella slo se puede entrar
en un estado a intervalos
peridicos fijos.
b) Cadena ergdica
regular: cadena ergdica
no-cclica.
 EJEMPLO

S1 S2

S1 1/2 1/2
Est claro que el sistema
S2 1/2 1/2 completo nunca estar
completamente "atrapado" en un
estado, as que la cadena es
regular.
 S1 S2 S3

S1 0 3/4 1/4

S2 1/2 0 1/2
Siempre es posible moverse de
un estado a cualquier otro, en
cualquier paso siendo los S3 1/4 3/4 0
movimientos no-cclicos. As la
cadena y la matriz son regulares.
 S1 S2 S3

S1 1/4 1/4
Despus de n pasos la cadena entrar
(con probabilidad 1 cuando n tiende a
S2 0 1/3 1/3 ) en S2 o en S3. Una vez situada en
uno de estos estados nunca podr pasar a
S1. Por lo tanto S1 es un estado
S3 0 1/4 1/4 transitorio y as la cadena es no regular y
por lo tanto no-ergdica, aunque el
conjunto [ S2, S3 ] sea un conjunto
ergdico.
 S1 S2 S3

S1 0 0 1
La cadena se mueve con perodo
3 a travs de los conjunto
S2 1 0 0
cclicos [ S1 ] [ S2 ] y [ S3 ]. Es por
lo tanto una cadena cclica
S3 0 1 0 ergdica y no una cadena regular.
 Fuentes de Markov

Fuentes de Markov Hasta este momento se

ha considerado las fuentes de memoria nula,
pero en la mayora de los casos reales los
smbolos del alfabeto no tienen probabilidades
fijas, sino que dichas probabilidades
dependern en general de los smbolos
emitidos. A este tipo de fuentes se les denomina
fuentes de Markov.
 Fuentes de Markov

Supongamos que un sistema evoluciona con

el tiempo. En cada instante t cada parmetro
tendr unos valores determinados. Cada
coleccin de esos valores define lo que
llamamos estado del sistema. La evolucin
es tal que en unos instantes determinados
el estado cambia o permanece fijo. Es decir
que en cada instante el sistema evoluciona
con una transicin de un estado a otro, o
bien permanece en el anterior.
 ESTADOS DE UN SISTEMA
En cada instante t ( t1 <t<
t 2) el sistema se
encuentra en el estado
E1. En t2 existe una
transicin a E2 y en t3
permanece en este
estado. Para conocer el
estado del sistema es E3
preciso conocer la E2
probabilidad de transicin
P(E1--->E2).
E1

t1 t2 t3 t4
 La fuente de Markov , o fuentes con memoria,
es aquella en que la presencia de un
determinado smbolo ai depende de un nmero
finito m de smbolos precedentes. Esta fuente
se llama fuente de Markov de orden m y viene
definida por su alfabeto
A = (a1, a2,....an)
y el conjunto de probabilidades
P( ai/aj1, aj2,....ajm)
Para i = 1,2....n y j = 1, 2....m
 Esto nos indica que la probabilidad de un
smbolo cualquiera viene determinada por la
secuencia de los m smbolos que lo preceden .
Definiremos el estado de la fuente de Markov de
orden m por los m smbolos precedentes y
puesto que el alfabeto de la fuente es de n
smbolos, entonces una fuente de Markov de
orden m admite nm estados posibles. Al emitir la
fuente nuevos smbolos el estado de la fuente
cambia.
 Sea una fuente de Markov de n smbolos
de alfabeto A = (a1, a2,.aj...an).
Se define la probabilidad de aparicin del
smbolo ai despues de la secuencia (aj1,
aj2,....ajm) por
P( ai/aj1, aj2,....ajm)
 Como hay nm sucesiones posibles de m
smbolos y cada una de estas sucesiones
puede considerarse como un estado del
sistema.
Xi` = ai2,....aim. ai
o P( ai/ai1, ai2,....aim)
Xi = ai1, ai2,....aim
P( ai/ Xi)
 Fuentes de Markow
ergdicas:
Se dice que una fuente de
Markov es ergdica,
cuando siendo estacionara
las probabilidades de
estado tienden a
estabilizarse y hacerse
constantes cuando t .
A esta distribucin lmite de
probabilidades se le
denomina rgimen
permanente de la fuente, o
sea que cuando una fuente
entra en un estado y queda
atrapado en l.
La condicin necesaria
y suficiente para que
una fuente sea ergdica
es que si Pij es la
matriz estocastica de la
fuente y p1,p2......pn
cantidades
desconocidas que
representan a las
probabilidades de
estado, se tiene que
cumplir que:
Pj = Pj Pij
sea compatible y la
distribucin
 Entropa de una fuente de
Markov:
Sea una fuente de Si nos encontramos en
Markov de alfabeto A = el estado definido por
(a1, a2,....an). Para Xj= (aj1, aj2,....ajm), es
hallar la informacin decir los m smbolos
media por smbolo emitidos anteriormente
procedamos de la fueron (aj1, aj2,....ajm), la
siguiente manera: probabilidad condicional
1.- Determinacin de la de recibir ai es decir
informacin absoluta de pasar al estado
por smbolo emitido en Xj= (aj2, aj3,....ajm, ai)
una transicin de es:
estado fija. P( ai/aj1, aj2,....ajm).
 Utilizaremos la siguiente
notacin:
Probabilidad de aparicin del
Indudablemente la
smbolo ai despus de la probabilidad del
secuencia (aj1, aj2,...ajm): estado actual es
P(ai/aj1,aj2,..ajm).= P(ai/Xj)
probabilidad del smbolo
igual a la
emitido en estado anterior. probabilidad del
Probabilidad de la secuencia estado anterior por la
(aj1, aj2,....ajm):
probabilidad de
P( aj1, aj2,....ajm).= P(Xj) =
Probabilidad de Estado transicin de un
anterior. estado a otro., esto
es :
P(Xj) = P(ai/Xi).P(Xi)
[I]
 Al emitir el smbolo ai y se pasa del
estado Xj = (aj1, aj2,....ajm) al Xj= ( aj2,....ajm
ai ) .
La cantidad de informacin
correspondiente es: I( ai/aj1, aj2,....ajm) = -
log P( ai/aj1, aj2,....ajm)
utilizando la otra notacin
I( ai/Xj /) = - log P(ai/Xj)
 2.- Si ahora dejamos fijo el estado Xj = (aj1,
aj2,....ajm) y recorremos todos los smbolos ai
de la fuente y calculamos el promedio
obtendremos la informacin media por smbolo
para un estado dado Xj, valor ya independiente
de los smbolos. Este valor ser:
H [ A/aj1, aj2,....ajm] =
P( ai/aj1, aj2,....ajm) I ( ai/aj1, aj2,....ajm)
H [ A/aj1, aj2,....ajm] =
- P( ai/aj1, aj2,....ajm) log P( ai/aj1, aj2,....ajm)
 3.- Si ahora promediamos el valor anterior
recorriendo los nm estados posibles, tendremos
la cantidad media de informacin o entropa de
la fuente de Markov de orden m . Ser
entonces:
H[A] = - nm H[ A/aj1, aj2,....ajm] P( aj1, aj2,....ajm)
Sustituyendo el valor
H[A] = - nm P( aj1, aj2,....ajm) P( ai/aj1,
aj2,....ajm) log P( ai/aj1, aj2,....ajm)
 Ejemplo:
Supongamos una
fuente de Markov de
cuatro estados cuyo
diagrama se presenta en
la fig. Demostrar que la
fuente es ergdica y
calcular la informacin
suministrada por la
fuente.
 Las probabilidades de
Los estados iniciales transisicin son:
son: P11 = 0.8 P12 = 0.2
E1 = (0,0) P13 = 0 P14 = 0
E2 = (0,1) P21 = 0 P22 = 0
E3 = (1,0) P23 = 0.5 P24 = 0.5
E4 = (1,1) P31 = 0.5 P32 = 0.5
P33 = 0 P34 = 0
P41 = 0 P42 = 0
P43 = 0.2 P44 = 0.8
 La matriz de Aplicando la condicin
transicin sera: necesaria y suficiente de
E1 E2 E3 E4 ergocidad
E1 0.8 0.2 0 0
Pi = Pi Pij
E2 0 0 0.2 0
E3 0.5 0.5 0 0
E4 0 0 0.2 0.8 0.8 0.2 0 0

0 0 0.2 0
p1 p2 p3 p4 = p1 p2 p3 p4
0.5 0.5 0 0

0 0 0.2 0
 Resolviendo:
p1 = 0.8p1 + 0.5p3
p2 = 0.2p1 + 0.5p3
p3 = 0.5p1 + 0.2p4
p4 = 0.2p3 + 0.8p4
p1 + p2 + p3 + p4 = 1
Compatible y determinado
cuya solucin es:
p1 = p4 = 5/14
p2 = p3 = 2/14
Entonces las probabilidades
de estado son:
p1 = p(0,0) = 5/14
p2 = p(0,1) = 2/14
p3 = p(1,0) = 2/14
p4 = p(1,1) = 5/14
Luego la fuente es ergdica
y las probabilidades de
estado son las probabilidades
son las anteriores
independientes de la
distribucin inicial.
Recurdese que la probabilidad del estado actual es la
probabilidad del estado anterior por la probabilidad de
transicin del estado anterior al actual.

P(Xj) = P(ai/Xi) P(Xi)

ESTADO PR. ESTADO SIMBOLO ESTADO PR. ESTADO PR. TRANSICION

ANTERIOR ANTERIOR EMITIDO ACTUAL ACTUAL AN-AC

00 5/14 0 00 0.8 5/14 = 4/14 0.8

00 5/14 1 01 0.2 5/14 = 1/14 0.2

01 2/14 0 10 0.5 2/14 = 1/14 0.5

01 2/14 1 11 0.5 2/14 = 1/14 0.5

11 5/14 0 10 0.2 5/14 = 1/14 0.2

11 5/14 1 11 0.8 5/14 = 4/14 0.8

10 2/14 0 00 0.5 2/14 = 1/14 0.5

10 2/14 1 01 0.5 2/14 = 1/14 0.5

 La cantidad de informacin Para obtener la cantidad
adquirida cuando se pasa media de informacin por
de un estado Xi a un estado smbolo a partir del estado
Xj es: Xi, dejamos fijo el estado
I(aj/Xi) = - log P(aj/Xi) = Ij Xi = ai1 ,...ain y
I(0/00) = - log p(0/00) =-log 0.8 = I1 recorremos todos los
I(1/00) = - log p(1/00) =-log 0.2 = I2 smbolos de la fuente.
I(0/01) = - log p(0/01) =-log 0.5 = I3
.
H[A/Xi] = p(aj/Xi) Ij

H[A/Xi]= - p(aj/Xi) log p(aj/Xi)
 Entonces
H[A/00] = - p(0/00) log p(0/00) - p(1/00) log p(1/00)
H[A/01] = - p(0/01) log p(0/01) - p(1/00) log p(1/01)
H[A/10] = - p(0/10) log p(0/10) - p(1/10) log p(1/10)
H[A/11] = - p(0/11) log p(0/11) - p(1/11) log p(1/11)
La informacin media suministrada por la
fuente independiente de los estados y de los
smbolos lo obtenemos promediando [*]
recorriendo los Nn estados posibles.
H[A] = i p(Xi) H[A/Xi]
Sustituyendo el valor de [*] en la anterior
H[A]= -i p(Xi) ij p(aj/Xi) log p(aj/Xi)
 Entonces
H[A] = i p(Xi) H[A/Xi]
H[A] = p(00) H[A/00] + p(01) H[A/01] +
p(10) H[A/10] + p(11) H[A/11]
H[A] = 0.8 5/14 log 0.8 + ..........
= - [4/14 log 0.8 +1/14 log 0.2 +1/14 log
0.5 +1/14 log 0.5 +1/14 log 0.2 +4/14 log 0.8
+1/14 log 0.5 +1/14 log 0.5 = 0.81 Bits
 Extensin de una fuente de
Markov de orden N
Sea una fuente de Markov de orden
N y alfabeto A = [a1,a2...an]. La
extensin de orden n de la fuente
anterior es otra fuente de Markov de
alfabeto Nn elementos, estando cada
elemento formado por n smbolos de
A. La entropa de esta fuente es
H[An] = n H[A]
 Fuente afn de una fuente de
Markov
Dada una fuente de Markov de orden de
orden n y alfabeto [a1,a2...am] y sean [
p(a1), p(a2)......p(am)] las
probabilidades absolutas de los smbolos.
Se denomina fuente afn de A y la
representamos por A* a la fuente de
memoria nula que tiene el mismo alfabeto
que A e igual juego de probabilidades.
 Teorema:
Una fuente de Markov
proporciona menor cantidad de p( a1 ) p( a2 )
informacin que su fuente afn. x=
Vamos a demostrarlo para fuentes p( a1 , a2 )
de Markov de primer orden y
luego lo generalizamos. Las
probabilidades de transicin son
de la forma:
p(ai/aj) y cumplen la p( a1 ) p( a2 ) p( a1 ) p( a2 )
condicin log -1
p(ai/aj) = 1 p( a1 , a2 ) p( a1 , a2 )
Recordando la desigualdad
logartmica
log x < x - 1
p(ai) p(aj)
 n m
p( a i ) p( a j )

i =1

j =1
p( a i , pa j ) log
p( a i )/p( a j )
0

n m n m

p( a , pa
i=1 j=1
i j ) log p( ai ) - ( pa , pa
i=1 j=1
i j ) log p( ai / a j ) 0

n n m

i=1
p( ai ) log p( ai ) - ( pa , pa
i=1 j=1
i j ) log p( ai / a j ) 0

Pero
p(ai) log p(ai) = - H[A*]
p(ai,aj) log p(ai/aj) = - H[A]
Entropa de la fuente de Markov de primer orden
Luego H[A*] H[A]
La igualdad se cumple solamente en el caso de que p(ai, aj) = p(ai) p(aj)
n m
p( ai ) p( a j ) n m
p( ai ) p( a j )
p( ai , pa j ) log ( pai , pa j )

i=1 j=1 p( ai , a j ) i=1 j=1 p( a i , a j )

n m n m
p( ai ) p( a j )

i=1
j=1 p( ai , pa j ) log p( ai ,a j ) ( pa ) ( pa ) - p( a ,a )
i=1 j=1
i j i j

El segundo miembro de la desigualdad vale 0 ya que cada doble

sumando es la unidad.
n m
p( ai ) p( a j )

i=1

j=1
p( ai , pa j ) log
p( ai , a j )
0

Pero p(ai aj) = p(aj) p(ai/aj)

Luego
 Estructura del lenguaje
Un caso particularmente
importante de generacin de
informacin es la creacin de
un mensaje compuesto de
palabras de la lengua inglesa.
Demostraremos en este
apartado como podremos
aproximarnos a un mensaje de
este tipo mediante una
secuencia de fuentes de
informacin cada vez mas
complicadas
Sea un conjunto de 27
smbolos, las 26 letras del
alfabeto ingls, mas un espacio
La fuente mas simple de este
alfabeto seria aquella de
memoria nula, con todos los
smbolos igualmente probables.
La entropia de esta fuente seria
H (S) = log 27 = 4,75
bits/smbolos
La secuencia siguiente muestra
una secuencia tpica de
smbolos emitidos por la fuente
Definiremos esta secuencia
como aproximacin cero al
ingls
ZEWRTZYNSADXESYJRQY_
WGECIJJ_oBVI~RBQPOZBYM
BUAWVLBTQCNIKFMP
T~MVUUGBSAXHLHSIE _ M
 TABLA 2-2 PROBABILIDADES DE LOS SIMBOLOS EN INGLES (REZA 1961)

SIMBOLOS PROBABI- SIMBOLOS PROBABI-

LIDAD LIDAD La entropia de una
Espacio 0.1859 N 0.0574
fuente de memoria
A 0.0642 O 0.0632
B 0.0127 P 0.0152
nula, cuyas
C 0.0128 Q 0.0008 probabilidades sean
D 0.0317 R 0.0484
las de esa tabla, tiene
E 0.1031 S 0.0514
F 0.0208 T 0.0796
el valor
G 0.0152 U 0.0228 H (S) = - Pilog pi =
H 0.0467 V 0.0083 4,03 bits/smbolos
I 0.0575 W 0.0175
J 0.0008 X 0.0013
K 0.0049 Y 0.0164
L 0.0321 Z 0.0005
M 0.0198

La siguiente frase representa
una secuencia tpica de
simbolos emitidos por esta
fuente.
.AI_NGAE__TI'F_NNR_ASAEV
_OIE_BAINTHA_HYROO_POE
R_SETRYGAIETRWCO_
_EHDUARU_EU_C_FT_NSRE
M_DIY_ SE__F_O_SRIS _R
_UNNASHOR
Primera aproximacin al ingls.
Aun cuando no puede
calificarse de buen ingls, esta
secuencia presenta la
estructura propia del lenguaje
(comprese con la
aproximacin cero):
Las (.palabras de esta aproximacin
son, en su mayor parte, de longitud
apropiada, y la proporcin entre
vocales y consonantes ms real Aun
cuando no puede calificarse de buen
ingls, esta secuencia presenta la
estructura propia del lenguaje
(comprese con la aproximacin
cero): Las (.palabras de esta
aproximacin son, en su mayor parte,
de longitud apropiada, y la
proporcin entre vocales y
consonantes ms real
 Utilizando una fuente de Markov de primer orden, con
smbolos de probabilidades condicionales bien elegidas
Estas probabilidades fueron definidas por Pratt (1942)
H (A) = - P(ai/bj) log P(ai/bj) = 3,32 bit/smbolos
URTESEIETHING_AD_E_AT_FOULE_ITHALIORT _
WACT _ D _ STE _ MINTSAN _ OLINS _ TWID _
OULY _ TE _ THIGHE _ CO _ YS _ TH _ HR _
UPAVIDE _ PAD _ CTAVED
Segunda aproximacin al ingls
La secuencia obtenida en la segunda aproximacin ya
deja trascender un regusto a ingls
 El mtodo de Shannon puede
aplicarse a la construccin de
mejores aproximaciones al
ingls. En efecto, pueden
elegirse las letras
precedentes, construyendo as
una secuencia tpica de una
fuente de Markov,
aproximacin del ingls, de
segundo orden.
IANKS_CAN_OU_ANG_RLER
_THATTED_OF_TO_SHOR _
OF _ TO _ HAVEMEM _ Al _
MAND _ AND _ BUT
_WHISSITABLY _
THERVEREER _ EIGHTS _
TAKILLIS _ TA
Tercera aproximacin al ingls
Puede ampliarse el
procedimiento anterior, para
generar secuencias tpicas de
probabilidades idnticas Sin
embargo, es prcticamente im-
posible para m mayor de 2
 Shannon, utiliz una fuente de informacin de
memoria nula que emite palabras inglesa en lugar de
letras Las probabilidades de ocurrencia de las
diferentes palabras son aproximadamente las mismas
que en un texto ingls Shannon (1948) obtuvo la
aproximacin mostrada en la siguiente secuencia.
REPRESENTING AND SPEEDILY IS AN GOOD APT
OR COME CAN DIFFERENT NATURAL HERE HE
THE A IN CAME THE TO OF TO EXPERT
GRAY COME TO FURNISHES THE LINE MES-
SAGE HAD BE THESE
Cuarta aproximacin al ingles
 haciendo depender de la palabra precedente la
probabilidad de que una palabra sea elegida
La fuente correspondiente sera una fuente de
Markov de primer orden, con palabras inglesa
como smbolos Shannon (1948) construy una
secuencia tpica a partir de una fuente de este
tipo.
THE HEAD AND IN FRONTAL ATTACK ON
AN ENGLISH WRITER THAT THE
CHARACTER OF THIS POINT IS
THEREFORE ANOTHER METHOD FOR THE
LETTERS THAT TIIE TIME OF WHO EVER
TOLD THE PROBLEM FOR AN UNE~
PECTED
Quinta aproximacin al ingls
 R_EPTTFVSIEOISETE_ UOALNAO_NEL_D_NIS
TLTGNSSSNLN_UNST_ _ETR_TEGATUEOEC_S
FSNSTF_E_IONIOILEC _ASUDU_ZELNNTSSCA
MPADINMEC_TCEREPT SOSED_T_I_R_EIS_TA
TFLLUMGLR MMO_TIIUOEDEO _ UEI
ADBIUVDCMSFUAISRP _ EOSEELA _
MLGAVEAI _ MILLUO NMSLAANTEC
a) Primera aproximacin a) Primera Aproximacin
al francs al Espaol
 ITEPONT_JENE_IESEM CINDEUNECO_PE_CAL
ANT _ PAVEZ _ L_BO _ _PROS_E_LAS_LABITE
S _ PASE_LQU _ SUIN _ JASTE_ONTOMECITRO
DOTI _ CIS _ DRESIO_PAY_EN_SPU
NCMOUROUNENT_FUIT SEL_LA_ S _
_JE_DABREZ UTAJARETES _
oAUIETOUNT_LAGAUV OLONDAMIVE _ ESA _
RSOUT_MY S _ CLUS _
b) Segunda aproximacin b) Segunda aproximacin
al francs al Espaol.
 JOU_MOUPLAS_DE_M RAMA _ DE T.LA _ EL _
ONNERNAISSAINS_DE GUIAIMO _ SUS _
ME CONDIAS_SU _ E _
US_VREH_BRE_TU_DE UNCONDADADO _ DEA
_TOUCUEUR_DIMMERE _ MARE _
_IL TO_UERBALIA_NUE_Y
ES _ MAR _ELAME _ _HERARSIN_DE_SE_S
RE _ A _ VER _ IL _ US_SUPAROCEDA
DOUVENTS _ SO C) Tercera aproximacin
c) Tercera aproximacin al Espaol.
al francs.