EJERCICIOS SOBRE TEORA DE LA

INFORMACIN Y CODIFICACIN
Universidad Nacional de Loja - CIEYT
Loja, Ecuador

1. Tema:
Primera tarea sobre Ejercicios de Teora de la Informacin

2. Objetivo:
Leer, estudiar y desarrollar ejercicios sobre la temtica correspondiente a la primera parte del ciclo
de tres en total, guiados en los captulos 1, 2 del libro de Roberto Togneri y Captulo 1 y 4 del libro
de Thomas Cover.

3. Desarrollo:
EJERCICIOS DE PROBABILIDADES
1. Sea S={s1,s2,s3} un simple espacio con distribucin de probabilidad P dados por P(s1) =
0.2, P(s2) = 0.3, P(s3) = 0.5.
Sea f una funcin definida en S por f(s1) = 5, f(s2) = -2, f(s3) = 1. Cul es el valor esperado
de f ?

S={s1,s2,s3}
Si Pi f
S1 0.2 5
S2 0.3 -2
S3 0.5 1

= ( ) ( )
=

= ( ) ( )
=1

= (1 )(1 ) + (2 )(2 ) + (3 )(3 )

= (0.2)(5) + (0.3)(2) + (0.5)(1)

= .
2. Dado = { , } es un espacio muestral con probabilidad de distribucin dado por
( ) = . ; ( ) = . . Sea la funcin de definida en dada por:

( ) = ()

( ) = ()

Cul es el valor esperado de ?

Solucin:

() = ( ) ( )
=1

Entonces: () = (0.7)(2) + (0.7)(3) + (0.3)(5) + (0.3)(4) = 3.8

3. Sea S={S1, S2, S3, S4}, un espacio muestral con una distribucin de probabilidad dada
por:
P(S1)=0.5
P(S2)=0.25
P(S3)=0.125
P(S4)=0.125
Existe16 posibles eventos que pueden formar a partir de los elementos de S, calcular la
probabilidad y la combinacin de estos eventos.
Solucin:
Como existe 16 eventos, la combinacin queda de la siguiente manera:
S1
S1 S2
S3
S4
S1
S2 S2
S3
S S4
S1
S3 S2
S3
S4
S1
S4 S2
 S3
S4
Resolviendo estas combinaciones, los resultados observamos en la siguiente tabla:

Y\X S1 =1/2 S2 =1/4 S3 =1/8 S4 =1/8

S1 =1/2 1/4 1/8 1/16 1/6
S2 =1/4 1/8 1/16 1/32 1/32
S3 =1/8 1/16 1/32 1/64 1/64
S4 =1/8 1/16 1/32 1/64 1/64

EJERCICIOS DE ENTROPA
1. El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso. El piso en el
que finaliza el viaje n-simo del ascensor sigue una cadena de Markov. Se sabe que la mitad
de los viajes que parten del bajo se dirigen a cada uno de los otros dos pisos, mientras que si
un viaje comienza en el primer piso, slo el 25% de las veces finaliza en el segundo. Por ltimo,
si un trayecto comienza en el segundo piso, siempre finaliza en el bajo. Se pide:

a) Calcular la matriz de probabilidades de transicin de la cadena

b) Dibujar el grafo asociado

c) Cul es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno de los
tres pisos?

Para el inciso (a)

00 01 02 0 1/2 1/2
= (10 11 12 ) = (3/4 0 1/4)
20 21 22 1 0 0
Para el inciso (b)

3/4
1/4
1/2

0 1 2
1/2
Para el apartado (c)

Para este caso lo hacemos encontrando cada uno de los valores dndole como incgnitas
(x,y,z).
1 1
0
2 2
= 3 1 ( )
0
4 4
(1 0 0)
Nuestro sistema de ecuaciones nos quedara:
 ++ = 1 ecu(1)
3
+ 4 + = 0 4 3 4 = 0 ecu(2)
1
=0 2 = 0 ecu(3)
2
1 1
+ =0 2 + 4 2 = 0 ecu(4)
2 4

Desarrollando este sistema de ecuaciones

Tomamos la ecu (1) y ecu(2) y multiplicamos por 4 a la ecu(1) para poder ir eliminando valores
(4) + + =1
4 3 4 = 0
4 + 4 + 4 = 4
4 3 4 = 0
8 + = 4 (5)
Luego tomamos la ecu(5) y la ecu(3) y multiplicamos a nuestra ecu(5) por 2 para poder
eliminar el valor de y y as poder encontrar nuestra primer incgnita, para este caso x
(2) 8 + = 4
2 = 0
16 + 2 = 8
2 = 0
17 = 8
8
=
17
Remplazando el valor de x en la ecu(3)
2 = 0
2 =
8
2 =
17
4
=
17
Y para encontrar nuestro valor de z reemplazamos nuestros valores de x y y en la ecu(1)
++ =1
8 4
=1
17 17
5
=
17
Por lo tanto la probabilidad de que el ascensor est en cada uno de los 3 pisos a largo plazo
sera:

=


=


=

2. Convertir los siguientes valores de entropas a unidades de bits: (a) () = . ; (b)
() = . ; (c) () = . ; (d) () = . ; (e) () = . ; (f) () = . .

Solucin:

(a) () =
()
ln()
.

0.5
2 () = = 0.721
ln 2

1.0
(b) 2 () = = 1.44
ln 2

1.5
(c) 2 () = ln 2 = 2.16

2
(d) 2 () = ln 2 = 2.88

2.5
(e) 2 () = ln 2 = 3.606

3
(f) 2 () = = 4.32
ln 2

3. Dado = { , } y = { , , } siendo P una funcin de distribucin de

probabilidad conjunta SXT, dado por ( , ) = . , ( , ) = . , ( , ) =
. , ( , ) = . , ( , ) = . , ( , ) = . . Calcular las
probabilidades de las distribuciones marginales y las entropas (), ( ) y
( ). Tambin las distribucin de probabilidad condicional / / y sus entropas
(/ ) (/ ).

Solucin:
1 1 1
(2 4 8 )
1 1 1
16 32 32

( ) = ( , )
=1
 2
1 1 1 7
(1 ) = (1 , ) = + + =
2 4 8 8
=1

2
1 1 1 1
(2 ) = (2 , ) = + + =
16 32 32 8
=1

3
1 1 9
(1 ) = ( , 1 ) = + =
2 16 16
=1
3
1 1 9
(2 ) = ( , 2 ) = + =
4 32 32
=1
3
1 1 5
(3 ) = ( , 3 ) = + =
8 32 32
=1

7 1 9 9 5
= ( ; ; ) = ( ; ; )
8 8 16 32 32

() = ( , ) log 2 ( , )
=1
1 1 1 1 1 1 1 1 2 1
= log 2 log 2 log 2 log 2 log 2
2 2 4 4 8 8 16 16 32 32
= 1.9375

7 7 1 1
() = log 2 = log 2 log 2 = 0.543
8 8 8 8
=1

9 9 9 9 5 5
() = log 2 = log 2 log 2 log 2 = 1.400
16 16 32 32 32 32
=1

( , ) ( , )
( / ) = =
( ) =1 ( , )

1/2 8 1/16 1 1/14 8 1/32

(1 /1 ) = = ; (2 /1 ) = = ; (1 /2 ) = = ; (2 /2 ) =
9/16 9 9/16 9 9/32 9 9/32
1 1/8 4 1/32 1
= ; (1 /3 ) = = ; (2 /3 ) = =
9 5/32 5 5/32 5
1/2 4 1/16 1 1/4 2 1/32
(1 , 1 ) = = ; (1 , 2 ) = = ; (2 , 1 ) = = ; (2 , 2 ) =
7/8 7 1/8 2 7/8 7 1/8
1 1/8 1 1/32 1
= ; (3 , 1 ) = = ; (3 , 2 ) = =
4 7/8 7 1/8 4
(/) = (, ) () .
() = (, )
 (/) = () () = 1.9375 1.400 = 0.5375
(/) = () () = 1.9375 0.543 = 1.9345
4. Calcular las siguientes entropas. H (x), H (y), H (x, y), H (x| y), H (y| x)
p(X=1) =0.25, p(X=2) =0.4, p(X=3) =0.15, p(X=4) =0.15, p(X=5) =0.05
p(Y=1) =0.35, p(Y=2) =0.35, p(Y=3) =0.20, p(Y=4) =0.1

0.25
1 |1 = (1 , 1 ) (1 ) = = 0.714
0.35

0.25
1 |1 = =1
0.25
0.05
2 |3 = = 0.333
0.15

Y=
1 2 3 4
0.25 0 0 0 .
0.1 0.3 0 0 .
= 0 0.05 0.1 0 .
0 0 0.05 0.1 .
( 0 0 0.05 0 ) .
0.35 0.35 0.20 0.1

() = (, ) ( = ) = ( = ) ( = )

H(X)=-0.25log0.25- 0.1log0.4- 0.3log0.4 0.5log0.15- 0.1log0.15- 0.05log0.15- 0.1log0.15- 0.05log 0.05

H(X)=2.066

Equivalentemente:
H(X)=-0.25log0.25-0.4log0.4-0.15log0.15-0.15log0.15-0.05log0.05

H(X)=2.06
Y=
1 2 3 4
0.25 0 0 0 .
0.1 0.3 0 0 .
= 0 0.05 0.1 0 .
0 0 0.05 0.1 .
( 0 0 0.05 0 ) .
0.35 0.35 0.20 0.1
 () = (, ) ( = ) = ( = ) ( = )

H(Y)=-0.25log0.35-0.1log0.35-0.3log0.35-0.05log0.35-0.1log0.2-0.05log0.2-0.05log0.20-0.1log0.1
H(Y)=1.856

Equivalentemente:
H(Y)=-0.35log0.35-0.35log0.35-0.2log0.2-0.1log0.1
H(X)=1.856

(, ) = (, ) (, )

H(X,Y)=-0.25log0.25-0.1log0.1-0.3log0.3-0.05log0.05-0.1log0.1-0.05log0.05-0.1log0.1-0.05log0.05
H(X,Y)=2.665 bits
Y=
1 2 3 4
0.25 0 0 0 .
0.1 0.3 0 0 .
= 0 0.05 0.1 0 .
0 0 0.05 0.1 .
( 0 0 0.05 0 ) .
0.35 0.35 0.20 0.1

H(X/Y) = p(X = i, Y = j) log p(xy) = p(Y = j)H(X/Y = j)

i j j

H(X/Y) = p(1 , 1 ) log (1 /1 ) p(2 , 1 ) log (2 /1 ) p(2 , 2 ) log (2 /2 )

p(3 , 2 ) log (3 /2 ) p(4 , 3 ) log (4 /3 ) p(4 , 4 ) log (4 /4 )
p(5 , 3 ) log (5 /3 ) p(3 , 3 ) log (3 /3 )
H(X/Y) = 0.809 bits
Equivalente:
H(X/Y) = 0.35H(0.25/0.35 , 0.1/0.35) + 0.35H(0.3/0.35, 0.05/0.35)
+ 0.2(0.1/0.2, 0.05/0.2, 0.05/0.2) + 0.1(0.1/0.1)
(/) = .

Explicacin detallada:

H(X/Y) = p(X = i, Y = j) log p(x/y) = p(X = i)H(Y/X = i)

i j j

Segn la tabla tenemos:

 p(1 , 1 ) = 0.25
p(2 , 1 ) = 0.1
p(2 , 2 ) = 0.3
p(3 , 2 ) = 0.05
p(3 , 3 ) = 0.1
p(4 , 3 ) = 0.05
p(4 , 4 ) = 0.1
p(5 , 3 ) = 0.05

(1 ) = 0.25 + 0.1 = 0.35

(2 ) = 0.3 + 0.05 = 0.35

(3 ) = 0.1 + 0.05 + 0.05 = 0.20

(4 ) = 0.1 = 0.1

SI
p(1 , 1 ) 0.25
p(1 /1 ) = ( )= = 0.71
(1 ) 0.35

p(2 , 1 ) 0.1
p(2 /1 ) = ( )= = 0.285
(1 ) 0.35

p(2 , 2 ) 0.3
p(2 /2 ) = ( )= = 0.857
(2 ) 0.35

p(3 , 2 ) 0.05
p(3 /2 ) = ( )= = 0.143
(2 ) 0.35

p(4 , 3 ) 0.05
p(4 /3 ) = ( )= = 0.25
(3 ) 0.20

p(4 , 4 ) 0.1
p(4 /4 ) = ( )= =1
(4 ) 0.1

p(3 , 3 ) 0.1
p(3 /3 ) = ( )= = 0.5
(3 ) 0.2

p(5 , 3 ) 0.05
p(5 /3 ) = ( )= = 0.25
(3 ) 0.20

Por lo tanto:
 H(X/Y) = p(1 , 1 ) log (1 /1 ) p(2 , 1 ) log (2 /1 ) p(2 , 2 ) log (2 /2 )
p(3 , 2 ) log (3 /2 ) p(4 , 3 ) log (4 /3 ) p(4 , 4 ) log (4 /4 )
p(5 , 3 ) log (5 /3 ) p(3 , 3 ) log (3 /3 )

H(XY) = 0.25 log (0.71) 0.1 log (0.285) 0.3 log ( 0.857) 0.05
log (0.143) 0.05 log (0.25 ) 0.1 log (1) 0.05
log (0.25 ) 0.1 log (0.5)

H(XY) = (() = .

MTODO EQUIVALENTE:
H(X/Y) = 0.35H(0.25/0.35 , 0.1/0.35) + 0.35H(0.3/0.35, 0.05/0.35)
+ 0.2(0.1/0.2, 0.05/0.2, 0.05/0.2) + 0.1(0.1/0.1)
H(X/Y) = 0.35H(0.71 , 0.2857) + 0.35H(0.857, 0.14) + 0.2(0.5, 0.25, 0.25) + 0.1(1)

Entonces :

( ) = ( )

H(1 ) = 1 log(1) = 0

H(0.71, 0.2857) = 0.71 log(0.71) + ( 0.2857 log(0.2857)) = 0.866

(0.5, 0.25,0.25 = 0.5 log(0.5) + ( 0.25 log(0.25)) + ( 0.25 log(0.25))

= 1.5

(0.857, 0.14) = 0.33 log(0.33) + ( 0.66 log(0.66)) = 0.537

(|) = 0.35 0.81 + 0.35 0.537 + 0.2 1.5 + 0.1 0)

(|) = 0.8 bits

Y=
1 2 3 4
0.25 0 0 0 .
0.1 0.3 0 0 .
= 0 0.05 0.1 0 .
0 0 0.05 0.1 .
( 0 0 0.05 0 ) .
 0.35 0.35 0.20 0.1

(|) = ( = , = ) (/) = ( = )(/ = )

(|) = p(1 , 1 ) log (1 /1 ) p(1 , 2 ) log (1 /2 ) p(2 , 2 ) log (2 /2 )

p(2 , 3 ) log (2 /3 ) p(3 , 3 ) log (3 /3 ) p(3 , 4 ) log (3 /4 )
p(4 , 4 ) log (4 /4 ) p(3 , 5 ) log (3 /5 )

(/) = 0.6 bits

Equivalente:
(|) = 0.25H(0.25/0.25 ) + 0.4H(0.1/0.4, 0.3/0.4) + 0.15(0.05/0.15, 0.1/0.15)
+ 0.15(0.05/0.15, 0.1/0.15) + 0.05(0.05/0.05)
(|) = 0.6 bits
Explicacin detallada:

(|) = ( = , = ) (/) = ( = )(/ = )

Segn la tabla tenemos :

p(1 , 1 ) = 0.25
p(1 , 2 ) = 0.1
p(2 , 2 ) = 0.3
p(2 , 3 ) = 0.05
p(3 , 3 ) = 0.1
p(3 , 4 ) = 0.05
p(4 , 4 ) = 0.1
p(3 , 5 ) = 0.05

(1 ) = 0.25

(2 ) = 0.1 + 0.3 = 0.4

(3 ) = 0.05 + 0.1 = 0.15

 (4 ) = 0.05 + 0.1 = 0.15

(5 ) = 0.05

SI
p(1 , 1 ) 0.25
p(1 /1 ) = ( )= =1
(1 ) 0.25

p(1 , 2 ) 0.1
p(1 /2 ) = ( )= = 0.25
(2 ) 0.4

p(2 , 2 ) 0.3
p(2 /2 ) = ( )= = 0.75
(2 ) 0.4

p(2 , 3 ) 0.05
p(2 /3 ) = ( )= = 0.33
(3 ) 0.15

p(3 , 3 ) 0.1
p(3 /3 ) = ( )= = 0.66
(3 ) 0.15

p(3 , 4 ) 0.05
p(3 /4 ) = ( )= = 0.33
(4 ) 0.15

p(3 , 5 ) 0.05
p(4 /4 ) = ( )= =1
(4 ) 0.05

p(4 , 4 ) 0.1
p(4 /4 ) = ( )= = 0.66
(4 ) 0.15

Por lo tanto:
(/) = p(1 , 1 ) log (1 |1 ) p(1 , 2 ) log (1 /2 ) p(2 , 2 ) log (2 /2 )
p(2 , 3 ) log (2 /3 ) p(3 , 3 ) log (3 /3 ) p(3 , 4 ) log (3 /4 )
p(4 , 4 ) log (4 /4 ) p(3 , 5 ) log (3 /5 )

() = 0.25 log (1) 0.1 log (0.25) 0.3 log (0.75) 0.05 log (0.33)
0.1 log (0.66) 0.05 log (0.33) 0.1
log (0.66) 0.05 log (1)

() = .

MTODO EQUIVALENTE:
(/) = 0.25H(0.25/0.25 ) + 0.4H(0.1/0.4, 0.3/0.4) + 0.15(0.05/0.15, 0.1/0.15)
+ 0.15(0.05/0.15, 0.1/0.15) + 0.05(0.05/0.05)
 (/) = 0.25H(1 ) + 0.4H(0.25, 0.75) + 0.15(0.33, 0.66) + 0.15(0.33, 0.66)
+ 0.05(1)

Entonces :

( ) = ( )

H(1 ) = 1 log(1) = 0

H(0.25, 0.75) = 0.25 log(0.25) + ( 0.75 log(0.75)) = 0.81

(0.33, 0.66) = 0.33 log(0.33) + ( 0.66 log(0.66)) = 0.92

( | ) = (0.25 0) + (0.4 0.81) + (0.15 0.92) + +(0.15 0.92) + (0.05 0)

( | ) = 0.6 bits

5. Dado X = {0, 1} y considerando dos distribuciones p y q en X. dado p(0)=1-r, p(1)=r, y

dado q(0)=1-s, q(1)=s.
a) Si r=s.
1
D (p||q) = (1-s) * log + s * log
1

= (1 - s) * 0 + s * 0
=0
Cmo se indic anteriormente si p y q son iguales D (p||q) = D (q||p) = 0.

b) Si r = , s=1/4.

1
D (p||q) = (1 - r) * log 1 + r * log
1/2 1/2
D (p||q) = (1/2) * log 3/4 + () * log 1/4

D (p||q) = 0.2075 bit,

Mientras,
1
D (q||p) = (1-s) * log 1 + s * log
3/4 1/4
D (q||p) = (3/4) * log 1/2
+ (1/4) * log 1/2

= 0.1884 bit.
Se puede notar que D (p||q) D (q||p) cuando p(x) p(y).
6. Dadas dos variables aleatorias discretas (X, Y) que pueden asumir 4 valores distintos cada
una:

1 1 1 1
8 16 32 32
1 1 1 1

p( x, y ) 16 8 32 32
1 1 1 1
16 16 16 16
1
0 0 0
4
a. Calcular las probabilidades marginal
4
1 1 1 1
() = (, ) = [ , , , ]
2 4 8 8
=1
4
1 1 1 1
() = (, ) = [ , , , ]
4 4 4 4
=1

Podemos ver que las variables son dependientes porque:

(, ) ()()
b. Calcular la probabilidades condicionales
Para hallar las densidades condicionales (sern matrices), utilizaremos:
(,)
(/) =
()
(,)
(/) =
()

1 1 1 1
1 1 1 1 4
2 4
8
4 4
4 8 1 1
1 1 1 1
1 1


8 p( y | x) 1
p( x | y) 4 8 2 4 4
2 8
1 1 1
1 1 1 1
8
4 4 2 2
4 4 1 1
1 0 0 0 0 0 0
2
c. Calcular las Entropas:
1 1 1 1 1 1 1 1 1 1
() = ( , , , ) = ( ) 2 ( ) ( ) 2 ( ) (2) ( ) 2 ( )
2 4 8 8 2 2 4 4 8 8
= 1.75 /

1 1 1 1 1 1
H (Y ) H , , , 4 log 2 2 bits
4 4 4 4 4 4
4 4
H ( X | Y ) p( yi ) H ( X | yi ) ; H (Y | X ) p ( x j ) H (Y | x j )
i 1 j 1
Las H ( X | yi ) y las H (Y | x j ) son respectivamente las entropas de las filas de p( x | y) y las
entropas de las columnas de p( y | x) :

1 1 1 1
2 H ( X | y 1) 7 / 4
4 8 8
1 1 1 1
H ( X | y 2) 7 / 4
p( x | y) 4 2 8 8
1 1 1 1 H ( X | y 3) 2
4 4 4 1
1 0 0 0 H ( X | y 4) 0

1 7 1 7 1 1 11
H (X | Y) 2 0 bits
4 4 4 4 4 4 8
A la misma manera, trabajando sobre las columnas de p( y | x) y promediando logramos:

13
H(X | Y) bits
8
La Informacin Mutua ser:

3
I ( X ;Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X ) bits
8
La Entropa Conjunta podemos calcularla directamente de la matriz p( x, y ) :

2 1 1 1 6 1 4 1 27
H ( X , Y ) log 2 log 2 log 2 log 2 bits 3.37 bits
8 8 4 4 16 16 32 32 8
O a travs de una de las formulas:

7 3 14 16 3 27
H ( X , Y ) H ( X ) H (Y ) I ( X ; Y ) 2 bits
4 8 8 8

7. Sean = {, , , } y = {, , , } dos fuentes equiprobables independientes. Sea

una fuente (S) cuya salida es el mcm de la salida de las fuentes anteriores = ( , ).
a. Calcule la entropa de la fuente ()
b. Calcular la informacin mutua (; )
Solucin:

1 2
1 2 2
2 2 2
3 2 6
4 2 4
1 4 4
2 4 4
3 4 12
4 4 4
 1 6 6
2 6 6
3 6 6
4 6 12
1 8 8
2 8 8
3 8 24
4 8 8

Entonces la fuente S queda conformada por los siguientes elementos:

= {2,4,6,8,12,24}
Cuyas probabilidades de ocurrencia son:
1 1 1 3 1 1
(2) = ; (4) = ; (6) = ; (8) = ; (12) = ; (24) =
8 4 4 16 8 16
a. Entonces la entropa de la fuente es:

() = ( , )2 (( , ))
=1

() = . /
b. Para calcular la (; 1 ) se puede calcular directamente la entropa de la fuente conjunta
(/1 ) para todos los valores de 1 , esto es:
(/1) = 2
(/2) = 2
(/3) = 1.5
(/4) = 1.5
Entonces para calcular la entropa de la fuente sacamos la longitud media de cada entropa
y aplicamos la regla de la cadena para calcular la informacin mutua:

(/_1 ) = (1/2) (2) + (1/2) 1.5 = 1.75 /

Aplicando la regla de la cadena tenemos:

(; 1 ) = () (/1 )

(; ) = 2.4534 1.75 = . /
8. Para una fuente binaria:
(a) Mostrar que la entropa, H, es mxima cuando la probabilidad de enviar
un 1 es igual a la probabilidad de enviar un 0.
(b) Hallar el valor mximo de la entropa.

Solucin:
a. Sea p, la probabilidad de enviar un 1,
Entonces 1-p ser la probabilidad de enviar un 0:
 La entropa es:
1
() = ()2
()
1 1
() = . 2 + (1 ). 2
1
Para verificar la mxima entropa derivamos con respecto a p,

1 2 1 1
() = 2 + 2 2 + (1 )
1 (1 )2
1
() = 2

En el mximo debe cumplir que () = 0
Entonces
1
; 2
=0

Eliminando el logaritmo:
1
= 20

1
=1

Despejando p,
1
=
2
b. Son equiprobables, la entropa es;
1 1
( ) = 2. . 2 2 = 1 /
2 2

9. Sea S = {s1, s2,,sN} un espacio muestral de N. Calcular la entropa de cada una de

las siguientes distribuciones de probabilidad de S.

a. N=3, P(s1)=0.5, P(s2)=0.25, P(s3)=0.25

() = (). log 2 ()
=1

() = (0.5). log 2 (0.5) (0.25). log 2 (0.25) (0.5). log 2 (0.25)

() = 0.5 + 0.5 + 0.5
() = 1.5

b. N=4, P(s1)=0.5, P(s2)=0.25, P(s3)=0.125, P(s4)=0.125



() = (). log 2 ()
=1

() = (0.5). log 2 (0.5) (0.25). log 2 (0.25) 2. (0.125). log 2 (0.125)

() = 0.5 + 0.5 + 2(0.375)
() = 1.75

c. N=5, P(s1)=0.5, P(s2)=0.125, P(s3)=0.125, P(s4)=0.125, P(s5)=0.125

() = (). log 2 ()
=1

() = (0.5). log 2 (0.5) 4. (0.125). log 2 (0.125)

() = 0.5 + 4. (0.375)
() = 2

d. N=5, P(s1)=0.25, P(s2)=0.25, P(s3)=0.25, P(s4)=0.125, P(s5)=0.125

() = (). log 2 ()
=1

() = 3. (0.25). log 2 (0.25) 2. (0.125). log 2 (0.125)

() = 3(0.5) + 2(0.375)
() = 2,25

e. N=5 , P(s1)=0.0625, P(s2)=0.125, P(s3)=0.25, P(s4)=0.5, P(s5)=0.0625

() = (). log 2 ()
=1

() = 2. (0.0625). log 2 (0.5) (0.125). log 2 (0.125)

(0.25). log 2 (0.25) (0.5). log 2 (0.5)
() = 2(0.25) + 0.375 + 0.5 + 0.5
() = 1.875

10. Ejercicio

Dadas dos variables aleatorias discretas X,Y y su matriz de transicin. Calcule:

P(X), P(Y),P(X,Y), P(Y|X),H(X),H(Y),H(X|XY, I(X;Y)

 1 1 1 1
8 16 32 32
1 1 1 1

p( x, y ) 16 8 32 32
1 1 1 1
16 16 16 16
1
0 0 0
4

Se puede ver claramente que la suma de todos los valores da 1:

4 4
1 1 1 1
p( x, y ) 2 8 4 6 16 4 32 3 0 1
i 1 j 1
i

Con la conjunta, podemos calcular las marginales:

4
1 1 1 1
p( x) p( x, yi ) Sumar las Filas!= , , ,
i 1 2 4 8 8

1 1 1 1
4
p ( y ) p ( x j , y ) Sumar las Columnas!= , , ,
j 1 4 4 4 4

Para hallar las densidades condicionales, usamos:

p ( x, y ) p ( x, y )
p( x | y ) ; p( y | x)
p( y ) p( x)

p( X | Y 1)
1/ 8,1/16,1/ 32,1/ 32 1 , 1 , 1 , 1

1/ 4 2 4 8 8

1 1 1 1
2 4 8 8
1 1 1 1

p( x | y ) 4 2 8 8
1 1 1 1
4 4 4 4
1 0 0 0

Calculo de las Entropas:

 1 1 1 1 1 1 1 1 1 1 1 1 7
H ( X ) H , , , log 2 log 2 log 2 log 2 bits 1.75 bits
2 4 8 8 2 2 4 4 8 8 8 8 4

1 1 1 1 1 1
H (Y ) H , , , 4 log 2 2 bits
4 4 4 4 4 4

Las frmulas de las entropas condicionales son:

4 4
H ( X | Y ) p( yi ) H ( X | yi ) ; H (Y | X ) p ( x j ) H (Y | x j )
i 1 j 1

Las H ( X | yi ) y las H (Y | x j ) son las entropas de las filas de p( x | y) y las entropas de las
columnas de p( y | x) :

1 1 1 1
2 H ( X | y 1) 7 / 4
4 8 8
1 1 1 1
H ( X | y 2) 7 / 4
p( x | y) 4 2 8 8
1 1 1 1 H ( X | y 3) 2
4 4 4 1
1 0 0 0 H ( X | y 4) 0

La entropa condicional ser finalmente el promedio de todas:

1 7 1 7 1 1 11
H (X | Y) 2 0 bits
4 4 4 4 4 4 8
La Informacin Mutua ser:

3
I ( X ;Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X ) bits
8
La Entropa Conjunta podemos calcularla directamente de la matriz p( x, y ) :

2 1 1 1 6 1 4 1 27
H ( X , Y ) log 2 log 2 log 2 log 2 bits 3.37 bits
8 8 4 4 16 16 32 32 8
O a travs de una de las formulas:

7 3 14 16 3 27
H ( X , Y ) H ( X ) H (Y ) I ( X ;Y ) 2 bits =3.37 bits
4 8 8 8
DISTRIBUCIN ESTACIONARIA

1. Encuentre la distribucin estacionaria de la fuente de Markov cuya matriz de transicin es:

0.15 0.75
= [ ]
0.85 0.25
Multiplicamos por nuestras estacionarias as:
0.15 0.75 [ 2 ]
= [ ] 1
0.85 0.25
Sacando nuestro sistema de ecuaciones nos quedaran las siguientes:

1 + 2 = 1 ecu(1)

0.151 + 0.852 = 1 ecu(2)

0.751 + 0.252 = 2 ecu(3)

Realizando las operaciones necesarias en cada uno de nuestras ecuaciones nos quedaran:

1 + 2 = 1 ecu(1)

0.851 + 0.852 = 0 ecu(2)

0.751 0.752 = 0 ecu(3)

Tomando las dos primeras ecuaciones y multiplicando por (0.85) a la ecu(1)

(0.85) 1 + 2 = 1
0.851 + 0.852 = 0

0.85 1 + 0.852 = 0.85

0.851 + 0.852 = 0
0 1.72 = 0.85
2 = 1/2

Reemplazando el valor de 2 en la ecu(1)

1 + 2 = 1
1 = 1 2
1 = 1 1/2
1 = 1/2
Por lo tanto:
= /
= /
2. La cervecera ms importante del mundo (Guiness) ha contratado a un analista de
investigacin de operaciones para analizar su posicin en el mercado. Estn preocupados
en especial por su mayor competidor (Heineken). El analista piensa que el cambio de marca
se puede modelar como una cadena de Markov incluyendo tres estados, los estados G
y H representan a los clientes que beben cerveza producida por las mencionadas
cerveceras y el estado I representa todas las dems marcas. Los datos se toman cada mes y
el analista ha construido la siguiente matriz de transicin de los datos histricos.

G H I
0,7 0,2 0,1
(0,2 0,75 0,05)
0,1 0,1 0,8

Cules son los porcentajes de mercado en el estado estable para las dos cerveceras
grandes.?

SOLUCIN:

Tres estados {G, H, I}

El problema consiste en resolver el sistema formado por las ecuaciones siguientes:

(x,y,z).P=(x,y,z);x+y+z=1, siendo x la probabilidad de que el consumidor compre G, y de que el

consumidor compre H y z la del que consumidor compre I. De ambas expresiones se obtiene el
siguiente sistema:

++ =1
0,7 + 0,2 + 0,1 = 3 + 2 + = 0
0,2 + 0,75 + 0,1 = 20 25 + 10 = 0
0,1 + 0,05 + 0,8 = 10 + 5 20 = 0
Tomando la ecu(1) y ecu(2)
(3) ++ = 1
3 + 2 + = 0
3 + 3 + 3 = 3
3 + 2 + = 0
5 + 4 = 3 (5)
Tomando la ecu(3) y ecu(4)
20 25 + 10 = 0
(2) 10 + 5 20 = 0
20 25 + 10 = 0
20 10 + 40 = 0
35 + 50 = 0 (6)
Tomando ecuaciones (5), (6)
 (7) 5 + 4 = 3
35 30 = 0
35 + 28 = 21
35 + 50 = 0
78 = 21
21
= 78

=

Reemplazando el valor de z en ecu(5)
5 + 4 = 3
5 = 3 4
7
5 = 3 4 ( )
26
50
5 =
26

=

Y por ltimo reemplazando los valores de (y), (z) en ecu(1) para encontrar el valor de x
++ =1
= 1
10 7
=1
26 26
17
=1
26

=

3. Dibuje un diagrama que represente la fuente de Markov con alfabeto {, } y un conjunto

de estados = { , , } con las siguientes cinco transiciones:
a. del estado 1 y (/) = .
b. del estado 0 y (/) = .
c. del estado 0 y (/) = .
d. del estado 1 y (/) = .
e. del estado 1 y (/) =

Escriba la matriz de transicin para esta fuente. Es posible que esta fuente genere una
salida que incluya la sub-secuencia 000?, Es posible que esta fuente genere una salida que
incluya la sub-secuencia 111?
Solucin:
La Matriz de transicin es:
0 0.8 1
= {0.4 0 0}
0.6 0.2 0
Para encontrar las probabilidades iniciales:
Tenemos que las probabilidades estacionarias se denominan como 1 , 2 , 3 y se las toma de la
matriz de transicin en cada columna donde suman las probabilidades 1. Para encontrar las
probabilidades estacionarias se multiplica esta matriz por el vector de transicin, formndose un
sistema de ecuaciones que ser resuelto por cualquier mtodo de solucin de ecuaciones lineales.
Esto es

0 0.8 1 1
= {0.4 0 0} * [2 ]
0.6 0.2 0 3

0.82 + 3 = 1 (1)
0.41 = 2 (2)
0.61 + 0.22 = 3 (3)
1 + 2 + 3 = 1 (4)

17
(1) 3 = 1 (5)
25

(2) 2 = 0.4 1 (6)

Reemplazando en (4)
17
1 + 0.4 1 + =1
25 1

25
1 =
52
Reemplazando en (5) y (6):
 5
2 =
26
17
3 =
52
Las probabilidades 1 , 2 , 3 son las probabilidades conjuntas y estacionarias de la matriz de
Markov.

La fuente no puede generar un estado que incluya la sub-secuencia (000) debido a que la
probabilidad inicial de generar un smbolo 0 es cero.
La fuente puede generar una salida que incluya la sub-secuencia (111) con probabilidad
de 1.

4. Considere una fuente de Markov con matriz de transicin:

0.3 0.8
= [ ]
0.7 0.2
y la distribucin de probabilidad inicial:
0.5
0 = [ ]
0.5
Calcule W t para t = 1,2,3,4,5.

= . 0 = = . 0
t =1,
1 = 1 . 0
0.3 0.8 1 0.5
1 = [ ] .[ ]
0.7 0.2 0.5
1 0.55
= [ ]
0.45

t =2,
2 = 3 . 0
0.3 0.8 2 0.5
2 = [ ] .[ ]
0.7 0.2 0.5
2
0.65 0.4 0.5
2 = [ ] .[ ]
0.35 0.6 0.5
2 0.525
= [ ]
0.475
t =3,
3 = 3 . 0
0.3 0.8 3 0.5
3 = [ ] .[ ]
0.7 0.2 0.5
3
0.475 0.6 0.5
3 = [ ] .[ ]
0.525 0.4 0.5
3 0.5375
= [ ]
0.4625
t =4,
4 = 4 . 0
 0.3 0.8 4 0.5
4 = [ ] .[ ]
0.7 0.2 0.5
0.5625 0.5 4 0.5
4 = [ ] .[ ]
0.4375 0.5 0.5
4 0.53125
= [ ]
0.46875

t =5,
5 = 5 . 0
0.3 0.8 5 0.5
5 = [ ] .[ ]
0.7 0.2 0.5
5 0.518 0.55 5 0.5
= [ ] .[ ]
0.481 0.45 0.5
5 0.5343
= [ ]
0.4656

EJERCICIOS FUENTE AFN

1) Dada la siguiente matriz de una fuente de Markov encontrar la entropa de la

misma y de la fuente affin y comprobar dichas respuestas.
Escriba aqu la ecuacin.
. .
( . . )
. . .
Solucin:
Primero se debe hallar las probabilidades de los estados para esto se debe formar unas
ecuaciones basndonos en la matriz dada:

0.6 + 0.0 + 0.3 = (1)

0.4 + 0.3 + 0.3 = (2)
0 + 0.7 + 0.4 = (3)
+ + = 1 (4)
Solucionando dicho sistema de ecuaciones tenemos las siguientes probabilidades de
estado de nuestra matriz de Markov.

21 24 28
() = ; () = ; () =
73 73 73

Para calcular la entropa de la fuente se tiene que:

() =
=1 () ( )

(0.6; 0.3) = 0.6 log 2 0.6 0.3 log 2 0.3 = 0.9632

(0.4; 0.3; 0.3) = 0.4 log 2 0.4 0.3 log 2 0.3 0.3 log 2 0.3 = 1.571
(0.7; 0.4) = 0.7 log 2 0.7 0.4 log 2 0.4 = 0.888
 21 24 28
() = 0.9632 + 1.571 + 0.888 = 1.14 /
73 73 73

Para calcular la entropa de la fuente affin se toma las probabilidades estacionarias

como se muestra a continuacin:

( ) = () log 2 ()
=1

21 21 24 24 28 28
( ) = log 2 log 2 log 2 = 1.58 /
73 73 73 73 73 73

EJERCICIOS INFORMACIN MUTUA

1. Los habitantes de cierto casero estn divididos en dos grupos, A y B. En el grupo A la mitad
de las personas dicen la verdad, tres dcimos mienten y un quinto de ellos se niegan a
responder. En el grupo B, tres dcimos dicen la verdad, la mitad mienten y dos dcimos no
responden. Sea p la probabilidad de que una persona seleccionada al azar pertenezca al grupo
A. Sea I = I(p) la informacin transmitida acerca del estatus de una persona (si dice la verdad,
miente o no responde) una vez que se conoce a qu grupo pertenece. Cul es mximo valor
que puede tomar I? y cul es el porcentaje de personas en el grupo A para las cuales el
mximo ocurre?

V=los que dicen a verdad = 3/10

M=Los que mientes = 5/10
N=los que no dicen nada = 2/10

() =
() = 1
5 3
() = (|)() + (|)() = () + ()
10 10
5 2
() = () + (1 ())
10 10

() = () =

3 5
() = (|)() + (|)() = () + ()
10 10
3 5
() = () + (1 ())
10 10

() = () =

 2 2
() = (|)() + (|)() = () + ()
10 10
2 2
() = () + (1 ())
10 10

() =

Ahora, Y ser a la variable aleatoria que toma los valores V, M y N segn la respuesta del
individuo y X ser la variable aleatoria que toma valores A y B segn el grupo al que
pertenezca. Entonces:
3 2 3 2 1 2 1 2 2 2
() = [ + ] log 2 [ + ] [ ] log 2 [ ] log 2
10 10 10 10 2 10 2 10 10 10
y

(|) = ()(| = ) + ()(| = )

(|) = (| = ) + (1 )(| = )
1 3 2 1 3 2
(|) = 3 ( , , ) + (1 )3 ( , , )
2 10 10 2 10 10
1 3 2 1 3 2
(|) = 3 ( , , ) + (1 )3 ( , , )
2 10 10 2 10 10
1 3 2
(|) = 3 ( , , )
2 10 10
1 3 10 2
(|) = ( log 2 2 + log 2 + , log 2 5)
2 10 3 10
(|) = ,
Finalmente se puede calcular

(; ) = () (|)
3 2 3 2 1 2 1 2 2 2
(|) = [ + ] log 2 [ + ] [ ] log 2 [ ] log 2 [ ] 1,49
10 10 10 10 2 10 2 10 10 10
Se deriva con respecto a p y se obtiene
2 3 2 2 2 1 2 2
(|) = log 2 [ + ] + log 2 [ ] +
10 10 10 10 10 2 10 10
Se iguala a cero y se obtiene el valor del p para el que la informacin es mxima
2
1 2 1 2 10
2 2 10 2 10 1
log 2 =0( ) =1=
10 3 2 3 2 2
10 + 10 10 + 10
Reemplazando el valor de p en la ecuacin de I(Y|X)
 3 2 1 3 2 1
(|) = [ + ( )] log 2 [ + ( )]
10 10 2 10 10 2
1 2 1 1 2 1 2 2
[ ( )] log 2 [ ( )] log 2 [ ] 1,49
2 10 2 2 10 2 10 10
4 4 4 4 2 2
(|) = [ ] log 2 [ ] [ ] log 2 [ ] log 2 [ ] 1,49
10 10 10 10 10 10
Con este valor de p el valor mximo de la informacin es

(|) = , , , , , , , = ,
Lo cual quiere decir que saber a qu grupo pertenece el individuo no da mucha informacin
sobre si dice la verdad, miente o no responde.

2. La informacin mutua entre variables aleatorias X, Y est definida por la

ecuacin 2.47. explique cmo I(X,Y) proporciona una medida de la cantidad de
independencia entre X y Y.

(,)
(; ) = (, ) log 2 () Ecuacin 4.27
()

Como nos podemos dar cuenta en la ecuacin 2.47 los eventos que ocurren son
mutuamente excluyentes uno del otro pero estn en el mismo espacio muestral, es decir
que se da un evento que ocurra en la variable X para encontrar el evento que ocurre en
la variable Y, dentro de una funcin dada para las variables aleatorias X, Y definida como
(, ) donde () y () son las funciones marginales.

3. Un modelo de 2-gram con un lenguaje {, , } se da por las probabilidades

() = . () = . () = .
() = . () = . () = .
() = . () = . () = .
Las probabilidades de los smbolos individuales son

() = , () = , () =

Construir una fuente de Markov (primer orden) a partir de estos modelos. Dibuje un
diagrama para representar la fuente y anotar su matriz de transicin.

Calculando las probabilidades de transicin nos quedara de la siguiente manera:

() 0,000
(|) = = =0
() 1
3
 () 0,200
(|) = = = 0,6
() 1
3
() 0,133
(|) = = = 0,4
() 1
3
() 0,133
(|) = = = 0,4
() 1
3
() 0,000
(|) = = =0
() 1
3
() 0,200
(|) = = = 0,6
() 1
3
() 0,200
(|) = = = 0,6
() 1
3
() 0,133
(|) = = = 0,4
() 1
3
() 0,000
(|) = = =0
() 1
3
Armando nuestra matriz de transicin sera:

A B C
0 0,6 0,4
(0,4 0 0,6)
0,6 0,4 0

Y por ltimo nuestro diagrama de estados nos quedara de la siguiente manera:

0,6
A 0,4
C

4. Demostrar que si es la _ extensin de una fuente de primer orden de Markov

sus entropas estn relacionadas por: ( ) = ()
Tomemos una fuente de markov de primer: = {1 , 2 }
Con probabilidades de transicin: ( / 1 , 2 )

Y distribuciones estacionarias: 1 , 2 .
Tomando la extensin de la fuente:
Tenemos que la entropa de una fuente de Markov de orden n se la puede calcular por medio de
la expresin:
( ) = ( , ) log ( / )

Operando con el segundo trmino de la igualdad, descomponemos el mismo en trminos de la

suma de n trminos hasta (n-1), esto es:

= ( , ) log ( / ) . (1 , 1 ) log (1 /1 )
2 2

Podemos calcular el segundo trmino de la igualdad calculando los (2 ) trminos de todos

ellos por superposicin y nos queda:

= ( , ) log ( / ) ( , ) log (2 /2 )
222 222

Pasamos al primer miembro:

( , ) log ( / ) = (1 , 1 ) log (1 /1 )
1

Como se puede ver el primer trmino de la igualdad es: ( )

Y el segundo miembro de la igualdad nos queda, debido a que la entropa de la sumatoria es lo
mismo que multiplicar por n veces la operacin, esto es: ()
Que son las entropas de la extensin de una fuente de markov. Por lo tanto:
( ) = ()

4. Dado H(B/A) =0.83, H(A)= 0.92 y H(A/B) = 0.73. Encontrar H(B), H(A/B) y I (A; B).
Solucin:
I (A; B) = H(A) H(A/B)
I (A; B) = 0.92 73
I (A; B) = 0.19 bits/simbolo

H(B) = H(B/A) + I (A; B)

H(B) = 0.83 + .19
H(B) = 1.02 bits/simbolo
 H(A; B) = H(A) + H(B) I(A; B)

H(A; B) = 0.92 + 1.02 0.19

H(A; B) = 1.75 bits/simblo

5. Se estableci que el valor mnimo de (; ) es 0, es decir (; ) . Cul es el valor

mximo de (; )?
Solucin:
Informacin mutua mnima
I(A; B) 0; Cuando A y B son independientes entre s. Es decir, AB.

Entonces;

I(A; B) = 0
H(A) = H(A/B)
H(B) = H(B/A)
H(A; B) = H(A) + H(B)

Informacin mutua mxima

I(A; B) = Maxima; cuando la Variable A=B
Es totalmente dependiente tanto A y B

Entonces se cumple que;

H(A; B) = H(A) = H(B) = I(A; B)
H(A/B) = 0
H(B/A) = 0
6. Considerar un canal con la propiedad de que Xi y Yj son estadsticamente
independientes para todo i, j. Mostrar que:

(/) = () y (, ) =
Solucin:
Por definicin la entropa condicional es:
1
(/) = (, ) 2
(/)
,

Como x e y son independientes cumple que:

(, ) = ()()
(/) = ()
Reemplazando;
1
(/) = () () 2
()

1
(/) = () () 2
()

Como,

() = 1

Entonces;
1
(/) = () 2
()

(/) = () Rta.
Para la informacin mutua, aplicando la definicin:
(/)
(, ) = (, ) 2
()
,

Aplicado las igualdades;

()
(, ) = () () 2
()
,

(, ) = () () .0
,

(, ) = 0
7. Un teclado numrico tiene los nmeros 0, 1, 2 . . . 9. Se asume que cada tecla es utilizada
en forma equiprobable. Calcule con qu cadencia deben ser oprimidas las mismas para
generar un flujo de informacin de 2 bit/s.
Solucin:
Ecuacin =
donde;
r= es la tasa smbolos
R=Tasa de Informacin
R=2
La probabilidad de cada teclado es:
1
() =
10
El espacio muestra es:
= {0,1,2,3,4, ,9}
Calculando la entropa de la fuente:
1
() = ()2
()
Como son equiprobables;
1
() = 10 { 2 (10)}
10
() = 3.32/
Entonces despejando y reemplazando valores;
R = rH
R
r=
H
2
r=
3.32
r = 0.6 /
8. De un mazo de 52 cartas se elige una al azar.
(a) Hallar la informacin en bits que se tiene cuando se conoce que la carta es:

de corazones
una figura
una figura de corazones

(b) Cuanta informacin se necesita para identificar la carta si, se sabe que es roja.

Solucin:

a)
- De corazones

La probabilidad que la carta sea de corazones es:

 13 1
() = =
52 4
La informacin que sea de corazones es:

() = 2 4 = 2

- Una figura

La probabilidad que sea una figura es:

12 3
() = =
52 13
La informacin de corazones es:

13
() = 2 = 2.1154
3

- Una figura de corazones

La probabilidad que sea una figura de corazones es:

3
() =
52
La informacin de corazones es:

52
() = 2 = 4.1154
3

b) La informacin que se tiene al identificar una carta es:

() = 2 52

Como tenemos 26 cartas de color rojo entonces

1
() =
2
() = 2 2 = 1

La cantidad de informacin que se requiere:

() () = 2 52 1
= 2 (26)

EJERCICIOS CANAL BSC

1. Halle H (y| x), H (x| y), informacin mutua y la py; con s = { 0, 1}, Px(0) = 0.7 y un
error p= 0.2.

X=0 1-p y=0

p
 X=1 y=1
1-p

X(x=0, x=1) Y(y=0, y=1)

E R
X BSC Y

Como tenemos que p(0) = 0.7 por defecto tenemos que p(1)=0.3 para que que nuestro vector de
probabilidad inicial nos de en la suma 1
P(x) (Px(0) Px(1)) PY(0) PY(1) P(y) (Py(0) Py(1))
(0.7 0.3) PX(0) 0.8 0.2 (0.62 0.38)
PX(1) 0.2 0.8

P(x) = (Px(0) + Px(1)) = (0.7 + 0.3) = 1

Si nos fijamos en el canal BSC obtenemos lo siguiente:

P (X (0) | Y (0)) = 1 p = 1 - 0.2 = 0.8

P (X (0) | Y (1)) = 0.2

P (X (1) | Y (0)) = 0.2

P (X (1) | Y (1)) = 1 p = 1 - 0.2 = 0.8

La respuesta de P(y) es :

PY(0) = (0.7)(0.8)+(0.3)(0.2) = 0.62

PY(1) = (0.7)(0.2)+(0.3)(0.8) = 0.38

La distribucin conjunta de las varieables aleatorias X y Y quedara:

(0.8)(0.7) (0.2)(0.7)
(, ) = ( )
(0.2)(0.3) (0.8)(0.3)

0.56 0.14 0.7

(, ) = (0.06 0.24) 0.3
0.62 0.38

Con nuestra matriz P(x,y) ya podemos calcular nuestras entropas

(, ) = 0.562 0.56 0.142 0.14 0.062 0.06 0.242 0.24

(, ) = .

() = 0.562 0.7 0.142 0.7 0.062 0.30 0.242 0.30

() = .
 () = 0.562 0.62 0.062 0.62 0.142 0.38 0.242 0.38

() = .

( |) = (, ) ()

( |) = 1.6 0.96

( | ) = .

( |) = (, ) ()

( | ) = 1.6 0.88

( | ) = .

Finalmente calcularemos la informacin mutua.

( ; ) = () ( |)

( ; ) = 0.88 0.65

( ; ) = .

2. Un canal binario transmite correctamente un 0 (como un 0) dos veces ms como

transmitir incorrectamente (como un 1) y transmite correctamente un 1 (como un 1) tres
veces antes de transmitir incorrectamente (como un 0). La entrada del canal puede asumirse
como equiprobable.
a. Cul es la matriz del canal P? Dibuje el canal
b. Calcule las probabilidades de salida, P(b)
c. Calcule las probabilidades a priori. P(a/b)

Solucin:
Las probabilidades iniciales como son equiprobables tenemos:
( = 0) = 1/2
( = 1) = 1/2
a. La matriz del canal P es:
2/3 1/3
= [ ]
1/4 3/4
El diagrama del canal es:
 b. Las probabilidades de salida o a posteriori son:

( = 0) = ( = 0/ = 0) ( = 0) + ( = 0/ = 1) ( = 1)
2 1 1 1
( = 0) = ( ) ( ) + ( ) ( ) =
3 2 4 2
11
( = 1) = 1 ( = 0) = 1 =
24
c. Las probabilidades a priori son:

( = 0/ = 0) ( = 0)
( = 0 / = 0) =
( = 0)
(2/3) (1/2)
( = 0 / = 0) =
11/24

( = 0 / = 0) =

8
( = 1/ = 0) = 1 ( = 0 / = 0) = 1 =
11
( = 1/ = 1) ( = 1)
( = 1/ = 1) =
( = 1)
(3/4) (1/2)
( = 0 / = 0) =
13/24

( = 0 / = 0) =

9
( = 0/ = 1) = 1 ( = 1 / = 1) = 1 =
13

3. El canal AB tiene la matriz de canal:

= [/ /]

Y est conectado con el canal BC con la matriz:
/ /
= [ ]

La entrada ternaria de A al sistema de canales tiene las siguientes estadsticas:

( ) = , ( ) = ( ) =

La salida del canal AB es B y la salida del canal BC es C.

a. Calcular H(A), H (B) y H(C).
b. Calcular I(A; B), I(B; C) y I(A; C).
c. Qu puede decir acerca del canal BC? Explique?
Solucin:

1 1 3 3 1 1
a. () = 2 ( ) 2 ( ) 2 ( ) = .
8 8 8 8 2 2

( ) = (_/_ ) ( )
=1

1 2 3 5
(1 ) = (1) ( ) + ( ) ( ) + (0) ( ) =
8 3 8 8
1 1 3
(2 ) = (0) ( ) + ( ) ( ) + (1)(2) =
8 3 8

Entonces:
3 3 5 5
() = 2 ( ) 2 ( ) = .
8 8 8 8

( ) = (_/_ ) ( )
=1
1 3 5
(1 ) = ( ) ( ) + (0) ( ) =
4 8 8
3 3 5
(2 ) = ( ) ( ) + (0) ( ) +=
4 8 8
3 5
(2 ) = (0) ( ) + (1) ( ) +=
8 8
Entonces:
3 3 9 9 5 5
() = 2 ( ) 2 ( ) 2 ( ) = .
32 32 32 32 8 8
 b. Para calcular la informacin mutua (; ), primero calculamos las probabilidades a
posteriori de la siguiente manera:

( = 1/ = 1) ( = 1)
( = 1 / = 1) =
( = 1)
(1)(1/8)
( = 1 / = 1) =
3/8

( = 1 / = 1) =

( = 1/ = 2)( = 2)
( = 2 / = 1) =
( = 1)
(2/3)(3/8)
( = 1 / = 1) =
3/8

( = 1 / = 1) =

( = 1/ = 3) ( = 3)
( = 3 / = 1) =
( = 1)
(0)(1/2)
( = 1 / = 1) =
3/8
( = 1 / = 1) =

( = 1/ = 1) ( = 1)
( = 1 / = 1) =
( = 2)
(0)(1/8)
( = 1 / = 2) =
5/8
( = 1 / = 2) =

( = 2/ = 2)( = 2)
( = 2 / = 2) =
( = 2)
(1/3)(3/8)
( = 1 / = 1) =
5/8

( = 1 / = 1) =

( = 2/ = 3) ( = 3)
( = 3 / = 2) =
( = 2)
(1)(1/2)
( = 1 / = 1) =
5/8

( = 1 / = 1) =

Y la entropa: (/) = =1 ( )(/ )

= ( = 1)(/ = 1) + ( = 2)(/ = 2)
1 1 2 2
(/ = 1) = 2 ( ) 2 ( ) = .
3 3 3 3
 1 1 4 4
(/ = 2) = 2 ( ) 2 ( ) = .
5 5 5 5

Entonces:
3 5
(/) = ( ) (0.9182) + ( ) (0.7219)
8 8

(/) = 0.3443 + 0.4511 = .

Como ya tenemos la (/) () podemos calcular la informacin mutua aplicando la
regla de la cadena y a la vez comprobando que (/) < () por lo tanto:
(; ) = () (/)

(; ) = 1.2586 0.7955
(; ) = . / (/) < ()

Para calcular (; ) calculamos las probabilidades a posteriori:

( = 1/ = 1) ( = 1)
( = 1 / = 1) =
( = 1)
(1/4)(3/8)
( = 1 / = 1) =
3/32
( = 1 / = 1) =

( = 1/ = 2)( = 2)
( = 2 / = 1) =
( = 1)
(0)(5/8)
( = 1 / = 1) =
3/32
( = 1 / = 1) =

( = 2/ = 1) ( = 1)
( = 1 / = 2) =
( = 1)
(3/4)(3/8)
( = 1 / = 2) =
9/32
( = 1 / = 2) =

( = 2/ = 2) ( = 2)
( = 2 / = 2) =
( = 2)
(0)(5/8)
( = 2 / = 2) =
9/32
( = 2 / = 2) =

( = 3/ = 1)( = 1)
( = 1 / = 3) =
( = 3)
 (0)(3/8)
( = 1 / = 3) =
5/8
( = 1 / = 3) =

( = 3/ = 2) ( = 2)
( = 2 / = 3) =
( = 3)
(1)(5/8)
( = 1 / = 1) =
5/8
( = 1 / = 1) =

Y la entropa: (/) = =1 ( )(/ )

= ( = 1)(/ = 1) + ( = 2)(/ = 2) + ( = 3)( = 3 (3)

(/ = 1) = 1 2 (1) =
(/ = 2) = 1 2 (1) =
(/ = 3) = 1 2 (1) =

Entonces reemplazando en (3):

3 9 5
(/) = ( ) (0) + ( ) (0) + ( ) (0) = 0
32 32 8

(/) =
Esto quiere decir que es un canal donde no hay prdida de informacin
Como ya tenemos la (/) () podemos calcular la informacin mutua aplicando la
regla de la cadena y a la vez comprobando que (/) < () por lo tanto:
(; ) = () (/)

(; ) = 0.9549 0
(; ) = . / (/) < ()
Para calcular (; ) debemos primero calcular la matriz del canal BC, est la encontramos
multiplicando las matrices del canal esto es:
=

1/4 3/4 0
= [1/6 1/2 1/3]
0 0 1

Una vez obtenida esta matriz de probabilidades del canal procedemos a calcular las
probabilidades a posteriori, para calcular (; ):
( = 1/ = 1) ( = 1)
( = 1 / = 1) =
( = 1)
 (1/4)(1/8)
( = 1 / = 1) =
3/32
( = 1 / = 1) = /

( = 1/ = 2)( = 2)
( = 2 / = 1) =
( = 1)
(1/6)(3/8)
( = 2 / = 1) =
3/32
( = 2 / = 1) = /

( = 1/ = 3) ( = 3)
( = 3 / = 1) =
( = 1)
(0)(1/2)
( = 3 / = 1) =
3/32
( = 3 / = 1) =

( = 2/ = 1) ( = 1)
( = 1 / = 2) =
( = 2)
(3/4)(1/8)
( = 1 / = 2) =
9/32
( = 1 / = 2) = /

( = 2/ = 2)( = 2)
( = 2 / = 2) =
( = 2)
(1/2)(3/8)
( = 2 / = 2) =
9/32
( = 2 / = 2) = /

( = 2/ = 3) ( = 3)
( = 3 / = 2) =
( = 2)
(0)(1/2)
( = 3 / = 2) =
9/32
( = 3 / = 2) =
( = 3/ = 1) ( = 1)
( = 1 / = 3) =
( = 3)
(0)(1/8)
( = 1 / = 3) =
5/8
( = 1 / = 3) =

( = 3/ = 2)( = 2)
( = 2 / = 3) =
( = 3)
(1/3)(3/8)
( = 2 / = 3) =
5/8
( = 2 / = 3) = /

( = 3/ = 3) ( = 3)
( = 3 / = 3) =
( = 3)
(1)(1/2)
( = 3 / = 3) =
5/8
 ( = 3 / = 3) = /

Y la entropa: (/) = =1 ( )(/ )

= ( = 1)(/ = 1) + ( = 2)(/ = 2) + ( = 3)(/) = 3 (4)

1 1 2 2
(/ = 1) = 2 ( ) 2 ( ) = .
3 3 3 3
1 1 2 2
(/ = 2) = 2 ( ) 2 ( ) = .
3 3 3 3
1 1 4 4
(/ = 3) = 2 ( ) 2 ( ) = .
5 5 5 5

Entonces reemplazando en (4):

3 9 5
(/) = ( ) (. ) + ( ) (. ) + ( ) (. )
32 32 8

(/) = .
Como ya tenemos la (/) () podemos calcular la informacin mutua aplicando la
regla de la cadena y a la vez comprobando que (/) < () por lo tanto:
(; ) = () (/)

(; ) = 1.2586 0.6290
(; ) = . / (/) < ()
c. El canal BC es un canal donde no se pierde la informacin cuya informacin mutua es
igual a la entropa de B. Se puede decir que es un canal sin ruido.

4. Un amigo tuyo acaba de ver los resultados de tu examen y ha llamado por telfono para
decirte si has pasado o no. Lamentablemente la conexin telefnica es tan mala que si tu
amigo dice "aprobado" eso se confunde con no aprobado 3 de cada 10 veces y si tu amigo
dice "no aprobado, eso se confunde con "aprobado" 1 de cada 10 veces.
Antes de hablar con su amigo haba 60% de confa en que habas pasado el examen. Qu
tan seguro est usted de haber pasado el examen si usted ha escuchado a su amigo decir que
ha aprobado?
Datos:
p = 1/10
q = 3/10
A = Emisor
B = Receptor
P(A=0) = 0.4 (probabilidad de no aprobado)
P(A=1) = 0.6 (probabilidad de aprobado)
P(A=1|B=1) = ?

1
=[ ]
1
 1 1/10 1/10 9/10 1/10
=[ ]= [ ]
3/10 1 3/10 3/10 7/10

() = (|). ()
=1
2

( = 0) = (| = 0). ( = 0)
=1
( = 0) = ( = 0| = 0). ( = 0) + ( = 0| = 1). ( = 1)
9 3
( = 0) = ( ). (0.4) + . (0.6)
10 10
( = 0) = 0.54

( = 1) = (| = 0). ( = 0)
=1
( = 1) = ( = 1| = 0). ( = 0) + ( = 1| = 1). ( = 1)
1 7
( = 1) = ( ). (0.4) + . (0.6)
10 10
( = 1) = 0.46

Finalmente calculamos la probabilidad condicional pedida P(A=1|B=1) o probabilidad de

haber pasado el examen dado que escuch que aprob:

(|) (|)
=
() ()

(|). ()
(|) =
()

( = 1| = 1). ( = 1)
( = 1| = 1) =
( = 1)
(0.7). (0.6)
( = 1| = 1) =
(0.46)
( = 1| = 1) = 0.913

5. Que es mejor canal BEC o BSC?

Considerar un canal de comunicacin de fibra ptica con cruce de probabilidad de X y un
canal inalmbrico mvil con probabilidad de eliminacin de X. calcular la informacin
mutua asumiendo equiprobables entradas para ambos tipos de canales de comunicacin.
Que el sistema proporciona ms informacin para la misma tasa de error de bit?

Datos:
Canal fibra ptica = BSC
Canal inalmbrico mvil = BEC
P(X=0) = 0.5
P(X=1) = 0.5
 p = 10 -2 = 0.01
q = (1-10 -2) = 0.99
I(X,Y) = ?

- BSC

1
(|) = [ ]
1

0.99 0.01
(|) = [ ]
0.01 0.99

() = (|). ()
=
2

( = 0) = (| = 0). ( = 0)
=1
( = 0) = ( = 0| = 0). ( = 0) + ( = 0| = 1). ( = 1)
( = 0) = (0.99). (0.5) + (0.01). (0.5)
( = 0) = 0.5

( = 1) = (| = 0). ( = 0)
=1
( = 1) = ( = 1| = 0). ( = 0) + ( = 1| = 1). ( = 1)
( = 1) = (0.01). (0.5) + (0.99). (0.5)
( = 1) = 0.5

() = (). ()
=

() = (0.5). log 2 (0.5) (0.5). log 2 (0.5)

() = 1 bit

(|) = (|). ()
= =

(|) = ( = 0| = 0). ( = 0) + ( = 0| = 1). ( = 1)

+ ( = 1| = 0). ( = 0) + ( = 1| = 1). ( = 1)
 (|) = 2. (0.99). log 2 (0.99). (0.5) + 2. (0.01). log 2 (0.01). (0.5)

(|) = 0.0808

(; ) = () (|)

(; ) = 1 0.0808

(; ) = 0.9192 Bits/smbolo

- BEC

1 0
(|) = [ ]
0 1

0.99 0.01 0
(|) = [ ]
0 0.01 0.99

() = (|). ()
=
2

( = 0) = (| = 0). ( = 0)
=1
( = 0) = ( = 0| = 0). ( = 0) + ( = 0| = 1). ( = 1)
( = 0) = (0.99). (0.5) + (0). (0.5)
( = 0) = 0.495

( = ) = (| = 0). ( = 0)
=1
( = ) = ( = | = 0). ( = 0) + ( = | = 1). ( = 1)
( = ) = (0.01). (0.5) + (0.01). (0.5)
( = ) = 0.01

( = 1) = (| = 0). ( = 0)
=1
( = 1) = ( = 1| = 0). ( = 0) + ( = 1| = 1). ( = 1)
( = 1) = (0). (0.5) + (0.99). (0.5)
( = 1) = 0.495


() = (). ()
=

() = (0.495). log 2(0.495) (0.01). log 2 (0.01) (0.495). log 2 (0.495)

() = 1.0708 bit

(|) = (|). ()
= =

(|) = ( = 0| = 0). ( = 0) + ( = 0| = 1). ( = 1)

+ ( = | = 0). ( = 0) + ( = | = 1). ( = 1)
+ ( = 1| = 0). ( = 0) + ( = 1| = 1). ( = 1)

(|) = 2. (0.99). log 2 (0.99). (0.5) 2. (0.01). log 2 (0.01). (0.5) 0

(|) = 0.0808

(; ) = () (|)

(; ) = 1.0708 0.0808

(; ) = 0.99 Bits/smbolo

El Canal BEC contiene ms informacin que el BSC

BSC = 0.9192 vs BEC = 0.99

EJERCICIOS CANAL BEC

1. Un canal discreto sin memoria esta caracterizado por la matriz

[ ]
Se encontrar el esquema del observador ideal si p(x1) = 1/2, p(x2) = p(x3) = 1/4 y se
calcular la probabilidad de error asociada

Solucin:

La probabilidad de error est asociada por

3 3 3

() = ( )(| ) = ( ) [ ( |)]
=1 =1

Calculemos ( ), = 1,2,3
3
(1 ) = (1 |1 )(1 ) + (1 |2 )(2 ) + (1 |3 )(3 ) = 8
1
(2 ) = (2 |2 )(2 ) + (2 |2 )(2 ) + (2 |3 )(3 ) = 3
7
(3 ) = (3 |3 )(3 ) + (3 |2 )(2 ) + (3 |3 )(3 ) = 24

Ahora
( , ) ( )( | )
( | ) = =
( ) ( )

Y as se obtiene
2 1 2
(1 |1 ) = , (1 |2 ) = , (1 |3 ) =
3 2 7
1 3 2
(2 |1 ) = , (2 |2 ) = , (2 |3 ) =
9 8 7
3 1 3
(3 |1 ) = , (3 |2 ) = , (3 |3 ) =
9 8 7
Ya se puede calcular la probabilidad de error
3 1 2 1 1 1 7 2 2 1
() = ( + ) + ( + ) + ( + ) =
8 9 9 3 2 8 24 7 7 2
El esquema de decisin del observador ideal es que decodifica 1 como 1 , 2 como 1 y 3
como 3 pues son los que tienen mayor probabilidad.

2. Un sistema de trasmisin de datos est compuesto por un regenerador de seal. El

regenerador tiene por entradas (X) smbolos que pertenecen al alfabeto {1, 0, -1}. Las
probabilidades de recepcin de los smbolos son:

[ = ] = , [ = ] = , [ = ] = , < +
El regenerador restituye los valores de los borrones (X=0) en valores de salida Y=1 o Y=-1,
con la misma proporcin con la que se generan, y mantienen el mismo valor (Y=X) cuando
las entradas son X=1 o X=-1. As, el sistema de trasmisin de datos regenerador se puede
caracterizar a travs de la matriz estocstica de probabilidades de transicin:


= (+ +
) < +

Esquema de trasmisin de datos del regenerador de smbolos

a) Determine H(Y),
b) Calcule H(Y/X),
c) Halle I(X;Y),

Solucion :

a) Determine H(Y),

( = 1) = + [1 ( + )] =+ =
+ + +

( = 1) = 1 ( = 1) =
+
() = ( = 1) log 2 ( = 1) ( = 1) log 2 ( = 1)

= log 2 log 2 =
+ + + + +
b) Calcule H(Y/X),

(/) = ( = 1) (/ = 1) + ( = 1) (/ = 1) + (
= 0) (/ = 0)
(/) = ( = 0) (/
= 0) :

(/) = [1 ( + )] +=[1 ( + )] ()

c) Halle I(X;Y),

(; ) = () (/) = () [1 ( + )]() = ( + ) ()

(; ) = ( + ) [ log 2 log 2 ]
+ + + +
3. Un sistema de trasmisin de datos est compuesto por una fuente binaria X y un canal
binario con borrados, cuya salida denominaremos Y. la fuente emite el smbolo 0 con
probabilidad y el smbolo 1 con probabilidad . El canal se caracteriza por la matriz
estocstica:

=( ) Donde p es la probabilidad de recibir un borrado (B) a la salida

del canal cuando se emite un smbolo binario (0,1).

a) Halle la relacin entre H(Y) y H(X). razone el resultado obtenido para los casos
donde: p=0 y p=1.
b) Calcule H(X/Y).
c) Determine H(Y/X).
d) Informacin mutua I(X;Y).
e) Especifique cual es el valor de la capacidad C del canal con borrados en bits por
smbolo.
Exprese los resultados utilizando () ()

Solucin:

a) Armando la matriz con las probabilidades dadas queda:

(1 ) 0
( ) ( = 0) = ( = 1) =
0 (1 ) (1 )(1 )
1

( = 0) = (1 )
( = ) = + (1 ) = [ + (1 )] = ( + 1 ) =
( = 1) = (1 )(1 )

() = log 2
=1

() = log 2 (1 ) log 2 (1 ) () = ()

() = (1 ) log 2 (1 ) log 2 (1 )(1 ) log 2(1 )(1 )

= (1 )[log 2 (1 ) + log 2 ] log 2
(1 )(1 )[log 2 (1 ) + log 2 (1 )]
() = (1 ) log 2 (1 ) (1 ) log 2 log 2
(1 )(1 ) log 2(1 ) (1 )(1 ) log 2 (1 )
 () = [(1 ) log 2 (1 )] (1 )[ log 2 ] log 2
(1 )[(1 ) log 2(1 )] (1 )[(1 ) log 2 (1 )]
() = [(1 ) log 2 (1 )][ (1 )] log 2
+ [(1 )][ log 2 + (1 ) log 2 (1 )]
= [(1 ) log 2 (1 )](1) log 2
+ [(1 )][ log 2 (1 ) log 2 (1 )]
= (1 ) log 2(1 ) log 2 + (1 )()
() = log 2 (1 ) log 2 (1 ) + (1 )()
() = () + ( )() Respuesta
Para cuando se tiene p=0 tenemos () = () = ()
Para cuando se tiene p=1 tenemos () = 0

b) Calculo de la entropa condicional

() = (, ) ()

(, ) = (1 ) log 2(1 ) log 2 (1 ) log 2 (1 ) (1

)(1 ) log 2 (1 )(1 )
(, ) = (1 )[log 2 (1 ) + log 2 ] [log 2 + log 2 ]
(1 )[log 2 + log 2 (1 )] (1 )(1
)[log 2 (1 ) + log 2 (1 )]
(, ) = (1 ) log 2(1 ) (1 ) log 2 log 2
log 2 log 2 (1 ) log 2 (1 ) log 2 (1 )
(1 )(1 ) log 2 (1 ) (1 ) (1 ) log 2 (1 )

(, ) = [(1 ) log 2 (1 )] (1 )[ log 2 ] [ log 2 ] [ log 2 ]

(1 )[ log 2 ] [(1 ) log 2(1 )]
(1 )[(1 ) log 2(1 )] (1 )[(1 ) log 2 (1 )]

(, ) = [(1 ) log 2 (1 )][ + 1 ] [ log 2 ][1 + ]

[ log 2 ][ + 1 ] [(1 ) log 2 (1 )][1 + ]

(, ) = ( ) ( ) ( ) ( )
(, ) = () + ()
() = () + () [() + (1 )()] = () + () () (1 )()
= () (1 )() = () () + ()
() = ()

c) Calculo de H(Y/X)

() = (, ) ()
 () = () + () ()

() = ()

d) Calculo de I(X;Y)

(; ) = () ()

(; ) = () ()

(; ) = ()[ ]

e) Calculo de la capacidad mxima

= max (, )

= max(1 ) () = (1 )

1
= 1, =
2

= ( )

EJERCICIOS CANAL AWGN

1. Calcule la capacidad de un canal de radio de = y el ancho de banda
empleado es de . Repita el clculo para un canal de televisin (ancho de banda
).

= 6
{ = 5

= 5

= log 2 (1 + )

Primero debemos transformar la relacin seal ruido en vatios.

= 106/10 = 3.98

Calculamos la capacidad de canal del radio:

= 5 log 2 (1 + 3.98)
 = . = .

Calculamos la capacidad de canal del radio:

= 5 log 2 (1 + 3.98)

= .

EJERCICIOS CANAL GAUSSIANO

1. Considera un canal gaussiano de tiempo discreto:
La seal () es blanca y gaussiana de potencia igual a la unidad. La frecuencia de muestreo
es de 1KHz. La potencia de la seal de entrada es tambin igual a la unidad. Obtenga la
capacidad del canal (expresada en bit/seg).

= 1
{ = 1
= 1

1
= log 2 (1 + )
2
1
=
2

Como nos pide encontrar la capacidad de canal expresada en bits/seg utilizamos la

frmula:

= log 2 (1 + )

Para encontrar el valor de utilizamos el teorema de muestreo de Shannon que nos dice:
= 2

=
2
1
=
2
=

Reemplazando en la frmula anterior tenemos:

1
= 500 log 2 (1 + )
1
= /