PRÁCTICA AUXILIATURA

INF-164
TEORÍA DE LA INFORMACION Y CODIFICACION
Aux. Victor Alejandro Alcon Condori

1. Una variable aleatoria tiene un alfabeto S = {S 1, S2, S3, S4, S5, S6} con
probabilidades P(S1)=0,1, P(S2)=0,2, P(S3)=0,3, P(S4)=0,05, P(S5)=0,15,
P(S6)=0,2.
Hallar la entropía de la variable aleatoria y compare dicha entropía con la
de una variable aleatoria con el mismo alfabeto pero uniformemente
distribuida.

2. Sea A={S1,S2,S3} un simple espacio con distribución de probabilidad P

dados por P(S1) = 0.2, P(S2) = 0.3, P(S3) = 0.5. Sea f una función definida
en A por f(S1) = 5, f(S2) = -2, f(S3) = 1. ¿Cuál es el valor esperado de f ?

3. Dado B = {S𝟏, S𝟐} es un espacio muestral con probabilidad de distribución P

dado por P(S𝟏) = 0.7 ; P(S𝟐 ) = 0.3. Sea f la función de S definida en R𝟐 dada
por: f(S1) = ( 𝟐 𝟑 ) Y f(S2 ) = ( 𝟓 𝟒 ) ¿Cuál es el valor esperado de f?

4. Sea C={S1, S2, S3, S4}, un espacio muestral con una distribución de
probabilidad dada por: P(S1)=0.5 P(S2)=0.25 P(S3)=0.125 P(S4)=0.125
Existen 16 posibles eventos que pueden formar a partir de los elementos de
S, calcular la probabilidad y la combinación de estos eventos.

5. El ascensor de un edificio con planta baja y dos pisos realiza viajes de uno
a otro piso. El piso en el que finaliza el viaje n-ésimo del ascensor sigue una
cadena de Markov. Se sabe que la mitad de los viajes que parten de la
planta baja se dirigen a cada uno de los otros dos pisos, mientras que si un
viaje comienza en el primer piso, sólo el 25% de las veces finaliza en el
segundo. Por último, si un trayecto comienza en el segundo piso, siempre
finaliza en la planta baja. Se pide:
a. Calcular la matriz de probabilidades de transición de la cadena
b. Dibujar el grafo asociado

6. Para una fuente binaria:

a. Mostrar que la entropía, H, es máxima cuando la probabilidad de
enviar un 1 es igual a la probabilidad de enviar un 0.
b. Hallar el valor máximo de la entropía.
7. Los habitantes de cierta región están divididos en dos grupos, A y B. En el
grupo A la mitad de las personas dicen la verdad, tres décimos mienten y
un quinto de ellos se niegan a responder. En el grupo B, tres décimos dicen
la verdad, la mitad mienten y dos décimos no responden. Sea p la
probabilidad de que una persona seleccionada al azar pertenezca al grupo
A. Sea I = I(p) la información transmitida acerca del estatus de una persona
(si dice la verdad, miente o no responde) una vez que se conoce a qué
grupo pertenece.
 a. ¿Cuál es máximo valor que puede tomar I?
b. ¿Cuál es el porcentaje de personas en el grupo A para las cuales el
máximo ocurre?

8. Un canal binario transmite correctamente un 0 (como un 0) dos veces más

como transmitir incorrectamente (como un 1) y transmite correctamente un
1 (como un 1) tres veces antes de transmitir incorrectamente (como un 0).
La entrada del canal puede asumirse como equiprobable.
a. Cuál es la matriz del canal P? Dibuje el canal.
b. Calcule las probabilidades de salida, P(b)
c. Calcule las probabilidades a priori. P(a/b)

9. Sea S0 la extensión de tercer orden de una fuente binaria de memoria nula

cuya probabilidad de emitir un 0 es igual a p. otra fuente S observa las
salidas de S0 emitiendo un 0,1,2 o 3 según la salida de S 0 contenga 0,1,2 o
3 ceros.
a. Calcule H(S0)
b. Calcule H(S)
c. Calcule H(S0)-H(S) e interprete el significado de esta diferencia de
entropías.

10. Demostrar la siguiente igualdad

❑ ❑ ❑ ❑ ❑
∑ ❑ p ( b ) log p(b) −∑ ❑ p ( a , b ) log b =∑ ❑ p ( a ) log p(a) −∑ ❑ p (b)∑ ❑ p( ab )log 1a
1 1 1
B A, B
p( ) A B A
p( )
a b