SISTEMA DE

TRANSMISIÓN DE DATOS
SESION 4:
Presentación del Docente:

JOSE EDUARDO TORRES VEGA

Coronel EP ( R )
Diplomado en Ciencia y Tecnología
Ingeniero Electrónico CIP
Maestro en Administración
PADE-ESAN en Logística
Diplomado en Seguridad y Salud Ocupacional
Docente Universitario a nivel pre grado y post grado
Consultoría y Asesoría en el Desarrollo de Servicios de
Telecomunicaciones y Telemática, Temas de Seguridad Integral
Elaboración de Estudio Teórico de Radiaciones No Ionizantes
Inicio

¿Quién de Ustedes, puede definir el concepto de

“Entropía condicionada”?

¿Quién de Ustedes, puede describir la relación entre

Entropía e Información?

Datos/Observaciones
Utilidad

¿Qué Estudiante puede explicar la relación entre la Entropía

y la capacidad de Comunicaciones”?

Presentación del Tema:

La Entropía condicionada y la Ley de Entropías totales

Datos/Observaciones
Logro de la Sesión:

Al finalizar la sesión de clases, el estudiante explica los fundamentos de la

entropía condicionada y de la Ley de Entropías totales, mediante la
presentación de ejemplos que expresen su relación con el despliegue de
Sistemas de Telecomunicaciones.

Utilidad del tema:

Identificación por los alumnos de la Utilidad del tema a desarrollar:

¿Cuál es la utilidad que Ud. considera que tiene el desarrollo del tema
durante la sesión de clases?
Datos/Observaciones
Exposición por el Docente, de la Utilidad del tema:

El estudiante aplica la entropía condicionada y la Ley

de entropías totales durante el planeamiento y el
despliegue de Sistemas de Telecomunicaciones

Datos/Observaciones
 LA ENTROPÍA CONDICIONADA

Datos/Observaciones
 PUEDE INTERPRETARSE LA ANTERIOR MAGNITUD COMO LA INCERTIDUMBRE DE X DADO
UN VALOR PARTICULAR DE Y , PROMEDIADO POR TODOS LOS VALORES POSIBLES DE Y .
H (X ,Y )

H ( X | Y ) I ( X ;Y ) H (Y | X )

H (X ) H (Y )

Datos/Observaciones
 La entropía condicional es un concepto que se construye a partir de las
probabilidades condicionales entre dos variables aleatorias X y Y. La
𝑥𝑖
expresión P cuantifica la probabilidad de que ocurra 𝑥𝑖 dado que 𝑦𝑖 se
𝑦𝑖

cumple. La entropía condicional se define entonces como la incertidumbre

sobre X dado cierto algún valor de Y = 𝑦𝑖

Datos/Observaciones
H(X/Y) se interpreta como la incertidumbre promedio sobre la variable X cuando se conoce el
estado de Y.
Intuitivamente H(X/Y) está asociada a la información extra que posee X respecto a Y y a la
información que ambas variables comparten.
Se introduce entonces la regla de la cadena para la entropía, análogo a la regla de la cadena
para la probabilidad conjunta p 𝑥, 𝑦 = 𝑝 𝑥Τ𝑦 . 𝑝 𝑦

Datos/Observaciones
 Si se considera el caso en el que un receptor que tiene total conocimiento sobre la
variable Y desea conocer el estado de un posible emisor con conocimiento sobre X. Para
conocer el estado total de X, el emisor debe enviar la información faltante, es decir, la
información que el receptor ignora, que viene dada por la diferencia entre la información
conjunta de X y Y y el prior H(Y ). Por lo tanto la cantidad de bits (en el caso del logaritmo
en base 2) es H(X;Y) - H(Y) que es igual a la entropía condicional H(XjY ). Según esto, la
entropía condicional cuantifica la incertidumbre de Y respecto a X. Por lo tanto

Datos/Observaciones
 Es decir, H(X,Y) ≥ H(Y) porque, intuitivamente la cantidad de información conjunta
entre X y Y es mayor o igual a la cantidad de información asociada a Y únicamente.

En partícular, H(X/Y) = 0 cuando H(X,Y) = H(Y), es decir, conocer el estado de Y

permite inmediatamente conocer el estado de X.

Si X y Y son variables independientes entonces H(X/Y) = H(X,Y) + H(Y) = H(X) + H(Y)

- H(Y) = H(X). En este caso conocer el estado de Y no aporta información sobre el
conocimiento de X.

Datos/Observaciones
 H(X,Y)

H(X)

H(Y)

H(X|Y) I(Y;X) H(Y|X)

I ( X ;Y ) = H ( X ) − H ( X | Y ) = H (Y ) − H (Y | X )
I ( X ;Y ) = H ( X ) + H (Y ) − H ( X , Y )
H ( X , Y ) = H ( X | Y ) + H (Y | X ) + I ( X ;Y )
H (X )  H (X | Y)
H (Y )  H (Y | X )
Cuando las variables son independientes
H(X,Y)=H(X)+H(Y), la información mutua será nula
I(X;Y)=0.

Datos/Observaciones
 Sean X y Y variables aleatorias. Si están correlacionadas existe cierta información
conocida por ambas variables.
La información mutua se introduce para cuantifica esa información y se define como:

Intuitivamente la expresión anterior cuantifica la información que no se obtiene de X al

conocer Y . Por lo tanto se espera que I(X;Y) = H(Y) - H(Y/X).

Datos/Observaciones
 LEY DE ENTROPÍAS TOTALES

Datos/Observaciones
 ▪ La entropía de un sistema puede verse como una medida del
desorden de sus componentes.
▪ La entropía en teoría de la información guarda relación con la
incertidumbre que existe en cualquier experimento o señal
aleatoria.
▪ La entropía es la cantidad de «ruido» o «desorden» que contiene
o libera un sistema y por lo tanto la cantidad de información que
lleva una señal.

Datos/Observaciones
 La Teoría de Shannon, no ilustra acerca del valor de
la información, que depende mucho del contexto.

Datos/Observaciones
ESCUELA DE INGENIERÍA DE REDES Y
COMUNICACIONES
 LAS VARIABLES DISCRETAS SON AQUELLAS CUYAS
OBSERVACIONES SE AGRUPAN ‘INHERENTEMENTE’ O
‘NATURALMENTE’ EN CATEGORÍAS, PORQUE DICHAS
VARIABLES POR SU NATURALEZA SÓLO PUEDEN
TOMAR CIERTOS VALORES MUY ESPECÍFICOS

Datos/Observaciones
 EN EL CÁLCULO DE LA ENTROPIA E INFORMACIÓN EN
EL CASO DISCRETO, SE TRATA DE LLEGAR A
DETERMINAR LA FORMA MÁS ECONÓMICA, RÁPIDA
Y SEGURA DE CODIFICAR UN MENSAJE, SIN QUE LA
PRESENCIA DE ALGÚN RUIDO COMPLIQUE SU
TRANSMISIÓN

Datos/Observaciones
UN CANAL PUNTO A PUNTO DISCRETO, SE CARACTERIZA:

▪ POR UN CIERTO RÉGIMEN UNIFORME DE TRANSMISIÓN (LA INVERSA DEL TIEMPO NECESARIO PARA LA
TRANSMISIÓN DE CADA SÍMBOLO).
▪ POR UN CIERTO RETARDO DE PROPAGACIÓN (EL TIEMPO NECESARIO PARA QUE UN SÍMBOLO ATRAVIESE EL
CANAL).
▪ POR UN CIERTO ALFABETO (EL CONJUNTO DE LOS SÍMBOLOS QUE PUEDE TRANSMITIR)
o UN ALFABETO DE ENTRADA, CON UN NÚMERO DE ELEMENTOS IGUAL AL DE SÍMBOLOS DISTINTOS QUE
PUEDAN FORMAR PARTE DE LOS MENSAJES QUE SE INTRODUCEN EN EL CANAL;
o UN ALFABETO DE SALIDA (NO NECESARIAMENTE IGUAL AL ALFABETO DE ENTRADA), CON UN NÚMERO DE
ELEMENTOS IGUAL AL DE SÍMBOLOS DISTINTOS QUE SE PUEDAN IDENTIFICAR EN LOS MENSAJES QUE
SALEN DEL CANAL;
o UNA REPRESENTACIÓN ESTOCÁSTICA DEL RUIDO QUE AFECTA A LA TRANSMISIÓN DE LOS MENSAJES.

Datos/Observaciones
FUENTE DISCRETA:
ES UN DISPOSITIVO QUE EMITE CON REGULARIDAD Y DE FORMA ALEATORIA SÍMBOLOS PERTENECIENTES A UN
CIERTO CONJUNTO DISCRETO Y FINITO LLAMADO ALFABETO DE LA FUENTE.
FUENTE DISCRETA SIN MEMORIA:
ES UNA FUENTE DISCRETA EN LA QUE LA EMISIÓN DE CADA SÍMBOLO ES INDEPENDIENTE DE LOS SÍMBOLOS
QUE SE HAYAN EMITIDO CON ANTERIORIDAD.
CANAL DISCRETO:
CANAL POR EL QUE SÓLO SE PUEDEN ENVIAR SECUENCIAS DE SÍMBOLOS DE UN CIERTO ALFABETO; EN EL
SUPUESTO QUE TALES SÍMBOLOS SE ENVÍAN CON UN RÉGIMEN UNIFORME, QUE ES CARACTERÍSTICO DEL
CANAL.
CANAL DISCRETO RUIDOSO SIN MEMORIA:
ES UN CANAL DISCRETO RUIDOSO EN EL QUE EL RUIDO AFECTA DE FORMA INDEPENDIENTE A LA TRANSMISIÓN
DE TODOS LOS SÍMBOLOS.
Datos/Observaciones
 ENTROPÍAS A CONSIDERAR EN UN SISTEMA

EN EL CASO DE TENER DOS VARIABLES ALEATORIAS (EJ: TRANSMISOR X Y RECEPTOR Y) SE CONSIDERAN LAS
SIGUIENTES ENTROPIAS PARA MEDIR RELACIONES ENTRE LAS VARIABLES:

▪ H(X): INFORMACION O ENTROPIA POR CARACTER EN EL TRANSMISOR (EN BITS)

▪ H(Y) : INFORMACION O ENTROPIA POR CARACTER EN EL RECEPTOR (EN BITS)

▪ H(X,Y) : INFORMACION O ENTROPIA POR PAR DE CARACTERES TRANSMITIDOS Y RECIBIDOS (EN BITS)

▪ H(Y|X) : INFORMACION O ENTROPIA CONDICIONAL SOBRE EL RECEPTOR Y SABIENDO QUE X = i FUE

TRANSMITIDO (EN BITS)

▪ H(X|Y) : INFORMACION O ENTROPIA CONDICIONAL SOBRE EL TRANSMISOR SABIENDO QUE Y= j FUE

RECIBIDO, TAMBIEN CONOCIDO COMO EQUIVOCACION (EN BITS)

Datos/Observaciones
EJEMPLO:

X/Y 1 2 3 4
La entropía denota el mínimo
1 0.25 0 0 0 0.25
número de bits por símbolo
2 0.1 0.3 0 0 0.4
necesarios para representar una
3 0 0.05 0.1 0 0.15 cadena. Es un índice que denota
4 0 0 0.05 0.1 0.15 la cantidad de información que
5 0 0 0.05 0 0.05 existe en una fuente de datos (la
0.35 0.35 0.2 0.1 cadena a codificar).

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
 X/Y 1 2 3 4

1 0.25 0 0 0 0.25

2 0.1 0.3 0 0 0.4 La entropía denota el mínimo número de bits por

3 0 0.05 0.1 0 0.15
símbolo necesarios para representar una cadena. Es
4 0 0 0.05 0.1 0.15
un índice que denota la cantidad de información
que existe en una fuente de datos (la cadena a
5 0 0 0.05 0 0.05
codificar).
0.35 0.35 0.2 0.1

H(Y) = -0.25 log 0.35 – 0.1 log 0.35 – 0.3 log 0.35– 0.05 log 0.35 – 0.1log 0.20 – 0.05 log 0.20–
0.05 log 0.20 – 0.1 log 0.1 = 1.856 bits
H(Y) = -0.35 log 0.35 – 0.35 log 0.35 – 0.2 log 0.2– 0.1 log 0.1 = 1.856 bits

H(X, Y) = -0.25 log 0.25 – 0.1 log 0.1 – 0.3 log 0.3 – 0.05 log 0.05 – 0.1log 0.1 – 0.05 log 0.05 –
0.1 log 0.1 – 0.5 log 0.5 = 2.665 bits

H(X|Y) = -p(x1,y1) log p(x1|y1) - p(x2,y1) log p(x2|y1) - p(x2,y2) log p(x2|y2) - p(x3,y2) log
p(x3|y2) - p(x4,y3) log p(x4|y3) - p(x4,y4) log p(x4|y4)- p(x5,y3) log p(x5|y3) -
p(x5,y4) log p(x5|y4)= 0.809 bits
H(X|Y) = 0.35 H(0.25/0.35, 0.1/0.35)+ 0.35 H(0.3/0.35, 0.05/0.35)+ 0.2 H(0.1/0.2, 0.05/0.2,
0.05/0.2)+ 0.1 H(0.1/0.1)= 0.809 bits
ESCUELA DE INGENIERÍA DE REDES Y
COMUNICACIONES
H(Y|X) = - p(y1,x1) log p(y1|x1) - p(y1,x2) log p(y1|x2) - p(y2,x2) log p(y2|x2)-
p(y2,x3) log p(y2|x3) - p(y3,x3) log p(y3|x3) - f(y3,x4) log p(y3|x4)-
f(y3,x4) log p(y3|x4) - p(y3,x5) log p(y3|x5)= 0.6 bits
H(Y|X) = 0.25 H(0.25/0.25) + 0.4 H(0.1/0.4,0.3/0.4)+ 0.15 H(0.05/0.15, 0.1/0.15)+
0.15 H(0.05/0.15, 0.1/0.15)+ 0.05 H(0.05/0.05)= 0.6 bits
H (X,Y)
Hay que notar que H(x,y) < H(X) + H(Y)

2.665 < 2.066 + 1.856 , y que:

H(X,Y) = H(Y) + H(X|Y) = H(X) + H(Y|X)

H (Y/X)
H (X)
2.665 = 1.856 + 0.809 = 2.066 + 0.600
H (X,Y)

La entropía denota el mínimo número de bits por símbolo

necesarios para representar una cadena. Es un índice que
denota la cantidad de información que existe en una fuente
de datos (la cadena a codificar). H (Y)
H (X/Y)
ESCUELA DE INGENIERÍA DE REDES Y
COMUNICACIONES
 INFORMACION MUTUA

La información mutua I(X;Y) es una medida de la información proveída por los pares de
símbolos (x,y), la relación entre I(X;Y) y la entropía es:

H(X,Y) = H(X) + H(Y | X) = H(Y) + H(X | Y)

H(X,Y) = H(X) + H(Y) - I(X;Y)
I(X;Y) = H(X) – H(X | Y)
I(X;Y) = H(Y) – H(Y | X)

I(X;Y) mide la dependencia entre el input X y el output Y, o la información transmitida por el

canal, es positiva y simétrica en X y Y

H (X,Y)

H (Y)
H (X)

H (Y/X)
H (X/Y)
I (X;Y)
ESCUELA DE INGENIERÍA DE REDES Y
COMUNICACIONES
 La capacidad de un canal definida por Shannon es C = max I (X;Y),

Max I (X;Y) es cuando la incertidumbre de lo que se transmitió (X) dado Y es cero o cuando la
incertidumbre de recibir Y dado X es cero:

Si I (X;Y) = H(X) – H(X | Y), cuando H(X | Y) = 0 → max I (X;Y) = C

Si I (X;Y) = H(Y) – H(Y | X), cuando H(Y | X) = 0 → max I (X;Y) = C

H(Y|X) máxima H(Y|X) “grande” H(Y|X) “chica” H(Y|X) = 0

H (X,Y) H (X,Y) H (X,Y) H (X,Y)

H (X) H (Y/X)= H(Y) H (X)=H(Y)=H(X,Y)=I(X;Y)

I (X;Y)=0 I (X;Y)
I (X;Y)

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
 PARA UN CANAL LIBRE DE RUIDO (CANAL PERFECTO):

X/Y 1 2 3 4
1 0.25 0 0 0 0.25
2 0 0.25 0 0 0.25
3 0 0 0.25 0 0.25
4 0 0 0 0.25 0.25
0.25 0.25 0.25 0.25

p( x1| y1) = 0.25/0.25 = 1 , p( x2| y2) = 0.25/0.25 = 1, p( x3| y3) = 0.25/0.25 = 1 , p( x4| y4) = 0.25/0.25 =
1, p( y1| x1) = 0.25/0.25 = 1 , p( y2| x2) = 0.25/0.25 = 1, p( y3| x3) = 0.25/0.25 = 1 , p( y4| x4) =
0.25/0.25 = 1

Todos los otros f(x|y) y f(y|x) son cero

H(X, Y) = –0.25 log 0.25 –0.25 log 0.25 –0.25 log 0.25 –0.25 log 0.25 = 2 bits

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
H(X) = –0.25 log 0.25 –0.25 log 0.25–0.25 log 0.25 –0.25 log 0.25 = 2 bits
H(Y) = –0.25 log 0.25 –0.25 log 0.25–0.25 log 0.25 –0.25 log 0.25 = 2 bits
H(Y|X) = - 0.25log1 – 0.25log1 -0.25log1 -0.25log1 = 0

Similarmente H(X | Y) = 0

Para este canal libre de ruido : I(X;Y) = H(X) = H(Y) = H(X,Y) = 2 bits

PARA UN CANAL CON INPUTS Y OUTPUT INDEPENDIENTES:

X/Y 1 2 H(X) = H(X|Y) = 1, H(Y) = H(Y|X) = 1, H(X,Y) = 2

I(X;Y)= H(X) – H(X|Y) = 1 – 1 = 0 bits
1 0.25 0.25 0.5 = H(Y) – H(Y|X) = 1 – 1 = 0 bits
0
H (X,Y)
2 0.25 0.25 0.5
0
0.50 0.50

H (X/Y)= H(X) H (Y/X)= H(Y)

I (X;Y)=0 ESCUELA DE INGENIERÍA DE REDES Y
COMUNICACIONES
PARA UN CANAL LIBRE DE RUIDO (CANAL PERFECTO):

H (X,Y)
X/Y 1 2
H(Y|X) = 0
1 0.50 0 0.5
0
2 0 0.50 0.5
0 H (X)=H(Y)=H(X,Y)=I(X;Y)

0.50 0.50
H(X) = 1, H(Y) = 1, H(X,Y) = 1,
H(X|Y) = 0, H(X|Y) = 0
I(X;Y)= H(X) – H(X|Y) = 1 – 0 = 1 bit
= H(Y) – H(Y|X) = 1 – 0 = 1 bit

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
 ENTROPIA RELATIVA
▪ LA ENTROPÍA RELATIVA ES UNA MEDIDA NO SIMÉTRICA DE LA SIMILITUD O DIFERENCIA
ENTRE DOS FUNCIONES DE DISTRIBUCIÓN DE PROBABILIDAD P(X) Y Q(X). TAMBIÉN ES
CONOCIDA COMO DISTANCIA DE KULLBACK-LEIBLER (KL1 Y KL2), DIVERGENCIA DE LA
INFORMACIÓN O GANANCIA DE LA INFORMACIÓN
▪ LA MEDIDA DE JENSEN/JEFFREYS (SIMÉTRICA) ES LA SUMA DE KL1 Y KL2 : J=KL1+KL2. HAY
MUCHAS OTRAS MEDIDAS DE DIVERGENCIA APARTE DE KL1, KL2 Y J.
▪ KL MIDE EL NÚMERO ESPERADO DE EXTRA BITS REQUERIDOS EN MUESTRAS DE CODIGO
DE P CUANDO SE USA UN CÓDIGO BASADO EN Q, EN LUGAR DE UN CÓDIGO BASADO EN P.
GENERALMENTE P REPRESENTA LA "VERDADERA" DISTRIBUCIÓN DE LOS DATOS,
OBSERVACIONES, O CUALQUIER DISTRIBUCIÓN TEÓRICA. LA MEDIDA Q GENERALMENTE
REPRESENTA UNA TEORÍA, MODELO, DESCRIPCIÓN O APROXIMACIÓN DE P.

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
Una divergencia de Kullback-Leibler de 0 indica que las dos distribuciones en cuestión son
idénticos

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
Ejemplos de H(x), KL1, KL2 y J:

Hay dos dados (los dos están arreglados!) y por consecuencia dos variables aleatoria X e Y con los
siguientes valores y probabilidades.
Posibles eventos : X = [1, 2, 3, 4, 5, 6], Y = [1, 2, 3, 4, 5, 6]
Ejemplo 1: Funciones de probabilidades discreta:
f(x) = {px1, px2, px3, px4, px5, px6} = {1/3,1/3,1/12,1/12,1/12,1/12},
f(y) = {py1, py2, py3, py4, py5, py6} = {1/12,1/12,1/6,1/6,1/6,1/3}

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
Se mide el número esperado de extra bits requeridos en muestras de código de P cuando se usa un código
basado en Q, en lugar de un código basado en P. Generalmente P representa la "verdadera" distribución
de los datos, observaciones, o cualquier distribución teórica. La medida Q generalmente representa una
teoría, modelo, descripción o aproximación de P

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
Cierre:

Conclusiones Generales

1. Un mensaje digital es la representación simbólica del estado de una fuente de

información.
2. Para garantizar el planeamiento y despliegue de un Sistema de
Telecomunicaciones es necesario disponer de una forma de medir los recursos
que requiere su funcionamiento.
3. La Teoría de Shannon, no considera el valor de la información de acuerdo a
contexto.

Datos/Observaciones