SISTEMA DE

TRANSMISIÓN DE DATOS
SESION 5:
Presentación del Docente:

JOSE EDUARDO TORRES VEGA

Coronel EP ( R )
Diplomado en Ciencia y Tecnología
Ingeniero Electrónico CIP
Maestro en Administración
PADE-ESAN en Logística
Diplomado en Seguridad y Salud Ocupacional
Docente Universitario a nivel pre grado y post grado
Consultoría y Asesoría en el Desarrollo de Servicios de
Telecomunicaciones y Telemática, Temas de Seguridad Integral
Elaboración de Estudio Teórico de Radiaciones No Ionizantes
Inicio

¿Quién de Ustedes, puede definir el concepto de

“Función discreta”?

¿Quién de Ustedes, puede describir el concepto de

“Función continua?

Datos/Observaciones
Utilidad

¿Qué Estudiante puede explicar la relación entre la Entropía

y la capacidad de Comunicaciones”?

Presentación del Tema:

Cálculo de la Entropía de variable discreta

Datos/Observaciones
Logro de la Sesión:

Al finalizar la sesión de clases, el estudiante explica el cálculo de la Entropía

de comunicaciones, mediante ejemplos de su aplicación en el
dimensionamiento de un modelo de Sistema de Comunicaciones y su
relación con el despliegue de Sistemas de Telecomunicaciones.

Utilidad del tema:

Identificación por los alumnos de la Utilidad del tema a desarrollar:

¿Cuál es la utilidad que Ud. considera que tiene el desarrollo del tema
durante la sesión de clases?
Datos/Observaciones
Exposición por el Docente, de la Utilidad del tema:

El estudiante aplica el método de cálculo de la

entropía de comunicaciones, en el planeamiento y el
despliegue de Sistemas de Telecomunicaciones

Datos/Observaciones
 EN EL CÁLCULO DE LA ENTROPIA E INFORMACIÓN EN
EL CASO DISCRETO, SE TRATA DE LLEGAR A
DETERMINAR LA FORMA MÁS ECONÓMICA, RÁPIDA
Y SEGURA DE CODIFICAR UN MENSAJE, SIN QUE LA
PRESENCIA DE ALGÚN RUIDO COMPLIQUE SU
TRANSMISIÓN

Datos/Observaciones
 ENTROPÍAS A CONSIDERAR EN UN SISTEMA

EN EL CASO DE TENER DOS VARIABLES ALEATORIAS (EJ: TRANSMISOR X Y RECEPTOR Y) SE CONSIDERAN LAS
SIGUIENTES ENTROPIAS PARA MEDIR RELACIONES ENTRE LAS VARIABLES:

▪ H(X): INFORMACION O ENTROPIA POR CARACTER EN EL TRANSMISOR (EN BITS)

▪ H(Y) : INFORMACION O ENTROPIA POR CARACTER EN EL RECEPTOR (EN BITS)

▪ H(X,Y) : INFORMACION O ENTROPIA POR PAR DE CARACTERES TRANSMITIDOS Y RECIBIDOS (EN BITS)

▪ H(Y|X) : INFORMACION O ENTROPIA CONDICIONAL SOBRE EL RECEPTOR Y SABIENDO QUE X = i FUE

TRANSMITIDO (EN BITS)

▪ H(X|Y) : INFORMACION O ENTROPIA CONDICIONAL SOBRE EL TRANSMISOR SABIENDO QUE Y= j FUE

RECIBIDO, TAMBIEN CONOCIDO COMO EQUIVOCACION (EN BITS)

Datos/Observaciones
 EJEMPLO:

La entropía denota el mínimo número de bits por símbolo necesarios para representar una cadena.
Es un índice que denota la cantidad de información que existe en una fuente de datos (la cadena a
codificar).

X/Y 1 2 3 4

1 0.25 0 0 0 0.25

2 0.1 0.3 0 0 0.4

3 0 0.05 0.1 0 0.15

4 0 0 0.05 0.1 0.15

5 0 0 0.05 0 0.05

0.35 0.35 0.2 0.1

Datos/Observaciones
Datos/Observaciones
 X/Y 1 2 3 4

1 0.25 0 0 0 0.25

2 0.1 0.3 0 0 0.4 La entropía denota el mínimo número de bits por

3 0 0.05 0.1 0 0.15
símbolo necesarios para representar una cadena. Es
4 0 0 0.05 0.1 0.15
un índice que denota la cantidad de información
que existe en una fuente de datos (la cadena a
5 0 0 0.05 0 0.05
codificar).
0.35 0.35 0.2 0.1

H(Y) = -0.25 log 0.35 – 0.1 log 0.35 – 0.3 log 0.35– 0.05 log 0.35 – 0.1log 0.20 – 0.05
log 0.20– 0.05 log 0.20 – 0.1 log 0.1 = 1.856 bits
H(Y) = -0.35 log 0.35 – 0.35 log 0.35 – 0.2 log 0.2– 0.1 log 0.1 = 1.856 bits

Datos/Observaciones
 X/Y 1 2 3 4

1 0.25 0 0 0 0.25

2 0.1 0.3 0 0 0.4 La entropía denota el mínimo número de bits por

3 0 0.05 0.1 0 0.15
símbolo necesarios para representar una cadena. Es
4 0 0 0.05 0.1 0.15
un índice que denota la cantidad de información
que existe en una fuente de datos (la cadena a
5 0 0 0.05 0 0.05
codificar).
0.35 0.35 0.2 0.1

H(X, Y) = -0.25 log 0.25 – 0.1 log 0.1 – 0.3 log 0.3 – 0.05 log 0.05 – 0.1log 0.1 – 0.05
log 0.05 – 0.1 log 0.1 – 0.5 log 0.5 = 2.665 bits

Datos/Observaciones
 X/Y 1 2 3 4

1 0.25 0 0 0 0.25

2 0.1 0.3 0 0 0.4 La entropía denota el mínimo número de bits por

3 0 0.05 0.1 0 0.15
símbolo necesarios para representar una cadena. Es
4 0 0 0.05 0.1 0.15
un índice que denota la cantidad de información
que existe en una fuente de datos (la cadena a
5 0 0 0.05 0 0.05
codificar).
0.35 0.35 0.2 0.1

H(X|Y) = -p(x1,y1) log p(x1|y1) - p(x2,y1) log p(x2|y1) - p(x2,y2) log p(x2|y2)
- p(x3,y2) log p(x3|y2) - p(x4,y3) log p(x4|y3) - p(x4,y4) log
p(x4|y4)- p(x5,y3) log p(x5|y3) - p(x5,y4) log p(x5|y4)= 0.809 bits
H(X|Y) = 0.35 H(0.25/0.35, 0.1/0.35)+ 0.35 H(0.3/0.35, 0.05/0.35)+ 0.2
H(0.1/0.2, 0.05/0.2, 0.05/0.2)+ 0.1 H(0.1/0.1)= 0.809 bits

Datos/Observaciones
 X/Y 1 2 3 4

1 0.25 0 0 0 0.25

2 0.1 0.3 0 0 0.4 La entropía denota el mínimo número de bits por

3 0 0.05 0.1 0 0.15
símbolo necesarios para representar una cadena. Es
4 0 0 0.05 0.1 0.15
un índice que denota la cantidad de información
que existe en una fuente de datos (la cadena a
5 0 0 0.05 0 0.05
codificar).
0.35 0.35 0.2 0.1

H(Y|X) = - p(y1,x1) log p(y1|x1) - p(y1,x2) log p(y1|x2) - p(y2,x2) log p(y2|x2)-
p(y2,x3) log p(y2|x3) - p(y3,x3) log p(y3|x3) - f(y3,x4) log p(y3|x4)-
f(y3,x4) log p(y3|x4) - p(y3,x5) log p(y3|x5)= 0.6 bits
H(Y|X) = 0.25 H(0.25/0.25) + 0.4 H(0.1/0.4,0.3/0.4)+ 0.15 H(0.05/0.15,
0.1/0.15)+ 0.15 H(0.05/0.15, 0.1/0.15)+ 0.05 H(0.05/0.05)= 0.6 bits

Datos/Observaciones
 Hay que notar que H(x,y) < H(X) + H(Y)

2.665 < 2.066 + 1.856 , y que:

H(X,Y) = H(Y) + H(X|Y) = H(X) + H(Y|X)

2.665 = 1.856 + 0.809 = 2.066 + 0.600

Datos/Observaciones
 INFORMACION MUTUA

La información mutua I(X;Y) es una medida de la información proveída por los pares de
símbolos (x,y), la relación entre I(X;Y) y la entropía es:

H(X,Y) = H(X) + H(Y | X) = H(Y) + H(X | Y)

H(X,Y) = H(X) + H(Y) - I(X;Y)
I(X;Y) = H(X) – H(X | Y)
I(X;Y) = H(Y) – H(Y | X)

I(X;Y) mide la dependencia entre el input X y el output Y, o la información transmitida por

el canal, es positiva y simétrica en X y Y

Datos/Observaciones
 La capacidad de un canal definida por Shannon es C = max I (X;Y),

Max I (X;Y) es cuando la incertidumbre de lo que se transmitió (X) dado Y es cero o cuando la
incertidumbre de recibir Y dado X es cero:

Si I (X;Y) = H(X) – H(X | Y), cuando H(X | Y) = 0 → max I (X;Y) = C

Si I (X;Y) = H(Y) – H(Y | X), cuando H(Y | X) = 0 → max I (X;Y) = C

H(Y|X) máxima H(Y|X) “grande” H(Y|X) “chica” H(Y|X) = 0

H (X,Y) H (X,Y) H (X,Y) H (X,Y)

H (X) H (Y/X)= H(Y) H (X)=H(Y)=H(X,Y)=I(X;Y)

I (X;Y)=0 I (X;Y)
I (X;Y)

Datos/Observaciones
 PARA UN CANAL LIBRE DE RUIDO (CANAL PERFECTO):
X/Y 1 2 3 4
1 0.25 0 0 0 0.25
2 0 0.25 0 0 0.25
3 0 0 0.25 0 0.25
4 0 0 0 0.25 0.25
0.25 0.25 0.25 0.25

p( x1| y1) = 0.25/0.25 = 1 , p( x2| y2) = 0.25/0.25 = 1, p( x3| y3) = 0.25/0.25 = 1 , p( x4| y4) = 0.25/0.25 = 1,
p( y1| x1) = 0.25/0.25 = 1 , p( y2| x2) = 0.25/0.25 = 1, p( y3| x3) = 0.25/0.25 = 1 , p( y4| x4) = 0.25/0.25 = 1
Todos los otros f(x|y) y f(y|x) son cero

Datos/Observaciones
 H(X, Y) = –0.25 log 0.25 –0.25 log 0.25 –0.25 log 0.25 –0.25 log 0.25 = 2 bits

H(X) = –0.25 log 0.25 –0.25 log 0.25–0.25 log 0.25 –0.25 log 0.25 = 2 bits
H(Y) = –0.25 log 0.25 –0.25 log 0.25–0.25 log 0.25 –0.25 log 0.25 = 2 bits
H(Y|X) = - 0.25log1 – 0.25log1 -0.25log1 -0.25log1 = 0
Similarmente H(X | Y) = 0
Para este canal libre de ruido : I(X;Y) = H(X) = H(Y) = H(X,Y) = 2 bits

Datos/Observaciones
 PARA UN CANAL CON INPUTS Y OUTPUT INDEPENDIENTES:

X/Y 1 2

1 0.25 0.25 0.50

2 0.25 0.25 0.50

0.50 0.50

H(X) = H(X|Y) = 1, H(Y) = H(Y|X) = 1,

H(X,Y) = 2
I(X;Y)= H(X) – H(X|Y) = 1 – 1 = 0 bits
= H(Y) – H(Y|X) = 1 – 1 = 0 bits

Datos/Observaciones
 PARA UN CANAL LIBRE DE RUIDO (CANAL PERFECTO):

X/Y 1 2
1 0.50 0 0.50 H(Y|X) = 0

2 0 0.50 0.50
0.50 0.50

H(X) = 1, H(Y) = 1, H(X,Y) = 1,

H(X|Y) = 0, H(X|Y) = 0
I(X;Y)= H(X) – H(X|Y) = 1 – 0 = 1 bit
= H(Y) – H(Y|X) = 1 – 0 = 1 bit

Datos/Observaciones
 ENTROPIA RELATIVA
▪ LA ENTROPÍA RELATIVA ES UNA MEDIDA NO SIMÉTRICA DE LA SIMILITUD O DIFERENCIA
ENTRE DOS FUNCIONES DE DISTRIBUCIÓN DE PROBABILIDAD P(X) Y Q(X). TAMBIÉN ES
CONOCIDA COMO DISTANCIA DE KULLBACK-LEIBLER (KL1 Y KL2), DIVERGENCIA DE LA
INFORMACIÓN O GANANCIA DE LA INFORMACIÓN
▪ LA MEDIDA DE JENSEN/JEFFREYS (SIMÉTRICA) ES LA SUMA DE KL1 Y KL2 : J=KL1+KL2. HAY
MUCHAS OTRAS MEDIDAS DE DIVERGENCIA APARTE DE KL1, KL2 Y J.
▪ KL MIDE EL NÚMERO ESPERADO DE EXTRA BITS REQUERIDOS EN MUESTRAS DE CODIGO
DE P CUANDO SE USA UN CÓDIGO BASADO EN Q, EN LUGAR DE UN CÓDIGO BASADO EN P.
GENERALMENTE P REPRESENTA LA "VERDADERA" DISTRIBUCIÓN DE LOS DATOS,
OBSERVACIONES, O CUALQUIER DISTRIBUCIÓN TEÓRICA. LA MEDIDA Q GENERALMENTE
REPRESENTA UNA TEORÍA, MODELO, DESCRIPCIÓN O APROXIMACIÓN DE P.

Datos/Observaciones
 Una divergencia de Kullback-Leibler de 0 indica que las dos
distribuciones en cuestión son idénticas

Datos/Observaciones
 Ejemplos de H(x), KL1, KL2 y J:

Hay dos dados (los dos están arreglados!) y por consecuencia dos variables
aleatoria X e Y con los siguientes valores y probabilidades.
Posibles eventos : X = [1, 2, 3, 4, 5, 6], Y = [1, 2, 3, 4, 5, 6]
Ejemplo 1: Funciones de probabilidades discreta:
f(x) = {px1, px2, px3, px4, px5, px6} = {1/3,1/3,1/12,1/12,1/12,1/12},
f(y) = {py1, py2, py3, py4, py5, py6} = {1/12,1/12,1/6,1/6,1/6,1/3}

Datos/Observaciones
 Se mide el número esperado de extra bits requeridos en muestras de código de P cuando se usa
un código basado en Q, en lugar de un código basado en P. Generalmente P representa la
"verdadera" distribución de los datos, observaciones, o cualquier distribución teórica. La
medida Q generalmente representa una teoría, modelo, descripción o aproximación de P

Datos/Observaciones
Cierre:

Conclusiones Generales

1. Es factible realizar el cálculo de la entropía de un sistema de comunicaciones

2. El cálculo de la entropía facilita el planeamiento requerido para el despliegue de
un Sistema de comunicaciones
3. Los resultados obtenidos no consideran a la información de acuerdo a contexto.

Datos/Observaciones