SISTEMA DE

TRANSMISIÓN DE DATOS
SESION 3:
Presentación del Docente:

JOSE EDUARDO TORRES VEGA

Coronel EP ( R )
Diplomado en Ciencia y Tecnología
Ingeniero Electrónico CIP
Maestro en Administración
PADE-ESAN en Logística
Diplomado en Seguridad y Salud Ocupacional
Docente Universitario a nivel pre grado y post grado
Consultoría y Asesoría en el Desarrollo de Servicios de
Telecomunicaciones y Telemática, Temas de Seguridad Integral
Elaboración de Estudio Teórico de Radiaciones No Ionizantes
Inicio

¿Quién de Ustedes, puede definir el concepto de

“Estadística”?

¿Quién de Ustedes, puede describir la relación entre

Estadística y Probabilidad?

Datos/Observaciones
Utilidad

¿Qué Estudiante puede explicar la relación entre la

Probabilidad y las Comunicaciones”?

Presentación del Tema:

La Probabilidad y las Comunicaciones

Datos/Observaciones
Logro de la Sesión:

Al finalizar la sesión de clases, el estudiante explica los fundamentos de la

teoría de la entropía discreta, mediante la presentación de ejemplos que
expresen su relación con el despliegue de Sistemas de Telecomunicaciones.

Utilidad del tema:

Identificación por los alumnos de la Utilidad del tema a desarrollar:

¿Cuál es la utilidad que Ud. considera que tiene el desarrollo del tema
durante la sesión de clases?
Datos/Observaciones
Exposición por el Docente, de la Utilidad del tema:

El estudiante aplica los fundamentos de la teoría de

la entropía discreta, en la medición de la información
media y la cantidad de símbolos necesarios para su
representación, durante el despliegue de Sistemas
de Telecomunicaciones

Datos/Observaciones
 INFORMACIÓN MUTUA

Datos/Observaciones
 Entropía

▪ El concepto básico de entropía en teoría de la información tiene mucho que

ver con la incertidumbre que existe en cualquier experimento o señal aleatoria.

▪ Es también la cantidad de «ruido» o «desorden» que contiene o libera un

sistema; por lo cual, se puede hablar sobre la cantidad de información que
lleva una señal.

Datos/Observaciones
 Para medir la información de una fuente es necesario medir la información de
cada posible valor de la v.a. (Autoinformación: 𝐼 𝑎𝑖 y ponderarlo con su
probabilidad 𝑝𝑖 , de tal forma que H 𝑥 = σ 𝑝𝑖 𝐼 𝑎𝑖

Datos/Observaciones
Datos/Observaciones
Datos/Observaciones
 La información mutua I(X;Y) es una medida de la información proveída por los pares de
símbolos (x,y), la relación entre I(X;Y) y la entropía es:

H(X,Y) = H(X) + H(Y | X) = H(Y) + H(X | Y)

H(X,Y) = H(X) + H(Y) - I(X;Y)
I(X;Y) = H(X) – H(X | Y)
I(X;Y) = H(Y) – H(Y | X)

I(X;Y) mide la dependencia entre el input X y el output Y, o la información transmitida por el

canal, es positiva y simétrica en X y Y
H (X,Y)

H (Y)
H (X)

H (Y/X)
H (X/Y)
I (X;Y)

Datos/Observaciones
 EN EL CÁLCULO DE LA ENTROPIA E INFORMACIÓN EN
EL CASO DISCRETO, SE TRATA DE LLEGAR A
DETERMINAR LA FORMA MÁS ECONÓMICA, RÁPIDA
Y SEGURA DE CODIFICAR UN MENSAJE, SIN QUE LA
PRESENCIA DE ALGÚN RUIDO COMPLIQUE SU
TRANSMISIÓN

Datos/Observaciones
 EL CANAL DE COMUNICACIÓN:

▪ ES LA TRAYECTORIA O MEDIO A TRAVÉS DEL QUE FLUYEN LOS SÍMBOLOS DEL ORIGEN AL
DESTINO.

▪ UN CANAL DISCRETO SIN MEMORÍA, (DMC), ES UN MODELO ESTADÍSTICO, CON UNA

ENTRADA X, Y UNA SALIDA Y. DURANTE CADA UNIDAD DE TIEMPO, O INTERVALO DE
SEÑALIZACIÓN, EL CANAL ACEPTA UN SÍMBOLO DE ENTRADA DE X, Y EN RESPUESTA
GENERA UN SÍMBOLO DE SALIDA DE Y.

o EL CANAL ES DISCRETO, CUANDO LOS ALFABETOS X, Y, SON FINITOS.

o UN CANAL ES “SIN MEMORIA”, CUANDO EL SÍMBOLO DE SALIDA CORRIENTE, DEPENDE

SOLAMENTE DEL SÍMBOLO CORRIENTE A LA ENTRADA, Y NO DE NINGÚN SÍMBOLO
PREVIO.

Datos/Observaciones
 Empleo de la Probabilidad para
expresar la situación de una fuente

UN CANAL SE CARACTERIZA ESTADÍSTICAMENTE: LO QUE SUPONE CONOCER LA PROBABILIDAD DE

TENER A SU SALIDA, TODOS LOS SÍMBOLOS QUE LA FUENTE TRANSMITIO EN LA ENTRADA.

CANAL DISCRETO SIN MEMORIA

EN UN CANAL DISCRETO SIN MEMORIA (LOS SÍMBOLOS SON INDEPENDIENTES), LA FUNCIÓN DE
VEROSIMILITUD ES LA QUE CARACTERIZA EL CANAL

P(Y|X)={P(Yj|Xi)}
LA ECUACIÓN INDICA CUÁL ES LA PROBABILIDAD DE QUE A LA SALIDA DEL CANAL HAYA EL SÍMBOLO
Y HABIENDO TRANSMITIDO X. EN ESTE EFECTO, EL RECEPTOR DEBE ADIVINAR CUÁL HA SIDO X (EL
VALOR REALMENTE ENVIADO POR LA FUENTE) HABIENDO RECIBIDO EL SÍMBOLO Y.

Datos/Observaciones
 OTRAS DEFINICIONES QUE TAMBIÉN SE EMPLEAN SON:

P(X=xi)=P(xi)

LA PROBABILIDAD A PRIORI ES PROPIA DE LA FUENTE Y NOS DICE CÓMO ES DE PROBABLE QUE UN

SÍMBOLO (Xi) SE TRANSMITA.
.
P(X|Y)={P(xi|yj)}}

P(X=xi,Y=yj)=P(xi|yj)P(yj)=P(yj|xi)P(xi)

LA ECUACIÓN QUIERE DECIR QUE LA PROBABILIDAD DE ENVIAR Xi Y RECIBIR Yj ES LA

PROBABILIDAD A POSTERIORI (ENVIAR Xi HABIENDO RECIBIDO Yj POR LA PROBABILIDAD DE
RECIBIR Yj O DEL MISMO MODO, ES LA FUNCIÓN DE VEROSIMILITUD (PROBABILIDAD DE
RECIBIR Yj HABIENDO ENVIADO Xi) MULTIPLICADO POR LA PROBABILIDAD DE ENVIAR Xi.

Datos/Observaciones
P(Xi) ES LA PROBABILIDAD DE QUE LA FUENTE SELECCIONE EL SÍMBOLO Xi PARA TRANSMITIR.
(PROBABILIDAD A PRIORI)

P(Yj) ES LA PROBABILIDAD DE QUE EL SÍMBOLO Yj HAYA SIDO RECIBIDO EN EL DESTINO (AL OTRO LADO
DEL CANAL)

P(Xi,Yj) ES LA PROBABILIDAD CONJUNTA DE QUE Xi SEA TRANSMITIDO Y Yj SEA RECIBIDO.

P(Xi|Yj) ES LA PROBABILIDAD CONDICIONAL DE QUE Xi SEA TRANSMITIDO DADO QUE Yj HAYA SIDO
RECIBIDO. (PROBABILIDAD A POSTERIORI)

P(Yj|Xi) ES LA PROBABILIDAD CONDICIONAL DE QUE YJ SEA RECIBIDO DADO QUE Xi HAYA SIDO
TRANSMITIDO. ESTA PROBABILIDAD INCLUYE LAS PROBABILIDADES DE ERROR DE SÍMBOLO. (FUNCIÓN
DE VEROSIMILITUD)

Datos/Observaciones
Datos/Observaciones
 CAPACIDAD DEL CANAL:

ES UN PARÁMETRO QUE NOS INDICA CUAL ES LA CANTIDAD MÁXIMA DE BITS, QUE UN CANAL PUEDE SOPORTAR. ASÍ POR
EJEMPLO PARA UN CANAL PERTURBADO POR RUIDO GAUSSIANO, LA CAPACIDAD DE CANAL PUEDE CALCULARSE COMO:

 S
C = Bw.Log 2 1 +  bit
 N seg

DONDE C= CAPACIDAD MÁXIMA DE TRANSPORTE DEL CANAL EN BITS POR SEGUNDO.

BW = ES EL ANCHO DE BANDA DEL CANAL EN HERTZ.
S
N
= ES LA RELACIÓN DE POTENCIA DE SEÑAL A POTENCIA DE RUIDO QUE SOPORTA EL CANAL.

Datos/Observaciones
 La capacidad de un canal definida por Shannon es C = max I (X;Y),

Max I (X;Y) es cuando la incertidumbre de lo que se transmitió (X) dado Y es cero o cuando la
incertidumbre de recibir Y dado X es cero:

Si I (X;Y) = H(X) – H(X | Y), cuando H(X | Y) = 0 → max I (X;Y) = C

Si I (X;Y) = H(Y) – H(Y | X), cuando H(Y | X) = 0 → max I (X;Y) = C

H(Y|X) máxima H(Y|X) “grande” H(Y|X) “chica” H(Y|X) = 0

H (X,Y) H (X,Y) H (X,Y) H (X,Y)

H (X) H (Y/X)= H(Y) H (X)=H(Y)=H(X,Y)=I(X;Y)

I (X;Y)=0 I (X;Y)
I (X;Y)

Datos/Observaciones
 MATRIZ DEL CANAL:

▪ UN CANAL PUEDE ESPECIFICARSE POR EL CONJUNTO COMPLETO DE PROBABILIDADES

DE TRANSICIÓN.
▪ SE GENERA LA MATRIX [P(Y/X)], CONOCIDA COMO MATRIZ DEL CANAL.
▪ SI LAS PROBABILIDADES DE ENTRADA SE REPRESENTAN POR LA MATRX FILA: [P(X) =
[P(X1) P(X2) .....P(XM) ]; LAS PROBABILIDADES DE SALIDA SE REPRESENTAN POR LA
MATRIX FILA: [P(Y) = [P(Y1) P(Y2) .....P(YM) ] LUEGO: [P(Y)] = [P(X)] * [P(Y/X)].

…………
…..
…………
[ P ( Y/X ) ] = …..
…………
…..
…………
…..

Datos/Observaciones
 EN LA MATRIZ DE CANAL:

Y=
1 2 3 4

X= 1 2/16 1/16 1/16 0/16 4/16

2 1/16 2/16 1/16 0/16 4/16

3 0/16 1/16 2/16 1/16 4/16

4 0/16 1/16 1/16 2/16 4/16

3/16 5/16 5/16 3/16

P( X = 1) = p11+p12+p13+p14= 4/16 = 1/4

P( Y = 2) = p12+p22+p32+p42= 5/16

Datos/Observaciones
 P( X = 1) = p11+p12+p13+p14= 4/16 = 1/4

P( Y = 2) = p12+p22+p32+p42= 5/16

X/Y 1 2 3 4
1 2/16 1/16 1/16 0/16 4/16

2 1/16 2/16 1/16 0/36 4/16

3 0/16 1/16 2/16 1/16 4/16

4 0/16 1/16 1/16 2/16 4/16

3/16 5/16 5/16 3/16

Datos/Observaciones
 Ejemplo:
Un sistema con input (X) y output (Y). Cual es la Prob{ 3 ≤ X ≤ 5, 2 ≤ Y ≤ 3 } y las probabilidades marginales de X
e Y?

Probabilidad de cada punto en la muestra: P{X=i, Y=j} = 1/36

P{ 3 ≤ X ≤ 5, 2 ≤ Y ≤ 3 } = 6/36 = 1/6
Probabilidades marginales:
P{ 3 ≤ X ≤ 5} = 18/36 = 1/2
P{ 2 ≤ Y ≤ 3} = 12/36 = 1/3
X e Y son independientes, ya que todos los valores del arreglo 1/36 =(1/6)(1/6)
X/Y 1 2 3 4 5 6

1 1/36 1/36 1/36 1/36 1/36 1/36 1/6

2 1/36 1/36 1/36 1/36 1/36 1/36 1/6

3 1/36 1/36 1/36 1/36 1/36 1/36 1/6

4 1/36 1/36 1/36 1/36 1/36 1/36 1/6

5 1/36 1/36 1/36 1/36 1/36 1/36 1/6

6 1/36 1/36 1/36 1/36 1/36 1/36 1/6

1/6 1/6 1/6 1/6 1/6 1/6

Datos/Observaciones
 ▪ SI SE QUIEREN COMPARAR FUENTES Y CANALES DE DATOS, SE PUEDEN
USAR MEDIDAS DE LAS DIFERENCIAS ENTRE ELLOS.
▪ ESTAS MEDIDAS NOS PUEDEN DAR UN REFLEJO DEL TIPO DE FUENTE Y
DEL TIPO DE CANAL QUE SE ESTA ESTUDIANDO

X Y
SISTEMA DE
COMUNICACIONES

Ejemplo:
Binary Symmetric Channel (BSC), un modelo de un canal simple pero que incluye gran parte
de la complejidad del problema de comunicaciones en general. Se requiere determinar
P{Y|X}:

Datos/Observaciones
 P{0|0} = P{1|1} = p, P{1|0} = P{0|1} = q

x p y
0 0
q q

1 1
p

Ejemplo:
Binary Erasure Channel (BEC). Para el BEC P{0|0} = P{1|1} = p, P{z|0} = P{z|1} = q

x p y
0 0
q
q z
1 1
p

Datos/Observaciones
Datos/Observaciones
Cierre:

Conclusiones Generales

1. Un mensaje digital es la representación simbólica del estado de una fuente de

información.
2. Para garantizar el planeamiento y despliegue de un Sistema de
Telecomunicaciones es necesario disponer de una forma de medir los recursos
que requiere su funcionamiento.
3. La Teoría de Shannon, no considera el valor de la información de acuerdo a
contexto.

Datos/Observaciones