SISTEMA DE

TRANSMISIÓN DE DATOS
SESION 3:
Presentación del Docente:

JOSE EDUARDO TORRES VEGA

Coronel EP ( R )
Diplomado en Ciencia y Tecnología
Ingeniero Electrónico CIP
Maestro en Administración
PADE-ESAN en Logística
Diplomado en Seguridad y Salud Ocupacional
Docente Universitario a nivel pre grado y post grado
Consultoría y Asesoría en el Desarrollo de Servicios de
Telecomunicaciones y Telemática, Temas de Seguridad Integral
Elaboración de Estudio Teórico de Radiaciones No Ionizantes
Presentación del Tema:

 Incertidumbre
 Información
 La medida de Hartley

Datos/Observaciones
Logro de la Sesión:

El alumno comprende la teoría de la entropía discreta

Utilidad del tema:

El alumno determina la entropía condicionada de un sistema de

comunicaciones

Datos/Observaciones
 INCERTIDUMBRE E INFORMACIÓN

Datos/Observaciones
 Nº MEDIO DE BITS Y ENTROPÍA

Mensaje Prob. Código

m1 0,4 0
Nº MEDIO DE BITS POR MENSAJE PONDERADO POR LA PROBABILIDAD DE m2 0,3 10
APARICIÓN = NMEDIO
m3 0,1 1100

N m4 0,1 1101
N medio   p k N k  1  0,4  2  0,3  4  0,3  2,2 bits m5 0,1 1110
k 1

N
H    p k log 2 p k  -[0.4*log2(0.4)+0.3*log2(0.3)+3*0.1*log2(0.1)] = -2.0464

k 1

El código de Huffman aproxima en número de bits para acercarse al flujo entrópico

H N Huffman  H 1

FACULTAD DE INGENIERÍA

Datos/Observaciones
 HISTOGRAMA Y ENTROPÍA

SI MEDIANTE UNA TRANSFORMADA DE LA SEÑAL LOS MENSAJES MUESTRAN DIFERENCIAS DE PROBABILIDAD CONSIDERABLES, SE
PUEDE REDUCIR LA CANTIDAD DE INFORMACIÓN CON LA QUE PODEMOS CODIFICAR LA FUENTE. CONVIENE OBTENER GRÁFICOS
CON PICOS FUERTEMENTE MARCADOS QUE INDIQUEN LA EXISTENCIA DE MENSAJES MUY PROBABLES

La imagen original ha sido codificada con 8 bits, Horiginal = 7,5, Hdiferencia= 5,8

Datos/Observaciones
 Incertidumbre

Falta de seguridad, de confianza o de certeza sobre algo, especialmente cuando crea

inquietud

Es una expresión que manifiesta el grado de desconocimiento acerca de una condición

futura, pudiendo implicar una previsibilidad imperfecta de los hechos, es decir,
un evento en el que no se conoce la probabilidad de que ocurra determina situación

Puede ser derivada de la ausencia de información, o bien por desacuerdo acerca de la

información con que se cuenta, implicando la incertidumbre cierto grado de
desconocimiento

Es lo contrario de certidumbre, que significa certeza; por lo tanto es la falta de

seguridad, la sensación que genera algo de lo que no se tiene respuesta exacta o
concreta.
Datos/Observaciones
 UN CANAL SE CARACTERIZA ESTADÍSTICAMENTE: LO QUE SUPONE CONOCER LA PROBABILIDAD DE
TENER A SU SALIDA, TODOS LOS SÍMBOLOS QUE LA FUENTE TRANSMITIO EN LA ENTRADA.

CANAL DISCRETO SIN MEMORIA

EN UN CANAL DISCRETO SIN MEMORIA (LOS SÍMBOLOS SON INDEPENDIENTES), LA FUNCIÓN DE
VEROSIMILITUD ES LA QUE CARACTERIZA EL CANAL

P(Y|X)={P(Yj|Xi)}
LA ECUACIÓN INDICA CUÁL ES LA PROBABILIDAD DE QUE A LA SALIDA DEL CANAL HAYA EL SÍMBOLO
Y HABIENDO TRANSMITIDO X. EN ESTE EFECTO, EL RECEPTOR DEBE ADIVINAR CUÁL HA SIDO X (EL
VALOR REALMENTE ENVIADO POR LA FUENTE) HABIENDO RECIBIDO EL SÍMBOLO Y.

Datos/Observaciones
 Información

 Es el conjunto organizado de datos procesados que constituyen un mensaje que

cambia el estado de conocimiento del sujeto o sistema que recibe dicho mensaje.

 Desde el punto de vista de la ciencia de la computación, la información es

un conocimiento explícito extraído por seres vivos o sistemas expertos como resultado
de interacción con el entorno o percepciones sensibles del mismo entorno.

 La información, a diferencia de los datos o las percepciones sensibles, tienen

estructura útil que modificará las sucesivas interacciones del que posee dicha
información con su entorno.

Datos/Observaciones
 BOLTZMANN DEFINIÓ A LA ENTROPÍA COMO UNA MEDIDA DEL AUMENTO DEL
DESORDEN EN UN SISTEMA DURANTE SU CAMINO DEBIDO A LA DESORGANIZACIÓN
DEBIDO A LA DISIPACIÓN TÉRMICA.

 LA CONEXIÓN DE LA ENTROPÍA CON LA INFORMACIÓN FUE ESTABLECIDA POR

SHANNON Y WEAVER EN SU TEORÍA DE INFORMACIÓN.

 LA INFORMACIÓN EN UN SISTEMA DE COMUNICACIÓN, TIENDE A DEGRADARSE (A

DESORDENARSE); POR ACCIÓN DEL RUIDO. PROBLEMA QUE FUE INICIALMENTE
ATENDIDO MEDIANTE MECANISMOS DE RETROALIMENTACIÓN ORIENTADOS A LA
MEJORA DE LA RELACIÓN ENTRE EL MENSAJE ENVIADO Y EL MENSAJE RECIBIDO.

 SI LA ENTROPÍA MIDE EL NIVEL DE DESORDEN (INCERTIDUMBRE) EN UN SISTEMA, LA

INFORMACIÓN REPRESENTA EL ORDEN (CERTIDUMBRE).

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
 LA INFORMACIÓN CORRESPONDE A UNA ENTROPÍA NEGATIVA, LO QUE PERMITE
MEDIR LA CANTIDAD DE INFORMACIÓN EN UN SISTEMA (MENSAJE) PARA
COMPARARLO CON LA CANTIDAD ENVIADA Y CORREGIR O REENVIAR LA
INFORMACIÓN EN CASO DE PÉRDIDA.

 EN UNA ORGANIZACIÓN O EN UN SISTEMA DE INFORMACIÓN LA IDEA ES USAR

INFORMACIÓN PARA MEJORAR LA TOMA DE DECISIONES Y QUE ESTAS NO SE TOMEN
EN TOTAL INCERTIDUMBRE, SINO BASÁNDOSE EN INFORMACIÓN CONFIABLE. CON
ESTO SE LOGRA RETROALIMENTAR EL OBJETIVO DEL SISTEMA Y CORREGIR SU
TRAYECTORIA CUANDO SE ALEJE DE LO DESEADO. ES DECIR, SE TRATA DE
GARANTIZAR LA SUPERVIVENCIA DEL SISTEMA COMBATIENDO LA ENTROPÍA CON SU
CONTRARIO, LA INFORMACIÓN.

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
  En un canal de transmisión, un parámetro importante es la razón señal-entre-
𝑆
ruido (signal-to-noise ratio) , la cual es una cantidad adimensional. Cuando es
𝑁

pequeña, el ruido es mucho mayor que la señal, y cuando es muy grande, el

ruido es despreciable.

 La capacidad del canal es proporcional a su ancho de banda de señal, y la

constante de proporcionalidad es logarítmica respecto a la razón señal-entre-
ruido. Es usual llamar también ancho de banda computacional a la capacidad de
canal.

Datos/Observaciones
En un sistema de espectro disperso (SS):
• La información es modulada por un portador,
• El ancho de banda es ensanchado deliberadamente mediante un procedimiento bien determinado que
involucra una señal de código SS, la cual incluso puede estar contenida en el procedimiento de
ensanchamiento.

Para mantener una capacidad constante, al aumentar el ruido, la razón señal-entre-ruido ha de disminuir, por lo que el ancho de
banda de señal debe aumentar, mediante un efecto de espectro disperso (SS) (el ancho de banda de señal se ensancha a un
ancho de banda mayor en varios órdenes de magnitud inyectando una señal de mayor frecuencia). Ejm. Sistemas de
frecuencia modulada a pulsos

Datos/Observaciones
Datos/Observaciones
Datos/Observaciones
Datos/Observaciones
Datos/Observaciones
Datos/Observaciones
Datos/Observaciones
 LA MEDIDA DE HARTLEY

Datos/Observaciones
 La medida de Hartley

 La función de Hartley es una medida de la incertidumbre, introducida por Ralph

Hartley en 1928.
 Si se elige uniformemente al azar una muestra de un conjunto finito A, la
información que se revela con el resultado está dada por la función de Hartley.
𝐻0 𝐴 = 𝑙𝑜𝑔𝑏 𝐴
Donde 𝐴 denota la cardinalidad o tamaño del conjunto A (medida del número de
elementos en el conjunto).
 Si la base del logaritmo es 2, la unidad de medida de la incertidumbre es
el shannon. Si es el logaritmo natural, entonces la unidad es el nat.
 Hartley usó un logaritmo en base 10, y en esta base la unidad de información se
denomina hartley en su honor. También se conoce como entropía de Hartley
Datos/Observaciones
Datos/Observaciones
Datos/Observaciones
 Entropía

 El concepto básico de entropía en teoría de la información tiene mucho que

ver con la incertidumbre que existe en cualquier experimento o señal aleatoria.

 Es también la cantidad de «ruido» o «desorden» que contiene o libera un

sistema; por lo cual, se puede hablar sobre la cantidad de información que
lleva una señal.

Datos/Observaciones
Datos/Observaciones
Datos/Observaciones
Datos/Observaciones
 La información mutua I(X;Y) es una medida de la información proveída por los pares de
símbolos (x,y), la relación entre I(X;Y) y la entropía es:

H(X,Y) = H(X) + H(Y | X) = H(Y) + H(X | Y)

H(X,Y) = H(X) + H(Y) - I(X;Y)
I(X;Y) = H(X) – H(X | Y)
I(X;Y) = H(Y) – H(Y | X)

I(X;Y) mide la dependencia entre el input X y el output Y, o la información transmitida por el

canal, es positiva y simétrica en X y Y
H (X,Y)

H (Y)
H (X)

H (Y/X)
H (X/Y)
I (X;Y)

Datos/Observaciones
 EN EL CÁLCULO DE LA ENTROPIA E INFORMACIÓN EN
EL CASO DISCRETO, SE TRATA DE LLEGAR A
DETERMINAR LA FORMA MÁS ECONÓMICA, RÁPIDA
Y SEGURA DE CODIFICAR UN MENSAJE, SIN QUE LA
PRESENCIA DE ALGÚN RUIDO COMPLIQUE SU
TRANSMISIÓN

Datos/Observaciones
 EL CANAL DE COMUNICACIÓN:

 ES LA TRAYECTORIA O MEDIO A TRAVÉS DEL QUE FLUYEN LOS SÍMBOLOS DEL ORIGEN AL
DESTINO.

 UN CANAL DISCRETO SIN MEMORÍA, (DMC), ES UN MODELO ESTADÍSTICO, CON UNA

ENTRADA X, Y UNA SALIDA Y. DURANTE CADA UNIDAD DE TIEMPO, O INTERVALO DE
SEÑALIZACIÓN, EL CANAL ACEPTA UN SÍMBOLO DE ENTRADA DE X, Y EN RESPUESTA
GENERA UN SÍMBOLO DE SALIDA DE Y.

o EL CANAL ES DISCRETO, CUANDO LOS ALFABETOS X, Y, SON FINITOS.

o UN CANAL ES “SIN MEMORIA”, CUANDO EL SÍMBOLO DE SALIDA CORRIENTE, DEPENDE

SOLAMENTE DEL SÍMBOLO CORRIENTE A LA ENTRADA, Y NO DE NINGÚN SÍMBOLO
PREVIO.

Datos/Observaciones
 P( X = 1) = p11+p12+p13+p14= 4/16 = 1/4

P( Y = 2) = p12+p22+p32+p42= 5/16

X/Y 1 2 3 4
1 2/16 1/16 1/16 0/16 4/16

2 1/16 2/16 1/16 0/36 4/16

3 0/16 1/16 2/16 1/16 4/16

4 0/16 1/16 1/16 2/16 4/16

3/16 5/16 5/16 3/16

Datos/Observaciones
Cierre:

Conclusiones Generales

1. Un mensaje digital es la representación simbólica del estado de una fuente de

información.
2. Una fuente discreta es un dispositivo que emite con regularidad y de forma
aleatoria símbolos pertenecientes a un cierto conjunto discreto y finito llamado
alfabeto de la fuente
3. Se denomina canal discreto al canal por el que sólo se pueden enviar secuencias
de símbolos de un cierto alfabeto.

Datos/Observaciones