Gua

Problemas
1. Valor de I(X;Y)
2. Propiedad de probabilidades (
3. Propiedad de logaritmos separo
4. Propiedad sumatorias separo
5. Fin
a) Utilizar el cdigo de Huffman para determinar el cdigo binario para la salida de la fuente.

Paso 1. Ordenar smbolos de mayor a menor probabilidad

Paso 2. Sumar las dos ltimas probabilidades y reacomodarlas en orden en la nueva fuente S2
Paso 3. Repetir proceso hasta tener Sn fuentes, en la ltima solo quedan 2 probabilidades
Paso 4. Asignar 0 y 1 a las ultimas
Paso 5. Ir de derecha a izquierda conservando los valores de las probabilidades que se mantienen, pero aquellas que se dividieron en dos
agregarles 01
Paso 6. Repetir hasta llegar al cdigo de la fuente original

b) Determinar el nmero promedio L de dgitos binarios por cada letra de la fuente de informacin.

L= Promedio de bits por smbolo de la fuente, usado en el proceso de codificacin de fuente

Xi= Simbolo de la fuente
ni= Longitud de la palabra cdigo en bits, asignada a Xi
c) Determinar la entropa de la fuente y comparar con L

Paso 1. Ordenar smbolos de mayor a menor probabilidad

Paso 2. Dividir la tabla de acuerdo al sistema en el que se codifica (2, por binario) dejando en la parte superior la mayor contribucin de
probabilidad y la menor contribucin en la parte inferior, (Shannon-fano mejorado: Intercambiar un elemento de la parte inferior por uno de
la superior, y proceder)
Paso 3. Asignar 0s en la parte superior de la tabla y 1s en la parte inferior
Paso 4. Repetir paso 2 y 3 hasta tener todas las palabras del cdigo diferenciadas

Preguntas
1. Dibujar el diagrama a bloques de un sistema de comunicaciones digitales:

a) Indicar cuales son los bloques que se estudian en el curso de teora de la informacin
b) Explicar brevemente la finalidad de estos bloques.

Multiplexacin: Encargada de integrar diferentes fuentes de informacin a un mismo sistema de comunicacin

Modulacin: Desde el punto de vista matemtico es la multiplicacin de una funcin por otra f(t)g(t). Desde el punto de vista de comunicaciones
se define a la modulacin como la multiplicacin de una seal f(t) de informacin por una seal g(t) de una frecuencia superior conocida
como portadora para poderla transmitir a esta ltima frecuencia.
La modulacin digital a diferencia de la anloga, define una comunicacin de banda base dado que la generacin de la seal de informacin
est en el rango de operacin de la frecuencia de transmisin y que ser el rango de transmisin en el canal y de la frecuencia recuperada
Encriptacin: Antes de la etapa de codificacin de canal. Es la encargada de brindar seguridad al sistema para que fuentes ajenas al mismo no
puedan accesar. Las tcnicas bsicas son: Conmutacin y llaveo
Espectro disperso (Frecuency Spread): La etapa de espectro disperso se encarga de sumergir la seal en el espectro de frecuencia de el ruido
existente, en el canal de comunicacin conocido como ruido blanco
Acceso Mltiple: Esta etapa es la encargada de permitir a diversos usuarios del sistema o tipos de informacin el acceso correcto al medio de
comunicacin. Las tcnicas ms empleadas son: TDMA, FDMA, CDMA, SDMA.
Sincronizacin: La etapa de sincronizacin es la encargada del manejo adecuado en tiempo, de las seales del sistema, teniendo como tcnicas
principales: Sincronizacion bits o Cadenas de bits, Sincronizacion formas de ondas, Sincronizacion Portadora o simbolos
2. En el contexto de las comunicaciones Cul es la finalidad del curso de teora de la informacin?
La teora de la informacin provee una medida cuantitativa de la informacin contenida en una seal de mensaje. Permite determinar la
capacidad de un sistema de comunicaciones de transferir su informacin de la fuente al destino
3. Qu es una fuente de informacin y como se clasifican las fuentes de informacin?
Es un objeto que produce un evento (mensaje) y puede ser Anlogo o discreto. Con memoria o sin Memoria
4. Qu es una fuente de informacin analgica? Dar algunos ejemplos
Cualquier origen de informacin susceptible de ser representado mediante una seal analgica. De forma general cualquier variacin de
una magnitud fsica puede ser representada mediante seales
5. Qu es una fuente de informacin discreta? Dar algunos ejemplos
Es una fuente que tiene un nmero de smbolos finito como posibles salidas
6. Qu es una fuente discreta sin memoria (DMS) y con memoria porque se les llama as? Dar algn ejemplo.
Fuente discreta con memoria, es donde el smbolo actual depende los smbolos previos, se lleva un registro limitado.
Fuente discreta sin memoria (DMS), Cada smbolo producido es independiente de los smbolos previos.
7. Desde el punto de vista matemtico cmo se modela una fuente de informacin analgica?

8. Qu es un proceso aleatorio?
un proceso estocstico es un concepto matemtico que sirve para tratar con magnitudes impredecibles que varan con el tiempo, o ms
exactamente para caracterizar una sucesin de variables aleatorias (estocsticas) que evolucionan en funcin de otra variable, generalmente
el tiempo

9. Cuales son las propiedades de un proceso aleatorio? http://www.dmae.upct.es/~mcruiz/Telem06/Teoria/apuntes_procesos.pdf

10. Qu es un proceso aleatorio estacionario?

11. Explicar por qu no se puede determinar de manera directa el espectro de una seal aleatoria y de que forma se determina?
12. Matemticamente como se modela una fuente de informacin discreta

13. Cual es el significado de estacionariedad estadstica para una fuente discreta con memoria?
14. De que depende la cantidad de informacin de un evento y como se determina. Explicar.
15. Qu es la informacin mutua entre un par de eventos?
Representa la incertidumbre acerca de la entrada del canal, que es resuelta observando la salida de dicho canal

16. Explicar por qu en comunicaciones nos interesa conocer la informacin promedio que produce una fuente de informacin en lugar de conocer
la informacin de un solo smbolo
En comunicaciones usualmente transmitimos secuencias de smbolos desde una fuente de informacin. Por lo tanto estamos mas interesados
en la informacin promedio que una fuente produce, que en la informacin contenida en un solo simbolo
17. Cual es el significado de la entropa de una fuente de informacin?
Es la medicin de la informacin promedio contenida por cada smbolo de la fuente. Otro: Define el valor minimo del numero medio de smbolos
necesarios para codificar cada smbolo de la fuente.

18. Cual es el significado de la entropa condicional?

La entropa condicional es una extensin del concepto de entropa de la informacin a procesos donde intervienen varias variables aleatorias
no necesariamente independientes. En donde la cantidad de informacin de un evento X depende de un evento Y conocido.

19. Cundo es aplicable el concepto de entropa diferencial?

Cuando se esta tratando con fuentes de informacin continuas, y variables continuas

20. En que consiste el proceso de codificacin de la fuente de informacin

21. En que consiste el proceso de codificacin de una fuente de informacin analgica
22. En que consiste el proceso de codificacin de una fuente de informacin discreta
23. Que es la eficiencia de codificacin y que es la redundancia de codificacin
Es la relacin que existe entre la entropa de una seal y la longitud promedio del cdigo

24. Con un ejemplo dar la clasificacin de cdigos

25. Qu caractersticas debe cumplir un cdigo ptimo?
26. Explicar bajo qu condiciones se logra una eficiencia de codificacin del 100 % cuando se utilizan palabras cdigo de longitud fija.
27. Que es la razn de codificacin?
30. Explicar cuando es ms conveniente utilizar palabras cdigo de longitud variable para codificar una fuente de informacin.

Problemas

La informacin mutua esta definida por

Y la capacidad de canal es
 Codificacin de Canal
1. Explicar en qu consiste la codificacin de canal
El codificador de canal introduce redundancia sistemtica al flujo de datos, aadiendo bits a los bits del mensaje, de tal manera que facilita la
deteccin y/o correccin de bits errneos, en la secuencia binaria original en el receptor. El objetivo final de la codificacin de canal es minimizar
el efecto del ruido del canal. Las tcnicas
 -Cdigos repeticin
-Cdigos Bloques
-CRCs
-Reed Salomon
-Turbo Cdigo
2. Cules son los principales objetivos de la codificacin de canal?
Transmitir informacin digital de manera confiable a travs de un canal con ruido
Los cdigos pueden corregir (error-correcting codes) o detectar errores (error-correcting codes), dependiendo en la cantidad de redundancia
contenida en el cdigo
3. Cules son las dos principales reas de estudio de la codificacin de canal? Explicar brevemente en que consiste cada una de ellas y mencionar
algunos ejemplos.
Waveform Coding (Diseo de seal)(Codificacin por forma de onda): Transformacin de formas de onda en mejores formas de onda, para
hacer que la que el proceso de deteccin de errores este menos sujeto a errores.
Secuencias estructuradas: Transforma secuencias de datos en mejores secuencias, agregando redundancia estructurada, estos bits de
redundancia pueden ser usados para la deteccin y correccin de errores.

4. Qu es la razn de codificacin y que es la redundancia de codificacin?

Cdigos (n,k)
Para el caso de cdigos de bloques, una fuente de datos se
segmenta en bloques de k-bits, llamados bits de mensaje
o data-bits; cada bloque puede representar uno de los
distintos 2^k mensajes. El codificador transforma cada k-
bit data block en un bloque mas largo de n bits,
llamndose bloque de codigo, o smbolo de canal.
La redundancia de codificacin son bits aadidos (n - k) a
un segmento de data-bits. Estos bits son llamados bits de
redundancia, bits de paridad, o bits de chequeo; no
cargan nueva informacin al bloque de n-bits.
La razn de codificacin es la porcin del cdigo que
constituye informacin k/n.

5. En algunas tcnicas de codificacin de canal, la informacin redundante incrementa el ancho de banda requerido para la transmisin. Cul es
la estrategia que se utiliza en canales limitados en ancho de banda para mejorar el desempeo de error?

9. Los errores que pueden ocurrir durante la transmisin en un sistema de comunicaciones, debido a las imperfecciones del canal pueden ser de
naturaleza aislada o en rfagas. Explicar con un ejemplo en qu consisten cada uno de estos errores y mencionar en qu tipo de canales se
pueden presentar.

10. Qu es la ganancia de codificacin?

33. Construir un cdigo de deteccin de errores (5,4) con paridad impar tal que el bit de paridad aparezca como el bit ms significativo de la
palabra cdigo.
Cules patrones de errores que puede detectar el cdigo?
Calcular la probabilidad de errores no detectados, suponiendo que todos los errores son eventos estadsticamente independientes y que la
probabilidad de error es de 1 bit errneo por cada 10000 bits transmitidos.
RESUMEN
PROPIEDADES LOGARITMOS

INFORMACION MUTUA

Utilizando las probabilidades de entrada P(xi), Probabilidad de salida P(yj), Probabilidad de transiscion P(yj|xi), y probabilidades
Cojuntas P(xi,yj) podemos definir las siguientes funciones de entropa para un canal con m entradas y n salidas

H(X) Entropia de Fuente. Incertidumbre promedio del canal de entrada

H(Y) Incertidumbre promedio del canal de salida

H(X|Y) Entropa condicional, medida de la incertidumbre resultante en el canal de entrada, dado el canal de salida (Equivocacion
de X con respecro a Y)

H(Y|X) Incertidumbre promedio del canal de salida dado X

H(X,Y) Entropia conjunta. Es la incertidumbre promedio del canal de comunicacin en su totalidad

Relacion til:

Informacin mutua I(X;Y) definida por:

Representa la incertidumbre acerca del canal de entrada, resuelta al observar el canal de salida.

Propiedades de I(X;Y)

Capacidad por smbolo de una DMS

Canal simtrico binario

La informacin mutua esta definida por

Y la capacidad de canal es

AWGN Additive White Gaussian Noise Channel

La capacidad de Canal de un AWGN esta dada por

S/N: Relacin seal a ruido

B: Ancho de banda