Está en la página 1de 7

Teoria de Codificacin

Captulo I
Ing. Edgar Ochoa Figueroa, MgT
Pgina 2

Ing. Edgar Ochoa Figueroa, MgT


2
03/03/2011
Conceptos de la Teora de la Probabilidad

Probabilidad de distribucin: una distribucin de probabilidad sobre un espacio


muestral S = {s1, S2, S3, .... SN} Es una funcin de P que asigna una
probabilidad a cada resultado en la muestra Espacio. P es un mapa de la S a la
unidad intervalo, P: S [0,1], que debe satisfacer
Eventos: Los eventos son subconjuntos del espacio muestral. Nosotros puede
extender una distribucin de probabilidad P de S al conjunto de todos los
subconjuntos de S que denotamos por S, mediante el establecimiento de
para cualquier E . Un evento cuyo probabilidad es 0 es imposible y un evento
cuyo probabilidad es 1 es seguro que ocurra.
Pgina 3

Conceptos de la Teora de la Probabilidad


Si solamente se acontecimientos y 0 entonces:

Valor Esperado Si S = {s
1
,S
2
,S
3
, .... S
N
} Es un espacio muestral
con distribucin de probabilidad, y: es una funcin
desde el espacio de muestra a un espacio vectorial, la
valor esperado es:
Pgina 4

Ing. Edgar Ochoa Figueroa, MgT


4
03/03/2011

La sorpresa y la entropa

En la vida cotidiana, los eventos pueden sorprendernos. Por lo general, la


ms improbable o un evento inesperado es, la ms
sorprendente que es. Podemos cuantificar esta idea utilizando un
distribucin de probabilidad.

Sorpresa: Si es un evento en un espacio de muestra, definir la sorpresa de ser:


Eventos para los que 1, que son seguro que se produzca, tener cero sorpresa,
como era de esperar, y acontecimientos que son imposibles, es decir, para el cual
0, tienen infinita sorpresa.
Pgina 5

La sorpresa y la entropa
Entropa Podemos restringir la sorpresa de la muestra espacio y consideran que
es una funcin de la muestra espacio para los nmeros reales.

El valor esperado de la sorpresa es la entropa del distribucin de probabilidad.

Si el espacio muestral es S Con distribucin de probabilidad, la entropa de la


probabilidad distribucin viene dada por
Pgina 6

La sorpresa y la entropa

Tenga en cuenta que-plog 2 (P) se aproxima a 0 y tambin como p tiende a 1.

Esto significa que los resultados que estn casi seguro que ocurra y resultados
que son poco probables de ocurrir ambos contribuyen poco a la entropa.

Resultados cuya probabilidad es cerca de 0.4 crea un comparativamente gran


contribucin a la entropa.
En trminos generales, un sistema cuya entropa es E es casi tan impredecible
como un sistema con 2E resultados igualmente probables.
Pgina 7

La sorpresa y la entropa
Ejemplo: S = {s1, S2}, Con P (Si) = 0,5, calcular el entropa.
Pgina 8

La sorpresa y la entropa

Ejemplo: S = {s1, S2}, Con P (s1) = 0,96875 y P (s2) =0.03125, calcular la


entropa.
Pgina 9

La sorpresa y la entropa
Ejemplo: S = {s1, S2}, Con P (s1) = 1 y P (s2) = 0,calcular la entropa.
Pgina 10

La sorpresa y la entropa

Ejemplo: S = {s1, S2, S3, S4, S5, S6,}, Con P (Si) = 1/6 para i =1,2 .... 6,
calcular la entropa.
Pgina 11

Las unidades de entropa


Las unidades en que se mide la entropa dependen de la base de los logaritmos
utilizado para calcularlo.
Si utilizamos logaritmos a la base 2, a continuacin, la unidad es el bit.

Si usamos los logaritmos naturales (base e), la entropa es medido en unidades


naturales, a veces referido como liendres.
Pgina 12

Las unidades de entropa


Si H se mide la entropa de una distribucin de probabilidad usando logaritmos
naturales, y H r es la entropa de la misma distribucin de probabilidad medido
usando logaritmos a la base r, luego
Pgina 13

Fuente de informacin

Fuente de informacin: es un objeto que produce un evento, se selecciona el


resultado de que al azar de acuerdo con una distribucin de probabilidad.

Una fuente prctica en un sistema de comunicacin es un dispositivo que produce


mensajes y que puede ser ya sea analgica o discreta.
Las fuentes de informacin pueden ser clasificados como de memoria o estar sin
memoria.
Pgina 14

Fuente de informacin

Una fuente de la memoria es aquella para la cual un smbolo actual depende del
smbolo anterior.

Una fuente sin memoria es uno para el cual cada smbolo producido es
independiente de los smbolos anteriores.

Un discreto sin memoria Fuente (DMS) puede ser caracterizado por la lista de los
smbolos, la probabilidad asignacin a estos smbolos, y la especificacin de
la tasa de generacin de estos smbolos por la fuente.
Pgina 15

Fuente de informacin

Datos sobre el contenido de un Smbolo: considere un DMS, denotado


por X, con el alfabeto {x1, X2, X3, ........ Xm}, El contenido de informacin de un
smbolo x , Denotado por I (x), Es definido por
Si la tasa de tiempo en el que la fuente X emite smbolos es r (Smbolos / s), la
tasa de informacin R de la fuente es dada por
Pgina 16

Espacios de muestra Infinite

Si el espacio de muestra es un continuo, en particular, el verdadero line, las


sumas convertirse integrales.

En lugar de la funcin de distribucin de probabilidad, se utiliza el


funcin de densidad de probabilidad f, que tiene la propiedad de que

La media y la varianza de la densidad de probabilidad


funcin se definen por
Espacios de muestra Infinite

La generalizacin obvia de la definicin de la entropa para una funcin de


densidad de probabilidad f definida en la recta real es
Pgina 18

Espacios de muestra Infinite

Ejemplo: calcular la entropa de una gaussiana


distribucin
Pgina 19

Ing. Edgar Ochoa Figueroa, MgT


19
03/03/2011
Espacios de muestra Infinite
Pgina 20

Ing. Edgar Ochoa Figueroa, MgT


20
03/03/2011
Espacios de muestra Infinite
Pgina 21

Ing. Edgar Ochoa Figueroa, MgT


21
03/03/2011
Problemas

Un DMS X tiene cuatro smbolos x


1
,X
2
,X
3
,X
4

con probabilidades
P (x
1
) = 0.4, P (x
2
) = 0.3, P (x
3
) = 0.2, P (x
4
) = 0,1, calcule
H (X) y encontrar la cantidad de informacin contenida en el
Mensajes de x
1
,X
2
,X
1
,X
3
yX
4
,X
3
,X
3
,X
2.
Pgina 22

Ing. Edgar Ochoa Figueroa, MgT


22
03/03/2011
Problemas

Una alta resolucin de imagen de TV en blanco y negro consiste en


aproximadamente 2 x 10
6
elementos de imagen y 16 diferentes
niveles bighteness. Las imgenes se repiten a razn de 32
por segundo. Todos los elementos de imagen se supone que son
niveles independientes, y todos tienen la misma probabilidad de

ocurrencia. Calcular el promedio de la informacin


transmitido por esta fuente de imagen del televisor.
Pgina 23

Ing. Edgar Ochoa Figueroa, MgT


23
03/03/2011
Problemas

Considrer una fuente que tiene dos smbolos, puntos y rayas.


La duracin del punto es de 0,2 s, la duracin guin es 3 veces los
duracin del punto. La probabilidad de que el punto de que ocurre es
el doble que la del tablero de instrumentos, y el tiempo entre smbolos es
0,2 s, calcular la tasa de informacin de la fuente.
Pgina 24

Ing. Edgar Ochoa Figueroa, MgT


24
03/03/2011
Problemas