Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Teoria de La Informacion1 PDF
Teoria de La Informacion1 PDF
N L N L T S L ...
N N N T N S N ...
N L S S N N S ...
T T S S L S N ...
L L N S L N N ...
L L L T L L N ...
N S L N N L N ...
A={N,L,T,S}
y una funcin de probabilidad
p(x)=Probabilidad(X=x)
con x en A.
I(x) = -log2(p(x))
H ( X ) EI ( x) p( x) log 2 p ( x)
X
Idea: La entropa mide la informacin media, y por
tanto, la cantidad media de smbolos necesarios.
H ( X ) p ( x) log p ( x)
xA
Nublado 0.5 00 0
Sol 0.25 01 10
Alcanzamos la entropa.
Caso 1
p1=p2=0.5; x1=0; x2=1
H(X)=0.5 x log2(2) + 0.5 x log2(2) = 1
L = 0.5 x 1 + 0.5 x 1 = 1
Caso 2
p1=0.1; p2=0.9; x1=0; x2=1
H(X)=0.1 x log2(10) + 0.9 x log2(10/9) = 0.467
L = 0.1 x 1 + 0.9 x 1 = 1
min{L} H ( X )
Se puede demostrar tambin que el bit rate se puede
acercar arbitrariamente a la entropa.
H ( X , Y ) E{ log p ( x, y )}
p ( x, y ) log p( x, y )
Teorema (Regla de la cadena):
H ( X , Y ) H ( X ) H (Y | X )
H (Y | X ) p( x)H (Y | X x )
x A ( X )
p (x , y ) log p( y | x)
x A ( X ) y A (Y )
p( x) p( x)
D( p || q ) p( x) log E log
x A q( x) q( x)
Teorema:
D( p || q ) 0
y la igualdad se cumple si p(x)=q(x)
Extensin de orden N
zi=(xi1, xi2, ... , xiN)
p(zi)= p(xi1) p(xi2)... p(xiN)
Teorema:
H(XN)=N.H(X)
C1={00,01,10,11}
L1 = 0.01 x 2 + 2 x ( 0.09 x 2 ) + 0.81 x 2 = 2
C2={111,110,10,0}
L2 = 0.01 x 3 + 0.09 x 3 + 0.09 x 2 + 0.81 x 1 = 1,29
n
H ( X1 ,..., X n ) H ( X i | X i 1 ,..., X1 )
i 1
Teorema:
n
H ( X1 ,..., X n ) H ( X i )
i 1
p ( X i x | X i 1 , , X i k )i, k
H ( X | X i1, , X i k )
p( X i x | X i 1, , X i k ) log 2 p( X i x | X i 1 , , X i k )
H MKS ( X ) p ( X i 1 , , X i k ) H ( X | X i 1 , , X i k )
x ai xi
iT
El alfabeto de los errores de prediccin ser el doble
de grande que el original.
La prediccin es =(a+b+c+d)/4.
I a1 I (i, j 1) a2 I (i 1, j 1) a3 I (i 1, j )
Si asumimos I estacionario con media 0. Encontramos
los ai minimizando la esperanza del error.
i 1
Observacin: C(x) es el cdigo para x y l(x) su largo
L(C ) p ( x)l ( x)
Ejemplo: x A
A={N,S,L,T}
p(N)=1/2 p(S)=1/4 p(L)=p(T)=1/8
C(N)=0 C(S)=10 C(L)=110 C(T)=111.
l(N)=1 l(S)=2 l(L)=l(T)=3
L (C)=1,75
no unvocamente instantneos
singulares decodificables
cdigos no
no
unvocamente instantneos
decodificables
singulares
d i
li
1
Dados li que cumplen lo anterior, existe un cdigo
instantneo con esos largos.
LC H X
y se da la igualdad si y solo si d-li = pi
1
Motivacin para log
p x
H ( X ) L* H ( X ) 1
1
H ( X ) Ln H ( X )
n
2 de mar de 2004 Codificacin de imgenes y v ideo 39
Cdigos de Huffman
0 0
0 p(N)=0.5 p(N)=0.5 p(N)=0.5 0
10 10
10 p(S)=0.25 p(S)=0.25
110 p(Y)=0.5 1
110 p(L)=0.125
p(X)=0.25
11
111 p(T)=0.125
111