Teora de la Informacin

2 de mar de 2004

Codificacin de imgenes y v ideo

El clima en el Ro de la Plata...
N: nublado; S: soleado; L: lluvia; T: tormenta
N

...

...

...

...

...

...

...

p(N)=0.5, p(S)=0.25, p(L)=0.125, p(T)=0.125

2 de mar de 2004

Codificacin de imgenes y v ideo

Motivacin
Para comunicar estos cuatro smbolos se acuerda usar
el siguiente cdigo:
C(N) = 00
C(S) = 01
C(L) = 10
C(T) = 11
Tpicamente uno se pasa usando el cdigo C(N)=00.
La pregunta es: existe otra codificacin ms
eficiente?

2 de mar de 2004

Codificacin de imgenes y v ideo

Formalizacin
Se puede considerar al estado del tiempo como una
variable aleatoria discreta X, con un alfabeto

A={N,L,T,S}
y una funcin de probabilidad

p(x)=Probabilidad(X=x)
con x en A.

2 de mar de 2004

Codificacin de imgenes y v ideo

Formalizacin: informacin
Dado que tpicamente esta nublado, el smbolo N
contiene poca informacin, es predecible, es ms
probable, no es noticia.
Informacin. Una medida de la informacin podra ser:

I(x) = -log2(p(x))
I(N) = 1, I(S) = 2, I(L) = 3, I(T) = 3

2 de mar de 2004

Codificacin de imgenes y v ideo

Informacin
Qu pasa si supiramos que siempre est nublado (p
(N)=1)?. En este caso I(N) = 0, podemos predecir con
probabilidad 1 que va a estar nublado, no hay
incertidumbre, no hay informacin.
La situacin de mayor incertidumbre es cuando p(N)
=p(L)=p(S)=p(T)=1/4.

2 de mar de 2004

Codificacin de imgenes y v ideo

Informacin
Si
pudiramos
elegir
libremente
(smbolos
equiprobables) entre 2 smbolos necesitaramos 1 bit,
para 16 smbolos necesitaramos 4 bits y en general
para N smbolos se necesitan log2(N) bits.
log2(N) = -log2(1/N), lo que nos dice que hay una
relacin entre informacin y cantidad de bits
necesarios.

2 de mar de 2004

Codificacin de imgenes y v ideo

Entropa
La entropa H(X) es la media de la informacin de la
fuente:

H ( X ) EI ( x) p( x) log 2 p ( x)
X

Idea: La entropa mide la informacin media, y por

tanto, la cantidad media de smbolos necesarios.

2 de mar de 2004

Codificacin de imgenes y v ideo

Entropa
Se puede ver fcilmente H(X)>=0. Esto corresponde
al caso de menor incertidumbre
Adems, H(X)<=log(|A|), |A|=cantidad de elementos
A. Lo que corresponde al caso de mayor
incertidumbre, smbolos equiprobables.

2 de mar de 2004

Codificacin de imgenes y v ideo

Entropa
Definicin: x es una variable aleatoria discreta
(V.A.D.) con probabilidad p(x) y un conjunto de
mensajes posibles A={x1,...,xN}.
Definicin: Entropa

H ( X ) p ( x) log p ( x)
xA

Observacin: H(X) = E{ -log p(X) }

2 de mar de 2004

Codificacin de imgenes y v ideo

10

Ejemplos de cdigos

2 de mar de 2004

Evento

Probabilidad

Cdigo 1

Cdigo 2

Nublado

0.5

00

Sol

0.25

01

10

Lluvia

0.125

10

110

Tormenta

0.125

11

111

Codificacin de imgenes y v ideo

11

Largo medio
El largo medio de estos cdigos es:

L E{C ( x)} p ( x)C ( x)

X

donde C(x) es el largo de x.

Para este caso
L1 = 2
L2 = 0.5 x 1 + 0.25 x 2 + 0.125 x 3 + 0.125 x 3 = 1.75
H(x) =1.75
Alcanzamos la entropa.

2 de mar de 2004

Codificacin de imgenes y v ideo

12

Largo medio: ejemplo

Fuente con dos smbolos X={x1,x2}, con probabilidades
p1 y p2.
Caso 1
p1=p2=0.5; x1=0; x2=1
H(X)=0.5 x log2(2) + 0.5 x log2(2) = 1
L = 0.5 x 1 + 0.5 x 1 = 1
Caso 2
p1=0.1; p2=0.9; x1=0; x2=1
H(X)=0.1 x log2(10) + 0.9 x log2(10/9) = 0.467
L = 0.1 x 1 + 0.9 x 1 = 1
2 de mar de 2004

Codificacin de imgenes y v ideo

13

Shannon
Se puede demostrar que no existe ningn cdigo que
permita codificar a un bit-rate menor a la entropa.
Teorema (Shannon 1948)

min{L} H ( X )
Se puede demostrar tambin que el bit rate se puede
acercar arbitrariamente a la entropa.

2 de mar de 2004

Codificacin de imgenes y v ideo

14

Entropa conjunta
Definicin: La entropa conjunta H(X,Y) de un par de
variables aleatorias con distribucin p(x,y) es:

H ( X , Y ) E{ log p ( x, y )}
p ( x, y ) log p( x, y )
Teorema (Regla de la cadena):

H ( X , Y ) H ( X ) H (Y | X )
2 de mar de 2004

Codificacin de imgenes y v ideo

15

Entropa Condicional
Definicin: La entropa condicional de dos variables
(X,Y)~p(x,y) es:

H (Y | X )

p( x)H (Y | X x )

x A ( X )

p (x , y ) log p( y | x)

x A ( X ) y A (Y )

Observacin: A(X) es el alfabeto de X

2 de mar de 2004

Codificacin de imgenes y v ideo

16

Kullback-Leibler
Definicin: La entropa relativa o distancia KullbackLeibler entre dos distribuciones de probabilidad p(x) y
q(x) se define como:

p( x)
p( x)
D( p || q ) p( x) log
E log

x A
q( x)
q( x)
Teorema:

D( p || q ) 0

y la igualdad se cumple si p(x)=q(x)

2 de mar de 2004

Codificacin de imgenes y v ideo

17

Kullback-Leibler: Aplicaciones
Teorema: H(X) <= log(|A|)
Teorema: El condicionar reduce la entropa,
H(Y|X) <= H(Y)
y la igualdad se da si X e Y son independientes.

2 de mar de 2004

Codificacin de imgenes y v ideo

18

Extensin de una fuente

Extensin de orden N
zi=(xi1, xi2, ... , xiN)
p(zi)= p(xi1) p(xi2)... p(xiN)
Teorema:

H(XN)=N.H(X)

2 de mar de 2004

Codificacin de imgenes y v ideo

19

Extensin de una fuente: ejemplo

Fuente con dos smbolos X={x1,x2}, con probabilidades
p1=0.1 y p2=0.9
Z={x1x1, x1x2, x2x1, x2x2}
p(Z)={0.01, 0.09, 0.09, 0.81}
H(Z)=0.01 x log2(100) + 2 x ( 0.09 x log2(100/9) )
+ 0.81xlog2(100/81) = 0.934=2 x 0.467
C1={00,01,10,11}
L1 = 0.01 x 2 + 2 x ( 0.09 x 2 ) + 0.81 x 2 = 2
C2={111,110,10,0}
L2 = 0.01 x 3 + 0.09 x 3 + 0.09 x 2 + 0.81 x 1 = 1,29
2 de mar de 2004

Codificacin de imgenes y v ideo

20

Regla de la cadena
Teorema: (Regla de la cadena) (X1,...,Xn) ~ p(x1,...,xn):
n

H ( X1 ,..., X n ) H ( X i | X i 1 ,..., X1 )
i 1

Teorema:
n

H ( X1 ,..., X n ) H ( X i )
i 1

2 de mar de 2004

Codificacin de imgenes y v ideo

21

Dependencia
Observando el estado del tiempo en das sucesivos se
ve que el estado del tiempo en un da depende del da
anterior y condiciona el siguiente.
No es simplemente
memoria.

2 de mar de 2004

una

variable

Codificacin de imgenes y v ideo

aleatoria

sin

22

Formalizacin: Markov de orden k

Una fuente se dice Markov de orden k si smbolos
sucesivos son estadsticamente dependientes, i.e. cada
smbolo depende de los k anteriores
Una fuente MKS se especifica con:

p ( X i x | X i 1 , , X i k )i, k

2 de mar de 2004

Codificacin de imgenes y v ideo

23

MKS: Entropa
La entropa de una fuente markov se define a partir de
la entropa condicional

p( X

H ( X | X i1, , X i k )
i

x | X i 1, , X i k ) log 2 p( X i x | X i 1 , , X i k )

H MKS ( X ) p ( X i 1 , , X i k ) H ( X | X i 1 , , X i k )
En general HMKS(X) < H DMS(X), por lo tanto, podramos
comprimir an ms!
Vale el resultado H(XN)=N.H(X)

2 de mar de 2004

Codificacin de imgenes y v ideo

24

Mtodos para smbolos

dependientes
Codificacin condicional: Se calculan las nuevas
probabilidades dado el smbolo anterior. (H(X|Y)<H(X)
)
Codificacin en bloques: Se agrupan
consecutivos en bloques (nuevos smbolos).

smbolos

Codificacin predictiva: Dado Xi predecimos Xi+1 y

codificamos la diferencia.

2 de mar de 2004

Codificacin de imgenes y v ideo

25

Ejemplo: codificacin
predictiva de imgenes
Idea: Usa la redundancia presente en la imagen (la
correlacin entre los pxeles) para estimar el nivel de
gris en (i,j): (i,j). Error: e(i,j)=(i,j)-I(i,j).
Compresin con prdidas. Los valores de e(i,j) son
cuantificados y comprimidos.
Compresin sin
cuantificada.

2 de mar de 2004

prdidas.

La

Codificacin de imgenes y v ideo

seal

no

es

26

Ejemplo: codificacin
predictiva de imgenes
Prediccin lineal. T: template con pxeles anteriores

x ai xi
iT

El alfabeto de los errores de prediccin ser el doble

de grande que el original.
Un buen predictor minimiza el error; el smbolo ms
probable ser el 0.

2 de mar de 2004

Codificacin de imgenes y v ideo

27

Ejemplo: codificacin
predictiva de imgenes

2 de mar de 2004

Codificacin de imgenes y v ideo

28

Ejemplo: codificacin
predictiva de imgenes
La prediccin es =(a+b+c+d)/4.

2 de mar de 2004

Codificacin de imgenes y v ideo

29

Ejemplo: codificacin
predictiva de imgenes
Imagen diferencia y su histograma

2 de mar de 2004

Codificacin de imgenes y v ideo

30

Ejemplo: codificacin
predictiva de imgenes
Cmo hallar los ai ?

I a1 I (i, j 1) a2 I (i 1, j 1) a3 I (i 1, j )
Si asumimos I estacionario con media 0. Encontramos
los ai minimizando la esperanza del error.

a1R( 0,0) a2 R( 0,1) a3 R (1,1) R (1,0)

a1R( 0,1) a 2R (0,0) a3 R (1,0) R(1,1)
a1R(1,1) a2 R(1,0) a3 R( 0,0) R (0,1)
2 de mar de 2004

Codificacin de imgenes y v ideo

31

Cdigos
Definicin: Un cdigo de fuente C, para una V.A.D, es
un mapeo de A a D*, el conjunto de secuencias finitas
de smbolos de una alfabeto D.
N
i

D* D

i 1
Observacin: C(x) es el cdigo para x y l(x) su largo

Observacin: Tpicamente usaremos:

D =B = {0,1}

2 de mar de 2004

Codificacin de imgenes y v ideo

32

Cdigos: Largo Esperado

Definicin: El largo esperado de un cdigo de fuente C
es:

L(C ) p ( x)l ( x)

x A
Ejemplo:
A={N,S,L,T}
p(N)=1/2 p(S)=1/4 p(L)=p(T)=1/8
C(N)=0 C(S)=10 C(L)=110 C(T)=111.
l(N)=1 l(S)=2 l(L)=l(T)=3
L (C)=1,75

2 de mar de 2004

Codificacin de imgenes y v ideo

33

Cdigos no singulares
Definicin: Un cdigo se dice no singular si cada
elemento de A se mapea en un elemento diferente en
D*.
Definicin: La extensin C* de C es el mapeo de
secuencias de smbolos de A en secuencias de D,
C(x1x2...xn)=C(x1)C(x2)...C(xn)

2 de mar de 2004

Codificacin de imgenes y v ideo

34

Cdigos de decodificacin nica

Definicin: Un cdigo se dice de decodificacin nica
si su extensin es no singular.
Definicin: Un cdigo es instantneo si
palabra de cdigo es prefijo de otra.

no
singulares
cdigos
singulares
2 de mar de 2004

ninguna

unvocamente
decodificables

instantneos

no
unvocamente
decodificables

no
instantneos

Codificacin de imgenes y v ideo

35

Desigualdad de Kraft
Teorema: Para cada cdigo instantneo sobre un
alfabeto de dimensin d=|D|, los largos de las palabras
del cdigo, li , deben satisfacer:

li

Dados li que cumplen lo anterior, existe un cdigo

instantneo con esos largos.

2 de mar de 2004

Codificacin de imgenes y v ideo

36

Cdigos ptimos
Teorema: El largo esperado (L) de cualquier cdigo
instantneo (C) para una V.A.D cumple

LC H X
y se da la igualdad si y solo si d-li = pi
(1er. Teorema de Shannon)

2 de mar de 2004

Codificacin de imgenes y v ideo

37

Cotas para el L ptimo

Motivacin para

1
log

p x

Teorema: Sean li* los largos de los cdigos ptimos y

L* el largo esperado asociado entonces:

H ( X ) L* H ( X ) 1

2 de mar de 2004

Codificacin de imgenes y v ideo

38

Codificacin en bloques
Que pasa si juntamos smbolos?
C(x1...xn), l(x1...xn)
Definicin: Largo esperado por smbolo

1
Ln p ( x1 ,..., xn ) l ( x1 ...xn )
n
Corolario: Para Xi I.I.D

1
H ( X ) Ln H ( X )
n
2 de mar de 2004

Codificacin de imgenes y v ideo

39

Cdigos de Huffman
Podemos llegar a codificar con H(X) bits?
Idea: Usar cdigos ms cortos para smbolos ms
probables (Cdigo Morse).
Ejemplo. C(N)=0, C(S)=10, C(L)=110, C(T)=111.
Cmo encontrar
sistemtica?

2 de mar de 2004

el

cdigo

Codificacin de imgenes y v ideo

ptimo

de

forma

40

Algoritmo de Huffman

0
10
110

p(N)=0.5

p(S)=0.25

p(L)=0.125

0
10

p(N)=0.5

p(S)=0.25

p(T)=0.125

2 de mar de 2004

p(N)=0.5

p(Y)=0.5

10

110
p(X)=0.25

111

11

111

Codificacin de imgenes y v ideo

41

Run Length Encoding

til cuando smbolos consecutivos son idnticos. Cada
smbolo es seguido por el nmero de repeticiones.

Zero run length coding

2 de mar de 2004

Codificacin de imgenes y v ideo

42