Codificacion

3- Codificacin y difusin de
informacin multimedia
Factores de diseo de un codec
Codificacin basada en la entropa
Ejemplos: Huffman, Aritmtica, etc.
Codificacin basada en la fuente.

Ejemplos: Diferencial, Transformada, etc.
Codificacin y compresin de audio

Compresin de imagen. Redundancia
espacial.
Estndar JPEG
JPEG Escalado
Compresin de vdeo.
Digitalizacin y Codificacin de vdeo. Tipos de
vdeo.
Redundancia temporal.
Estimacin de movimiento: algoritmos.
Estndares: MPEG e ITU
Bibliografa
[FLU95] Understanding networked
multimedia
[GIB98] Digital Compression for
Multimedia
[TSU99] Introduction to video coding
standards for multimedia communication
[JPEGESC] JPEG escalado - Tesis
[JPEGAD] JPEG image coding with
adaptive quantization
[TSU99] Introduction to video coding
standards for multimedia communication
[H.264] Overview of the H.264 / AVC
Video Coding Standard
[MPEG4] MPEG-4 Overview
[HiJa94] Compressing still and moving
images with wavelets
Difusin de
TECNOLOGAS
DE vdeo.
RED AVANZADAS Master IC 2011-2012
TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012
Introduccin a la compresin de datos.
Muchas aplicaciones multimedia requieren

volmenes de informacin importantes:
CD-ROM: 648 MB
72 sonido estreo.
30 de vdeo (estudio TV).
Una pelcula de 90 ocupara 120 GB.

Una foto (35 mm) a resolucin 2000x2000 ocupara
10MB.
Un canal de HDTV requiere un ancho de banda de
2Gbps.
Por esta razn se emplean tcnicas de

compresin que permitan reducir el volumen de
informacin
2
Introduccin a la compresin de datos (II).
Un sistema de compresin consta de:

Codificador y decodificador
Codificador y decodificador pueden ser:

Asimtricos
El codificador suele ser ms complejo y lento que el
decodificador (Ej.: Vdeo por demanda)
Simtricos
Coste computacional similar (Ej: Videoconferencia).
Con prdidas (lossy compression) o irreversible

Adecuada para medios continuos (audio y vdeo).
Mayores tasas de compresin.
Sin prdidas (lossless compression) o reversible:

Ficheros de datos, imgenes mdicas, etc.
3
Factores en el diseo de un codificador.
Calidad de la seal
- BER (Bit Error Ratio)
- SNR (Signal/Noise)
- MOS (Mean Opinion Score)
Eficiencia
- Tasa de compresin
Complejidad
- Espacio de memoria
- Potencia (mW)
- Operaciones/Seg.
Retardo

5
Dos clases de tcnicas de compresin.

Entropy encoding
Codifica los datos sin necesidad de conocer la naturaleza
de estos.
De propsito general (todo tipo de datos).
Son tcnicas de compresin sin prdidas.
Ejemplos: Statistical (Huffman, aritmtica,etc.), Runlength.
Source encoding
Codifica los datos basndose en las caractersticas y
propiedades de estos.
Suelen ser tcnicas de compresin con prdidas.
Se obtienen tasas de compresin elevadas.
Codificadores/decodificadores de propsito especfico.
Ejemplos:
Differential, transform, vector quantization, etc.


Compresin de imagen. Redundancia espacial.
Estndar JPEG
JPEG Escalado
Compresin de vdeo.
Digitalizacin y Codificacin de vdeo. Tipos de vdeo.

Difusin de vdeo.
Codificacin basada en la entropa.

Entropa:
Valor medio de informacin de un conjunto de smbolos
procedente de una fuente de informacin (es imposible
de medir en la prctica).
1
S pi log
2
(p H
= probabilidad
del smbolo
i)
i
pi
i
Por ejemplo: Sea S = {4,5,6,7,8,9}, en donde la

probabilidad de cada smbolo es la misma (1/6).
1
H S 6 log 2 6 2.585
6
7
Segn la teora de la informacin (Shannon), esta

fuente no puede ser codificada (sin prdidas) con
menos de 2.585 bits por smbolo.
Statistical encoding
Trata de identificar los smbolos (patrones de

bits) que ms se repiten en el conjunto de
datos de entrada.
Se codifican con pocos bits los smbolos ms
frecuentes, mientras que los menos frecuentes
son codificados con ms bits.
Ejemplos:
Codificacin Morse
E: y Q:---
Codificacin Huffman.
Codificacin aritmtica.
Codificacin Huffman
Representan los smbolos con un nmero

de bits inversamente proporcional a su
frecuencia.
Algoritmo genrico:
Se construye un rbol binario de abajo hacia
arriba agrupando los smbolos de menor
frecuencia y asignado la suma de las
probabilidades de ambos al nodo padre del rbol.
Cada smbolo estar representado por una hoja
del rbol y su cdigo sern los bits recorridos
hasta la raz del mismo.
Ejemplo:
9
Codificacin Huffman: Ejemplo
ABCDE(39)
1
BCDE(24)
0
BC(13)
0
A(15) B(7)
1
0
C(6) D(6)
DE(11)
1
E(5)
Smbolo
Cdigo
100
101
110
111
Codificacin aritmtica
Identifica una secuencia de smbolos

asignndoles una representacin binaria de un
intervalo de una longitud inferior a la unidad.
Siempre son ms eficientes que los cdigos Huffman
Separa el modelo probabilstico de la asignacin de
bits pudiendo definir codificadores adaptativos.
Es computacionalmente eficiente, aunque est sujeto
a patentes.
Ejemplo:
Supongamos slo dos smbolos, A y B con una
probabilidad de P(A)=1/3 y P(B)=2/3.
1
1
Codificacin aritmtica: Ejemplo
P(A) = 1/3
1
8/9
AA
AB
2/3
BA
16/27
P(B) = 2/3
segmento
cdigo
AAA
AAB
ABA
ABB
31/32
15/16
14/16
.11111
.1111
.1110
6/8
.110
BAA
BAB
10/16
.1010
4/8
.100
BBA
3/8
.011
BBB
1/4
.01
4/9
8/27
BB
0
1
2
Run-length encoding
Se basa en detectar las repeticiones de

smbolos (bits, nmeros, etc) en los datos a
codificar.
Ejemplo:
Datos a codificar (42): 3150000000376541111111127000000000000003

Datos codificados (21):
Tasa de compresin: 50%
Este
patrn es frecuente en multimedia:
Audio: Tiras de ceros que representan

silencios.
Vdeo e imagen: Fondos del mismo color
(paredes, cielos, etc.)
1
3
315A0737654A1827A0143


Estndar JPEG
JPEG Escalado
Compresin de vdeo.

Difusin de vdeo.

1
5
Se basan fundamentalmente en las

propiedades de la fuente de datos a codificar.
Suelen tolerar prdidas en la codificacin
(lossy codecs) que perceptualmente pasan
inadvertidas para el usuario.
Son codificadores de propsito especfico.
Por trmino general obtienen mayores
prestaciones que los codificadores basados
en la entropa.
Codificacin Diferencial
Se basa en la codificacin de las diferencias

entre dos smbolos consecutivos.
Ciertos tipos de datos tienen la propiedad de
similitud entre smbolos consecutivos:
Seal de Audio, vdeo, imgenes, etc.
Esto permite codificar con pocos bits las

diferencias.
Ejemplo:
DPCM (Differential Pulse Code Modulation)
Codificacin con prdida.

1
6
Transform encoding
Se basa en transformar el dominio (Ej.: del
temporal al de la frecuencia) de los datos de
entrada (Ej.: seal de audio).
Restar a todos los
pixels el valor del
Imgen BW
Ejemplos:
primero
4x4 pixels
Aritmtica:
Fourier:
160
161
160
159
160
165
167
160
161
166
165
160
F(t)
160
158
161
160
160
1
0
-1
0
5
7
0
1
6
5
0
0
-2
1
0
DCT (Discrete Cosine Transformation):
Muy comn en compresin de imgenes estticas (JPEG).
1
7
Codificacin sin prdida*.

1
8
Vector quantization
Es directamente aplicable a imgenes y audio.

Consiste en lo siguiente (imgenes):
La imagen se divide en bloques de tamao fijo
(vectores).
Se construye una tabla, code-book, con todos los
vectores diferentes encontrados.
Se codifica la imagen como una sucesin de ndices a
la tabla.
Tanto el codificador como el decodificador necesitan
conocer la tabla (code-book).
La tabla puede estar predefinida o ser creada
dinmicamente.
Si en una imagen predomina un nmero reducido de
vectores, el ndice de compresin puede ser
importante.
Vector quantization (II)
Ejemplo:
Imagen original dividida
en vectores de nxn pixels
0
2
3
0
Si
1
9
0
2
2
4
1
2
2
0
0
0
0
0
Code-book
0
1
2
3
4
001022032200400
un vector no se encuentra en el code-book:

Buscaremos el que ms se parezca.
Idem + enviar algn dato para aumentar el parecido (valor
medio).
Idem + enviar lo que sea necesario (vector error) para
reconstruir el vector.
Codificacin
con prdida*.
Vector quantization (III)
CLUT (Color Look-Up Table)

Es utilizado para codificar imgenes RGB, que
normalmente no utilizan todos los colores posibles.
Se utiliza una tabla (code-book) con los colores
usados en la imagen. Cada pixel es representado con
el ndice de la tabla correspondiente a su color.
Ejemplo:
Imagen RGB de 24bits de color que solo usa 256.
Se construye una tabla de 256 entradas y en cada una
de ellas se guarda un color (24 bits).
En lugar de usar 24bits/pixel, ahora usaremos 8bits/pixel
Tasa de compresin: ~66%
Codificacin ms lenta que decodificacin.

2
0


Estndar JPEG
JPEG Escalado
Compresin de vdeo.

Difusin de vdeo.

2
2
Introduccin a la codificacin y compresin de

audio.
Las secuencias de audio forman parte de las

aplicaciones multimedia.
El estudio de la codificacin y compresin se
puede enfocar en funcin de la aplicacin:
Aplicaciones interactivas (audio-conferencia audio)
codecs simtricos.
Aplicaciones de difusin y reproduccin de medios (TV
digital, audio Hi-Fi, DVD, etc.) codecs asimtricos
Caractersticas de una seal de audio.

Distintos tipos de calidad de audio.
Tcnicas de compresin de audio.

2
3
Caractersticas del audio

Una seal de audio no es ms que una onda acstica
(variaciones de presin del aire)
La seal de audio es unidimensional (tiempo)
El micrfono transforma las ondas acsticas que lo
golpean, en seales elctricas (niveles de voltaje)
El odo es muy sensible a las variaciones de sonido de corta
duracin (ms) al contraro que el ojo humano.
La relacin de dos sonidos A y B se mide en decibelios:
dB=20 log10 (A/B).
La intensidad de un sonido A se mide en decibelios

tomando como referencia el menor sonido audible.
0 dB: Menor sonido audible
La seal de referencia (B) es una onda senoidal a 1khz que provoca
una presin de 0.0003 dinas/cm2
A y B son amplitudes (si fueran potencias sera 10 log10 (A/B))
50 dB: Conversacin normal.
120dB: Umbral del dolor.
Caractersticas del audio
El rango de frecuencias audibles por los

humanos est entre 20Hz y 20KHz.
Audible
No audible
24

2
5
Digitalizacin y cuantificacin.
La
digitalizacin de las seales de audio se

realizan mediante convertidores A/D.
Muestrean la seal analgica de audio a una

frecuencia determinada.
Segn Nyquist: Si la seal de entrada tiene una
frecuencia mxima de f, la frecuencia de muestreo tiene
que ser de al menos 2f (al muestrear a Sf captaremos
hasta la frec. Sf/2)
En el conversor D/A, un filtro paso bajo puede interpolar
la parte de seal entre las muestras, para poder
reconstruir perfectamente la seal original.

2
6
Cuantificacin:
Las muestras obtenidas se

codifican en un nmero finito de bits
Error de cuantificacin (quantification noise).

Codificacin lineal o logartmica.
PCM
(Pulse Code Modulation).
Usado para la digitalizacin de seales de audio.

Parmetros: Sf, bits/muestra, niveles de cuantificacin*

2
7
Cuantificacin
PCM lineal
Los niveles de cuantificacin estn espaciados de

manera equitativa.
Cada bit de resolucin aade 6 dB de rango dinmico.
Con 16 bits por muestra se cubre totalmente el rango
dinmico del odo humano.
Cuantificaciones
no-lineales (logartmica)
Los pasos de cuantificacin decrecen logartmicamente.

El odo humano es menos sensible a sonidos fuertes.
Digitalizacin: Interfaz MIDI
MIDI (Musical Instrument Digital Interface).

Utilizado para codificar msica (instrumentos).
Codifica los elementos bsicos (notas, silencios, ritmos,
etc.) en mensajes MIDI.
Cada instrumento tiene su propio cdigo (hasta 127)
Un sintetizador interpreta los mensajes MIDI y produce la
seal de audio correspondiente.
Ventaja:
Reduce mucho el ancho de banda necesario (factor de 1000 !!)
Inconvenientes:
Necesidad de un sintetizador en ambos extremos (calidad de
sonido diferente).
Aplicable solo a msica.
2
8

2
9
Calidad de una seal de audio.
Voz (telefona)
Se define para los servicios de telefona digital.
Estndar G.711 (ITU): Codificacin logartmica.
Japn y USA: Transformacin -law.
Resto: Transformacin A-law. (+)
Parmetros:
Seal de audio de 3.5 KHz (BW).
Sf = 8 KHz
8 bits/muestra.
Tasa de bits: 64Kbps (N-ISDN).
Otras tcnicas de codificacin y compresin:

DPCM y ADPCM,
G.72x,
GSM,
LPC y CELP,
etc.
Calidad de una seal de audio.
CD-Digital Audio.
Calidad de audio superior: Sonido Hi-Fi estereofnico.
Utiliza una codificacin lineal. Las diferencias de amplitud
deben ser respetadas por igual.
Parmetros:
Seal de audio de 20 KHz (BW).
Sf = 41.1 KHz
16 bits/muestra.
Soporta estereofona (dos canales)
Tasa de bits: 1.411 Mbps.
Otros estndares utilizan esta calidad de audio:

DAT (32.4 y 48 KHz),
MPEG (32, 44,1 y 48 KHz),
DVI,
etc.
3
0
Parmetros especficos.
Tasa de bits (throughput):

Audio sin comprimir:
Calidad telefnica: 64Kbps.
Calidad CD: 1.411 Mbps.
Audio comprimido:
Calidad telefnica: 32, 16, 4 Kbps (ADPCM, CELP)
Calidad CD: 192 Kbps. (MPEG audio)
Retardo de trnsito (aplicaciones interactivas)

Conversacin:
Telefona: < 25 ms (evitar echo).
100 a 500 ms (sensacin de tiempo real).
3
1
Parmetros especficos.
Varianza del retardo (jitter).

Es el parmetro ms crtico para los streams de audio.
Solucin:
Tcnicas de ecualizacin del retardo.
Se suministra un tiempo adicional antes de comenzar la
reproduccin, almacenando los paquetes en un buffer de
entrada.
Consecuencias:
Incrementamos el retardo total.
Necesitamos recursos de memoria para el buffer de
ecualizacin.
Compromiso entre la capacidad de almacenamiento y

el mximo jitter tolerable por la aplicacin.
Tasas de error:
3
2
Calidad telefnica: < 10-2, Calidad CD: < 10-3
Algoritmos de compresin (Voz)

Codificacin diferencial:
DPCM (Differential Pulse Code Modulation).
Explota la redundancia temporal entre las muestras.
Se transmite la diferencia
entre muestras (bastante
menor).
Problema: Sobrecarga de gradiente (slope

overload)
Las diferencias en altas
frec.(cercanas a Nyquist) no
se pueden representar con
el mismo nmero de bits.
33

Codificacin
ADPCM
(Adaptive Differential Pulse Code

Modulation). Predice la muestra y cuantiza
adaptativamente.
Prediccin: Codifica la diferencia entre la muestra
actual y una estimacin basada en las ltimas n
muestras
X[n]
Xp[n-1]
3
4
diferencial adaptativa:
D[n]
C[n]
Quantizer
(adaptive)
Predictor
module
Codificador
C[n] Dequantizer
(adaptive)
Xp[n] Dq[n]
Dq[n]
Dequantizer
(adaptive)
Xp[n-1]
Xp[n]
Predictor
module
Decodificador

3
5

Codificacin
diferencial adaptativa:
ADPCM (Adaptive Differential Pulse Code

Modulation). Predice la muestra y cuantiza
adaptativamente.
Cuantizacin adaptativa: Usa pasos ms largos para
codificar diferencias entre muestras muy distintas en
magnitud (de alta frecuencia) y pasos ms pequeos
para muestras que son similares (bajas frecuencias).
Una implementacin de ADPCM
Algoritmo ADPCM (IMA: Interactive

Multimedia Association)
Algoritmo de dominio pblico. Calidad de audio e
ndice de compresin aceptables.
Sencillo y capaz de trabajar en tiempo real (software).
Indice de compresin: (PCMbits/4) a 1.
X[n]
D[n]
Xp[n-1]
Delay
Quantizer
(adaptive)
+
Codificador
Dq[n]
C[n] Dequantizer
(adaptive)
Xp[n] Dq[n]
Predictor
module
3
6
C[n]
Dequantizer
(adaptive)
Xp[n-1]
Xp[n]
Delay
Decodificador
Calidad telefnica: Recomendaciones ITU
G.701: Digitalizacin PCM

G.711: Codificacin logartmica -law y A-law
G.721: ADPCM
Muestreo a 8 Khz, muestras de 8 bits: 64 Kbps
Utiliza diferencias de 4 bits: tasa de bits final 32 Kbps
G.722: Sub-Band ADPCM.

Muestreo a 16 Khz, muestras de 14 bits: 224 Kbps
Codifica seales de audio de hasta 7 KHz (por el
muestreo)
Descompone la seal en dos bandas de 4 KHz.
A cada banda le aplica ADPCM.
Tasas de bits finales: 48, 56 y 64 Kbps.
G.723, G.726, G.727:
3
7
Variantes del G.721 (ADPCM).
Calidad telefnica: Vo-coding

LPC (Linear Predictive Coding) US-FS-1015
Define un modelo analtico del aparato fonador
Reduce cada segmento de audio a los parmetros del modelo que
ms se aproximan al original.
El decodificador recoge estos parmetros y sintetiza la voz
correspondiente.
LPC-10E puede bajar hasta 2.4 Kbps.
CELP (Code Excited Linear Prediction) US-FS-1016.

Es una versin mejorada del LPC.
Diferencia:
Utiliza un code-book con secuencias predefinidas para
aplicarlas a cada frame de audio, eligiendo aquella que ms se
aproxima al original. Adems, calcula los errores cometidos.
Se envan los parmetros y la versin comprimida de los
errores.
Tasa de bits de hasta 4.8 Kbps (calidad similar a ADPCM G.721 a
32 Kbps)
Variantes CELP:
3
8
GSM, VSELP, LD-CELP, ITU G.729, QCELP, MELT, etc.

3
9
Calidad telefnica
Tabla resumen de algunos codecs de audio.

Ao
1972
1976
1984
1990
1991
1991
1992
1992
1993
1995
1995
1995
1996
Tasa de bits
(Kbps)
64
2.4
32
4.15
13
4.8
16
8
1-8
8
6.3
5-6
2.4
Nombre
MOS
PCM (PSTN)
LPC-10
G.721 ADPCM
INMARSAT
GSM
CELP (US 1016)
G.728 (LD-CELP)
VSELP
QCELP
G.729
G.723.1
Half-Rate GSM
New LPC
4.4
2.7
4.1
3.2
3.6
3.2
4
3.5
3.4
4.2
3.98
3.4
3.3
Calidad CD
Estndares MPEG/audio (Estndar ISO)
MPEG (Moving Pictures Expert Group)
MPEG/audio ofrece altos ndices de compresin,
manteniendo la calidad del audio del stream original.
Son algoritmos de compresin con prdidas*.
MPEG-1 /audio
Muestreos: 32, 44.1 y 48 KHz.
Soportan uno o dos canales (diferentes modos de
operacin).
Tasas de bits: 32 a 256 Kbps/canal.
Indices de compresin: 2.7 a 24.
MPEG-2 /audio
4
0
Compatibilidad hacia atrs con MPEG-1.

Diseado para sistemas de sonido multicanal.
MPEG-1 audio.
El stream comprimido puede incluir informacin

auxiliar (acceso aleatorio, avance y retroceso
rpido, CRC, etc.)
Arquitectura de tres niveles
MPEG-1 Nivel I:
El ms sencillo. Tasa de bits 192 Kbps/canal.
Aplicaciones: Philips DCC
MPEG-1 Nivel II:

Complejidad media. Tasa de bits 128 Kbps/canal.
Aplicaciones: DAB, CD-I, Vdeo CD.
MPEG-1 Nivel III:

El ms complejo. Ofrece la mejor calidad de audio con
tasas de bits sobre 64 Kbps/canal. Est preparado para
N-RDSI.
4
1
Existen codecs hardware de los tres niveles

para aplicaciones de tiempo real.

4
2
MPEG audio: Fundamentos.
Se basa en la capacidad de percepcin que

tiene el odo humano (modelos psico-acsticos)
Enmascaramiento de seales dbiles (noise masking):

4
3
MPEG audio: Fundamentos.
Discriminacin frecuencial limitada.

La agudeza (selectividad) del odo humano en baja
frecuencia es muy superior que en altas frecuencias
(sub-band coding)
MPEG Audio: Diagrama de bloques

Codificador
PCM audio
Time-Frec
Sub-band
filtering
Asig. Bits.
Cuantizador
Codificador
Modelo
psico-acst.
Datos auxiliares
(opcional)
Decodificador
Stream de bits
comprimido
Desensamblado
Reconst.
de bandas
Datos auxiliares
(opcional)
4
4
Formato del
stream de bits
Stream de bits
comprimido
Transformacin
Frec-Time
PCM audio
MPEG-1 audio: Niveles.
Nivel I:
Se divide la seal de audio en 32 bandas de 750 Hz.
Tasa de muestreo: 48 Khz. Tamao de trama: 384 muestras
El umbral de enmascaramiento (SMR) se calcula con una
FFT de 512 puntos (modelo psico-acstico).
Para cada sub-banda se escoge uno de los 15 cuantizadores
definidos en funcin del SMR y la tasa de bits requerida.
Nivel II:
Utiliza un tamao de trama de 1152 muestras, una FFT de
1024 puntos (clculo del SMR) y una cuantizacin ms fina.
Nivel III:
4
5
Incrementa la resolucin en frecuencia de las 32 bandas

(MDCT), utiliza un modelo psico-acstico ms elaborado, y
aade una etapa de compresin Huffman.
MPEG Audio: Calidad de audio
Parmetros de calidad objetivos:

MSE (Mean Square Error).
Calcula el error cuadrtico medio entre la seal original
y la reconstruida con el codec.
1
MSE
N
s i s i
i 1
SNR (Signal-to-Noise Ratio)

Relacin logartmica entre dos seales. Se utilizar para
comparar la seal original con el error introducido por el
codec.
Se expresa en decibelios (dB).
1
SNR (dB) 10 log10
4
6
s i
i 1
MSE
2552
PSNR 10 log10
MSE

4
7
MPEG Audio: Calidad de audio.
Parmetros de calidad subjetivos:

MOS (Mean Opinion Score): MPEG define una serie de
tests para determinar la calidad de audio generada por
cada nivel.
Resultados:
Fuente:
Estreo, 16bits, 48KHz,
256 Kbps
Compresin 6:1
En condiciones de
escucha ptimas, expertos
en audicin han sido
incapaces de distinguir
secuencias comprimidas
de sus originales.


Estndar JPEG
JPEG Escalado
Compresin de vdeo.

Difusin de vdeo.
Introduccin a la codificacin de imgenes.

Las imgenes que percibimos estn compuestas
de ondas electromagnticas (: 250nm - 780nm).
A diferentes longitudes de onda, diferentes sensaciones de color.
El ojo es ms sensible a unos colores que a otros.

Dadas tres fuentes de luz de la misma intensidad y distinto color
(una roja, otra verde y otra azul), el ojo percibe la verde con el
doble de intensidad que la roja, y seis veces ms intensa que la
azul.
Los mecanismos de percepcin visual humanos

son menos sensibles y estrictos que los auditivos.
Ej.: Variaciones de frecuencia, supresin de imgenes, etc.
Mezclando 3 colores (RGB) podemos obtener otro.

Integra la informacin que recibe.
4
9
Captura y digitalizacin de imagen I

Las imgenes digitales estn compuestas de pxels
(picture element).
Una cmara fotogrfica digital utiliza un CCD
(charge coupled device) para realizar el proceso de
adquisicin analgica.
El CCD tiene una serie de pequeos diodos sensibles a la luz que
convierten luz en cargas elctricas (o sea, fotones en electrones).
Cada diodo del CCD captura un pxel de la imagen a adquirir.
Para poder situar cada pxel de la imagen (luz

entrante) en su diodo correspondiente del CCD se
utiliza una lente.
Mediante la lente se puede conseguir tambin
realizar zoom ptico (no confundir con zoom
digital)
50
Captura y digitalizacin de imagen II

Problemtica del color:
Si el CCD captura la luz directa que recibe de la lente, slo
tenemos la intensidad de luz, pero no su color.
Aadimos un filtro (R, G B) a cada pxel, de manera que
algunos pxels reciben slo la luz roja, otros la verde y otros la
azul.
El nmero de pxels que reciben luz verde es el mismo que la
suma de los que reciben luz roja y azul.
La informacin de color que no se ha obtenido en
cada pxel se interpola directamente de sus
vecinos, usando un DSP.
51
Captura y digitalizacin de imagen III

El CCD es un dispositivo analgico.
Es necesario un conversor analgico digital (ADC)
que obtenga la representacin digital de cada
pxel a partir de la seal elctrica generada por
cada diodo.
Una cmara digital necesita un DSP para

gestionar el funcionamiento de la cmara.
Realiza el acceso y almacenamiento de fotos en
memoria, el proceso de compresin, la interpolacin de
los colores, gestin de mens, etc.
Uno de los ms usados, el TMS320DSC24 de Texas
Instruments, funciona a 80 Mhz y es utilizado por Kodak
en sus productos.
52

5
3
Captura y digitalizacin de imagen IV

Codificacin y recodificacin.
Cada muestra RGB se codifica con una cantidad de bits por
componente de color (p.ej., 8 bits/componente24
bits/muestra).
A veces resulta interesante codificar el nivel de brillo de una
muestra (luminancia, o componente Y) y las diferencias de
color (crominancias azul, roja y verde, o componentes Cb, Cr,
Cg).
La conversin de RGB a YCbCr (YUV) se realiza mediante una
matriz de conversin (aproximada):
Y = 0.3R + 0.6G + 0.1B (Nivel de brillo o luminancia)
U = B - Y (Diferencia de color azul) (equiv. Cb=U/2+128)
V = R - Y (Diferencia de color rojo) (equiv. Cr=V/1.6+128)
Cada uno de los componentes se codifica con 8 bits.
La
Ladiferencia
diferenciadedecolor
colorverde
verde(Cg)
(Cg)
Y (8 bits): rango 16-235
esesredundante
y
no
se
almacena,
redundante y no se almacena,
Cb (8 bits) y Cr (8 bits): rango 16-240 yayaque
quesesepuede
puedeobtener
obteneraapartir
partir
dedelalaY,Y,lalaCb
CbyylalaCr.
Cr.
Captura y digitalizacin de imagen V

Subsampling: El ojo es ms
sensible a la informacin de
luminancia que de crominancia.
720
480
o
576
Muestra Y
480
o
576
720
Cb
Cr
Cb
Cr
Formato 4:2:2
720
Y
240
o
288
Formato 4:2:0
360
Y
480
o
576
Formato 4:4:4
480
o
576
5
4
Muestra Cr + Muestra Cb
720
480
o
576
360
Y
480
o
576
Cb
Cr
Formato 4:1:1
180
Cb
Cr

5
5
Tipos de imagen (segn su resolucin)

La resolucin de una imagen se mide segn el
nmero de pxels por lado (ancho x alto).
En cmaras digitales se suele medir en
Megapixels (millones de pxels por imagen)
1) Common Intermediate Format (CIF) (352x288): Utilizado
habitualmente en videoconferencia (junto con Quarter CIF)
2) VGA (640x480): Usado por cmaras de baja calidad.
3) n-Megapixels: Ofrecido por cmaras de mayor calidad.
A veces, la resolucin real de una cmara digital

no coincide con la del CCD de esa misma
cmara.
P.ej, una cmara de 3,3 MP ofrece una resolucin de
2048x1536.
Parte de la circuitera del CCD que transporta los datos al ADC
est situada en determinados diodos que no pueden ser
usados.
Compresin de imagen.
Una imagen suele presentar redundancia
espacial:
Redundancia espacial:
Las imgenes tienen informacin redundante susceptible
de ser eliminada o reducida (por ejemplo, el color del
cielo en una foto suele ser uniforme y azul :-).
El proceso de compresin de imagen consistir en:
1) Eliminar en la medida de lo posible la redundancia
espacial utilizando tcnicas de source encoding
(normalmente mediante transformada matemtica).
2) Codificar los datos obtenidos en el paso anterior usando
entropy enconding (elimina aun ms la redundancia
espacial).
Para conseguir mayores ndices de compresin, este proceso
ser con prdidas (cuantizacin de los datos).
56


Estndar JPEG
JPEG Escalado
Compresin de vdeo.

Difusin de vdeo.

5
8
Redundancia espacial: JPEG

Es un estndar ISO (91) cuyo origen proviene del
grupo JPEG (Joint Photographic Expert Group).
Codifica imgenes de tono-continuo
Dispone de cuatro modos de operacin (incluyendo
codificacin sin perdidas).
Se definen una serie de parmetros que permiten codificar
las imgenes para obtener una gran variedad de calidades
de compresin.
Factor de compresin ronda 20:1*
Es un sistema de codificacin simtrico.
Forma parte de otros estndares de compresin de
secuencias de vdeo (MPEG y H.26*).

5
9
Codificacin JPEG (pasos)

Codificacin JPEG en modo secuencial con prdidas
Codificacin fuente
Imagen
original (RGB)
Prep. de
bloques
DCT
Cuantiz.
Codificacin entrpica
Run
Length
Tabla
Huffman
Imagen
codificada
Tabla
Paso 1: Preparacin de la imagen.

No define el formato de imagen original. Podra ser RGB,
YUV, YIQ, YCrCb, etc.
Convierte la imagen a formato YCbCr utilizando una
reduccin de color 4:1:1 (sub-sampling)
Ej.: RGB 640x480 (VGA): Y (640x480), Cb y Cr (320x240)
Se divide la imagen en bloques de 8x8 elementos
Ej. anterior: 4800 bloques Y, 1200 Cb y 1200 Cr.
Codificacin JPEG: Transformada DCT

Paso 2: Transformada discreta del coseno (DCT).
Transforma un dominio de amplitudes al dominio de la
frecuencia.
Las componentes frecuenciales ms altas son susceptibles de
ser eliminadas (percepcin visual)
Se aplica esta transformada a cada bloque de 8x8

obteniendo la matriz de coeficientes DCT asociada
Componente (0,0): el nivel de continua DC del bloque (Media)
Coeficiente
DCT
Amplitud
x
y
6
0
Transformada
DCT
Fx
Fy
Codificacin JPEG: Transformada DCT(II)

DCT-1D: (vector 8 elementos)
C (u ) 7
(2 x 1)u
S (u )
s
(
x
)
cos
2 x 0
16
Transformada
directa
Si u 0, C (u )
1
2
Si u 1, C (u ) 1
C (u )
( 2 x 1)u
S (u ) cos
2
16
u 0
7
s ( x)
Transformada
inversa
DCT-2D: (matriz 8x8 elementos)

N 1 N 1
1
(2 x 1)i
(2 y 1) j
DCT (i, j )
C (i )C ( j ) pixel ( x, y ) cos
cos
2N
2N
2N
x 0 y 0
6
1
1
pixel ( x, y )
2N
N 1 N 1
(2 x 1)i
(2 y 1) j
cos
2N
2N
C (i)C ( j ) DCT (i, j ) cos

i 0 j 0

6
2
Codificacin JPEG: Cuantificacin

Paso 3: Cuantificacin (quantization).
Se eliminan los coeficientes menos representativos de la
DCT (transformacin con prdidas).
Cada coeficiente de la matriz 8x8 es dividido por un valor
almacenado en una tabla (quantization table).
El estndar sugiere dos tablas una para la componente Y y
otra para las componentes Cb y Cr.
Estas tablas se pueden escalar con otro parmetro Q que nos
permitir ajustar el ndice de compresin requerido.
150
88
21
4
1
0
0
0
70
56
34
6
0
1
0
0
38
22
12
3
5
0
0
0
16
9
4
7
0
0
0
0
4
2
0
0
2
0
0
0
0
0
0
1
0
0
0
0
1
0
0
0
0
0
0
0
Coeficientes DCT
0
0
0
0
0
0
0
0
Tabla de
cuantificacin
1
1
2
4
8
16
32
64
1
1
2
4
8
16
32
64
2
2
2
4
8
16
32
64
4
4
4
4
8
16
32
64
8
8
8
8
8
16
32
64
16
16
16
16
16
16
32
64
32
32
32
32
32
32
32
64
64
64
64
64
64
64
64
64
150
88
10
1
0
0
0
0
70
56
17
1
0
0
0
0
19
11
6
1
0
0
0
0
4
8
1
2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
Coeficientes DCT
cuantificados
0
0
0
0
0
0
0
0

6
3
Codificacin JPEG: Codificacin entropa

Paso 4: Codificacin DPCM de los componentes
DC de cada bloque.
Bloques sucesivos tienen un valor medio muy similar.
Paso 5: Codificacin run-length de todos los

componente de un bloque.
Se hace un barrido zig-zag con el fin de agrupar todos los
componentes nulos.
150
88
10
1
0
0
0
0
70
56
17
1
0
0
0
0
19
11
6
1
0
0
0
0
4
8
1
2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
150-70-88-10-56-19-4-11-17-1-0-1-6-8-0-0-0-1-1-0-0-0-0-0-2-..(39 0s)
150-70-88-10-56-19-4-11-17-1-0-1-6-8-A0/3-A1/2-A0/5-2-A0/39
Codificacin JPEG: Codificacin entropa

Paso 6: Codificacin estadstica VLC: Huffman
A lo obtenido en el paso anterior se aplica el algoritmo de
Huffman para comprimir an ms la informacin.
El resultado de este paso es lo que debemos enviar o
almacenar.
La decodificacin JPEG consiste en realizar el

proceso inverso:
Inverse
Quantization
6
4
Zig-zag
ordering
Run-lenght
decoder
Inverse
DCT
Huffman
decoder
110001110011100010..
40
44
52
68
62
47
36
48
44
52
55
45
48
67
56
55
47
40
36
56
56
40
23
36
40
47
67
60
48
55
67
55
40
40
63
52
40
55
62
52
55
48
62
55
36
40
44
47
79
67
52
36
47
36
49
47
75
79
72
60
62
62
47
36
Bloque de muestras (pixels)
39
50
54
58
64
56
43
42
49
49
46
47
52
52
50
50
38
38
43
50
51
51
47
40
47
46
55
59
54
55
58
53
45
45
54
55
45
44
51
50
55
57
60
57
48
45
49
51
70
65
53
43
41
42
43
48
76
72
60
55
60
55
42
39
Bloque recuperado de muestras

6
5
DCT
411
20
-11
-8
-3
3
8
1
-18 14 -8 24
-34 27 -9 -11
-23 -1
5 -19
-5 14 -14 -8
9
7
2 -10
-2 -17 8
7
1
-2
3
-2
-8 -4
2
2
-10 -14 -18

11 14
7
4 -20 -2
-3 -3
9
17 18 16
-3
1
-8
-7 -1 -2
3
-7
2
transformadas
Bloque de muestras
Quant
Codificacin JPEG: Ejemplo real (Quant)
IDCT
102 -2
2 -4
-1 -2
0
0
0
0
0
0
0
0
0
0
1 0 1
2 0 0
0 0 -1
1 -1 0
0 0 0
-1 0 0
0 0 0
0 0 0
0
0
0
0
0
0
0
0
0 -1
0 0
-1 0
0 0
0 0
0 0
0 0
0 0
Bloque de muestras cuantizadas

6
6
Codificacin JPEG: Ejemplo real I (RLE+VLC)
Codificacin RLE+VLC de los coeficientes cuantizados

Nmero de bits
102 -2
2 -4
-1 -2
0
0
0
0
0
0
0
0
0
0
1 0 1
2 0 0
0 0 -1
1 -1 0
0 0 0
-1 0 0
0 0 0
0 0 0
0
0
0
0
0
0
0
0
0 -1
0 0
-1 0
0 0
0 0
0 0
0 0
0 0
Cdigo
0
1
2
100
00
01
1110
1111 0
1111 10
1111 110
1111 1110
10
1111 1111 0
11
1111 1111 1
Tabla para la DC
Paso 1. Se codifica la DC usando codificacin

diferencial DPCM
Si DC Bloque anterior es 98 codificar 102-98
Se codifica como:
Num. bits necesarios (tabla VLC) + codif + signo
DC se codifica como: 101 100 0

6
7
Codificacin JPEG: Ejemplo real II (RLE+VLC)

102 -2
2 -4
-1 -2
0
0
0
0
0
0
0
0
0
0
1 0 1
2 0 0
0 0 -1
1 -1 0
0 0 0
-1 0 0
0 0 0
0 0 0
0
0
0
0
0
0
0
0
0 -1
0 0
-1 0
0 0
0 0
0 0
0 0
0 0
Paso 2: Se codifica en zig-zag

pares <Run (cuenta de ceros),
coeficientes>
Valores
0
0
0
0
0
1
-2
2
-1
-4
1
2
Nivel
EOB
0
0
0
0
0
1
2
3
4
5
Cdigo
10
11s
0100
0010
0000
0010
s
1s
110s
0110 s
Run (Num. De Ceros)
Run
1
1
1
1
2
2
Escape
1
2
3
4
1
2
011s
0001 10s
0010 0101 s
0000 0011 00s
0101 s
0000 100s
0000 01
Tabla para pares <Run, Niveles>
Cdigo VLC
0100
0100
111
0000
110
0001
1
0
1101
100
Parte del bloque codificado con VLC
Existe cdigo de escape:
0000
01 RRRR RR NNNN NNNN

6
8
Codificacin JPEG: Ejemplo real III (RLE+VLC)
Resultado final de la codificacin RLE+VLC

102 -2
2 -4
-1 -2
0
0
0
0
0
0
0
0
0
0
1 0 1
2 0 0
0 0 -1
1 -1 0
0 0 0
-1 0 0
0 0 0
0 0 0
0
0
0
0
0
0
0
0
0 -1
0 0
-1 0
0 0
0 0
0 0
0 0
0 0
Tasa de compresin:
Run (Num. De Ceros)
Valores
N/A
0
0
0
0
0
1
0
5
3
5
0
2
4
7
EOB
4
-2
2
-1
-4
1
2
-2
1
1
-1
-1
-1
-1
-1
Cdigo VLC
101 100 0
0100 1
0100 0
111
0000 1101
110
0001 100
0100 1
0001 110
0011 10
0001 111
111
0101 1
0011 01
0001 001
10
Bloque codificado con VLC
Stream final: 1011000010010100011100001101 000100110 (85 bits)

Bits por pxel: (Nm bits/ Nm pxels) 85/64= 133 bpp
Factor de compresin:
Tam_comprimida:Tam_original= 85:(8*8*8)= 85:512
1:Tam_original/Tam_comprimida= (85/85):(512/85)= 1:6
Codificacin JPEG: Ejemplo real IV

40
44
52
68
62
47
36
48
44
52
55
45
48
67
56
55
47
40
36
56
56
40
23
36
40
47
67
60
48
55
67
55
40
40
63
52
40
55
62
52
55
48
62
55
36
40
44
47
79
67
52
36
47
36
49
47
75
79
72
60
62
62
47
36
Bloque de muestras (pixels)
39
50
54
58
64
56
43
42
49
49
46
47
52
52
50
50
38
38
43
50
51
51
47
40
47
46
55
59
54
55
58
53
45
45
54
55
45
44
51
50
55
57
60
57
48
45
49
51
70
65
53
43
41
42
43
48
76
72
60
55
60
55
42
39
Bloque recuperado de muestras

6
9
(Calidad)
Medida objetiva del error:

MSE (Mean Square Error)
1
MSE
N
s i s i
i 1
Medida objetiva de la calidad:

PSNR (Peak SNR)
2552
PSNR 10 log10
MSE
Valores del ejemplo:

MSE = 4953
PSNR = 3118 dB


Estndar JPEG
JPEG Escalado
Compresin de vdeo.

Difusin de vdeo.
JPEG escalado
Motivacin
Fundamentos del JPEG escalado
Compatibilidad con JPEG estndar
Cuantificacin variable
Resultados
Motivacin
Utilizacin de tamao de bloque mayor: NxN.

Mayor compactacin de energa pero mayor
tiempo de clculo.
Descartar coeficientes de alta frecuencia hasta
quedarse con slo una submatriz de 8x8.
Fundamentos del JPEG escalado
Divisin de la imagen en bloques de NxN

puntos conservando slo los 8x8 primeros
coeficientes.
Utilizacin de la DCT recortada de N a 8,
modificada.
Utilizacin de nuevas matrices de
cuantificacin.
Eleccin de N=16.
El proceso de codificacin/decodificacin JPEG

escalado
Bloques de 16x16
Codificador de JPEG escalado
FDCT 16x16
Imagen
16x16 a 8x8
Cuantificador
Codificador
de entropa
Imagen
comprimida
FDCT 16x16 recortada
Decodificador de JPEG escalado

Decodifica.
de entropa
Imagen
comprimida
Descuantificador
8x8 a 16x16
Bloques de 16x16
IDCT 16x16
IDCT 16x16 recortada
Imagen
Ejemplo de compresin JPEG escalado
Original
Tasa 24 - 180K
JPEG estndar
JPEG escalado
Compresin 78:1
Tasa 0.3 - 2.2K
Ejemplo de compresin JPEG escalado

(continuacin)
Original
Tasa 24 - 180K
JPEG estndar
JPEG escalado
Compresin 128:1
Tasa 0.18 - 1.4K
Compatibilidad con JPEG estndar
Aunque el bloque de imagen es de 16x16 el de

coeficientes es de 8x8 puntos.
Los coeficientes obtenidos se escalan para que
estn en el rango de los que se obtienen en
una DCT de 8x8.
Las funciones bsicas son similares.
Se incluye informacin de tamao real de la
imagen, mediante cdigos definidos para
extensiones.
Comparacin de la DCT de 8 y 16 puntos
Funciones bsicas de las DCT de 8 y 16 puntos

0
DCT n=8
DCT n=16
Mezcla de formatos
Imagen
Leda como
JPEG escalado
JPEG estndar
JPEG estndar
JPEG escalado
Se obtiene
Cuantificacin variable
En el proceso de cuantificacin se consigue la compresin a base de anular coeficientes
S 0,1 ms
S 0,7
Sq afecta
Sq 0,1
Sq 0,7
0,0 conseguir
S
Para
ceros hay que incrementar los valores Qvu, lo que0,0
a todos los bloques
S 1,0 S 1,1
S 7,0 S 7,1
S 1,7
S 7,7
Cuantificacin

S
redondeo vu Sq vu
Q vu
Sq 1,0 Sq 1,1
Sq 7,0 Sq 7,1
Sq 1,7
Sq 7,7
Cuantificacin variable: propuesta
Utilizacin de una funcin de cuantificacin con umbral.
S vu
S vu
,
si
um bral
Q vu
Q vu
0,
en otro caso
Sq vu
redondeo
Clasificacin de los bloques en categoras.

Utilizacin de un umbral distinto para cada categora.
Ejemplo de clasificacin de bloques y asignacin de

umbrales
Zona 1:
Hasta 47 ceros
Umbral 1,0
Zona 2:
de 48 a 55 ceros
Umbral 1,5
Zona 3:
de 56 a 59 ceros
Umbral 2,5
Zona 4:
de 60 a 63 ceros
Umbral 1,0
Ejemplo de cuantificacin adaptativa:

detalle de la cara de Lena
Sin cuantificacin
adaptativa
Con cuantificacin
adaptativa
Ejemplo de cuantificacin adaptativa:

detalle del sombrero de Lena
Sin cuantificacin
adaptativa
Con cuantificacin
adaptativa
Resultados
Detalle de la cara de Lena a 0.25 bpp
JPEG estndar
JPEG escalado
JPEG escalado con

cuantificacin
Detalle de la cara de Lena a 0.15 bpp
JPEG estndar
JPEG escalado
JPEG escalado con

cuantificacin
adaptativa
estndar
escalado
adaptativo
30
29
28
27
26
SNR'
Relacin Seal-Ruido para distintas

tasas de bits de la imagen Lena
25
24
23
22
21
Lena 512x512
20
0,1
0,15
0,2
0,25
0,3
Tasa de bits
0,35
0,4
0,45
0,5
estndar
estndar (1:2)
26
escalado
escalado (1:2)
adaptativo
adaptativo (1:2)
25
24
23
SNR'
Relacin Seal-Ruido para distintas

tasas de bits de la imagen Catedral
22
21
20
19
Catedral 899x1107 y 450x554(1:2)

18
0,1
0,15
0,2
0,25
0,3
Tasa de bits
0,35
0,4
0,45
0,5
1,1
Escalado
Adaptativo
SNR' Escalado y Adaptativo / Estndar
Relacin del SNR de las imgenes con JPEG

escalado y adaptativo frente al estndar
1,08
1,06
1,04
1,02
0,98
0,1
0,15
0,2
0,25
0,3
Tasa de bits
0,35
0,4
0,45
0,5


Estndar JPEG
JPEG Escalado
Compresin de vdeo.

Difusin de vdeo.
Introduccin
Una secuencia de vdeo es una sucesin de
imgenes que producen sensacin de movimiento.
El proceso completo de transmisin de vdeo con
compresin consiste en:
Adquisicin del vdeo a transmitir.
Captura analgica de la secuencia de imgenes.
Digitalizacin del vdeo.
(Re)codificacin y subsampling de las muestras.

Tpicamente se pasa de RGB a YCbCr
Subsampling de la crominancia (de 4:4:4 a 4:2:0 4:2:2)
Compresin del vdeo.

Transmisin progresiva del vdeo comprimido (a ser posible
usando protocolos con soporte multimedia)
9
1
Captura de vdeo analgico

Las imgenes (dos dimensiones) son convertidas
en una seal analgica.
Se capturan las imgenes a intervalos regulares.
Cada imagen (cuadro o frame) es barrida calculando la
intensidad de cada punto (B&W).
Para reproducir la imagen se realiza el proceso

inverso.
Lneas de
barrido
1
3
5
7
9
Placa de
barrido
a
Lentes
9
2
483
Lneas de barrido mostradas
Captura de vdeo analgico II

La captura (y reproduccin) de imgenes en color
es muy similar a la de blanco y negro.
En este caso se utilizan tres haces de barrido (RGB).
Conversin RGB a YUV (compatibilidad con seales B&W).
Filtros
R
Lentes
Placa de
barrido
Y:
Y:Luminancia
Luminancia(intensidad).
(intensidad).
UUyyV:
V:Diferencias
Diferenciasde
decolor.
color.
El
Elojo
ojohumano
humanoesesms
mssensible
sensibleaa
lalaintensidad
intensidad(brillo)
(brillo)que
queaalala
informacin
informacinde
decolor
color(sub(subsampling).
sampling).
t
t
Divisor
TV Color
t
Y+C
Y
R
Cmara G
B
9
3
Demod.
Conv.
R
G
B
CRT
U
V
Codificador Modulador
TV B&W
Y+C
Filtro
CRT
Captura de vdeo analgico III

Parmetros de barrido:
Relacin de aspecto (ancho:alto): 4:3
Existen distintos estndares:
NTSC (Usa y Japn): 525 lneas, 30 frames/s
PAL/SECAM (Resto): 625 lneas, 25 frames/s.
Algunas lneas (superiores e inferiores) no son visibles.

Durante el retorno vertical, se puede insertar informacin
adicional (teletexto).
Barrido entrelazado y progresivo.

Entrelazado.
Cada cuadro se representa con dos campos sucesivos (uno con
las lneas impares y otro con las pares) (60 c/s 50 c/s).
9
4
Captura de vdeo analgico IV

Parpadeo de imagen (flicker)
Efecto que aparece cuando la imagen no es refrescada con
suficiente rapidez.
La retina mantiene una imagen durante un tiempo antes de
que desaparezca.
Valor mnimo: 50 imgenes/segundo
Continuidad de movimiento.
Viene determinada por el nmero de cuadros diferentes por
segundo.
No se recomienda utilizar menos de 25 cuadros/s.
Ancho de banda de una seal de vdeo analgico:

6 MHz.
9
5
Digitalizacin
ITU-R (CCIR-601): Estndar para la digitalizacin
de seales de TV.
Define los parmetros de muestreo, cuantificacin, barrido y
resolucin de imagen que se deben tomar para digitalizar
una seal de TV analgica.
Parmetros de barrido:
Dos formatos (NTSC y PAL/SECAM)
525 lneas y 858 muestras/lnea - 30 frames/seg.
625 lneas y 864 muestras/lnea - 25 frames/seg.
Las muestras corresponden a la luminancia (Y): Intensidad

de luz de cada pixel (cantidad de blanco).
Las diferencias de color Cr (U) y Cb (V) se muestrean a la
mitad (429/lnea, 432/lnea): Sub-sampling 4:2:2.
9
6
Digitalizacin II
Cada lnea tiene una zona visible (lnea activa). Este
estndar define una lnea activa de 720 pixels.
Se define un nmero de lneas visibles por cuadro:
480 (NTSC), 576 (PAL/SECAM).
Barrido entrelazado:
Un cuadro (frame) est formado por dos campos:
El primero con las lneas impares y el segundo con las
Lnea
pares.
completa
Tiempo
Lnea activa
720 muestreos
Frecuencia de muestreo nica.

525x858x30* = 625x864x25 = 13,5 MHz.
9
7
Digitalizacin III
Codificacin y recodificacin.
Cada muestra RGB se codifica con 24 bits/color.
La conversin de RGB a YCbCr (YUV) se realiza mediante una
matriz de conversin (aproximada):
Y = 0.3R + 0.6G + 0.1B
U = B - Y (Diferencia de color azul) (equiv. Cb=U/2+128)
V = R - Y (Diferencia de color rojo) (equiv. Cr=V/1.6+128)
Cada uno de los componentes se codifica con 8 bits.

Y (8 bits): rango 16-235
Cb (8 bits) y Cr (8 bits): rango 16-240
720
360
720
480
o
576
9
8
480
o
576
480
o
576
Cb
Cr
Subsampling 4:2:2
9
9
Codificacin: RGB
1
0
0
Codificacin: YCbCr
1
0
1
Codificacin: Y Subsampling (I)
1
0
2
Codificacin: Y Subsampling x2 (II)
1
0
3
Codificacin: Y Subsampling x4 (III)
1
0
4
Codificacin: Y Subsampling x8 (IV)
1
0
5
Codificacin: CbCr Subsampling (V)
1
0
6
Codificacin: CbCr Subsampling x2 (VI)
1
0
7
Codificacin: CbCr Subsampling x4 (VII)
1
0
8
Codificacin: CbCr Subsampling x8 (VIII)
Tipos de vdeo (segn su calidad)

La percepcin de calidad de una seal de vdeo
se basa en tres parmetros:
La resolucin de las imgenes.
La frecuencia de reproduccin (cuadros/s.).
El tipo de barrido (progresivo o entrelazado)
Televisin de alta definicin (HDTV).

Existen diferentes variantes acerca HDTV.
1920x1080/60, 1920x1080/30-24, 1280x720/30-24
Relacin de aspecto 16:9
Vdeo digital profesional (studio-quality).

Estndar ITU-R (CCIR-601) de vdeo digital.
1
0
9
Tipos de vdeo (segn su calidad)

Vdeo de difusin (TV broadcast).
Difusin de seales de televisin analgicas.
Estndares NTSC y PAL/SECAM.
Reproductor de Vdeo (VCR-quality).

Grabacin de vdeo analgico (en VHS)
Menor resolucin de imagen (la mitad de PAL/SECAM).
Videoconferencia (Low-speed).
Tasas de bits pequeas (alrededor de 128 Kbps)
Resolucin de imagen 4 veces inferior al vdeo digital.
ITU-TS H.261: Common Intermediate Format (CIF) 352x288
La secuencia de cuadros/s se reduce entre 5 y 10.

1
1
0

1
1
1
Parmetros especficos de red I

Lo que debe suministrar una red para el envo en
tiempo real de una secuencia de vdeo.
Tasa de bits.

1
1
2
Parmetros especficos de red II

Retardo y varianza del retardo.
Normalmente se envan una secuencia de vdeo
sincronizada con el audio correspondiente.
La sincronizacin es muy importante y necesaria desde HDTV
hasta VCR.
En Videoconferencia no es tan importante ya que la imagen no
es continua (pocos cuadros/s).
En estos casos, los requerimientos para estos parmetros

los impone el audio (ms sensible).
Valores indicativos para la varianza del retardo:
HDTV: 50 ms.
Vdeo difusin: 100 ms.
Videconferencia: 400 ms.
Parmetros especficos de red III

Tasa de error.
El vdeo comprimido es ms sensible a los errores.
La degradacin de la calidad de vdeo percibida depende:
BER de la red
Del tipo de error (simple, rfaga, bloque, etc.)
Donde se produce ese error.
El ndice de compresin de vdeo.
Mecanismos de recuperacin ante errores:

Tcnicas de proteccin de la seal.
FEC (Forward Correction Codes).

Marcas de resincronizacin.
Reversible VLC.
Tcnicas de paquetizacin.
Ocultacin de errores (error concealment)

Cuando se pierden bloques o llegan demasiado tarde.
Tcnicas de extrapolacin e interpolacin de cuadros.
1
1
3


Estndar JPEG
JPEG Escalado
Compresin de vdeo.

Difusin de vdeo.

1
1
5
Redundancia temporal
Se basa en la similitud de cuadros sucesivos en
una secuencia de vdeo.
Ej.: Secuencias de plano esttico.
Se utilizan tcnicas de codificacin diferencial o

transformada 3D
Slo se codificarn las diferencias entre cuadros sucesivos
(DPCM).
La reconstruccin de un cuadro puede estar

basado en otro(s) anterior(es).
Un algoritmo tpico de eliminacin de redundancia
temporal (motion compensation) es el que
emplea MPEG.
Redundancia temporal (MPEG-1)

Cuadros de referencia y cuadros auto-contenidos
Si F1 lo usamos para construir F2, se dice que F1 es un
cuadro de referencia (reference frame).
Si un cuadro no se construye a partir de ningn otro, se
dice que es auto-contenido (intracoded frame)
Normalmente estos sirven de referencia para otros.
Macrobloques (macroblocks)
16x16 pixels (6 bloques de 8x8: 4Y,1U y 1V).
F1
1
1
6
F2
F3

Vectores de movimiento (motion vector)
Identifican el desplazamiento de un determinado
macrobloque en el cuadro actual respecto a la posicin
que tena en el cuadro de referencia.
Los vectores de movimiento se aplican cuando se
identifica un macrobloque existente en el cuadro de
referencia (matching blocks)
Cuadro de referencia
Macrobloques
idnticos
F1
1
1
7
Vector de movimiento
x = -20, y = 0
F2
Bsqueda de macrobloques.
Se buscan los macrobloques del cuadro a codificar en el
cuadro de referencia.
Si se encuentra el mismo macrobloque, slo se codifica
el vector de movimiento correspondiente.
Si no se encuentra exactamente el mismo se elige el
ms parecido (macrobloque INTER).
Se codifica el vector de movimiento.
Se calcula el macrobloque error (las diferencias) aplicndole
codificacin estilo JPEG (DCT, quant, RLE+VLC en zigzag).
Si no se encuentra ningn bloque similar (mb. INTRA)

Se codifica dicho macrobloque con codificacin estilo JPEG.
1
1
8

1
1
9

Tipos de cuadros
I (Intracoded frames): Cuadro codificado usando JPEG
(autocontenido).
P (Predictive frames): Cuadro basado en las
diferencias respecto a un cuadro de referencia
anterior (tipo I).
B (Bidirectional frames): Cuadros basados en la
interpolacin de un cuadro anterior y otro posterior en
la secuencia (tipo I o P).
Cuadro de tipo I
autocontenido
Cuadro de tipo B
basado en F1 y F3
F1
F2
Macrobloque
encontrado!!
Cuadro de tipo P
basado en F1
Macrobloque
encontrado!!
F3

Secuencias de cuadros (Group Of Pictures)
Los cuadros de tipo I son los menos comprimidos, a
continuacin los de tipo P y por ltimo los que ms
compresin obtiene son los de tipo B.
Secuencias tpicas:
IBBBPBBBI
IBBPBBPBBI (PAL)
IBBPBBPBBPBBI (NTSC)
I
1
2
0

La importancia de los cuadros de tipo I.
En un sistema de vdeo es habitual el usar los controles de
avance, retroceso, pausa, etc.
Si queremos detener la secuencia de vdeo, necesitamos
encontrar el ltimo cuadro I para reconstruir el cuadro donde
se ha detenido la imagen.
Sirven como puntos de sincronizacin.

Se estima que deben aparecer al menos un cuadro I cada
300-400 ms.
Si se est difundiendo una secuencia de vdeo comprimida
(TV broadcast, videoconferencia, etc)
Permite engancharse rpidamente y recuperarse ante la
recepcin de algn cuadro daado.
1
2
1


Estndar JPEG
JPEG Escalado
Compresin de vdeo.


1
2
3
Estimacin de movimiento: Algoritmos

La parte ms costosa de la estimacin de
movimiento corresponde a los algoritmos de
bsqueda de macrobloques en el cuadro(s) de
referencia.
Provoca codificacin asimtrica
Los algoritmos ms conocidos son los siguientes:
Bsqueda completa (Full-Search).
TTS (Three-Step Search)
Bsqueda logartmica.
Bsqueda en cruz (Cross-Search)
OTS (One-at-a-Time Search)
Vecinos ms prximos (Nearest Neighbours Search)
Bsqueda jerrquica.
Estimacin de movimiento.
Se define una funcin de coste que calcula el
error entre dos macrobloques, por ejemplo, SAE
(Sum of Absolute Errors)*
N 1 M 1 :
SAE i, j C i, j R i, j
i 0
j 0
(i,j) est definido dentro del rea de bsqueda

(NxM) determina las dimensiones del macrobloque.
C(i,j) y R(i,j) definen los pixels del macrobloque actual y
referencia respectivamente.
Las coordenadas (i,j) que menor SAE exhiban

determinarn el vector de movimiento del
macrobloque actual.
1
2
4
(*) Ms conocido como SAD (Sum of Absolute Differences)
Algoritmos: Full Search.

Examina todos los puntos del rea de bsqueda
(+/- p)
Complejidad computacional por macrobloque:

Nmero total de posiciones: (2p + 1)2
Cada posicin (i,j), MxN pixels.
Cada pixel requiere: 1 resta, 1 suma
y 1 valor absoluto.
2
O MB 2 p 1 3MN
IJF IxJ pixels @ F fps)

ComplejidadO(secuencia
FS
O MB
MN
Ejemplo:
1
2
5
Broadcast TV (I=720, J=480, F=30, N=M=16)

Coste de este algoritmo: 29.89 GOPS (p=15) 6.99 GOPS
(p=7)
Algoritmos: Three-Step Search.

(-7,-7)
(0,-7)
MV:
MV:(7,-3)
(7,-3)
1
3 3 3
2 3 2 3
3 3 3
2
1
2
1
1.1.
2.2.
3.3.
4.4.
5.5.
(0,7)
(-7,7)
(7,7)
6.6.
Coste:
1
2
6
(7,-7)
Examina 8 log 2 p 1 puntos

1.02 GOPS (p=15) 770 MOPS (p=7).
Busca
Buscaen
enlalaposicin
posicin(0,0)
(0,0)
N-1
S=2
(step
size)
S=2N-1 (step size)
Busca
Busca88posiciones
posicionesaa+/-S
+/-S
pxeles
alrededor
de
(0,0)
pxeles alrededor de (0,0)
De
Delas
lasnueva
nuevaposiciones
posicioneselige
elige
aquella
con
el
SAD
menor.
aquella con el SAD menor.
S=S/2
S=S/2yyelelnuevo
nuevoorigen
origende
de
bsqueda
el
punto
obtenido
bsqueda el punto obtenido
en
en4.4.
Repetir
Repetirpasos
pasos3-5
3-5hasta
hastaque
que
S=1.
S=1.
Algoritmos: Bsqueda logartmica.

(-7,-7)
(0,-7)
(7,-7)
MV:
MV:(5,-3)
(5,-3)
1.1.
4
5 5 5
2 5 3 5 4
5 5 5
1
2
3.3.
1
1
4.4.
(-7,7)
(0,7)
Coste:
1
2
7
2.2.
Examina 20 puntos
616 MOPS (p=7 y N=2).
(7,7)
5.5.
6.6.
Busca
Buscaen
enlalaposicin
posicin(0,0)
(0,0)yyestablece
establece
S=N
(step
size)
S=N (step size)
Selecciona
Selecciona44posiciones
posicionesaaSSpxeles
pxeles
del
origen
en
los
ejes
X
e
Y.
del origen en los ejes X e Y.
Calcula
Calculalalaposicin
posicinque
queofrece
ofreceelel
menor
menorSAD,
SAD, fijndola
fijndolacomo
comoelelnuevo
nuevo
origen
de
la
bsqueda
origen de la bsqueda
SiSiesta
estaposicin
posicineseslalacentral
centralde
delas
las55
seleccionadas
seleccionadasS=S/2
S=S/2
SiSiS=1
S=1iriralalpaso
paso6,6,sino
sinoiriralalpaso
paso2.2.
Selecciona
Seleccionaelelorigen
origenactual
actualyylas
las88
posiciones
posicionesde
dealrededor,
alrededor,yycalcula
calcula
aquella
que
minimiza
el
SAD
aquella que minimiza el SAD
Algoritmos: Bsqueda en cruz (Cross Search)

(-7,-7)
(0,-7)
MV:
MV:(-3,-5)
(-3,-5)
2
4
1
4
1.1.
1
3
3
2
(7,-7)
2.2.
2
3
3
1
3.3.
4.4.
5.5.
(0,7)
(-7,7)
Coste:
1
2
8
Examina 4 log 2 p
523 MOPS (p=7).
(7,7)
5 puntos
Establece
Estableceelelorigen
origenen
enlalaposicin
posicin
N-1
(0,0).
(0,0).S=2
S=2N-1(step
(stepsize)
size)
Selecciona
4
posiciones
Selecciona 4 posicionesaa+/-S
+/-S
pxeles
del
origen
formando
pxeles del origen formandouna
una
cruz
(X)
y
el
propio
origen.
cruz (X) y el propio origen.
Calcula
Calculalalaposicin
posicinque
queofrece
ofreceelel
menor
menorSAE,
SAE, fijndola
fijndolacomo
comoelel
nuevo
nuevoorigen
origende
delalabsqueda
bsqueda
SiSi(S>1)
entonces
S=S/2
(S>1) entonces S=S/2yyva
vaalal
punto
punto2.2.Sino
Sinoiriralalpunto
punto5.5.
SiSilalamejor
mejorposicin
posicinest
esten
enelelpunto
punto
superior
superiorizquierda
izquierdaooinferior
inferiorderecha
derecha
de
la
X,
evaluar
4
puntos
ms
de la X, evaluar 4 puntos msen
en
forma
de
X
a
una
distancia
de
+/-1
forma de X a una distancia de +/-1
pixel.
pixel.Sino
Sinohacer
hacerlolomismo
mismopero
perocon
con
los
los44puntos
puntosdistribuidos
distribuidosen
en+.
+.
Algoritmos: OTS (One-at-a-Time Search)

(-7,-7)
(0,-7)
9
8
7
6
4 3
6
(7,-7)
MV:
MV:(-4,-3)
(-4,-3)
1.1.
2.2.
2 1
1 1
3.3.
4.4.
5.5.
(0,7)
(-7,7)
Coste:
1
2
9
Examina 12 puntos
369 MOP.
(7,7)
Establece
Estableceelelorigen
origenen
en(0,0).
(0,0).
Selecciona
el
origen
y
las
Selecciona el origen y lasdos
dos
posiciones
vecinas
en
el
eje
posiciones vecinas en el ejeXX
Calcula
Calculalalaposicin
posicinque
quemenor
menor
SAD
SADexhiba.
exhiba.SiSieseselelorigen
origenirir
alalpaso
paso5.5.
Establece
Estableceelelnuevo
nuevoorigen
origenen
enlala
posicin
posicinque
queha
haofrecido
ofrecidoelel
menor
menorSAD.
SAD.IrIralalpaso
paso2.2.
Repetir
Repetirlos
lospasos
pasos22alal44
seleccionando
seleccionandolas
lasposiciones
posiciones
en
el
sentido
vertical
en el sentido vertical(eje
(ejeY).
Y).
Puede dar lugar a mnimos locales !
Algoritmos: Vecino ms prximo.

(-7,-7)
(0,-7)
3 2
3 2 1
1 1
1
1.1.
2.2.
2
1
3.3.
4.4.
(0,7)
(-7,7)
Coste:
1
3
0
MV:
MV:(-3,-4)
(-3,-4)
(7,-7)
Examina 12 puntos
369 MOP.
(7,7)
Calcula
CalculaelelSAD
SADdel
del(0,0).
(0,0).
Establece
el
origen
de
Establece el origen debsqueda
bsquedaaalala
posicin
posicindel
delvector
vectorsupuesto
supuesto
(predicted
vector)
(predicted vector)
Selecciona
Selecciona44posiciones
posicionesalrededor
alrededor
del
delorigen
origenen
enforma
formade
de+.
+.
SiSielelorigen
de
bsqueda
origen de bsqueda(o(olala
posicin
posicin0,0
0,0en
enlalaprimera
primeraiteracin)
iteracin)
ofrece
el
menor
SAD
entonces
ofrece el menor SAD entoncesfin
fin
de
debsqueda.
bsqueda.
Sino
Sinoestablece
estableceelelnuevo
nuevoorigen
origende
de
bsqueda
en
la
posicin
que
menor
bsqueda en la posicin que menor
SAD
SADha
haofrecido.
ofrecido.
Propuesto para H.263 y MPEG-4.

1
3
1
Estimacin de movimiento: Otras

consideraciones.
Estimacin de movimiento con fracciones de pixel
Se basa en realizar la estimacin de movimiento con mayor
precisin, ya que a veces el movimiento real no se ajusta a
desplazamientos de pxel enteros.
Half-Pixel motion estimation
Se obtiene un imagen de mayor resolucin interpolando un
punto de la imagen entre cada dos pxeles.
A
A: Pxeles reales (Enteros)

b,c,d: Pxeles interpolados. Las flechas
indican la direccin de interpolacin.
Se incrementan notablemente las

prestaciones del algoritmo de
estimacin de movimiento a
expensas de un mayor coste
computacional.
H.263 utiliza est tcnica, incluso
se propone utilizar y 1/8 de
pxel para el estndar H.264

1
3
2
Estimacin de movimiento: Mejoras

propuestas.
Vectores de movimiento fuera del cuadro de
referencia.
Para estimar correctamente el movimiento que se produce en
los bordes del cuadro.
Tamao de bloque variable.

Para realizar estimacin de movimiento ms precisa.
Se utiliza en H.263 (Anexo F) y H.264.
Tamaos: 16x16;8x8;4x4;8x16;16x8....
OBMC (Overlapped Block Motion Compensation)

Objetivo: Suavizar los efectos de blocking que aparecen en
los bordes de los macrobloques.
Incremento significativo del coste computacional.
H.263 recomiendo utilizar filtros de salida (deblocking
filters) que realizan esta operacin a un coste
computacional muy inferior.
Modelos de estimacin ms complejos:

Region-based, Picture Warping, Mesh-based, Object-based...


Estndar JPEG
JPEG Escalado
Compresin de vdeo.

Difusin de vdeo.
Estndar MPEG.
Conjunto de estndares ISO para la grabacin y
transmisin digital de audio y vdeo.
En su evolucin se han desarrollado varias
versiones del estndar MPEG:
MPEG-1 (ISO 11172) (91):
CD-ROM vdeo (1,5 Mbps).
MPEG-2 (ISO 13818) (93):

TV Broadcast (4-6 Mbps).
HDTV (25-34 Mbps).
MPEG-4 (ISO 14496) (99):

Originalmente: Videoconferencia (4,8 a 64 Kbps).
Enfoque universal de tratamiento de elementos multimedia.
MPEG-7 (00-?): Descripcin de contenido multimedia

(videodatabases)
MPEG-21 (01-?): Uso transparente de contenido multimedia
entre redes y usuarios heterogneos.
1
3
4
1
3
5
Relacin entre los estndares MPEG.
MPEG-1
MPEG-1 (ISO 11172) (91)
MPEG-Vdeo (IS 11172-2)
MPEG-Audio (IS 11172-3)
MPEG-System (IS 11172-1):
Multiplexado y sincronizacin.
MPEG-Conformance Testing (IS 11172-4)

Patrones de prueba, medida de calidad, etc
MPEG-Software Coding (IS 11172-5)

Directrices para la codificacin de los algoritmos.
Propsito de MPEG-1
Almacenamiento en CD-ROM de audio (calidad CD) y vdeo
(calidad VCR) sincronizado (1,5 Mbps).
1
3
6
MPEG-1
Caractersticas de MPEG-1:
Resolucin de imagen: 352x(288 240) (PAL/NTSC).
Reduccin de color (sub-sampling): 4:2:0.
Barrido progresivo (no entrelazado).
Tasa de cuadros: 25/30 (PAL/NTSC).
Incluye cuadros de tipo D (DC-coded):
Operaciones de avance rpido (Fast Forward).
Codificador/decodificador asimtrico.
Tasa
de compresin: 27:1.
Los codificadores de audio
y vdeo trabajan por
separado.
1
3
7
Utilizan un reloj comn para

establecer el tiempo de cada
una de sus capturas (system).
Audio
encoder
Salida
MPEG-1
Reloj
Vdeo
encoder
System
Mux.

1
3
8
MPEG-2
Conjunto de estndares ISO 13818 (93).
Propsito:
Mejorar la calidad de imagen respecto al anterior sin
incrementar excesivamente la tasa de bits requerida
Calidad de vdeo profesional (studio-quality) y HDTV
Aplicacin:
Difusin de seales de TV, HDTV, VOD
La codificacin/decodificacin es muy similar a la

de MPEG-1 salvo algunas diferencias:
No se incluyen cuadros de tipo D.
Permite bloques de 16x8 para vdeo entrelazado.
Otras mejoras (permite DC de hasta 10 bits, cuantizacin
no lineal, nuevas tablas VLC, escalabilidad SNR y
multiresolucin)
MPEG-2
Caractersticas de MPEG-2.
Soporta barrido entrelazado y progresivo.
Puede trabajar con distintas resoluciones (nivel):
CIF: 352x288/240 (VCR quality) (Compatibilidad MPEG-1)
Principal: 720x576/480 (studio-quality)
High-1440: 1440x1152 (HDTV)
High: 1920x1080 (HDTV)
Define varios perfiles de implementacin

Detalles de los algoritmos de compresin y parmetros de
imagen, barrido, etc.
El multiplexado y sincronizacin es ms general y flexible

que MPEG-1
Se pueden multiplexar/sincronizar varias fuentes de audio,
vdeo y datos (ej.: subttulos en varios idiomas).
1
3
9
MPEG-4
Propsito:
Diseo de aplicaciones multimedia interactivas distribuidas.
Aplicacin:
Televisin digital
Compatibilidad con MPEG-2 (backware compatibility)
Aplicaciones multimedia interactivas

El usuario puede interaccionar con los objetos multimedia de la
sesin.
Distribucin de informacin multimedia (tipo WWW)

A travs de una red, se permitir el acceso y distribucin a
informacin multimedia, facilitando su diseo y presentacin.
1
4
0

1
4
1
MPEG-4
Caractersticas:
Accesibilidad de la informacin de manera universal y
robusta.
Alta interactividad con la informacin multimedia.
Definicin de escenarios virtuales compuestos por objetos
independientes (AVOs).
El usuario puede modificar/configurar el escenario actual.
Codificacin conjunta de datos sintticos y reales.

Codificacin eficiente de la informacin.
Mejoras en la compresin y multiplexacin de la informacin.
Codificacin de objetos con forma irregular.
1
4
2
MPEG-4
3.3 Estndar H.261.

Pertenece al conjunto de estndares H.320 del
ITU dedicados a videoconferencia sobre RDSI.
H.320: Definicin de la familia de estndares
H.221: Multiplexado, sincronizacin sobre uno o varios
canales RDSI y empaquetamiento (framming).
H.242/H.230: Establecimiento y control de sesin.
H.224/H.281: Control remoto de cmaras.
H.233 y H.234: Cifrado y autenticacin de los datos.
T.120: Soporte para aplicaciones (transferencia de
imgenes, anotaciones compartidas, etc.)
G.711, G.72x ...: Algoritmos de compresin de audio
H.261: Compresin de vdeo (conocido como

px64).
1
4
3
Estndar H.261.
Caractersticas de H.261:
Formato de imagen: YCbCr
CIF: 352x288 (opcional)
QCIF: 176x144 (obligatorio)
Reduccin de color: 4:2:0

Tasa de cuadros/seg: como mximo 30 max.
Mecanismo de compresin similar a MPEG-1:

Para la redundancia temporal se emplean mecanismos
similares a MPEG, basados en macrobloques (16x16).
H.261 define el concepto de GOB (Group Of Blocks)
1 GOB = 3x11 macrobloques (QCIF: 3 GOBs)
1
4
4

1
4
5
Estndar H.261.
Slo se definen dos tipos de cuadros: I y P.
No existen secuencias predefinidas de cuadros.
Decisin de codificacin I o P para cada cuadro.
Estimacin de movimiento (motion estimation):

Se realiza a nivel de macrobloque
Bsqueda restringida en un rea de +-15 pixels, usando
slo la informacin de luminancia (Y).
Resultado de la bsqueda:
Macrobloque del cuadro de anterior que ms se parece al
actual
Clculo de las diferencias (macrobloque error).
Si superan un cierto umbral se codifican (DCT), si no se elimina
el macrobloque error, utilizando slo el vector de movimiento.
Cuantificacin lineal (menos costosa).

Se siguen utilizando run-length y Huffman (VLC).
Estndar H.261.
PSC
Esquema del formato

H.261
TR
GOB Start
Addr
Type
DC
1
4
6
PType
GOB1
Grp#
Quant
Run, Valor
GOB2
Quant
Vector
...
MB1
CBP
....
GOBm
...
b0
Run, Valor
MBn
b1
EOB
...
b5
Otros estndares H.26x.

H.263: Mejora, ampla y sustituye el H.261
De propsito general (no slo para videoconf.)
Incluye compensacin de movimiento de medio-pxel
Soporta cinco resoluciones (SQCIF, QCIF, CIF, 4CIF y 16CIF)
Permite estimacin de movimiento bidireccional y sin
restriccin en el tamao de la ventana de bsqueda
H.263+: Aade nuevas caractersticas a H.263

Escalabilidad SNR, espacial y temporal
Prediccin de los valores de los coeficientes de la DCT
H.264: Mejora la eficiencia en codificacin

DCT con enteros y tam. bloque 4x4, compensacin de
movimiento con bloques de tamao variable, etc.
1
4
7

1
4
8
Otros estndares H.26x.
Comparacin subjetiva MPEG-4 - H.264
Conclusiones
Las imgenes son captadas por cmaras de vdeo que
proporcionan una seal analgica RGB.
La digitalizacin est basada en el estndar ITU-R
En funcin de la calidad de vdeo deseada, existen diversos
formatos de imagen, barrido, etc.
Se definen distintos parmetros de red de importancia para
el transporte de vdeo
Algoritmos de compresin de vdeo
Fundamentos: Redundancia temporal
Algoritmos de estimacin de movimiento: Alto coste computacional.
Estndares de compresin:
Familia MPEG: 1-2-4
Diseados para procesar vdeo digital de calidad (Sector consumo).
Familia ITU: H.261-3-4

Diseados para comunicaciones audiovisuales en distintos tipos de redes
(RDSI, IP, telefona, etc.)
1
4
9


Estndar JPEG
JPEG Escalado
Compresin de vdeo.

Difusin de vdeo.
Introduccin.
Desde el punto de vista de la red:
Un stream de vdeo ha de ser paquetizado para su transporte.
La prdida de paquetes implica una degradacin de la calidad de
vdeo que observa el destinatario.
Es por ello que resulte de inters el estudio de tcnicas que
protejan el vdeo en su viaje al destino y que los errores
detectados puedan ser ocultados al usuario final Video
resilience.
Desde el punto de vista del transporte de vdeo en

sistemas y redes heterogneos:
Interoperabilidad de distintos codecs con bitstreams incompatibles
en la red heterogeneous transcoding.
Posibilidad de cambiar los parmetros de codificacin (i.e. bitrate)
de un mismo codec homogeneous transcoding.
Desde el punto de vista de la aplicacin:
1
5
1
Las redes (i.e. Internet) tienen un comportamiento muy variable e

impredecible en relacin al ancho de banda disponible.
Por ello, con el fin de optimizar el uso de recursos disponibles en la
red y maximizar la calidad de vdeo entregada al destinatario, se
requieren mecanismos de control de flujo extremo-a-extremo.

1
5
2
Control de flujo.
Las tcnicas de control de flujo debern regular el
bitrate de salida para conseguir la mejor relacin
calidad/productividad.
El control de flujo es una herramienta que al mismo
tiempo nos permite prevenir situaciones de
congestin en la red.
Para que un sistema de control de flujo funcione es
necesario obtener de la red informacin acerca del
ancho de banda disponible en cada momento (i.e.
RTCP receiver reports).
Existen diferentes formas de realizar un control de
flujo:
Cuantizacin variable (Variable-quantization)
Resolucin reducida (Reduced resolution)
Codificacin multinivel (Multi-layer coding)
Etc..

1
5
3
Variabilidad del bitrate.

Todos los estndares de compresin de vdeo producen
de forma natural un bitstream con tasa de bits variable.
Se fija el valor de Qp para obtener una calidad constante.
Por contra, se puede variar el Qp (MB, GOB o Frame) para
conseguir una tasa de bits constante a costa de una
variabilidad en la calidad.
La variabilidad viene fijada por la actividad espacial y

temporal de la secuencia de vdeo:
Un MB de un cuadro P, no se codifica si es muy similar al MB del
cuadro de referencia. Dependiendo de la cantidad de
movimiento en la escena, el nmero de MB que NO se codifican
vara Variando tambin el bitrate.
La correlacin entre los pixels de un bloque de 8x8, dicta el
nmero de bits necesario para codificar los 64 coeficientes
resultantes de la transformada. Junto con el valor de Qp
determinar el nmero de coeficiente nulos que aparecen y que
posteriormente sern codificados con VLC en flujos bits de
tamao variable.
Variabilidad del bitrate (II).

Codes
Layers
Variable
length
Fixed length
Picture
Bit stuffing
ESTUF, PSTUF
Synchronizatio
n
Addresing
Quant. step
size
Administrative
Spare
PSC(22), ECS(22)
TR(8), TRB(3)
PQUANT(5),DBQUANT(2
)
PTYPE(13),CPM(1),PSBI(
2)
PEI(1), PSPARE(8)
Group of
Blocks
Bit Stuffing
GSTUF
Synchronizatio
n
Addresing
Administrative
Quant. step
size
GBSC(17)
GN(5)
GSBI(2), GFID(2)
GQUANT(5)
Administrative
Motion
MCBPC,MODB,
CBPY
MVD, MVD2-4,
MVDB
Administrative
Quant. step
size
COD(1), CBPB(6)
DQUANT(2)
Macrobloc
k
Block
DCT
of
INTRADC(8)
Parmetros
de longitud TCOEFF
fija y variableDC
enterms
un stream
de vdeo H.263
Coefficients
Intra DCT
La contribucin
los parmetros de longitud
(exceptde
Intra
Coeff. variable en el bitrate final es
DC terms)
mucho mayor
que los de longitud fija, a pesar de ser menos.
154

1
5
5
Tasa de bits constante.

Cuando al red ofrece un servicio de transporte de tipo
CBR (i.e ATM), entonces podremos utilizar un control de
flujo que proporcione una tasa de bits constante.
Es necesario incluir un buffer entre el encoder y la red
para suavizar las fluctuaciones del bitrate.
Almacenar el video antes de enviarlo aumenta el retardo
total, siendo no aconsejable para servicios de entrega de
vdeo interactivo.
La tcnica ms comn para controlar el flujo de salida

del encoder es ajustar sus parmetros de configuracin
en funcin de la ocupacin del buffer (feedback
control).
Por otro lado, tambin podemos regular el flujo con
Encoder del frame actual
informacin acerca de la Modify
actividad
Buffer
Params.
status
(feed-forward). Picture
activity
Input
Source
Encoder
Buffe
r
Output

1
5
6
Ajuste de parmetros de codificacin.

Al controlar de flujo de salida de un encoder se debe llegar
a un compromiso entre la calidad y la tasa de compresin.
Cuando se trata de encoders basados en transformada por
bloques, podemos jugar con varios parmetros:
Tasa de cuadros (frame rate) Slo usado cuando la calidad de
cada cuadro no puede degradarse.
Codificar slo una parte del bloque de coeficientes (i.e. solo
coeff. de baja frecuencia). El coeff. DC siempre debe estar
presente.
Cuando la informacin del movimiento es ms importante que el
detalle espacial Mantener la tasa de cuadros y modificar el
parmetro de cuantizacin Qp.
Incrementando Qp se obtendrn mas coeff. nulos, reduciendo
los bits necesarios para codificar el bloque usando VLC
El ajuste de Qp se puede hacer a nivel de un cuadro, GOB o MB.
Umbral de deteccin de movimiento. Decide si un MB en un
cuadro P es codificado o saltado (COD=1)
Si aumentamos el umbral el encoder se hace menos sensible
al movimiento Pocos MB se codifican Reducimos la tasa de
bits.
Umbral de codificacin INTRA de un MB. Decide si un MB es
codificado como INTRA (Mayor tasa de bits) o INTER.

1
5
7
Cuantizacin variable.
El mecanismo de control de flujo ms utilizado es:
Ajuste del valor de Qp del siguiente cuadro, GOB o MB,
basndose en la ocupacin actual del buffer (estado de la red).
Sin embargo, estos mecanismos ofrecen resultados no

predecibles y/o fluctuaciones severas del bitrate:
Los distintos umbrales de cuantizacin
(valores Qp) no afectan de forma lineal
al bitrate de salida
El contenido de vdeo puede afectar a la
cantidad de bits necesarios para codificar
un frame.
Para producir un bitrate estable es

necesario emplear algoritmos ms
complejos, incorporando en muchos casos tanto
feedback (buffer-based) como feed-forward control.
Un ejemplo:
TM5 Rate control algorithm (MPEG-2, H.263, ) Buffer-based
http://www.mpeg.org/MPEG/MSSG/tm5/Overview.html
TM5 rate control algorithm (I).

Mecanismo que controla el bitrate calculando de forma
adaptativa el valor de Qp para cada MB.
Tres pasos:
Paso 1: Estimacin de la tasa de bits objetivo para el
siguiente cuadro.
Se realiza antes de codificar el cuadro
Estima de la complejidad global, X, del siguiente cuadro (I, P o
B)
Xdonde
SS
indica
elQ
nmero
de bits requeridos para codificar el
i , p ,b
i , p ,b
i , p ,b
cuadro anterior, y Q es el
todos los MBs
valor de cuantizacin medio de
El nmero de bits para el siguiente cuadro, T, se calcula en

base al nmero de bits disponible para el resto del GOP actual,
R, y a la complejidad.
R se actualiza tras codificar cada frame (inicialmente R = 0)
Si es el primer cuadro de un GOP (INTRA o I-frame):
bitrate N p ,b
R
R de cuadros P y B que faltan por

donde Np,b es el nmero
FrameRate
codificar en el GOP
Sino (cuadros P y B)
R R S i , p ,b
158
TM5 rate control algorithm (II).

Paso 2: Clculo del valor Qp de referencia para todos los MBs del
cuadro (rate control)
Esta basado en la idea de un buffer virtual. Antes de codificar el MB j
(j>= 1), se calcula el nivel de llenado del buffer virtual (del cuadro
actual I, P o B).
d0 es el valor inicial de llenado del buffer
i , p ,b
j
Bj es el nmero
T de bits
j 1generados al codificar los
i , p ,b
i , p ,b
dMBs
B cuadro
del
hasta el MB j (incluido este)
0
j 1
MB_cnt
dj es el valor de llenado del buffer al codificar el MB j
El valor final del buffer virtual (dji,p,b cuando j=MB_Cnt) se utiliza como
valor de llenado inicial para el siguiente cuadro del mismo tipo.
A continuacin se calcula el valor de referencia del cuantizador Q j
para MBj:
d j 31
Qj
bitrate
2
framerate
Paso 3: Determinacin del valor del cuantizador (mquantj) de
MBj.
Clculo de la actividad espacial de MBj:
Usando el valor de los pixels originales de los cuatro bloques de 8x8 de
luminancia (n=1..4) y los cuatro bloques de 8x8 de luminancia de los pixels
organizados por campos (n=5..8)
159
TM5 rate control algorithm (III).

act j 1 min vblk1 , vblk 2 ,..., vblk8
1 64 n
vblk n Pk P_mean n
64 k 1
1 64 n
P_mean n Pk DCn
64 k 1
Pkn son los valores de los pixels en el ensimo bloque de 8x8

Vblkn corresponde a la varianza de los pixels del ensimo bloque de 8x8
Actj es la actividad espacial del MB j
A continuacin se normaliza la actividad espacial:

2 act j avg_act
N_act j
act j 2 avg_act
avg_act es el valor medio de actj en el ltimo cuadro codificado (para el
primer cuadro se asigna el valor de 400).
Por ltimo, calcula el valor del cuantizador (mquantj) para MBj:
mquant j Q j N_act j
El valor de mquantj se recorta para que entre en el intervalo
[1,31] y se utilice como valor de cuantizacin de MBj.
160
Feed-forward rate control.

En
feed-forward el parmetro de cuantificacin se

calcula en funcin de los bits necesarios para
codificar el error de prediccin del cuadro actual.
161

1
6
2
Control de flujo: Resolucin reducida.

Para aplicaciones donde se requieren bajas tasas de
bits y no es suficiente con la cuantificacin variable.
Submuestrear cada macrobloque de error antes de
codificarlo y realizar la operacin inversa
(interpolando) en el decodificador.

1
6
3
Control de flujo: Resolucin reducida (2).

Ejemplo de decodificador H.263 con procesamiento de
resolucin reducida

1
6
4
Control de flujo: Codificacin multinivel.

El stream de salida esta formado por un nmero de
codificaciones a distintos niveles de tasa de bits,
cuadros por segundo y/o resolucin.
Nivel Bsico + Niveles de mejora.
Ejemplo H.261 con dos niveles sobre ATM (1992)
Bsico a muy baja tasa de bits
Mejora diferencias con original
Ejemplo H.263 con dos niveles (1999)

Bsico QCIF a f/s
Mejora CIF a 2 x f/s
MPEG-4 soporta multinivel

1
6
5
Control de flujo: Codificacin multinivel (2).

Ejemplo de MPEG-4, escalabilidad temporal, Qp=cte

1
6
6
Proteccin y ocultacin de errores.

Los datos de vdeo codificados son muy sensitivos a
la prdida de informacin y a los errores de bit del
canal.
La calidad del video se degrada enormemente ante
canales de altos BER a no ser que empleemos
mecanismos de control de errores.
Las predicciones espacial y temporal de las
secuencias de vdeo aumentan la vulnerabilidad.
Esquemas de gestin de errores deben situarse en
codificador y decodificador
No es factible la retransmisin del vdeo errneo
debido a los requisitos de tiempo real

1
6
7
Proteccin y ocultacin de errores (2).

Tcnicas de ocultacin de errores.
Slo interviene el decodificador en el control de errores. El
codificador no aade redundancia.
El decodificador trata de aprovechar la informacin que
ya tiene libre de errores de la secuencia de video ya
recibida para realizar una recuperacin aproximada.
(a) Sin ocultacin
(b) Zero-MV
(c) MV del frame anterior
(d) MV del frame anterior que
mejor se mueve en la
direccin del MV perdido

1
6
8
Proteccin y ocultacin de errores (3).

Tcnicas de proteccin de
errores (en el codificador).
Insercin de cdigos de
correccin de errores.
Normalmente se aplican a los
cdigos de longitud fija y se
combinan con otras tcnicas
Duplicacin de los vectores de
movimiento.
Refresco INTRA
Refresco INTRA adaptativo (AIR)
AIR Dos bloques INTRA en cada

cuadro

1
6
9
Conclusiones.
Las tcnicas de control de flujo nos permiten

cambiar los parmetros de calidad para conseguir
un bitrate deseado
Las secuencias de vdeo codificado son muy
sensibles a los errores. Se pueden utilizar tcnicas
de ocultacin de errores en el decodificador y
codigos de redundancia y aumento de bloques intra
en el codificador.

Codificacion

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Codificacion

Cargado por

Copyright:

Formatos disponibles

3- Codificacin y difusin de

Codificacin basada en la fuente.

Codificacin y compresin de audio

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Introduccin a la compresin de datos.

Muchas aplicaciones multimedia requieren

Una pelcula de 90 ocupara 120 GB.

Por esta razn se emplean tcnicas de

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Introduccin a la compresin de datos (II).

Un sistema de compresin consta de:

Codificador y decodificador pueden ser:

Con prdidas (lossy compression) o irreversible

Sin prdidas (lossless compression) o reversible:

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Factores en el diseo de un codificador.

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Dos clases de tcnicas de compresin.

Codificacin basada en la fuente.

Codificacin y compresin de audio

Digitalizacin y Codificacin de vdeo. Tipos de vdeo.

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Codificacin basada en la entropa.

Por ejemplo: Sea S = {4,5,6,7,8,9}, en donde la

Segn la teora de la informacin (Shannon), esta

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Trata de identificar los smbolos (patrones de

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Representan los smbolos con un nmero

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Codificacin Huffman: Ejemplo

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Identifica una secuencia de smbolos

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Codificacin aritmtica: Ejemplo

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Se basa en detectar las repeticiones de

Datos a codificar (42): 3150000000376541111111127000000000000003

Tasa de compresin: 50%

patrn es frecuente en multimedia:

Audio: Tiras de ceros que representan

Codificacin basada en la fuente.

Codificacin y compresin de audio

Digitalizacin y Codificacin de vdeo. Tipos de vdeo.

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Codificacin basada en la fuente.

Se basan fundamentalmente en las

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Se basa en la codificacin de las diferencias

Esto permite codificar con pocos bits las

Codificacin con prdida.

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

DCT (Discrete Cosine Transformation):

Muy comn en compresin de imgenes estticas (JPEG).

Codificacin sin prdida*.

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Es directamente aplicable a imgenes y audio.

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Vector quantization (II)

un vector no se encuentra en el code-book:

TECNOLOGAS DE RED AVANZADAS Master IC 2011-2012

Vector quantization (III)

CLUT (Color Look-Up Table)