Capitulo 4 Fuentes de informacién y codificacién de fuente '* Modelado de fuentes de informacién ‘© Codificacién de fuente sin pérdidas ‘© Codificacién de fuente con perdidas * Cuantizacién ‘¢ Técnicas de audio digital Los sistemas de comunicaciones se disefian para transmitir informacién, En cualquier sistema de comu- nicaciones existe una fuente de informacién y el propésito del sistema es transmitir la salida de la fuente al destino. En radiodifusién, por ejemplo, la fuente de informacién es 0 una fuente de vor, o una fuente de miisica, En el caso de televisién, la fuente de informacidn es una fuente de video cuya salida es un iman en ‘movimiento, En la transmisién de fax, la fuente de informacién produce una imsgen fija. En la comunieacién entre computadoras se transmiten datos binarios o caracteres ASCII y en consecuencia, la fuente puede mo- delarse como binaria o ASCH En el almacenamiento de datos binarios en un disco de computadora, la fuente es nuevamente binaria, Cualquiera tiene una nocién intuitiva del significado de informacién. Sin embargo, el anélisis del de- sempeio de los sistemas de comunicaciones dificilmente podria concebirse sin una medida cuantitativa de informacién y el modelado matenritico de las fuentes de informacién. Hartley, Nyquist y Shannon fueron los pioneros en la definicién cuantitativa de medidas de informacién. En este capitulo, investigarernos el mo- delado matemético de las fuentes de informacién y se proveeré una medida de informacién. Luego veremos como la salida de una fuente de informacién puede hacerse mas compacta y, en consech transmitir o almacenar. 798 Departamento de Ingenieria Bléetrica - UNS 4.1 Modelado de fuentes de informacién La nocién intuitiva y comin de informacién se refiere a cualquier conocimiento nuevo sobre algo, Es posible obtener informacién escuchando, viendo, o por otros medios de pereepeién. La fuente de informacién, en consecuencia, produce salidas que son del interés del receptor de Ia informacién, quién no conoce esas salidas por adelantado. BI rol del disefiador de los sistemas de comunicaciones es asegurar que esta informacién se transmita al receptor correctamente, Dado que la salida de la fuente de informacion es una funcién variante en el tiempo impredecible (si fuera predecible no seria necesario transmitirla), puede modelarse on los canales de comunicaciones mediante un proceso estocistico. Ya vimos en el capitulo anterior 4) la existencia de ruido introduce una dependencia estadistica entre Ia entrada y la salida del canal, En consecuencia, el disefiador de sistemas de comunicaciones proyecta un sistema que transtite la salida de un proceso estocastico (fuente de informacién) a un destino a través de un medio estocéstico (el canal) y asegura baja distorsi Figura 4.1: Espectro de potencia tipico de una seital de vor, Las fuentes de informacién pueden modelarse mediante procesos estocéisticos, ¥ las propiedades del pro- ces0 estocistico dependeran de la naturaleza de la fuente de informacién. Por ejemplo, cuando modelamos seitales de vor, el proceso estocéstico resultante tiene toda su potencia en una banda de frecuencia de 300 2.3400 Hz. En consecuencia, la densidad espectral de potencia puede ilustrarse como en la figura 4.1 Las seiiales de video se obtienen del barrido de una imagen fija o en movimiento y entonces el ancho de banda dependera de la resolucién requerida, Para la transmisién de TV, dependiendo del sistema empleado (PAL, NTSC 0 SECAM), esta banda esté tipicamente entre (4.5 MHz y 0-6.5 MHz. Para el caso de telemetria, el ancho de banda dependera obviamente de la velocidad de eanibio de los datos. XX Xo Ki, _—— INFORMACION Figura 4.2: Modelo matemitico de una fuente de informacién discreta en tiempo. BI factor comiin en todos esos procesos es que son de banda limitada, o sea, pueden muestrearse a la velocidad de Nyquist o por encima y reconstruirse de sus valores muestreados. En consecuencia, tiene sentido concentrarse en procesos estocasticos discretos en este capitulo porque todas las fuentes de informacién de interés pueden modelarse por esos procesos. EI modelo matemético de una fuente de informacidn se ilustra en la figura 4.2. Aqui la fuente se modela mediante variables aleatérias X; definidas como discrotas (en Ja transinisién de datos binarios, por ejemplo) o continuas (voz muestreada por ejemplo). Las propiedades estadisticas del proceso estocastica discreto dependeran de la naturaleza de la fuente de informacidn, En este capitulo se estudiardn solo modelos simples de fuentes de informacién, Sin embargo, aiin estos ‘modelos simples permiten definir precisamente una medida de informacién y cotas sobre Ia representacién eficientes de la informacién, EI modelo mas simple de fuente de informacin que se estudiars es Ia fuente discreta sin memoria (fis). ima fas es un proceso estocéstico de amplitud y tiempo discretos en el cual las X; son generadas independien- temente y con la misma distribueidn. En consecuencia, una fis genera una secuencia de variables aleatérias distribuidas identicamente e indepencientemente (iid,), de forma que tomen valores en un conjunto discret. A= {a1,a2,---,ay} se definird como el conjunto de valores que puede tomar la variable aleatéria X, y Jas probabilidades de tomar cada valor como pj = p(X = aj), para todo i = 1,2,---,.N. Una descripeiénDepartamento de Ingenieria Bléetrica ~ UNS 99 completa de la fds est dada por el conjunto A, denominado el alfabeto, y las probabilidades {p;) Ejemplo: Una fuente de informacidn se describe mediante el alfabeto A = {0,1} y también p(X; 1 p(X p. Este es un ejemplo de una fds. En el caso especial en que fuente bindria simétrica Y= 0.5, In fuente se denomina 4.1.1 Medida de informacién Para dar una idea cuantitativa de informacion, comenzaremos con un modelo basico de una fuente de infor- macién y trataremos de definir el contenido de informacién de la fuente para satisfacer ciertas propiedades intuitivas. Supondremos que la fuente que estamos analizando es una fuente discreta. Las salidas de la fuente deben ser transmitidas a un destino especifico donde, en particular, a; es In salida mas probable y aay la menos probable. Por ejemplo, es posible imaginar que la fuente representa por un lado la condicién del tiempo y por otro la contaminacién del aire en cierta ciudad en Enero. En ese caso, A representa varias po y contaminacién tal como caluroso y contaminado, muy y leve- mente contaminado, trio y altamente contaminado,frio y medianamente contaminado, muy fro y levamente contaminado, ete. La pregunta es: cual salida provee mayor informacién, a; 6 ay? (la més probable o la menos probable?). Intuitivamente, saber ay (o equivalentemente, muy frio y levemente contaminado) revela mayor informacién. De esto es posible inferit que una medida racional de informacin para In salida de una fuente deberia ser una funcién decreciente de la probabilidad de ocurrencia. Una segunda propiedad intuitiva de medida de informacion es que un cambio pequetio en la probabilidad de cierta salida no deber cambiar ostensiblemente Ia informacién asociada a esa salida. Bn otras palabras, la medida de informacion ua y decreciente de la probabilidad de la salida de la fuente. nacidn asociada a la salida aj puede separarse en dos partes indepe = fajn aja} ¥ PX = aj) = PX yy = 4) iplo, si suponemos que la temperatura y la contaminacién son independientes Supongamos ahora que la dientes, aj: y ayy, 0 sea, Xj Esto puede suceder, por ej y, en consecuencia, cada salida de la fuente puede separarse en dos componentes independientes. Dado que las componentes son independientes, saber informacidn sobre una de las componentes (la temperatura) no prove informacidn sobre la otra componente (contaminacién), de donde es posible concluir intuitivamente que Ia cantidad de informacién obtenida sabiendo a; es la suma de la informacién obtenida de aj1 y aja. De esta discusidn es posible concluir que la cantidad de informacién obtenida de una salida aj con probabilidad de ocuerrencia pj debe satisfacer las euatro condiciones siguientes: 1. El contenido de informacién de Ia salida a; depende solamente de la probabilidad de aj y no del valor de aj. Esta funcidn se notaré con (pj) y Ia llamaremos informacién, continua de pj, 0 sea, I(.) es una funeién continua, 3. La informacién es una funcién decreciente de su argumento, 4. Si pj = pyjaypyj2), entonces (pj) = 1(pi1)) + P452))- Puede probarse que la tiniea funcién que satisface todas esas propiedades es Ia funcién logaritmo, 0 sea M2) = log(1/2) = —log(x). La base del logaritmo no es importante, aunque define Ia unidad mediante la cual se mide informacién. Si la base es 2, Ia informacidn se expresa en bits, ¥ si es el logaritmo natural, la unidad se expresa en nats Dado que la informacidn obtenida de cada salida de Ia fuente a: se define como la informacién de esa salida, dada por —log(p;), es posible definir el contenido de informacién de la fuente como el promedio ponderado de informacidn de todas sus salidas. La ponderacidn se justifiea porque las diferentes salidas de la fuente pueden tener probabilidades diferentes. En consecuencia, Ia informacién asociada a una fuente es el promedio ponderado de la inforn = TN, pilogp:. El contenido de informacién de la fuente se denomina entropia, H(X) Definieién: La entropia de una variable aleatéria disereta X’es una funcién de las probabilidades de ocurrencia de sus muestras, definida como100 Departamento de Ingenieria Bléetrica - UNS de una variable aleatoria X, sea en consecuencia una variable aleatéria, Sin embargo, H(X) es una fun de distribucién de masa de probabilidades (pmf) de X,, de forma que resulta en un miimero. smoria (fds) con probabilidades p y 1 — p, respectivamente, tenemos A(X) —plogp — (1 ~ p)log(1 = p) Figura 4.3: La funcidn entropia binat idn, notada por Hy(p), se conoce como funcién entropéa binaria, La mit na se ilustra en Ia figura Ejemplo: Una fuente con un ancho de banda de 4000 Hz se muestrea a la velocidad de Nyquist. Suponiendo «que la secuencia resultante puede modelarse aproximadamente por una fas con alfabeto A= (—2,—1,0,1,2) y con probabilidades 1}, determinar la velocidad de generacién de esa Tuente en bits/seg Como se tiene que 1 gga Hoga + Hogs +2 « dts = 2 vitesse H(X) = plog2 + Glog4 + §log8+2 7g 816 = bits/muestra y dado que se tienen 8000 muestras/seg., In fuente produce informacién a una velocidad de 15 kbits/seg, Bn el Apéndice se introduce una discusién adicional de entropia, sus propiedades ¢ interpretacién. nal 4.1.2 Entropia conjunta y condic Cuando trabajamos con dos o més variables aleatérias, y en forma similar a lo analizado para probabilidades conjuntas y condicionales, es posible introducir entropia conjunta y entropia condicional. Esos eoneeptos serdn especialemente importantes cuando trabajemos con fuentes con memoria, Definicién: La entropia conjunta de dos variables aleatérias diseretas {X,Y} se define porDepartamento de Ingenieria Bléetrica ~ UNS 101 H(XY) =~ Yo ple, y)logpl2,9) a Para el easo de m variables X = (X1,X2,-++,Xn), 8 tiene que HX) == YO pleases tn) log per t2,+++ 520) de donde es posible concluir que la entropia conjunta es simplemente la entropia de una variable aleatéria vectorial La entropia condicional de una variable aleatéria X, dada la variable aleatoria ¥, puede definirse teniendo en cuenta que si ¥ = y, entonces fa pf de la variable aleatéria X seré p(r|y), y la entropfa correspondiente seri H(XIY = y) = —, plly) log p(z, u), que intuitivamente es Ia cantidad de incertidumbre en X cuando se conove Y = y. Bl promedio ponderado de esa cantidad sobre todo y es la ineertidumbre en X eonocida Y. Esta cantidad se conoce como entropia condicional y se define como sigue: Definicisn: La entropia condicional de una variable aleatéria X dada la variable aleatéria Y esta definida por A(XY) = = Oe, ghlos (alo) En general se tiene que WX, =— YS per --s2n)log planlert2,--2n) Ejemplo: Usando In regla de la cadena para pm, p(x, y) = p(u)p(aly), mostrar que H(X,¥) = H(0) + H(X|Y). Generalizar este resultado para el easo de n variables aleatorias para obtener H(X) = W(X) + W(X a] Xp) + + HX |XT Xap Xn-n) De la definicién de entropia conjunta de dos variables aleatorias se tiene que IXY) —L ple, y)logp(2,y) = = Yr, ylogp(y) — Y plz, y) log platy) YE vle,v)losletodeelv] = DY pos vty) — J ple. y log plely) = HY) + HX) donde en el ditimo paso se usd que 5, p(y) = p(y). Esta relacién dice que el contenido de informacién del par (X,Y'} es igual al contenido de informacién de ¥ mas el contenido de informacién de X después que Y es conocida. Equivalentemente, esto nos dice que se transfiere In misma informacién conociendo el par (X,Y), 6 primero conociendo ¥ y luego conociendo la informacién remanente en X. La prueba para el caso general puede obtenerse por induecidn. En este caso, si las n variables son idendependientes, la relacién se reduce a W(X) = W(X)102 Departamento de Ingenieria Bléetrica - UNS Si Ia variable aleatéria Xy, es Ia salida de una fuente discreta (no necesariamente sin memoria) en el instante n, entonees H(X2|X1) es la informacién nueva provista por la salida de la fuente Xz cuando ya se conioce Xi. De la misma forma H(Xq|Xi,X2,-+:,Xn~1) e8 Ia informacién nueva en X,, para un observador de Ia secuencia (X1,X2,-++, Xnat) ite de esta entropia condicional cuando n tiende a infinito se conoce como taza de entropia del proceso estocéstico. Dofinicién: La taza de entropia de un proceso estocistico discreto se define por HW tim 2H Xn) La taza de entropia juega el mismo papel que Ia entropia pero en este caso para fuentes de informacién con memoria. Bs basicamente una medida de la incertidumbre por simbolo de salida de Ia fuente. 4.2 Teorema de Codificacién de Fuente El teorema de codificacién de fuente es uno de los tres teoremas fundamentales de teoria de informacién introdueides por Shannon. Este teorema establece un limite fundamental sobre la forma en que puede representarse la salida de una fuente de informacidn sin originar una probabilidad de error grande. Se vié que Ia. entropia de una fuente de informacién es una medida de Ia incertidumbre 0, equivalentemente, el contenido de informacién de Ia fuente. En consecuencia, es natural que en la proposieién det teorema de codifieacién de fuente la entropia juege un papel principal La entropia tiene un significado muy intuitivo. Consideremos la observacidn de las salidas de longitud n de una fds, para n muy grande. En base a la ley de los grandes niimeros (del Capitulo 2) en esta secueneia ¥ con alta probabilidad (0 sea, tendiendo a 1 para n — 20) el simbolo a, se repite aproximadamente mpi veces, el simbolo a2 se repite aproximadamente np» veces, +--, y el simbolo ay se repite aproximadamente npw veces. Bsto significa que para n suficientemente grande, con probabilidad préxima a 1, cada secuencia de la fuente tiene Ia misma composicién y en conseeuencia casi la misma probabilidad. Dicho de otra forma, asintoticamente casi fodo es cast igualmente probable. Las secuencias de simbolos a;, que notaremos 2, con esa estructura se denominan seewencias tépicas. La probabilidad de wna secuencia tipica esta dada por J] 2" (cada simboto se supone independiente con probab. mpi) Ter WX or Dia riloney = yn) Esto significa que para n suficientemente grande casi todas las secuencias tipicas de salida de longitud n son igualmente probables con probabilidad = 2-""™*). Por otro lado, la probabilidad del conjunto de secuencias no tipicas es despreciable Pero como la probabilidad de ocurrencia de seeuencias tipicas es aproximadamente | y cada secuencia ica tiene probabilidad 2-”¥*), el niimero de secuencias tipicas seré Neo. see. tipieas = r(x) En consecuencia, pesar que una secuencia de tamaiio de alfabeto NW puede producir IN” secuencias de longitud n, el miimero efectivo (0 sea sin perder una canticad significativa) de seeuencias es 24. La figura 44 muestra un diagrama de la propiedad mencionada. Este es un resultado muy importante ya que nos dice que para todo propésito prictico, es suficiente considerar el conjunto de secuencias que todo el conjunto de secuencins posibles de In fuente, El error introchcido ignoranclo secuencias no ipicas puede hacerse menor que cualquier ¢ > 0 eligiendo n suficientemente grande. Esta es la esencia de la compresién de datos, o sea, la practica de representar la salida de una fuente con el menor mimero de secuencias comparado con el niimero total de salidas que Ia fuente produce Del resultado anterior y dado que ¢ es un niimero positive arbitratio, puede verse que es posible representar Ja secuencia tipica sin introducir error considerable. Dado que el niimero de ellas es muy aproximadamenteDepartamento de Ingenieria Bléetrica ~ UNS 103, ont de secu ips con 2 HOO, somo GED Figura 4.4: Conjunto de secuencias tipieas y no tipicas, 2429, son necesarios n(X) bits para representarlas. Sin embargo, esos bits se utilizan para representar secuencias de longitud n. En conseeuencia, en promedio, cualquier fuente requiere #(X) bits para una repr sentacién casi sin errores. Esto nuevamente justifica Ia nocién de entropia como Ia cantidad de informaci por cada secuencia de la fuente. Hasta aqui se supuso que la fuente es discreta y sin memoria y puede representarse por una variable aleatéria iid. Esa fuente puede comprimirse solo si su pmf no es uniforme, ya que si X tiene distri uniforme H(X) = log N. Y, en consecuencia, 2°) = 2"98% = V*. Esto significa que el mimero efectivo de secuencias de salida de Ia fuente de longitud n es igual al niimero total de secuencias de Ia fuente y no existe compresin posible. ‘No hemos considerado el caso en que la fuente tenga memoria. Para fuentes con memoria, las secuencias no son independientes y las secuencias pasadas introducen informacién en las futuras. Esto signifiea que Ia velocidad a la cual se introduce informacién nueva disminuye cuando aumenta el mimero de secuencias. Un ejemplo clasico de esto es el alfabeto Castellano, el cual muestra considerable dependencia entre letras ¥ palabras (una "q” esta casi siempre seguida de una” uw, ete). La entropia por letra para un texto geande en Castellano es rigurosamente el limite de H(Xn|X1, X2,---,Nn1) para n suficientemente grande (la taza de entropia discutida anteriormente), Para fuentes estacionarias en general, Ia taza de entropia tiene el mismo significado que la entropia para el caso de fs y define el niimero de secuencias de satida de la fuente para n suficientemente grande, o sea, 2”, donde H ex la taza de entropfa. Varios estudios con modelos estadisticos del Castellano muestran que Ia taza de entropia converge ra pidamente, y param prdximo al limite, Cuando la memoria aumenta, el tamaiio det espacio sobre el cual se calculan las probabilidades condicionales aumenta rapidamente, y no es facil hallar las probabilidades condicionales para obtener Ia taza de entropia. Hasta aqui se discutié una descripcidn informal del teorema de codificacién de fuente, La proposicién formal, sin prueba, se presenta a continuacidn. ‘Teorema de Codifieacién de Fuente: Una fuente con taza de entropia H puede codificarse con un error arhitrariamente pequefio a cualquier velocidad R (en hits/salida) siempre que R > H. Por otro lado, si R < H, la probabilidad de error no podré ser arbitrariamente pequefta, independientemente de la complejidad del codificador y decodificador empleados. Bote teorema, solo determina condiciones necesarias y suficientes para la existencia de tal codificacién de fuente. No provee ningiin algoritmo para disefiar los e6digos que logren el desempeiio predicho, En Ia subseceién préxima se discutiran dos algoritinos para la compresién de fuentes de informacién, 4.3 Algoritmos de Codificacién de Fuente En Ia seccién anterior se concluyé que la entropia de Ia fuente H determina una cota sobre la velocidad a Ta cual puede comprimirse una fuente para una reconstruccién confiable. Esto significa que a velocidades por encima de Ia entropia es posible diseniar un eédigo con una probabilidad de error tan pequelia como se desee, mientras que a velocidades por debajo de la entropia tal eédigo no existe. Este resultado importante, sin embargo, no provee algoritimos especificos para diseilar eddigos que aproximen esta cota. En esta secci6n104 Departamento de Ingenieria Bléetrica - UNS introduciremos dos algoritmos para disefiar cédigos que se desempeitan muy proximamente a la cota de entropia. 4.3.1 Algoritmo de codificacién de fuente de Huffman Bn el codificador de Huffman, bloques de longitud fija de salida de la fuente se mapean en bloques binarios de longitud variable, Esto se denomina un codificador de longitud fija a variable. La idea es mapear las secuencias de longitud fija que ocurren més frecuentemente a secuencias binarias mis eortas y las menos frecuentes a seeuencias binarias mas largas. En la codificacién binaria de longitud variable el problema es la sincronizacién, Esto significa que deberia existir una tinica forma de dividir la secuencia binaria recibida en palabras de eédigo. El siguiente ejemplo clarifica este punto, Ejemplo: Supongamos que las salidas posibles de una fuente de informacién son fay, a2, aa, a4, as}, ¥ consicleremos los siguientes cédigos de esta fuente. Tetra Probabilidad Cédigo 1 Codigo 2 _Cédigo 3_Cédigo 4 Ta Pr 1 T oo [ee p=37 Oo iW WO a Pa on Too a2 door to0o TOT a a Ps = En el primer eédigo cada palabra termina con un 1. En conseeuencia, tan pronto como el decodifieador observa un 1, reconoce que Ia palabra de eédigo ha terminado y una nueva comenzara. Esto significa que el cédigo es autosincronizante. En el segundo eédigo cada palabra comienza con un 1. Por eso, observando un 1, el decodificador reconoce que una palabra de cédigo nueva y en consecuencia, el bit previo era el itn de la palabra anterior. Este eédigo es tambien autos ante peto no es tan conveniente como el primero porque can este es necesario esperar hasta recibir el primer bit de la palabra siguiente para reconocer que ‘ma nueva palabra ha comenzado. En el eddigo 1 se reconoce el iltimo bit sin necesidad de recibir el primer bit de la prdxima palabra de cédigo. Los eddigos 1 y 2 son de esa manera anivocamente decodificables. Sin embargo, solo el cédigo 1 es instantdnco. Los cédigos 1 y 3 tienen la propiedad interesante que ninguna palabra es prefijo de otra, se dice que satisfacen la condicién de prefijo Dada una secuencia (alfabeto) {a .ayr~1} generada por una fuente disereta sin memoria, con {po.pis.-spx-1), definimes como condicién de prefijo a las siguientes reglas 1 Sea {mi ,amess-- Mey} In keésima palabra asignada al simbolo ag, con my = 0.6 1, Nes la longitud de In palabra. ‘¢ La parte inicial de Ia palabra se representa por my,...mp,, 75 V. ‘* Cualquier secuencia construida de la parte inicial se denomina prefij + El eddigo de prefijo se define como aquel en que la palabra no es prefijo de ninguna otra, Puede demostearse que una condicién necesaria y suficiente para que un cédigo sea univocamente decodi- ficable e instantneo es que satisfaga la condicién de prefijo. Esto significa que esos eédigos son univocamente decodificables e instantineos. Sin embargo, el cédigo 3 tiene Ia ventaja de tener menor longitud promedio. En realidad, para el e6digo 1 Ia longitud promedio es ixdaaetsxteactoond Ft 16 16 y para el eédigo 3 se tiene que lio tigyl L 1_ 30 BUJ= 1x 5+ 2x 43% bode Deax DadDepartamento de Ingenieria Eléctrica - UNS 105 El cédigo 4 tiene como mayor desventaja no ser univocamente decodificable. Por ejemplo, Ia secuencia 110110 puede decodificarse de dos formas distintas, como ass 0 como asazd3. Los cédigos que no son univocamente decodificables no son deseables y deberian evitarse en In prictica. De la discusién anterior es posible concluir que el mas deseable de los cédigos anteriores es el 3. Este es un ejemplo de un eddigo de Haffman, ha ser diseutida brevemente a continuacién, | scuarguire Figura 4.5: Algoritmo de codificacién de Huffman,106 Departamento de Ingenieria Bléetrica - UNS Como mencionado anteriormente, la idea en la codificacién de Huffman es elegir una longitud de palabra tal que las secuencias més probables tengan longitudes mas cortas. Si podemos mapear eada salida de la fuente de probabilidad p; en una palabra de cédigo de longitud aproximadamente log 2 y al mismo tiempo asegurar decodificabilidad, es posible lograr una longitud promedio de palabra de aproximadamente H(X). Los eédigos de Huffman son univocamente decodificables e instantaneos eon longitud promedio de palabra de eddigo minima, En ese sentido son dptimos. La dptimalidad se entiende sobre todos los eédigos que satisfacen la condicién de prefijo (y en consecuencia son univocamente decodificables ¢ instantneos). Algoritmo de codificacién de Huffman 1. Clasificar las salidas de la fuente en orden decreciente de acuerdo a sus probabilidades. 2. Meaclar las dos salidas menos probables en una suma de las probabilidades correspondientes. ica salida cuya probabilidad es la 3. Si el ntimero de salidas remanentes es 2, entonces ir al proximo paso; de lo contrario ir al paso | 4. Asignar arbitrariamente 0 y 1 como palabras de cédigo a las dos salidas remanentes, 5. Si una salida es el resultado de mezclar las dos salidas en un paso precedente, completar la palabra actual con un 0.0-un 1 para obtener la palabra de cédigo para las salidas precedentes y repetir el paso 5. Si no existe salida precedida por otra salida en el paso precedente, parar. La figura 4.5 muestra un diagrama de flujo de este algoritio, Ejemplo: Disefiar un cédigo de Huffman para la fuente dada en el ejemplo anterior. El diagramaen arbol de Ja figura 4.6 resume los pasos de diseiio para la construccién del eddigo y las palabras del e6digo resultant 110 mo m § Figura 4.6: Diagrama en arbol de la codificacién Huffman. Puede mostrarse que la longitud promedio de un eédigo de Huffman, definida por R= Y plait) teh donde (x) es la longitud de la palabra de cédigo correspondiente a la salida de la fuente 2, satisface Ia desigualdadDepartamento de Ingenieria Bléetrica ~ UNS 107 H(X) 0 con Ia igualdad si y solo si X e ¥ son independientes. H(X), HUY) 3. 1KGY) =D yes) og Set WAXY) = H(X) + HY) HLXY). 1(X;¥ |Z) es la infor ua condicional, definida por 1(X;¥|Z) = H(X|Z) — H(X|¥,2). 6. XYZ) =D, MeN [2 = 2), U(XY; 2) = 1(X;Z) + HY; ZX). Bota es la rogla de la caclena para In informacién rmutua, SYIXt) toot Xs YX Xn) 2. (XY) < 8. Bu general, 1X, +++ Xai ¥) = 1M Y) +10 La figura 4.9 representa la relacidn entre entropfa, entropia condicional ¢ informacién mutua 4.4.2. Entropia diferencial Hasta aqui se definié entropia e informacién mutua para fuentes discretas. Si se trabaja con una fuente jiempo de alfabeto continuo cuyas salidas son mimeros reales, no existe una magnitud que tenga el significado intuitivo de Ia entropia, En el caso continuo se utiliza en general otra cantidad que se asemeja a la entropia y que se denomina entropfa diferencial. En realidad, para reconstruit la salida de una fuente continua en forma confiable, se requerita un ito de bits por salida de la fuente dado que cualquier salida de la fuente es un niimero real y la expansi ria de un ndimero real requiere infinita cantidad de bits. disereta e Definicién: La entropéa diferencial de una variable aleatéria continua X’ con pdf f(z) se notara por h(X) y esta definida porDepartamento de Ingenieria Bléetrica ~ UNS ul Hee) Hoy HQ) cr 1067) Figura 4.9: Eutropfa, entropia condicional e informacién mutua WX) [ sxley tos fete Bjemplo Determinar la entropia diferencial de una variable aleatsria X uniformemente distribuida en (0, a) Utilizando la definicién, nape ff rtelog!ae= ge Puede coneluirse que para a <1 se tiene que h(.X) <0, en contraste con la no negatividad de la entropia disereta, También, para a = 1, h(X) = 0 sin ser X deterministiea. Esto también esté en contraste con las propiedades de la entropia discreta. Ejemplo: Determinar la entropia diferencial de una variable aleatdria Gaussiana con media cero y varianza La pdfes f(z) = Lge #?. En consecuencia, usando logaritmo natural, la entropia diferencia sera x) = -f wn( . n(-#) slew donde se utilize que [°° f(z)dx = Ly J, 28f(2)dz = 0%. Cambiando el logaritmo a base 2 se tiene que A(X) = 5 log(2neo*) Laextensidn de la definicidn de entropia diferencial a variables aleatorias conjuntas y entropia diferencial condicional es directa. Para dos variables aleatérias se tiene que marys fo f° sees sent dy112 Departamento de Ingenieria Bléetrica - UNS ACAI) = (X,Y) — ACY) La informacién mutua entre dos variables aleatérias conth al caso discreto como ss conjuntas Xe Y se define en forma similar IXY) = WY) = AVX) = W(X) = WOXIY) A pesar que la entropia diferencial no tiene Ia interpretacién intuitiva de In entropia discreta, puede de ‘mostrarse que la informacién mutua de variables aleatérias continuas tiene basicamente la misma inter- pretacién que Ia informacién mutua de variables aleatétias diseretas, o sea, es In informacién provista por una variable aleatéria sobre otra variable aleatéria, 4.4.3. Funcién velocidad - distorsién Volviendo al problema original de representar una fuente continua con un mtimero finite de bits/simbolo, In pregunta es: sila salida de la fuente va a ser comprimida y representada por cierto niimero de bits/simbolo, cuin préximas puerlen ser las versiones comprimida y original? Bsta pregunta no es aplicable solo a fuentes continuas. Un problema similar puede formularse para fuentes discretas. Suponiendo una fuente discreta con entropia H(X). Esto significa que es posible transmitir la salida de esta fuente usando H(X) bits/simbolo de salida de la fuente con probabilidad de error arbitrariamente baja. Supongamos ademas que usar H() bits/simbolo es muy alto y no es tolerable (por ejemplo, en almacenamiento en discos magnéticos, el espaci de disco requerido seria muy grande). Entonces el miimero de bits/simbolo disponibles es menor que HX). por lo que la recuperacién libre de ertores no es posible y algunos errores seriin inevitables. La pregunta es: para un niimero dado de bits/simbolo, cual es la minima taza de error alcanzable y coma puede lograrse este minimo? La pregunta también puede establecerse en la diteccién opuesta, o sea, cual es el mrimero mi de bits/simbolo requerido para reproducie Ia fuente con cierto nivel de distorsién’? Para presentar formalmente la discusién anterior es necesario definir la nocién de distorsién. Distorsién en la reproduceién de una fuente es una medida de Ia fidelidad o proximidad de la reproduce’ la salida original de Ia fuente, Bn la reproduccién de alta fidelidad, la sefial reproducida esta muy préxin a la seal original y Ia distorsién es baja, mientras que en la reproduccién de baja fidelidad existe mayor “distancia” entre la seiial original y la reproduccién, y en eonsecuencia una mayor distorsién. Una medida de distorsién mide cuan lejos estan la sefial original y su reproduccién. Bs posible imaginar diferentes medidas de distor pea let) 6n entre una sefial 2(¢} y su reproduecién #(0), por ejemplo, max, |2(¢) (Oat y limnr oo # [7f),(2(t) ~ #(0)Pat son tres medidas de distorsidn, Una buena medida de distorsién debe satisfacer dos propiedades. Primero, debe ser una buena aproxima- cidn al proveso de percepeién, y segundo, debe ser lo suficientemente simple como para ser matematicamente tratable. La primera propiedad simplemente dice que, por ejemplo, si se esta trabajando con transmisién de vor y en la pereepeidn de la vor la fase de la seital no es un factor crucial, la medida de distorsidn no debe ser dependiente de la reproduccién exacta de Ia fase, Por otro Indo, si se trabaja con percepcién de imagen, Ia fase juega un rol importante y en consecuencia esto debe teflejarse en la eleceién de la medida de distorsidn, Hallar una medida de distorsién que satisfaga ambas propiedades no es usualmente una tarea simple. En general, una medida de distorsién es la distancia entre z y su reproduccién #, notada por d(z,2). En el caso disereto una medida de distorsién utilizada comunmente es la distorsién de Hamming, definida por tutoe)={ ee En el caso continuo se utiliza freeuentemente la distorsién de error euadrético definida por Se supone también que trabajamos con una medida de distorsién por simbolo, lo que significa que la distorsin entre secuencias es el promedio de la distorsién entre sus componentes, 0 seaDepartamento de Ingenieria Bléetrica ~ UNS U3 tte, 8") = 1S dlei.2i) Esta suposicién signifiea que la posicién del "error"en la reproduceién no es importante y que la distorsién «5 independiente del contexto. ‘Como la salida de la fuente es un proceso estocéstico, dw, 2") es una variable aleatéria. Definimos la distorsién de la fuente como el valor esperado de esta variable aleatsria, D= Ela(X,X") 15° placa, Xo] = ETC, 5] donde en el fltimo paso se utilizé la suposicién de estacionaridad de la fuen tribuciones del indice i). Con todas esas definiciones la pregunta original puede reescribirse como sigue: dada una fuente de formacién sin memoria con alfabeto 4 y distribucién de probabilidades p(x), un alfabeto de reproduccién A y una medida de distorsi6n d(,¢), cual es el mimeto minimo de bits/salida de Ia fuente R requerido para garantizar que la distorsién promedio entre la secuencia de salida y la correspondiente reproduccién no exceda cierto D especificado? Es obvio que R es una funcién deereciente de D. o sea, si es necesaria alta fidelidad de reproduccién (bajo D) es necesario que sea alto, La relacién entre It y D se expresa por la funcién velocidad ~ distorsién. El teorema siguiente introduce la forma general de ia funcién velocidad-distorsién (sin demostracién). (independencia de las dis- ‘Teorema El niimero minimo de bits/simbolo de la fuente requerido para reproducir una fuente sin memoria con distorsién menor 0 igual a D se denomina la funcién velocidad-distorsién, R(D}, que esta definida por RWD)= min XX) Haley BLAKE SD mR bits O10. weg Figura 4.10: Representacidn esquematica del teorema de velocidad - distorsién. La figura 4.10 es una representacién esquematica de este teorema. El espacio de salidas de la fuente de Tongitud n, A, se divide en 2*® regiones. Si la salida de la fuente 2” eae en la regidn i, se transmite por el decodificador la representacién binaria de , Dado que 1 < i <2°®, la representacién binaria es de longitud nf, y la eodificacién se realiza a una velocidad de R bits/salida de la fuente. El decodifieador, después de recibir la representacién hinatia de é, genera una secuencia predeterminada a” tal que su distancia, promedio (distorsién) de la secuencin @ en In regidn i es minima, Esta es ln mejor representacién de las secuencins asociadas a la regidn i, Para grandes valores de R se tendré un gran miimero de regiones y en consecuencia Ja representacidn seré muy precisa (cuantizacién fina), mientras que si es pequeiia, el mimero de regiones14 Departamento de Ingenieria Bléetrica - UNS «> pequeio y la distorsién es grande (cuantizacién gruesa). Existirén dos casos extremos, Bl primero sucede cuando hay una sola regidn (R = 0). En este caso el punto de representacién es en cierto sentido (a ser clarificado més adelante) el centro de masa del espacio completo de la entrada, El segundo caso extremo es cuando cada regidn consiste en una tinica salida de la fuente. En este caso, R toma su valor mximo, ¥ la distorsién es cero. Del teorema de velocidad-distorsién es posible concluir que si Ia funcién velocidad = distorsién esté especificada para una fuente ¥ una medida de distorsién, entonces se conoee el mimero minimo de bits/simbolo de Ia fuente requerido para reconstruir la fuente con esa medida de distorsién Especificada la velocidad, es posible determinar la distorsién minima aleanzable si se utiliza una eodificacién a esa velocidad. Dehe enfatizarse que, como en el caso del teorema de codificacién de fuente, los resultados indicados por la funcién velocidad-distorsidn son “limites fundamentales” en el sentido que pueden lograrse solo asintoticamente y con una complejidad ereciente en su implementacion Ejemplo: Para una fuente binaria sin memoria con P(X; = 1) = 1 P(X; = 0) = p, ¥ con distorsion de Hamming puede mostrarse que la funcidn velocidad-distorsién est dada por RD) -{ Hole) — HD) Og Ds milo.) 1. Suponiendo p = 0.5, cuantos bits/salida de la fuente sern necesarios para transmitir esta informacién con probabilidad de error a lo sumno igual a 0.25? De la definicién de distorsién de Hamming, la probabilidad de error y la distorsién promedio coincide, 0.25 y como p = 0.5 se tiene un caso en que 0 < D < min{p, 1p}. Esto Hy(0.5) ~ H,(0.25), lo que resulta en R % 0.189. En consecuencia P, significa que R(0. 2. Con p= 0.5 y un canal que puede transmitir 0.75 bits/por cada salida de la fuente, eual es la proba- bilidad de error minima aleanzable’ Para R= 0.75 es necesario resolver la ecuacién Hy(p) ~ Hy(D) = 0.75, donde Hy(p) = Ha(0.5) = ‘en conseeuencia Hy(D) = 0.25, lo cual determina P, = D = 0.042 ‘ alee Figura 4.11; Funcién velocidad - distorsién para una fuente binaria con distorsién de Hamming, Un grafico de la funcién velocidad-distorsién para una fuente binaria se muestra en la figura 4.1L. Para dlistorsign cero (probabilidad de error nula), se tiene que R(D) = Hy(p), lo cual concuerda con el teorema de codiieacién de fuente. Suponiendo p< 0.5, para D = p se tiene que R(D) = 0, 0 sea, podemos reproducir ka fuente con una distorsién p sin transmisién, haciendo que el vector de reproduccién sea cero. Esto signifiea que D = p. = PIX # X] = PIX 4 0) = PIX 5 Puede mostrarse también que para una fuente Gaussiana de media cero y varianza 6” y con una medida dle distorsin cuadrética, la funcién velocidad-distorsién estaré cada porDepartamento de Ingenieria Bléetrica ~ UNS 5 Figura 4.12: Funcidn velocidad - distorsién para una fuente Gaussiana con distorsién media euadratica, Un grafico de la funcién velocidad-distorsién se muestra en la figura 4.12. Una pregunta interesante ahora 65 la siguiente: en que factor decrece la distorsién si la velocidad de codificacién de la fuente se incrementa en I bit? La respuesta, por supuesto, dependera de la funcién velocidad-distorsin de la fuente (la cual a su ver dependerd de la estadistica de la fuente y de la medida de distorsién). Considerando el caso de un {ds Gaussiana de media cero con medida de distorsidn cuadritica, y como 0 < D <0? y RUD) = blog = es posible obtener Ia funcién distorsidn-velocidad como D(R) ® Obviamente, incrementar f en I, disminuiré D por un factor de 4, 0 equivalentemente en 6 dB. Esto significa que cada bit de transiisién por salida de la fuente reduce la distorsién en 6 dB. Bjemplo: En la representacién de una fuente Gaussiana de media cero y varianza unitéria, cual es la minima distorsién alcanzable si se emplean 8 bits/salida de la fuente? En que factor se disminuye la distorsion si se utilizan 16 bits/salida de Ia fuente? Utilizando la relacién D(R) = 072°? con R= 8 y o = 1, se tiene que D = ze © 1.52 x 10%, Si se utilizan, en lugar de 8, 16 bits, Ia distorsidn se reduce en 48 dB o por un factor de 4 4.5 Cuantizacién En la seccién previa se presentd el problema de representacién de fuentes analigicas, que requiere teorica- ‘mente un mimero infinito de bits/salida de la fuente, En consecuencia, siempre existiré alguna distorsién en la transmisin de fuentes analégicas, ¥ el objetivo es minimizar dicha distorsidn, Se introdujo también la funeién velocidad-distorsién, que define un limite fundamental en el compromiso entre velocidad de eodifiea- cién y distorsién, En esta seccin se investigardn esquemas pricticos para representar In salida de una fuente analdgica a bajas velocidades y, al npo, sin introducir distorsidn exeesiva. Como y: fundamental prometido por la funcidn velocidad - distorsién puede aproximarse solo asintdticamente, 0 sea, mediante la utiligacién de codificadores y decodifieadores muy complejos. El eodificador observa salidas de la fuente de longitud n, # € 4X” y las mapea a secuencins de representacién de longitud n, # € 2, siendo 2°R el mimero de estas secuencias y en conseeuencia R bits/salida de la fuente seran necesarios para su transinisién. Cuanto mas grande sea el valor de n, mas proximo al limite de velocidad-distorsién operard el sistema. Esto significa que un esquema efectivo de cuantizacién deberia trabajar con bloques de salida de la fuente antes que con salidas individuales. Los cuantizadores que operan sobre bloques de salida de la fuente se donominan euantizadores veetoriales, en oposicién a los cuantizadores esealares, que euantizan cada salida separadamente. Ademas de clasificar a los euantizadores como escalares 0 vectoriales, es posible clasificarlos ( yen general a los codificadores de fuente) sobre la base del método general para comprimir los cates como codificadores116 Departamento de Ingenieria Bléetrica - UNS de forma de onda 0 codificadores de anélisis - sintesis. Los codificadores de forma de onda comprimen la sefial analégica en base a varios métodos. En estos easos el mecanismo por el cual se genera la seiial no es importante, sino que sus caracteristicas son més relevantes (tales como ancho de banda, densidad espectral de potencia, propiedades estadisticas, etc.). Como el mecanismo mediante el eual se genera la forma de onda xno es importante, los resultados son muy robustos y pueden aplicarse a todas las fuentes independientemente de su naturaleza. En los codificadores de andlisis-sintesis no se comprime y transmite la seal directamnente, En su lugar, se adopta un modelo para la produccién de la seital y se comprimen y transmiten los pardmetros del modelo. Por ejemplo, en la codificacin de vor. el mecanismo mediante el cual se produce la vor puede modelarse como un fltto variante en el tiempo excitado por ruido blanco o una secuencia de impulsos. En este tipo de codificadores, se cuantizan los pardmetros del filtro y sus entradas (en forma escalar 0 vectorial) y luego se transmiten. Bn el receptor, se genera un filtro que simula cl comportamiento del traeto vocal y se loexcita con la entrada apropiada de forma que resulte una replica de la sefial requerida. Esta aproximacién esti basada en un modelo y no tiene la generalidad de la eodificacidn de forma de onda. Por otro lado, los esquemas de cuantizacién basados en modelos alcanzan relaciones de compresién mejores que en el caso de los de forma de onda. 4.5.1 Cuantizacién escalar En In cuantizacién escalar cada salida individual de In fuente se cuantiza en cierto niimero de niveles que después son codificados una secuencia binatia, Cada salida de la fuente es un mimero real en general, pero atin asi la transmisién de mimeros reales requiere un n1imero infinito de bits, En consecuencia, es necesario mapear el conjunto de los niimeros reales en un conjunto finito y al mismo tiempo minimizar la distorsién introducida. En la cuantizacidn esealar el conjunto de los mimeros reales R se particiona en NV’ subconjuntos disjuntos Ry, 1 se obtiene D = 6.25, Obviamente, el esquema de cuantizacién simple mostrado en Ia figura 4.13 esta lejos del éptimo. Las razones para este pobre desemperio son tres. Primero y principal, la cota de velocidad-distorsién es asintétiea y se cumple para el mapeo éptimo en blogucs de salidas de la fuente cuando Ia longitud del bloque tiende a infinito, mientras que en el ejemplo, se emplea un cuantizador escalar operando sobre las salidas individuales de la fuente. La segunda raz6n es que, atin con el cuantizador escalar con 8 niveles no se ha realizado ningtin intento para disehar en forma éptima el cuantizador, eligiendo los {a;} y # apropiadamente. La tercera raz6n es que después de la cuantizacién las 8 salidas {#)8_, no son equiprobables y pueden ain ser comprimiidas. En este ejemplo, ple:) = ple) = ples) = Jo que resulta en p(s) = p(és) = 0.0014, p(s) = pz) = 0.0214, pla) = ples) = 0.1359 y p24) = ples) = 0.3414, Utilizando el teorema de codificacidn de fuente es posible concluir que la salida del cuantizador puede comprimirse hasta H(X) = 2.105 bits/salida de la fuente. Esto significa sentido comparar 33.38 con el valor obtenido de la funcidn distorsién con R = 2.105, lo que resulta en D = 21.61 (diferente de 6.2%). En el ejemplo anterior, se eligié como medida de desempeiio ELX ~Q(X)P?, lo que se denomina distorsién media cuadrética o ruido de cuantizacién. Una medida de desempeno mis significativa es una versién normalizada del ruido de cuantizacién con respecto a la potencia de la seal original Definicién: $i la variable aleatdria X se cuantiza a Q(X), la relacién sevial a ruido de cuantizacién (SQNR) se define por Cuando se trabaja con Pa y la potencia de sefial es de donde la SQNR esDepartamento de Ingenieria Bléetrica ~ UNS 19 Puede mostrarse que si X() es estacionario entonces esta ecuacién es igual a la definicién, donde X’ es una variable aleatéria representando X(t) en cualquier punto, Cuantizacién Uniforme Los cuantizadores uniformes son los ejemplos més simples de cuantizadores escalares. En un cuantizador iniforme Ia linea real entera se particiona en N regiones. ‘Todas las regiones excepto Ri y Rwy tienen igual longitud, A. Esto signifiea que para todo i, 1 (tear PP (olde Si degsne Figura 4.14: Cuantizador uniforme de siete niveles, Cuando 1 es impar,se tendré la situacién mostrada en la figura 4.14. Bn este easo a; para todo 1 Plai1 [ ztxteme) Una aproximacién practica al diseiio de cuantizadores vectoriales se basa en la misma idea utilizada en el disefio de cuantizadores escalares éptimos. Comenzando a partir de un conjunto de regiones de cuantizacién es posible obtener los vectores cuantizados éptimos para esas regiones utilizando el segundo eritério, nego reparticionando el espacio utilizando el primer critério y se repiten estos pasos hasta aleanzar una distorsion despreciable124 Departamento de Ingenieria Bléetrica - UNS La cuantizacién vectorial tiene gran aplicacién en la codificacidn de vor e imagen y se han propuesto numerosos algoritmes para reducie su complejidad computacional. Puede probarse que para fuentes ergédieas y estacionarias, el desepeito del cuantizador vectorial 6ptimo se aproxima al desempeiio ptimo dado por la Tuncién velocidad-distorsién cuando n es suficientemente grande. 4.6 Codificacién de forma de onda Los esquemas de codifieacin de forma de onda se diseiian para reproducir la sefial de salida de Ia fuente en el destino con la menor distorsién posible. En estas téenieas no se presta atencién al mecanismo que produce Ja forma de onda, y toda la atencidn se dirije a la reproduccién de Ia salida de la fuente en el destino con alta fidelidad. Dado que la estructura de la fuente no juega ningiin rol en el disefio de los codificadores de Forma de onda y solo las propiedades de Ia sefial afectan el diseiio, los codificadores de forma de onda son robustos y pueden utilizarse con una variedad de fuentes, siempre que las formas de onda producidas por esas fuentes Lengan ciertas similaridades. 4.6.1 Modulacién de pulsos codificados (PCM) x0) La) lig) 0110, Figura 4.18: Diagrama en bloques de un sistema PCM. La Modulacidn de pulsos Codificados (PCM) es la forma mas simple y antigua de codificacién de forma de onda, Un codificador PCM esta formado por tres partes basicas: un muestreador, un cuantizador y un codifieador. Un bloque funcional de un sistema PCM se muestra en la figura 4.18, La sefial que entra al muestreador es de ancho de banda limitado, W. Usualmente existe un filtro con ancho de banda 1 previo al muestreador para evitar que freeuencias superiores a HW entren al muestreador Este filtro se denomina el filtro de premuestreo. El muestreo se realiza a una velocidad superior ala de Nyquist para permitir una banda de salvaguarda. Los valores muestreados entran luego a un euantizador escalar. El cuantizador es 0 un cuantizador uniforme, que resulta en un sistema PCM uniforme, o un cuantizador no uniforme. La eleccién del cuantizador se basa en las caracteristicas de la salida de la fuente. La salida del cuantizador Inego se codifiea en una secuencia binaria de longitud v, donde NV = 2" es el mimero de niveles de cuantizacién, PCM uniforme En Ia aplicacién de PCM uniforme se supone que el rango de la entrada es [—2mazs2maz] ¥ el miimero de niveles de euantizacién NV es una potencia de 2, N= 2. A partir de esto, la longitud de cada regién de euantizacién es 2emee _ Pas y= Los valores cuantizados en PCM uniforme se eligen como los puntos mediios de las regiones de euantizacién, yen conseeuencia el error & = 2—Q(2) es ma variable aleatéria en el intervalo (—%, 8). Bn las aplica usuales de PCM, el mimero de niveles 1V es alto y el rango de variaciones de la seftal de entrada (tmas) es pequeiio. Esto significa que la longitud de cada regién de cuantizacién (A) es pequefia y, con esas suposiciones, en cada regién de euantizacién el error X = X — Q(X) puede aproximarse adecuadamente ‘mediante una variable aleatéria uniform 4]. La distorsién introducida por la euantizacién (euida de cuantizacién) seraDepartamento de Ingenieria Bléetrica ~ UNS 125 donde v es el niimero de bits por muestra de la fuente. La relacidn sefial a ruido de cuantizacién (SQNR) sera entonces SQNR Si normalizamos X con X, o sea, Notar que por defi superior a Ia SQNR.en PCM aniforme. Esto también significa que Ia SQNR de PCA aniforme se deteriora cuando se incrementa el rango dinamico de la entrada dehido a que un incremento en ese rango dinémico resulta en un incremento de X?, Para reducir Ia sensibilidad en relacién al rango dindmico de la fuente se utiliza en general PCM no uniforme Expresando la SQNR en dB se obtiene SQN Rian ® Pplun = 60448 De aqui puede notarse que cada bit extra (aumentando v en uno) incrementa la SQNR en 6 dB. Ejemplo: Cual es la SQNR resultante de una sefial uniformenente distribuida sobre [—1, 1] ew PCM uniforme con 256 niveles? Dado que 2mnaz = 1, entonces se tiene que ido se emplea Xy Py En consecuencia, usando p= log, 256 SNR i536 (& 48.16 dB) Los requerimientos de ancho de banda de los sistemas de transmisién de pulsos digitales, de los cuales PCM es un ejemplo, serdn estudiados en el Capitulo 6. Aqui discutiremos brevemente algunos resultados concernientes con los requerimientos de ancho de banda de un sistema PCM. Si una seial tiene un ancho de banda W, entonces el mimero minimo de muestras para. reconstruccién perfecta de la sefial esta: dado por el teorema del muestreo, 21V" muestras/seq, Si se requiere alguna banda de salvaguarda, entonces el iimero de muestras por segundo es f,, generalmente mayor que 2H. Se utilizan v bits por cada mu y en consecuencia se requeriran vf, bits/seg para la transmisidn de la seal PCM. En el caso de muestreo a Ja velocidad de Nyquist, esto es igual a 2vW’ bits/seg. Bl requerimiento de ancho de banda minimo para la transmisién de R bits/seg es (segin se estudiaré en el Capitulo 6) £. En conseeuencia el requerimiento de ancho de banda minimo de un sistema PCM es . pw =e lo cual, usando Ia velocidad de Nyquist, determina el requerimiento minimo absoluto de ancho de banda dado por BW =o Esto significa que un sistema PCM expande el ancho de banda de Ia seital original por un factor igual a v. PCM no uniforme Siempre que la estadistica de la sefial de entrada sea préxima a una distribucién uniforme, el sistema PCM uniforme trabajaré adecuadamente, Sin embargo, en la codificacién de ciertas sefiales como por126 Departamento de Ingenieria Bléetrica - UNS ejemplo vor, Ia distribucién de la entrada esta lejos de ser uniformemente distribuida, Para una seal de vor en particular existe mayor probabilidad de amplitudes pequeiias y menor probabilidad de amplitudes grandes. En consecuencia, tiene sentido para el disefiador un euantizador con mas regiones de cuantizacion en amplitudes bajas y menos regiones en amplitudes altas. El cuantizador resultante sera un cuantizador no uniform. i) | conrison go = }- wen ceoncton Figura 4.19: Diagrama en bloques de un sistema PCM no uniforme. EI método usual para efectuar cuantizacién no uniforme es pasar primero las muestras a través de un elemento no lineal que comprimna las amplitudes grandes (reduzca el rango dinémico de la seal) y entonces efectuar una cuantizacién uniforme sobre la salida. En el receptor, se aplica la inversa (expansién) de esta ‘operacién no lineal para obtener el valor de la muestra, Esta técnica se denomina compresién-erpansion. Un diageama de bloques de este sistema se muestra en la figura 4.19. Existen dos tipos de compresores - expansores ampliatnente utilizados para codificacién de voz. El compresor-expansor de ley jt, utilizado en EEUU y Canad emplea la funcién logaritmica en Ia transmisién, con |2| <1 — Hoa ule) 9) = Ose) ‘010203 04 as 06 03 O80 4 Figura 4.20: Caracterfstica del compander de ley EI pardmetro j« controla la cantidad de compresién y expansién. El sistema estandar en EEUU y Canada cemplea un compresor eon j= 255, seguido de un cuantizador uniforme con 128 niveles (7 bits/mucstea). La utilizacién de un compresor-expansor en este sistema mejora el desempeiio del sistema en alrededor de 24 4B. Un grafico de la earacteristica de un compresor-expansor de ley 1 se muestra en la figura 4.20. El segundo compresor logaritmico mas ampliamente utilizado es el compresor-expansor de ley A. La caracteristica de este compresor-expansor se muestra en la figura 4.21 y esta dada porDepartamento de Ingenieria Bléetrica ~ UNS 127 0 bi 020304 05 06 07 08 09 1 Figura 4.21; Caracteristica del campander de ley A way =) Tittle. hs ielst Ai sone), 0< lel i donde A se elige igual a 87.56, Disefio éptimo del compander Anteriormente se estudiaron los critérios para el diseiio éptimo de cuantizadores. La aproximacién la solucidn del problema de disefio éptimo de un compresor-expansor es similar. La solucién dé una idea aproximada de las caracteristicas del compresor-expansor ideal, que cuando es seguido de un cuantizador uniforme, determina una solucidn préxima a la éptima. Definiendo ag = —tmar ¥ AN = +Htmae 8€ tiene que Si el mimero de regiones de cuantizacién es grande y la funcién densidad de probabilidad es suficiente- mente suave, es posible asumir en cada regién una distribucién uniforme y, en consecuencia, + = 2=#% Sustituyendo é; en la relacién anterior se tiene que DEY falar (43) donde Ay = a; ~a)—1. Notar que la entrada al compresor es una muestra cuantizada no uniformemente con regiones de cuantizacién de tamafio A; y Ia salida es una muestra uniformemente cuantizada con regiones de cuantizacién del mismo tamafo A, De la figura 4.22 es posible ver que A (aint (aay Suponiendo que la funcién g(2) mapea el intervalo [aes mas] en [tases nar]: entonces las condiciones de borde seran128 Departamento de Ingenieria Bléetrica - UNS an = Figura 4.22: Relacidn entrada - salida del compander { I(—Fmae) = —Ynae I mer Yoae Sustituyendo (44) en (4.8) se obtiene —— Wan) D2 YL Ix(aal usando A = #224 y suponiendo que 1V es muy grande se tiene que Sle) 4 rnae D= ln 2 WP oe | donde g(r) es la caracteristica del compresor. La relacién anterior determina la distorsién cuando se emplea un compresor con caracteristica g(x). Es posible minimizar D para obtener el compresor dptimo. El compresor Sptimo resultante tiene la siguiente forma 2folbeOn dy 1 ¥ la distorsin resultante sera a TF [[- usentarf? 4.6.2 Modulacién de pulsos codificados diferencial (DPCM) En un sistema PCM, despues de muestrear Ia seital, cada muestra se cuantiza independientemente utilizando un cuantizador escalar. Esto significa que los valores de las muestras previas no tienen efecto sobre la cuantizacién de las muestras nuevas. Sin embargo, como se mencioné anteiormente, cuando un proceso estocistico limitada en anche de banda se muestrea a la frecuencia de Nyquist © mis répido, las muestras obteniclas son variables aleatérias usualmente correlacionadas, La excepcion a esto es cuando el espectro del proceso es plano dentro del ancho de banda de interés. Esto significa que las muestras previns transportan alguna informacién sobre Ia préxima muestea, y esta informacién puede emplearse para mejorar el desempeiio del sistema PCM. Por ejemplo, si los valores de las muestras previas fueran pequetios, con alta probabilidadDepartamento de Ingenieria Bléetrica ~ UNS 129 el proximo valor de muestra sera también pequelio y, en consecuencia, no es necesario euantizar un amplio rango de valores para lograr un buen desempeno, En su forma mas simple, en la modulacién de pulsos codificados diferencial (DPCM), se cuantiza la dife- rencia entre dos muestras adyacentes. Dado que dos muestras adyacentes estan altamente correlacionadas, su diferencia tiene variaciones pequefias y, en consecuencia, para lograr un cierto nivel de desempeio se requeriran menor cantidad de bits para cuantizarla. Esto significa que DPCM puede lograr niveles de desempeito similares a PCM pero con menores velocidades de transis. Xe, [2 }# Ber Figura 4.23: Un esquema DPCM simple, La figura 4.23 muestra un diagrama en bloques de este esquema DPCM simple. Como puede observarse en Ia figura, Ia entrada al euantizador no es simplemente Ny — Xn=1 Sino Xn — ¥_y. Veremos que ¥f_y esti proximamente relacionada con Xp 1 y la eleccidn anterior tiene la ventaja de evitar la acunmulacién det ruido de cuantizacién. La entrada al cuantizador, Ys, se cuantiza mediante un cuantizador escalar (uniforme © no uniforme) para producir Yq. Utilizando las relaciones Yn =Xn Yat Yn Ya + Ynen (45) ‘obtenemos el error de cuantizacién entre la entrada y la salida del cuantizador como (4.6) Yaa) = Ya Xn Yio En el receptor se tiene que Xn = Yat Xu (47) Comparando (4.5) y (4.7) puede observarse que ¥;. y Xp satisfacen la misma ecuacién con la misma excitacion Y,. En consecuencia, si las condiciones iniciales de Y, y Xn se eligen iguales, ellas seran iguales. Por ejemplo, si hacemos Y? = X-1 = 0, entonces para todo n tendremos que Yj = X,. Sustituyendo esto en (46) se obtiene Esto muestra que el error de cuantizacién entre X,, y su reproduecién N,, es el mismo que el error de cuantizacidn entre la entrada y la salida del cuantizador, Sin embargo, el rango de variaciones de Yn es usualmente mucho menor comparado con el de X,, y en consecuencia, ¥, puede cuantizarse con menos bits. En una versidn mas compleja de DPCM, en lugar de utilizar solo la muestea previa, se utilizan las dltimas p muestras para predecir el valor de la proxima. Luego se cuantiza la diferencia entre Ia muestra Xp y su valor predicho. Se emplea usualmente un predictor lineal de Ia forma S72, aNnwi, ¥ los eoeficientes det predictor aj se eligen para minimizar el error medio cuadrético entre la muestra X, y el valor predicho D=HXe—- Dake?130 Departamento de Ingenieria Eléctrica - UNS Expandiendo y suponiendo que X, es un proceso estacionario se obtiene D= Rx(0)= 2) a Rx(i) + DY aaj Rx (i - 3) a los a; y se iguala a cero. Después de diferenciar se obtiene Para minimizar D, se diferencia en relae Yarxti-a donde Rx es la funcién autocorrelacién del proceso Xp. Resolviendo el sistema de ecuaciones anterior (d= nominado usualmente ecuaciones de Youle-Walker), es posible hallar el conjunto de coeficientes del predictor éptimo {a:}Poy Rei) LSisp @ J a “? ae Predictor Figura 4.24: Un esquema DPCM general La figura 4.24 muestra un diagrama en bloques de un sistema DPCM general. Este diagrama en bloques, es muy similar al de Ia figura 4.23, La tinica diferencia es que el retardo T' +1 se ha sustituido con el filtro de prediecién S_, a:X-j. Un analisis similar al anterior muestra que Ya — Yu = Xn — Xp Debido al uso de un predictor de p pasos, se esté utilizando mas informacién en a prediceién de Xy y en consecuencia, el rango de variaciones de Yq seré menor. Esto a su vez significa que pueden lograrse velocidades de codificacién ain menores en este caso. Los sisternias DPCM encuentran amplia aplicacién en a compresién de imagen ¥ voz 4.6.3 Modulacién Delta (AM) iy hy Tai Figura 4.25: Modulacién Delta. La modulacién Delta (AM) es una version simplificada del esquema DPCM mostrado en la figura 4.23. Bn AM se utiliza un cuantizador de 1 bit (2 niveles) con magnitudes A. Un diagrama en bloques de unDepartamento de Ingenieria Bléetrica ~ UNS 1B sistema AM se mnestra en la figura 4.25. El mismo anélisis que se aplicé en el sistema DPCM simple es valido aqui Dado que en AM se emplea solo 1 bit/muestra, el ruido de cuantizacién seré alto a menos que el rango dindmico de Yq sea muy bajo. Esto au ver significa que Xi, y Xj—1 deben tener un coeficiente de correlacidn muy alto. Para tener alta correlacién entre Xp y Xn—1 €8 nevesario muestrear a una velocidad mucho mayor que la de Nyquist. Bn consecuencia, la frecuencia de muestreo en AM es ustalmente mucho mayor que la de Nyquist pero, dado que el miimero de bits/muestra es solo 1, el mimero total de bits/seg requerido para transmitir una seiial es menor que el de un sistema PCM. Una ventaja principal de AM es la estructura muy simple del sistema. Bn el receptor se tiene las relacién para la reconstruccién de Xp Xa Resolviendo esta ecuacién para X,, y suponiendo condiciones iniciales wulas, se obtiene by A Figura 4.26: Modulacién delta con integradores, Esto significa que para obtener Xq son necestios solo lon valores de Yq. Silos valores de las restr se representan mediante impulsos, el acumulador puede representarse por un integrador simple. Esto simplifica cl diagrama en bloques de sistema AM al de la figura 4.26 Figura 4.27: A grande y el ruido granular. El tamafo del paso A es un parimetro muy importante en el diseiio de un sistema AML. Grandes valores de A hacen que el modulador siga cambios répides en la seiial de entrada pero al mismo tiempo eausa un132 Departamento de Ingenieria Bléetrica - UNS Figura 4.28: A pequeio y distorsidu de sobreearga de pendiente, exeesivo ruido de cuantizacién cuando la entrada cambia lentamente. Esto se muestra en la figura 4.27 Como puede verse en esta figura, para grandes valores de A y cuando la entrada varia lentamente se produce un gran ruido de cuantizacion, conocido como ruido granular. El caso de un A muy pequeiio se muestra en Ia figura 4.28, En este caso se encuentran problemas cuando la entrada tiene cambios muy répidos, Bn ese caso, le toma mayor tiempo a la salida seguir a la entrada y se produce un ruido de cuantizacién excesivo en este perfodo. Pste tipo de distorsién se denomina de sobrecarga Modulacién Delta adaptiva Figura 4.29: Desempeiio de AM adaptiva. Vimos que un tamaiio de paso muy grande provoca ruido granular y un tamaio de paso muy pequelio produce distorsién de sobrecarga, Esto significa que una buena eleccién de A es un valor de compromiso, aunque en algunos casos el desempeiio del mejor valor de compromiso (por ejemplo, aquel que minimize In distorsién media cuadritica) no es satisfactério, Una solucién que trabaja bien en esos casos es cambiar el tamaiio del paso de acuerdo a los cambios en la entrada. Si la entrada tiende a cambiar rapidamente, el tamaiio del paso se elige grande tal que la salida pueda seguir a la entrada también rapidamente y no resulte distorsién de sobrecarga, Cuando la entrada es de variacién lenta, el tamafio del paso se cambia a un valor pequetio para prevenir el ruido granular. Tales cambios en el tamaiio del paso se muestran en la figura 4.29. Para cambiar adaptativamente el tamaiio del paso es necesario disciiar un mecanismo para reconocer pendientes grandes y pequelias. Si la pendiente de la entrada es pequetia, ta salida del euantizador Yu alterna entre valores de +A y —A, como mostrado en la figura 4.29. Este es el caso cuando la principal fuente de ruido es el granular y es necesatio disminuir el tamaiio del paso. Sin embargo, en el caso deDepartamento de Ingenieria Bléetrica ~ UNS 133 sobrecarga de pendiente, la salida no puede seguir a la entrada rapidamente y la salida del euantizador sera ina seeuencia de pasos decrecientes o incrementales. Por lo anterior puede concluirse que el signo de dos Yn suecesivas es un buen eritério para cambiar el tamaito del paso. Si las dos salidas sucesivas tienen el mismo signo, el tamaiio del paso deberia inerementarse, y si son de signos opuestos, deberia disminuirse. Una regla particularmente simple para cambiar el tamaiio del paso est dada por An = Ankenes donde ¢ es la salida del cuantizador antes del escalamiento por el tamaio del paso y Kes una constante mayor que uno. Se ha verificado que en el rango de 20-60 kbits/seg, con una eleccién de K = 1.5, ol desempeiio de un sisterna AM adaptivo es de 5 a 10 dB mejor que el de un sistema AM simple cuando se aplica a fuentes de vor, 4.7 Técnicas de andlisis-sintesis En contraste con la codificacién de forma de onda, las téenicas de andlisis - sintesis son métodos basados en un modelo para el meeanismo que produce la sefial. Los pardmetros del modelo que son extraidos de la sefial fuente se cuantizan, se codifican y se transmiten al receptor. En el receptor y en base a la informaci recibida se sintetiza el mismo modelo y se utiliza para generar una salida similar a la sefial original. Estos sistemas se utilizan prineipalmente para codificacién de vor y en esta seccidn se discutira brevemente uno de ellos conocido como codificacién lineal predictiva (LPC), rauimo 1000 roto | + sexaL orvoz coxsasens Figura 4.30: Modelo del mecanismo de generacin de la voz La vor se produce como resultado de la excitacién del tracto vocal por las cuerdas vocales. Este mecanismo puede inodelarse como un filtro variante en el tiempo (el tracto vocal) excitado por un generador de seitales. E] tracto vocal es una combinacién de la garganta, la boca, la lengua, los labios, la nariz y el cambio de forma durante la generacidn de la vor, y es modelado en consecuencia como un sistema variante en el tiempo. Las propiedades de la seiial de excitacién dependen fuertemente del tipo de sonido de la vor, ya sea vocalizade © no vocalizado. Para sonidos voealizados la excitacién puede modelarse como una secuencia periddiea de impulsos de frecuencia fo, cuyo valor dependera del locutor. Bl reciproco de esta frecuencia, 7 se denomina periodo de pitch. Para sonidos no vocalizados la excitacién se modela adecuadamente eomo uit ruido blanco. Este modelo se muestra en la figura 4.30. El filtro del tracto vocal se modela usualmente con un filtro todo polo descripto por la siguiente ecuacién a diferencias: donde wp es la secuencia de entrada (ruido blanco o impulsos), G es un pardmetro de ganancia, {a;} son los coeficientes del filtro, y p es el minero de polos del filtro. Bl proceso wy que representa aquella parte de Xp no contenida en las p muestras previas se denomina proceso de innovacién. Las seftales de voz son uy aproximadamente estacionarias por cortos periodos de tiempo, del orden de 20-30 mseg. Este compor- tamiento caracteristico se obtiene de la observacidn que el tracto vocal no puede cambiar instantancamente, En consecuencia, sobre intervalos de 20-30 mseg. los coeficientes del filtro todo polo pueden suponerse fijos. En el codificador entonces se dispone del almacenamiento de 20-30 mseg. de vor con lo eual se estiman los14 Departamento de Ingenieria Bléetrica - UNS parimetros del modelo {a;}, el tipo de seital de excitacién (ruido blanco o impulsos), el periodo de piteh (si es un sonido vocalizado) y In gananeia G. Para diseutir este procedimionto es posible suponer que la seal de vor se filtra a 8 KHz y se muestrea ‘8 8000 muestras/seg. Las muestras de seal se subdividen en bloques de 160 muestras, correspondientes a intervalos cle 20 mseg. [29,1 90 dB Distorsién arménica 1-2 % 0.005 % Durabilidad Resp. en free. 0 Permanente degrada con reproduc. Vida itil 500-600 horas 5000 horas Desde el punto de vista de sistemas, el sistema CD involuera la mayoria de los elementos de un sistema de comunicaciones digitales moderno. Esto incluye conversién analégico-digital (A/D) y digital-analbgica (D/A), interpolacién, modulacién/demodulacién y codificacién/decodificacion de canal. Un diagrama en bloques general de los elementos de un sistema CD de audio digital se ilustra en la figura 4.34. Se describiran las principales caracteristicas del codificador y decodificador de fuente: Las dos sefiales de audio de los microfonos L y R en el estudio de grabacién o sala de conciertos se muestrean y digitalizan pasandolas por un conversor A/D. La banda de frecuencias audibles del sonido esta limitada a aproximadamente 20 kHz. En consecuencia, la frecuencia de Nyquist correspondiente es de 40 KHz, Para permitir una banda de salvaguarda y prevenir el aliasing, la frecuencia de muestreo en un sistema CD ha sido seleccionada en 44.1 kllz. Esta frecuencia. es compatible con el equipamiento de grabacién de video que se utiliza comunmente para la grabacién digital de seitales de audio sobre cinta magnética. Las muestras de las sefiales Ly R se cuantizan utilizando PCM uniforme con 16 bits/muestra. De acuerdo a Ja formula de SQNR, la cuantizacién uniforme de 16 bits resulta en una SQNR de mas de 90 dB. Ademés, la distorsién arménica alcanzada es de 0.005 %. Los bytes PCM de la grabacidn digital se codifican para protegerlos contra errores en el proceso de leetura y luego se pasan al modulador. En el modulador se adiciona informacidn de control digital y display, incluyendo una tabla de los con tenidos del disco. Esta informacién adicional permite In progeamacién del reproductor de CD. Bl tipo de ‘modulaeidn y demodulacidn y codificacién de canal se describirdn en los Capitulo 5, 6 y 8. Se alinacena opticamente la seiial digital del modulador utilizando wn laser en Ta superficie de un disco plastico que estd revestido con un material fotoresistente, De esto resulta un disco patron que se utilizaré para producit CD por medio de una serie de procesos que en definitiva convierten la informacién en marcas delgadas (pits) en un disco plastico. El disco se reviste con aluminio reflectivo y luego con una capa protectora, En_el reproductor de CD se utiliza un laser para barrer opticamente un sureo sobre el disco a una velocidad constante de 1.25 m/seg y de esa forma se lee la sefial grabada digitalmente. Lego, las sefiales L y Rt se demodulan y pasan a través de un decodificador de canal. La sefial de audio digital se convierte a una seital de audio analégica mediante un conversor D/A. Las sefiaes de audio digital L y R en el conversor D/A tienen una presicién de 16 bits. Bn. principio, In conversidn digital a analogica de las dos seiiales de 16 bits con una frecuencia de muestreo de 44.1 kHz « relativamente simple, Sin embargo, la implementacién prdctica de un conversor D/A de 16 bits es muy cara, Por otro lado, es posible conseguir facilmente conversores D/A de 12 bits (o menos) muy facilmente. El problema es laelaboracién de un método para conversién D/A que emplee baja resolucién y, en consecuencia in eonversor D/A de bajo costo, mientras que mantenga la precision de 16 bits en Ia seiial de audio digital La solucidn préctica a este problema es expandir el ancho de banda de la sefial de audio digital mediante sobremuesireo utilizando interpolacién y filtrado digital antes de la conversién analogica. Una aproDepartamento de Ingenieria Bléetrica ~ UNS 139 or tr i rT Figura 4.34; Sistema de audio digital CD, a In solucidn haisica se muestra en el diagrama de bloques de Ia figura 4.35. Las sefales de audio digital Ly R de 16 bits se muestrean a una frecuencia superior por un factor multiple U, insertando U — 1 ceros entre muestras sucesivas de la seal de 16 bits, Bste proceso incrementa efectivamente la frecuencia de muestreo a U % 44.1 KHz, Las seitales resultantes Ly R se filtran luego mediante un filtro FIR digital que produce una salida de alta velocidad y alta resolucién. La combinacidn del rellenado de ceros y el filtrado es un método préctico de realizar un interpolador digital. El filteo FIR se diseita para tener fase lineal y un ancho de banda de aproximadamente 20 kHz. Su propésito es eliminar las imagenes del espectro ereadas por el proceso de rellenado de ceros y se suele denominar filtro anti-imdgen. Observando las sefiales de audio digital de alta velocidad y preci «s posible conchir que las muestras sucesivas son aproximadamente iu menos significativos, En consecuencia, es posible representar muestras sucesivas de Ins sefales de audio digital mediante diferencias entre muestras y, de esta forma, reducie su rango dinémico. Si el aumento de la frecuencia de muestreo por un factor LU! es suficientemente grande puede utitizarse modulacién Delta para reducir la salida cuantizada a una precisién de 1 bit/muestra. De esta forma, el conversor D/A se simplifica considerablemente. Un factor de nto U = 256 es el mas frecuentemente elegido en la practica. Esto eleva la frecuencia de muestreo a 11.2896 MHz Es necesario tener en cuenta la configuracién general para el sistema de modulacién Delta convencional como se muestra en la figura 4.36. Se eliminard el integrador del decodificador a la entrada del modulador Esto tiene dos efectos. Primero, esto pre-enfatiza las bajas frecuencias de In seial de entrada y, de esta forma, se incrementa la correlacién de Ia sefial. Segundo, esto simplifiea el decodificador del modulador Ly R de la salida del filtro FIR lcs, difiriendo solamente en los bits140 Departamento de Ingenieria Bléetrica - UNS vt otis Le | tie Page| ttn | 258 |.» / Le se | te | [uae | “eer t ime) SR Figura 4.35: Conversion D/A mediante sobremuestreo ¢ interpolacién. y F i meen eeseaese | ECan Figura 4.36: Sistema A convencional, dado que el diferenciador (el sistema inverso) requerido en el decodificador es cancelado por el integrador. En consecuencia, el decodificador se reduce a un simple filtro pasabajos. Ademas, los dos integradores en el codificador pueden reemplazarse por un tinico integeador colocado antes que el cuantizador. El sistema resullante, que se muestra en la figura 4.87, se denomina modulador sigma-delta (SDM). La figura 4.88 ilustra un SDM que emplea un integrador digital simple (SDM de primer orden) con una funcién transferencia De esta forma el SDM simplifica el proceso de conversién D/A ya que requiere un D/A de un bit seguido por un filtro analégico convencional (por ejemplo, un filtro Butterworth) para proveer proteccién antialiasing y suavizacién de sefial. Los filtros analégicos de salida tienen una banda pasante de aproximadamente 20 k y eliminan de esta forma cualquier ruido por encima de la banda de seiial deseada. En reproductores de CD ‘modernos tanto el interpolador, como el SDM, el conversor D/A de 1 bit y el filtro pasabajos de suavizacién se implementan generalmente en un tinico eircuito integrado,Departamento de Ingenieria Bléetrica ~ UNS ML rsrnonanon fi a raummo | ANALOG Figura 4.37: Configuracién basica de SDM seguida por un conversor D/A de 1 bit y un filtro pasabajos de He Figura 4.38: Conversor D/A SDM con un integrador de primer orden, 4.9 Apéndice: Entropia Entropia es una medida de la incertich de entropia y se desarrollaran algunas de sus propiedades mas importantes. Se mostraré entonees que Ia entropia cuantifica la cantidad de informacidn requerida para especificar Ia salida de una realizacién de una variable aleatéria. Finalmente se discutira el métado de maxima entropia, de gran utilidad en canales de comunicaciones, que sitve para caracterizar variables aleatdrias cuando solo se conoce algunos parimetros estiidisticos de ellas, como media y varianza bre de una variable aleatéria. En este apéndlice se discutira la nocién 4.9.1 Entropia de una variable aleatéria Sea X una variable aleatéria discreta con alfabeto Sy = {1,2,+--,K} y pmf P(X =k). Interesa cuantificar laincertidumbre de un evento Ay = (X = k). Claramente, Ia incertidumbre de Ay ¢s baja si la probabilidad de Ap es préxima a uno, y seré alta si la probabilidad de Ay es pequeiia, La medida de incertidumbre que satisface esos dos requerimientos es la siguiente WX = In PX u (48) ‘A partir de la figura 4.39 es posible notar que I(X = k) = 0 si P(X = &) = 1, y 1X = &) aumenta cuando disminuye P(X = k). La entropia de una variable aleatéria X se define como el valor esperado de Ia incertidumbre de sus realizaciones, 0 sea L POX=H K K Hx = BUX =) =O PX = In YP = bln PX =) (49) a m142 Departamento de Ingenieria Bléetrica - UNS 3 ° Figura 4.39: In(1/r) > 1s Notar también que en esta definicién, [(X’) es una funcién de una variable aleatéria, La entropia tendra unidades de bits cuando el logaritmo sea de base 2. Cambiar la base del logaritmo es equivalente a multiplicar Ja entropia por una constante, dado que In(zr) = In2 loge z. oa 03 be aos Me Figura 4.40: Entropia de una variable aleatéria binaria, Ejemplo. Entropia de una variable aleatéria binaria. Sea $y 0{0,1} ¥ p = P(X 1- P(X = 1). La figura 4.40 muestra —pInp, —(1 — p)In(1 — p), y la entropia de la variable aleatoria Hx = h(p) —pln(p) — (1 — p) la(1 —p) en fuameidn de p. Notar que h(p) es simétrica alrededor de p= 1/2 y que aleanza el maximo en p = 1/2. Notar también como las incertidumbres para los eventos {X = 0} y {X= 1} varfa en forma complementaria: cuando P(X = 0) es muy pequeiia (0 sea, alta incertidumbre) entonees P(X = 1) est préxima a uno (0 sea, alta eerteza) y viseeversa, De esta forma la mayor incertidumbre promedio ocurre cuando P(X = 0) = P(X = 1) = 1/2 Hx puede interpretarse como la ineertidumbre promedio que puede resolverse mediante la observacién de LX. Esto sugiere que si se esta disefiando un experimento binario (por ejemplo una pregunta si/no) entonces la incertidumbre promedio que se resuelve se maximizaré si las dos salidas del experimento se disean para tener igual probabilidad. Bjemplo. Reduccidn de la entropia a través de informacién parcial. La representacién binaria de unaDepartamento de Ingenieria Bléetrica ~ UNS M3 variable aleatéria X toma valores del conjunto {000, 001,010, ---,111} con iguales probabilidades. Hallar la reduceién en la entropia de X dado el evento A = {X comienza con 1}. La entropia de X sera roid loa Hx = ~Zlog 5 ~ glogs —-+-— Glogs = Shits Bl evento A implica que X esta en el conjunto {100, 101,110, 111}, de forma que la entropia de X dado A 1 1 Lt = —tlog} —---— 4 log + = 2bits iy = —j los; qlee = 2bit L bit. De esta forma, la reduecién de entropia sera Hx — Hxya Sean p = ( define por os PR) ¥ @ = (aisda,--.44) dos pmaf, La entropia relativa de q con respecto a p se Ha ey x nin —H, nen EE 1 ze Z = ant (4.10) La entropia relativa es no negativa, e igual a cero si y solo si pe = ge para todo k, 0 sea H(p;4) 20 con igualdad si y solo si pr = ge, para k K (1) Se utilizaré esta propiedad varias veces en esta seecidn. Para demostrar que In entropia relativa es no negativa se utilizard la desigualdad In(1/2) > 1 — x (con igualdad si y solo si = 1), como mostrado en la figura 4.39. La ecuacién anterior entonces puede escribirse En (- 2) ar -Va=0. frei ess Hevea) = Yo pen AL we Para que se verifique la igualdad en esta expresin debe ser py = qe pata k= 1,---, K Sea X cualquier varinble aleatéria con Sy = {1,2,---,/} y pmf p. Haciendo q, = 1/K en (4.11) se tendra que ee ae H(p.q) = nk ~ Hx = Yo pel yk 2° Jo cual implica que para cualquier variable aleatéria X con Sy = {1,2,---, 4), Hx Hx com igualdad si y solo si P(X = k) = 2° (4.16) Asi, el m H(q) y p alcanza la mayor entropia. Ejemplo. Sea X una variable aleatéria con Sx = (0, 1,-->} y valor esperado EX] =m. Hallar la pmf que maximiza In entropia. Bn este ejemplo, + de forma que te = Cat & dea = e7*, Claramente Xe una mj(m +1). De esto se obtiene que C le aleatéria geométrica con media m = a/(1— a) de donde La =1f(m 41) Cuando se trabaja con variables aleatérins continuas, el método de maxima entropia maximiza la entropia diferencial dada por - trots BI pardmetro de informacién tiene la forma o= Bx) = fo alert (edde (420) La expresién de entropia relativa de (4.14) y la metodologia empleada para variables aleatsrias discretas pueden utilizarse en este caso para mostrar que la pdf fx(2) que maximiza la entropia diferencial entra Ia forma Sx (2) = e779) (421)Departamento de Ingenieria Bléetrica ~ UNS M9 donde Cy A se eligen de forma de satisfacer la restriccién y tal que la integral de esta iltima eeuacién sea igual a uno, Bjemplo. Bs posible suponer que la variable aleatsria continua X tiene varianza conocida o? = B|(X—m)?], donde la media no esta especificada, Hallar la paf que maximiza la entropia de X. La ecuacién (4.21) implica que Ia pdf tendra Ia forma Sale) = Cem? Es posible satisfacer el requerimiento de (4.20) haciendo que de forma que se obtiene una pdf Gaussiana con varianza 02, Notar que la media m es arbitraria; 0 cualquier eleecién de m produce una pdf que maximiza la entropia diferencialDepartamento de Ingenieria Eléctrica - UNS