INTRODUCCION

La necesidad de una base terica para la tecnologa de la comunicacin surgi del aumento de la complejidad y de la masificacin de las vas de comunicacin, ya que abarca todas las formas de transmisin y almacenamiento de informacin, en base a ello se desarrolla el primer modelo cientfico del proceso de comunicacin conocido como la Teora de la Informacin o Teora Matemtica de la Comunicacin. La teora de la informacin fue desarrollada inicialmente, en 1948, por el ingeniero electrnico estadounidense Claude E. Shannon, en su artculo, A Mathematical Theory of Communication (Teora matemtica de la comunicacin). Esta teora est ampliamente relacionada con las leyes matemticas que rige la transmisin y el procesamiento de la informacin, es decir se ocupa de la medicin de la informacin y de la representacin de la misma, como su codificacin y de la capacidad de los sistemas de comunicacin para transmitir y procesar informacin. El modelo comunicacional desarrollado por Shannon se basa en un sistema de comunicacin general que puede ser representado de la siguiente manera:

CONCEPTOS BSICOS DE LA TEORA DE LA INFORMACIN

La Teora de la Informacin es una teora matemtica creada por Claude Shannon en el ao 1948 y que forma la piedra angular sobre la que se ha desarrollado toda la teora actual de la comunicacin y la codificacin. Esta teora establece los lmites de cunto se puede comprimir la informacin y de cul es la mxima velocidad a la que se puede transmitir informacin. La Teora de la Informacin es, por tanto una teora de lmites alcanzables: mxima compresin de datos y mxima tasa de transmisin de informacin transmitida sin errores. Las aplicaciones de esta teora son enormes y abarcan desde las ciencias de la computacin (criptografa, aprendizaje), la ingeniera elctrica (Teora de la comunicacin y teora de la codificacin), la estadstica o la biologa (secuencias de ADN, cdigo gentico). La ltima parte de la asignatura (Unidad Temtica 5) estudia el hecho de que la informacin es algo que inevitablemente necesita un soporte fsico sobre el que manifestarse. As, se ver que la termodinmica slo impone un coste energtico mnimo a la operacin de "borrar" informacin mientras que las restantes operaciones se pueden ejecutar de forma reversible. Siguiendo este estudio de la fsica de la informacin, la asignatura termina estudiando las diferencias entre la informacin clsica ("bit clsico") y la informacin cuntica ("bit cuntico"). Los avances tecnolgicos actuales y futuros harn que la informtica trabaje con este nuevo tipo de informacin. La criptografa

cuntica se muestra actualmente como una de las aplicaciones ms prometedoras dentro de la Teora de la Informacin cuntica.

1.1 Fuentes de Informacin: Una fuente de informacin es un objeto, que produce a su salida un evento; dicha salida es seleccionada aleatoriamente de acuerdo a una probabilidad de distribucin. En un sistema de comunicacin, es un elemento que produce mensajes, y stos pueden ser anlogos o discretos. Una fuente discreta est formada por un conjunto finito de smbolos. Las fuentes de informacin pueden clasificarse en fuentes con memoria y fuentes sin memoria. Una fuente sin memoria pude especificarse por: la lista de smbolos, la probabilidad de ocurrencia de los smbolos, y la rata de generacin de los smbolos de la fuente. 1.2 Contenido de Informacin de Fuentes discretas sin memoria. La cantidad de informacin de un mensaje, es inversamente proporcional a la probabilidad de ocurrencia. Si un evento es conocido, la informacin aportada es cero, de hecho su probabilidad de ocurrencia es uno. La probabilidad de un mensaje siempre estar en un valor entre cero y uno. La informacin contenida en eventos independientes debera sumarse.

I ( x i ) = Log 2 1

P ( x1 )

bits

Si existe un mensaje x1, con una probabilidad de ocurrencia P(x1), el contenido de informacin puede expresarse segn
1

I ( x i ) tendr como unidad el bit, si empleamos logaritmos binarios.

Tendr como unidad el HARTLEY, si empleamos logaritmos decimales. Tendr como unidad el NAT, si empleamos logaritmos naturales. La conversin de unidades podr realizarse de acuerdo a la siguiente expresin:
Log 2 a = ln a / ln 2 = log a / log 2

1.3 Entropa de una Fuente de Informacin: H Es un parmetro que nos permite determinar el contenido promedio de informacin de una fuente o un mensaje en particular. En un proceso de comunicacin, transmitimos usualmente secuencias largas de smbolos, y estamos mas interesados en el contenido promedio de informacin que la fuente produce, que en la informacin contenida en cada smbolo. Luego:

H ( X ) = E [ I ( x i ) ] = P ( x i ) I ( x i ) = P ( x i ) log 2 P ( x i )bit / simbolo

i =1 i =1

1.4 Rata de Informacin: Si la fuente emite smbolos a una rata r (smbolos/segundo), la rata o velocidad de emisin de informacin de la fuente puede expresarse como:

R = r * H ......r = rata _ de _ smbolos _ en _ Simbolos / Segundo, H = entropia _ en _ Bit / Smbolo.

Por lo anterior podemos decir que el contenido de informacin de cualquier mensaje es igual al mnimo nmero de digitos que se requieren para codificarlo. La entropa es igual al mnimo nmero de digitos por mensaje o smbolo, en promedio, necesarios para codificarlo.

EL CANAL DE COMUNICACIN Es la trayectoria o medio a travs del que fluyen los smbolos del origen al destino. Un canal discreto sin memora, (DMC), es un modelo estadstico, con una entrada X, y una salida Y. Durante cada unidad de tiempo, o intervalo de sealizacin, el canal acepta un smbolo de entrada de X, y en respuesta genera un smbolo de salida de Y. El canal es discreto, cundo los alfabetos X, Y, son finitos. Es sin memoria , cuando el smbolo de salida corriente, depende solamente del smbolo corriente a la entrada, y no de ningn smbolo previo. La figura muestra un canal DMC, con m entradas y n salidas. x1 x2 x3

y1 y2

P( yj/xi )
xi xm X y

y3 yj yn

La entrada X, consiste de los smbolos de entrada x 1, x2, xi,... xm. Sus probabilidades a priori se conocen: P(xi). La salida Y, consiste de los smbolos y1, y2, yj,....yn. Cada posible trayectoria de entrada salida, se expresa con una probabilidad condicional P(yi/xj), donde P (xi/yj) P( y 1/x1 ) P( y1/x1 ), es la

probabilidad condicional de obtener la salida yj, dada la entrada xi, y es llamada la probabilidad de transcicin del canal. Matrix del Canal. Un canal pude especificarse por el conjunto completo de probabilidades de transcicin. Se genera la matrix [P(Y/X)] , conocida como matriz del canal.

P( y1/x1 ) P( y2/x1 ) ................ P( yn/x1 ) P( y1/x2 ) [ P ( Y/X ) ] = P( y1/xm ) P( y2/x2 ).... ...... P( yn/x2 ) P( y1/x3 ) P( y2/x3 ) ................. .P( yn/x3 ) P( y2/xm ) ................ P( yn/xm )

P( yj / xi ) = 1para todo i
j =1

j =n

Si las probabilidades de entrada se representan por la matrx fila: [P(X) = [P(x 1) P(x2) .....P(xm) ] ; las probabilidades de salida se representan por la matrix fila: [P(Y) = [P(y1) P(y2) .....P(ym) ] luego: [P(Y)] = [P(X)] * [P(Y/X)].

Capacidad del Canal:

Es un parmetro que nos indica cual es la cantidad mxima de bits, que un canal puede soportar. 6

As por ejemplo para un canal perturbado por ruido Gaussiano, la capacidad de canal puede calcularse como:
S C = Bw.Log 2 1 + N bit seg

donde segundo.

C = Capacidad mxima de transporte del canal en bits por

Bw = Es el ancho de banda del canal en Hertz.

S = Es la relacin de potencia de seal a potencia de ruido N

que

soporta el canal.

CODIFICACIN DE LA FUENTE . Es el proceso por el cul, la salida de una fuente de informacin, se convierte en una secuencia binaria. El elemento que realiza ste proceso se conoce como codificador fuente (Codec). Alternativamente es la accin de asignar dgitos binarios a secuencias de smbolos que conllevan la informacin.

Fuente de Informacin

Codificador

Fuente salida binaria

X (smbolos)

Uno de los objetivos es el de minimizar la rata promedio de bits, necesarios para la representacin de la informacin, reduciendo la redundancia de la fuente. Existe una longitud de cdigo, y una eficiencia de cdigo. La eficiencia de la codificacin procura en aproximar la longitud promedio de las palabras de cdigo (nmero promedio de dgitos binarios ), a la entropa de la fuente.

CODIFICACIN DEL CANAL Su propsito: es el de disear cdigos que permitan una ptima transmisin de informacin digital sobre el canal. En ltima instancia permite desarrollar tcnicas eficientes para la deteccin y correccin de errores. La seal puede provenir de un codificador fuente de una fuente binaria directamente.

Fuente de Informacin

Codificador

de Canal

secuencia de bits

secuencia modificada

Fuente de Informacin

Codificador

Codificador

Fuente

de Canal

X (smbolos)

salida binaria

secuencia modificada

TEOREMA: Dada una fuente discreta, sin memoria, [X], con una entropa H(x), y un canal con capacidad C, si H(X) < / = C, existe un esquema de codificacin, para el que la salida de la fuente, pude transmitirse por el canal, con una arbitrariamente pequea probabilidad de error. Igualmente, si H(x) > C, no es posible la transmisin libre de errores. Es posible el Cdigo, pero no se nos dice cul es. Si denominamos S = { s1, s2, ...sj } al conjunto de smbolos de un alfabeto, S; definimos un cdigo, como la correspondencia de todas las secuencias posibles de smbolos de S, a secuencias de smbolos de algn otro alfabeto X = { x 1, x2, ....xj } , S recibe el nombre de alfabeto fuente, y X alfabeto cdigo. Estos procesos de codificacin, implican la adicin de bits, al paquete original de transmisin (redundancia); generando algoritmos para que le receptor detecte y corrija posibles errores sobre el mismo bloque recibido. Hay incremento de ancho de banda y de recursos para manipularlos. Existen bsicamente dos procesos: CODIGOS DE BLOQUES, en los cules entran k smbolos al codificador, y salen n smbolos. El codificador no pose memoria, n > k. El mensaje binario, o la secuencia de datos se divide en bloques secuenciales, cada uno de k bits de largo, y cada k bits bloque, se convierte en un bloque de n bits, n > k, el bloque resultante es llamado un (n,k) , cdigo bloque. Existen los cdigos lineales y los cclicos. Ac estn por ejemplo entre los cclicos: Codificacin Hamming, BCH, Reed Solomon, Reed Miller y Golay. Siempre se asignan bloques adicionales de una manera fija a las secuencias de entrada. El otro proceso, lo constituyen los CDIGOS CONVOLUCIONALES, que constituyen un proceso de codificacin con memoria. Entran k smbolos y salen n smbolos; n smbolos de salida se ven afectados por v*k smbolos de entrada (v .

0). Hay memoria, porque la secuencia de salida depende de un numero definido de entradas previas Automatic Request (ARQ), es simple, eficiente en manejo de ancho de banda, y presupone la existencia de bidireccionalidad en el canal. (ACK, NAC ). Forward Error Correction (FEC), es til en canales simples, en canales con altos retardos de transmisin, y permite altas velocidades en la comunicacin. COMPRESIN DE DATOS. Es el arte o ciencia de representar la informacin en forma compacta. Se crean estas, identificando y usando estructuras que existen en los datos mismos. Los datos obedecen a cualquier representacin binaria de una seal de informacin. El cdigo Morse es un prototipo de la compresin: procura reducir el tiempo promedio de transmisin, asignando palabras de cdigo cortas, a las letras mas frecuentes: { e = - , a = . - }. El Braille, es otro ejemplo de cdigo con compresin. Se puede trabajar a nivel de estructuras estadsticas como un alfabeto, o estructuras fsicas como la voz, donde existe un proceso de sntesis. En otros se aprovecha la limitacin de respuesta del receptor: caso del video. Siempre ser justificable la compresin, pues las necesidades para almacenamiento y transmisin crecen al doble de la disponibilidad de los recursos para los mismos. (Ley de Parkinson). El proceso presenta una entrada de smbolos X, al cul aplicamos un algoritmo especfico y obtenemos una secuencia de salida Y , tal que Y < X. Decimos que hay un orden o relacin de compresin n = X/Y, n>1.

10

Compresin sin prdidas. ( Lossless Compresin). Implica no prdida de informacin. Los datos originales se recuperan exactamente del modelo comprimido. Es usado para textos, datos de computadoras y otros formatos que exigen integridad de la informacin. Los ndices de compresin son an bajos. Ej.: si envas: Do not send money , y recibes Do now send money , pude ser fatal. En manejo de cantidades numricas, imgenes radiolgicas, imgenes satelitales. Compresin con prdidas. ( Lossy Compresin ) : implica prdidas de informacin. La informacin compactada generalmente no puede reproducirse en forma exacta. Se logran altos ndices de compresin. Ej.: la voz, el audio, el video, fotografas. Se opera con fundamento en medidas de satisfaccin. La informacin anloga generalmente admite ste tipo de compresin. El algoritmo de compresin se evala segn: Su complejidad. La cantidad de memoria requerida para su implementacin. Velocidad de realizacin del proceso. Relacin de compresin obtenida. Calidad de la seal reconstruida.

El proceso consiste en un paso de modelado, donde se extrae cualquier relacin existente entre los datos a comprimir (generacin del algoritmo), y luego una codificacin especfica que satisfaga el algoritmo. Ej. Secuencia 9, 11, 11, 11, 14, 13, 13, 15, 17, 16, 17, 20, 21 Una codificacin simple exige cinco bits por carcter. Si analizamos la estructura podemos definir

11

 = n+8 . en = xn -

n= 1, 2, 3, ....

= 9, 10, 11, 12, 13, 14 15, xn = 9, 11, 11, 11, 14, 13, 15, en = 0, 1, 0, -1, 1, -1, 0,

Slo se necesitarn dos bits por carcter, para codificar la nueva secuencia: 00 = 0; 01 a 1; OBJETIVOS El objetivo de un sistema de comunicacin en su sentido amplio es la transmisin eficiente de informacin de un punto denominado ORIGEN, a otro punto denomInado DESTINO. 10 a 1.

Los anlisis de seales y circuitos nos permiten presentar una serie de elementos y sistemas elctronicos que realizan dicho objetivo con eficiencia y seguridad.

La teora de la informacin nos proporciona una serie de conceptos y formulaciones desde el punto de vista matemtico, que permiten en ltima instancia plantear alternativas para el manejo inteligente del proceso de comunicacin.

12

La teora de la informacin nos resuelve desde el punto de vista de la ingeniera situaciones como: a) Cul es el contenido real de informacin de un mensaje? b) Entre varias formas de expresar un mensaje cul es la ptima cuando se trata de optimizar parmetros como: tiempo invertido para transmitirlo, ancho de banda, cantidad de smbolos o seales para representarlo? c) Si los mensajes se codifican para su almacenamiento y transmisin, cmo selecciono o diseo un cdigo ptimo para ello?

d) Cul es la capacidad mxima, que un medio canal especfico de comunicacin tiene para transmitir informacin? e) Cmo acoplo el canal de comunicacin con la fuente de informacin a fin de lograr la mxima transferencia de informacin por el canal, con mnima probabilidad de prdida de informacin? f) Cmo puede el receptor de la informacin, procurar que la posibilidad de error sea mnima? Cmo puede darse cuenta de que hay un error y cmo lograr corregirlo? g) Cmo logro introducir cambios a la estructura de una informacin para a) Facilitar su inmunidad a perturbaciones naturales o artificiales (ruido). b) Rescatar la informacin ante eventuales errores en la transmisin. c) Encriptarla para mnima posibilidad de captura por receptores no autorizados.

13

d) Minimizar el nmero de elementos de cdigo necesarios para representar una informacin: Compresin. Puede definirse alternativamente la terora de la informacin, como el campo de la ciberntica que se ocupa de la descripcin y evaluacin matemtica de los mtodos de transmisin, conservacin, extraccin, clasificacin y medida de la infromacin. El estudio de la teoria de la informacin debe permitir: conocer las tcnicas de cifrado, correccin y deteccin de errores y procesos de eliminacin de redundancia en una informacin,

CONCLUSIN En las dcadas de 1948 y 1960 se desarrollaron numerosas teoras sobre el tratamiento de la informacin, como, por ejemplo, la ciberntica y la teora de la informacin. que ya se trato inicialmente en este articulo la teora de la informacin y a su vez desde el punto de vista psicolgico, sentando las bases de la investigacin de los procesos humanos del conocimiento como proceso del tratamiento de la informacin. Entonces finalmente el sentido de la simulacin por computadoras no seria una teora sino un procedimiento para la descripcin de estrategias a utilizar en proceso e resolucin de problemas y a su vez tambin es un mtodo para comprobar las teoras opuestas sobre el pensamiento ya que aquel que resuelve problemas se le denomina sistema de procesamiento de informacin.

14