Apostila Teoria Da Informação

Teoria da Informao
,QWURGXomRj7UDQVPLVVmR'LJLWDO
Sistemas de informao so aqueles que, de maneira genrica, objetivam a realizao de processos de comunicao. Alguns autores contextualizam sistemas de informao mais amplamente para incluir sistemas de comunicao de massa, redes de comunicao de dados e mensagens etc., independentemente da forma, natureza ou contedo desses dados e mensagens. o conjunto das atividades humanas tendentes a criar as condies indispensveis existncia da sociedade e, particularmente, atividade material, produo; prtica e, objetivam a realizao de processos de comunicao. Sistemas de recuperao da informao ou, simplesmente, sistemas de informao lidam com um tipo de informao: a que est potencialmente contida em documentos. Nas dcadas de 20 e 30, houve, principalmente no Ocidente, o encontro das colees de documentos com a abordagem sistmica e as teorias de sistemas derivadas, em grande parte, da Teoria Geral de Sistemas. quela poca, as cincias (lato sensu) estavam pulverizadas em especialidades, subreas, disciplinas, etc. Von Bertalanffy tentou recompor a unidade da cincia atravs de sua teoria criando modelos holistas, isomrficos, capazes de abrigar fenmenos similares de reas as mais distintas. Informao, conforme apontado por diferentes autores, um termo que vem sendo usado mais generalizadamente a partir da dcada de 50, j estando, inclusive, incorporado ao cotidiano das pessoas. usado para significar mensagens, notcias, novidades, dados, conhecimento, literatura, smbolos, signos e, at mesmo, dicas e sugestes. A palavra informao vem do latim informare, dar forma, pr em forma ou aparncia, criar, representar, apresentar, criar uma idia ou noo, algo que colocado em forma, em ordem. Como se pode ver, informao um termo altamente polissmico (que tem mais de um significado). Essa polissemia adveio, em grande parte, da apropriao desse termo pela sociedade ps-industrial, psmoderna, que, ao adotar a informao, o conhecimento, como um de seus marcos delimitadores, perpassando todos os estratos da sociedade e reas do conhecimento, ampliou as ambigidades que o termo j carregava, em funo das diferentes vises e conceituaes que passaram a conot-lo. Cabe at mesmo questionar, agora, se uma cincia da informao se ocupa realmente da informao. Qual seu real objeto de estudo? Se informao aquilo que altera estruturas no interior de organismos e se a cincia da informao vem lidando fundamentalmente com o reempacotamento e a reembalagem de mensagens e com a disseminao desse produto, no ser esse nome no mnimo inadequado para a praxis (conjunto das atividades humanas tendentes a criar as condies indispensveis existncia da sociedade e, particularmente, atividade material, produo e a prtica) e a teoria dessa rea? No se torna premente mudar o foco de suas atenes para a informao e no para seus simulacros, (aquilo que a fantasia cria e que representa um objeto sem realidade; aparncia sem realidade). fundamental que a cincia da informao aproxime-se do fenmeno que pretende estudar que o encontro da mensagem com o receptor, ou seja, a informao, seu uso, implicaes e conseqncias. Se informao tudo aquilo que altera, transforma estruturas, ento D LQIRUPDomR p D PDLV SRGHURVD IRUoD GH WUDQVIRUPDomR GR KRPHP. O poder da informao, aliado aos modernos meios de comunicao de massa, tem capacidade ilimitada de transformar culturalmente o homem, a sociedade e a prpria humanidade como um todo. Embora a informao sempre tenha sido uma poderosa fora de transformao, a mquina, o poder de reproduo e a capacidade de socializao deram uma nova dimenso a esse potencial. Entre 1660 e 2007, todos os ndices de volume da cincia se multiplicaram por um fator de cerca de um milho. A partir da metade do nosso sculo, ocorre a chamada exploso documental com a publicao e circulao de milhares de peridicos tcnicos, somente estes, da ordem de cem mil ttulos contendo os resultados das pesquisas no somente relacionados com o desenvolvimento da cincia, mas tambm com o desenvolvimento da tecnologia. Em resumo, informao e comunicao constituem entidades complexas, dinmicas, que extrapolam, na viso de muitos autores, os limites de uma teoria ou um modelo determinado. A informao cientfica e tecnolgica produto da prtica histrica e social da sociedade moderna, usa os cdigos de linguagem, smbolos e signos reconhecidos nessa sociedade e os canais de circulao de mensagens disponveis no sistema de comunicao. Nesse contexto, a transferncia de informao se coloca como um processo de troca de mensagens que tem um valor econmico, mas que no podem ser vistas como isentas de ideologia. A comunicao da informao representa no somente a circulao de mensagens que contm conhecimento com determinado valor para a produo de bens e servios, mas, tambm, a objetivao das idias de racionalizao e eficincia dominantes na sociedade moderna. Essas idias sobre a organizao dos recursos e sua utilizao da forma mais produtiva, bem como sobre o papel do saber tcnico-cientfico no desenvolvimento do conjunto das foras produtivas, fazem parte do metadiscurso vigente na sociedade industrial.
0yGXOR
M.Sc. Julio Cezar Ribeiro
Teoria da Informao
Esse discurso se caracteriza pela viso da histria do pensamento como iluminao progressiva, que se desenvolve com base em uma apropriao e reapropriao cada vez mais ampla das origens, de modo que as revolues se apresentam e legitimam como recuperaes; ou com base na especulao sobre a realizao de uma idia, o projeto que se prope sociedade moderna renovar. Nos pases ps-industriais, grande parte dos setores da economia dedicada informao, sua busca, criao, manufatura, armazenagem, classificao, seleo, edio, sumarizao, interpretao, acumulao, aquisio, venda e difuso. A acumulao, processamento, armazenagem, acesso e transmisso de informao atravs de eficientes redes de telecomunicaes o fundamento sobre o qual as economias desses pases encerraro o sculo XX como economias de informao. Torna-se evidente, por esse contexto, que, na idade ps-industrial e ps-moderna, a cincia conservar e, mais ainda, reforar sua importncia na disputa das capacidades produtivas dos pases desenvolvidos. Esta situao se constitui em uma das razes pelas quais se considera que o fosso entre os pases ps-industriais e os pases em desenvolvimento industrial no cessar de ampliar-se, no futuro. Esse fato torna-se ainda mais grave, caso se considere o desequilbrio radical da produo cientfica e tecnolgica entre os pases do hemisfrio norte e do hemisfrio sul ser gritante, pois apenas 3% dos cientistas do mundo esto localizados neste hemisfrio onde os pases, juntos, possuem 75% da populao mundial. A forma mais comum e conhecida de transmitir uma mensagem pelo som, onde o meio de transmisso o ar. Na comunicao eltrica, a informao codificada em sinais eletromagnticos que trafegam atravs dos meios fsicos de transmisso (fios, cabos, etc). Alm da transmisso por fios e cabos, que so meios slidos, tambm podemos transmitir informaes por ondas eletromagnticas. Ex. rdio, microondas e satlite; Tambm pode ser feita por fibras ticas, utilizando variaes da luz como sinal. Para poder transmitir mensagens atravs do dispositivo eletro-magntico que havia inventado, o qual chamou de telgrafo, Samuel Morse precisava de um protocolo (conjunto de regras, padres e especificaes tcnicas que regulam a transmisso de dados entre computadores por meio de programas especficos, permitindo a deteco e correo de erros) de comunicao. Inicialmente imaginou numerar todas as palavras e transmitir os seus nmeros. Cada algarismo era representado por um conjunto de sinais longos e curtos. O receptor, usando um enorme "dicionrio", transformaria os nmeros em palavras e recuperaria a mensagem original. Alega-se que Alfred Vail, um dos colaboradores de Morse, foi quem desenvolveu o chamado "Cdigo Morse". As letras do alfabeto foram definidas pelo padro "ponto e trao" e os menores conjuntos de sinais foram atribudos s letras mais freqentes do Ingls. Conta-se que Vail pegou jornais e comeou a contar letras, repetindo, provavelmente sem saber, o que os criptoanalistas rabes j haviam feito sculos atrs. Este novo cdigo reconhecia quatro estados: voltagem-ligada longa (trao=dash), voltagem-ligada curta (ponto=dot), voltagem-desligada longa (espao entre caracteres e palavras) e voltagem-desligada curta (espao entre pontos e traos), um sistema perfeito para o novo dispositivo de comunicao. Usando este novo sistema, Morse demonstrou o funcionamento do seu telgrafo em 1838, em Nova Iorque, transmitindo em 10 wpm, ou seja, 10 palavras (words) por minuto. Nem assim conseguiu vencer o ceticismo geral e ainda seriam precisos muitos anos at que congressistas e homens de negcio conseguissem entender a importncia e o alcance deste novo meio de comunicao. Combinando traos e pontos, obtinha-se um cdigo de representao de letras e nmeros. Este cdigo binrio conhecido como cdigo de Morse: Exemplos: A = . VLQDLVFXUWRORQJR B = VLQDLVORQJRFXUWRFXUWRFXUWR 1 = . VLQDLVFXUWRORQJRORQJRORQJRORQJR 3 = . . . VLQDLVFXUWRFXUWRFXUWRORQJRORQJR S.O.S= . . . _ _ _ . . . (save our soul) A capacidade de transmitir digitalmente a voz, as imagens e os dados usando bits e bytes e enviandoos atravs de linhas telefnicas, cabos, satlites e da internet, deve-se a um gnio criador que, h pouco mais de 50 anos, lanou as bases de uma teoria matemtica da comunicao. Em 1948, Claude Elwood Shannon conseguiu um feito raramente repetido na histria da cincia: com um trabalho intitulado "Uma Teoria Matemtica da Comunicao", publicado na Bell System Technical Journal, abriu uma rea nova e indita na matemtica. Esta rea surgiu essencialmente completa, com as definies e conceitos bsicos formulados, com os teoremas e resultados fundamentais j estabelecidos e, o mais espantoso, sem precedentes visveis na literatura existente na poca. Raras vezes isso acontece, pois os avanos da cincia, mesmo que geniais, podem habitualmente se referir a problemas h muito discutidos, a teorias em gestao e a descobertas precedentes. O prprio Newton, ao criar as bases da mecnica, disse ter podido ver mais longe por ter-se alado aos ombros de gigantes. Referia-se assim s descobertas e aos trabalhos de Coprnico, Galileu, Kepler e outros. O trabalho de Shannon apareceu de forma totalmente inesperada e vieram a ter um alcance que os seus contemporneos, e talvez at o prprio Shannon, no conseguiram vislumbrar naquele momento. Foi um dos raros passos decisivos, inesperados e globais que at hoje se registraram na histria da cincia. Interessado em problemas da computao, estudou lgebra booleana, a lgebra de clculo lgico baseada na dicotomia zero-um (falso-verdadeiro). No intervalo da atividade acadmica trabalhou nos clebres Laboratrios Bell, onde estudou problemas de comunicao eltrica. Teve ento a idia pioneira de reduzir o contedo da informao a seqncias de zeros e uns e de trat-la segundo as regras da lgica de Boole.
Teoria da Informao
"At hoje, ningum tinha sequer se aproximado dessa idia", disse mais tarde seu colega Robert Gallager, "foi um avano que, sem ele, teria demorado muito a ser conseguido". A idia foi desenvolvida na sua tese de mestrado de 1938, premiada e publicada numa revista cientfica. So apenas 11 pginas, mas condensadas com as inovaes essenciais, e sem rodeios nem repeties. Shannon desenvolve a teoria da informao e transmisso de sinais digitais, baseados em seqncias de zeros e uns. a que define "o problema fundamental da comunicao como o de reproduzir num local, de forma aproximada ou exata, uma mensagem selecionada noutro local". Estabeleceu ento o esquema de transmisso de informao hoje clssico, com uma mensagem que parte de uma fonte, codificada e emitida por um transmissor, passa por um canal de comunicao, sofre perturbaes designadas por rudos, e chega depois ao receptor, passando por um sistema de decodificao. Ao falar de "uma mensagem selecionada", Shannon refere-se a uma seqncia informativa que pode ser escolhida entre muitas outras, que aparecero com iguais ou diferentes probabilidades. Define ento a quantidade de informao com base na sua incerteza ou dificuldade de previso. Suponha, por exemplo, que um emissor transmita a mensagem "bom dia", letra por letra. Ao emitir as primeiras letras, h uma expectativa da parte do receptor, que v surgir as letras "b", "o", "m", um espao, e depois "d" e o "i". O "a" final quase intil, pois sua probabilidade de ocorrncia to grande, para dar sentido seqncia anterior, que a quantidade de informao transmitida por essa letra muito menor que a transmitida pelas primeiras. Para medir a quantidade de informao, Shannon criou o conceito de entropia, diferente do conceito homnimo encontrado em termodinmica. Porque esta denominao foi escolhida? Ao que parece, foi o matemtico norte-americano de origem hngara, John Von Neumann, quem sugeriu este termo. Teria dito, ironicamente, "deve cham-la de 'entropia' por duas razes: primeiro, porque essa mesma funo matemtica j utilizada em termodinmica, com esse nome, segundo, e mais importante, porque pouca gente sabe realmente o que entropia e, se usar esse termo numa discusso, sair sempre ganhando.. Com o conceito de entropia pode-se definir a quantidade de informao transmitida e os limites timos de compresso dessa informao. Em 1948, o cabo eltrico de "banda mais larga" ento existente podia transmitir 1.800 conversas telefnicas simultneas. 25 anos mais tarde, um cabo telefnico podia transmitir 230.000 conversas simultneas. Hoje, uma nova fibra tica com a espessura de um cabelo humano, pode comportar 6,4 milhes de conversas. No entanto, mesmo com esta largura de banda, os limites tericos de capacidade de canal determinados por Shannon esto muito aqum dos praticados. Os engenheiros sabem que ainda h muito que melhorar. Conhecendo a capacidade de um canal usando os conceitos da Teoria da Informao de Shannon, pode-se melhorar a transferncia de um sinal e filtrar o rudo, alcanando uma confiabilidade maior. O meio mais simples de contornar o rudo a repetio. Shannon demonstrou que, numa transmisso em que os erros acontecem com determinada probabilidade, pode-se diminuir a probabilidade de erro at ao ponto desejado introduzindo redundncia na informao. Para isso, enquanto o canal estiver funcionando abaixo da sua capacidade terica, o caminho consiste em melhorar a codificao, dando-lhe uma forma mais compacta, e em introduzir sistemas de correo de erro. Um destes sistemas o concebido pelo matemtico norte-americano Richard W. Hammingem, atualmente utilizado na transmisso de pacotes digitais de informao com bits adicionais de controle em cada "palavra" base (byte). Shannon props uma definio matemtica de informao. A idia geral a seguinte. Suponha que temos uma fonte de informao que pode produzir trs smbolos diferentes: A, B e C. Os smbolos so enviados pela fonte em seqncia, um aps o outro, em qualquer ordem. Por exemplo: BBCACBAAABCCCABACABABBBCAAACABCAABAAB Enquanto esperamos pelo prximo smbolo, estamos incertos sobre qual ser ele: A, B ou C. Porm, quando o smbolo aparece a nossa incerteza diminui. Podemos dizer que recebemos uma informao. Segundo esta viso, informao uma diminuio na incerteza. Se, por exemplo, a fonte s emitisse um smbolo: AAAA..., por exemplo, a nossa incerteza sobre o prximo smbolo seria nula e a quantidade de informao ganha pela apario de mais um novo smbolo A seria nula. Porm, se aps uma longa seqncia de As aparecesse um B a nossa surpresa seria enorme e atribuiramos a esse evento uma grande quantidade de informao. Segundo este raciocnio, quanto mais raro um evento, maior a quantidade de informao carregada por ele. Em termos de probabilidades, poderamos dizer que eventos muito provveis carregam pouca informao e eventos pouco provveis carregam muita informao.
*HQHUDOLGDGHVVREUHLQIRUPDomR%LWVH%\WHV
Um byte um dos tipos de dados integrais em computao. usado com freqncia para especificar o tamanho ou quantidade da memria ou da capacidade de armazenamento de um computador, independentemente do tipo de dados l armazenados. A palavra byte tem vrios significados, todos com relaes prximas com os demais: Uma seqncia contgua de um nmero fixo de bits. Nos computadores modernos, um byte de oito bits, ou octeto.
Teoria da Informao
Um byte de 8 bits pode conter 256 valores possveis (28 = 256) o suficiente para armazenar um inteiro sem sinal entre 0 e 255, um inteiro com sinal entre -128 e 127 ou um carter de uma codificao de caracteres 3 de sete bits (tal como a ASCII) ou oito bits. O byte de 8 bits , por vezes, tambm chamado de octeto (2 ), nomeadamente no contexto de redes de computadores e telecomunicaes. A uma metade um byte, d-se o 2 nome de nibble (2 ) ou semioctecto. Saber quando utilizar cada uma das notaes depende do contexto de utilizao. Isto pode causar alguma confuso. ASCII (acrnimo para American Standard Code for Information Interchange) um conjunto de cdigos para o computador representar nmeros letras pontuao e outros caracteres. Surgido em 1961, o ASCII aquela na qual os nicos elementos utilizados so os caracteres disponveis no teclado do computador. ASCII uma padronizao da indstria de computadores, onde cada caractere manipulado na memria de discos etc, sob forma de cdigo binrio. O cdigo ASCII formado por todas as combinaes possveis de 7 bits, sendo que existem vrias extenses que abrangem 8 ou mais bits. Segundo Penfield if information is to be stored or transported, it must have a physical form. The device that stores the bit must have two distinct states, one of which is interpreted as 0 and the other as 1. A bit is stored by putting the device in one or another of these states, and when the bit is needed the state of the device is measured. If the device has moved from one place to another then communications has occurred. If the device has persisted over some time then it has served as a memory. Nos sistemas eletrnicos atuais a informao consiste meramente em sinais eltricos. Por exemplo, numa memria semicondutora um bit armazenado atravs da presena ou ausncia de alguns milhares de eltrons. O leitor provavelmente interroga-se de que modo os bits so armazenados. O ato de medir a informao contida nesse bit no consiste em medir sim ou no, ligado ou desligado. Na realidade o que medido a voltagem eltrica dessa memria. Imaginemos que essa voltagem varia entre 0V e 5V. Pode interpretar-se a carga eltrica de modo que esta tolere uma certa margem de erro. Voltagens entre 0V e 1V representam o 0 lgico e voltagens entre 4V e 5V representam o 1 lgico. Voltagens entre 1V e 4V no sero reconhecidas adequadamente. No entanto, se a perda de eltrons num circuito sempre inferior a 1V ento a voltagem de sada sempre 0V ou 5V e nesse caso as voltagens podem ser interpretadas como bits sem erro, isto , as perdas de eltrons no causam uma deturpao significativa da informao contida nessas clulas. Segundo Penfield Circuits of this sort display what is known as restoring logic since small deviations are eliminated as the information is processed. The robustness of modern computers depends on the use of restoring logic. Se a informao could be boiled down to sequences of 0 and 1, est implcito que a informao possa ser medida em bits, tal como as distncias podem ser medidas em metros ou o tempo em segundos Mas surge a questo, a informao quantificvel? Qual a quantidade mnima de informao que uma pessoa necessita usar para dizer a outra pessoa o resultado de uma dada situao? Ora bem, sem a sustentao da cincia no nos seria possvel responder convenientemente a esta questo. Vejamos de que modo os conhecimentos professados pela Teoria da Informao pode nos ajudar. Consideremos o arremesso de uma moeda. possvel traduzir o resultado desta ao em cara ou coroa. Podem-se usar diversas tcnicas, mas todas so iguais em questes de indicar o resultado do arremesso. Os resultados cara e coroa podem ser expressos por 0 ou 1. Neste caso necessitamos de um bit para traduzir o resultado desta ao. Consideremos agora o arremesso de duas moedas. Existem quatro resultados possveis e esses resultados podem exprimir-se atravs do uso de dois bits. O primeiro bit para o resultado de uma das moedas e o segundo bit para o resultado da outra moeda, ou seja, necessitamos de dois bits para traduzir o resultado desta ao. Para um conjunto de oito resultados possveis poderamos usar 3 bits n e, de um modo geral, para exprimir uma situao onde haja 2 resultados possveis possvel faz-lo com n bits. Assim de forma minimalista, a resposta nossa questo dada atravs do uso do logaritmo (base 2) do nmero possvel de resultados para uma dada situao.
$QDOyJLFRYHUVXV'LJLWDO
Os sistemas de comunicao so classificados em analgicos e digitais. Isto se deve ao fato da forma como os sinais eltricos podem ser enviados para transmitir uma informao. Um exemplo de onda analgica a uma onda senoidal. A onda senoidal possui um padro que se repete e chamado de ciclo. Cada ciclo demora um determinado tempo para ocorrer, chamado de perodo. As grandezas analgicas podem assumir todos os valores dentro de sua faixa de atuao, ou seja, variam de forma contnua ao longo do tempo, as grandezas digitais variam de forma discreta ao longo do tempo, ou seja, a variao feita atravs de saltos ao longo da evoluo do tempo. Bauds o nmero de vezes que o sinal se altera (tenso) por segundo, uma linha de n bauds no transmite necessariamente n bits/seg. Um sinal pode exprimir vrios bits, em um esquema dibit 1 baud teria 2 bits, em um esquema tribit, 1 baud teria 3bits e assim por diante.
Teoria da Informao
E quantos bits tm 1 Kbyte? A propsito, quantos bits tem 1Kbit? Um sinal eltrico normalmente no possui uma freqncia fixa e sem variaes, pois ele varia dentro de uma faixa de freqncia onde, ora suas ondas tm um ciclo menor, ora tm um ciclo maior no tempo. Por exemplo: a voz humana varia de 96Hz a 1152Hz (em mdia, 150Hz p/ homens e 250Hz p/ mulheres), Para transmitir a voz humana, precisamos de uma faixa de freqncia entre 96Hz e 1152Hz, a largura de banda ( bandwidth): a diferena entre a maior e a menor freqncia que se pode transmitir numa faixa de freqncia de um sinal de voz no sistema telefnico nacional varia de 300 a 3.400Hz, portanto a bandwidth de 3.100Hz quando trabalha com sinais analgicos; Tambm nos referimos largura de banda quando os dados digitais so convertidos em freqncia para transmisso em redes analgicas, Quando as linhas de comunicao conduzem informaes digitais, a bandwidth medida em bits por segundo; Neste caso, bits por segundo a quantidade de informaes que podem trafegar pela linha em um dado momento. O meio de transmisso deve ser capaz de deixar passar toda a faixa de freqncia necessria para que no haja perda na qualidade do sinal. As freqncias so divididas em faixas especificadas como baixa, mdia ou alta freqncia; cada tipo de transmisso tem uma faixa de freqncia especfica de atuao, na qual seus equipamentos so capazes de transmitir e receber sinais. Rudos so interferncias eletromagnticas, distores no desejadas no sinal transmitido; o rudo um dos maiores limitantes do desempenho dos sistemas de comunicao. Os tipos de rudo so: a) Branco ou trmico: devido ao aumento de temperatura. b) Crosstalk ou diafonia: devido aos condutores estarem bem prximos (linha cruzada). c) Impulsivo ou rajadas: distrbios eltricos externos; comum em ambientes envolvendo fbricas. Atenuao a perda de potncia de um sinal e, aumenta com a distncia em qualquer meio fsico devido as perdas de energia e calor. Quanto maiores as freqncias de transmisso, maiores as perdas (Fm > Am), na transmisso digital, a distoro por atenuao facilmente contornada, colocando-se repetidores que podem regenerar (amplificar) totalmente o sinal original; para tanto, a distncia entre os repetidores no pode exceder o limite mximo imposto pelo meio fsico utilizado. Eco toda vez que h um aumento de impedncia (resistncia) em uma linha, os sinais so refletidos e voltam pela linha distorcendo os sinais originais. Em sistemas de barra (coaxial) utiliza-se terminadores e transceptores para eliminar a impedncia, em sistemas telefnicos, existem canceladores de eco em pontos onde a alterao de impedncia inevitvel. Estes termos so freqentemente utilizados para qualificar tanto a natureza quanto as caractersticas dos sinais eltricos utilizados para transmisso atravs dos meios fsicos que correspondem a variao da corrente contnua e discreta respectivamente. Computadores manipulam informaes em bits que correspondem a dois nveis discretos de tenso ou corrente, representando valores lgicos 0 ou 1 (informao digital). Informaes geradas por fontes sonoras apresentam variaes contnuas de amplitude (informao analgica). Vamos estudar os tipos de dados mais comumente encontrados nos sistemas digitais, mostrando como eles podem ser codificados em formato binrio. Os dados encontrados nos sistemas digitais (note-se que os computadores atuais so sistemas digitais) podem ser classificados em uma das seguintes categorias: - Nmeros usados em clculos aritmticos; Letras do alfabeto, usadas no processamento de dados; Smbolos discretos, usados para diversos propsitos. Todos os dados so representados em formato binrio porque o uso deste formato facilita o projeto de circuitos eletrnicos que exibem duas condies possveis, as quais so convenientemente interpretadas como os valores 0 e 1 de um dgito binrio (bit). Tais circuitos eletrnicos so projetados para realizar um repertrio de operaes necessrias que so disponibilizadas nos computadores. Um sistema pode ser definido como sendo um conjunto de elementos que so interligados de alguma maneira para compor um todo e assim realizar funcionalidade especfica. Um aparelho de som hi-fi composto de vrios componentes, tais como, amplificador e auto-falantes. Todos so interconectados por cabos eltricos. Um sistema tambm possui uma funo bem definida, a qual pode ser identificada a partir das funcionalidades de seus componentes. Por exemplo, a funo do aparelho de som hi-fi transformar a informao armazenada em discos e/ou fitas em som audvel, o que algo que nenhum dos componentes do sistema pode realizar por si s. Neste sentido, podem-se identificar dois aspectos fundamentais em qualquer sistema: sua estrutura e seu comportamento. A estrutura reflete os componentes e como eles esto interconectados e o comportamento reflete a funcionalidade do sistema. Sistemas em que o nmero de componentes alto e/ou as inter-relaes entre eles no so muito claras ou difceis de serem estabelecidas e entendidas so ditos complexos. No projeto de tais sistemas complexos, a identificao de alguma ordem ou regularidade de extrema importncia, o que normalmente requer uma abordagem estruturada e sistemtica. Dependendo de quais aspectos se est tentando identificar, deve-se usar um tipo de representao e um nvel de abstrao adequado. Os trs tipos mais comuns de representao so o comportamental, o estrutural e o fsico. Uma representao comportamental captura o sistema como uma caixa preta e se concentra na especificao do comportamento como uma funo dos valores de entrada e o tempo. Em outras palavras, uma representao comportamental descreve a funcionalidade, mas no a implementao de um dado sistema, definindo as respostas da caixa preta para qualquer combinao dos valores de entrada, mas sem descrever como projetar ou construir o sistema usando dados componentes. Uma representao estrutural define a caixa preta como um conjunto de componentes e suas interconexes.
Teoria da Informao
Diferente da representao comportamental, a representao estrutural especifica a implementao do sistema sem qualquer referncia sua funcionalidade. Obviamente, muitas vezes a funcionalidade pode ser derivada a partir dos componentes interconectados. No entanto, derivar a funcionalidade de um sistema desta maneira muito difcil, principalmente se o sistema possui um grande nmero de componentes. Uma representao fsica especifica as caractersticas fsicas da caixa preta, indicando as dimenses e as posies de cada componente e conexo existente na descrio estrutural do sistema. Enquanto a representao estrutural fornece a conectividade do sistema, somente a representao fsica que descreve precisamente as relaes espaciais dos vrios componentes. Ou seja, a representao fsica usada para descrever o sistema depois que ele foi fabricado, especificando seu peso, tamanho, consumo de potncia e posio de cada pino de entrada ou sada. Uma maneira natural e conveniente para representar a estrutura de um sistema o uso de diagramas de bloco, onde componentes so representados por retngulos, chamados blocos, e conexes que so denotadas por linhas interligando os blocos. O processo de projeto de sistemas, principalmente produtos eletrnicos em geral e sistemas digitais em particular, consiste sempre de pelo menos trs fases, cada uma centrada em uma das representaes de projeto: 1. derivar uma representao comportamental da funcionalidade do produto 2. converter esta representao para uma representao estrutural contendo componentes de uma dada biblioteca de componentes 3. produzir uma representao fsica que especifica como montar e fabricar o produto Qualquer projeto pode ser realizado seguindo estes passos usando diferentes nveis de abstrao. Em um nvel de abstrao apenas determinados detalhes so representados. Normalmente, os detalhes capturados em uma dada fase do projeto dependem da complexidade do sistema. Por exemplo, praticamente impossvel projetar um microprocessador inteiro usando apenas portas lgicas bsicas. Normalmente, inicia-se o projeto pelos blocos bsicos no nvel lgico. A seguir, estes blocos so interconectados para compor um sistema mais complexo, como por exemplo, um microprocessador.
6LVWHPDV'LJLWDLV
Um sistema digital pode ser definido como um conjunto de componentes interconectados que processam informaes em forma digital ou discreta. Na maioria dos sistemas digitais, os componentes bsicos utilizados so dispositivos eletrnicos chamados circuitos integrados (CIs). As ligaes entre estes componentes eletrnicos so conexes fsicas atravs das quais a informao digital pode ser transmitida. Sistemas digitais modernos abrangem uma vasta gama de graus de complexidade. Os componentes disponveis para a construo de sistemas digitais vo desde chaves do tipo liga-desliga at computadores completos. O nmero de componentes em um sistema digital pode variar de um, dois ou de milhares de componentes. Obviamente, quanto mais componentes so necessrios implementao de um sistema digital, mais complexo ele e, conseqentemente, mais difcil de entender seu funcionamento e de projet-lo. Da a importncia do uso de nveis de abstrao no processo de projeto de sistemas digitais. Um nvel de abstrao, ou de granularidade, caracterizado pelo tipo de objetos utilizados na representao. Em geral, podem-se identificar quatro diferentes tipos de objetos em um produto eletrnico: transistores, portas, registradores e processadores. Esta funcionalidade usualmente descrita por um conjunto de equaes diferenciais ou por algum tipo de relacionamento entre corrente e tenso. A representao fsica destes circuitos, denominados clulas, pode consistir em componentes do nvel de transistores e as conexes que os interconectam. Os principais componentes do nvel de portas so portas lgicas e flip-flops. Portas lgicas so circuitos especiais que implementam operaes Booleanas, tais como E e OU. Um flip-flop um elemento bsico de memria que capaz de armazenar um bit de informao, podendo assumir o valor 0 (falso) ou 1 (verdadeiro). Portas e flip-flops so clulas digitais que podem ser grupadas para formarem mdulos ou unidades aritmticas e de memria. Os mdulos so utilizados como componentes bsicos no nvel de registradores. O comportamento de cada mdulo pode ser descrito com o uso de equaes Booleanas e diagramas de mquinas de estados finitos (Finite State Machines, FSMs). No nvel de registradores, os principais componentes so unidades aritmticas e de memria, tais como, somadores, comparadores, multiplicadores, contadores, registradores, bancos de registradores, filas, etc. Cada um destes componentes um mdulo com dimenses fixas, um atraso de propagao e um conjunto de posies (fixas) para as entradas e sadas do mdulo. Estes componentes do nvel de registradores podem ser montados e interconectados em microcircuitos, que podem ser usados como componentes bsicos no nvel de abstrao acima. Usualmente, estes microcircuitos so descritos por fluxogramas, conjuntos de instrues, diagramas de FSMs ou tabelas de estados. O mais alto nvel de abstrao apresentado na tabela o nvel de processador, onde os componentes bsicos so processadores, memrias, controladores e interfaces, alm de circuitos integrados de aplicao especfica (Application Specific Integrated Circuits, ASICs). Geralmente, um ou mais destes componentes so montados em uma placa de circuito impresso e conectados com fios tambm impressos na placa.
Teoria da Informao
O comportamento de sistemas compostos destes componentes do nvel de processadores usualmente descrito utilizando-se uma linguagem natural, uma especificao executvel em alguma linguagem de descrio de hardware (Hardware Description Language, HDL), ou um algoritmo ou programa escrito em uma linguagem de programao convencional. A representao estrutural mais comum para sistemas digitais o diagrama de blocos. Em vrios exemplos prticos, trabalhamos com grandezas inerentemente binrias, tais como os dados em uma memria. Entretanto, sistemas analgicos, como voz e imagens, so cada vez mais transmitidos digitalmente. Estes sinais so contnuos tanto no tempo quanto em amplitude. Para serem transmitidos digitalmente, os sinais analgicos devem ser amostrados e quantizados periodicamente por um conversor analgico/digital (A/D), de forma que agora eles assumem valores discretos, em instantes de tempo discretos. De acordo com o teorema da amostragem, o processo de amostrar o sinal analgico no acarreta perdas, desde que as amostras assumam um valor contnuo em amplitude, e que elas tenham uma freqncia mnima correspondente ao dobro da faixa de freqncias do sinal de interesse. Entretanto, o processo de quantizao (a transformao do valor contnuo da amostra em um valor digital) inevitavelmente introduz uma perda. Mais ainda, a converso de analgico para digital tem um custo, por necessitar de um conversor A/D. Assim, natural que se pergunte por que usar transmisso digital nesses casos. So muitas as respostas a essa pergunta. De um ponto de vista mais prtico, os custos dos equipamentos extras necessrios para a transmisso digital, tais como o conversor A/D e o sincronizador (que, como veremos, essencial em transmisso digital), esto diminuindo rapidamente. De um ponto de vista terico, a resposta foi dada por Claude Shannon, que, em um trabalho fundamental, inaugurou o campo da teoria da informao e possibilitou a emergncia das comunicaes digitais. Em primeiro lugar, seqncias de bits podem ser comprimidas. Por exmplo, nem tods as ltras so necssras pra que vc entnda ess txto. De fato, Shannon estabeleceu os limites de quanto se pode comprimir uma seqncia de bits, quer se aceitem perdas, quer no. O formato zip um exemplo de compresso sem perdas, enquanto que o MP3 um exemplo de compresso com perdas. Esse processo de compresso chamado de codificao de fonte. Em segundo lugar, a transmisso digital robusta a distores. A intuio por trs deste resultado simples. Se eu posso transmitir 0V ou 1V, mas eu recebo 1.5V, so grandes as chances de que eu tenha transmitido 1V. Assim, a distoro que levou o sinal de 1V para 1.5V pode ser corrigida. Mais ainda, possvel introduzir, de maneira inteligente, redundncia ao sinal transmitido, de forma a aumentar essa robustez. Considere, por exemplo, os bits de paridade. Digamos que a cada 7 bits eu introduza um oitavo, de forma que esses 8 bits sempre tenham um nmero par de 1s. Se eu recebo um grupo de 8 bits com um nmero mpar de 1s, eu sei que um erro foi cometido e, portanto eu posso pedir a retransmisso do grupo. Esse processo de introduo inteligente de redundncia chamado de codificao de canal. Shannon foi muito alm, e provou que cada canal tem uma capacidade C de transmitir informao. Se a razo entre o nmero de bits de informao e o nmero de bits transmitidos (7/8 no exemplo anterior) for menor que C, ento existe um esquema de introduo de redundncia (um cdigo de canal) tal que, a medida que o nmero de bits de informao vai a infinito, a probabilidade de erro cai a zero. Em outras palavras, possvel recuperar tudo o que foi transmitido quase que sem erros! E mesmo que eu transmitisse um sinal analgico, eu no poderia transmitir mais informao do que a possibilitada pela transmisso digital. Outra vantagem de comunicaes digitais, que tambm foi estudada por Shannon, que elas possibilitam o uso de estratgias de criptografia eficientes. A necessidade do conhecimento de estatstica para o estudo de transmisso digital deve-se ao fato de que a maioria (se no todas) as grandezas pertinentes ao problema so aleatrias, ou seja, seu valor no exatamente conhecido a priori. Por exemplo: Os bits transmitidos. De fato, se eles no fossem aleatrios, a informao que eles contm poderia ser determinada exatamente no receptor sem a necessidade de transmisso. Na realidade, o conceito de informao definido por Shannon est intimamente ligado previsibilidade de um fenmeno. Quanto mais imprevisvel, mais informao ele contm. O rudo de recepo causado por uma srie de fatores cuja modelagem, ainda que fosse possvel, seria invivel. Nesse caso, tratamos o rudo como um fenmeno aleatrio. As caractersticas de um canal de transmisso sem fio, devido mobilidade dos usurios em sistemas como telefonia celular, possui um canal de comunicaes que est em constante mudana, e tambm no pode ser previsto com exatido. Temos, assim, mais um exemplo de um fenmeno aleatrio. O conceito intuitivo que temos de probabilidade adequado para lidar com alguns fenmenos aleatrios simples, como a escolha de uma carta de baralho ou o lanar de um dado ou de uma moeda. Por exemplo, sabemos que a probabilidade de tirar cara ao lanarmos uma moeda igual a 0:5. Esses experimentos so chamados discretos, ou seja, existe um nmero finito de resultados possveis. Entretanto, alguns fenmenos, como rudo de recepo ou a altura de uma pessoa, podem assumir qualquer valor real. Aqui, nosso conceito intuitivo comea a falhar um pouco. Afinal de contas, a probabilidade de uma pessoa medir 1,70m igual a zero. Em outras palavras, ningum mede exatamente 1,70m. E mesmo em fenmenos mais corriqueiros nossa intuio pode nos levar a algumas ambigidades. De fato, durante muito tempo, o uso de conceitos intuitivos fez do estudo de probabilidade tanto uma arte quanto uma cincia exata. Para que fosse possvel estabelecer uma teoria geral de probabilidade, foi necessrio estabelecer um ferramental matemtico adequado para trabalhar com fenmenos aleatrios. Comearemos essa reviso com uma discusso sobre esse ferramental. Na segunda parte da reviso, discutiremos alguns fenmenos aleatrios que ocorrem ao longo de um intervalo de tempo como, por exemplo, o rudo de recepo.
Teoria da Informao
Discutiremos algumas grandezas estatsticas que caracterizam alguns aspectos desses fenmenos e, principalmente, discutiremos o comportamento dessas grandezas quando os sinais em questo passam por filtros lineares. Antes de comearmos com a reviso propriamente dita, devemos definir o conceito de um evento. Basicamente, um evento um conjunto de possveis resultados de um fenmeno aleatrio, ou experimento.
7UDQVSRUWHXPSXQKDGRGHWHUUDWRGRVRVGLDVHIDUiVXPDPRQWDQKD
7HRULD*HUDOGRV6LVWHPDV
Von Bertalanffy, na introduo da Teoria Geral dos Sistemas, diz que a palavra sistema figuraria alto ou em um dos primeiros lugares, se algum fizesse uma lista de termos em voga. A idia sistema permeia todos os campos da cincia, havendo penetrado no pensamento popular, nos meios de comunicao de massa, havendo se tornado at mesmo um jargo comum. A noo de sistema engloba uma srie de abordagens, tais como filosofia de sistemas (voltada para a tica, histria, ontologia, epistemologia e metodologia de sistemas), engenharia de sistemas (sistemas artificiais, como robs, processamento eletrnico de dados etc.), anlise de sistemas (desenvolvimento e planejamento de modelos de sistemas, inclusive matemticos) e a pesquisa emprica sobre sistemas (abrangendo a descoberta de leis, adequao e estudos de simulao de sistemas). Ao se tentar entender a origem do pensamento sistmico, tem-se que retornar provavelmente filosofia pr-socrtica. No entanto, o marco moderno atribudo a Von Bertalanffy, que sistematizou, na poca do psguerra, as novas idias cientficas que vinham permeando a cincia desde a virada do sculo e que postulavam uma abordagem de todos integrados, idia essa, alis, mais amplamente sistematizada por Alexander A. Bogdanov em 1922, porm praticamente no divulgada no Ocidente. Warren Weaver chamou a nova rea de a cincia da complexidade organizada, na verdade, a busca por uma teoria geral de sistemas continua. A teoria proposta por Bertalanffy est longe de satisfazer as necessidades de uma teoria geral de sistemas como tal, h ambigidades conceituais e metodolgicas, a prpria generalidade da teoria dificulta sua utilizao em reas especficas do conhecimento. Mais ainda, como bem salienta Mattessich, no forneceu hipteses importantes passveis de testes, nem critrios pertinentes para tais testes, sendo, em geral, criticada por seu dogmatismo e ausncia de autocrtica. O grande sucesso da abordagem sistmica pode ser atribudo, segundo Rapoport, insatisfao crescente da comunidade cientfica com a viso mecanicista, ou com o mecanismo como modelo universal, e necessidade de essa mesma comunidade contrabalanar a fragmentao da cincia em especialidades quase isoladas umas das outras. a abordagem sistmica desde a sua concepo, eclodiu, no final da dcada de 60 e comeo da de 70 dentro da linha de pensamento de Von Bertalanffy, O aparecimento de todas as cincias na forma como as conhecemos hoje foi em decorrncia das divises que a filosofia sofreu. No inicio, tudo o que se estudava e todos os conhecimentos estavam reunidos sob essa denominao, cujo sentido dado pela anlise da palavra filo = amigo, sofia = sabedoria. Portanto, os desejosos de conhecimentos iam estudar filosofia em busca de um melhor entendimento da realidade. Os estudos abrangiam Matemtica, Fsica, Qumica, Biologia, Poltica etc. medida, porm, que o desenvolvimento daqueles conhecimentos foi aumentando, ia ficando cada vez mais difcil o domnio de todas elas. Comearam ento a aparecer os "especialistas" que cada vez aprofundavam mais seus conhecimentos num daqueles conhecimentos do saber humano. Foi, ento, que comeou a ser perdida a viso global e integrada dos conhecimentos exigidos na soluo de situaes mais complexas, e que passaram ento a exigir a reunio de "especialistas" de cada um daqueles ramos, formando as chamadas "equipes interdisciplinares" compostas por vrios especialistas de diferentes conhecimentos para que cada um desse a sua contribuio na soluo de um todo. Surgiu ento a ciberntica, que a cincia que se destina a estabelecer relaes entre as vrias cincias, destinada a preencher os vazios dos espaos interdisciplinares no pesquisados por elas e contribuir para que cada uma delas use no seu desenvolvimento os conhecimentos descobertos nas outras.
0yGXOR
Teoria da Informao
Um sistema ciberntico extremamente complexo e requer o emprego de uma srie de tcnicas operacionais, lanando mo de vrios ramos do conhecimento humano tais como a Matemtica, a Estatstica, a Teoria das Probabilidades, a Teoria da deciso, reunidas numa cincia chamada de Pesquisa Operacional. Nos sistemas probabilsticos no existem condies de previso de resultados. O que temos uma previso do que pode acontecer, porm sem saber exatamente o que ocorrer. Os sistemas determinsticos so aqueles cujos resultados j sabemos de antemo, pois so completamente previsveis, portanto, os sistemas determinsticos podem ser programados para se obter resultados previamente estabelecidos. A informtica o conhecimento que lida com o tratamento racional e sistemtico da informao por meios automticos. Ela parte da ciberntica que trata das relaes entre situaes problemticas de forma a represent-las atravs da informao, manipulando o sistema com o propsito de produzir algum resultado desejado. A informao essencial para entendermos o processo que resulta numa reduo das nossas dvidas na soluo tima de algum sistema. Uma informao o conhecimento disponvel para uso imediato, que permite orientar nossas aes na reduo das margens de incerteza que aparecem nas decises cotidianas. Na elaborao de um sistema de informao, no existe nada absoluto. Tudo relativo, pois um projeto e seu funcionamento sempre iro depender de fatores externos e internos. Num sistema, existem variveis independentes e dependentes, existindo uma relao funcional entre elas do tipo "se-ento" o que poder, se for encontrada o modo certo de relacion-las, levar a uma soluo eficaz dos objetivos pretendidos no sistema em questo. Com essas relaes que procuramos explicar como se processa a evoluo da informao num sistema, que variam de acordo com o meio ambiente onde ela processada, ou seja, de que forma ela se comporta com as condies ditadas "de fora para dentro" do sistema, conhecido como a conjuntura ou contingncia do problema. No existe uma nica maneira certa de se utilizar um sistema, pois ele precisa ser periodicamente ajustado s condies ambientais para melhor se adequar conjuntura do meio ambiente. Por esta razo, que hoje comum a montagem de equipes interdisciplinares de trabalho que renem profissionais das mais diversas reas para anlise e soluo de um problema. Assim, o que propomos uma tentativa de se obter um mtodo geral de abordagem de um problema em qualquer tipo de rea do conhecimento, em que possamos utilizar as tcnicas da elaborao de um sistema.
&RQFHLWRGH6LVWHPD
A teoria geral dos sistemas surgiu com Bertalanffy, no ano de 1956, onde ele estabeleceu um sistema como sendo um conjunto de coisas que esto relacionadas de alguma forma, atravs de uma interao qualquer entre elas cuja finalidade produzir algum resultado desejado. As propriedades de um sistema no podem ser analisadas em termos do funcionamento de seus elementos, considerados separadamente uns dos outros. A compreenso do funcionamento de um sistema qualquer, s fica perfeitamente determinada se os seus elementos forem estudados globalmente, ou seja, o projeto dever envolver todas as partes interdependentes do subsistema que compem o sistema. Como exemplos de sistemas podemos citar: a) uma organizao; b) uma empresa; c) um conjunto de equaes matemticas; d) uma doutrina poltica etc. A abordagem sistmica tem por objetivo representar de forma compreensiva os problemas que se est procurando resolver com a ajuda deste processo, pois as decises se tornam mais fceis de serem tomadas em virtude de se poder fazer um estudo geral de todos os elementos necessrios para a soluo do problema que se est pretendendo resolver. Por outro lado, os limites de um sistema so difceis de serem determinados, pois suas fronteiras e meio ambiente onde eles esto inseridos, admitem certa arbitrariedade de determinao, que vai depender exclusivamente do analista daquele sistema. Portanto, o estabelecimento do que venha a ser um sistema depende do ponto de vista do analista, dependendo unicamente da forma como ele pretende abordar o problema. Assim que a teoria geral dos sistemas se prope a fornecer uma base de estudo para a criao de modelos que solucionem problemas que possam aparecer em qualquer campo do conhecimento, e que o processo utilizado para a sua soluo possa ser transferido de um campo para outro. Por exemplo, a lei do crescimento exponencial e aplicvel a fenmenos muito diferentes que vo desde o decaimento da radioatividade, at a extino de uma espcie com reproduo insuficiente.
Teoria da Informao
&RPSRQHQWHVGHXP6LVWHPD
10
Esquematicamente, um sistema pode ser representado na forma: Fronteira Meio ambiente
Entrada Processo
Sada
Realimentao Realimentao
Os sistemas so compostos das seguintes partes: Entradas (input): so os elementos necessrios para que o processo ocorra na forma desejada. Processo (throughput): o que ocorre com a interao das entradas, suas inter-relaes resultando o que estamos empenhados em obter. Sadas (output): so os resultados propriamente ditos que obtemos a partir da operao do processo, e podem ser desejveis ou indesejveis. Realimentao (Feedback): a comparao constante das sadas com os padres desejados que se queria obter do processo. Isto provoca a interferncia nas entradas e no processo em si, visando a realizar ajustes para se obter o desejado. A realimentao a forma de se controlar o sistema para se obter o mximo de sadas desejveis. A retroao ou feedback o conceito de que parte da energia que sai de um sistema, volta para entrada ou para o processo, com um propsito de melhorar o sistema para produzir o efeito desejado. Esse processo normalmente serve para comparar o modo de funcionamento de um sistema em relao ao padro preestabelecido. Quando ocorre alguma diferena entre o que se desejava e o que se obteve, a retroao se incumbe de modificar o processo, para que a sada volte a ficar no padro estabelecido para o processo. A retroao tem como finalidade impor correes no sistema, no sentido de adequar entradas e sadas, de forma a reduzir as discrepncias entre elas. A homeostse um conceito de biologia, que estabelece que cada parte do organismo vivo, deve funcionar normalmente em equilbrio como um todo, mantendo a sua estabilidade interna para o seu perfeito funcionamento. A homeostsia o equilbrio dinmico de um sistema que obtido atravs da auto-regulao de todas as suas partes. Portanto todo sistema homeosttico aquele que possui um dispositivo de controle para manter a sada do sistema sempre dentro dos limites desejados e que so obtidos na prtica atravs de dispositivos chamados servomecnicos. Fronteira (border): limitao imposta com a finalidade de considerar o sistema na exata dimenso que interessa ao analista, de forma que as caractersticas e as relaes do processo possam ser adequadamente estudadas e explicadas. Meio ambiente (invironment): conjunto dos elementos que no se considera como parte do sistema, mas que eventualmente possa sobre ele exercer alguma influencia. Subsistema (subsystem): um sistema menor definido dentro de um outro sistema que se est estudando. O maior sistema que conhecemos o Universo. Na anlise de um sistema muito comum lanarmos mo de subsistemas que ajudam na soluo do sistema inicialmente proposto. Sinergia significa um trabalho conjunto de vrios de sistemas para se obter melhores resultados. Quando dois sistemas atuam juntos e produzem um resultado melhor do que se estivessem agindo individualmente, podemos dizer que ocorreu uma sinergia entre estes dois processos.
Teoria da Informao
&ODVVLILFDomRGRV6LVWHPDV
11
Os sistemas podem ser classificados de trs formas, a saber: 1) Segundo a origem: Os sistemas podem ser classificados em naturais, como por exemplo, o sistema solar, a Terra, a natureza, etc, ou ento como artificiais, exemplos: uma usina hidroeltrica, uma mquina, uma ferrovia etc. 2) Segundo a relao com o meio ambiente: Os sistemas podem ser abertos ou fechados. a) Sistema aberto: So aqueles que mantm uma troca de informaes com meio ambiente, constituindo um conjunto de partes em constante interao, um todo sinrgico (o todo maior que as partes). Esses sistemas so elaborados para determinados propsitos, e esto em constante troca de informaes com meio ambiente externo, influenciando-o e por ele sendo influenciado. b) Sistema fechado: aquele que no interagem com o ambiente e no muda sua forma de operar, pois no influenciado pelo meio externo. Portanto, sistemas fechados so aqueles que funcionam sem se modificar, so determinsticos, ao contrario dos abertos que so probabilsticos. 3) Segundo a hierarquia dos Sistemas: Os sistemas podem ser estudados como fazendo parte de sistemas mais amplos que, por sua vez, contm sistemas menores. Na anlise de um sistema devemos considerar as seguintes observaes: a) O sistema que estamos estudando pertence a que sistema mais amplo? No que ele contribui para as caractersticas daquele sistema mais amplo? b) Quais os outros sistemas que juntamente com aquele em estudo formam o sistema mais amplo? c) Quais os subsistemas que, por sua vez, constituem o sistema em estudo? A considerao destes subsistemas ajuda na analise de um sistema mais amplo, pois existe uma interdependncia entre eles, de forma que devemos nos dedicar igualmente a todos, pois no caso de estud-los separadamente, teremos a perda da viso global e integrada que deve existir entre os mesmos.
9DULiYHLVFRPDVTXDLVRDQDOLVWDGHVLVWHPDVWUDEDOKD
Podemos, para melhor entendimento de um problema, classificar as variveis que influem no alcance dos objetivos pretendidos da seguinte maneira: a) variveis relevantes: so aquelas mais importantes na anlise de um problema, e os resultados obtidos so, na sua quase totalidade, conseqncia dos valores assumidos por tais variveis. b) variveis pouco relevantes (ou menos relevantes): so aquelas cuja influncia sobre os resultados bem menor e s aparecem nos modelos mais sofisticados onde elas (ou parte delas) so consideradas. Em modelos mais simples, no se consideram tais variveis. c) variveis irrelevantes: so aquelas que no influenciam no sistema em estudo. d) variveis controlveis: so aquelas sobre as quais podemos agir, isto , os valores que elas podem assumir dependem de nossa interferncia. e) variveis no controlveis: ao contrrio das anteriores, assumem valores de forma independente de nossa vontade; em outras palavras, essas variveis assumem valores que no dependem de nossa ao. Observe que para a soluo de um problema, podemos ter variveis relevantes (importantes), mas no controlveis o que dificulta sobremaneira o alcance dos objetivos segundo as regras que estabelecemos. Um modelo serve para a determinao, exata ou aproximada, dos valores timos das variveis controlveis (ou parte delas), valores estes que produzem um melhor desempenho do sistema a que se refere o problema, para determinados valores das variveis no controlveis.
2VJUDQGHVQDYHJDGRUHVGHYHPDVXDUHSXWDomRDRVWHPSRUDLVHWHPSHVWDGHV
Teoria da Informao
)HQ{PHQRVDOHDWyULRV
Nesta seo, definiremos, ainda que de forma relativamente intuitiva, alguns conceitos importantes ligados ao estudo de fenmenos aleatrios. Estes conceitos so obtidos quando se considera um evento A, ou dois eventos A e B ao mesmo tempo. Em primeiro lugar, temos que a probabilidade de um evento a probabilidade de ocorrncia de qualquer um de seus resultados. Por exemplo, no lanamento de um dado, se A for o evento de que o resultado par, ento P[A] = 1/2. Assim, a probabilidade pode ser pensada como uma funo que associa a cada evento um nmero entre 0 e 1. Podemos, tambm, pensar na probabilidade de que dois eventos ocorram ao mesmo tempo, a chamada probabilidade conjunta, denotada por P[ A I B ]. Se A e B ocorrem ao mesmo tempo, ento o resultado do experimento est tanto em A quanto em B. Em outras palavras, o resultado est em um novo evento dado por A I B . Voltando ao exemplo do dado, seja A o evento de que o resultado par, B o evento de que o resultado mpar e C o evento de que o resultado maior ou igual a 5, ento P[ A I B ] = 0 e P[ A I C ] = P[ B I C ] = 1/6. Mais importante, e normalmente mais difcil de entender, o conceito de probabilidade condicional. Ainda com o exemplo do dado, digamos que voc aposta que o resultado ser par. Eu lano o dado e vejo o resultado, mas no conto para voc qual nmero saiu. Eu apenas digo que o resultado maior do que 3, e pergunto se voc quer mudar a sua aposta. Ora, se o resultado maior que 3, ele pode ser 4, 5 ou 6. Nesse caso, temos dois resultados favorveis (4 e 6) em um total de trs resultados possveis. Como originalmente a probabilidade de acerto da aposta era 1/2 e agora 2/3, seria razovel aumentar o valor apostado. A probabilidade condicional ento definida como a probabilidade de um evento A dado que B ocorreu, e denotada P[A/B]. Ora, se B ocorreu, ento para que A ocorra necessrio que A I B ocorra. Por outro lado, o fato de B ter ocorrido restringe o nmero de possveis resultados para o experimento. Levando esses dois fatos em conta, definimos P[A/B] = P[ A I B ]/ P[B]. Nesse ponto, interessante definir eventos disjuntos ou mutuamente excludentes, que so aqueles tais que A/ B = 0, (conjunto vazio). Seguindo nossa intuio, definimos que P[ A I B ] = 0. Assim, se dois eventos so disjuntos, P[A/B] = 0. Essa observao tambm satisfaz nossa intuio. De fato, se A e B no podem ocorrer ao mesmo tempo, ento a probabilidade de ocorrer A dado que B ocorreu deve mesmo ser nula. Finalmente, dizemos que dois eventos so independentes se um no traz informao sobre o outro, ou seja, se P[A/B] = P[A]. Note que isso equivalente a dizer que A e B so independentes se P[ A I B ] = P[A] P[B]. Independncia entre dois eventos , em geral, fcil de estabelecer.
0yGXOR
12
3UREDELOLGDGHV
Vamos definir Espao Amostral como sendo o conjunto de todos os possveis resultados de um fenmeno aleatrio qualquer. Evento qualquer elemento pertinente quele espao amostral. O evento pode ser simples, quando for constitudo por apenas um conjunto, ou composto, quando for constitudo por mais de um. Pode-se dizer que probabilidade um nmero que mensura a possibilidade. Por definio, o clculo da probabilidade para um dado evento (A) em um espao amostral (E) definido na forma:
P( A ) =
numero dos casos favoraveis que se quer numero dos casos possiveis que podem existir
Os eventos sero representados por conjuntos num diagrama de Venn, que o modelo matemtico ideal para isto. No clculo de probabilidades as formas como os conjuntos se relacionam no diagrama de Venn muito importante, pois, para cada tipo de disposio existe uma interpretao e soluo diferente. Vamos representar por P(A) a probabilidade de um evento A, por P(B) a de um evento B e assim por diante. Por definio, eventos simples so aqueles que possuem apenas um conjunto no espao amostral, portanto, em termos numricos o clculo da probabilidade de um evento simples A qualquer fica definido na forma: n( A ) P( A ) = n(E)
(YHQWRVVLPSOHV
Teoria da Informao
13
Por essa definio, para um evento A qualquer definido num espao amostral temos os seguintes axiomas: 1) Num espao amostral, sempre vlida a relao numrica n( ) n( A ) n(E) . Se a dividirmos por n(E), teremos: 0 P( A ) 1 Esta expresso define que para um evento qualquer A, a probabilidade no pode ter valor maior que um, nem menor que zero, O resultado "1" a certeza, e o "0", a impossibilidade do acontecimento do evento. 2) Num espao amostral, vlida a relao numrica n( A ) + n( A ) = n(E) . Se a dividirmos por n(E), teremos: P( A ) + P( A ) = 1 Essa propriedade fundamental, pois mostra que a probabilidade de um evento em qualquer espao amostral, somada com a probabilidade do seu no acontecimento, sempre igual a um. Vale dizer, num mesmo espao amostral sempre podemos calcular a probabilidade de um evento pelo seu contrrio cuja relao indispensvel na soluo de muitos problemas: P( do que se quer ) = 1 P( do que no se quer)
(YHQWRVFRPSRVWRV
Eventos compostos so aqueles que ocorrem simultaneamente com mais de um evento no mesmo espao amostral. Para o clculo das probabilidades desses eventos, aplicaremos as propriedades definidas na teoria dos conjuntos, em funo das situaes que podem ocorrer. Mostraremos as mais comuns, com as respectivas expresses matemticas que definem o resultado das probabilidades com aqueles conjuntos. Alguns modelos de eventos compostos so mostrados nos diagramas de Venn abaixo: P( A B ) = P( A ) + P(B) Eventos mutuamente exclusivos

P( A B) = P( A ) + P(B) P( A B) Eventos independentes
P(A UB U C) = P(A) + P(B) + P(C) P(A I B) P(A I C) P(B I C)

+P(A I B I C)
Estas situaes podem ser estendidas para 4 ou mais eventos. As expresses matemticas respectivas podem ser obtidas bastando que continuemos aplicando os mesmos raciocnios da teoria dos conjuntos.
3UREDELOLGDGHFRQGLFLRQDO
Esta probabilidade, como o prprio nome diz, est condicionada a um acontecimento que ocorreu anteriormente. Simbolicamente esta probabilidade escrita na forma P(A/B) que representa; "probabilidade de ocorrer o evento A depois que eu j sei que ocorreu o evento B. No diagrama de Venn fica na forma:
Teoria da Informao
14
No clculo dessa probabilidade observamos que o nmero de casos favorveis est na interseco dos dois conjuntos e, o nmero de casos possveis, so aqueles que eu j sei que aconteceu, portanto eles tm que estar no conjunto B. De acordo com a definio de probabilidades a expresso para o clculo dessa probabilidade : n( A B) P( A / B) = n(B) Dividindo a expresso acima pelo nmero de elementos do universo n(), teremos:
P( A / B) =
3UREDELOLGDGHGHHYHQWRVVLPXOWkQHRV
A expresso da probabilidade condicional nos sugere que tambm podemos escrever a dependncia daqueles dois eventos A e B ao contrario, ou seja, na forma:
P( A B) P(B)
P(B / A) =
P(A I B) P(A)
Portanto analisando as expresses dadas elas nos levam concluso de que podemos escrever a ocorrncia simultnea de dois eventos A e B na forma: P(A I B) = P(B) P(A / B) = P(A) P(B / A) Observe que no importa a ordem como os eventos ocorrem que o resultado obtido sempre o mesmo, por esta razo podemos calcular a probabilidade de qualquer grupo, em qualquer ordem que o resultado obtido sempre o mesmo. Estas expresses podem ser generalizadas para 3 ou mais eventos, ou seja: P(A I B I C) = P(A) P(B / A) P(C / A I B)
3UREDELOLGDGHVGHHYHQWRVLQGHSHQGHQWHV
Suponhamos que num espao amostral tenhamos dois eventos independentes. Ento partindo desse pressuposto, matematicamente teremos a expresses: P(A/B) = P(A) ou P(B/A) = P(B)
pois o evento B no tem influncia nenhuma sobre o A e vice-versa. Portanto o clculo da probabilidade condicional de dois eventos independentes nessas condies fica: P(A I B) = P(A) P(B) importante observar que quando dois eventos so independentes, eles no podem ser mutuamente exclusivos. Portanto, se sabemos que dois ou mais eventos so independentes, necessariamente os conjuntos que os representam tem interseo, caso contrrio os eventos no poderiam ser considerados independentes.
Teoria da Informao
([HUFtFLRVGHDSOLFDomR
15
1) Na ligao dos rels abaixo, cada um tem probabilidade "1/2" de ligar. Calcule a probabilidade de passar corrente entre A e B.
2) Na ligao dos rels abaixo, cada um tem probabilidade "p" de ligar. Calcule a probabilidade de passar corrente entre A e B.
3) Na ligao dos rels abaixo, cada um tem probabilidade "p" de ligar. A chave pode estar igualmente ligada em "A" ou "B". a) Qual a probabilidade da lmpada estar acesa? b) Se ela estiver acesa qual a probabilidade da chave estar ligada em "A"?
Teoria da Informao
16
4) Uma mensagem codificada num cdigo binrio. A probabilidade das transmisses dos dois smbolos so 0,45 para o 0 e 0,55 para o 1. No canal, os smbolos 0 so distorcidos para 1 com probabilidade 0,2 e os smbolos 1 , so distorcidos para 0 com probabilidade 0,1. Ache a probabilidade de que tendo recebido: a) um 0 ele no seja distorcido; b) um 1 ele seja distorcido.
5) A probabilidade de um homem casado assistir certo programa na televiso 0,40 e da sua mulher 0,50. Se a mulher est assistindo o programa na televiso, a probabilidade de que o homem tambm veja o programa 0,70. Pede-se: a) Qual a probabilidade de que ambos estejam assistindo o programa? b) Se o marido est assistindo o programa, qual a probabilidade de que a mulher tambm assista ao programa? c) Qual a probabilidade de que pelo menos uma pessoa do casal esteja assistindo o programa?
6) Um engenheiro de controle de trfego verificou que 75% dos automveis que passam por um pedgio so Fiat. Qual a probabilidade de que ao menos dois dos prximos cinco automveis que passarem sejam da Fiat?
7DUHIDPtQLPD
1) Considere uma urna com 5 bolas brancas, 4 verdes e 3 pretas, e um experimento que consiste em extrair 3 bolas simultaneamente. a) Qual a probabilidade de termos uma bola de cada cor? b) Qual a probabilidade de termos alguma bola branca? c) Se sabemos que alguma das bolas branca, qual a probabilidade de que pelo menos duas bolas sejam brancas? R: 6/22 111/132 34/55 2) Dadas s probabilidades P(A) = 0,6 e P(B) = 0,5 e P(A I B) = 0,1 . Qual o valor da probabilidade do R: 0,55 evento P(A) .3%" 3) Um prdio de trs andares, com dois apartamentos por andar, tem apenas trs apartamentos ocupados. Qual a probabilidade de que cada um dos trs andares tenha exatamente um apartamento ocupado? R: 2/5 4) Uma emissora de televiso avalia em 50% sua probabilidade de ganhar uma concorrncia para a transmisso do campeonato paulista de futebol. Se ganhar esta concorrncia, acredita que ter 80% de probabilidade de ganhar outra concorrncia para a transmisso do campeonato brasileiro de futebol. Qual a probabilidade deste canal ganhar: 1) as duas concorrncias? 2) a do campeonato paulista e perder a do campeonato brasileiro? 5) Qual a probabilidade de que um ms, escolhido ao acaso, de um ano no bissexto, tenha 5 domingos? R: 29/84
Teoria da Informao
17
6) Estima-se que a probabilidade de Mrio ser culpado 0,2. So chamadas duas testemunhas. Se Mrio for realmente culpado, Alberto dir que culpado, e Carlos com 0,6 de probabilidade dir que culpado. Se Mrio for inocente, Alberto dir com probabilidade de 0,3 que inocente, e Carlos dir certamente que inocente: a) qual a probabilidade de Alberto dizer que Mrio inocente; b) qual a probabilidade de Mrio ser inocente se Carlos disse que inocente; c) qual a probabilidade das duas testemunhas afirmarem a mesma coisa; d) qual a probabilidade de Alberto mentir? R: 0,24; 0,9091; 0,36 e 0,56 7) A probabilidade de se chegar ao estacionamento antes das 8 horas 0,4. Nessas condies a probabilidade de se encontrar lugar de 0,6, e chegando depois das 8 horas de 0,3. a) qual a probabilidade de estacionamento? b) sabendo-se que uma pessoa em 3 dias, chegou 2 vezes antes das 8 horas, qual a probabilidade de ter estacionado pelo menos 1 dia? c) qual a porcentagem dos carros estacionados que chegaram antes das 8 horas? R: 0,42 0,664 57,15% 8) A probabilidade de um homem casado assistir certo programa na televiso 0,40 e da sua mulher 0,50. Se a mulher est assistindo o programa na televiso, a probabilidade de que o homem tambm veja o programa 0,70. Pede-se: a) Qual a probabilidade de que ambos estejam assistindo o programa? b) Se o marido est assistindo o programa, qual a probabilidade de que a mulher tambm assista ao programa? c) Qual a probabilidade de que pelo menos uma pessoa do casal esteja assistindo o programa? R: 0,35 0,6363 0,7 9) Na ligao dos rels abaixo, cada um tem probabilidade "1/2" de ligar. a) Calcule a probabilidade de passar corrente entre A e B. b) Se estiver passando corrente qual a probabilidade do rel central estar desligado?
10) Na ligao dos rels abaixo, cada um tem probabilidade "p" de ligar. Calcule a probabilidade de passar corrente entre A e B.
1HQKXPYHQWRVRSUDDIDYRUSDUDTXHPQmRVDEHDRQGHLU
Teoria da Informao
,QWURGXomRjWHRULDGDLQIRUPDomR
Segundo a Bell Labs, Claude Shannon was a Bell Labs mathematician who originated in 1948 the Information Theory on which the fundamental principles of digital telecommunications and information storage are based. () Shannons ideas, which form the basis for the field of Information Theory, are yardsticks for measuring the efficiency of communication systems. Claude Shannon deu consistncia idia de que na comunicao o dgito binrio podia ser o elemento fundamental. Information could be boiled down to sequences of 0 and 1, encoded and then decoded at the other end. Messages could then be transmitted over long distances with virtually no loss in quality. Shannon definiu os limites tericos da transmisso de dados e as leis que fundaram aquilo que hoje se denomina por, Information Age. A teoria da informao um ramo do conhecimento humano cujos objetivos envolvem a conceituao matemtica do termo informao e a construo de modelos capazes de descrever os processos de comunicao. O artigo A Mathematical Theory of Communications, publicado em duas partes pelo matemtico e engenheiro norte-americano Claude Shannon, no Bell Syst. Tech. Journal, em 1948, lanou as bases para a moderna teoria das comunicaes. Qualquer processo de comunicao envolve transferncia de informao entre dois ou mais pontos. O problema fundamental das comunicaes o de reproduzir em um ponto, exatamente ou aproximadamente, uma mensagem selecionada em um outro ponto. Uma fonte de informao ou, simplesmente, fonte, um elemento participante do processo de comunicao que produz informao, enquanto que o destinatrio o elemento que recebe a informao produzida por uma fonte. Em uma conversao os participantes costumeiramente se revezam nos papis de fonte e destinatrio, e a informao circula na forma de palavras possivelmente selecionadas de um vocabulrio conhecido por todo o grupo. Considere-se uma fonte S cujas sadas so seqncias de elementos selecionados de um conjunto A = {a0, a1, a2,...}. Este conjunto o alfabeto da fonte e os seus elementos aI, onde i = 0, 1, 2... so denominados letras ou smbolos. Uma seqncia particular de smbolos gerada pela fonte denominada de mensagem. Vejamos alguns exemplos que ajudaro a esclarecer estes conceitos. Uma fonte de dgitos decimais tem um alfabeto A = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} cujas letras so os dgitos decimais. A seqncia 59012688512238054667533321 uma mensagem que poderia ser gerada por uma fonte de dgitos decimais. Analogamente, uma fonte binria tem um alfabeto A = {0, 1} cujas letras so os dgitos binrios. H diversas fontes reais que geram smbolos no numricos. o caso dos semforos, que utilizam um alfabeto de trs cores, vermelho, amarelo e verde. Uma mensagem gerada por um semforo tradicional uma sucesso temporal de cores, tais como verde, amarelo, vermelho, verde, amarelo, vermelho. O transmissor transforma a mensagem em um sinal adequado transmisso atravs do canal. Em um sistema de telefonia, por exemplo, o transmissor transforma a informao sonora produzida pela fonte em sinais eltricos que podem ser transmitidos por fios condutores. O canal o meio usado para transmitir o sinal do transmissor para o receptor. Em sistema de comunicaes real, o canal pode ser um fio de cobre, um cabo de fibra tica, o espao vazio, o ar, um disquete, um CD-ROM ou DVD, o HD de um computador, etc. O objetivo do receptor a de reconstruir a mensagem gerada pela fonte a partir do sinal enviado pelo transmissor, enquanto que o destinatrio representa o destino final da mensagem enviada pela fonte. Qualquer canal real est sujeito a interferncias, ou rudo, de origens diversas. O rudo pode distorcer o sinal enviado pelo transmissor. Se estas distores forem demasiadamente elevadas, podem ocorrer erros de comunicao, de forma que a mensagem M recebida pelo destinatrio no ser idntica a mensagem M enviada pela fonte. Muitas vezes de interesse alterar a maneira como a informao gerada por uma fonte representada. Para processamento por computador, por exemplo, seria necessrio representar em binrio as mensagens da fonte decimal e do semforo acima descritos. O sistema Braille, por outro lado, representam dgitos, letras e palavras por intermdio de agrupamentos de pontos lisos ou em relevo gravados em uma superfcie adequada. O ato de representar a informao em uma forma especfica denominado codificao. Considere-se uma fonte de informao cujos smbolos correspondem a radiao luminosa nas cores azul, verde e vermelho. A informao de interesse originalmente produzida pela fonte de informao, portanto, consiste em radiao luminosa colorida. Para representar uma mensagem tpica gerada por essa fonte em um texto em lngua inglesa, por exemplo, pode ser mais conveniente representar os smbolos da fonte pelas palavras Red, Green e Blue ou, abreviadamente, pelas letras R, G e B. Neste ltimo caso, uma mensagem tpica poderia ser representada como GBRRRRGBBR. Se a informao produzida deve ser processada em um computador digital, em algum momento a representao dos smbolos precisar ser convertida para seqncias binrias. Assim, o vermelho pode ser representado por 00, o verde por 01 e o azul por 10, por exemplo.
0yGXOR
18
Teoria da Informao
19
H, obviamente, uma quantidade ilimitada de maneiras de representar a informao relevante, ou seja, so as cores emitidas pela fonte, utilizando dgitos decimais, letras, sons, sinais eltricos, etc. O contexto em que a informao ser utilizada define as formas mais adequadas de representao. O processo de representao da informao produzida por uma fonte denominado codificao. Uma palavra-cdigo uma representao especfica para um smbolo ou para um agrupamento de smbolos. Um conjunto de palavras-cdigo capaz de representar todas as sadas possveis de uma fonte constitui um cdigo para a fonte de informao. Codificadores so elementos (seres humanos, circuitos, programas, etc) que representam as mensagens geradas pela fonte empregando um cdigo especfico. Um decodificador responsvel por desfazer o mapeamento realizado por um codificador. Conforme ser visto em breve, para que a decodificao tenha sucesso, algumas condies devem ser satisfeitas. Alguns cdigos muito utilizados so: 1. Cdigos de compresso: o codificador procura reduzir o nmero de bits necessrios representao binria da mensagem da fonte. 2. Cdigos corretores de erros: o codificador representa a mensagem visando aumentar a confiabilidade da transmisso da mesma atravs de um canal ruidoso. O cdigo de Hamming para correo de erros e o cdigo de Reed-Solomon, utilizados em CDs so exemplos bem conhecidos. 3. Cdigos de criptografia: o codificador representa a mensagem visando dificultar a decodificao da mensagem original por observadores indesejados. A definio de Shannon para a quantidade de informao associada a um evento A em uma seqncia de eventos a seguinte: se a probabilidade de ocorrncia do evento i na seqncia for dada por pi, ento a quantidade de informao Ii associada ao evento i , 1 Ii = log pi onde o logaritmo definido na base 2. Por que foi usada a funo logaritmo? Uma primeira explicao que o logaritmo uma funo crescente do seu argumento, portanto, log(x) cresce com x. As figuras mostram, os grficos das funes log x e log2 x
Teoria da Informao
20
Observe que a base do logaritmo altera o valor da funo, mas o comportamento da funo, em qualquer caso, basicamente o mesmo. A funo logx crescente e vale zero para x = 1. O fato de que log1 = 0 compatvel com a noo de informao associada a um evento apresentada acima. Um evento A cuja probabilidade de ocorrncia pi = 1 no traz qualquer informao consigo. Pela definio de Shannon, a quantidade de informao associada a ele Ii = log(1/1) = log(1) = 0. Por outro lado, um evento cuja probabilidade de ocorrncia seja muito pequena tem uma grande quantidade de informao associada a ele, e como 1/pi cresce com a diminuio de pi, portanto, log(1/pi) cresce com a diminuio de pi. Uma segunda explicao para o uso da funo logaritmo vem do fato de que: logab=loga+logb ou seja, o logaritmo do produto igual soma dos logaritmos.
Esta propriedade til para podermos calcular a quantidade de informao associada ocorrncia de dois eventos, a e b. Quando duas fontes distintas emitem seqncias de sinais e, num dado momento, os sinais que vemos das duas fontes so a e b, com suas respectivas quantidades de informao sendo Ia e Ib, ento a nossa noo de quantidade de informao associada observao dos dois sinais a de que ela igual soma das quantidades de informao associadas aos eventos a e b individualmente (quando os eventos a e b so independentes). exatamente isto que a funo logaritmo faz 1 1 1 1 Iab = log = log = log + log = Ia + Ib pab papb pa pb Dizemos que a quantidade de informao associada a um evento uma medida aditiva. Pode-se usar o logaritmo em qualquer base para se calcular a quantidade de informao, desde que se use a mesma base para todos os clculos. A base usada determina a unidade em que se mede a quantidade de informao. Se for usada a base 2, a unidade o bit. Se for usada a base natural e, a unidade o nat. Se for usada a base 10, a unidade no recebe um nome especial. A transmisso digital se preocupa com a transmisso de bits de um ponto a outro. Bit proveniente do termo "Binary digit'. Bits aparecem em vrias formas nas aplicaes. Eles podem ser representados por: Orientao do campo magntico em um dado ponto de um disco rgido. Por exemplo, uma orientao corresponde ao bit 1, e a orientao oposta corresponde a 0. Refletividade em um dado ponto na superfcie de um CD ou DVD. Por exemplo, se um determinado ponto reflete o laser de leitura, ele representa um bit 1. Do contrrio, ele representa 0. Voltagem na sada de um transistor. Por exemplo, 5V corresponde ao bit 1, 0V corresponde a 0. Devido s vrias formas que um bit pode assumir, faremos uma abstrao muito comum e falaremos da transmisso de uma seqncia de bits, sem nos preocuparmos com a representao fsica original desta seqncia. O interesse nessa abstrao que, com ela, podemos estabelecer uma teoria geral para o projeto de sistemas de transmisso digital, nos desligando da forma especfica que o bit assume. A transmisso desses bits se d atravs de um canal. Este pode ser o par tranado que liga a sua casa central telefnica no caso de um modem discado ou DSL; o cabo coaxial da provedora de TV a cabo no caso de servios de internet em banda larga via cabo; os elementos de gravao e leitura de memrias como o disco rgido, CDs e DVDs; o canal de rdio (ar), no caso de transmisso de celular digital, TV digital, rdio digital e satlite. A entrada desses canais tem que ser um sinal eltrico contnuo no tempo, ao passo que a seqncia de bits um sinal discreto. De fato, voc no pode colocar um bit, que uma abstrao, em um cabo coaxial. O processo de transformar uma seqncia de bits em um sinal analgico adequado s exigncias do canal, conhecido como modulao, um dos principais tpicos desse curso. Todos os canais introduzem distores ao sinal transmitido. Cabe ao receptor a tarefa de recuperar os bits transmitidos, compensando essas distores. Assim, um tpico principal o estudo de tcnicas para combater essas distores, permitindo a recuperao dos bits transmitidos no receptor. O que significa dizer que um sinal (uma seqncia) de smbolos tem uma entropia informacional de, por exemplo, 1,75 bits por smbolo? Significa que podemos converter o sinal original em uma seqncia de 0s e 1s (dgitos binrios) de maneira que em mdia existam 1,75 dgitos binrios por cada smbolo do sinal original. O em mdia aqui quer dizer que alguns smbolos vo precisar de mais dgitos binrios para ser codificados (os mais raros) e que outros smbolos vo precisar de menos dgitos binrios para ser codificados (os mais comuns). Exemplo: Suponha que temos 4 smbolos: A B C D, com probabilidades de ocorrncia iguais a: 1 1 1 1 pa = pb = pc = pd = 2 4 8 8
Teoria da Informao
21
Estas probabilidades do as seguintes quantidades de informao para cada smbolo: 1 1 1 1 = 3bit Ia =log =1bit Ib = log =2bit Ic = log =3bit Id = log pa pb pc pd Portanto, a entropia informacional de uma seqncia desses smbolos : 1 1 1 H = piIi = 1x + 2x + 2x3x = 1,75bit ou seja, 1,75 smbolos por bits 2 4 8 Podemos codificar cada um dos quatro smbolos por um nmero de dgitos binrios igual sua quantidade de informao. Por exemplo: A=0; C = 10 ; G = 110 ; T = 111 . Portanto, uma seqncia como: ATCAGAAC, que tem freqncias de ocorrncia dos 4 smbolos iguais s definidas anteriormente pode ser codificada por 01111001100010 usando 14 dgitos binrios para codificar 8 smbolos, o que d uma mdia de 14/8 = 1,75 bits por smbolo. Um cdigo como o usado acima chamado de cdigo de Shannon-Fano. Este cdigo tem a propriedade de que podemos decodific-lo sem precisar de espaos entre os smbolos. Note que o primeiro dgito permite distinguir o smbolo A dos outros 3 smbolos. J o segundo dgito permite distinguir o B dos smbolos C e D. Finalmente, o terceiro dgito permite distinguir o C do D. Suponhamos que temos uma fonte produzindo smbolos xi, cada um com uma probabilidade pi. O cdigo de Shannon-Fano para uma seqncia de tais smbolos pode ser obtido da seguinte maneira: 1. Ordenam-se os smbolos xi em ordem decrescente de probabilidades pi 2. Dividem-se os smbolos em dois grupos de tal forma que a probabilidade de um grupo seja o mais prximo possvel da probabilidade do outro grupo; 3. Um grupo codificado como zero (0) e o outro como um (1); 4. Repete-se o processo de forma recursiva at que cada grupo tenha apenas um smbolo. No exemplo dado (que um exemplo ideal inventado), a probabilidade de A igual soma das probabilidades de B, C e D; a probabilidade de B igual soma das probabilidades de C e D; e as probabilidades de C e D so iguais. Neste caso, a seqncia de 14 dgitos binrios usada para codificar os 8 smbolos contm exatamente 7 "zeros" e 7 "uns". Isto quer dizer que p0 = 0,5 e p1 = 0,5 os dois smbolos so igualmente provveis e a entropia da seqncia codificada mxima, igual a 1 bit por smbolo. Isto quer dizer que cada dgito binrio da seqncia codificada carrega 1 bit de informao. Em um exemplo mais realista, uma seqncia codificada pelo cdigo de Shannon-Fano no resultaria em uma seqncia de "0" e "1" com entropia de 1 bit por smbolo, mas em uma seqncia com uma entropia menor. Por exemplo, suponhamos que as probabilidades de ocorrncia dos quatro smbolos (A, B, C e D) sejam iguais a, 1 1 1 1 pa = pb = pc = pd = 2 6 6 6 de maneira que, 1 1 1 1 Ia = log2 = 1bit Ib = log2 = 2,586bit Ic = log2 = 2,586bit Id = log2 = 2,586bit pa pb pc pd e a entropia informacional de uma seqncia desses smbolos , 1 1 H = piIi = x1 + 3x x2,586 = 1,793 bits por segundo 2 6 Adotemos, uma seqncia dos 4 smbolos na forma BADCAA. Codificando esta seqncia por 0s e 1s conforme o cdigo de Shannon-Fano definido acima, temos a seqncia: 10011111000. A seqncia resultante possui 11 dgitos binrios, o que d uma mdia de 11/6 = 1,83 bits por smbolo. Portanto, neste caso mais realista so necessrios mais dgitos binrios do que o ideal para fazer a codificao. Isto ocorre porque, neste caso, cada dgito binrio carrega menos do que 1 bit de informao.
Teoria da Informao
22
Podemos calcular quantos bits de informao cada dgito binrio carrega neste caso. Temos 11 dgitos binrios na seqncia codificada, 6 "uns" e 5 "zeros". As quantidades de informao associadas a cada dgito so, 1 1 11 11 I0 = log = log = 0,875bit I1 = log = log = 1,138bit p 6 p 5 1 0 e a entropia correspondente H= 6 5 x0,875 + x1,138 = 0,995bits por simbolo 11 11
Portanto, como esperado, neste caso mais realista cada dgito binrio usado para codificar a seqncia de quatro smbolos carrega menos do que 1 bit de informao. Quando codificamos uma seqncia de smbolos por dgitos binrios, a entropia informacional da seqncia nos diz quantos bits por smbolo devem ser usados na situao ideal em que o procedimento do cdigo de Shannon-Fano se aplica exatamente. Nos casos mais realistas em que essa situao no vlida, ou vlida apenas aproximadamente, o nmero necessrio de dgitos binrios para a codificao maior do que H (o que significa que cada dgito binrio carrega menos do que 1 bit de informao).
&2035(662'('$'26
Conforme visto anteriormente, o objetivo dos cdigos de compresso reduzir o nmero de bits necessrio representao binria da mensagem da fonte. O processo de codificao no altera a informao gerada, apenas encontra uma representao idealmente mais econmica para a informao. Para que o processo seja til, deve ser possvel construir um decodificador capaz de restaurar perfeitamente a representao original. Compresso de dados, por outro lado, um processo mais genrico, contemplando a possibilidade de eliminao de informao considerada, sob algum critrio, pouco importante ou irrelevante. Alm de possivelmente eliminar informao pouco importante, um compressor tambm procura reduzir a representao da informao no descartada. Um processo de compresso que no envolve eliminao de informao denominado de compresso sem perdas. Compressores sem perdas empregam exclusivamente algum tipo de cdigo de compresso, e o processo de descompresso consiste em decodificar a mensagem original. Portanto na codificao ou compresso da informao normalmente existe a preocupao em converter os bits, que representam uma sucesso de smbolos, num conjunto de bits com menos elementos. Desse modo, o processamento desses bits torna-se mais rpido e consequentemente a sua transmisso e armazenamento ficam mais econmicos ao nvel dos recursos usados. No entanto: Ser possvel comprimir informao sem haver perdas? possvel representar a mesma informao usando menos bits? O estudo da entropia responde a esta questo. Basta efetuarmos uma codificao semelhante aquela que propomos em Estruturas semiticas (doutrina filosfica geral dos sinais e smbolos), como, por exemplo, textos (livros, peridicos ...) mapas, partituras, programas de computador etc., so conjuntos de mensagens que s se transformam em informao, ao alterar a estrutura cognitiva de um organismo. Essas mensagens podem conter dados, notcias etc. e ser expressas em diversas linguagens, imagens, notas musicais, caracteres numricos ou alfanumricos e impulsos eletrnicos, entre outros, que, ao serem comunicados, isto , transmitidos em um processo comunicacional, podem ou no gerar informao. Quando h eliminao de informao, a mensagem original no pode mais ser perfeitamente reconstruda. Por este motivo, esta modalidade chamada de compresso com perdas. Neste caso, a descompresso constri apenas uma aproximao para a mensagem original, exigindo a adoo de medidas que permitam aferir a distoro entre a mensagem original e a mensagem descomprimida. Algumas medidas de distoro populares sero estudadas nas etapas finais deste curso. Considere-se, por exemplo, um esquema de eliminao de informao que consiste em descartar os caracteres de um texto em posies mltiplas de 5 (o primeiro caractere ocupa a posio 0, o segundo a posio 1 e assim por diante). O trecho abaixo probema undamenta da omunca rprodzir m umpont exaamene ou aproimadment uma mensgem elecionad em utropont. o resultado da aplicao do esquema acima descrito sobre o texto Insistimos, o problema fundamental da comunicao reproduzir em um ponto exatamente ou aproximadamente uma mensagem selecionada em outro ponto Com este mecanismo de descarte de informao, no h como garantir a reconstruo perfeita de um texto arbitrrio. Aps o descarte de informao pouco importante, um compressor tipicamente procura minimizar a representao da informao preservada, aplicando algum cdigo de compresso. Deve estar claro que a etapa de eliminao da informao aumenta as chances de obter-se um grau de compresso mais elevado, e estas chances tendem a aumentar medida que a quantidade de informao eliminada aumenta.
Teoria da Informao
23
A compresso com perdas procura um compromisso adequado entre dois objetivos normalmente conflitantes: o grau de compresso obtido e a distoro resultante. Na situao mais freqente, as entradas de um compressor so mensagens j codificadas em binrio. Nesses casos, a medida mais comumente usada para quantificar o grau de compresso a chamada razo de compresso ou, abreviadamente, RC. Se o nmero de bits usados na representao da mensagem original (entrada do compressor) n e o nmero de bits usados na representao da mensagem comprimida (sada do compressor) m, a RC definida como: RC = n/m. A taxa de bits ou, simplesmente, taxa, de uma mensagem definida como a razo entre o nmero de bits usados na representao da mensagem e o nmero de elementos na mensagem original. Abreviaremos a taxa de bits por R (do ingls rate, taxa). Um texto com 10 caracteres codificados em ASCII utiliza 8x10 = 80 bits. A taxa , portanto, R = 80/10 = 8. Se este texto comprimido (com ou sem perdas) gerando uma seqncia de 40 bits, tem-se RC = 80/40 = 2, ou RC = 2:1, e R = 40/10 = 4. Toda informao ser codificada (comprimida) e queremos saber a que taxas essa informao poder ser transmitida no canal de transmisso. A teoria da informao est relacionada no apenas com tais questes, particulares a teoria da comunicao, como tambm a questes relativas a diversas reas do conhecimento como: Criptografia e Criptoanlise, Teoria de Probabilidade, Inteligncia Artificial, Economia, etc. Abordaremos somente os resultados envolvidos com a Teoria de Probabilidade e Teoria da Comunicao, provenientes dos artigos de Shannon que estabelece que em mdia, o nmero de bits necessrios para representar o resultado de um evento aleatrio dado pela entropia e, que comunicao confivel possvel mesmo nos canais com rudo, desde que a taxa de comunicao esteja abaixo de um certo limiar denominado capacidade do canal. Quando o primeiro homindeo disse Uga Buga provavelmente no estaria ciente das conseqncias deste ato. O que foi que ele tentou transmitir? Ser que se tivesse dito apenas Ug Bug seria igualmente compreendido? Ser que o emissor e o receptor atribuem a esta seqncia de sons o mesmo significado? Provavelmente foi a necessidade de extravasar o pensamento e o sentimento que originou a comunicao. Algo que, sem margem para dvidas, condio "sine qua non" para a existncia de qualquer comunidade. Abstraindo-nos de que existem diversas linguagens, cada uma com as suas caractersticas, peculiaridades e apenas perceptveis por um dado universo, observemos que por detrs disso existe algo comum a todas as linguagens, que o ato de comunicar. Este estudo apenas aborda sistemas de comunicao discretos (sistemas que geram seqncias de smbolos escolhidos num conjunto finito). O Homem na sua nsia de explicar o meio ambiente socorreu-se da cincia e criou a Teoria da Informao. No entanto: A sua existncia fundamentada? O que significa informao? possvel quantificla? A 1 lei da termodinmica afirma que a energia do universo se conserva apesar de ser armazenada, transformada ou transportada no espao e no tempo. Ser que acontece o mesmo com a informao? A informao subjetiva? A informao satisfaz a 2 lei da termodinmica? Segundo a Bell Labs: Humans are symbol-making creatures. We communicate by symbols, growls and grunts, hand signals and drawings painted on cave walls in prehistoric times. Later we developed languages, associating sounds with ideas. Eventually Homo sapiens developed writing, perhaps first symbols scratched on rocks, and then written more permanently on tablets, papyrus and paper. Today, we transmit symbols-coded digital signals of voice, graphics, video and data around the world at close to the speed of light. Were even sending signals into outer space in the hope of finding other symbol-creating species. Este texto sugere que os smbolos desempenham um papel essencial na comunicao. Esta ao inerente a quase todas as sociedades e necessria evoluo e ao progresso. Assumindo que os smbolos representam idias e que as idias implicam informao, ser quase imediato associarmos a comunicao (de smbolos) com a troca de informao, no entanto, qual o significado do conceito de informao? Burgin afirma que, Etymologically the term information is a noun formed from the verb to inform, which was borrowed in the 15th century from the Latin word" informare", which means to give form to, to shape or to form. During the Renaissance the verb to inform was the same meaning as to instruct. Later its significance expanded essentially and it became one of the most important technical and scientific terms. O mesmo autor defende que no possvel definir de forma satisfatria e universal o significado real do conceito de informao. Consequentemente surgiram diversas perspectivas tericas para a informao, que formando uma base de raciocnio, permitem estudar as relaes que decorrem da comunicao. Dessas Teorias de Informao iremos incidir o nosso estudo sobre a perspectiva de Claude Shannon.
*HQHUDOLGDGHVVREUHLQIRUPDomR%LWVH%\WHV
Um byte um dos tipos de dados integrais em computao. usado com freqncia para especificar o tamanho ou quantidade da memria ou da capacidade de armazenamento de um computador, independentemente do tipo de dados l armazenados. A palavra byte tem vrios significados, todos com relaes prximas com os demais: Uma seqncia contgua de um nmero fixo de bits. Nos computadores modernos, um byte de oito bits, ou octeto. Um byte de
Teoria da Informao
24
8 bits pode conter 256 valores possveis (28 = 256) o suficiente para armazenar um inteiro sem sinal entre 0 e 255, um inteiro com sinal entre -128 e 127 ou um carter de uma codificao de caracteres de sete bits (tal como a ASCII) ou oito bits. 3 O byte de 8 bits , por vezes, tambm chamado de octeto (2 ), nomeadamente no contexto de redes de 2 computadores e telecomunicaes. A uma metade um byte, d-se o nome de nibble (2 ) ou semioctecto. Saber quando utilizar cada uma das notaes depende do contexto de utilizao. Isto pode causar alguma confuso. ASCII (acrnimo para American Standard Code for Information Interchange) um conjunto de cdigos para o computador representar nmeros letras pontuao e outros caracteres. Surgido em 1961, o ASCII aquela na qual os nicos elementos utilizados so os caracteres disponveis no teclado do computador. ASCII uma padronizao da indstria de computadores, onde cada caractere manipulado na memria de discos etc, sob forma de cdigo binrio. O cdigo ASCII formado por todas as combinaes possveis de 7 bits, sendo que existem vrias extenses que abrangem 8 ou mais bits. Segundo Penfield if information is to be stored or transported, it must have a physical form. The device that stores the bit must have two distinct states, one of which is interpreted as 0 and the other as 1. A bit is stored by putting the device in one or another of these states, and when the bit is needed the state of the device is measured. If the device has moved from one place to another then communications has occurred. If the device has persisted over some time then it has served as a memory. Nos sistemas eletrnicos atuais a informao consiste meramente em sinais eltricos. Por exemplo, numa memria semicondutora um bit armazenado atravs da presena ou ausncia de alguns milhares de eltrons. O leitor provavelmente interroga-se de que modo os bits so armazenados. O ato de medir a informao contida nesse bit no consiste em medir sim ou no, ligado ou desligado. Na realidade o que medido a voltagem eltrica dessa memria. Imaginemos que essa voltagem varia entre 0V e 5V. Pode interpretar-se a carga eltrica de modo que esta tolere uma certa margem de erro. Voltagens entre 0V e 1V representam o 0 lgico e voltagens entre 4V e 5V representam o 1 lgico. Voltagens entre 1V e 4V no sero reconhecidas adequadamente. No entanto, se a perda de eltrons num circuito sempre inferior a 1V ento a voltagem de sada sempre 0V ou 5V e nesse caso as voltagens podem ser interpretadas como bits sem erro, isto , as perdas de eltrons no causam uma deturpao significativa da informao contida nessas clulas. Segundo Penfield Circuits of this sort display what is known as restoring logic since small deviations are eliminated as the information is processed. The robustness of modern computers depends on the use of restoring logic. Se a informao could be boiled down to sequences of 0 and 1, est implcito que a informao possa ser medida em bits, tal como as distncias podem ser medidas em metros ou o tempo em segundos Mas surge a questo, a informao quantificvel? Qual a quantidade mnima de informao que uma pessoa necessita usar para dizer a outra pessoa o resultado de uma dada situao? Ora bem, sem a sustentao da cincia no nos seria possvel responder convenientemente a esta questo. Vejamos de que modo os conhecimentos professados pela Teoria da Informao pode nos ajudar. Consideremos o arremesso de uma moeda. possvel traduzir o resultado desta ao em cara ou coroa. Podem-se usar diversas tcnicas, mas todas so iguais em questes de indicar o resultado do arremesso. Os resultados cara e coroa podem ser expressos por 0 ou 1. Neste caso necessitamos de um bit para traduzir o resultado desta ao. Consideremos agora o arremesso de duas moedas. Existem quatro resultados possveis e esses resultados podem exprimir-se atravs do uso de dois bits. O primeiro bit para o resultado de uma das moedas e o segundo bit para o resultado da outra moeda, ou seja, necessitamos de dois bits para traduzir o resultado desta ao. Para um conjunto de oito resultados possveis poderamos usar 3 bits n e, de um modo geral, para exprimir uma situao onde haja 2 resultados possveis possvel faz-lo com n bits. Assim de forma minimalista, a resposta nossa questo dada atravs do uso do logaritmo (base 2) do nmero possvel de resultados para uma dada situao.
&yGLJRVGHVDGHTXDGRV']LHQGREU\H%RPGLD
Se um Portugus disser a um Polaco Bom dia, provavelmente no haver transmisso de informao entre os dois. No entanto, se o Portugus disser Dzien dobry, provavelmente o Polaco ir retribuir com um sorriso pois entendeu a saudao. Ou seja, para que haja transmisso de informao, o cdigo usado na comunicao tem de ser perceptvel por ambas as partes. A transmisso de informao requer duas fases: A primeira consiste no estabelecimento de um cdigo entre o emissor e o receptor, ou seja, temos que definir antecipadamente o significado de cada seqncia de bits. Por exemplo, como falar sobre quais as cartas retiramos de um baralho com 52 cartas, imaginemos definir em bits, que 00 significa que a carta do naipe paus, 01 para ouros, 10 para copas e 11 para espadas. Este entendimento mtuo chamado de cdigo. No entendimento de Penfield the mapping between the objects to be represented (the symbols) and the array of bits used for this purpose is known as a code
Teoria da Informao
25
A segunda consiste no ato da transmisso da informao, ato no qual so enviadas seqncias compostas por zeros (0) e uns (1). Por exemplo, depois de retirarmos uma carta do baralho informamos acerca do naipe ao qual a carta pertence, para tal, necessitamos usar 2 bits. Ao retirarmos uma carta do baralho desconhecemos qual ter sado. No entanto, possvel medir, quantificar e exprimir essa incerteza em bits. Depois de saber o naipe da carta escolhida essa incerteza reduz-se, ou seja, durante a primeira fase a incerteza aumenta e depois diminui aps a fase da transmisso da informao. A informao pode ser quantificada atravs da observao e da experincia; A Informao subjetiva porque depende do observador. Aquilo que adquirimos atravs da observao e experincia pode ser diferente da informao que outra pessoa extrai do mesmo evento. Uma pessoa depois de saber que houve uma observao, acerca da qual alguma informao est disponvel, ir ter elevados ndices de incerteza sobre qual ter sido o resultado dessa observao. A dvida ou incerteza ir diminuir se essa pessoa receber informao que lhe permita descobrir o resultado. Pode haver perdas de informao, tanto por perdas de dados como atravs da utilizao de cdigos pouco adequados para o fim em vista. A forma fsica da informao est localizada no espao e no tempo. Deste modo: a informao pode enviar-se de um local para outro; ou pode ser armazenada para ser utilizada posteriormente. No artigo "The Efficient Representation of Information", pode ler-se que Claude Shannons Information theory regards as information only those symbols that are not predictable. A simple example is the flip of a coin that has two heads. Since there is not uncertainty about the outcome there is no information to communicate. Observemos o modo como usamos as mensagens "Short Message Service" (SMS mensagens). Quando as compomos, por vezes, deliberadamente omitimos algumas letras ou palavras, pois os custos decorrem do nmero de letras enviadas, Yet people could easily read these abbreviated messages, since they leave out predictable words, such a and the. Um exemplo na lngua de Cames, talvez seja a utilizao de qq para qualquer. Penso que seja esse o raciocionio que leva M. Burgin afirmar que information is the eliminated uncertainty ou, para Shannon informao definida as a statistically based difference between what is uncertain and what is already known or available.
(VWUXWXUDGHXP6LVWHPDGH&RPXQLFDomR
O conceito de informao levou a Bell Labs, no seu artigo "An Overview on Information Theory" afirmar que Claude Shannon identified the critical relationships among the elements of a communication system: the power at the source of a signal; the bandwidth or frequency range of an information channel through which the signal travels; and the noise of the channel, such as unpredictable static on the radio, which will alter the signal by the time it reaches the last element of the system, the receiver, which must decode the signal. Para uma melhor compreenso deste processo necessrio descrever, de forma sucinta, a estrutura e composio de um Sistema de Comunicao. Observe-se o esquema abaixo:
Como Shannon escreveu, by a communication system we will mean a system of the type indicated schematically in figure. It consists essentially of five parts: 1) An information source which produces a message or a sequence of messages to be communicated to the receiving terminal; A transmitter which operates on the message in some way to produce a signal suitable for transmission over the channel; 2) The channel is merely the medium used to transmit the signal from transmitter to receiver. A channel involve a single physical medium than spans the difference in time and in space which separates senders from receivers. It may be a pair of wires, a coaxial cable, a band of radio frequencies, a beam of light, etc. During transmission, or at one of the terminals, the signal may be perturbed by noise. This is indicated schematically in 3) By the noise source acting on the transmitted signal to produce the received signal;
Teoria da Informao
26
4) The receiver ordinarily performs the inverse operation of that done by the transmitter, reconstructing the message from the signal; 5) The destination is the person (or thing) for whom the message is intended. Um sistema de comunicao consiste em 5 partes: Uma fonte de informao que produz a mensagem ou seqncia de mensagens a serem comunicadas ao terminal receptor que pode ser de vrios tipos: a) Uma seqncia de letras como em um sistema telegrfico; b) Uma nica funo no tempo f(t), como o rdio c) Uma funo com mais de uma varivel, f(x, y, t) como o sinal de uma transmisso de televiso em preto e branco; Um transmissor (codificador) que opera a mensagem de modo que esta possa ser transmitido no canal; Um canal que o meio pelo qual a informao ser transmitida, este meio pode conter rudo (em casos ideais o rudo desconsiderado) que ir alterar de alguma forma a mensagem original; Um receptor (decodificador) que apenas faz a funo inversa do transmissor de modo a obter a mensagem original; Um destino, para quem a mensagem encaminhada. Discutiremos agora o modelo matemtico das entidades mais importantes destes sistemas de comunicao. Estudando as relaes entre os elementos de um sistema de comunicao, Shannon, de acordo com o artigo An Overview on Information Theory obteve alguns resultados matemticos que definem how much information could be transmitted over the channels of an ideal system. Shannon also spelled out mathematically the principles of data compression, which recognise what the end of this sentence demonstrates, that only infrmatn esentil to understandn mst b tranmitd. And he showed how we could transmit information over noisy channels at error rates we could control. () what his theory does is to replace each element in the model with a mathematical model that describes that elements behaviour within the system.
([SHULrQFLDpRQRPHTXHGDPRVDRVQRVVRVSUySULRVHUURV
0HGLGDGD,QIRUPDomR
Para descrever matematicamente a fonte de informao (discreta), consideremos uma mensagem como um conjunto de smbolos de um alfabeto finito ou enumervel, sendo escolhidos sucessivamente de acordo com certas probabilidades, dependendo em geral tanto das escolhas anteriores quanto do smbolo atual. Considerando cada smbolo como uma varivel aleatria com distribuio dada pelas probabilidades de escolha, teremos uma famlia de variveis aleatrias discretas indexadas pelo parmetro tempo. Portanto a gerao de informao (discreta) pode ser vista como um processo estocstico. Um processo estocstico em geral de difcil anlise matemtica, portanto pelo restante do texto, restringiremos a fonte de informao a processos estocsticos Markovianos, tambm denominados processos "Sem Memria", que so mais simples e modelam bem a gerao de informao. Considere por exemplo, a transmisso de textos em portugus; as seqncias de letras (smbolos) no so completamente aleatrias tendo portanto uma estrutura estatstica. Sabendo como a informao gerada, como podemos medir quanta informao produzida? Com propsito de responder esta questo Shannon definiu a funo: f(x) = log1/pi= ORJSi Esta funo denominada auto-informao ou contedo da informao, e indica o total de conhecimento sobre o resultado de certo evento. Pela funo, assim como intuitivamente esperamos, um evento menos provvel tem mais informao que outro mais provvel. Se o logaritmo tiver base 2 o contedo da informao ser expresso em bits. Se a base do logaritmo "e", ento o contedo da informao medido em nuts. Como exemplo considere o arremesso de uma moeda honesta. Como a probabilidade do resultado ser cara igual a 1/2 a medida de auto-informao ser:
0yGXOR
(QWURSLD
A entropia equivale perda de energia, desordem. Descoberta em meados do sculo passado foi destacada por Einstein como a primeira lei de toda a cincia e por Sir Arthur Eddington como a suprema lei
Teoria da Informao
27
metafsica de todo o Universo. A entropia irreversvel, e o Universo entrpico. Shannon foi o primeiro a associar os conceitos entropia e informao. Em seu modelo de comunicao, a quantidade de informao transmitida em uma mensagem uma funo da previsibilidade da mensagem. Wiener, mesma poca, associa entropia ao processo de comunicao/informao, ao afirmar que, nos processos onde h perda de informao, h uma situao anloga aos processos que ganham entropia. O passo seguinte foi dado por Brillouin, que igualou informao a neguentropia, isto , a informao necessria para mudar um sistema de um estado para outro, mais ordenado. Tais abordagens ao conceito de entropia parecem ter criado, em vrios contextos, a idia de que h entropia negativa, implicando ser possvel reverter a entropia. No bojo dessa falcia, embutiram-se as noes de sistema aberto e sistema fechado. O que os sistemas de recuperao da informao e teorias de sistemas no viram e no consideraram, que a entropia informacional no equivalente entropia no sentido da termodinmica e, dessa forma, cresceram e hoje, perplexos, no sabem localizar as razes de suas falhas. A lei da entropia estabelece que o processo de evoluo dissipa a energia total disponvel para a vida no planeta Terra. O conceito geral de evoluo estabelece exatamente o oposto. Acredita-se que, como em um passe de mgica, a evoluo possa gerar ordem. Hoje em dia, o ambiente em que se vive tornou-se to dissipado e desordenado, que se comeou a rever idias correntes sobre evoluo, progresso e criao de bens de valor material. Evoluo significa gerao de ilhas cada vez maiores de desordem. Foi Shannon quem primeiro ligou os conceitos de entropia e informao. Em seu modelo de comunicao (fonte-emissor-canal-receptor), a quantidade de informao transmitida em uma mensagem uma funo da previsibilidade da mensagem. A noo de entropia est ligada ao grau de desorganizao existente na fonte. Quanto maior a desorganizao (entropia, incerteza), maior o potencial de informao dessa fonte. Uma fonte que responda com a nica e mesma mensagem a toda e qualquer pergunta no transmite informao, j que no h reduo de incerteza. Entropia, a priori, equivale a perda de energia, desordem; um conceito fundamental da termodinmica. Esta, em suas duas leis, estabelece: o contedo total de energia do Universo constante, e a entropia total cresce continuamente. O primeiro princpio, conhecido como da conservao da energia, apareceu em 1842 no trabalho do engenheiro francs Nicholas Lonard Sadi Carnot sobre mquinas de calor. A descoberta do Ciclo de Carnot formou a base da segunda lei da termodinmica. Conforme mencionado, a primeira lei da termodinmica a lei da conservao da energia e estabelece que, embora a energia no possa ser criada nem destruda, pode ser transformada de uma forma para outra. Asimov exemplifica: Imagine que tomemos uma quantidade de calor e a transformemos em trabalho. Ao faz-lo, no destrumos o calor, somente o transferimos para outro lugar ou, talvez, o tenhamos transformado em outra forma de energia.. Na verdade, tudo feito de energia. Contornos, formas e movimentos de tudo que existe representam concentraes e transformaes de energia. Tudo o que existe no mundo, do mais simples ao mais complexo, tenha ou no sido criado pelo homem plantas, animais, os prprios seres humanos, sistemas, mquinas, indumentrias, pedras, edifcios, monumentos etc. representam transformaes de energia de um estado para o outro. Destruio ou morte dessas entidades representa, tambm, transformao de energia de um estado para o outro, ou seja, a energia neles contida conservada e transformada: no desaparece. Essa primeira lei da termodinmica estabelece, simplesmente, que no se gera nem se destri energia. o seu complemento, isto , a segunda lei, que d os fundamentos para a impossibilidade de se usar a mesmssima energia repetidas vezes. Esta segunda lei estabelece que, a cada vez que a energia transformada de um estado para outro, h certa penalidade imposta ao processo, quer dizer, haver menos energia disponvel para transformao futura. Esta penalidade chama-se entropia. Entropia uma medida da quantidade de energia no mais capaz de ser convertida em trabalho. As experincias de Sadi Carnot foram exatamente neste sentido. Ele tentava entender melhor como uma mquina a vapor trabalha. Descobriu que a mquina trabalhava porque uma parte do sistema estava muito fria e a outra muito quente, ou seja, para que a energia se converta em trabalho, necessria uma diferena em concentrao de energia (diferena de temperaturas) em diferentes partes do sistema. O trabalho ocorre quando a energia passa de um nvel de concentrao mais alto para um nvel de concentrao mais baixo (temperatura mais elevada para mais baixa). Cada vez que a energia vai de um nvel para outro significa que menos energia est disponvel para ser convertida em trabalho em uma prxima vez. Complementando o trabalho de Carnot, Clausius compreendeu que, em um sistema fechado, a diferena em nveis de energia sempre tende a desaparecer. Quando um ferro em brasa retirado do fogo e deixado em contato com o ar, observa-se que o ferro comea a esfriar enquanto o ar imediatamente em volta comea a aquecer-se. Isto ocorre porque o calor sempre flui do corpo mais quente para o corpo mais frio. Aps um determinado espao de tempo, podemos notar que o ferro e o ar imediatamente em volta dele atingiram a mesma temperatura. A isto se denomina estado de equilbrio trmico em que no h diferena em nveis de energia. A energia neles contida est no disponvel. Isto no significa que no se possa reaquecer o ferro, mas, sim, que uma nova fonte de energia disponvel ter que ser utilizada no processo. O estado de equilbrio , ento, aquele em que a entropia atinge o valor mximo, em que no h energia disponvel para executar algum trabalho. Clausius resumiu a segunda lei da termodinmica concluindo que: no mundo, a entropia sempre
Teoria da Informao
28
tende para um mximo. De um lado, na termodinmica clssica, a entropia definida de uma forma abstrata, como uma varivel termodinmica do sistema em estudo. De outro lado, na mecnica estatstica, ela definida como uma medida do nmero de maneiras nas quais as partculas elementares do sistema podem ser estruturada sob certas circunstncias. A mecnica estatstica, como o prprio nome diz, a aplicao de mtodos estatsticos anlise das propriedades, estrutura e comportamento de sistemas fsicos, ou seja, aqueles sistemas que a fsica estuda e possibilitou mensurar, com grande nvel de preciso, a entropia. Rifkin analisa mais amplamente o fenmeno da segunda lei da termodinmica, de forma a ressaltar sua importncia e impacto para a sociedade como um todo. Segundo ele, a atual viso de mundo iniciada h 400 anos, apesar dos refinamentos e modificaes sofridas, mantm muito de sua essncia. Vive-se, ainda hoje, sob a influncia do paradigma da mquina newtoniana. Tal viso, no entanto, est prestes a ser substituda por um novo paradigma, ou seja, a lei da entropia. Einstein identificou a lei da entropia como ... a primeira lei de toda a cincia. Sir Arthur Eddington a ela referiuse como a suprema lei metafsica de todo o Universo. O Universo entrpico, irreversivelmente. A irreversibilidade da entropia, que a impossibilidade de retransformar (reutilizar) energia j dissipada (utilizada), produz degradao. Se a energia total do universo constante e a entropia crescente, conforme foi visto, quer dizer que no se pode criar ou destruir energia; pode-se simplesmente mud-la de um estado para outro. A cada mudana de estado, h menos energia para futuras transformaes. Esta quantidade mensurvel menos energia disponvel a entropia. medida que a entropia aumenta, h um decrscimo em energia disponvel. A cada vez que um evento ocorre no mundo, alguma quantidade de energia fica indisponvel para trabalho futuro. Esta energia no disponvel a poluio. Muitas pessoas pensam que a poluio um subproduto da produo. Na verdade, poluio a soma total de toda a energia disponvel no mundo que foi transformada em energia no-disponvel. O lixo, ento, energia dissipada, no disponvel. Uma vez que, de acordo com a primeira lei, energia no pode ser criada ou destruda, mas apenas transformada em uma nica direo, para um estado dissipado, poluio apenas outro nome para entropia, isto , representa uma medida de energia no-disponvel presente em um sistema. Um ponto importante que, precisa ser enfatizado e reenfatizado que na Terra a entropia cresce continuamente e dever, em ltima instncia, atingir um mximo. Isto, porque a Terra um sistema fechado em relao ao Universo, isto , troca energia, mas no matria com o ambiente. Com exceo de um meteorito ocasional caindo sobre a Terra e de alguma poeira csmica, o planeta Terra permanece um subsistema fechado do Universo. Ou seja, Mesmo na fantstica mquina do Universo, a matria no criada em quantidades expressivas to somente a partir de energia; ao contrrio, enormes quantidades de matria so continuamente convertidas em energia. A lei da conservao (primeira lei da termodinmica) sempre teve ampla aceitao. A segunda lei, ao contrrio, sempre encontrou resistncia, em vrios nveis, para ser aceita. Na fsica, os trabalhos de Maxwell e Bolzman, no final do sculo XIX, mostram a obstinao da comunidade cientfica de contornar os efeitos da entropia. A aceitao da primeira lei e a rejeio da segunda podem ser explicadas pela prpria anttese que simbolizam: vida e morte, incio e fim, ordem e desordem. A viso at aqui colocada da segunda lei sob a perspectiva da energia movendo-se do estado disponvel para o nodisponvel e movendo-se da alta concentrao para a baixa. H ainda uma outra forma de ver a segunda lei, que diz que toda a energia em um sistema isolado move-se de um estado ordenado, isto , coeso, para um desagregado. O estado mnimo de entropia, em que h mxima energia disponvel concentrada, tambm o estado mais coeso, uniforme. Em contraste, o estado mximo de entropia, no qual a energia disponvel foi totalmente dissipada e dispersada, tambm o estado mais desagregado ou catico. O termo caos da matria empregado quando a matria torna-se no-disponvel, da mesma forma que se usa o termo morte calrica, quando a energia torna-se no-disponvel. Acredita-se que, como em um passe de mgica, a evoluo possa gerar ordem. Hoje em dia, o ambiente em que se vive tornou-se to dissipado e desordenado, que se comeou a rever idias correntes sobre evoluo, progresso e criao de bens de valor material. A noo de entropia est ligada ao grau de desorganizao existente na fonte. Quanto maior a desorganizao (entropia, incerteza), maior o potencial de informao dessa fonte. Uma fonte que responda com a nica e mesma mensagem a toda e qualquer pergunta no transmite informao, j que no h reduo de incerteza. Weaver destaca a importncia da associao entre informao e entropia: em uma situao altamente organizada, em que no h aleatoriedade ou escolha, tanto a informao quanto a entropia so baixas. Shannon e Weaver desenvolveram, tambm, o conceito de entropia relativa, isto , a entropia real dividida pela entropia mxima possvel de uma fonte que utilize um conjunto de smbolos. Para eles, a redundncia seria igual diferena entre a entropia relativa e a unidade, donde: Redundncia = 1 entropia relativa Redundncia , assim, uma medida do quanto de uma mensagem pode ser destruda, apagada ou embaralhada sem perda de comunicao efetiva. Por exemplo, a ausncia da letra a na palavra felicidade no acarreta a perda de seu significado, de seu reconhecimento. Um dos problemas associados teoria de Shannon a sua conceituao de informao. Para ele, informao a presena de um ou zero em um bit est associada quantidade de informao de uma mensagem, e no ao seu contedo.
Teoria da Informao
29
Quantidade de informao significando maior ou menor probabilidade de emisso de mensagens a partir de uma fonte. Uma fonte binria tem apenas duas mensagens possveis: 0 ou 1; sim ou no. Wiener tambm, mesma poca, associa entropia ao processo de comunicao/informao: os processos que perdem informao so, como poderamos esperar, estreitamente anlogos aos processos que ganham entropia. Temos aqui uma aplicao precisa da 2 lei da termodinmica comunicao. Uma especificao maior de uma situao ambgua tende, em geral, a proporcionar um ganho e no uma perda de informao. Brillouin igualou informao neguentropia (entropia negativa). Neguentropia , ento, a informao necessria para mudar um sistema de um estado para outro, mais ordenado. Dessa forma, a neguentropia ou informao que torna possvel a ordem crescente (entropia decrescente) em um sistema. O conceito de neguentropia objeto de discusso at hoje, j que sua base terica bastante contestada. Conforme apontam Shaw & Davies, relaes bsicas entre entropia, ordem, informao e significado tm sido observadas por diferentes autores e disciplinas que vo da biologia economia, passando pela cincia da informao, arte e religio. Inmeros trabalhos tericos na cincia da informao foram baseados no modelo de Shannon Weaver, tendo como premissa a relao entropiainformao. As relaes entre entropia e informao, inclusive em nvel de formalizao matemtica, notadas por vrios autores, sempre intrigaram a comunidade cientfica, que vem abordando tais relaes entre as duas entidades cautelosamente. O paralelo entre entropia e informao destaca-se meramente como uma identidade formal de expresses matemticas. Aqueles que desejam especular acerca dos efeitos da segunda lei da termodinmica sobre uma sociedade fechada e assuntos similares devem faz-lo por sua conta e risco etc.... Na mecnica estatstica, a quantidade termodinmica entropia tambm aparece com a mesma expresso, onde o conjunto de configuraes H compreende todos os arranjos de posies e momentos das partculas que compem um sistema e que corresponde ao seu estado termodinmico. A irreversibilidade da entropia, que a impossibilidade de retransformar (reutilizar) energia j dissipada (utilizada), produz degradao. Se a energia total do universo constante e a entropia crescente, conforme foi visto, quer dizer que no se pode criar ou destruir energia; pode-se simplesmente mud-la de um estado para outro. A cada mudana de estado, h menos energia para futuras transformaes. Esta quantidade mensurvel menos energia disponvel a entropia. medida que a entropia aumenta, h um decrscimo em energia disponvel. A cada vez que um evento ocorre no mundo, alguma quantidade de energia fica indisponvel para trabalho futuro. Esta energia no disponvel a poluio. Muitas pessoas pensam que a poluio um subproduto da produo. Na verdade, poluio a soma total de toda a energia disponvel no mundo que foi transformada em energia no disponvel. O lixo, ento, energia dissipada, no disponvel. Uma vez que, de acordo com a primeira lei, energia no pode ser criada ou destruda, mas apenas transformada em uma nica direo para um estado dissipado, poluio apenas outro nome para entropia, isto , representa uma medida de energia no-disponvel presente em outras de maneira rpida. Assim, a lei da entropia destri a noo de histria enquanto progresso. A lei da entropia destri a noo de que cincia e tecnologia criam um mundo mais ordenado. Na verdade, a lei da entropia causa, sobre o mundo mecanicista newtoniano, o mesmo impacto que este causou sobre a viso de mundo da Idade Mdia crist. Muitos se recusaro a aceitar que a lei da entropia reina suprema sobre toda a realidade fsica no mundo. Insistiro que o processo entrpico somente se aplica a casos especficos e que qualquer tentativa de aplic-lo mais amplamente sociedade fazer uso de metfora. No entanto, esto errados. As leis da termodinmica provm o quadro de referncia cientfica mais ampla para toda a atividade fsica neste mundo. Nas palavras do prmio Nobel Frederick Soldy: As leis da termodinmica controlam, em ltima instncia, o surgimento e a queda de sistemas polticos, a liberdade ou a escravido de naes, os fluxos do comrcio e da indstria, as origens da riqueza e da pobreza, e o bem-estar fsico geral da raa. Deve ser enfatizado que a lei da entropia lida somente com o mundo fsico, onde tudo finito e onde todos os organismos vivos existem e eventualmente deixam de existir. uma lei que governa. A Termodinmica foi a teoria cientifica destinada a explicar e desenvolver maquinas trmicas, ponto central da Revoluo Industrial. Nesse contexto, a entropia aparece com o intuito de distinguir processos reversveis e irreversveis, estando assim intimamente ligada com a questo da direo da chamada seta do tempo. A Segunda Lei da Termodinmica aponta exatamente para o crescimento da entropia de um sistema. A definio de entropia a essa altura era como uma relao entre diferenciais, onde o inverso da temperatura jogava o papel de fator integrante para a quantidade de calor. raro encontrar algum que se sinta realmente satisfeito com tal definio. A primeira grande reinterpretao do conceito veio com a Mecnica Estatstica, teoria que busca conciliar duas outras aparentemente incompatveis: a Termodinmica, com sua Segunda Lei, e a Mecnica, onde se aplica a reversibilidade temporal. O conceito de entropia em mecnica estatstica est ligado ao logaritmo da contagem de quantos estados microscopicamente distintos so compatveis com uma mesma descrio macroscpica do sistema. Assim se da a conciliao entre Mecnica e Termodinmica: os processos envolvendo diminuio de entropia no so impossveis, mas apenas a probabilidade que eles ocorram e extremamente pequena. Um quarto de sculo depois, a Mecnica Quntica toma forma, e John Von Neumann faz a ligao do conceito de entropia com esta nova teoria de fenmenos. A entropia na informao, que pode estabelecer o
Teoria da Informao
30
cdigo timo, est diretamente relacionada com a definio das probabilidades associadas aos smbolos gerados pela fonte, bem como com as consideraes a respeito de dependncia estatstica. Em outras palavras, a entropia calculada a partir da definio de um modelo estatstico para a fonte de informao. Na verdade, qualquer processo de codificao est associado a um modelo subjacente, que pode ou no ser explicitamente definido. Por exemplo, a atribuio de um nmero fixo de bits a cada um dos elementos de uma seqncia, como no cdigo ASCII de oito bits, tima para fontes que seguem um modelo IID com a mesma probabilidade de ocorrncia para todos os smbolos do alfabeto. Diz-se que um modelo que captura mais precisamente as caractersticas reais da fonte reduz sua entropia, aumentando as oportunidades de compresso. Por exemplo, se os elementos de uma mensagem so estatisticamente dependentes, a entropia associada a um modelo que expresse este comportamento ser menor do que aquela associada a um modelo IID. Enquanto a codificao tima um problema j solucionado, a modelagem permanece um ativo campo de pesquisa. A definio de um modelo que leve menor entropia para uma fonte genrica um problema sem soluo definida, e ganhos de compresso podem sempre ser obtidos com a construo de modelos mais precisos. Considere-se uma fonte com alfabeto A = {a0, a1,..., an-1}. Um modelo estatstico simples consiste em assumir que os elementos gerados pela fonte so independentes e assumem o valor ai com probabilidade P(x =ai), onde i = 0, 1,..., n-1. Quando a suposio de independncia no satisfatria, os modelos de Markov esto entre os mais comumente usados para representar a relao entre os smbolos. Uma mensagem segue um modelo de Markov de k-sima ordem se a distribuio de probabilidades de um elemento depende unicamente dos k smbolos que o antecedem. necessrio, portanto, estimar as probabilidades dos k smbolos precedentes que constituem o contexto a partir do qual a probabilidade de ocorrncia do prximo elemento estimada, e por este motivo os modelos de Markov de k-sima ordem so tambm conhecidos como modelos de contexto finito. Seria natural empregar modelos de ordem elevada para obter boas compresses, mas alguns problemas prticos limitam a k aplicabilidade da idia. Com um modelo de ordem k e um alfabeto de tamanho M, tem-se M possveis contextos, ou seja, o nmero de contextos diferentes cresce exponencialmente com a ordem do modelo. Se M = 256 e k = 5 haveria aproximadamente um trilho de contextos diversos. Um nmero elevado de contextos leva a uma srie de problemas prticos, relacionados aos requisitos de memria e ao clculo das estimativas e transmisso para o decodificador das probabilidades condicionais. Por este motivo, os modelos de Markov de ordem zero e de primeira ordem so os mais utilizados em situaes reais. Qualquer que sejam as consideraes a respeito da dependncia estatstica entre elementos sucessivos gerados pela fonte, as probabilidades de ocorrncia dos smbolos podem ser estimadas de trs formas: Estimativa no-adaptativa ou esttica: utiliza-se um conjunto fixo de probabilidades pr-estimadas para uma determinada classe de fontes (por exemplo, arquivos de texto ASCII em ingls). O processo de codificao simples, mas a eficincia de compresso pode ser baixa quando a distribuio de probabilidades dos smbolos de uma mensagem se desviar significativamente do modelo pr-estabelecido. Estimativa semi-adaptativa: realiza-se uma verificao preliminar na mensagem, estimando-se a probabilidade de cada smbolo pela freqncia relativa observada, e usa-se a distribuio de probabilidades assim obtida para a criao do cdigo. Esta abordagem apresenta pelo menos dois inconvenientes: necessrio passar ao decodificador informaes que possibilitem a construo do mesmo cdigo usado na codificao. necessrio varrer previamente toda a mensagem para estimar as probabilidades, o que torna a abordagem inadequada para codificao em tempo real. Estimativa adaptativa: parte-se de uma estimativa inicial semi-adaptativa ou no-adaptativa, e cada smbolo codificado usado para atualizar o modelo. Assim, h a possibilidade de que, a cada smbolo codificado, todas as palavras cdigos se alterem para refletir as mudanas no modelo, o que pode ter um custo computacional elevado. Como alternativa ao uso de modelos estatsticos complexos para fontes com elementos dependentes, pode-se procurar aproximar o comportamento da fonte atravs de um modelo determinstico, cujo objetivo proporcionar uma aproximao precisa para o valor de um elemento atravs da aplicao de uma funo determinstica f(C) a um contexto C formado pelos valores reais de outros elementos da mensagem. A funo f um mapa entre contextos e aproximaes. Como o mapa fixo e conhecido pelo codificador e pelo decodificador, apenas os erros entre os valores reais dos elementos e as aproximaes precisam ser codificados. Se o esquema operar satisfatoriamente, a entropia dos erros ser menor do que a da mensagem original. Se o contexto empregado para construir a aproximao para o valor de um dado elemento contm apenas smbolos que o antecedem na mensagem, o processo chamado de predio. Por outro lado, se h smbolos antecedentes e subseqentes no contexto, tem-se uma interpolao. Um preditor linear de ordem k calcula as aproximaes a partir de uma combinao linear dos smbolos em um contexto composto pelos k smbolos prvios. Esses pesos podem ser prefixados ou calculados de maneira a minimizar o erro mdio quadrtico entre as predies e os valores reais.
Teoria da Informao
31
A predio tende a gerar seqncias de erros mais descorrelacionados que os elementos da seqncia original, aumentando a eficincia da aplicao de modelos estatsticos simples. Segundo Shannon a grandeza H (entropia) definida na forma:
H(x) = pi log
i =1
1 pi
E representa um papel importante na teoria da informao como medida da prpria informao, do grau de certeza ou da incerteza de um dado evento. Penfield afirma que, if we want to quantify our uncertainty before learning an outcome, we cannot use any of the information gained by specific outcomes, because we would not know which to use. Instead, we have to average over all possible outcomes. The average information per event is called entropy. A entropia possui algumas propriedades importantes: a) A entropia conjunta de duas variveis aleatrias X e Y dada por: H(x) = x yP(x,y)logP(x,y) b) A entropia aditiva para variveis aleatrias independentes, ou seja: H(x, y) = H(x) + H(y) P(x, y) = P(X) + P(y) c) Caso as variveis aleatrias sejam dependentes, temos: H(x,y) = H(x / y) + H(y) d) A entropia condicional, que aparece na equao anterior, mede a entropia de uma varivel aleatria X dado o conhecimento da varivel Y e dada por: H(x / y) = H(x,y) H(y) e) Outra medida definida por Shannon a quantidade de informao que X compartilha com Y, que denominada informao mtua ou transformao e dada por : P(x,y) f(x,y) = x y P(x,y)log P(x)P(y) Se X e Y so independentes, ento X no contem informao sobre Y e vice-versa, tendo, portanto informao mtua zero. Se X e Y so idnticas, ento toda informao contida em X est contida em Y, ou seja, o conhecimento de X no adiciona nada ao conhecimento de Y e vice-versa. Neste caso a informao mtua ser dada pela entropia de X. Segue desta definio que a informao mtua tambm pode ser expressa por: f(x,y) = H(x) H(x / y) Considerando dois eventos possveis com probabilidades p e q=1S H(x) = (qlogq + plogp) . A figura abaixo mostra o grfico dessa funo:
$ VXD HQWURSLD VHUi
Teoria da Informao
7UDQVPLVVRU5HFHSWRU
32
Como dito anteriormente, o transmissor tem o papel de codificar atravs de alguma funo, os smbolos da mensagem de entrada em smbolos que sero enviados pelo canal. O receptor apenas executa a funo inversa, portanto seu modelo matemtico est interligado ao modelo do transmissor. Esta codificao ou mapeamento dos smbolos que sero enviados, em uma seqncia de smbolos que sero recebidos, deve ser executada de modo que a mensagem seja exatamente recuperada (codificao sem perda) na recepo, ou recuperada com alguma distoro (codificao com perda). Em geral a codificao se d atravs da compresso dos dados, otimizando a transmisso. H vrios mtodos capazes de comprimir arquivos como o conhecido ZIP. Esta compresso s possvel devido a uma propriedade relacionada a fonte de informao, a redundncia. Esta redundncia R(x) definida formalmente como: R(x) = 1 H(x) logS x
onde H(x) a entropia da varivel aleatria x e Sx o tamanho do conjunto de smbolos que x pode assumir. H(x) A frao denominada entropia relativa. logS x Esta frao representa a mxima compresso possvel quando codificamos sobre o mesmo alfabeto. A idia da codificao sem perda remover ao mximo a redundncia. Na codificao com perda, a idia eliminar os smbolos de probabilidades bem pequenas, de modo que a probabilidade da mensagem enviada ser diferente da mensagem recebida seja reduzida. H casos, entretanto em que a adio de redundncia necessria, como a tcnica de adicionar bits extras aos dados, comumente denominados bits de paridade. Esta adio de redundncia tem como objetivo tornar a transmisso de dados mais robusta ao rudo presente no canal de transmisso. Um resultado importante, que se tivermos uma mensagem formada por N smbolos (variveis aleatrias independentes e identicamente distribudas), cada um com entropia dada por H(x), esta mensagem pode ser comprimida em mais de NH(X) bits sem perda de informao, quando N tende ao infinito; mas se comprimirmos a mensagem em menos de NH(x) bits, teremos uma possvel perda de informao.
&iOFXORGD5HGXQGkQFLDGD/tQJXD3RUWXJXHVD
Como aplicao das idias de entropia e redundncia, iremos calcular quanto uma mensagem em Portugus, com alfabeto de 26 letras, pode ser comprimida. A entropia deste alfabeto dada pela equao abaixo: n 1 1 1 = 4,7 bits H(x) = pi log = 26 log pi 26 26 i=1 O Portugus possui outra distribuio de probabilidade, diferente da distribuio uniforme. A tabela abaixo apresenta a probabilidade de ocorrncia de cada letra no portugus. A B C D E F G 0,114 0,008 0,045 0,046 0,114 0,010 0,011 H I J K L M N 0,006 0,056 0,002 0,001 0,020 0,042 0,041 O P Q R S T U 0,080 0,024 0,007 0,053 0,071 0,046 0,030 V X Y Z W 0,012 0,000 0,002 0,000 0,003
Para os valores da tabela, onde pi a probabilidade de ocorrncia da letra i. e nosso alfabeto de 26 letras, portanto Sx = 26 a entropia relativa dada por: H(x) 3,97 = = 0,844 logS x 4,7 este valor representa a taxa mxima na qual um texto em portugus pode ser comprimido. A redundncia, portanto ser: 1 3RGHPRV FRQVWDWDU TXH D FRPSUHVVo usando apenas as probabilidades de ocorrncia de 1 letra apenas pode-se "economizar at 15,6%. A probabilidade de ocorrncia de cada letra chamada de 1*UDPDRXSULPHLUDRUGHP
Teoria da Informao
33
Pode-se calcular a entropia para N*UDPD 2 WHUPR DOHDWRULHGDGH EDVHDGR HP FRQFHLWRV GH estatstica, significa algum evento que acontece com qualquer distribuio de probabilidade, onde normalmente se associa uma falta de influncia ou correlao, a menos que especificado de outra forma. Se basearmos em conceitos de computao, aleatoriedade refere-se a gerao ou uso de um conjunto verdadeiramente aleatrio, de seqncias de nmeros aleatrios dentro de algum conjunto finito. Mas o que um nmero aleatrio? Na verdade no existe um numero aleatrio, mas sim um conjunto seqencial de nmeros independentes que possuem uma distribuio de probabilidade especifica de ocorrer. Isso significa que cada nmero na seqncia possui uma probabilidade de ocorrer independente do anterior e este nmero obtido meramente ao acaso. Computacionalmente falando, existem tcnicas para gerar uma seqncia de nmeros pseudo-aleatrios, pois impossvel, pelo menos atualmente, gerar atravs de algoritmos computacionais uma seqncia de nmeros realmente aleatria. Este fato ocorre porque tais algoritmos necessitam de uma fonte natural de aleatoriedade, fato que muito difcil utilizando-se dispositivos de hardware ou programas de software. Para Shannon o contedo estatstico de uma fonte de informao fornece a informao necessria para aproveitar eficientemente a capacidade de um canal de transmisso. Para tal basta efetuarmos uma codificao adequada da informao. Pensemos numa fonte de informao discreta gerando uma mensagem, smbolo a smbolo (seqncia de smbolos). Esses smbolos so gerados de acordo com algumas probabilidades que dependem, em geral, das escolhas precedentes e das diferentes opes que os smbolos atuais podem tomar. Um sistema fsico, ou o modelo matemtico de um sistema que produza uma seqncia de smbolos governada por leis probabilsticas dessa natureza conhecido por processo estocstico. Assim, associa-se uma fonte discreta de informao como sendo um processo estocstico e, reciprocamente, qualquer processo estocstico, que produza uma seqncia de smbolos escolhidos num conjunto finito, poder ser considerada uma fonte discreta de informao. Consequentemente, segundo Shannon, possvel representar uma fonte discreta de informao como sendo um processo de Markov. Desse modo, surgem as questes: como descrever matematicamente uma fonte de informao? Haver forma de medir a quantidade de informao, em bits por segundo ou por smbolo, produzida por esse processo? Vamos apaziguar o esprito e procurar responder a essas questes. Suponhamos que temos um conjunto de n eventos cujas probabilidades de ocorrerem so, respectivamente, p1, p2... pn. Estas probabilidades so as nicas informaes que dispomos acerca do evento que ir ocorrer. Ser possvel encontrar uma medida do grau de certeza da ocorrncia de um dado evento? Ser possvel saber o grau de incerteza de um dado resultado? Vamos admitir que essa medida existe, denotemo-la por H(p1, p2... pn. ). Segundo Shannon H ter de verificar as seguintes propriedades: 1 H tem de ser contnua para todo pi, com 1 i n . Se pi = para "i" valendo 1 i n ento H uma n funo montona crescente de n. Desse modo, quando os eventos tm probabilidades iguais significa que existe mais incerteza, em relao aos casos em que as probabilidades dos eventos que so diferentes entre si. Se uma escolha (opo) se divide em outras duas escolhas sucessivas, ento H resulta da soma dos pesos dos valores individuais de H. Observe o diagrama abaixo chamado de arvore de probabilidades. .
Na rvore da esquerda temos trs possibilidades, com p1 =
1 2
p2 =
1 3
p3 =
1 . Na da direita, 6
1 , se ocorrer a segunda, 2 2 1 teremos de voltar a efetuar uma escolha sobre os eventos com probabilidades e . 3 3 1 1 1 1 1 1 2 1 Neste caso particular temos: H , , = H , + H , . 2 3 6 2 2 2 3 3 inicialmente temos duas possibilidades de escolha, cada uma com probabilidade
Teoria da Informao
(QWURSLDGHXPDIRQWHGHLQIRUPDomR
34
Shannon relaciona informao com entropia, pois an information source is someone or something that generates messages in a statistical fashion. Think of a speaker revealing her thoughts one letter at a time. From an observers point of view each letter is chosen at random, although the speakers choice may depend on what has been uttered before, while for other letters there may be a considerable amount of latitude. Segundo o artigo acima referido, a arbitrariedade de uma fonte de informao pode ser descrita pela sua entropia e o significado operacional de entropia determinar o nmero mnimo de bits por smbolo que so necessrios para representar uma mensagem (seqncia de smbolos). Provavelmente o leitor anseia por saber como se calcula a entropia de uma fonte de informao. Nesse intuito consideremos uma fonte de informao discreta. Para cada possvel estado i existe um conjunto de probabilidades pi ( j) da ocorrncia do smbolo j. A probabilidade do smbolo i ocorrer denotada por pi . Desse modo lgico que haja uma entropia Hi para cada estado i. A entropia da fonte traduz-se como a mdia de todos os Hi , isto : H = piHi = pi xpi ( j)logpi ( j)
i =1 i,j n
que representa a entropia por smbolo que a fonte de informao produz. Nota: Se o processo de Markov (representao de uma fonte de informao discreta) processado a um determinado dbito por segundos ento se pode falar de entropia por segundos; Considerando fi a freqncia mdia (ocorrncias por segundo) do estado i resulta que H' = fiHi , isto , H' = mH , onde m o nmero mdio de smbolos produzidos por segundo. Portanto H e H' medem a quantidade de informao gerada, pela fonte de informao, em smbolos ou em segundos. ^6HDEDVHORJDUtWPLFDIRUHQWo estas medidas representam bits por smbolo ou por segundo. ^ 6H DOJXQV VtPERORV VXFHVVLYRV Vo independentes ento H = pi logpi onde pi representa a probabilidade de ocorrncia do smbolo i. Consideremos o seguinte exemplo: Suponhamos que estamos a observar o trfego de automveis numa auto-estrada. De forma minimalista suponhamos que 50% dos carros so pretos, 25% so brancos, 12,5% so vermelhos e 12,5% so azuis. Pensemos no movimento dos carros como sendo uma fonte de informao que gera quatro cores: preto, branco, vermelho e azul. Uma forma simples de efetuar a codificao, desta fonte, para smbolos binrios seria associar cada cor com dois bits: preto = 00; branco = 01; vermelho = 10 e azul = 11. Por observao direta constata-se que seria necessrio mdia de 2 bits por cor. Denotemos esta codificao por codificao i. Ser que, usando os conhecimentos da Teoria da Informao de Shannon, possvel encontrar uma forma mais eficiente de codificar esta fonte? Associemos a cada cor smbolos diferentes, faamo-lo da seguinte forma: Preto = 0, preto = 10, vermelho = 110 e azul = 111. Denotemos esta codificao por codificao ii. De que forma que esta codificao melhor? Com este cdigo o nmero de bits, necessrios para representar o resultado, diminui? Observe-se a seguinte tabela: 0.50 (preto) x 1 bit = 0.500 0.25 (branco) x 2 bits = 0.500 0.125 (vermelho) x 3 bits = 0.375 0.125 (azul) x 3 bits = 0.375 Com estes resultados professados pela Teoria da Informao constata-se que o nmero mdio, de bits necessrios representao do resultado, igual a 1,75 bits por carro. A entropia causada pela codificao ii inferior entropia resultante da codificao i, desse modo, resulta que o cdigo ii mais eficiente do que i. O exemplo que usamos trata-se de uma abordagem emprica e algo minimalista porem elucida o significado operacional e o modo de calcular a entropia de uma fonte de informao. Os prximos teoremas mostram-nos que H e H' podem ser determinados atravs de operaes diretas a partir do contedo estatstico das seqncias de mensagens, sem necessitarmos de usar os estados e as suas probabilidades de transio. Como Shannon escreveu the ratio of the entropy of a source to the maximum value it could have while still restricted to the same symbols will be called its relative entropy.
Teoria da Informao
35
Este resultado denota a compresso mxima quando codificamos os smbolos para o mesmo alfabeto. A unidade menos a entropia relativa igual a redundncia. Por exemplo, a redundncia do Ingls comum, ronda aproximadamente os 50%. Ou seja, quando escrevemos em Ingls, metade daquilo que se escreve determinado pela estrutura da linguagem e a outra metade escolhida livremente. No exemplo que usamos sobre o trfego de automveis na auto-estrada, a entropia mxima para esse conjunto log2 4 = 2 , que ocorre quando as probabilidades das cores dos automveis que cruzam a autoestrada so iguais, isto , quando as probabilidades so todas iguais a 1/4. Neste caso, a entropia relativa 7 1 resultante 7/8 e consequentemente a redundncia igual a R = 1 = . 8 8
6LVWHPDVGHFRPXQLFDomRVHPUXtGR
Neste captulo iremos tecer algumas consideraes relativas aos sistemas onde a informao enviada pelo emissor exatamente a mesma que o receptor recebe, ou seja, no processo de transmisso no h deturpao da informao. J foi visto que canal o meio fsico que usado para transmitir o sinal do emissor para o receptor. Um sistema de comunicao possui um canal de transmisso. Consideremos o seguinte exemplo, caracterstico de uma linha telefnica e que teoricamente permite transmisses de 64.000 bits por segundo. Suponhamos que esse canal transmite efetivamente conjuntos de 8 bits a uma taxa de 8.000 conjuntos por segundo. Se os sinais de sada so idnticos aos sinais de entrada significa que o canal isento de rudo (canal sem rudo) e a sua capacidade 8x8.000=64.000 bits por segundo, ou seja, a taxa para a qual foi construdo e a transmisso de dados efetiva, por segundo, igual. No entender de Shannon, telegraphy is an example of a discrete channel for transmitting information. a discrete channel will mean a system whereby a sequence of choices from a finite set of elementary symbols S1, S2....,Sn can be transmitted from one point to another. Cada um desses smbolos Si tem uma durao de ti segundos. Nem todos os Si so transmissveis, pois no canal apenas algumas seqncias so permitidas e so reconhecidas pelo canal como sendo sinais. Penfield afirma que "Morse Code is named after Samuel F. B. Morse, the inventor of telegraph, (...). It consists of a sequence of short and long pulses or tones (dots and dashes) separated by short periods of silence. A person generates Morse Code by making and breaking an electrical connection on a key, and the person on the other end of the line listens to the sequence of dots and dashes and converts them to letters, spaces, and punctuation. logN(T) Para Shannon a capacidade C de um canal discreto dada por C = lim onde N(T) o T T nmero de sinais admitidos pelo canal e T a sua durao. A very generally type of restriction which may be placed on allowed sequences is the following: Lets imagine a number of possible states a1,a2,...an. For each state only certain symbols from the set S1, S2....,Sn can be transmitted (different subsets for the different states). When one of these states has been transmitted the state changes to a new state depending both on the old state and the particular symbol transmitted. The telegraph case is a simple example of this. There are two states depending on whether or not a space was the last symbol transmitted. If so, then only a dot or a dash can be sent next and the state always changes. If not, any symbol can be transmitted and the state changes if a space is sent, otherwise it remains the same.
$VSHJDGDVQDDUHLDGRWHPSRQmRVmRGHL[DGDVSRUSHVVRDVVHQWDGDV
Teoria da Informao
3URFHVVRVHVWRFiVWLFRV
O estudo de fenmenos onde se fazem observaes a respeito de uma varivel aleatria que ocorre num certo perodo de tempo ou, ento, numa seqncia de perodos de tempos, chamado de estocstico. Como exemplo, poderamos citar o nmero de carros que chegam a um semforo, as chegadas de navios num porto, a variao do nmero de unidades pertencentes a um estoque, o nmero de bits enviados durante um certo tempo, etc. Vale dizer, o estudo de um fenmeno aleatrio qualquer que ocorra medida que o tempo passa, considerado um processo estocstico. importante observar que nestes processos, os valores das probabilidades para um mesmo tipo de evento estudado, podem resultar em valores bem diferentes, em funo do perodo do tempo em que foi estudado. Por exemplo, o valor da probabilidade que mede a passagem de cinco carros num semforo entre as 14 e 15 horas no a mesma que entre as 2 e 3 horas. O estudo do comportamento da evoluo de um processo estocstico sempre feito num certo perodo de tempo, ou seja, deve-se definir o intervalo de tempo no qual ele ocorre, a priori. Se o evento observado ocorre num nico intervalo continuo de tempo, ento, ele definido como um parmetro contnuo (caso das filas), porm, se ele ocorre numa seqncia de intervalos de tempo determinados, com valores definidos para cada um deles, o parmetro discreto (caso das cadeias de Markov).
0yGXOR
36
&DGHLDVGH0DUNRY
O processo de Markov utilizado para o estudo de um fenmeno descrito por um conjunto de situaes que envolvem variveis aleatrias que ocorrem ao longo de um tempo as quais so associadas um conjunto de situaes em que existe uma evoluo delas. Estas situaes so denominadas de estados de forma que: a) Num perodo de tempo qualquer cada objeto ou situao no problema em estudo, deve estar associado a um estado probabilstico especifico. b) A probabilidade que cada objeto tem de passar de um estado para outro, na unidade do tempo considerado, depende apenas desses dois estados e de mais nenhum outro. Portanto, podemos usar o processo de Markov quando temos uma seqncia de eventos aleatrios discretos cujo valor da probabilidade de passar de um estado para outro conhecido, bem como o tempo em que isto ocorre. O modelo matemtico usado no processo de Markov a matriz, que tem nas suas linhas e colunas as probabilidades associadas a cada uma das transies consideradas no problema. Esta matriz denominada de "transio ou estocstica" e mostra as probabilidades de transio dos eventos considerados no problema. As matrizes seguintes, atravs de multiplicaes, iro calcular as probabilidades para as quais evoluem as probabilidades que ocorrem nos estgios posteriores quela imediatamente anterior. Estas operaes que formam as chamadas "Cadeias de Markov", Portanto, a matriz de transio mostra a probabilidade que leva em considerao a relao entre todos os estados iniciais que ocorrem no problema, com os estados para o qual cada um deles evoluir a partir do estado inicial, de forma lgica. Estas matrizes so necessariamente quadradas, e as linhas e colunas devero mostrar de forma ordenada todos os estados possveis que podem ocorrer no fenmeno estudado. As linhas devem representar os estados iniciais possveis que existam no problema e, as colunas devero mostrar os estados possveis para os quais aquelas situaes iniciais podem evoluir. As linhas correspondem os estados "antes" que os eventos possam ter e, as colunas os estados "depois". As probabilidades que ocorrem em cada mudana de estado devero ser colocadas nas interseces correspondentes das linhas e colunas da matriz de transio. As cadeias de Markov podem ser usadas em diversas situaes, tais como, modelos fsicos ou econmicos, cujas condies que devem apresentar so: a) o conjunto de sucessos que podem ocorrer finito; b) as probabilidades dos acontecimentos devem ser constantes no tempo; c) a probabilidade de acontecimento do prximo estado depende nica e exclusivamente do valor da probabilidade do acontecimento do sucesso anterior. Toda vez que ocorre a passagem do processo para um estagio seguinte do inicial, diz-se que processo mudou de estgio ou que deu um passo, o que pode acontecer quantas vezes for possvel. O passo ou estgio ocorre num perodo de tempo unitrio adotado no problema ou qualquer outra condio temporria que possa resultar em outro estgio possvel. Portanto qualquer situao aleatria que ocorra numa seqncia de resultados pode ser associada a um conjunto finito de valores que mostram como eles esto relacionados, chamados de espao/estado do sistema, representados na matriz de transio. O par de estados (ai e aj) registra a probabilidade aj que ocorre,
Teoria da Informao
37
imediatamente depois de ai ocorrer, onde i a linha e j a coluna, portanto o estado da situao inicial representado na linha e o estado imediatamente posterior quele, representado na coluna. Um estado chamado de absorvente quando corresponde a uma linha, que tem o valor 1 em qualquer posio, o que corresponde a impossibilidade da mudana da probabilidade naquele estado, ou seja, a certeza do seu acontecimento. A matriz de transio s pode ser quadrada e, todas as suas linhas so vetores probabilidade.
9HWRUSUREDELOLGDGH
um vetor definido por uma matriz linha que no pode ter nenhum dos seus elementos negativos e cuja soma de seus valores tem que ser 1 (um). Porm, se tivermos uma matriz linha qualquer que no seja um vetor probabilidade, sempre existe a possibilidade de transform-la num vetor probabilidade. Exemplos: teremos: P = ( 2/10 1/10 3/10 0 4/10 ) que um vetor probabilidade Matriz estocstica ou de transio J vimos que uma matriz estocstica se ela for quadrada e, se em todas as suas linhas tiver um vetor probabilidade. Exemplos: 1 4 1 3 3 4 = esta matriz no estocstica 1 3 1 4 2 3 3 4 = esta matriz estocstica 1 3
& &
P = ( 2 1 3 0 4 ) no um vetor probabilidade, porm se dividirmos todos os elementos por 10
Matriz estocstica regular Uma matriz estocstica chamada de regular se todos os elementos resultante de alguma potencia Pn forem diferentes de zero. Exemplos: 0 1 2 1 1 2 1 1 2 2 1 3 4 4 0 1 0 = esta matriz no regular pois o quadrado dela resulta na matriz 1 3 1 4 4 2 1 1 = esta matriz regular pois o quadrado dela resulta na matriz 2
Uma matriz que tenha uma linha com a unidade na diagonal principal representar um estado absorvente. Se uma matriz de transio tiver um estado absorvente nestas condies no ser regular e, portanto no admitir o clculo do estado final, ou seja, no ser possvel calcular no "fim das contas" e, portanto ela no ergdica.
([HPSORGHPRQWDJHPGHXPDPDWUL]GHWUDQVLomR
Uma costureira trabalha exclusivamente num processo de confeco de roupas. Cada pea precisa de exatamente meia hora para ser feita. A cada 30 minutos um mensageiro passa pela mesa da costureira e, apanha todas as peas de roupas que j esto prontas e deixa peas novas para serem costuradas. O nmero de peas de roupa que o mensageiro carrega aleatrio e em cerca de 30% das vezes no tem pea alguma, em 50% das vezes tem uma pea e, 20% das vezes tm duas peas. O mensageiro instrudo a nunca deixar que a costureira fique com mais do que 3 peas de roupa em cima da mesa. Faa a matriz de transio deste processo.
Teoria da Informao
6ROXomR
38
Este processo tem 3 estados. Consideraremos nas linhas cada um dos estados possveis que podem ocorrer em relao ao nmero de peas de roupas inacabadas na mesa da costureira no instante em que o mensageiro passa. Estes valores s podem ser 0, 1 e 2 que representaro o nmero de peas inacabadas. Para cada estgio seguinte o intervalo de tempo ser de meia hora cada um, sendo que de acordo com o enunciado no fim de cada um deles uma pea de roupa estar pronta e o mensageiro a levar embora. Portanto a matriz de transio representar nas linhas o que acontece com as situaes do problema no estado inicial e, nas colunas o estado seguinte quelas situaes, ou seja, os estados depois" que tambm sero 0,1 e 2 representando o nmero de roupas prontas para serem levadas..
3UREDELOLGDGHVFRUUHVSRQGHQWHVDRVHVWDGRVGDOLQKD
Vamos considerar que a costureira tem uma pea inacabada no comeo de um estado, ou seja, no momento em que o mensageiro passa no existe nenhuma pea com a costureira e isso representado por "zero", ou seja, zero roupa pronta. Como a cada meia hora a costureira apronta uma roupa, no estgio seguinte a costureira ter "0" roupas em cima da mesa, isto ocorrer se no estado anterior ela no recebeu do mensageiro nenhuma roupa ou ento uma, sendo que a probabilidade disto acontecer 0,8. A coluna 1 representar o nmero de peas prontas em cima da mesa se ela recebeu do mensageiro duas roupas no estado anterior, pois como ela consegue aprontar uma neste tempo, restar, portanto, uma em cima da mesa, sendo que a probabilidade disto acontecer 0,2. Portanto ela nunca atingir o estado 2 sendo que nesta condio, a probabilidade 0.
A linha 1 indica que ela tem uma pea de roupa pronta em cima da mesa quando o mensageiro passa e, portanto ela s atingir o estado "0" no perodo seguinte se o mensageiro no deixar nenhuma roupa na mesa, o que ocorre com probabilidade 0,30. O sistema evoluir para o estado "1" se o mensageiro deixar uma roupa para ela o que ocorre com probabilidade de 0,50. E o sistema evoluir para o estado "2" se ela receber duas roupas do mensageiro, o que ocorre com probabilidade 0,20. .
Se a costureira tem 2 peas inacabadas em cima da mesa quando o mensageiro passa, ela nunca conseguir atingir o estado 0, pois s consegue terminar uma pea por perodo de tempo. O estado 1 ser atingido se ela no receber nenhuma pea de roupa o que acontece com probabilidade 0,3. O estado 2 ser atingido se o mensageiro passar com uma ou duas peas, porm se passar com duas ele deixar somente uma pea, pois nunca a costureira pode ficar com trs peas. No comeo do estado seguinte a costureira estar novamente com 2 peas inacabadas j que s uma ter sido completada durante aquele perodo de tempo, e neste caso a probabilidade ser 0,7. Portanto a matriz de transio ficar na forma abaixo: 0,8 0,2 0 0,3 0,5 0,2 0 0,3 0,7
([HUFtFLRVGHDSOLFDomR
1) Um homem est num ponto do eixo dos x entre a origem 0 e o ponto 5. Ele anda uma unidade para a direita com probabilidade "p" ou para a esquerda com probabilidade "q". Se ele estiver na origem, anda uma unidade para a direita e, se estiver no ponto 5, ento, anda uma unidade para a esquerda. Faa a matriz de transio.
Teoria da Informao
39
2) Um homem vai de carro ou toma um trem para ir para o seu trabalho todos os dias. Sabe-se que ele no toma o trem dois dias seguido. Faa a matriz de transio.
3) Trs crianas A, B e C esto arremessando uma bola uma para outra. A criana A arremessa a bola tanto para B como para C, B sempre arremessa a bola a C, e C arremessa o dobro de bolas a B do que para A. A criana que arremessa a bola no influenciada pela outra que anteriormente estava com a bola. Faa a matriz de transio.
4) Um psiclogo faz a seguinte observao a respeito do comportamento de camundongos submetidos a um particular caminho num labirinto. De todos os camundongos, 80% dos que vieram pela direita, viram para a esquerda; e 60% dos que vm pela esquerda, viram para a direita. Faa a matriz de transio.
5) Um jogador tem R$2,00 para apostar num jogo. Ele aposta R$1,00 de cada vez e ganha R$1,00 com probabilidade 0,6. Ele pra de jogar se perder os R$2,00 ou ganhar R$4,00. Faa a matriz de transio.
6) Existem 2 bolas brancas em uma urna A e 3 vermelhas numa urna B. Faz-se uma srie de experimentos que consiste em selecionar uma bola de cada urna e troc-las de lugar. Faa a matriz de transio.
7) Os proprietrios de um prdio de apartamentos esto querendo entregar sua manuteno para uma administradora. Com base nas classificaes de boa; mdia e ruim, dos apartamentos sob o controle desta firma, foi documentado que 50% dos apartamentos que esto sob sua administrao que comeam um ano em boa condio, assim permanecem at o fim do ano, enquanto que os 50% restantes se deterioram para uma condio mdia. Dos prdios que comearam o ano com uma condio mdia, 30% permaneceram assim at o fim do ano, enquanto que 70% foram melhorados para uma boa condio. De todos os prdios que comearam sob condio ruim, 90% permaneceram assim at o fim do ano, enquanto que os outros 10% melhoraram para uma boa condio. Faa a matriz de transio.
Teoria da Informao
40
8) Um homem vai lanando uma moeda e s para no caso de sarem trs caras sucessivamente. Faa a matriz de transio correspondente as possveis situaes.
7DUHIDPtQLPD
1) Uma dona de casa tem probabilidade de 0,6 de encontrar carne no aougue, se no dia anterior existia carne, e tem probabilidade de 0,30 de encontrar carne, se no dia anterior no existia. Faa a matriz de transio. 2) Os hbitos de um estudante so estes: se estuda uma noite, ele tem 70% de certeza que no estudar na noite seguinte. Em contrapartida, se no estuda uma noite, tem 60% de certeza que no estudar na noite seguinte. Faa a matriz de transio. 3) O territrio de um vendedor constitudo de trs cidades ABC. Ele nunca vende na mesma cidade em dias sucessivos. Se vende na cidade A, no dia seguinte, vende na cidade B. Contudo, se vende na cidade B ou C, ento no dia seguinte, duas vezes mais provvel que ele venda na cidade A do que na outra cidade. Faa a matriz de transio. 4) Dois rapazes e duas meninas esto arremessando uma bola um para o outro. Cada rapaz arremessa a bola para outro rapaz com probabilidade 0,5 e para cada menina com probabilidade 0,25. Em contrapartida, cada menina arremessa a bola para cada um dos rapazes com probabilidade 0,5 e nunca para outra menina. Faa a matriz de transio. 5) Os hbitos de um fumante so os seguintes: se ele fuma cigarros com filtro uma semana, ele muda para cigarros sem filtros na semana seguinte com probabilidade 0,2. Em contrapartida se fuma cigarros sem filtros uma semana, existe a probabilidade 0,7 de ele fumar cigarros sem filtros na semana seguinte. Faa a matriz de transio. 6) A sorte de um jogador segue o seguinte padro: se ele venceu um jogo, a probabilidade de vencer o prximo 0,6. Contudo, se perde um jogo, probabilidade de perder o prximo 0,7. Existe sempre a chance de ele ganhar o primeiro jogo. 7) Cada ano, um homem troca seu carro por um carro novo. Se ele tem um Fiat, ele troca por um GM. Se tiver GM, ele troca por um Ford. Contudo, se tem um Ford, mais provvel que troque por um novo Ford do que por um Fiat ou GM. Em 1955, ele comprou seu primeiro carro que era um Ford. Faa a matriz de transio. 8) Existem 2 bolas brancas numa urna A e 4 bolas vermelhas numa urna B. Uma bola selecionada de cada urna e elas so trocadas. Estude as possibilidades e faa a matriz de transio. 9) Faa o problema anterior para o caso em que inicialmente existam 3 bolas brancas na urna A e 3 bolas vermelhas na urna B. 10) Um jogador tem $3,00. Em cada partida ele perde $1,00 com probabilidade 0,75, e ganha $2,00 com probabilidade 0,25. Ele pra de jogar se perder seus $3,00 ou se ganhar at $3,00. Faa a matriz de transio. 11) O diagrama abaixo mostra quatro compartimentos com portas ligando um ao outro. Um rato em qualquer compartimento tem igual probabilidade de passar atravs das portas do compartimento. Faa a matriz de transio deste problema.
Teoria da Informao
41
12) O programa de treinamento de supervisores de produo de uma determinada companhia consiste em duas fases. A fase 1 envolve uma semana de aula terica, que seguida da fase 2, a qual envolve mais uma semana de aprendizagem prtica sob a direo de supervisores treinados. Pelas experincias anteriores, a companhia espera que somente 60% dos candidatos da fase terica passem para a fase prtica, com os 40% restantes completando todo programa de treinamento. Dos que esto na fase prtica, 70% so graduados como supervisores, 10% so enviados para repeti-la e 20% so dispensados. Faa a matriz de transio. 13) O fabricante de um creme dental "X" domina normalmente o mercado com 60% de preferncia. Os dados do ano anterior mostram que 88% dos usurios de "X" permanecem leais a ela, enquanto 12% mudaram para os concorrentes. Alm disso, 85% dos usurios dos competidores permanecem leais a eles, enquanto que 15% deles mudaram para "X". Faa a matriz de transio.
3DUDYHUDTXDQWLGDGHGHDPLJRVGrXPDIHVWD3DUDYHUDTXDOLGDGHGHOHVILTXHGRHQWH

Apostila Teoria Da Informação

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Apostila Teoria Da Informação

Cargado por

Copyright:

Formatos disponibles

Teoria da Informao

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

Esquematicamente, um sistema pode ser representado na forma: Fronteira Meio ambiente

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

P( A  B) = P( A ) + P(B) P( A  B) Eventos independentes

P(A UB U C) = P(A) + P(B) + P(C) P(A I B) P(A I C) P(B I C)

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

Na rvore da esquerda temos trs possibilidades, com p1 =

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

P = ( 2 1 3 0 4 ) no um vetor probabilidade, porm se dividirmos todos os elementos por 10

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

M.Sc. Julio Cezar Ribeiro

También podría gustarte

P( A B) = P( A ) + P(B) P( A B) Eventos independentes