Copyright 2007, Departamento de Governo Eletrnico (DGE) Secretaria de Logstica e Tecnologia da Informao (SLTI) Ministrio do Planejamento, Oramento e Gesto

to (MPOG).

Todos os direitos reservados. Reproduo permitida, mesmo parcial, por qualquer processo, desde que citada a fonte. www.governoeletronico.gov.br

NORMALIZAO: DIDAP/CODIN/CGAIN/SPOA/SE

Brasil. Ministrio do Planejamento, Oramento e Gesto. Secretaria de Logstica e Tecnologia da Informao. Departamento de Governo Eletrnico. Indicadores e mtricas para avaliao de e-Servios / Departamento de Governo Eletrnico . Braslia : MP, 2007. 44 p.

1. Servios Pblicos. 2. Indicadores. 3. Mtricas. I. Ministrio do Planejamento, Oramento e Gesto. II. Secretaria de Logstica e Tecnologia da Informao. III. Departamento de

Governo Eletrnico. IV. Ttulo.

CDU 351: 004.738.5(81)

1.

Apresentao 04
O Governo Federal brasileiro vem implementando, ao longo dos ltimos anos, um conjunto de projetos e iniciativas de Governo Eletrnico envolvendo a Administrao Pblica, a sociedade e o setor privado. Assimilando novas concepes, tecnologias e prticas de gesto, a poltica de Governo Eletrnico parte da agenda prioritria do Governo e acumula diversas realizaes em consonncia com as diretrizes que visam a melhoria dos servios prestados ao cidado, a ampliao do acesso a servios, a melhoria da gesto interna e a transparncia e controle social sobre as aes de Governo.

Nesse contexto, a oferta de servios pblicos nos portais governamentais uma constante que tem marcado as estratgias de Governo Eletrnico h quase uma dcada no Brasil. Mais do que ofertar servios, no entanto, as polticas em desenvolvimento buscam ampliar o alcance das aes ao considerar um conjunto de questes relacionadas ao necessrio alinhamento da implantao de servios pblicos por meios eletrnicos com as necessidades da populao. Iniciativas voltadas para aspectos relacionados usabilidade, acessibilidade, linguagem visual e escrita, arquitetura de contedo e interoperabilidade, ou seja, focadas na interface de interao com o usurio so alguns exemplos a citar.

H, entretanto, outros momentos ou aspectos de igual ou maior relevncia a serem considerados pelas estratgias de implantao de servios por meios eletrnicos. Um deles diz respeito avaliao do servio aps sua implementao, de maneira a identificar seu alinhamento maior ou menor com as necessidades do usurio e a permitir sua constante evoluo. No obstante, na maioria das prticas brasileiras de prestao de servios pblicos por meios eletrnicos, o que ainda se percebe a ausncia de iniciativas de avaliao ou mecanismos de mensurao de seu despenho quanto convenincia para a sociedade.

Esta publicao apresenta o projeto Indicadores e Mtricas para Avaliao de eServios, coordenado pelo Departamento de Governo Eletrnico (DGE), da Secretaria de Logstica e Tecnologia da Informao (SLTI), do Ministrio do Planejamento, Oramento e Gesto (MPOG). Trata-se de um conjunto de indicadores focados na avaliao de uma maior ou menor convenincia para o cidado dos servios prestados por meios eletrnicos, considerando o seu nvel de maturidade, facilidade de uso, comunicabilidade, multiplicidade de acesso, disponibilidade, acessibilidade, transparncia e confiabilidade.

05
Renem ainda, um grupo de critrios que permitem visualizar os pontos fracos e fortes de um servio e a proximidade maior ou menor em relao s expectativas dos usurios aps sua implantao, contribuindo para sua permanente evoluo e alinhamento.

Os processos e mtodos utilizados para a definio dos indicadores sero igualmente retratados nessa publicao, assim como a estratgia que prev a realizao de uma avaliao anual de e-Servios Pblicos e a publicao de um Relatrio de Recomendaes visando a constante qualificao dos servios. Acredita-se, desta forma, estar dando um importante passo para suprir um relevante aspecto de sucesso na implementao de polticas de Governo Eletrnico no Brasil.

1.1. Histrico 06
O projeto Indicadores e Mtricas para Avaliao de e-Servios comeou a ser formulado no ltimo trimestre de 2004. As primeiras iniciativas se voltaram para uma pesquisa estruturada com recursos humanos do prprio DGE sobre metodologias, ferramentas e instrumentos de aferio, alm de anlise sincrnica. Essa pesquisa inicial considerou avaliaes similares em mbito nacional e internacional que contemplaram ou apresentaram alguma relao direta com a mensurao da prestao de servios pblicos eletrnicos.

Aps a pesquisa documental, uma busca por subsdios e contribuies de especialistas de atuao no campo de indicadores de avaliao de servios pblicos eletrnicos foi contemplada por eventos organizados e coordenados pelo DGE especialmente para esse fim. A primeira atividade nesse sentido foi realizada nos dias 2 e 3 de dezembro de 2004, em parceria com o Conselho Britnico Regional Sul. O workshop Melhores Prticas de Governo Eletrnico Experincia do Reino Unido discutiu, entre outros temas, os conceitos de satisfao do usurio e utilizao de prticas de governo eletrnico a partir da experincia do Reino Unido, que anualmente promove a avaliao de seus portais e stios governamentais.

Encerrada esta atividade, iniciou-se um debate interno ao departamento visando identificar os parmetros e variveis que deveriam compor o projeto para que em seguida fossem construdas as referncias de indicadores e mtricas. Em maio de 2005 foi concluda uma segunda etapa do trabalho, que contou com a contribuio de um consultor financiado no mbito do projeto EuroBrasil 2000 e que representou marco importante na formatao da metodologia ao sistematizar a discusso.

Nos meses seguintes, tiveram andamento atividades de interao pblica visando o debate da metodologia proposta. A metodologia foi apresentada tanto no CONIP SP (Congresso de Informtica Pblica), realizado entre os dias 17 e 19 de maio de 2005, quanto no CONIP Braslia, nos dias 22 e 23 de novembro do mesmo ano. Foi apresentada tambm na Conferncia Regional Ministerial da Amrica Latina e Caribe da WSIS (World Summit on the Information Society), realizada entre os dias 08 e 10 de junho de 2005, no Rio de Janeiro.

07
Essa dinmica de interao pblica culminou com a realizao do Seminrio Iberoamericano Construindo uma Referncia Brasileira de Indicadores e Mtricas de Governo Eletrnico, realizado em Braslia, em 13 e 14 de dezembro de 2005, em parceria com a Escola Nacional de Administrao Pblica (ENAP), por meio do Projeto de Cooperao Internacional com a Escuela Iberoamericana de Gobierno y Polticas Pblicas (IBERGOP), do governo espanhol.

O seminrio marcou um terceiro momento do trabalho, a partir do qual reuniram-se, uma vez mais, experincias e reflexes internacionais sobre a construo dos indicadores, assim como foram encaminhadas questes referentes ao modelo elaborado pelo Governo Federal at ento. Funcionrios das trs esferas do governo brasileiro, membros do meio acadmico, iniciativa privada, consultorias e organismos internacionais agregaram novas contribuies que ajudaram a consolidar o primeiro conjunto de parmetros, variveis e critrios de avaliao de servios pblicos eletrnicos.

O processo de construo dos indicadores foi concludo com a aplicao de uma Avaliao-Piloto desenvolvida especialmente para validar os parmetros e critrios eleitos. Realizado entre os dias 25 de abril e 28 de maio de 2006, a partir de uma parceria entre o DGE, a Companhia de Processamento de Dados do Estado do Rio Grande do Sul (PROCERGS) e da Companhia de Processamento de Dados do Municpio de Salvador (PRODASAL), esse piloto avaliou 21 servios nas trs esferas de governo conforme detalhado no captulo III desta publicao.

Os resultados do piloto confirmaram alguns critrios e eliminaram outros. A partir das lies apreendidas com a avaliao dos primeiros 21 servios foi possvel redigir a verso final dos Indicadores e Mtricas para Avaliao de e-Servios descritos no captulo 3 deste documento. importante ressaltar, no entanto, que todo o projeto foi desenvolvido sob a perspectiva de um aprimoramento contnuo tanto do processo quanto dos parmetros e critrios utilizados para a avaliao e melhoria da qualidade de prestao de servios pblicos por meios eletrnicos.

1.2. Objetivos 08
O projeto Indicadores e Mtricas para Avaliao de e-Servios foi desenvolvido com o objetivo de avaliar a qualidade dos servios pblicos prestados por meios eletrnicos de acordo com a convenincia para o cidado. Focado prioritariamente na prestao de servios pela Internet, uma vez que esse ainda o principal canal de entrega das solues de governo eletrnico, o projeto foi estruturado para fornecer informaes que permitam a melhoria dos servios j existentes e o alinhamento de novos servios de acordo com os conceitos de convenincia e qualidade esperados.

Essa iniciativa busca, ainda, estimular a simplificao e a qualificao constante do acesso aos servios e informaes prestados nos stios e portais pblicos, garantindo a centralidade de acesso aos servios on-line, sempre com foco no cidado. Tambm busca promover o monitoramento e o planejamento contnuo das atividades e polticas de governo eletrnico do Governo Federal como forma de garantir o seu contnuo aprimoramento.

1.3. Conceitos 09
Tcnicas, metodologias e ferramentas de avaliao so cada vez mais reconhecidas como um mecanismo que propiciam o aumento da produtividade, da eficincia e da efetividade nas relaes entre o Estado e a sociedade. Como afirma Persegona (2005), a necessidade de fortalecer prticas de adoo de mecanismos que privilegiem a participao popular, tanto na formulao quanto na avaliao de polticas pblicas, viabilizando o controle social das mesmas condio sine qua non para o sucesso da reforma do Estado.

Discutindo a problemtica e a necessidade da avaliao Vilella (2003), recorre a Serafeimidis (1997), para afirmar que a mesma um processo complexo e que nunca se encerra, sendo sempre norteado por alguns balizadores pr-definidos. A pesquisadora tambm faz meno a Saracevi (1995) citado por Allen (1996), que considera a pesquisa de avaliao como um eixo central para o desenvolvimento de sistemas e servios de informao.

Segundo Lenk e Traunmllerv (apud JOIA, 2002), o Governo Eletrnico pode ser analisado sob quatro perspectivas: dos processos, da cooperao, da gesto do conhecimento e do cidado. Esta ltima visando oferecer servios de utilidade pblica ao cidado.

J Trochim defende que a avaliao de stios web se configura como a fase final de um ciclo que engloba tambm a conceitualizao, o desenvolvimento e a implementao do mesmo (TROCHIN, 1996 apud FURQUIM, 2005). Furquim (2005) apresenta um modelo geral de avaliao cuja noo central a de que existem diferentes fases no ciclo de vida de um stio ou portal, assim como diferentes questes de avaliao e mtodos associados a cada fase, deixando explcita a necessidade de um mecanismo de avaliao seja de stios, portais ou servios eletrnicos.

Nesse sentido, desde o incio da dcada de 90, o Estado brasileiro busca inserir na gesto formas prticas e metodolgicas de avaliao. O mesmo princpio norteia as polticas de Governo Eletrnico em andamento no mbito da administrao pblica federal. De fato, o projeto Indicadores e Mtricas para Avaliao de e-Servios est focado na relao de interesses entre Estado e cidado e busca nortear um processo de avaliao permanente, sistmico e efetivo.

1.4. Justificativa 10
Na maioria das prticas brasileiras de prestao de servios pblicos por meios eletrnicos, percebe-se a ausncia de iniciativas de avaliao ou mecanismos de mensurao de seu desempenho quanto convenincia para a sociedade. O projeto desenvolvido pelo DGE visa atender essa necessidade, bem como contribuir de forma indireta com a adequao destes servios s demandas de uso por meios eletrnicos.

A ausncia de uma prtica dessa natureza faz com que os governos tenham dificuldades na percepo do alinhamento das suas iniciativas com as necessidades reais de cidados, empresas e outros segmentos sociais. A inexistncia de processos estruturados de avaliao impede igualmente o registro de informaes e pareceres que possam melhorar e facilitar a vida do cidado no que se refere obteno de servios por meios eletrnicos, bem como a realizao de anlises comparativas, que qualifiquem de forma estruturada a evoluo desses servios.

2.

Indicadores e mtricas para e-servios 11

O percurso metodolgico adotado para chegar a uma tabela de Indicadores e Mtricas para Avaliao de e-Servios considerou premissas fundamentais para o alcance dos objetivos desse projeto. A primeira delas foi a necessidade de desvincular os indicadores de governo eletrnico daqueles especficos e universalmente reconhecidos como Indicadores da Sociedade da Informao, tais como: percentagem de domiclios com computador, percentagem de computadores domicilirios com acesso Internet, percentagem de conectividade das salas de aula, locais de acesso Internet, gnero, classes etrias e nvel de renda com acesso Internet, entre outros.

A segunda premissa adotada foi a de avaliar as iniciativas de governo eletrnico, quer sejam desenvolvidas por um s organismo quer sejam o resultado da colaborao entre diversas entidades parceiras, que se dispem a interagir para satisfazer necessidades do ciclo de vida dos cidados ou das empresas. Assim, no so avaliados de forma especfica ministrios, estados, prefeituras, organismos, etc. O que se busca evidenciar o servio prestado e no as instituies que individual ou coletivamente prestam esse servio sociedade.

Por fim, os indicadores identificados pressupem uma viso de governo eletrnico orientada ao cidado, priorizando todos aqueles aspectos que contribuem para a disponibilizao eficiente e efetiva de um servio por meio eletrnico.

A partir dessas premissas, a construo da tabela de indicadores passou por um alinhamento de expectativas das entidades do governo brasileiro e de alguns dos diversos instrumentos de medida j ensaiados internacionalmente. Procurou-se encontrar o caminho mais simples e eficaz de avaliar os servios de governo eletrnico brasileiro a partir de um conjunto de indicadores simples e perceptveis e que poderiam constituir-se, inclusive, em um guia de auto-avaliao.

2. 1. Aplicao 12
O objetivo do DGE realizar a avaliao anual de servios pblicos prestados por meios eletrnicos de acordo com os indicadores e mtricas propostos nesta metodologia. Para tanto, o critrio escolhido foi elaborar um instrumento de adeso que permite aos rgos responsveis pela prestao dos servios nas esferas federal, estadual e municipal inscreverem as iniciativas a serem avaliadas. Para cada servio inscrito, o rgo responsvel deve apresentar tambm, o intervalo de pginas (URLS) que o compem. Essa exigncia busca evitar distores na avaliao quando da existncia da prestao do servio em mais de um contexto como por exemplo, a disponibilizao de um mesmo servio em diferentes portais ou stios.

A adeso ao projeto de avaliao significa um processo contnuo, no qual o servio passa a ser acompanhado anualmente, e que objetiva gerar quadros comparativos nos quais seja possvel acompanhar a evoluo dos servios a partir dos resultados alcanados.

A coleta de dados feita por avaliadores especialmente treinados para esse fim a partir de um questionrio estruturado com dados diretamente observveis (ver item 5.1 Anexos). Esse questionrio disponibilizado via web por meio da ferramenta LimeSurveyor desenvolvida em software livre com linguagem de programao PHP e em ambiente de servidor Linux. O sistema permite ainda o cadastro prvio dos avaliadores, o que garante a realizao de vrias anlises independentes para um mesmo servio e evita registros duplicados.

Os dados referentes avaliao dos servios ficam armazenados em base MySQL e podem ser exportados para anlise dos resultados em formato de texto (Word e SVS) ou planilhas (Excel e SPSS). Com base na anlise estatstica dos resultados so gerados grficos e relatrios comparativos que permitam o constante aprimoramento dos servios prestados por meio eletrnicos.

2. 2. Os indicadores 13
No processo de elaborao desta metodologia, foram consolidados oito indicadores de convenincia para o cidado e 19 critrios de avaliao. A seguir, so apresentados os indicadores consolidados aps a anlise da avaliao piloto realizada em 2006. So eles: maturidade do servio prestado, comunicabilidade, confiabilidade, multiplicidade de acesso, acessibilidade, disponibilidade, facilidade de uso e transparncia.

Cada indicador tem um peso de 12,5 pontos, perfazendo um total de 100 pontos. J os critrios so qualificados e quantificados a partir de caractersticas bsicas estabelecidas com suas respectivas escalas de valorao (ver tabela no item 2.3). Alm dos indicadores, os servios so classificados ainda de acordo com sua natureza: dever/obrigao ou direito/benefcio.

MATURIDADE DO SERVIO PRESTADO ELETRONICAMENTE

Traduz em que medida o servio prestado de maneira totalmente desmaterializada e completa. Utiliza-se, para tanto, trs das quatro fases divulgadas no documento Gartners Four Phases of E-Government Model elaborado pelo Gartner Group em 2000. O indicador medido na forma de escala, sendo o servio pontuado de acordo com o nvel de maturidade alcanado.

Informao

Esta fase caracterizada pela descrio das informaes bsicas necessrias para cada procedimento ou servio tais como: onde obter, horrio e local de funcionamento da instituio e pr-requisitos necessrios. Geralmente so informaes estticas, bsicas, limitadas e com propsito geral. Cada servio claramente identificado com a unidade da instituio que o executa. O servio considerado com nvel de maturidade Informao recebe 4 pontos.

Interao

Este estgio oferece a possibilidade de pesquisa, obteno e submisso dos formulrios necessrios para a realizao do procedimento em questo, alm de links para outras informaes relevantes. O modelo de prestao do servio ainda voltado estrutura formal e os departamentos de governo so referenciados de acordo com o organograma. O servio considerado com nvel de maturidade Interao recebe 8 pontos.

14
Transao

O estgio de evoluo tecnolgica no nvel transacional j permite a obteno completa do servio pblico de forma on-line. O servio totalmente realizado por meio eletrnico e est disponvel 24 horas durante os 7 dias da semana (24x7). Alm disso, a estrutura departamental por trs da prestao de servios deixa de ser percebida. Neste estgio os usurios podem conduzir, inclusive transaes financeiras on-line. O foco desta fase construir aplicaes de auto-servio e tambm usar a Web como um complemento para outros canais de entrega. O servio considerado com nvel de maturidade Transao recebe 12,5 pontos.

COMUNICABILIDADE

Busca valorizar a receptividade e abertura do Estado influncia e participao dos cidados, assim como a capacidade de oferecer ajuda para facilitar o acesso s informaes prestadas. O cidado/usurio de servios pblicos eletrnicos tem o direito de ser ouvido, de receber explicaes, de participar dos processos decisrios, enfim, de ter acesso s pessoas e rgos que gerenciam a prestao dos servios e de receber respostas adequadas s suas dvidas e manifestaes. O indicador medido de forma cumulativa, recebendo pontos de acordo com os itens que apresentar. Os subitens tm valor de 1,75 ponto cada, exceo do item Existncia de ajuda on-line que recebe 2 pontos.

Meios de Contato

Verifica se no intervalo de pginas onde o servio prestado observa-se a existncia de canais de comunicao oferecidos pelo prestador do servio para contato do cidado/usurio com os responsveis para esclarecimento de dvidas, envio de sugestes ou crticas e solicitao de informaes em geral:

Correio eletrnico das instituies envolvidas Telefone das instituies envolvidas Endereo das instituies envolvidas Existncia de informao sobre prazo para atendimento dos contatos

15
Ajuda

Verifica a existncia, no intervalo de pginas onde o servio prestado, de mecanismos que ajudem o usurio/cidado a esclarecer dvidas referentes prestao do mesmo, assim como a percorrer os passos necessrios para acessar a informao ou concluir o servio

Existncia de FAQ Verifica a existncia de compilao das perguntas mais freqentes sobre o acesso e realizao do servio em questo. Existncia de ajuda on-line Verifica se o servio oferece mecanismos de ajuda em tempo real, ou seja, se h canais de interao com o prestador do servio para esclarecimento de dvidas no ato do acesso e realizao do servio. Existncia de ajuda por telefone Verifica se o rgo responsvel pela prestao do servio oferece alternativa para esclarecimentos de dvidas relativas ao acesso e realizao do servio por telefone.

MULTIPLICIDADE DE ACESSO

A Multiplicidade de Acesso traduz a abrangncia que cada iniciativa de Governo Eletrnico tem de disponibilizar servios em outros canais eletrnicos alm da Internet. O indicador medido de forma cumulativa, somando pontos de acordo com os itens que apresentar. Cada subitem tem valor de 4,17 pontos sendo necessrios 3 tipos diferentes de acesso para que o servio pontue o valor mximo.

Tipos de acesso

Valoriza a capacidade do governo em oferecer um mesmo servio por outros meios eletrnicos alm da Internet. Para tanto, verifica-se no intervalo de pginas onde o servio prestado, a existncia de indicao de outros meios como alternativa para o usurio/cidado.

SMS Servios prestados por celular por meio de mensagens curtas (SMS).

16
? Quiosques ou PCs de acesso pblico

O conceito de Quiosque traduz a preocupao de criar meios de acesso facilitados a todos, em regime de self-service. Caracteriza-se pela prestao de servios eletrnicos em locais de acesso pblico. Intermediao presencial a servios eletrnicos Caracteriza-se pela presena de profissionais especializados (servidores ou monitores) que auxiliam o usurio/cidado a efetuar os passos necessrios para obter o servio prestado eletronicamente. Call Center/Contact Center (com servios fixos ou mveis) O Call Center caracteriza-se pela prestao do servio por meio de um centro de atendimento telefnico, montado especialmente para esse fim. No caso do Contact Center a prestao do servio tambm feita por meio de um centro de atendimento telefnico, mas com o diferencial de focar mais diretamente no usurio/cidado. Ele utiliza repositrios de informao integradas e

compartilhadas (bases de conhecimento) para otimizar o valor da informao ao longo da relao do usurio/cidado com a instituio. Outros meios Servios prestados por outros meios eletrnicos como WAP, televiso digital, videoconferncia, palms e outros.

ACESSIBILIDADE

A Acessibilidade diz respeito participao das pessoas portadoras de deficincia no uso de produtos, servios e informaes de forma irrestrita. Esse indicador verifica se, no intervalo de pginas onde o servio est inserido, h presena de algum tipo de indicao como selo ou informao especfica que determine o seu grau de acessibilidade. O indicador medido na forma de escala, sendo o servio pontuado de acordo com o nvel de acessibilidade alcanado . Acesso s pessoas portadoras de deficincia Presena de selo ou indicao de acessibilidade (3 pontos) Presena de selo ou indicao de acessibilidade nvel A (5 pontos) Presena de selo ou indicao de acessibilidade nvel AA (9 pontos) Presena de selo ou indicao de acessibilidade nvel AAA (12,5 pontos)

17
DISPONIBILIDADE

Verifica quanto o servio prestado est disponvel para acesso do cidado/usurio. No basta apenas a presena do servio na forma eletrnica, o cidado deve ser capaz de acess-lo na hora que melhor lhe convier e de forma rpida, sem esperas pelo carregamento da pgina ou aplicao. O indicador medido de forma cumulativa e em escala.

Peso da pgina

O peso influncia diretamente no tempo de carregamento das pginas e, conseqentemente, na velocidade de acesso informao/servio buscado pelo usurio/cidado. A verificao desse indicador leva em considerao a mdia do peso individual de cada uma das pginas percorridas para se adquirir a informao ou concluir o servio em questo. Quanto mais pesada a pgina, menos pontuado o servio.

At 50 Kb (6,50 pontos) Entre 50 Kb e 70 Kb (3 pontos) Mais de 70 Kb (nenhum ponto)

Prontido 24x7

Refere-se disponibilidade em tempo integral (24 horas por dia, 7 dias por semana) para acesso s pginas referentes ao servio em tela. Os servios que apresentam disponibilidade 24X7 recebem 6 pontos.

FACILIDADE DE USO

A facilidade de uso ou usabilidade trata da qualidade de interao e navegao da interface para acesso ao servio. A interface um dos fatores crticos para o sucesso de um sistema. A interface deve ser, portanto, fcil de usar. Ela deve oferecer um ambiente amigvel que permita uma navegao intuitiva e rpida. O indicador medido de forma cumulativa, recebendo pontos de acordo com os itens que apresentar. Os critrios tm valor varivel de acordo com as suas subdivises.

Linguagem compreensvel

Verifica se a linguagem utilizada na divulgao das informaes e orientaes para realizao do servio clara e objetiva independentemente de ser tcnica ou corrente. Esse critrio tem o valor de 3 pontos.

18
Navegabilidade

A navegabilidade diz respeito distribuio ou localizao das fontes de informao. As informaes devem ser facilmente encontradas. O usurio no deve ser obrigado a percorrer caminhos intrincados dentro do stio ou portal para encontrar as informaes desejadas. Esse critrio tem o valor de 3,5 pontos, bastando ao servio apresentar 4 itens para alcanar a pontuao.

Presena de mapa do stio ou portal Verifica se o intervalo de pginas em que o servio est inserido oferece a funcionalidade de mapa e se o servio encontrado por meio do mapa. Presena de motor de busca Verifica a existncia de mecanismos de busca no intervalo de pginas onde o servio prestado e se o servio encontrado quando procurado por meio desse mecanismo. Presena de barra de estado ou migalha de po Verifica a presena, no intervalo de pginas onde o servio prestado, da lista de links mostrando o caminho navegado para chegar ao ponto atual. Acesso informao/servio em at trs cliques Verifica se o usurio/cidado consegue chegar informao/servio desejado em at trs cliques considerando-se a pgina inicial (home), duas pginas intermedirias e a pgina da informao/servio propriamente dita. Acesso informao/servio de forma fcil e intuitiva Verifica se o acesso informao/servio se d de forma fcil e intuitiva independente do nmero de cliques necessrios para tanto. O nmero de cliques necessrios se torna pouco importante se o usurio/cidado no conseguir encontrar os caminhos que deve percorrer para chegar informao/servio que deseja. Existncia de uniformidade/padro de apresentao e formatos Verifica se a interface grfica das pginas referentes ao servio segue um padro uniforme de formatos, cores, estilos e demais elementos de desenho.

19
Formas de seleo do servio

Verifica se o intervalo de pginas em que o servio est inserido oferece alternativas ou filtros diferenciados para acesso. Esse critrio tem o valor de 3 pontos, bastando apresentar 3 itens para alcanar a pontuao.

Linha da vida Pblico-alvo reas de interesse Ordem alfabtica rgo responsvel

Pr-atividade

Verifica se h iniciativas pr-ativas que antecipem a necessidade dos cidados por iniciativa do prprio rgo responsvel pela prestao do servio como, por exemplo, a opo para emisso de segunda via da carteira de identidade no ato do registro on-line de um boletim de ocorrncia de perda ou roubo. Esse critrio tem o valor de 3 pontos.

CONFIABILIDADE

A confiabilidade traduz a qualidade do sistema que permite ao usurio/cidado confiar, justificadamente, no servio prestado. Ela valoriza a capacidade do governo de oferecer segurana s informaes e canais relativos ao servio prestado. Esse indicador avaliado de forma cumulativa.

Presena de informaes sobre segurana

Verifica se o intervalo de pginas onde o servio prestado apresenta informaes sobre segurana contra falhas imprevistas, integridade, confidencialidade e autenticidade das informaes veiculadas. Esse critrio tem o valor de 4 pontos.

Presena de informaes sobre poltica de privacidade

Verifica se o intervalo de pginas onde o servio prestado esclarece os usurios quanto aos direitos e responsabilidades relativas s informaes divulgadas. Esse critrio tem o valor de 4 pontos.

20
Presena de informaes sobre atualizao do contedo

Verifica se o intervalo de pginas onde o servio prestado apresenta informaes referentes data de publicao dos seus contedos, demonstrando claramente tratar-se de contedo atualizado. Esse critrio tem o valor de 4,50 pontos.

TRANSPARNCIA

A Transparncia a responsabilidade pela eficiente gerncia de recursos pblicos (accountability), permitindo o maior controle da sociedade ao andamento do servio solicitado. Essa forma de controle torna a alocao de recursos simultaneamente mais eficiente e mais democrtica. Esse indicador avaliado de forma cumulativa.

Indicao do responsvel pelos atos administrativos

Verifica se h informao sobre os responsveis pelos atos administrativos referentes ao servio. Esse critrio tem o valor de 4 pontos.

Acompanhamento da situao/status do servio

Verifica se o rgo responsvel pelo provimento do servio pblico eletrnico fornece informaes sobre o andamento do mesmo nos casos em que esse acompanhamento se mostra necessrio, como por exemplo, solicitao de benefcios, emisso de documentos e outros. Esse critrio no pode ser aplicado em servios que so concludos na hora da sua solicitao, nesses casos foi criado o subitem No se aplica. O critrio tem o valor de 4 pontos. Para evitar a penalizao de servios em que esse critrio no se aplica o valor do subitem tambm de 4 pontos.

Divulgao de indicadores de satisfao

Verifica se o rgo responsvel pelo provimento do servio pblico eletrnico fornece informaes sobre pesquisas realizadas junto ao usurio/cidado para aferir o seu grau de satisfao com a prestao do servio. Esse critrio tem o valor de 4,50 pontos.

2. 3. Tabela de indicadores 21
Medida 1. Maturidade do servio prestado eletronicamente
Informao Interao Transao

Pontos 12,50
4,00 8,00 12,50

(Escala)
S/N S/N S/N

2. Comunicabilidade
Transao Correio eletrnico das instituies envolvidas Telefone das instituies envolvidas Endereo das instituies envolvidas Informao sobre prazo para atendimento dos contatos Ajuda Existncia de FAQ Existncia de ajuda on-line Existncia de ajuda por telefone S/N S/N S/N S/N S/N S/N S/N

12,50
1,75 1,75 1,75 1,75

1,75 2,00 1,75

3. Multiplicidade de Acesso
Tipos de acesso SMS Quiosques ou PCs de acesso pblico Intermediao presencial a servios eletrnicos Call center/Contact center (com servios fixos ou mveis) Outros meios S/N S/N S/N S/N S/N

12,50
4,17 4,17 4,17 4,17 4,17

4. Acessibilidade
Acesso s pessoas portadoras de deficincia Presena de selo ou indicao de acessibilidade Presena de selo ou indicao de acessibilidade Nvel A Presena de selo ou indicao de acessibilidade Nvel AA Presena de selo ou indicao de acessibilidade Nvel AAA

12,50 (Escala)
S/N S/N S/N S/N 3,00 5,00 9,00 12,50

5. Disponibilidade
Peso da Pgina At 50 Kb Entre 50 Kb e 70 Kb Mais de 70 Kb Prontido 24 x 7

12,50 (Escala)
S/N S/N S/N S/N 6,50 3,00 0 6,00

6. Facilidade de uso
Linguagem compreensvel Navegabilidade Presena de mapa do stio ou portal Presena de motor de busca Presena de barra de estado ou migalha de po Acesso informao/servio em at trs cliques Acesso informao/servio de forma fcil e intuitiva Existncia de uniformidade/padro de apresentao e formatos Formas de Seleo do servio Linha da Vida Pblico-alvo reas de Interesse Ordem Alfabtica rgo responsvel Pr-atividade S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N

12,50
3,00

0,875 0,875 0,875 0,875 0,875 0,875

1,00 1,00 1,00 1,00 1,00 1,00

7. Confiabilidade
Presena de informaes sobre segurana Presena de informaes sobre poltica de privacidade Presena de informaes sobre atualizao do contedo S/N S/N S/N

12,50
4,00 4,00 4,50

8. Transparncia
Indicao do responsvel pelos atos administrativos Acompanhamento da situao/status do servio Item quando no se aplica Acompanhamento da situao/status do servio Divulgao de indicadores de satisfao S/N S/N S/N S/N

12,50
4,00 4,00 4,00 4,50

3.

Avaliao piloto 22
O principal objetivo da aplicao do piloto foi validar os indicadores e mtricas estabelecidas para a avaliao dos servios pblicos prestados por meios eletrnicos.

avaliao

piloto

verificou itens

como

facilidade

de

compreenso

contextualizao dos critrios considerados, o formato dos questionrios, a objetividade das perguntas, o acesso aos dados necessrios para a obteno das respostas, a receptividade dos rgos responsveis pelos servios avaliados, o nmero de avaliadores necessrios, o prazo estabelecido para a concluso das avaliaes e as dificuldades encontradas durante a aplicao do piloto como um todo.

3.1. Indicadores aplicados na avaliao piloto 23

A lista de indicadores utilizados na avaliao piloto apresenta algumas divises e critrios diferentes da verso final consolidada e apresentada no captulo 2 deste documento. A principal diferena a ser ressaltada a diviso entre itens diretamente observveis, que podiam ser avaliados por meio da navegao direta nas pginas do servio e itens observveis indiretamente, ou seja, que necessitavam de consulta ao responsvel pelo servio. As anlises que resultaram na lista de indicadores consolidada podem ser consultadas no tpico 3.5 Aprendizado.

Os indicadores utilizados na aplicao piloto para anlise dos servios prestados por meios eletrnicos sob a tica da convenincia para o cidado foram: maturidade do servio prestado, orientao social, capacidade de comunicao e influncia, nvel de atendimento, multiplicidade de meios, facilidade de uso, transparncia e confiabilidade. A tabela resumo com os indicadores considerados est disponvel no item 5 Anexos.

No que diz respeito aos critrios, a maturidade do servio prestado avaliou seu estgio de evoluo, ou seja, se o servio era informativo, interativo, transacional ou de transformao. Quando pertinente, cada um dos estgios apresentou subdivises que permitiram uma melhor caracterizao do servio.

A orientao social verificou se o servio prestado estava relacionado a deveres/obrigaes ou a direitos/benefcios.

A capacidade de comunicao e influncia avaliou a presena de meios de contato como e-mail e telefone das instituies envolvidas, a existncia de informaes sobre prazo para atendimento das interaes, assim como de mecanismos de ajuda, por exemplo, perguntas mais freqentes (FAQ), ajuda on-line ou por telefone.

Com relao multiplicidade de acesso, o objetivo foi analisar se um mesmo servio oferecia outros meios eletrnicos para acesso alm da Internet, como SMS, Call Center e outros.

J para o indicador facilidade de uso, a avaliao considerou o tipo de linguagem utilizada para descrever o servio, suas condies de navegabilidade, rapidez, formas de seleo, acessibilidade e prontido.

24
A transparncia verificou a existncia de indicao dos responsveis pelos atos administrativos e de sistema para acompanhamento de fluxo e status do servio, assim como da divulgao de indicadores de satisfao. Por ltimo, a confiabilidade avaliou a presena de informaes sobre segurana, poltica de privacidade e atualizao das informaes.

3.2. Amostra 25
O primeiro desafio para a realizao do piloto se caracterizou pela definio da amostra, ou seja, quantos e quais servios seriam avaliados. Partindo-se de um universo que inclua todos os rgos da administrao pblica federal, estadual e municipal, fez-se necessrio estabelecer um nmero especfico de servios que conseguisse abranger, ao mesmo tempo, as trs esferas de governo e os vrios nveis possveis de atendimento das demandas do cidado por meios eletrnicos. Estudos realizados internamente pelo DGE concluram pela avaliao de 21 servios nas trs esferas, ou seja, sete em cada uma.

Especificado o nmero, partiu-se para a definio sobre quais servios seriam avaliados em cada uma das esferas de governo. Para tanto, utilizaram-se como critrios de escolha dados como demanda, utilizao, presena, categoria temtica (Educao, Sade, Segurana e outros), nvel de maturidade, pluralidade de canais para a prestao do servio e potencialidade de evoluo. A indicao dos servios federais foi feita pela equipe interna do DGE, enquanto os estaduais e municipais surgiram a partir da parceria com a PROCERGS e a PRODASAL. Os servios selecionados foram ainda apresentados e validados durante o Seminrio Ibero-americano Construindo uma Referncia Brasileira de Indicadores e Mtricas de Governo Eletrnico.

Na esfera federal foram selecionados os servios de Declarao de Imposto de Renda (IR) pessoa fsica; certido de quitao eleitoral; solicitao de salrio maternidade (contribuinte individual ou facultativa); registro de alerta contra roubo e furto de veculos; inscrio no programa de estmulo ao primeiro emprego; consulta ao CPF; e clculo de contribuies e emisso de GPS para empresas.

Os servios estaduais indicados foram carteira de identidade; IPVA; consulta relao de escolas; doao de sangue; consulta ao nome empresarial; boletim de ocorrncia; e Dirio Oficial. Os servios de manuteno de pontos de luz; itinerrio de nibus; emisso de 2 via do IPTU; informaes georreferenciadas; planejamento de oramento com participao popular; calendrio escolar; e consulta a postos de sade foram os indicados no mbito municipal.

26
A etapa seguinte definiu quantos e quais estados e municpios teriam os servios selecionados avaliados. No caso dos estados, optou-se pelos cinco nos quais a presena dos servios se mostrasse mais efetiva , o que se verificou em So Paulo, Mato Grosso do Sul, Rio Grande do Sul, Pernambuco e Par. O mesmo critrio de presena foi considerado tambm para os municpios, mas nesse caso optou-se por trs capitais (que no coincidissem com as dos estados escolhidos), duas cidades de grande porte (com mais de 300 mil habitantes) e uma cidade de pequeno porte: Salvador (BA), Belo Horizonte (MG), Curitiba (PR), Ipatinga (MG), So Jos do Rio Preto (SP) e Petrpolis (RJ).

A definio da amostra considerou, ainda, o endereo eletrnico (URL) de cada servio a ser avaliado. Como um mesmo servio prestado eletronicamente pode, em alguns casos, ser acessado por mais de um endereo ou contexto (site, portal, e outros), optou-se por definir antecipadamente qual desses endereos seria considerado vlido durante a avaliao piloto. Ao final, foram realizadas 71 avaliaes conforme especificado nas tabelas do Anexo1.

3.3. Coleta de Dados 27

A avaliao piloto utilizou dois questionrios estruturados como instrumento para a coleta de dados, um para as questes diretamente observveis e outro para as que necessitavam de consulta aos responsveis pelo servio. Ambos os questionrios foram disponibilizados via web, atravs da ferramenta livre PHPSurveyor desenvolvida na linguagem de programao PHP em ambiente de servidor Linux. Os questionrios necessitavam de cadastro prvio para identificao dos avaliadores, evitando assim anlises duplicadas. Alm disso, para as questes diretamente observveis foi oferecido treinamento para uso da ferramenta.

A aplicao do piloto foi precedida ainda de pr-testes realizados no perodo de 10 a 20 de abril de 2006 para avaliar a eficincia do instrumento de coleta de dados e da metodologia adotada.

Fig 1: Tela inicial do questionrio

28
O questionrio diretamente observvel era constitudo de 22 questes objetivas e foi direcionado equipe de avaliadores formada por servidores do DGE e por parceiros do estado do Rio Grande do Sul (PROCERGS) e do municpio de Salvador (PRODASAL). O questionrio contava ainda com uma pergunta aberta, em que avaliadores podiam relatar todas as dificuldades, observaes, crticas, consideraes e sugestes que considerassem pertinentes para o aprimoramento da metodologia.

O segundo questionrio foi estruturado com oito perguntas objetivas e direcionado aos rgos responsveis pela prestao dos servios por tratarem de itens que no poderiam ser diretamente observveis pelos avaliadores. Os responsveis pela prestao dos servios selecionados foram contatados antecipadamente, informados por meio de ofcio sobre a realizao do piloto e dos prazos definidos para resposta dos questionrios.

Para as questes diretamente observveis, cada servio selecionado recebeu trs avaliaes independentes que depois foram consolidadas para anlise dos resultados. Os responsveis pela prestao dos servios responderam apenas uma nica vez ao questionrio.

3.4. Resultados 29
Em termos gerais, a avaliao piloto apresentou resultados significativamente satisfatrios. Alm de validar a verso preliminar da metodologia e dos indicadores estabelecidos, foi possvel verificar um conjunto de oportunidades de melhoria e qualificao dos servios. Como se tratou de amostra no probabilstica, o conjunto de resultados apresentados no podem ser generalizados nem comparados entre si, mas so importantes para demonstrar o potencial de anlise oferecido pela aplicao da metodologia.

Ainda de forma geral, os servios avaliados na amostra piloto apresentaram desempenho inferior metade da pontuao mxima definida para cada indicador (12,5 pontos). Para um total de 100 pontos possveis, a mdia atingida pelos servios avaliados foi de 33,76 pontos. O indicador Acessibilidade apresentou o pior desempenho com apenas um servio pontuado em nvel 1 (A). Os melhores desempenhos foram alcanados no indicador Maturidade, em que a mdia geral atingiu 8,05 pontos.

NATUREZA DO SERVIO

O parmetro classificatrio Natureza do Servio apontou que a amostra selecionada priorizou os servios relacionados a direitos e benefcios. Dos 71 servios avaliados, 53 (75%) se enquadraram nessa categoria, enquanto 18 servios (25%) foram classificados como deveres e obrigaes (fig1).

30
Os servios classificados como dever/obrigao apresentaram pontuao mais elevada, atingindo um percentual mdio de 39,35% sobre o total de indicadores. A pontuao dos servios classificados como direito/benefcio, por sua vez, obteve o percentual mdio de 31,86%. Os indicadores Disponibilidade e Acessibilidade

apresentaram resultados distintos da mdia geral. O primeiro obteve o mesmo ndice nos dois grupos. J o indicador Acessibilidade foi identificado apenas em um servio caracterizado como direito/benefcio. O grfico 2 (fig2) mostra as mdias alcanadas pelos servios, de acordo com a sua natureza, em cada um dos indicadores avaliados. Os grficos 3 e 4 (fig3 e fig4) mostram as mesmas mdias separadas por tipo de servio (natureza):

Fig 2: Percentual mdio alcanado por natureza do servio e por indicador

31

Fig 3: Mdias alcanadas pelos direitos, por indicador

Fig 4: Mdias alcanadas pelos deveres, por indicador

32

MATURIDADE

De acordo com a amostra, mais da metade dos servios (56%) encontra-se na fase interativa, distribuindo-se depois de forma quase uniforme entre o nvel informacional (23%) e o transacional (21%), conforme ilustrado na fig5.

A maior pontuao obtida pela amostra foi no indicador Maturidade. Dos 71 servios avaliados, 15 alcanaram a pontuao mxima de 12,5 pontos, sendo 10 de natureza dever/obrigao e 5 de direito/benefcio.

O nvel transacional apresentou maior predominncia (55,56%) entre os servios da amostra com natureza dever/obrigao, obtendo uma mdia de 9,83 pontos em 12,5 possveis. A situao se inverte no caso dos servios de natureza direito/benefcio em que a predominncia do nvel interativo (66,04%) com uma mdia de 7,44 pontos no indicador Maturidade como mostra o grfico 6 (fig6).

33

Ainda no que diz respeito anlise dos resultados referentes ao indicador Maturidade, a aplicao da metodologia demonstra que possvel fazer o cruzamento entre esse indicador e os demais avaliados para verificar se um maior nvel de maturidade significa ou no um maior nvel de Comunicabilidade, Multiplicidade de Acesso, Acessibilidade, Disponibilidade, Facilidade de Uso, Confiabilidade e Transparncia. No caso dos servios avaliados na amostra piloto, verificou-se que essa relao positiva conforme demonstrado no grfico 7 (fig7):

34
COMUNICABILIDADE

A aplicao da metodologia demonstrou que praticamente todos os servios da amostra piloto (96%) oferecem algum tipo de meio de contato para uso do cidado por email ou telefone. Ainda assim, os servios selecionados pecam pela falta de apoio e feedback ao usurio: apenas 23% apresentam indicativo de prazo de atendimento; menos da metade oferecem algum tipo de FAQ (31%) ou ajuda on-line (38%). O principal meio de contato em casos de dvidas o telefone (59%), conforme ilustrado no grfico 8 (fig8):

35
MULTIPLICIDADE DE ACESSO

Com relao amostra avaliada, os resultados demonstraram que mais da metade dos servios (55%) oferecem um segundo meio de acesso eletrnico alm da Internet, sendo que o meio mais utilizado nesse caso o telefone fixo (38%) inserido na metodologia no critrio Outros Meios. Os Call Centers/Contact Centers foram o segundo meio mais utilizado, com presena observada em 20% dos servios avaliados. A disponibilizao em Quiosques ou PCs de acesso pblico foi observada em 3% dos servios, mesmo ndice alcanado pela Intermediao presencial. J a oferta via SMS foi verificada em apenas 1% dos servios avaliados. Os resultados demonstraram ainda que os servios de natureza dever/obrigao (fig9) apresentam mais formas alternativas de acesso que os servios caracterizados como direito/benefcio.

36
ACESSIBILIDADE

O indicador de acessibilidade foi o que apresentou pior desempenho entre os servios avaliados na amostra. Em apenas um dos servios foi observado a preocupao com o acesso s pessoas portadoras de deficincia, ainda assim, apenas no nvel A.

DISPONIBILIDADE

O indicador Disponibilidade sofreu alteraes em seus critrios de avaliao (ver captulo Aprendizagem) com exceo do critrio Prontido 24x7. Todos os servios avaliados na amostra piloto apresentaram prontido 24x7, ou seja, so disponibilizados de forma ininterrupta (salvo manutenes) 24 horas por dia, sete dias por semana.

FACILIDADE DE USO

Com relao amostra avaliada, os resultados demonstraram que mais da metade dos servios (55%) pontuaram no critrio Linguagem Compreensvel. No critrio Navegabilidade, os servios avaliados apresentaram bom desempenho nos itens Uniformidade de apresentao e formatos (77%) e Acesso at trs cliques (90%). Ao mesmo tempo, no entanto, apresentam baixo desempenho na disponibilizao de motor de busca (48%) e mapa do stio (37%). Apenas 9% oferecem o recurso de barra de estado (migalha de po).

No que diz respeito ao critrio Formas de Seleo do Servio, 34% oferecem apenas uma forma de seleo, 11% oferecem duas e outros 11 oferecem trs ou mais formas. O filtro mais comum de seleo por rea de Interesse utilizada por 46% dos servios avaliados, seguido por rgo responsvel (21%), Pblico-Alvo (17%), Ordem Alfabtica e Linha da vida (8%).

J o critrio Pr-atividade no foi observado em nenhum dos servios avaliados. Os percentuais gerais de aproveitamento, por critrios, so demonstrados no grfico 10 (fig10):

37

CONFIABILIDADE

Os servios avaliados na amostra piloto apresentaram baixo desempenho no indicador Confiabilidade (Fig11). O critrio mais bem pontuado foi Presena de informao sobre atualizao do contedo com 31% de aproveitamento. J os critrios Presena de poltica de privacidade e Presena de poltica de segurana foram observados em apenas 5,63% dos servios:

38
TRANSPARNCIA

Assim como no indicador Confiabilidade, os servios avaliados na amostra piloto tambm apresentaram baixo desempenho no indicador Transparncia (Fig12). As mdias atingidas foram de 9,86% no critrio Indicao do responsvel pelos atos administrativos e 4,23% no critrio Divulgao de indicadores de satisfao.

No critrio Acompanhamento da situao/status do servio, o aproveitamento foi de 29,41% nos casos em que o mesmo aplicado. Em 23,94% dos servios avaliados na amostra piloto, o critrio no aplicado devido ao fato de o servio ser oferecido prontamente sem necessidade de desdobramento posterior.

3.5. Exemplos de avaliao 39

Apresentamos a seguir, o resultado da avaliao de trs dos servios selecionados para a amostra piloto: consulta ao CPF, carteira de identidade de So Paulo e emisso de 2 via de IPTU de Salvador. O objetivo demonstrar como ao final da avaliao possvel ter uma viso geral do grau de qualidade do servio prestado de acordo com os indicadores de convenincia para o cidado. A escolha foi feita de forma aleatria e no representa, portanto, a mdia dos resultados obtidos pela aplicao da metodologia.

CONSULTA AO CPF

O servio federal de Consulta ao CPF obteve mdia geral de 7,8 pontos em 12,5 possveis para cada um dos indicadores avaliados. Em outras palavras significa dizer que o servio obteve 62% de aproveitamento. Os melhores indicadores desse servio foram Maturidade e Confiabilidade que receberam nota mxima. O pior desempenho ficou por conta do indicador Acessibilidade que no chegou a ser pontuado. O servio tambm apresentou baixo desempenho no indicador Multiplicidade de Acesso que recebeu nota 4. Os indicadores Comunicabilidade, Facilidade de Uso e Transparncia tambm ficaram acima da mdia como mostra o grfico 13 (fig13):

40
CARTEIRA DE IDENTIDADE

A mdia geral obtida pelo servio Carteira de Identidade do Estado de So Paulo foi de 5,9 pontos o que representa 47% de aproveitamento. A melhor performance desse servio foi observada no indicador Multiplicidade de Acesso que alcanou a nota mxima, ou seja, 12,5 pontos. Por outro lado, os indicadores Acessibilidade e Confiabilidade que no chegaram a ser pontuados. Os demais indicadores receberam pontuao entre 6 e 9 pontos conforme ilustrado na figura 14:

41
EMISSO DE 2 VIA DE IPTU

O servio Emisso de 2 via de IPTU da Prefeitura Municipal de Salvador atingiu a mdia geral de 5,8 pontos ou 46% de aproveitamento. Sua melhor performance foi observada no indicador Maturidade com 12,5 pontos. Os indicadores Acessibilidade e Confiabilidade no chegaram a ser pontuados e o indicador Transparncia tambm apresentou baixo desempenho com apenas 4 pontos. Os demais indicadores receberam pontuao entre 6 e 9 pontos conforme ilustrado na figura 15:

3.6. Aprendizado 42
A partir da anlise dos servios selecionados foi possvel verificar que a metodologia adotada efetivamente avalia dados como o estgio de desenvolvimento, as necessidades de melhorias e as possibilidades de evoluo para cada caso especfico. Apontou ainda que a realizao de avaliaes peridicas permitir a apresentao de recomendaes claras e objetivas para o constante aprimoramento das possibilidades de prestao dos servios eletronicamente. Alm disso, a aplicao da avaliao piloto permitiu verificar, na prtica, a viabilidade e efetividade dos indicadores e critrios eleitos durante a construo do projeto.

De fato, as observaes, crticas, sugestes e dificuldades relacionadas pela equipe de avaliadores sinalizaram os ajustes necessrios para a consolidao do projeto que se materializou com a realizao de um realinhamento tanto dos indicadores e critrios adotados quanto da metodologia para a coleta de dados. Foram reestruturados, tambm, os formatos dos questionrios e do acesso aos dados necessrios para a obteno das respostas.

No que diz respeito aos indicadores e critrios, os ajustes acabaram por confirmar ou reestruturar alguns e eliminar outros. Em termos gerais, a principal mudana realizada foi a eliminao de todos os itens da tabela que no podem ser diretamente observveis pelos avaliadores e, portanto, do questionrio direcionado aos rgos responsveis pela prestao dos servios. Essa deciso foi baseada na inteno de simplificar o processo de avaliao dos servios pblicos prestados por meios eletrnicos, garantindo a sua aplicao inclusive em grupos focais ou em pesquisas realizadas diretamente com os cidados/usurios. Com relao aos demais indicadores foram realizados os seguintes ajustes:

NVEL DE MATURIDADE

Entendeu-se que os desdobramentos sugeridos inicialmente no se mostraram relevantes e confundiram mais do que facilitaram a avaliao dos servios. Verificou-se tambm que a fase transformao no pode ser avaliada somente a partir de questes diretamente observveis. Tanto os desdobramentos quanto a fase transformao foram eliminados da nova tabela de indicadores. Ainda no que se refere a esse indicador, observouse que o critrio pr-atividade no deve ser considerado como um estgio de maturidade especfico, uma vez que ele pode perpassar por todas as fases, ou ainda, ser considerado apenas como uma evoluo natural da prestao do servio. Na nova tabela esse critrio avaliado dentro do indicador Facilidade de Uso;

43
ORIENTAO SOCIAL

Entendeu-se que os critrios que definem a natureza do servio, ou seja, se o mesmo um dever ou um direito deveriam ser apenas classificatrios, no influenciando na pontuao final do servio avaliado. A verificao do critrio relacionado adequao da metodologia a Linha da Vida foi entendido como um tipo de filtro de acesso e, por isso, acrescentado no indicador Facilidade de Uso. O critrio Equilbrio entre a oferta e a demanda no era diretamente observvel e foi, portanto, eliminado.

CAPACIDADE DE COMUNICAO E INFLUNCIA (COMUNICABILIDADE)

A primeira observao direcionada a esse indicador foi quanto pertinncia do critrio a que se refere a presena de correio eletrnico e telefone dos servidores pblicos intervenientes devido dificuldade de definio do perfil a ser considerado. Optou-se pela eliminao do critrio. Tambm se decidiu pelo desmembramento do critrio referente presena de correio eletrnico e telefone das instituies envolvidas, uma vez que em muitos casos apenas um ou outro divulgado. Incluiu-se, ainda, um novo critrio em relao presena de endereo das instituies envolvidas. Por fim, foram eliminados os critrios relacionados a referendos e sondagens on-line e consulta pblica a documentos sobre assuntos do cotidiano ou opes polticas. Entendeu-se que esses indicadores so mais facilmente encontrados no contexto de um stio ou portal do que na prestao de um servio pblico especfico;

NVEL DE ATENDIMENTO

O indicador foi eliminado por conter critrios que dependiam da resposta dos rgos responsveis pela prestao dos servios para tabulao dos resultados. O critrio Existncia de prazo para atendimento foi mantido, mas passou a ser avaliado dentro do indicador Comunicabilidade;

MULTIPLICIDADE DE ACESSO

Para este indicador foram realinhados os tipos de acesso (meios eletrnicos) pelos quais um mesmo servio prestado para facilitar a anlise dos avaliadores. Os itens Internet e acesso privativo a servios foram eliminados, uma vez que a avaliao dos servios j feita com base na sua prestao em ambiente web;

44
FACILIDADE DE USO

Para esse indicador foram reestruturados os critrios Rapidez, Ajuda e Acesso s pessoas portadoras de deficincia. O critrio Rapidez passou a ser denominado Peso da Pgina e avaliado na nova tabela dentro do indicador Disponibilidade. O critrio Ajuda no sofreu alteraes, mas passou a ser avaliado como um dos itens do indicador Comunicabilidade. J o critrio Acesso s pessoas portadoras de deficincia passou a ser avaliado com base na presena de selos em um novo indicador denominado Acessibilidade.

3.7. Consideraes Finais 45

A metodologia Indicadores e Mtricas para Avaliao de e-Servios tem como objetivo avaliar a qualidade dos servios pblicos prestados por meios eletrnicos de acordo com a convenincia para o cidado. A aplicao desta metodologia, no entanto, no est restrita apenas aos profissionais do DGE. Uma de suas principais caractersticas a possibilidade de ser adaptada para realidades locais. Assim, qualquer rgo da administrao federal, estadual ou municipal poder aplicar os indicadores em avaliaes organizadas e realizadas internamente. O nico pressuposto para tanto, solicitar treinamento junto ao DGE para aplicao adequada da metodologia.

A ferramenta utilizada para a coleta de dados (LimeSurveyor) livre e tambm pode ser utilizada. Para tanto, basta entrar em contato com o DGE pelo endereo eletrnico govbr@planejamento.gov.br ou pelo telefone (61) 3313 1012. Importante ressaltar, no entanto, que a ferramenta no poder ser alterada ou utilizada para outros fins sem o conhecimento prvio do departamento.

Destaque-se ainda que essa metodologia pode ser aplicada tanto para os servios pblicos prestados por meios eletrnicos j desenvolvidos, ou seja, disponveis para o cidado; quanto para aqueles que ainda estejam em processo de implementao. Em ambos os casos, os resultados podem apresentar oportunidades de aprimoramento e alinhamento com as reais necessidades dos cidados atendidos.

Por fim, sugere-se que os resultados da avaliao a ser realizada com os indicadores aqui propostos sejam apresentados por meio de um Relatrio Final com textos e grficos ilustrativos, e que seja produzido um Relatrio de Recomendaes indicando melhorias a serem implementadas com o objetivo de qualificar os aspectos nos quais o servio demonstrou baixo desempenho. O DGE possui modelos destes documentos.

Desta forma, acredita-se que o uso dos Indicadores e Mtricas para Avaliao de eServios elaborados no mbito do Departamento de Governo Eletrnico, da Secretaria de Logstica e Tecnologia de Informao, do Ministrio do Planejamento, Oramento e Gesto atingem seus objetivos principais: de um lado, evidenciar a situao dos servios pblicos prestados eletronicamente no Brasil em relao aos padres de qualidade que orientaram a construo destes oito indicadores; e, de outro, indicar melhorias concretas, sejam pontuais ou mais abrangentes, de servios j existentes ou em desenvolvimento.

4.

Referncias 46
FURQUIN, Tatiana de Almeida. Avaliao de sites web centrada no usurio: um estudo de caso sob a tica de marketing. Braslia: Dissertao (Mestrado) Universidade de Braslia, 2002.

PERSEGONA, Marcelo Felipe Moreira. A utilizao da tecnologia de informao pelas polticas pblicas do governo: e-gov como um instrumento de

democratizao da informao. Braslia: Dissertao (Mestrado) Universidade de Braslia, 2005.

VILELLA, Renata Moutinho. Contedo, Usabilidade e Funcionalidade: trs dimenses para a avaliao de portais estaduais de Governo Eletrnico na Web. Belo Horizonte: Dissertao (Mestrado) Universidade Federal de Minas Gerais, 2003.

JOIA, Luis Antnio. O que governo eletrnico. Escola Brasileira de Administrao Pblica e Empresas FGV. Disponvel em http://www.ebape.fgv.br/e_government/asp/dsp_oquee.asp . Acessado em 10 ago 2006.

Seminrio

Ibero-americano e Mtricas

Construindo de Governo

uma

Referncia

Brasileira Nacional y

de de

Indicadores Administrao

Eletrnico. de

Escola Gobierno

Pblica/Escuela

Iberoamericana

Polticas

Pblicas/Departamento de Governo Eletrnico. Braslia, 13 e 14 de dezembro de 2005.

Vidigal, Lus. Contributos para o Desenvolvimento e Construo de Indicadores de Qualidade de Governo eletrnico. Ministrio do Planejamento, Oramento e Gesto/Secretaria de Logstica e Tecnologia da Informao/Projeto EUROBRASIL 2000, 2005.

5.

Anexos 47

5.1. Questionrio
Indicadores e mtricas para avaliao de e-servios

0 Natureza do servio Em qual das categorias abaixo voc considera que o servio avaliado deve ser classificado?

? Direito/Benefcio ? Dever/Obrigao

1 Nvel de maturidade Em sua opinio, qual nvel de maturidade pode ser atribudo ao servio avaliado?

? Informativo: fornece dados sobre como horrio e local de atendimento, assim

como os pr-requisitos necessrios para obter o servio

? Interativo: permite a pesquisa de dados referentes ao servio; obteno e

submisso de formulrios, entre outros

? Transacional: permite a obteno completa do servio por meio eletrnico

2 Meios de contato Considerando o servio avaliado, qual ou quais das alternativas abaixo podem ser encontrados?

? eletrnico das instituies envolvidas Correio ? das instituies envolvidas Telefone ? Endereo das instituies envolvidas ? Existncia de informao sobre prazo para atendimento dos contatos ? Nenhum

3 - Ajuda Considerando o servio avaliado, qual ou quais das alternativas abaixo podem ser encontrados?

? Existncia de FAQ (Perguntas mais freqentes) ? Existncia de ajuda on-line ? Existncia de ajuda por telefone ? Nenhum

48
4 - Multiplicidade de acesso possvel verificar se h indicao de que o servio avaliado prestado por outros meios eletrnicos alm da Internet? Assinale quais os meios de acesso oferecidos

? SMS (mensagens curtas via celular) ? Quiosques ou PCs de acesso pblico ? Intermediao presencial (ajuda de profissionais especializados para a

obteno do servio por meio eletrnico)

? Call Center / Contact Center (com servios fixos ou mveis) ? meios (WAP, televiso digital, videoconferncia, palms e outros) Outros ? Nenhum

5 Acessibilidade O servio avaliado oferece acessibilidade s pessoas portadoras de deficincia. De que forma essa acessibilidade indicada?

? Presena de selo ou indicao de acessibilidade ? Presena de selo ou indicao de acessibilidade nvel A ? Presena de selo ou indicao de acessibilidade nvel AA ? Presena de selo ou indicao de acessibilidade nvel AAA ? indicao de acessibilidade No h

6 Peso da pgina Qual o peso mdio da pgina ou pginas percorridas para adquirir a informao ou concluir o servio avaliado? Para verificar o peso da pgina clique nela com o boto direito do mouse e escolha a opo propriedades. O peso da pgina ser indicado no item tamanho.

? kb At 50 ? kb e 70 kb Entre 50 ? 70 kb Mais de

7 Prontido O servio avaliado est disponvel eletronicamente em tempo integral, ou seja, 24 horas por dia, 7 dias por semana?.

? Sim ? No

49
8 Linguagem O servio avaliado apresenta linguagem compreensvel, clara e objetiva na divulgao das informaes e orientaes para a sua realizao?

? Sim ? No

9 Navegao Qual ou quais das alternativas relacionadas estrutura de navegao podem ser observadas no caso do servio avaliado?

? Presena de mapa do stio (o servio encontrado por meio do mapa?) ? Presena de motor de busca (o servio encontrado quando procurado por meio

desse mecanismo?)
? Presena de barra de estado ou migalha de po ? informao/servio em at trs cliques Acesso ? informao/servio de forma fcil e intuitiva Acesso ? Existncia de uniformidade/padro de apresentao e formatos ? Nenhum

10 Formas de seleo O stio ou portal oferece diferentes alternativas para o acesso do servio avaliado? Indique quais:

? Interesse reas de ? vida Linha da ? Alfabtica Ordem ?Responsvel rgo ? Pblico-alvo ? Nenhum

11 Pr-atividade O servio avaliado oferece iniciativas pr-ativas que antecipem a necessidade dos cidados? Exemplo: opo para emisso de segunda via da carteira de identidade no ato do registro on-line de um boletim de ocorrncia de perda ou roubo.

? Sim ? No

50
12 Confiabilidade Quais alternativas relativas confiabilidade podem ser observadas no servio avaliado?

? Presena de informaes sobre segurana ? Presena de informaes sobre poltica de privacidade ? Presena de informaes sobre atualizao do contedo ? Nenhum

13 Situao do servio O servio avaliado oferece opo para acompanhamento de seu status/situao?

? Sim ? No ? aplica (quando o servio concludo sem a necessidade de interveno do No se

rgo responsvel)

14 Transparncia Quais das alternativas relacionadas transparncia podem ser observadas no servio avaliado?

? Indicao do responsvel pelos atos administrativos ? Divulgao de indicadores de satisfao ? Nenhum

5.2. TABELA 1: Servios federais selecionados 51

Federais
Declarao de IR Pessoa Fsica Certido de quitao eleitoral Solicitao de Salrio Maternidade Registro contra roubo e furto de veculos Inscrio no programa de primeiro emprego Consulta ao CPF Clculo e emisso de GPS para empresas
http://www.receita.fazenda.gov.br/principal/Informacoes/InfoDeclara/declaraPF.htm http://www.tse.gov.br http://www.previdenciasocial.gov.br/ http://www.dprf.gov.br/?link=form_alerta www.primeiroemprego.mte.gov.br/cad_jovem_web.asp http://www.receita.fazenda.gov.br/aplicacoes/atcta/cpf/fisica.htm http://www.dataprev.gov.br/sal/SalEmpresa.html

5.3. TABELA 2: Servios estaduais selecionados 52

SO PAULO
Carteira de identidade IPVA Consulta a Relao de Escolas Doao de sangue Consulta ao nome empresarial Boletim de ocorrncia Dirio Oficial
http://www.cidadao.sp.gov.br/servicos_final.php?cod_servico=543 http://www3.fazenda.sp.gov.br/ipvanet/ http://escola.edunet.sp.gov.br/pesquisas/Index_Escolas.asp http://www.cidadao.sp.gov.br/servicos_final.php?cod_servico=2261 http://www.jucesp.sp.gov.br/index.asp http://www.ssp.sp.gov.br/bo/ http://www.imprensaoficial.com.br/PortalIO/DO/HomeDO_2_0.aspx

MATO GROSSO DO SUL

Carteira de identidade IPVA Consulta a Relao de Escolas Boletim de ocorrncia Dirio Oficial
http://www.pc.ms.gov.br/servicos/identidade/ http://www1.sefaz.ms.gov.br/Ipva/ http://www.sed.ms.gov.br/index.php?inside=1&tp=3&comp=&show=462 http://www.pc.ms.gov.br/dv/bo/ http://www.imprensaoficial.ms.gov.br/index.htm

RIO GRANDE DO SUL

Carteira de identidade IPVA Consulta a Relao de Escolas Doao de sangue Consulta ao nome empresarial Boletim de ocorrncia Dirio Oficial
http://www.tudofacil.rs.gov.br/servicos/servico_visualizar.php?id_perfil=1& id_area_interesse=24&id_servico=2&id_grupo=206&sem_grupo= http://www.tudofacil.rs.gov.br/servicos/servico_visualizar.php?id_perfil=1& id_area_interesse=15&id_servico=26&id_grupo=224&sem_grupo=1 http://www.tudofacil.rs.gov.br/servicos/servico_visualizar.php?id_perfil=1& id_area_interesse=18&id_servico=24&id_grupo=216&sem_grupo= http://www.tudofacil.rs.gov.br/servicos/servico_visualizar.php?id_perfil=1& id_area_interesse=16&id_servico=55&id_grupo=219&sem_grupo= http://www.jucergs.rs.gov.br/servico/PesquisaNome/juc-srv-psq_individual.htm http://www.pc.rs.gov.br/ https://www.corag.com.br/logon.php

PERNAMBUCO
IPVA Consulta a Relao de Escolas Doao de sangue Consulta ao nome empresarial Boletim de ocorrncia Dirio Oficial
http://www.detran.pe.gov.br/guia_pagamento.shtml http://portalseduc2.interjornal.com.br/escolas.kmf http://www.pe.gov.br/frames/index_hemope_licitacao.htm http://www.jucepe.pe.gov.br/ http://www.pe.gov.br/frames/index_delegacia_virtual.htm http://www.pe.gov.br/frames/index_diariooficial.htm

PAR
IPVA Consulta a Relao de Escolas Doao de sangue Consulta ao nome empresarial Boletim de ocorrncia Dirio Oficial
https://www.sefa.pa.gov.br/delegacia/index.cfm?fuseaction=ipva_antec.inicial http://www.seduc.pa.gov.br/index.php? opcao=escola/consulta_escola/MatriculaBusca&balo=espocou http://www.hemopa.pa.gov.br/ http://www.jucepa.pa.gov.br/ http://www.delegaciavirtual.pa.gov.br/sisp/ http://www.pe.gov.br/frames/index_diariooficial.htm

5.4. TABELA 3: Servios municipais selecionados 53 47

SALVADOR
Manuteno de pontos de luz Itinerrio de nibus Emisso de 2 via do IPTU Informaes Georreferenciadas Calendrio Escolar Consulta a postos de sade
http://www.salvadoratende.ba.gov.br/frmRegistro.asp http://www.stp.salvador.ba.gov.br/ http://www.sefaz.salvador.ba.gov.br/sistema/index.htm http://www.seplam.salvador.ba.gov.br/louos/ http://www.salvadoratende.ba.gov.br/frmConsultaTipoInformacaoBusca.asp http://www.salvadoratende.ba.gov.br/ArquivosSSAAtende/L2.htm

BELO HORIZONTE
Manuteno de pontos de luz Itinerrio de nibus Emisso de 2 via do IPTU Informaes Georreferenciadas Planejamento de Oramento com PP Consulta a postos de sade
http://portal2.pbh.gov.br/sacweb/work/Ctrl/CtrlSolicitacao?acao=8 http://www.bhtrans.pbh.gov.br/bhtrans/atendimento/pesq_transp_coletivo.asp http://www.fazenda.pbh.gov.br/ http://portal1.pbh.gov.br/pbh/index.html? id_conteudo=10153&id_nivel1=97&ver_servico=N http://portal2.pbh.gov.br/pbh/index.html?idNv1=90&principal=&guia= http://www.pbh.gov.br/smsa/montapagina.php? pagina=distritos/listar.php&opcao=csauall

CURITIBA
Manuteno de pontos de luz Itinerrio de nibus Emisso de 2 via do IPTU Informaes Georreferenciadas Consulta a postos de sade
http://www.curitiba.pr.gov.br/Servicos/Governo/ GuiaServicosPublicos/index.asp?Tip=Busca&BQ=iluminao http://urbs-web.curitiba.pr.gov.br/ http://www.curitiba.pr.gov.br/Cidadaos.aspx? url=http://www2.curitiba.pr.gov.br/GTM/IPTU/carnet/index.htm http://www.curitiba.pr.gov.br/Destino.aspx?url=/Cidade/Bairros/index.asp http://www.curitiba.pr.gov.br/saude/servicos/enderecos.htm

IPATINGA MG
Itinerrio de nibus Emisso de 2 via do IPTU Informaes Georreferenciadas Planejamento de Oramento com PP Consulta a postos de sade
http://sesuma.ipatinga.mg.gov.br/hor_onib.asp http://smf.ipatinga.mg.gov.br/iptu_req.asp http://geo.ipatinga.mg.gov.br/index.asp http://opa.ipatinga.mg.gov.br/ http://guia.ipatinga.mg.gov.br/

SO JOS DO RIO PRETO - SP

Itinerrio de nibus Emisso de 2 via do IPTU Informaes Georreferenciadas Planejamento de Oramento com PP Calendrio Escolar Consulta a postos de sade
http://www.riopreto.sp.gov.br/cpub/pt/site/transporte_coletivo.php http://www.riopreto.sp.gov.br/servicos/sm_financas/iptu/iptu2006/form_iptu2006.php http://www.riopreto.sp.gov.br/cpub/pt/sm_planejamento/mapas_pdf.php http://www.riopreto.sp.gov.br/cpub/pt/SEMulher/orcamento_participativo.php https://www.riopreto.sp.gov.br/cpub/pt/sm_educacao/site/jornal daeducacao_arquivos/2005/Dezembro/calendario2006.htm http://www.riopreto.sp.gov.br/cpub/pt/sm_saude/unidades.php

SO JOS DO RIO PRETO - SP

Itinerrio de nibus Emisso de 2 via do IPTU Informaes Georreferenciadas Planejamento de Oramento com PP Consulta a postos de sade
http://www.cptrans.com.br/ http://www.petropolis.rj.gov.br/e-gov/sef/guiasiptu// http://200.207.155.247:8080/petropolis/ruas.jsp http://opp.petropolis.rj.gov.br/opp/ http://www.petropolis.rj.gov.br/pp/modules/xt_conteudo/index.php?id=110

5.5. PROJETO PILOTO - Tabela de indicadores 54

Maturidade do servio prestado eletronicamente

? Informao - Informao sobre direitos e obrigaes ? Interao - Servios unidirecionais ? Interao - Servios bidirecionais simplificados ? Interao - Existncia de todos os formulrios necessrios ao servio no canal ? Transao - Servios bidirecionais completos em nvel de tarefa ou produto ? Transao - Atendimento completo de todas as etapas do servio ? Transformao - Servios bidirecionais completos a partir da percepo do usurio ? Transformao - Pr-atividade (antecipao das necessidades do cidado)

Orientao Social

? Natureza do Servio - Deveres e Obrigaes ? Natureza do Servio - Direitos e Benefcios ? Adequao metodologia da Linha da Vida e/ou Pblico-Alvo ? Equilbrio entre a oferta e a demanda (itens)

Capacidade de comunicao e influncia

? eletrnico e telefone das instituies envolvidas Correio ? eletrnico e telefone dos servidores pblicos intervenientes Correio ? Consulta Pblica a documentos sobre assuntos do cotidiano (itens) ? Consulta Pblica a documentos sobre opes polticas (itens) ? Referendos e sondagens on-line, com autenticao digital

Nvel de atendimento

? Existncia de prazo para atendimento ? Percentual de interaes atendidas no prazo (escala) ? Existncia de pesquisas de satisfao do usurio/cidado com o servio ? satisfao do usurio/cidado com o servio (escala) Grau de

Multiplicidade de uso

? Quantidade de Canais (itens) ? Maturidade dos canais de acesso (itens)

55
Facilidade de uso

? Linguagem compreensvel (itens) ? Navegabilidade (itens) ? Percentual de transaes concludas x transaes iniciadas (escala) ? (escala) Rapidez ? de Seleo do servio (itens) Formas ?(itens) Ajuda ? a cidados com necessidades especiais (escala) Acesso ? Prontido 24 x 7

Transparncia

? Prestao de Contas (itens) ? Acompanhamento do fluxo do servio ? Acompanhamento da situao do servio ? Divulgao de indicadores de satisfao

Confiabilidade

? Presena de informaes sobre segurana ? Presena de informaes sobre poltica de privacidade ? Atualizao

Ministrio do Planejamento, Oramento e Gesto

Ministro Paulo Bernardo Silva

Secretaria de Logstica e Tecnologia da Informao Secretrio Rogrio Santanna dos Santos

Secretrio-adjunto Rodrigo Ortiz Assumpo

Departamento de Governo Eletrnico Diretora Patricia Pessi

Equipe do projeto
Everson Lopes de Aguiar Fernanda Hoffmann Lobato. Hezrai de Souza Cruz Leonardo Moreira Figueira Karine Castro Nelson do Vale Oliveira Patricia Pessi Raquel Sacheto Thiago Silva

Colaboradores
Gleide Bacelar Karen Maria Gross Lopes Lucienne Ko Freitag Panno Lus Vidigal Poliana Carvalho Companhia de Processamento de Dados do Estado do Rio Grande do Sul (PROCERGS). Companhia de Processamento de Dados do Municpio de Salvador (PRODASAL). Conselho Britnico Regional Sul Escola Nacional de Administrao Pblica (ENAP). Projeto EuroBrasil 2000