A experincia da automao dos testes para homologao PAF-ECF

Ana Paula Gomes Ferreira1, Roselma Mendes de Oliveira de Lima2 Departamento de Cincias Exatas e da Terra II Universidade do Estado da Bahia (UNEB) Rodovia Alagoinhas-Salvador, BR 110, Km 03 48.040-210 Alagoinhas BA, Brasil
2 1

Associao Educacional Dom Bosco

Av. Darcy Ribeiro, n. 2535 27.524-500 Campo de Aviao Resende RJ, Brasil
{apgomes88, roselma.mendes}@gmail.com

Abstract. This paper describes the deployment process of a test environment for the retail automation system Dincash PDV (POS), from Total Informtica company. Retail Automation Systems need to fulfill the demands described in the PAF Analysis Script, specified by the Finance Secretariat. Test automatization enables faster and reliable test execution, assisting in the discovering of defects and failures that the software might have. Resumo. Este artigo descreve o processo de implantao de um ambiente de testes automatizados para o sistema de automao comercial Dincash PDV, da empresa Total Informtica. Os sistemas de automao comercial necessitam cumprir as exigncias descritas pelo Roteiro de Anlise PAF, especificado pela Secretaria da Fazenda. A automao dos testes deste roteiro possibilitam a execuo dos testes com maior rapidez e confiabilidade, auxiliando na descoberta de defeitos e falhas que o software possa ter.

1. Introduo
A Engenharia de Software objetiva a construo do software de baixo custo com nvel de qualidade elevado, sugerindo tcnicas e prticas para melhoria do processo. O processo de software envolve etapas de especificao, desenvolvimento, validao e evoluo de software [Sommerville 2007]. na etapa de validao que o Teste de Software acontece com maior intensidade, visando inspecionar se o que foi especificado pelo cliente atendido pelo software. Teste de Software o processo formal de avaliar um sistema ou componente de um sistema por meios manuais ou automticos para verificar se ele satisfaz os requisitos especificados ou identificar diferenas entre os resultados esperados e os obtidos [IEEE 2011]. Estima-se que 40% do custo da construo de software seja gasto com a etapa de verificao [Pressman 2006] e que 88% dos projetos ultrapassam o prazo estipulado [Extreme Chaos 2011]. Diante deste cenrio, as ferramentas de testes automatizados surgem como uma alternativa para aumento da produtividade, reduo dos prazos e dos custos. A automao de testes consiste em utilizar um software para realizar testes que seriam executados manualmente e em vrios perodos da construo do software. O propsito da automao aplicar as estratgias de testes visando a reduo das atividades repetitivas. Atravs dos testes automatizados busca-se ganhar mais tempo e confiabilidade nos testes, essencial para o xito nos projetos de software. O Programa Aplicativo Fiscal - Emissor de Cupom Fiscal (PAF-ECF) o programa aplicativo desenvolvido para possibilitar o envio de comandos ao Software Bsico do ECF, sem capacidade de alter-lo ou ignor-lo, para utilizao pelo contribuinte usurio do ECF [Ato Cotepe 2010]. Este programa baseado no Convnio ICMS 09/09, no Ato COTEPE 06/08 14/04/2008 e no Roteiro de Anlise do PAFECF. Neste roteiro est descrito um conjunto de requisitos e testes especificados pelo FISCO, em que o software necessita cumprir para ter o seu uso legalizado junto a Secretaria da Fazenda (SEFAZ). Com o objetivo de reduzir o tempo de execuo dos testes do Roteiro de Anlise do PAF-ECF e assegurar maior confiabilidade, foi implantado no processo de Teste de Software da Total Informtica a automao de testes com a ferramenta comercial TestComplete, para execuo de parte dos testes do roteiro. Este trabalho descreve a experincia de adotar uma ferramenta de testes automatizados para os testes de homologao do Programa de Aplicativo Fiscal Emissor de Cupom Fiscal (PAF-ECF) no processo de testes da Total Informtica, estudo de caso deste artigo. Alm da introduo ao trabalho realizado, apresentada neste captulo, este trabalho encontra-se estruturado da seguinte forma: o segundo captulo aborda conceitos sobre testes automatizados e o terceiro captulo apresenta o PAF-ECF, objeto da automatizao dos testes. O quarto captulo apresenta a implantao dos testes automatizados e o retorno sobre o investimento realizado.

2. Teste de Software
A Engenharia de Software possui uma matria, que aborda esses aspectos de avaliao da qualidade do software, chamada Verificao e Validao (V & V). A verificao e validao, embora paream processos semelhantes, so duas anlises bem distintas do software. Enquanto a verificao tem como funo mostrar que o software atende s especificaes estabelecidas no projeto, a validao tem uma abordagem mais abrangente que analisa essas mesmas especificaes a fim de descobrir se essas satisfazem de fato o usurio. Ao avaliar essas duas vertentes, finalmente determinado se o sistema eficaz, atendendo a necessidade real do cliente. O Teste de Software uma tcnica dinmica da Validao e Verificao de um software. Esta tcnica tem como objetivo verificar se um software est de acordo com as especificaes e de acordo com as expectativas do usurio, assegurando a qualidade do sistema. A garantia da qualidade de um programa a principal meta das equipes de software que pretendem diminuir o retrabalho, resultando em menor custo, prazos atendidos e uma melhor colocao no mercado. O controle da qualidade garante tambm maior facilidade na manuteno do software, onde mudanas so melhor controladas e sem grandes impactos no funcionamento, garantindo aos usurios um sistema confivel e estvel. 2.1. Testes Automatizados A automao de testes consiste na simulao das aes de um usurio sobre um sistema a ser testado. O que ocorre uma interao entre o software de automao de testes e a aplicao a ser testada, executando passos que um ser humano faria, com algumas limitaes. O foco da automao de testes o controle e a execuo dos testes. Os conceitos principais so [Molinari 2010]: Gravador ou recorder: permite a gravao das aes que sero necessrias para a execuo do teste na aplicao. Estas aes sero gravadas em scripts de teste; Keyword Testing: consiste em representar os comandos que sero executados no teste em palavras-chave. Desta forma, os comandos ficam mais simples e de fcil compreenso, diminuindo o nmero de cdigo e trazendo facilidade de edio para os testadores no muito familiarizados com programao; Script de teste: a ferramenta oferece a possibilidade de desenvolver, ou gravar as aes e transform-las em uma linguagem de script; Executor de testes ou playback: executa as aes definidas nos scripts de teste; Ponto de verificao ou checkpoints: avalia um teste no ponto especificado pelo script de teste; Think time ou tempo de pensar: tempo de espera entre a execuo de uma ao e outra, a fim de simular uma interao das aes do usurio; Data-driven test: massa de dados que sero utilizados nos testes;

A automao de testes deve ser tratada como um projeto, havendo anlise, planejamento, desenvolvimento, execuo e manuteno. Alm dos conceitos citados,

outros elementos encontrados em um projeto de automao de testes so [Molinari 2010]: Documentao de teste: so os requisitos, casos de teste, relatrios da execuo de testes, documentos que descrevem e registram os testes; Resultados dos testes: documentos que descrevem os resultados da execuo dos testes. Contm as informaes necessrias para determinar se o teste passou ou falhou; Fontes: cpias dos cdigos fonte (scripts) dos sistemas testados; Executveis: so feitas cpias dos programas testados, dos programas driver (chama uma parte do cdigo em teste) e stubs (atua como se fosse a verdadeira unidade de cdigo a ser implementada) utilizados nos testes; Controle dos defeitos e problemas encontrados: registro dos problemas encontrados.

2.2. Problemas na Automao de Testes Os principais problemas que acontecem na implantao de testes automatizados so referentes s mudanas na interface da aplicao testada. Nos testes automatizados, os scripts possuem uma forte dependncia com os componentes da aplicao, j que esses componentes so mapeados pela ferramenta a fim de executar cliques e o pressionamento de teclas diretamente nesses componentes. Para resolver esse problema, os scripts devem ser desenvolvidos de maneira flexvel permitindo uma posterior manuteno do cdigo. Alm disso, necessria uma comunicao transparente e frequente entre as equipes de desenvolvimento e testes, com o objetivo de minimizar o impacto de mudanas da aplicao sobre os scripts j desenvolvidos na automao de teste. Outro desafio encontrado nos testes automatizados o tempo de implantao do processo de automao. necessrio realizar um planejamento e, posteriormente, a implementao dos scripts de testes. O tempo de implementao dos scripts bastante superior ao tempo de execuo dos testes manuais. importante lembrar que a automao de testes no substitui totalmente o trabalho manual e sim apoia a realizao de tarefas repetitivas. Mesmo com os testes automatizados, os testadores ainda precisam intervir em vrios aspectos que no podem ser automatizados. Existem situaes em que certos testes s podem ser feitos manualmente necessitando da habilidade do testador para definir caminhos alternativos para descoberta de erros. Mesmo no substituindo completamente o teste manual, os testes automatizados trazem grandes vantagens na economia de tempo e custos. O prximo captulo aborda o processo de homologao PAF-ECF, objeto da automao dos testes deste artigo.

3. PAF-ECF
3.1. Histrico e Conceitos At o ano de 1994 a automao comercial era composta por Mquinas Registradoras e Terminal Ponto de Venda (PDV), onde os comandos eram controlados via software interno. A partir de 1994, com o Ato COTEPE/ICMS 156/94, as impressoras fiscais (ECF-IF) foram lanadas no mercado e regulamentadas. O Emissor de Cupom Fiscal (ECF) o equipamento de automao comercial e fiscal com capacidade para emitir, armazenar e disponibilizar documentos fiscais e no fiscais e realizar controles de natureza fiscal referentes a operaes de circulao de mercadorias ou a prestao de servios, implementado na forma de impressora com finalidade especfica (ECF-IF) e dotado de Modulo Fiscal Blindado (MFB) que recebe comandos de Programa Aplicativo Fiscal Emissor de Cupom Fiscal (PAF-ECF) externo [Ato Cotepe 2010]. O funcionamento dos ECF-IF depende de comandos enviados por programa aplicativo externo; logo, os procedimentos de verificao e registros realizados pela COTEPE/ICMS deixaram de abranger parte das rotinas e funes, j que o modo de funcionamento tornou-se diferente. Devido necessidade de controlar os programas aplicativos que enviam comandos a Impressora Fiscal e regulamentar as empresas desenvolvedoras, o Fisco dos Estados criou o Programa de Aplicativo Fiscal Emissor de Cupom Fiscal (PAF-ECF). O PAF-ECF baseado no Convnio ICMS 09/09, no Ato COTEPE 06/08 14/04/2008 e no Roteiro de Anlise do PAF-ECF. O Convnio ICMS 09/09 estabelece normas relativas ao ECF e ao PAF-ECF, aplicveis ao fabricante ou importador de ECF, ao contribuinte usurio de ECF, s empresas interventoras e s empresas desenvolvedoras de PAF-ECF [Convnio ICMS 2010]. Aprovado pela Comisso Tcnica Permanente do ICMS (COTEPE/ICMS), o Ato COTEPE /ICMS 06/08, especifica os requisitos tcnicos do Emissor de Cupom Fiscal. O Roteiro de Anlise PAF-ECF descreve os testes correspondentes aos requisitos estabelecidos no Convnio ICMS 09/09 e no Ato COTEPE /ICMS 06/08. 3.2. Homologao A empresa que deseja ter seus aplicativos de automao comercial precisa desenvolvlos conforme o Ato COTEPE 06/08. Aps implementar os requisitos do PAF-ECF, a empresa deve submeter o software a anlise em um rgo tcnico credenciado pela CONFAZ (Conselho Nacional de Poltica Fazendria). O rgo tcnico credenciado avaliar o software atravs do Roteiro de Anlise do PAF-ECF, que est disponvel para todos [Roteiro de Anlise Funcional 2010]. Caso o software submetido cumpra todos os requisitos e passe nos testes do Roteiro, o rgo tcnico emite um laudo de anlise funcional do PAF-ECF. A partir disto a empresa solicita SEFAZ (Secretaria da Fazenda) um despacho, que sair no Dirio Oficial, comunicando registro do PAF-ECF. Emitido o despacho, a empresa pode submeter o laudo aos estados que fazem exigncia a esta homologao, junto com os documentos solicitados por cada estado. Cada Estado responsvel por credenciar as empresas e o software PAF-ECF para uso em seu territrio. S depois de ser credenciado no estado o contribuinte pode

utilizar o software PAF-ECF. O processo de homologao pode ser melhor visualizado na Figura 1.

Figura 1. Processo de Homologao PAF-ECF

O laudo de anlise funcional do PAF-ECF tem validade de 1 (um) ano para ser renovado; lembrando que se o software sofrer alteraes deve ser comunicado a SEFAZ do Estado. A cada ano os requisitos so atualizados e o software sofre alteraes; por este motivo, os testes nos softwares PAF-ECF tornam-se constantes. Para que o software seja homologado imprescindvel cumprir todos os requisitos do Roteiro de Anlise do PAF-ECF. 3.3. Roteiro de Anlise do PAF-ECF O Roteiro de Anlise do PAF-ECF descreve testes que correspondem aos requisitos estabelecidos para o PAF-ECF, sendo composto de 113 testes, divididos em sete blocos. Na descrio dos testes, alm dos passos e da referncia aos requisitos, tambm especificado a condio para que o requisito seja atendido e no atendido. Cada teste descreve passos para execuo individual, sem pausas ou interrupes e deve ser executado com um nico modelo de ECF. No entanto, o rgo credenciado pode solicitar quais ECFs sero utilizados durante a homologao. Parte do roteiro de anlise do PAF-ECF pode ser automatizado, necessitando apenas da conferncia dos cupons para atestar que o teste foi concludo com sucesso. Na prxima seo abordaremos a implantao a automao dos testes deste roteiro.

4. Implantao dos testes automatizados para testes do PAF-ECF

Nesta seo abordaremos a experincia da implantao dos testes automatizados no processo de testes da Total Informtica, empresa de desenvolvimento de sistemas para automao comercial.

O software PAF-ECF utilizado como estudo de caso o Dincash PDV. O Dincash PDV um sistema para frente de lojas, desenvolvido em Java, que atende ramos de atividade como supermercado, posto de combustvel e papelaria. A ferramenta para desenvolvimento dos testes automatizados o TestComplete, verso Standard, desenvolvido pela AutomatedQA. 4.1. Cenrio A Total Informtica possui clientes com contratos ativos em dezenove estados brasileiros, dos quais 15 destes estados exigem o cadastramento do PAF-ECF. A legislao deixa a critrio do usurio a escolha do ECF a ser utilizado com o software PAF-ECF, desde que o ECF esteja homologado pela SEFAZ. O Dincash PDV oferece suporte a ECFs de 13 fabricantes, totalizando 46 modelos. Cada impressora fiscal tem uma implementao diferenciada no sistema, devido aos recursos de hardware e bibliotecas de comunicao disponibilizada por cada fabricante. Para os testes automatizados foram utilizados ECFs de seis fabricantes diferentes. 4.2. Desenvolvimento dos Scripts Dos 86 testes do roteiro PAF que o sistema Dincash PDV atende, 35 foram implementados para a automao de testes, sendo sua maioria ainda com alguma interveno humana ao final da execuo dos testes. Para o desenvolvimento dos scripts foi utilizada a linguagem JScript . Estes scripts de testes foram desenvolvidos usando a funcionalidade de gravador ou recorder, que registra as aes do teste e as transforma em linguagem de script. Depois de obtido o script, foram utilizados recursos de manipulao de arquivos, controles dos componentes visuais da aplicao, inicializao e fechamento de processos, tempo de espera entre os comandos enviados, estruturas de repetio e de seleo, alm de pontos de verificao. Apesar de a ferramenta permitir o uso de recurso de keyword testing, foi prefervel o uso da programao dos scripts que os tornou mais flexveis para a sua manuteno e escalabilidade. Assim como exigido nos testes, os scripts foram desenvolvidos para acionarem impresso de cupons fiscais e tambm para a gerao dos arquivos exigidos a Programas Aplicativos Fiscais. Este desenvolvimento foi realizado no tempo de 180 horas aproximadamente. Os testes foram executados sequencialmente como descritos no roteiro PAF, em um tempo aproximado de 1 hora para cada impressora fiscal. Ao final da execuo de cada bateria de teste foram gerados os logs. Estes logs trouxeram informaes sobre a execuo de cada teste e informaes sobre a gerao dos arquivos, como local de gravao e validao desses arquivos em aplicativo especfico disponibilizado pela SEFAZ. 4.3. Dificuldades na Implantao Um dos problemas de implantao encontrados foi a falta de conhecimento prvio da ferramenta. A ferramenta TestComplete oferece uma gama de funcionalidades que do apoio no desenvolvimento dos testes automatizados. Para a implementao dos scripts

foi necessrio antes de tudo um tempo de aprendizado da ferramenta, analisando as funcionalidades e tcnicas adequadas. O sistema Dincash PDV ainda no possua uma verso final quando se iniciou a implementao dos testes automatizados. Durante a implementao dos scripts de teste, o sistema sofria alteraes tanto nas regras de negcio quanto na interface. Isso levou a um grande impacto no desenvolvimento dos scripts de teste, que acabavam sofrendo alteraes a todo o momento, sem possuir estabilidade para execuo. Diante desta situao, notou-se a necessidade de haver uma verso final do software para que a equipe de teste pudesse aplicar os scripts. 4.4. Retorno sobre Investimento O ROI (Return on Investiment) ou Retorno sobre Investimento a relao dos custos e benefcios de um investimento com o seu montante. Esta definio foi criada pela Gartner em 1977 e pode ser expressa atravs da frmula: ROI = (Vf Vi)/Vi , onde Vi o investimento inicial e Vf o valor final. O resultado desta frmula demonstra em percentagem o valor do retorno sobre o investimento. O investimento em testes automatizados no implica diretamente no aumento das vendas, onde poderamos medir o montante acumulado no perodo posterior a implantao dos processos. Entretanto, tal investimento traz benefcios tangveis e intangveis para a empresa. Sobre os benefcios tangveis podemos citar a economia do valor investido em testes manuais, o aumento da confiabilidade dos testes e a reduo do tempo de execuo dos testes. Sobre os benefcios intangveis citamos a confiabilidade e a satisfao do cliente com o produto. Ao investir em testes automatizados o Retorno sobre Investimento se d, principalmente, pela economia no valor investido em testes manuais e na reduo do tempo na execuo dos testes. O ROI em testes automatizados calculado a partir da diferena entre o custo dos testes automatizados (Cta) e do custo dos testes manuais (Ctm) nas iteraes, somado ao ROI da iterao anterior (ROIant). As iteraes podem ser as verses do software liberadas para o cliente ou at mesmo um ciclo de testes ao qual o software foi submetido e o roteiro de testes executado. Para clculo do retorno sobre investimento deste estudo de caso vamos utilizar cinco iteraes, considerando o prazo limite de um ano. O ROI de cada interao calculado pela frmula: ROI = ROIant - ( Ctm - Cta) O custo dos testes automatizados (Cta) dado pelo valor do investimento inicial (Ita) somado ao valor de manuteno dos scripts (Cmta). O valor do investimento inicial inclui o valor da licena da ferramenta utilizada (Cl), o custo de treinamento (Tr) e o custo da implementao dos scripts. O custo de implementao dos scripts dado pelo valor/hora do analista de testes automatizados (Vhta) multiplicado pelo nmero de horas utilizadas para codificao dos scripts (Tis). A manuteno dos scripts inclui apenas o custo de manuteno dos scripts (Cmta), que dado pelo nmero de horas (Tm) necessrio a manuteno multiplicada pelo valor/hora do analista de testes automatizados (Vhta). A frmula de clculo do custo de testes automatizados e de manuteno dos testes automatizados pode ser melhor visualizada abaixo. Cta = (Ita + Cmta)

Ita = Cl + Tr + (Tis * Vhta) Cmta = Tm*Vhta O custo dos testes manuais (Ctm) feito apenas multiplicando o valor/hora do analista de testes (Vh) pela quantidade de horas necessrias a execuo manual (Tem) do roteiro de testes. O custo da manuteno dos testes manuais (Cmtm) calculado da mesma forma, multiplicando o tempo de manuteno (Tmm) pelo valor/hora do analista de testes (Vh). A manuteno dos testes manuais abrange a atividade de teste de regresso, onde o problema encontrado na execuo do roteiro foi corrigido pela equipe de desenvolvimento e ser testado novamente. A frmula de clculo do custo de testes manuais e de manuteno dos testes manuais pode ser melhor visualizada abaixo. Ctm = Vh * Tem Cmtm = Tmm * Vh Para cada iterao feito o clculo do retorno sobre investimento de testes automatizados e ento possvel projetar em qual iterao o investimento realizado em testes automatizados ser retornado. O valor da primeira iterao o maior, pois onde est includo o custo de implantao do processo. Nas prximas iteraes apresentado apenas o custo de manuteno, com um nmero de horas estimado, sujeito a variaes. Em nosso estudo de caso a partir da terceira iterao j possvel visualizar o valor economizado no investimento em testes automatizados. Quando o valor do Retorno sobre Investimento negativo, significa que ainda no houve economia, apenas investimentos. Quando est positivo, significa que o valor estipulado foi economizado ao optar pela execuo do teste automatizado. Os valores investidos para implantao dos testes automatizados podem ser visualizados na Tabela 1.
Tabela 1. Investimentos para implantao da automao de testes
Item Licena TestComplete (1 ano) Treinamento Custo de Implementao dos Scripts Total Custo R$ 1.668,331 R$ 490,00 R$ 1.232,00 R$ 3.390,33

Neste estudo de caso o retorno sobre investimento ser observado a partir da terceira iterao, conforme demonstra a Figura 2. Isto significa que, por exemplo, na terceira iterao ser economizado R$173,67 com a execuo do teste automatizado ao invs da execuo do teste manual.

Figura 2. ROI em cada iterao do software

Custo: $999 - Cotao Real/Dlar: R$1,67 em 06/01/2011

Uma comparao entre o valor investido inicialmente em testes automatizados, os custos de manuteno de testes manuais e automatizados, e o Retorno sobre Investimento podem ser melhor visualizados no grfico da Figura 3.

Figura 3. Grfico do ROI em cada iterao

4.5. Resultados O roteiro de Anlise PAF-ECF possui 113 testes, onde 86 testes so obrigatrios para o Dincash PDV. Dos testes obrigatrios, 35 foram automatizados. A execuo dos testes que foram automatizados por um Analista de Testes com experincia leva no mnimo 20 horas, para cada impressora fiscal. Ao executar os testes automatizados levou-se em mdia 1 hora, para cada impressora fiscal. Na execuo do roteiro por um Analista de Testes no existe o tempo de implementao, pois o roteiro de testes com os casos de testes j disponibilizado pela CONFAZ. O tempo gasto nos testes manuais apenas de execuo por parte do testador. Ao executar o roteiro com os scripts de testes automatizados, o tempo de implementao grande, sendo cerca de 180 horas. Porm, a execuo dos testes cerca de 20 vezes menor. Um grfico que compara os tempos de execuo de testes manuais e automatizados (Figura 4). O tempo de execuo por ECF no tem representatividade no grfico porque o tempo de 1 hora, aproximadamente.

Figura 4. Comparativo do tempo de implementao, manuteno e execuo dos testes automatizados e manuais

Outra vantagem da execuo dos testes automatizados a confiabilidade dos testes. Aps a execuo dos testes o analista de testes automatizados apenas confere se os cupons foram emitidos corretamente, junto com os logs gerados. O usurio do software PAF-ECF homologado s poder atualizar a sua verso se a atualizao j houver sido comunicada a SEFAZ do estado. A atualizao do software junto a SEFAZ envolve a submisso de documentos e, a depender do estado, o pagamento de uma taxa. Com os testes automatizados, realizar os testes antes de liberar as verses feito de maneira mais rpida e confivel. O ganho de tempo na execuo dos testes, alm de gerar uma economia financeira, disponibiliza tempo para que os analistas de testes envolvidos sejam alocados em outras atividades que no envolvam testes repetitivos, como os do roteiro citado.

5. Concluso
Neste trabalho foram apresentados resultados da automao de testes para homologao de um software PAF-ECF. Com a execuo dos testes automatizados o ciclo de testes ocorreu em um perodo menor, com maior cobertura para impressoras fiscais diferentes e maior segurana. Apesar do custo elevado na implantao da automao de testes no processo de teste de software e do tempo de implementao dos scripts, houve economia de recursos ao utilizar testes automatizados, em comparao com a execuo de testes manuais. Como trabalho futuro pretende-se realizar novos casos de estudo com softwares de plataformas diferentes, bem como aumentar o escopo das mtricas relacionadas ao tempo de manuteno dos testes automatizados e a reusabilidade dos scripts.

6. Referncias
Ato COTEPE/ICMS N 16, de 19 de maro de 2009 (2011) http://www.fazenda.gov.br/confaz/confaz/Atos/Atos_Cotepe/2009/AC016_09.htm, dezembro de 2010. Convnio ICMS N 9, de 3 de abril de 2009 (2011) http://www.fazenda.gov.br/confaz/confaz/Convenios/ICMS/2009/cv009_09.htm, dezembro de 2010. EXTREME CHAOS Project Resolution The Historical Perspective (2011) http://www.standishgroup.com/sample_research/showfile.php?File=extreme_chaos.p df , janeiro de 2011. IEEE Standard Glossary of Software Engineering Terminology http://ieeexplore.ieee.org/servlet/opac?punumber=2238, janeiro de 2011. Pressman, R. S (2006). Engenharia de Software. McGraw-Hill, 6 edio. Roteiro de Anlise Funcional de Programa Aplicativo Fiscal - Emissor de Cupom Fiscal (2010) http://www.fazenda.gov.br/confaz/confaz/diversos/ROTEIRO_DE_ANALISE_DE_ PAF-ECF_VERSAO_1_4.pdf, dezembro de 2010. Sommerville, I (2007). Software Engineering. Pearson Education Limited, 8 edio. (2011)

Molinari, L (2010). Inovao e Automao de Testes de Software. rica Ltda, 1 edio.