Qualidade do

Produto de
Software

Normas e Modelos
de Qualidade do Produto de Software
ISO/IEC 9126
Caractersticas de qualidade de software

ISO/IEC 14598
Guias para Avaliao de Produto de Software

ISO 25000 (SQuaRE)

Reformulao da 9126+14598

2/59

Fatores de Qualidade do
Produto de Software
A noo de qualidade de software pode ser
descrita por um grupo de fatores, requisitos ou
atributos, tais como: confiabilidade, eficincia,
facilidade de uso, modularidade, legibilidade, etc;
Podemos classificar estes fatores em dois tipos:
externos e internos.

Fatores Externos
Fatores Internos
3/59

A Norma ISO/IEC 9126

uma norma composta por um
conjunto de caractersticas que devem
ser verificadas em um software para
que ele seja considerado um "software
de qualidade".

4/59

A Norma ISO/IEC 9126:

estrutura

ISO/IEC 9126-1: Modelo de Qualidade

ISO/IEC 9126-2: Mtricas Externas
ISO/IEC 9126-3: Mtricas Internas
ISO/IEC 9126-4: Mtricas de Qualidade
em Uso

5/59

ISO/IEC 9126-1 - Modelo de Qualidade

Documento composto basicamente de
definies para as caractersticas de
qualidade

6/59

ISO/IEC 9126-1 - Modelo de Qualidade

Interna e Externa

Para qualquer requisito de qualidade interna ou externa deve ser

possvel especific-lo utilizando-se apenas as seis caractersticas.
7/59

ISO 91261: Modelo de

qualidade para qualidade em uso
Viso de qualidade do usurio

8/59

Medio do Produto de
Software: ISO 91262..4
Definies
Atributo: Uma propriedade mensurvel, fsica
ou abstrata, de uma entidade. Atributos podem
ser internos ou externos.
Medio: O uso de uma mtrica para atribuir um
valor (o qual pode ser um nmero ou uma
categoria), obtido a partir de uma escala, a um
atributo de uma entidade.
Mtrica: O mtodo e a escala de medio
definidos.
9/59

Medio do Produto de Software:

seleo de mtricas
As caractersticas de qualidade no permitem
medio direta.
necessrio estabelecer mtricas que se
correlacionem s caractersticas do produto
de software.
Todo atributo interno quantificvel do
software e todo atributo externo quantificvel
do software interagindo com seu ambiente e
que se correlacione com uma caracterstica,
pode ser definido como uma mtrica.
10/59

ISO/IEC 9126-2 - Mtricas Externas

Define indicadores e mtricas externas
para avaliar um produto de software.
Referem-se a medies indiretas de um
produto de software a partir do
comportamento do Sistema
Computacional ou do seu efeito no
ambiente, quando da execuo de seus
programas
11/59

ISO/IEC 9126-2 - Mtricas Externas

Permite definir a medio somente para
aquelas
caractersticas
que
so
determinantes para o produto de
software desejado.
A separao das caractersticas de
qualidade permite a atribuio de pesos
de forma a reforar a importncia desta
ou daquela caracterstica.
12/59

ISO/IEC 9126-2 - Mtricas Externas

Devem ser usadas para:
avaliar o comportamento do software quando usado
em situaes especficas;
predizer a qualidade real no uso;
avaliar e indicar se o produto satisfaz as verdadeiras
necessidades durante a operao real pelo usurio.

Exemplo:
Caracterstica: Funcionalidade
Sub-caracterstica: Adequao
quantidade de funes atendidas, que podero ser subdivididas
em desejveis e obrigatrias.

13/59

ISO/IEC 9126-2 - Mtricas Externas

1.Mtricas de Funcionalidade
Medem atributos que evidenciam o
comportamento do sistema que contm o
software.

14/59

ISO/IEC 9126-2 - Mtricas Externas

1.1.Mtricas de Adequao

Medem atributos do software que evidenciam um conjunto

de funes e sua apropriao para as tarefas
especificadas.
Mtrica Externa
Cobertura das
implementadas

funes

Frmula

Interpretao

Tipo da Medida

X =A/ B
A = Nmero de funes
implementadas em
teste.
B = Nmero de
funes especificadas.

0 <= X <=1
Melhor resultado prximo de 1.

A = Contagem
B = Contagem
X= Contagem
/Contagem

15/59

ISO/IEC 9126-2 - Mtricas Externas

2. Mtricas de Confiabilidade
Medem atributos que evidenciam a
capacidade do software de manter seu
nvel de desempenho sob condies
estabelecidas durante um perodo de
tempo estabelecido.

16/59

ISO/IEC 9126-2 - Mtricas Externas

2.1. Mtricas de Maturidade

Medem atributos do software que evidenciam quo livre o

software est de ocorrncias de falhas internas.
Mtrica Externa

Frmula

Interpretao

Tipo da Medida

Resoluo de Falhas

X =A/ B
A = Nmero de falhas
resolvidas.
B= Nmero Total de
Falhas de falhas
detectadas

0 <= X <=1
Melhor resultado prximo de 1.

A = Contagem
B = Contagem
X= Contagem
/Contagem

17/59

ISO/IEC 9126-2 - Mtricas Externas

3. Mtricas de Usabilidade
Medem atributos que evidenciam o esforo
necessrio para poder-se utilizar o
software, bem como o julgamento
individual deste uso, por um conjunto
implcito ou explcito de usurios.

18/59

ISO/IEC 9126-2 - Mtricas Externas

3.1. Mtricas de Inteligibilidade
- Medem os atributos que evidenciam o esforo do usurio para
reconhecer o conceito lgico e sua aplicabilidade.
Mtrica Externa
Entendimento
entrada/sada

da

Frmula

Interpretao

Tipo da Medida

X=A/B
A= Nmero de funes
onde o usurio
compreende com
sucesso os dados de
entrada e sada em um
curto perodo de
avaliao.

0 <= X <=1
Melhor resultado prximo de 1.

A = Contagem
B = Contagem
X= Contagem
/Contagem

B= Nmero de funes
onde o usurio
compreende com
sucesso os dados de
entrada e sada em um
perodo de observao.

19/59

ISO/IEC 9126-2 - Mtricas Externas

4. Mtricas de Eficincia
Medem os atributos que evidenciam o
relacionamento
entre
o
nvel
de
desempenho do software e a quantidade
de recursos usados, sob condies
estabelecidas.

20/59

ISO/IEC 9126-2 - Mtricas Externas

4.1. Mtricas de Comportamento em relao aos
recursos
-

Medem os atributos do software que evidenciam a

quantidade de recursos usados e a durao de seu uso na
execuo de suas funes.
Mtrica Externa

Frmula

Interpretao

Tipo da Medida

Utilizao da Memria

X =A/ B
A = Quantidade de
memria utilizada
B = Memria total

0 <= X <= 1
Valor prximo da mdia o
melhor.

A= Tamanho
B= Tamanho
X= Tamanho

21/59

ISO/IEC 9126-2 - Mtricas Externas

5. Mtricas de Portabilidade
- Medem os atributos do software que
evidenciam a capacidade do software em
ser transferido de um ambiente para outro.

22/59

ISO/IEC 9126-2 - Mtricas Externas

5.1 Mtricas de Capacidade para ser
instalado
Medem os atributos do software que evidenciam o
esforo necessrio para sua instalao num ambiente
especificado.
Mtrica Externa
Pouco
esforo
instalao

para

Frmula

Interpretao

Tipo da Medida

X=A
A= Nmero de manuias
de usurio necessrios
para instalao.

0<X
O menor valor o
melhor.

A= Contagem
X= Contagem

23/59

ISO/IEC 9126-2 - Mtricas Externas

6. Mtricas de Manutenibilidade
Medem os atributos que evidenciam o
esforo necessrio para fazer
modificaes especificadas no software.

24/59

ISO/IEC 9126-2 - Mtricas Externas

6.1 Mtricas de Modificabilidade
Medem os atributos do software que evidenciam o
esforo necessrio para modific-lo, remover seus
defeitos ou adapt-lo a mudanas ambientais.
Mtrica Externa

Frmula

Interpretao

Tipo da Medida

Facilidade nas mudanas

X = A/ B
A= Soma do tempo
dedicado mudana.
B= Tamanho do software
modificado.

0 <=X
Quanto mais prximo de
zero melhor

A= Tempo
B= Tempo
X= Tamanho

25/59

ISO/IEC 9126-3 - Mtricas Internas

Define indicadores e mtricas internas
para avaliar um produto de software
Mtricas internas referem-se a
medies de um produto de software a
partir de suas prprias caractersticas
internas, sem a necessidade de
execuo dos programas.
Exemplos: nmero de linhas de cdigo, nmero
de erros encontrados em revises, etc.
26/59

ISO/IEC 9126-3 - Mtricas

Internas
As mtricas internas oferecem a
possibilidade de medir a qualidade dos
artefatos intermedirios e de prever a
qualidade do produto final
Isto permite que sejam identificados
problemas de qualidade e se inicie a
ao corretiva assim que possvel no
ciclo de vida do desenvolvimento.
27/59

ISO/IEC 9126-3 - Mtricas Internas

Mtricas para as caractersticas e
sub-caractersticas de qualidade
1. Mtricas internas de Funcionalidade

So usadas para prever se o produto de software em

questo ir satisfazer os requisitos funcionais e suprir
as necessidades dos usurios.

28/59

ISO/IEC 9126-3 - Mtricas Internas

1.1 Mtricas de Segurana
Indicam um conjunto de atributos para avaliar a capacidade
do produto de software de evitar acesso ilegal ao sistema e
a seus dados.
Mtrica Interna

Frmula

Interpretao

Tipo da Medida

Preveno da corrupo
dos dados

X=A/B
A= Nmero de instncias
implementadas de
preveno de corrupo
de dados como
especificado na reviso.
B= Nmero de instncias
de operao/acesso
identificadas nos
requisitos capazes de
corromper os dados.

0 <= X <=1
Melhor resultado prximo de
1.

A = Contagem
B = Contagem
X= Contagem
/Contagem

29/59

ISO/IEC 9126-3 - Mtricas Internas

Mtricas internas de Confiabilidade
- So usadas para prever se o produto de
software em questo ir satisfazer, na fase de
desenvolvimento do produto, necessidades de
confiabilidade preestabelecidas.

30/59

ISO/IEC 9126-3 - Mtricas Internas

2.1 Tolerncia a falhas
Indicam um conjunto de atributos para avaliar a capacidade
do produto de software de manter um nvel de performance
desejvel em caso de falhas operacionais ou uso no
natural das interfaces.
Mtrica Interna

Frmula

Interpretao

Tipo da Medida

No permisso de operaes
incorretas

X=A/B
A=Nmero de
funes
implementadas para
evitar padres de
operaes incorretas.
B=Nmero de
operaes incorretas
que sero
consideradas.

0 <= X
Melhor resultado para X
maiores.

A = Contagem
B = Contagem
X= Contagem
/Contagem

31/59

ISO/IEC 9126-3 - Mtricas Internas

3. Mtricas internas de Usabilidade
- So usadas para prever em que extenso o
software em questo poder ser entendido,
aprendido, operado, atraente ao usurio e
compatvel com os regulamentos de
usabilidade.

32/59

ISO/IEC 9126-3 - Mtricas Internas

3.1 Mtricas de aprendizado
Avaliam quanto tempo os usurios levaro para aprender a
usar funcionalidades particulares do sistema e a eficcia
dos sistemas de ajuda e documentao.
Mtrica Interna

Frmula

Interpretao

Tipo da Medida

Completude
da
documentao
para
o
usurio e facilidade de uso
dos sistemas de ajuda.

X= A/B
A= Nmero de
funes descritas
no documento.
B= Nmero total
de funes do
sistema.

0 <= X <=1
Melhor
resultado
prximo de 1.

A = Contagem
B = Contagem
X= Contagem
/Contagem

33/59

ISO/IEC 9126-3 - Mtricas Internas

4. Mtricas internas de Eficincia
- So usadas para prever a eficincia do
comportamento do produto de software
durante os testes ou operao.

34/59

ISO/IEC 9126-3 - Mtricas Internas

4.1 Mtricas de utilizao de recursos
Indicam um conjunto de atributos para prever a utilizao de
recursos de hardware pelo sistema computacional incluindo
o produto de software durantes os testes ou operao.

Mtrica Interna

Frmula

Interpretao

Tipo da Medida

Utilizao de Entrada e
Sada

X=nmero de
buffers(calculados
ou simulados)

Quanto menor, melhor o

resultado .

X= Tamanho

35/59

ISO/IEC 9126-3 - Mtricas Internas

5. Mtricas internas de Manutenabilidade
- So usadas para prever o nvel de esforo
necessrio para modificar o produto de
software.

36/59

ISO/IEC 9126-3 - Mtricas Internas

5.1 Mtricas de custo de mudana
Indicam um conjunto de atributos para prever o tempo de
esforo necessrio na tentativa de implementao de uma
mudana no produto de software.
Mtrica Interna

Frmula

Interpretao

Tipo da Medida

Impacto da mudana

X=1-A/B
A= Nmero de
impactos
detectados aps
as modificaes
B=Nmero de
modificaes
feitas.

0 <= X <=1
Melhor
prximo de 1.

A = Contagem
B = Contagem
X= Contagem
/Contagem

resultado

37/59

ISO/IEC 9126-3 - Mtricas Internas

6. Mtricas internas de Portabilidade
- So usadas para prever o efeito que o produto
de software ter no comportamento do sistema
durante quando ele est sendo portado.

38/59

ISO/IEC 9126-3 - Mtricas Internas

6.1 Mtricas de Adaptabilidade
Indicam um conjunto de atributos para prever o impacto que
o produto de software pode ter no esforo do usurio ao
tentar adapt-lo a outros ambientes.
Mtrica Interna

Frmula

Interpretao

Tipo da Medida

Adaptabilidade ao ambiente
de hardware

X=A/B
A= Nmero de
funes
implementadas
capazes de ter os
mesmos resultados
em diferentes
ambientes de
hardware
B=Nmero total de
funes com
requisitos de
capacidade de
adaptao de
hardware.

0 <= X <=1
Melhor resultado prximo
de 1.

A = Contagem
B = Contagem
X= Contagem
/Contagem

39/59

ISO/IEC 9126-4 - Mtricas de

Qualidade em Uso
A avaliao da Qualidade em Uso do
software valida a qualidade do produto em
cenrios e tarefas comuns ao usurio
Os atributos da qualidade em uso so
categorizados pelas caractersticas:
efetividade, produtividade, segurana e
satisfao
Usurios tambm podem desenvolver e
aplicar mtricas para seus domnios
particulares de aplicao
40/59

ISO/IEC 9126-4 - Mtricas de

Qualidade em Uso: exemplo
Efetividade
Nome da Mtrica: Tarefas Completadas
Propsito: determinar proporo de tarefas completadas
Frmula: (# tarefas compltadas/ # tarefas tentadas)
Interpretao: 0 <= x <= 1, quanto mais prximo de 1, melhor
Entradas: relatrio de operao, registro de histrico de uso

41/59

Qualidade no Ciclo de Vida do

Software

42/59

Relacionamento entre os Tipos

de Mtricas
Qualidade interna e externa so aplicveis ao
produto de software
Qualidade em uso aplicvel ao efeito do produto de
software em um cenrio especfico
As mtricas internas podem ser aplicadas a um
produto de software no executvel
As mtricas externas podem ser usadas para medir a
qualidade do produto de software atravs da medio
de seu comportamento em um sistema do qual ele
faa parte
As mtricas de qualidade em uso medem o quanto o
produto agrega s necessidades de usurios
especficos
43/59

Certificao da Qualidade do
Produto
Conjunto planejado e sistemtico de
todas as aes necessrias para
fornecer uma confiana adequada de
que o item ou produto est de acordo
com os requisitos tcnicos
estabelecidos. (ANSI/IEEE Std 730-1984)

44/59

A Norma ISO/IEC 14598

Como avaliar um software de
acordo com as caractersticas
estabelecidas???

45/59

A Norma ISO/IEC 14598

Orienta o planejamento e a execuo de
um processo de avaliao da qualidade
do produto de software
Complementa a ISO/IEC 9126.
Inclui modelos para relatrios de
avaliao, tcnicas para medio das
caractersticas, documentos necessrios
para avaliao e fases da avaliao
46/59

A Norma ISO/IEC 14598:

vises

Certificao

Quem realiza

Finalidade

de 1a. parte

Empresas que desenvolvem software

Melhorar a qualidade de seu prprio produto

de 2a. parte

Empresas que adquirem software

Determinar a qualidade do produto que iro adquirir

de 3a. parte

Empresas que fazem certificao

Emitir documento oficial sobre a qualidade de um software

47/59

A Norma ISO/IEC 14598:

estrutura
Norma

Nome

Finalidade

14598-1

Viso Geral

Ensina a utilizar as outras normas do grupo

14598-2

Planejamento e Gerenciamento

Sobre como fazer uma avaliao, de forma geral

14598-3

Guia para Desenvolvedores

Como avaliar sob o ponto do vista de quem desenvolve

14598-4

Guia para Aquisio

Como avaliar sob o ponto de vista de quem vai adquirir

14598-5

Guia para Avaliao

Como avaliar sob o ponto de vista de quem certifica

14598-6

Mdulos de Avaliao

Detalhes sobre como avaliar cada caracterstica

48/59

A Norma ISO/IEC 14598

Modelo de relatrio de avaliao, segundo um anexo
da norma ISO/IEC 14598-5.
Seo

Itens

1 - Prefcio

Identificao do avaliador
Identificao do relatrio de avaliao
Identificao do contratante e fornecedor

2 - Requisitos

Descrio geral do domnio de aplicao do produto

Descrio geral dos objetivos do produto
Lista dos requisitos de qualidade, incluindo
- Informaes do produto a serem avaliadas
- Referncias s caractersticas de qualidade
- Nveis de avaliao

3 - Especificao

Abrangncia da avaliao
Referncia cruzada entre os requisitos de avaliao e os componentes do produto
Especificao das medies e dos pontos de verificao
Mapeamento entre a especificao das medies com os requisitos de avaliao

4 - Mtodos

Mtodos e componentes nos quais o mtodo ser aplicado

5 - Resultado

Resultados da avaliao propriamente ditos

Resultados intermedirios e decises de interpretao
Referncia s ferramentas utilizadas

49/59

A Norma ISO/IEC 14598

Em resumo:
complementa a ISO/IEC 9126;
permite uma avaliao padronizada das caractersticas
de qualidade de um software.

importante notar que, ao contrrio da ISO/IEC

9126, a ISO/IEC 14598 apresenta detalhes,
incluindo:

modelos para relatrios de avaliao;

tcnicas para medio das caractersticas;
documentos necessrios para avaliao
fases da avaliao.

50/59

Projeto SQuaRE
SQuaRE Software Product Quality
Requirements and Evaluation (ISO
25000)

Requisitos
de
Qualidade
2503n

Modelo de
Qualidade
2501n
Gesto
de Qualidade
2501n

Avaliao
2504n

Medies
2501n
51/59

Square Normas Publicadas

ISO/IEC 25000 - Software engineering - Software product Quality Requirements
and Evaluation (SQuaRE) - Guide to SQuaRE;
ISO/IEC 25001 - Software engineering Software product Quality
Requirements and Evaluation (SQuaRE) Planning and management;
ISO/IEC 25020 - Software engineering - Software product Quality Requirements
and Evaluation (SQuaRE) - Measurement reference model and guide;
ISO/IEC TR 25021 - Software Engineering: Software product Quality
Requirements and Evaluation (SQuaRE) - Quality measure elements;
ISO/IEC 25030 - Software engineering Software product Quality
Requirements and Evaluation (SQuaRE) Quality requirements;
ISO/IEC 25051 Software Engineering Software product Quality Requirements
and Evaluation (SQuaRE) Requirements for quality of Commercial Off-TheShelf (COTS) software product and instructions for testing; e
ISO/IEC 25062, Software engineering: Software product Quality Requirements
and Evaluation (SquaRe) - Common Industry Format (CIF) for Usability Test
Reports.
52/59

Tcnicas de Avaliao de
Produto de Software
Podemos destacar:
Testes
Revises

53/59

Modelos de Maturidade para

Testes
Modelos de referncia para o processo de
desenvolvimento so superficiais em relao
s atividades de testes
Modelos de maturidade para testes
modelos de referncia para a definio de
processos de testes mais eficientes.
Investir em processo falho desperdiar
mais recursos para obter os mesmos
resultados.
54/59

Test Process Improvement - TPI

20 reas chaves dividas em:

ciclo de vida do desenvolvimento do software;

tcnicas de planejamento e testes;
infra-estrutura do ambiente de testes;
fatores organizacionais.
reas Chave

Nveis

Pontos de Verificao

Matriz
Matriz de
Maturidade
Maturidade
De
De Teste

Sugestes de
Melhoria

55/59

Test Maturity Model Integration - TMMI

Baseado no
CMMI
5 nveis de
maturidade,
reas de
processo
definidas para
cada nvel

Otimizao
Gerenciamento
e Medio
Integrao
Definio
Inicial

56/59

Test Improvement Model - TIM

Desenvolvido pela Ericson, Subotic, Ursing
5 nveis de maturidade:

Nvel 0
Nvel 1 Baseline
Nvel 2 Cost-efectiveness
Nvel 3 Risk-lowering
Nvel 4 Optimizing

Aspectos:

Organizao
Planejamento e rastreabilidade
Casos de testes
Testware
Revises
57/59

Concluso
Produzir software de qualidade uma
tarefa difcil, porm possvel.
O processo de avaliao de produtos de
software complementa o processo de
desenvolvimento

58/59

Concluso
So vrios os benefcios alcanados
decorrentes da avaliao de produtos de
software:
O produtor poder assegurar a qualidade do produto final;
Reduo nos custos com a manuteno do software;
O usurio ficar mais satisfeito, pois estar adquirindo um
produto de qualidade;
O vendedor poder usar como argumento de venda a
qualidade assegurada do produto que est vendendo;
Organizaes podero exigir critrios de qualificao com
propsitos especficos.
59/59