ISO/IEC/IEEE 29119

El nuevo estndar
internacional para pruebas
de software

Grupo de trabajo

AEN/CTN 71/SC7/GT26 Ingeniera del Software y

Sistemas de Informacin Pruebas del Software
http://in2test.lsi.uniovi.es/gt26/
Madrid, 18 de Junio de 2014
 Grupo de Trabajo
AEN/CTN71/SC7/GT26 Pruebas de Software

Javier Tuya
Celestina
Universidad de Oviedo
Bianco
(coordinador del GT26)

Ramn Lema
Manuel Fdez.
Juan M. Valera
Lidia Cruz
Clara Garca

Ewout van Driel M Jos Escalona

Serial Testers Isabel Ramos

Jos Maran Xavier

Awnaba Software Escudero

Total: 18 miembros, 12 organizaciones diferentes

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 2
ISO/AENOR Estructura de
Comits y Grupos de trabajo
ISO/IEC & Organismos Comits ISO y Grupos de
nacionales Trabajo:
ISO: International Organization
for Standarization
ISO IEC AENOR
JTC1: Tecnologa de la
Informacin
SC7: Ingeniera de Software y
JTC1 CTN71 Sistemas
WG26: Pruebas de software
Organismos nacionales (ES)
SC7 SC7
AENOR: Asociacin Espaola
de Normalizacin y Certificacin
GT26: Pruebas del Software
WG26 GT26
http://in2test.lsi.uniovi.es/gt26/

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 3

Contenidos

Estndares para pruebas y problemtica

Elaboracin y estructura de ISO/IEC/IEEE
29119 Software Testing
Parte 1 Conceptos y definiciones
Parte 2 Modelo de procesos de pruebas
Parte 3 Documentacin de pruebas
Parte 4 Tcnicas de prueba
Estado actual, futuro y conclusin

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 4

Para qu un estndar para
Pruebas de software?
Cuerpo de conocimiento como base
para esta disciplina profesional
Alto grado de acuerdo internacional
Adaptable (Tayloring)
Cliente:
Confianza en el proveedor
Benchmark para buena prctica industrial
Vinculacin contractual
Proveedor:
Comunicacin terminologa comn
Certificacin/Acreditacin, marketing
Cualificacin professional, formacin
Mejora continua, Interoperabilidad, consistencia
AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 5
Qu estndares para Pruebas
de Software podramos usar?
Estndares BSI
BS 7925-1, SW Testing: Part 1-Vocabulary
BS 7925-2, SW Testing: Part 2-Software Component Testing
Estndares IEEE testing:
IEEE Std 829, Software Test Documentation
IEEE Std 1008, Software Unit Testing
Estndares sectoriales
Cuerpo de conocimiento y metodologas, p.e.
ISTQB
TMap Next
Otros estndares de tipo general: ISO/IEC 12207, 15289

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 6

Qu problemas plantean
algunos de estos estndares?
IEEE & BSI Standards
IEEE 829: documentacin (proceso implcito)
IEEE 1008: pruebas unitarias
BS 7925-1 & 2: pruebas unitarias
Aspectos clave sin cubrir para un estndar de propsito
general:
Pruebas no unitarias (integracin, sistema, aceptacin)
Modelo de procesos explctio
Aspectos organizativos y gestin del proyecto. Riesgos
Visin ms completa de tcnicas de prueba
Definiciones en conflicto, procesos y procedimientos
Qu estndar seguir?
AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 7
ISO/IEC/IEEE 29119 Software
Testing - Inicio
Propuesta de proyecto 29119 de ISO: Feb 2007
Alcance: This project will produce a software testing
standard applicable to all types of software products
and software-intensive systems
Propsito: to unify and integrate the currently
fragmented corpus of normative literature regarding
testing that is currently offered by three distinct
standards-makers: BSI, IEEE, and ISO/IEC JTC 1/SC
7. The result of the project will be a consistent, unified
treatment adopted by all three organizations
Cuatro partes (Conceptos, procesos,
documentacin, diseo de pruebas)
AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 8
ISO/IEC/IEEE 29119 Software
Testing - Estructura
Parte 1
BS 7925-1
Conceptos y Definiciones

Parte 4 Parte 2 Parte 3

Tcnicas de
Procesos Documentacin
Prueba

BS 7925-2 IEEE 829

Parte 5 ISO/IEC 33063 Parte 6

IEEE 1028
Pruebas Tcnicas de
Dirigidas por Evaluacin de Pruebas
Palabras Clave Procesos Estticas
 ISO/IEC/IEEE 29119 - Elaboracin
Working Draft (WD)
Partes 1, 2 & 3
Committee Draft (CD)
Draft International Standard (DIS) Parte 4
Final Draft International Standard (FDIS)
International Standard Parte 5

FDIS
DIS
CD3
CD2
CD1 FDIS
WD DIS2
DIS1
CD3
CD2
CD1
WD CD
WD

May May May May May

10 11 12 13 14

ISO/IEC/IEEE 29119 Pruebas de software

Parte 1 Conceptos y Definiciones

Trminos y definiciones
prueba esttica y dinmica, base de prueba, tipo de prueba,
subproceso de prueba
Conceptos sobre pruebas de software:
Las pruebas de software en las organizaciones
Los procesos de prueba en los ciclos de vidas (visin
general)
Pruebas basadas en riesgos
Subprocesos de prueba
Estrategias de prueba
Automatizacin de las pruebas
Problemas en la gestin

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 11

Parte 1 Conceptos y Definiciones

Anexos:
ANEXO A. El papel de las pruebas en la verificacin y la
validacin
ANEXO B. Mtricas
ANEXO C. Pruebas en diferentes modelos de ciclo de vida
(Desarrollo gil, Desarrollo secuencial, Desarrollo evolutivo)
ANEXO D. Ejemplos de subprocesos de prueba detallados
(Aceptacin, Desarrollo, Integracin, Personalizacin, Regresin, etc.)
ANEXO E. Roles y responsabilidades en el testing

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 12

Parte 2 - Modelo de Procesos
de pruebas
Procesos de prueba de la organizacin

Procesos de gestin de las pruebas

Control y
Planificacin Finalizacin
seguimiento

Procesos de pruebas dinmicas

Diseo e Gestin del Reporte de
Ejecucin
Implement. entorno incidencias

13
AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software
P2 Especificacin pruebas
de la organizacin

Especificacin de pruebas de la organizacin

Estrategia(s) de
Poltica de pruebas
pruebas

Procesos
Objetivos
Responsables
Alcance
Productos
Organizacin
Tcnicas
Principios gobernantes
Herramientas

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 14

 P2 Procesos de Gestin
Procesos de Pruebas de la Organizacin
Poltica Realimentacin para la poltica
y estrategia de pruebas y estrategia de pruebas

Actualizaciones del Procesos de Gestin de pruebas

Plan
Informe de
Plan Resultados Finalizacin
Control y
Planificacin Finalizacin
seguimiento

Plan, Directrices Plan, Informe del estado Plan, Directrices

de Control Informe de finalizacin, de Control Mtricas
Mtricas
Procesos de Pruebas
Procesos de Dinmicas
Gestin de Pruebas
Plan, Directrices Mtricas
de Control

Procesos de Pruebas
Dinmicas
AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 15
P2 Aplicacin recursiva
de procesos - Ejemplo
Gestin de las pruebas
de la organizacin
Poltica de pruebas
Estrategia de pruebas de la organizacin
Gestin de las pruebas
del proyecto
Plan de pruebas del proyecto

Gestin de Gestin de Gestin de Gestin de

pruebas pruebas pruebas pruebas ...
estticas de sistema de usabilidad de aceptacin
P.d.P. P.d.P. P.d.P. P.d.P.
estticas de sistema de usabilidad de aceptacin

Pruebas Pruebas Pruebas Pruebas ...

estticas de sistema de usabilidad de aceptacin

Pruebas estticas (revisiones, anlisis esttico): cubierto por otras normas, p.e. IEEE 1012, 1028

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 16

 P2 Procesos de Gestin
Alcance
Entender el
Contexto (TP1) Calendario del plan de pruebas
Organizar el
Plan de Anlisis de
Pruebas (TP2) Identificar y Riesgos
Analizar
Riesgos (TP3) Identificar las Enfoque de Mitigacin

mitigaciones
de riesgos (TP4)
Disear la
Planificacin Estrategia de
Pruebas (TP5)
Determinar
personal y
Registrar el calendario (TP6) Estrategia de Prueba

Plan de
Consenso del Pruebas (TP7)
Calendario y
plan de pruebas Perfil del Personal
Plan de
Pruebas (TP8)
Comunicar Borrador Plan
de Pruebas
Plan de
Pruebas (TP9) Aprobacin Plan
de Pruebas

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 17

 P2 Procesos de Gestin
Alcance
Entender el
Contexto (TP1) Calendario del plan de pruebas
Organizar el
Plan de Anlisis de
Pruebas (TP2) Riesgos
Identificar y Enfoque de
Analizar Mitigacin
Identificar
Riesgos (TP3)
mitigacin
de riesgos (TP4) Disear la
Planificacin Estrategia de
Pruebas (TP5)
Determinar
personal y
calendario (TP6) Estrategia de
Registrar el
Prueba
Plan de
Consenso del Pruebas (TP7)
Calendario y
plan de pruebas Perfil del Personal
Plan de
Pruebas (TP8)
Comunicar Borrador Plan
de Pruebas
Plan de
Pruebas (TP9) Aprobacin Plan
de Pruebas

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 18

P2 Procesos de Gestin
Seguimiento y Informe del estado de las pruebas

Control
Reporte Control [Pruebas Incompletas]
Progreso (TMC4)
Plan
Preparacin Mtricas Monitorizacin Control
(TMC1) (TMC2) Progreso (TMC3) [Pruebas
Completas]
Directrices
Mtricas de Control

Procesos
de Pruebas Procesos de Pruebas
<<Instanciado>>
Dinmicas
<<Instanciado>>

Procesos de
Gestin de Pruebas
AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 19
P2 Procesos de Gestin
Archivar
Activos
(TC1)
Limpiar Entorno disponible
Entorno
(TC2)
Lecciones Lecciones Aprendidas
Aprendidas
(TC3)
Finalizacin Informar Informe Finalizacin
Finalizacin
(TC4)

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 20

 P2 Procesos de Pruebas
Dinmicas
Procesos de Gestin de pruebas

Plan de Pruebas Mtricas Directrices de Control

Procesos de Pruebas Dinmicas

Especificacin Resultados [Sin
Diseo e de pruebas de pruebas incidencias]
implementacin Ejecucin de pruebas
de pruebas [Incidencia
detectada
Requisitos O Repetir Informe
del prueba] de
entorno de incidencia
pruebas
Preparacin y Informe de
mantenimiento incidencias
del entorno de pruebas Informe de entorno en pruebas
de pruebas
disponible

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 21

P2 Procesos de Pruebas
Dinmicas
Identificar juegos de Juegos de caractersticas
caractersticas (TD1)
Diseo e Implementacin
Derivar condiciones Condiciones de prueba (test conditions)
de prueba (TD2)
Elementos de cobertura de prueba
Derivar elementos de (test coverage tems)
cobertura de prueba (TD3)

Derivar casos Casos de prueba

de prueba (TD4)

Ensamblar conjuntos Conjuntos de pruebas

de pruebas (TD5) Procedimientos y
Base de pruebas scripts de
(Test basis) Derivar procedimientos prueba
de prueba (TD6)

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 22

P2 Procesos de Pruebas
Dinmicas
Identificar juegos de Juegos de caractersticas
caractersticas (TD1)
Diseo e Implementacin
Derivar condiciones Condiciones de prueba (test conditions)
de prueba (TD2)
Elementos de cobertura de
Derivar elementos de prueba (test coverage tems)
cobertura de prueba (TD3)

Derivar casos Casos de prueba

de prueba (TD4)

Ensamblar conjuntos Conjuntos de pruebas

de pruebas (TD5) Procedimientos y
Base de pruebas scripts de
(Test basis) Derivar procedimientos prueba
de prueba (TD6)

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 23

Parte 3 Documentacin
Define plantillas que pueden ser utilizadas para generar
documentacin (information items) producto de los
procesos de la parte 2
Diferentes formas: registro electrnico, dividido, combinado
Conformidad adaptada: segn procesos de P2 o segn
necesidades de proyecto/organizacin.
Ejemplos (Anexos C a S). Versiones diferentes para
proyectos giles y tradicionales, p.e.
Polticas y estrategias de la organizacin
Plan de pruebas e informes de estado
Especificaciones de pruebas, entorno y datos
Mapeo a otros estndares (Anexo T):
IEEE 829:2008, BS 7925-2 1998
ISO/IEC 15289, ISO/IEC 25051:2006
AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 24
Parte 4 Tcnicas para el diseo
de las pruebas
Conformidad
Total: Subconjunto elegido de tcnicas
Adaptada: Subconjunto de requisitos. Nuevas Tcnicas
Tcnicas para el diseo de las pruebas
Basadas en las especificaciones
Basadas en la estructura
Basada en la experiencia
Medidas de cobertura
Anexos
Anexo A. Caractersticas de calidad
Anexo B, C y D. Guas y ejemplos de aplicacin de las
diferentes tcnicas de diseo
Anexo E. Efectividad en el clculo de la cobertura
AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 25
P4 Clasificacin de las tcnicas de
diseo de las pruebas
Particiones de clases de equivalencia

Mtodo de rboles de clasificaciones

Anlisis de valores lmite

especificaciones
Basadas en las

Pruebas de sintaxis

Pruebas combinatorias
All Combinations Testing / todas las combinaciones
Pair-wise testing / todas las parejas
Base choice testing / seleccin de la base ms probable
Each choice testing / seleccin de cada opcin

Tablas de decisiones

Anlisis de causas y efectos

Pruebas de transiciones de estados

Pruebas de escenarios
Pruebas de casos de uso

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 26

P4 Clasificacin de las tcnicas de
diseo de las pruebas

Basadas en la experiencia: Error guessing

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 27

P4 Medicin de la cobertura
alcanzada

= 100 %

Cobertura: cobertura alcanzada por una tcnica de diseo
N: nmero de elementos de cobertura incluidos en casos
de prueba ejecutados
T: nmero de elementos de cobertura identificados

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 28

Estado actual (Junio 2014)

Estndares internacionales publicados (Agosto 2013)

29119-1, 2, 3: Conceptos, Procesos, Documentacin
Prximamente
29119-4 Tcnicas de prueba: DIS-2 (FDIS previsto fin 2014)
En progreso
Business Plan para divulgacin en desarrollo
29119-5 Keyword-driven Testing: CD
33063 Modelo de evaluacin de proceso para procesos de
pruebas de software DIS
33000 renombra serie 15504 (anlogo a CMMI)
33063 Usa 29119-2 como modelo de procesos de referencia

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 29

El futuro Business Plan
Actividades a corto plazo (5 aos)
Trabajo tcnico (estndares, tech. reports)
Integracin con otros estndares/frameworks de la industria, y
grupos del JTC1 (liaisons)
Mejora del proceso interno, surveys, nuevos miembros
potential areas where standards or technical reports could be developed
Test Processes Maturity Levels Test Reporting
Model-based testing Tester Skills and Capabilities
29119 for outsourcing/offshoring Automation
29119 for mobile testing
Exploratory Testing
29119 in different industry sectors
High Volume Automated Testing
29119 and RBT
29119 relationship with safety-related
29119 Test Metrics
Selecting Test Techniques Data-centric testing
Product Line Engineering applied to testing Test data sanitization
29119 for agile Non-functional testing
How to tailor the standards 29119 in the cloud

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 30

Conclusin
El estndar internacional ISO/IEC 29119 proporciona las
directrices para las pruebas cubriendo todos los
aspectos del ciclo de vida:
Composicin consistente de definiciones, procesos,
procedimientos y tcnicas para las pruebas de software
Soluciona dispersin existente actualmente
Cubre huecos no cubiertos por estndares existentes
Adoptado por los comits de normalizacin nacionales, IEEE y
BSI
Actualmente representado por 26 naciones, revisado por
profesionales de las pruebas de software en todo el mundo
El siguiente paso en la profesionalizacin de esta industria.
Ms informacin:
Grupo de trabajo GT26: http://in2test.lsi.uniovi.es/gt26/

AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE 29119 Pruebas de software 31