Calidad de Software:

Modelos y estándares
INTI Argentina - Programa del Software

Mejora de la Eficiencia y la Competitividad de

la Economía Argentina

Marzo de 2005

Financiado por la
Unión Europea
© ESI 2005 1 INTI Argentina – Programa del Software, Marzo de 2005
 Objetivos de la presentación

Dar a conocer la relación de principales modelos y

normativas internacionales de:
calidad de procesos software y relacionados
calidad de productos software
con un enfoque en la certificación/evaluación

Informar sobre el grado de despliegue de los modelos

de calidad más relevantes para el sector de las TI

Presentar nuevas iniciativas internacionales con visos

de convertirse en referentes en los próximos años

Intercambiar opiniones sobre la adopción de modelos

de calidad en Argentina

© ESI 2005 2 INTI Argentina – Programa del Software, Marzo de 2005

 Agenda

European Software Institute

Calidad del software: costes y ventajas
Modelos y normativas internacionales
Grados de despliegue
Nuevas iniciativas
Calidad del software en Argentina

© ESI 2005 3 INTI Argentina – Programa del Software, Marzo de 2005

 European Software Institute
Algunos
Algunos miembros
miembros de
de ESI
ESI European Software Institute

panda
software
• Fundación sin ánimo de lucro
• Creada en 1993 por la Comisión Europea y el Gobierno
Vasco
• Establecida en el Parque Tecnológico de Zamudio, España

© ESI 2005 4 INTI Argentina – Programa del Software, Marzo de 2005

 Nuestra misión

© ESI 2005 5 INTI Argentina – Programa del Software, Marzo de 2005

 La organización

BUSINESS DEVELOPMENT
R&D
INFORMATIO
N
SERVICES GENERAL SECRETARY
SOCIETY

PROJECTS PROJECTS
CORPORATE DEVELOPMENT

© ESI 2005 6 INTI Argentina – Programa del Software, Marzo de 2005

 Competitividad de la industria
Nuestro
Nuestro objetivo
objetivo es
es conseguir
conseguir que
que las
las organizaciones
organizaciones::

Se transformen en
organizaciones competitivas, con
productos y servicios de calidad
Tengan una oferta consistente:
con desarrollos más rápidos
a menor coste
mejorando sus niveles de calidad

Apliquen adecuadamente:
métodos
técnicas
herramientas

Adopten modelos
internacionales de calidad

© ESI 2005 7 INTI Argentina – Programa del Software, Marzo de 2005

 Líneas técnicas actuales

Calidad de procesos y de gestión de una organización

SW CMM/CMMI, ISO/IEC 15504 (SPICE), PSP
Balanced IT Scorecard, Programas de mediciones, Implantación de
técnica del Coste de la Calidad

Producción de sistemas y servicios

Reutiilización y factorías de software
Familias de líneas de productos
Model Driven Development (MDD)
Interoperabilidad
Gestión de COTS - componentes comerciales

Gestión de la Seguridad de la Información

Proyectos para la Sociedad de la Información

© ESI 2005 8 INTI Argentina – Programa del Software, Marzo de 2005

 Internacionalización - I

© ESI 2005 9 INTI Argentina – Programa del Software, Marzo de 2005

 Internacionalización - II

© ESI 2005 10 INTI Argentina – Programa del Software, Marzo de 2005

 Calidad: costes
y ventajas

© ESI 2005 11 INTI Argentina – Programa del Software, Marzo de 2005

 La triste realidad

“Sólo el 34% de los

proyectos software
son exitosos”
Standish Group, CHAOS Report, 2003

© ESI 2005 12 INTI Argentina – Programa del Software, Marzo de 2005

 En más detalle…
detalle…
Exitosos
34%
Por cada 100 proyectos que
comienzan, hay 94
rearranques

52% por ciento de las

Desviados Fallidos funciones y especificaciones
51% (Cancelados) son incluidas en los productos
15%
entregados
Definiciones
a tiempo, según el
Exitoso presupuesto, con las Los proyectos cuestan, de
funcionalidades prometidas
media, un 143% respecto de la
tarde, por encima del
presupuesto y/o con estimación original y
Desviado
funcionalidades el 82% tienen desviaciones de
incompletas
calendario
Proyectos con serios
Fallido
problemas o cancelados
Fuente: Standish Group Chaos Report - 2003
© ESI 2005 13 INTI Argentina – Programa del Software, Marzo de 2005
 … pero se está mejorando
1994 Chaos Report
Exitosos16%

AApesar
pesarde
deello:
ello:
¾¾ Las
Lasorganizaciones
organizacionesentregan
entregan
Desviados Fallidos
53% (Cancelados) productos
productosaasus
susclientes
clientescon
con
31% un
un15%
15%dedelos
losdefectos
defectosaun
aun
presentes
presentesen
enlos
losproductos
productos
2003 Chaos Report Exitosos 34% ¾¾ Muchas
Muchascompañías
compañíasdedican
dedican
entre
entreun
un30%
30%yyun un44%
44%dedesu
su
tiempo
tiempoyydinero
dineroaacorregir
corregir
software
softwareya
yadesarrollado
desarrollado
Desviados
Fallidos
51%
(Cancelados)
15%

© ESI 2005 14 INTI Argentina – Programa del Software, Marzo de 2005

 La calidad no es gratis…
Costes
Costes de
de la
la Calidad
Calidad del
del Software
Software ((CoSQ)
CoSQ)

Prevención Evaluación Fallo interno Fallo externo

Prevención de Búsqueda de Defectos Defectos
defectos defectos encontrados antes encontrados tras
Planificación Revisiones de la entrega/instalación
Documentación • Requisitos entrega/instalación Garantías
Formación • Diseño Correcciones Gestión de quejas
Herramientas • Planes de pruebas • Requisitos Proyectos perdidos
Políticas, • Casos de pruebas • Diseño Soporte técnico
procedimientos Inspecciones de código • Código Parches en versiones
Proyectos de mejora de Pruebas (primera vez) • Documentación
la calidad Nuevas pruebas
Auditorías
Captura y análisis de Menor eficiencia
Evaluaciones
datos (nuevas pruebas,
CMM/CMMI
Análisis de fallos y cambios en entregables,
• CBA-IPI / SCAMPI
causas desviaciones de plazos,
• Informales presupuestos, etc.)

© ESI 2005 15 INTI Argentina – Programa del Software, Marzo de 2005

 … pero es mejor que otras
alternativas
1988 - CMM Nivel 1 1990 - CMM Nivel 2
21
41 39

58
21
20 Nuevos Desarrollos
Coste de Conformidad
Coste de No Conformidad
1992 - CMM Nivel 3 1995 – CMM Nivel 4
10 6
17
23

67
77

ROI 7.7:1, Productividad ×140%

Fuente: Ratheon Electronic Systems Experience in Software Process Improvement, CMU/SEI-95-TR-017, November 1995

© ESI 2005 16 INTI Argentina – Programa del Software, Marzo de 2005

 Ventajas de la adopción de
estándares internacionales

El desarrollo de productos y provisión de servicios es más eficiente,

predecible y seguro
Declaraciones recientes de un cliente de ESI, CMMI-3: “la adopción del modelo Capability Maturity Model
(CMM) nos ha permitido ofrecer a nuestros clientes una garantía del grado de calidad que tienen todos
nuestros servicios de gestión y desarrollo de software. Además de la calidad, este modelo ofrece un mayor
grado de estándarización lo que nos ha permitido también reducir el coste de estos servicios e incrementar la
rapidez de todo el proceso de desarrollo”

Facilitan las transacciones comerciales entre paises

Proporcionan a las administraciones públicas una base técnica para el
establecimiento de legislaciones y directivas
Proporcionan confianza a los clientes/consumidores sobre los
productos y servicios que adquieren, permitiendo tener una oferta
profesional y aumentando la competitividad entre proveedores
En los procesos de licitación, es habitual u obligatorio ya, acreditar un
determinado grado de calidad, p.ej. mediante ISO 9001 o SW
CMM/CMMI, y esto va en aumento

© ESI 2005 17 INTI Argentina – Programa del Software, Marzo de 2005

 Modelos y
normativas
internacionales

© ESI 2005 18 INTI Argentina – Programa del Software, Marzo de 2005

 Un poco de historia

Modelos y normativas de calidad relativas al software

son jóvenes, surgidos al comienzo de los año 90
con diversos orígenes y procesos de desarrollo:
ISO/IEC JTC1 – Comisión Electrotécnica Internacional –
Tecnologías de la Información, habitualmente por:
iniciativas nacionales
adopción de iniciativas o modelos internacionalmente
aceptados por la industria
British Standards Institute es un referente internacional en
el desarrollo y operación de nuevos estándares
Iniciativas de administraciones públicas o industriales en
diversos sectores, p.ej. telecomunicaciones, automoción o
dispositivos médicos con propósito de auto-regulación
Software Engineering Institute y Carnegie Mellon University

© ESI 2005 19 INTI Argentina – Programa del Software, Marzo de 2005

 Características de los modelos

Foco de aplicación
Procesos vs Productos
Propósito
General vs Específico
(sectorial, enfoque en una disciplina específica, …)
Público objetivo
Desarrolladores de software vs Servicios TI
Certificable
Si / No / Auto-regulación de un sector industrial

© ESI 2005 20 INTI Argentina – Programa del Software, Marzo de 2005

 Principales modelos
En rojo aquellos modelos que conllevan una certificación

PROPÓSITO CALIDAD DE PROCESOS CALIDAD DE PRODUCTOS

SW CMM / CMMI ISO/IEC 9126
ISO/IEC 15504 (SPICE) ISO/IEC 14598
General ISO/IEC 90003:2004
TickIT
EFQM
TL9000 – Telecom Marca C€ para dispositivos médicos
Gestión de la
AQAP 110/150 – OTAN/Militar
calidad en
ISO/IEC 13485 – Salud
sector
SPICE for SPACE (S4S)
específico
AutomotiveSPICE
ITIL / BS 15000
Servicios de TI COBIT
eSourcing Capability Model
ISO/IEC 15408 Common Criteria
Seguridad de la
ISO/IEC 17799 / BS 7799 ITSEC
Información Trustmarks – Sellos de confianza
Iniciativas regionales: Normas WAI – Web Accessibility Initiative

Mexico (MOPROSOFT)
Otros
Brasil
Costa Rica
Corea (KSPICE)

© ESI 2005 21 INTI Argentina – Programa del Software, Marzo de 2005

 Modelos de propósito general - I
Calidad
Calidad de
de procesos
procesos::
Desarrollo
Desarrollo yy mantenimiento
mantenimiento de
de sw
sw
SW CMM & CMMI como modelos con mayor
repercusión internacional
TickIT (BSI - ISO 9001:2000 para desarrollo
de sw) como referencia fundamentalmente
en el Reino Unido
ISO/IEC 90003:2004 como guía de apoyo a organizaciones adoptando ISO
9001:2000 para desarrollo de software
EFQM – European Foundation for Quality Management como modelo para
empresas en busca de la excelencia empresarial
Finalmente, ISO/IEC 15504 como marco general de convergencia para
todos los modelos y métodos de evaluación de procesos
Está siendo empleado para la derivación de modelos sectoriales
(aeroespacial, automoción) o modelos regionales destinados
principalmente a PYMEs

© ESI 2005 22 INTI Argentina – Programa del Software, Marzo de 2005

 Modelos de propósito general - II
Calidad
Calidad de
de producto
producto

No hay modelos de propósito general con

un esquema de certificación de productos
software; esto se limita a determinadas
características de los sistemas software
Existen dos referencias internacionales
para garantizar la calidad del software
desarrollado y/o adquirido:
ISO/IEC 9126, que define 6 características deseables en cualquier
producto software:
funcionalidad, fiabilidad, facilidad de uso y operación, eficiencia, mantenibilidad,
portabilidad
ISO/IEC 14598, que define procesos de evaluación de productos
(componentes o sistemas completos) desde diversas perspectivas
(desarrollador, comprador, evaluador), en combinación con ISO/IEC
9126

© ESI 2005 23 INTI Argentina – Programa del Software, Marzo de 2005

 Regulaciones industriales - I
Modelos
Modelos para
para gestión
gestión del
del desarrollo
desarrollo
Derivaciones de ISO 9001:2000

TL9000 (QUEST Forum) AQAP 110/150 (OTAN) ISO/IEC 13485

Sistemas de calidad para Sistemas de calidad para
hw, sw y servicios Sistemas de calidad para
hw y sw dispositivos médicos

Derivaciones de
ISO/IEC 15504
(SPICE)

AutomotiveSPICE
SPICE for SPACE (Consorcio de empresas)
European Space Agency

© ESI 2005 24 INTI Argentina – Programa del Software, Marzo de 2005

 Regulaciones industriales - II
Calidad
Calidad de
de producto
producto

Marca CE (Conformité Europeene):

conformidad con requisitos
esenciales de legislaciones europeas en
materia de salud, seguridad y protección
ambiental
Pemite la entrada del producto en Europa y
su libre circulación en 28 paises
Existen 22 grupos de productos afectados (p.ej. juguetes o explosivos
para uso civil), y existen acuerdos de mutuo reconocimiento de
conformidad de Europa con diversos paises
El término “software” solo es mencionado para dispositivos médicos,
exigiéndose que se disponga de un sistema de gestión de la calidad
basado en ISO/IEC 13485 para el desarrollo de los dispositivos

© ESI 2005 25 INTI Argentina – Programa del Software, Marzo de 2005

 Gestión de Servicios TI

ITIL (Information Technology Infrastructure

Library) es el estándar de facto para la
gestión de servicios TI, desde principios de
los años 90
Fabricantes como IBM, HP, Remedy,
Compuware o Microsoft proporcionan
soluciones alineadas con ITIL
En la actualidad es certificable a través
de BS15000
COBIT es utilizado también para implantar objetivos de control (34) para
procesos de TI, aunque no dispone de un esquema de certificación
eSourcing Capability Model ha sido desarrollado por un consorcio junto
con Carnegie Mellon University (ITSQC) para la gestión de los servicios
de Outsourcing de TI, permitiendo certificar a proveedores por un periodo
de 2 años

© ESI 2005 26 INTI Argentina – Programa del Software, Marzo de 2005

 Seguridad de la Información - I
Sistemas
Sistemas de
de gestión
gestión

Destinados a proteger la información vital

de una organización
Su objetivo es garantizar la
confidencialidad, integridad y
disponibilidad de información
No es exclusivo del sector software, sino
que es aplicable en organizaciones de
cualquier índole

Las referencias internacionales son:

BS7799, como norma certificable
ISO/IEC 17799 como norma internacional derivada de la anterior, a la
cual se remita a objetos de certificación

© ESI 2005 27 INTI Argentina – Programa del Software, Marzo de 2005

 Seguridad de la Información - II
Certificación
Certificación de
de productos
productos software
software
ISO/IEC 15408 adopta una iniciativa
industrial (Common Criteria) para evaluar
las propiedades de seguridad de sistemas
y/o productos informáticos, como p.ej.
identificación y autentificación, o soporte
cripográfico, asignando un nivel de
seguridad que va de EAL1 a EAL7
ITSEC (Information Technology Security Evaluation Criteria) es similar y
define niveles E1 a E6
Organizaciones, como el Gobierno Británico, exigen el cumplimiento de
criterios de seguridad para determinados sistemas
Existen diversos esquemas de certificación, organizaciones
certificadoras y laboratorios de testing, con un esquema de
reconocimiento mutuo de 19 paises bajo ISO/IEC 15408
Tipos de productos certificados: antivirus, biometría, firewalls, gestión de
redes, sistemas operativos, smart cards, …
© ESI 2005 28 INTI Argentina – Programa del Software, Marzo de 2005
 Seguridad de la Información - III
Trustmarks
Trustmarks -- Sellos
Sellos de
de confianza
confianza

Aplicados a las aplicaciones de comercio electrónico

en Internet
Pretenden incrementar la confianza de los
consumidores en la adquisíción de productos o
servicios a través de redes de comunicación, tales
como Internet
Auto-regulación del mercado con numeros entidades
certificadoras
Afecta a los desarrolladores de software, al incluirse
códigos de conducta relativos a protección de datos de
caracter personal o calidad de los contenidos

© ESI 2005 29 INTI Argentina – Programa del Software, Marzo de 2005

 Accesibilidad web
Normas
Normas WAI
WAI de
de W3C
W3C
W3C (World Wide Web Consortium) promueve un alto grado de
accesibilidad a la web para personas con discapacidades; cualquiera
debe poder acceder, independientemente de su discapacidad
(visual, auditiva, física, verbal, cognitiva, neurológica)
Cuenta con el apoyo de la Comisión Europea, organizaciones sin ánimo
de lucro y grandes fabricantes de software, con más de 400 miembros; a
dia de hoy no cuenta con oficinas en Latinoamérica
Se basa en 4 principios:
contenido perceptible, elementos de interfaz operativos, contenidos y
controles entendibles, contenidos robustos para tecnologías actuales y
futuras
Existen numerosas herramientas que testean diversas características de
accesibilidad
Pueden usarse logos que indiquen el nivel de conformidad (A, AA, AAA)
pero no hay aun mecanismos de certificación independientes

© ESI 2005 30 INTI Argentina – Programa del Software, Marzo de 2005

 Situación
actual y
tendencias

© ESI 2005 31 INTI Argentina – Programa del Software, Marzo de 2005

 Situación actual
Perspectivas
Perspectivas
Calidad de procesos
CMMI como estándar de facto para desarrollo y mantenimiento de
software (en los últimos años el número de evaluaciones puede
crecer exponencialmente); su crecimiento real dependerá de su
capacidad y flexibilidad para adoptar nuevas disciplinas (p.ej.
gestión de servicios TI)
ISO/IEC 15504 (SPICE) como marco de referencia para el desarrollo
rápido de nuevos modelos regionales o sectoriales
Rápido crecimiento en la adopción de modelos de Gestión de
servicios TI y Gestión de seguridad de la información, donde SEI está
desarrollando también nuevos modelos
eSourcing Capability Model tiene gran potencial de crecimiento en
multinacionales (IBM, Accenture, EDS) y paises como la India
Calidad de productos
En la actualidad los estándares se enfocan fundamentalmente en los
aspectos relativos a la seguridad y comercio electrónico

© ESI 2005 32 INTI Argentina – Programa del Software, Marzo de 2005

 Nuevas iniciativas en Europa

Calidad de procesos

EFQM para empresas de TI, con un modelo

específico y procesos de evaluación alineados
Madurez del desarrollo de software basado en líneas de productos
Madurez en el desarrollo de webs accesibles
ISO/IEC 62304 Medical device software – Software life cycle
processes, con requisitos específicos que consideran la criticidad
del software desarrollado

Calidad de productos

Conformidad con requisitos Calidad de Servicio (QoS) y tolerancia a

fallos de componentes de sistemas, basado en trabajos del OMG –
Object Management Group
Certificación externa de webs accesibles
Estándares enfocados en la seguridad (safety) de sistemas críticos
para diversos sectores

© ESI 2005 33 INTI Argentina – Programa del Software, Marzo de 2005

 Calidad de sw en Argentina - I
Cifras
Cifras
Modelo Organizaciones Organizaciones Organizaciones Pais con mayor
en Argentina Internacionales en India adopción
SW CMM <10 >3.000 359 USA (1.896)
CMMI <10 367 44 USA (170)
TickIT 0 >1.400 22 UK (807)
TL9000 2 1.415 38 USA (550)
ITIL/BS15000 0 11 2 UK (6)
BS7799 2 1.107 82 Japón (510)
Common Criteria Sin datos >300 Sin datos Sin datos

eSCM 0 3 0 Corea (3)

¿En
¿En qué
qué posición
posición nos
nos encontramos?
encontramos?

© ESI 2005 34 INTI Argentina – Programa del Software, Marzo de 2005

 Calidad de sw en Argentina - II

Muchos de los elementos de coste para implantar la calidad son internos

a la propia organización
Las empresas argentinas deberían poder asumirlos al igual que
organizaciones de otros paises
Ello implica siempre un cambio en la manera de gestionar nuestros equipos
desarrollo y proyectos
Actualmente los costes externos pueden provenir fundamentalmente de:
Entrenamiento en mejora de procesos y técnicas de gestión de la calidad
Herramientas de apoyo para implantar los requisitos/procesosde los diversos
modelos
Diagnósticos/Auditorías/Evaluaciones de proceso/producto

Acciones para reducir el impacto de estos costes:

Aumentar la base argentina de expertos, personal autorizado para proveer
servicios, y laboratorios/centros certificadores
Programas de financiamento para mejora de la competitividad
fondos internacionales
administraciones públicas
asociaciones industriales
COOPETITION??

© ESI 2005 35 INTI Argentina – Programa del Software, Marzo de 2005

¿ Puede ayudar a su negocio
¿Puede
la adopción de estándares
estándares??

¡Es su
decisión
decisión!!

© ESI 2005 36 INTI Argentina – Programa del Software, Marzo de 2005

Para más información …

Iñigo Garro

Director
inigo.garro@esi.es

© ESI 2005 37 INTI Argentina – Programa del Software, Marzo de 2005