BOOTSTRAP

El Estndar Europeo para Evaluacin y Mejoras de Procesos

de Desarrollo de Software
Sergio E. Durn Rubio
certum
1 Introduccin.
En este cuarto artculo de la serie sobre Modelos de Calidad y Evaluacin de
Procesos de Desarrollo de Software (SW), presento la metodologa Europea
Bootstrap, otra de las iniciativas para resolver la crisis del desarrollo de software.
Esta metodologa mediante prcticas, herramientas y estndares de calidad
internacional; mide, evala y propone mejoras al proceso de desarrollo de SW que
siguen las Unidades de Produccin de Software (UPS) de las empresas. Presentar
los puntos ms relevantes de la metodologa, as como del proceso de evaluacin,
su relacin con otros modelos y su futuro prximo.
2 Cmo surge el proyecto Bootstrap?
Surge como parte del programa estratgico Europeo para investigacin en
tecnologa de informacin. Este proyecto al igual que otros, tiene como principio el
reducir costos y mejorar la calidad previendo problemas, en lugar de reaccionar a
ellos.
Su objetivo es desarrollar un mtodo para la evaluacin de procesos de desarrollo
de SW. Inicialmente se baso en el modelo de madurez de CMM[1] aadiendo
conceptos de calidad de ISO 9000[2] y el modelo de proceso de ESA[3]. A esto
incluyo conceptos para poder evaluar desarrollos de SW de otras industrias
distintas a la militar y cambiar su cobertura de evaluacin para tomar desde
pequeas UPS hasta grandes corporaciones. Para lograr esto, ha puesto especial
nfasis los conceptos de ISO 9000 y ESA; generado guas para mejoras en
procesos de desarrollo de SW; analizado evaluaciones y mejoras de los procesos
de desarrollo; y mantenido una base de datos de soporte.
[1] CMM: Capability Maturity Model
[2] Estndar de calidad elaborado por la International Organization for Standarization
[3] ESA: European Space Agency
Como una referencia de la cronologa de estos conceptos y modelos, presento la
siguiente tabla.
Se constituye el Bootstrap Institute 1993
Se publica la versin 1.1 de CMM 1993
Inicia SPICE[1] 1992
Se publica la versin 2.22 de Bootstrap 1992
Se publica la versin 1.0 de CMM 1991
Inicia el proyecto Espirit No. 5441, que despus se convertira en
Bootstrap
1989
Se publica la norma ISO 9001 1987
W. S. Humphrey aade nuevos conceptos sobre procesos de
software
1987
W. E. Deming y J. M. Juran aaden nuevos conceptos como la
mejora contnua y calidad total
1982
W. A. Shewhart propone los primeros conceptos sobre evaluacin y
mejoras en procesos
1930
3 El Bootstrap Institute.
Tras concluir el proyecto inicial de ESPIRIT 5441, sus miembros constituyen el
Bootstrap Institute como un nuevo Grupo de Inters Econmico Europeo.
Actualmente este instituto es quien dirige los destinos de la metodologa y est
constituido por:
MARI Nothern Ireland (Reino Unido)
SQS (Alemania)
Dems miembros
Technical University of Graz (Austria)
University of Oulu (Finladia)
Labein (Espaa)
Miembros corporativos
CCC Oy (Finlandia)
Etnoteam S.p.A. (Italia)
HMS (Austria)
Leansoft Oy (Finlandia)
Synspace AG (Alemania)
SWE Schynoll (Alemania)
Miembros fundadores
Dentro de sus principios estn: que la metodologa sea accesible a todos y crezca
de forma que permita mejoras, que la evolucin de la metodologa sea democrtica
(por cada miembro un voto), que provea un servicio a la industria Europea y que
opere como una empresa no lucrativa.
El instituto tiene como objetivos: a) la mejora contnua de la metodologa para la
evaluacin de la calidad de los procesos de desarrollo de SW, tomando en cuenta
los estndares relevantes de ISO 9000 y otras iniciativas internacionales en el
rea; esto incluye, la forma de distribuirlo y el material de entrenamiento; b) la
promocin para ampliar su cobertura en la industria europea y as consolidarse
como el estndar; c) licenciarla a terceros; d) el manejo apropiado de la base de
datos de resultados de las evaluaciones llevadas a cabo por asesores certificados;
e) la certificacin de los asesores; f) la certificacin de organizaciones evaluadas.
Dentro de sus principales actividades estn: evaluar a empresas, capacitacin en
la metodologa y mejoras de la misma, certificacin de asesores, recoleccin y
administracin de los datos de las evaluaciones, definir mecanismos para mantener
la confidencialidad de los datos, representacin en otros trabajos de
estandarizacin, cooperacin con el European Software Institute, coordinacin de
evaluaciones multinacionales y foro para obtener licencias y asesores
independientes.
4 La metodologa Bootstrap.
Segn el Bootstrap Institute, Bootstrap es un mtodo para analizar, redisear,
mejorar los procesos de negocio del desarrollo de software. Este se compone de:
un modelo, un proceso de evaluacin, una base de datos de soporte, un proceso de
mejora y los instrumentos de evaluacin.
Su enfoque es evaluar el proceso, no el producto. Para eso, define un conjunto de
caractersticas para los procesos, provee un anlisis cuantitativo, produce vistas
analticas, hace evidente fortalezas y debilidades, identifica reas de mejora, provee
recomendaciones y sugiere un plan de implementacin.
4.1 El modelo de Bootstrap.
El modelo define el paradigma Organizacin-Metodologa-Tecnologa que se usa en
Bootstrap para los niveles de evaluacin y agrupacin de resultados.

Arquitectura del Proceso
Bootstrap
Unidad de
Produccin de SW
Proyecto de SW
Organizacin
Metodologa Tecnologa
Sistema de Calidad
Administracin de
Recursos
Seleccin de Personal
y Entrenamiento
Introduccin
Funciones Independientes
del Ciclo de Vida
Funciones del Ciclo de Vida
Funciones del Proceso
Integracin de Herramientas
Funciones del Ciclo de Vida
Funciones Independientes
del Ciclo de Vida
Funciones Relacionadas
al Proceso
Modelo de Desarrollo
Anlisis de Requerimientos
y Definicin
Diseo de Arquitectura
Diseo Detallado
e Implementacin
Pruebas
Mantenimiento
Administracin de Configuracin
y Cambios
Administracin de Riesgos
Administracin de Proyectos
Administracin de Calidad
Administracin de Subcontratistas
Descripcin de Procesos
Medicin de Procesos
Control de Procesos
4.2 El Proceso de Evaluacin.
El modelo Bootstrap se basa en evaluar UPSs de la organizacin, a travs de sus
proyectos, para hacer una extrapolacin a toda la organizacin. Dentro de este
proceso, hay cuatro etapas principales: preparacin, ejecucin de la evaluacin,
determinacin del nivel de madurez y capacidades, y la presentacin de resultados
de la evaluacin.
En la etapa de preparacin se realizan las siguientes tareas: a) un entrenamiento
inicial para tener claros los objetivos; b) se seleccionan los proyectos a ser
evaluados para obtener la mejor cobertura de la UPS; c) se define el personal de
evaluacin para minimizar la subjetividad de la evaluacin; d) se define el personal
a ser evaluado para obtener la mejor cobertura de los roles involucrados en los
proyectos seleccionados y e) se hace el acuerdo de confidencialidad.
En ejecucin, las tareas son: a) una breve reunin de apertura, para obtener un
enfoque colaborativo con el personal a ser entrevistado; b) el llenado de los
cuestionarios con caractersticas generales de la UPS; c) el llenado de los
cuestionarios del proyecto elegido, incluyendo la evaluacin de cmo el proceso de
produccin es aplicado; d) revisin preliminar de la evaluacin y e) reunin final, con
el enfoque de presentar los resultados de la evaluacin y obtener el consenso para
poder pasar a la fase de mejoras.
En la etapa de determinar nivel de madurez y capacidades, es donde se califica
cada pregunta con uno de 5 valores posibles: nulo, dbil, regular, extenso o no-
aplica. Para cada atributo clave se obtiene un nivel de madurez, aplicando un
algoritmo numrico, dando como resultado uno de estos niveles: 1-inicial, 2-
repetible, 3-definido, 4-administrado o 5-optimizado. Estos niveles de madurez
estn subdivididos en cuartiles, de forma que se obtenga una calificacin ms
exacta. Los procesos de organizacin y metodologa se califican de 1 a 5, mientras
que el de tecnologa se califica slo con dos niveles A o B.
Como resultado de la evaluacin, la organizacin recibe 2 reportes, uno con los
resultados de la evaluacin de la UPS y otro con los resultados del proyecto
evaluado. El correspondiente a la UPS contiene informacin como: un resumen
ejecutivo, los objetivos de la UPS, los puntos dbiles y fuertes, un plan de accin
recomendado, etc. El reporte del proyecto contiene: comentarios del proyecto actual
detallando lo referente a organizacin, metodologa y tecnologa, los niveles de
madurez para el proyecto, el plan de accin recomendado, etc.
Hay varias grficas que se presentan para mostrar los aspectos antes
mencionados. Estas grficas pueden representar la UPS, el proyecto, la
organizacin o algn rea en particular de acuerdo a la arquitectura de Bootstrap. A
continuacin muestro un par de ejemplos.
Capacidades
0
0.5
1
1.5
2
2.5
3
3.5
M
e
t
o
d
o
l
o
g

a
A
d
m

n
.

d
e
C
o
n
f
i
g
u
r
a
c
i

n
A
d
m

n
.

d
e
R
i
e
s
g
o
s
A
d
m

n
.

d
e
P
r
o
y
e
c
t
o
s
A
d
m

n
.

d
e
C
a
l
i
d
a
d
A
d
m

n
.

d
e
S
u
b
c
o
n
t
r
a
t
i
s
t
a
s
D
e
s
c
r
i
p
c
i

n

d
e
P
r
o
c
e
s
o
s
M
e
d
i
c
i

n

d
e
P
r
o
c
e
s
o
s
C
o
n
t
r
o
l

d
e
P
r
o
c
e
s
o
s
M
o
d
e
l
o

d
e
D
e
s
a
r
r
o
l
l
o
R
e
q
u
e
r
i
m
i
e
n
t
o
s
D
i
s
e

o

d
e
A
r
q
u
i
t
e
c
t
u
r
a
D
i
s
e

o

D
e
t
a
l
l
a
d
o
P
r
u
e
b
a
s
M
a
n
t
e
n
i
m
i
e
n
t
o
S
i
s
t
e
m
a
s

d
e
P
r
o
p

s
i
t
o

E
s
p
.
N
i
v
e
l

d
e

M
a
d
u
r
e
z
Fortalezas y Debilidades
1.5
1.7
1.9
2.1
2.3
2.5
2.7
2.9
3.1
3.3
M
e
t
o
d
o
l
o
g

a
A
d
m

n
.

d
e
C
o
n
f
i
g
u
r
a
c
i

n
A
d
m

n
.

d
e
R
i
e
s
g
o
s
A
d
m

n
.

d
e
P
r
o
y
e
c
t
o
s
A
d
m

n
.

d
e
C
a
l
i
d
a
d
A
d
m

n
.

d
e
S
u
b
c
o
n
t
r
a
t
i
s
t
a
s
D
e
s
c
r
i
p
c
i

n

d
e
P
r
o
c
e
s
o
s
M
e
d
i
c
i

n

d
e
P
r
o
c
e
s
o
s
C
o
n
t
r
o
l

d
e
P
r
o
c
e
s
o
s
M
o
d
e
l
o

d
e
D
e
s
a
r
r
o
l
l
o
R
e
q
u
e
r
i
m
i
e
n
t
o
s
D
i
s
e

o

d
e
A
r
q
u
i
t
e
c
t
u
r
a
D
i
s
e

o

D
e
t
a
l
l
a
d
o
P
r
u
e
b
a
s
M
a
n
t
e
n
i
m
i
e
n
t
o
S
i
s
t
e
m
a
s

d
e
P
r
o
p

s
i
t
o

E
s
p
.
N
i
v
e
l

d
e

M
a
d
u
r
e
z
4.3 Uso de la Base de Datos de Soporte.
Una de las caractersticas principales de Bootstrap es la base de datos con que
cuenta para hacer anlisis. Con esto se fundamenta el plan de mejoras, se puede
medir las adaptaciones a la metodologa, se puede comparar contra la industria y se
pueden establecer objetivos en base a la competencia. Como ejemplo, con datos de
1995 tenemos lo siguiente.
Distribucin de Madurez de 63 SPUs
9.52
38.1
15.87
1.59
14.29
11.11
7.94
0
0
0
1.59
0
0
0
0
0
0
0
0
0
0 5 10 15 20 25 30 35 40
Q1
Q2
Q3
L1 Q4
Q1
Q2
Q3
L2 Q4
Q1
Q2
Q3
L3 Q4
Q1
Q2
Q3
L4 Q4
Q1
Q2
Q3
L5 Q4
N
i
v
e
l

d
e

M
a
d
u
r
e
z
Distribucin de Madurez de 176 Proyectos
13.64
19.89
13.64
11.36
14.77
16.48
6.82
3.41
0
0
0
0
0
0
0
0
0
0
0
0
0 2 4 6 8 10 12 14 16 18 20
Q1
Q2
Q3
L1 Q4
Q1
Q2
Q3
L2 Q4
Q1
Q2
Q3
L3 Q4
Q1
Q2
Q3
L4 Q4
Q1
Q2
Q3
L5 Q4
N
i
v
e
l

d
e

M
a
d
u
r
e
z
4.4 Proceso de Mejora.
Otra parte importante de la metodologa de Bootstrap, es el plan de mejora que
sugiere. El proceso para obtener el plan de mejora es, primero evaluar las
necesidades de la organizacin tomando en cuenta la mejoras deseadas e
indicadores cobre calidad del producto y servicio, tiempo de desarrollo, costos y
riesgos del producto y del proyecto. En seguida hacer un revisin y anlisis de
resultados de la evaluacin, tomando en cuenta las fortalezas y debilidades
detectadas. Despus definir las capacidades a mejorar, considerando un perodo
entre 18 y 24 meses. En seguida definir las prioridades de acuerdo a un anlisis de
impactos. Finalmente en base a las actividades definidas, modificar la organizacin
y responsabilidades para iniciar el cambio estableciendo un marco de tiempos para
su desarrollo y evaluacin. Grficamente un plan de mejora en cuanto a nivel de
madurez en capacidades se vera as.
Metas de Capacidades
0
0.5
1
1.5
2
2.5
3
3.5
M
e
t
o
d
o
l
o
g

a
A
d
m

n
.

d
e
C
o
n
f
i
g
u
r
a
c
i

n
A
d
m

n
.

d
e
R
i
e
s
g
o
s
A
d
m

n
.

d
e
P
r
o
y
e
c
t
o
s
A
d
m

n
.

d
e

C
a
l
i
d
a
d
A
d
m

n
.

d
e
S
u
b
c
o
n
t
r
a
t
i
s
t
a
s
D
e
s
c
r
i
p
c
i

n

d
e
P
r
o
c
e
s
o
s
M
e
d
i
c
i

n

d
e
P
r
o
c
e
s
o
s
C
o
n
t
r
o
l

d
e
P
r
o
c
e
s
o
s
M
o
d
e
l
o

d
e
D
e
s
a
r
r
o
l
l
o
R
e
q
u
e
r
i
m
i
e
n
t
o
s
D
i
s
e

o

d
e
A
r
q
u
i
t
e
c
t
u
r
a
D
i
s
e

o

D
e
t
a
l
l
a
d
o
P
r
u
e
b
a
s
M
a
n
t
e
n
i
m
i
e
n
t
o
S
i
s
t
e
m
a
s

d
e
P
r
o
p

s
i
t
o

E
s
p
.
N
i
v
e
l

d
e

M
a
d
u
r
e
z
Actual
Meta
4.5 Instrumentos para la Evaluacin.
El proceso de evaluacin es apoyado por: los cuestionarios, la herramienta para el
registro y presentacin de resultados, y guas para los asesores.
Los cuestionarios son usados para dirigir las entrevistas, donde los asesores los
llenan en base a discusin y anlisis de material documentado. La mayora de las
preguntas estn basadas en trminos como: la existencia de un procedimiento
formal, la existencia de metodologa, la existencia de estndares, la disponibilidad
de tecnologa, recomendaciones de uso de la tecnologa, desempeo de tareas en
base a un procedimiento, responsabilidades en toma de decisiones, desempeo de
un anlisis sistemtico de resultados, etc.
El software usado como herramienta para registrar y presentar los resultados tiene
los siguientes componentes:
BootCollector BootRetriever BootManager
Copy of
BootBase
BootBase
BootAnalyzer
BootCounter
Centro Bootstrap Organizacin Asesor
donde el BootCollector es donde se registran los resultados de los cuestionarios;
BootRetriever es para leer o guardar datos de la base de datos (BootBase);
BootCounter es para calcular los niveles de madurez; BootAnalyzer es para mostrar
e imprimir las vistas y niveles de madurez y el BootManager es para administrar la
base de datos.
Las guas son para homogeneizar los criterios de calificacin entre los asesores.

5 Comparacin con otros Modelos.

Como mencione en un principio, Bootstrap toma algunos conceptos de otros
modelos para su concepcin. La siguiente tabla muestra un resumen de esto.
El principio de planear, hacer, verificar y actuar. TQM[1]
Las funciones dependientes del ciclo de vida: definicin de
requerimientos de usuario, definicin de los requerimientos de
SW, diseo de la arquitectura, diseo detallado y produccin,
transferencia, operacin y mantenimiento.
ESA
Enfoque de una evaluacin general
Escala de madurez
Funciones relacionadas con el proceso
Modelo sobre proceso
CMM
Sistema de calidad como una organizacin para toda la
compaa
Evaluaciones a dos niveles: unidad de produccin de software y
proyecto
Dependiente del ciclo de vida del desarrollo de SW pero
independiente de las funciones
Atributos y caractersticas
ISO 9000
ISO 9001
Concepto Modelo
Sin embargo, hay algunas diferencias importantes. Los cuestionarios del CMM
estn organizados como lista de preguntas sin jerarqua, adems de que slo
permiten respuestas binarias. La estructura de CMM esta basada en niveles de
madurez, mientras que Bootstrap se basa en atributos, ya que los califica
independiente del nivel de madurez; lo que le permite dar ms detalle. Por otro lado
CMM da guas muy buenas en cuanto a como pasar de un nivel a otro.
Debido a que tomaron los criterios de calidad propuestos por ISO 9000 o ISO 9001,
hay varios atributos que Bootstrap cubre en gran medida sobre los que tiene ISO
9000 y algunos ms que tiene Bootstap y que no tiene ISO 9000; como por ejemplo
sobre prcticas de programacin o sobre administracin de libreras.
Adems, Bootstrap tiene sus propias ventajas como: genera una buena foto de la
organizacin en poco tiempo (estructurada, granular, cuantitativa) y mostrando
fortalezas y debilidades; hace evaluaciones a varios niveles; presenta bases
concretas para las mejoras, hace recomendaciones y las monitorea; permite la
comparacin entre distintas UPSs y contra las mejores UPSs de la industria; utiliza
y propone mtodos probados para implementar prcticas de punta de ingeniera de
software.
La versin actual de Bootstrap es la 2.3, aunque ya esta en proceso la 3.0 que
incluir conceptos de Spice y que ser pblica para el 96. Esta versin tiene como
objetivos el ser compatible con SPICE 2.0 y tener una modularidad a tres niveles:
autoevaluacin, minievaluacin y evaluacin completa.
[5]TQM: Total Quality Management
6 CONCLUSIONES.
La evaluaciones son una herramienta importante en cualquier organizacin, para
establecer un marco de referencia para la mejora contnua. Bootstrap ofrece esto
proporcionando retroalimenacin para establecer una calidad del software
competitiva.
Este es quiz el modelo ms completo que est en operacin junto con el CMM,
pero su cobertura se ha enfocado slo a Europa. Esto quiz cambie en el mediano
plazo ya que los mercados globales hacen necesario estndares internacionales y
no slo regionales. Por lo pronto, el acceso para Mxico es slo a travs de
evaluaciones por empresas del Bootstrap Institute.
Por otro lado, dentro de sus caractersticas est el incluir siempre tecnologa de
punta, por lo que cosas como la inclusin de los conceptos de Spice. Adems,
permite compararse con ISO 9000, que es el estndar de calidad ms difundido.
Esto permite que quien se evala con Bootstrap, no tenga que hacer un esfuerzo
adicional para mejorar y obtener una certificacin en ISO 9000. Este tipo de
caractersticas lo harn mantenerse en el mercado.
[5]TQM: Total Quality Management
BIBLIOGRAFIA
1. Report of the Defense Science Board Task Force on Military Software,
Office of the Under Secretary of Defense for Acquisition, Washington, DC,
September 1987.
2. Kuvaja, P.; Simila, J.; Krzanik, L.; Bicego, A.; Saukkonen, S. and Koch, G.,
Software Process Assessment and Improvement: The BOOTSTRAP
Approach, Blackwell, 1994.
3. Galimberti, R., The BOOTSTRAP Approach to Software Process
Assessment & Improvement, CQS 94 Etnoteam - Nomos Ricerca, Roma,
Settembre 1994.
4. Bicego, A.; Krzanik, L.; Kuvaja, P., Tutorial: BOOTSTRAP - Assessment
and Improvement Methodology, San Francisco USA, June 1995.
Sergio Eduardo Durn Rubio es Ingeniero en Sistemas Computacionales de la
UDLA-P. Gerente de Proyectos de certum. Areas de inters: Administracin de
Proyectos de SW, Mtricas de SW, Modelado de Datos e Ingeniera de SW.
Email: sduran@certum.com