ESTANDAR DE EVALUACION SCAMPI

SCAMPI,
Standard CMMI Appraisal Method for process Improvement
– Método integral de evaluación.
– Método ARC clase A, Appraisal Requirements for CMMI, un conjunto de criterios de alto nivel
para desarrollar, definir y usar métodos de evaluación basados en CMMI.
– Usa los modelos CMMI como modelos de referencia.

Conceptos SCAMPI
Las 4 funciones principales de las evaluaciones

1.- Analizar,
– se analiza como una organización trabaja en comparación a un modelo de referencia.
– las evaluaciones estabilizan el proceso y priorizan el cambio.

2.- Motivar,
– Sirven como soporte al cambio
– producen cambio involucrando y motivando a las organizaciones en esfuerzos de auto análisis.

3.- Transformar
– Haciendo que personas diferentes vean las mismas cosas de la misma forma.
– Ayudando los esfuerzos de unificación de la gerencia
– Suavizando una cultura de censura, permitiendo al personal la libertad de pensar acerca de que
se hace de forma equivocada y cómo corregirlo.
– Consolidando las mejoras
– Ayudando a institucionalizar el análisis riguroso

4.- Educar
– Exponiendo a las organizaciones las mejores prácticas mundiales
– Las Evaluaciones educan proporcionando a las personas en las organizacionales un amplio
conocimiento de su propia compañía y estimulando a las organizaciones a contemplar las mejores
prácticas de la industria y compararlas con la organización.

Proceso de evaluación
– Elegir una metodología de evaluación y un modelo de referencia
– Seleccionar un evaluador líder
– Establecer los objetivos de negocio y alcance de la evaluación
— Objetivos de negocio
— Alcance organizacional
— Alcance del modelo de referencia
– Establecer oficialmente un patrocinador de la evaluación de la gerencia.
– Asegurar que la organización comparte un entendimiento compartido de qué se desea lograr
con la evaluación

Principios de evaluación ARC.

-Comenzar con un modelo de referencia de evaluación
-usar un proceso de evaluación formalizado.
-involucrar a la alta gerencia como patrocinador de la evaluación

1
 ESTANDAR DE EVALUACION SCAMPI

-enfocar evaluación en los objetivos del negocio del patrocinador

-Observar estricta confidencialidad y no atribución de datos.
-Abordar la evaluación de forma colaborativa.

SCAMPI clase A
Proporcionar una visión precisa de los procesos de la organización en relación al CMMI.
– Comprender el proceso realmente implementado
– identificar fortalezas y debilidades del proceso en la unidad organizacional.
– Determinar el grado de satisfacción de las metas de las áreas de proceso CMMI investigadas.
– Asignar ratios de calificación, si son solicitados por el patrocinador de la evaluación.

Términos con significado especial

Unidad Organizacional
– parte de una organización objeto de evaluación, también conocida como el alcance de la
evaluación.
– Despliega uno o más procesos que tienen un contexto coherente y operan en un conjunto
coherente de objetivos de negocio.
– Usualmente parte de una organización más grande (en pequeñas, usualmente es toda la
organización).

Ejemplos:
– un proyecto o un conjunto de proyectos
– una unidad dentro de una organización enfocada en una fase.
– parte de la organización que se responsabiliza en el desarrollo de un producto.

Evidencia Objetiva
los materiales, información cualitativa o cuantitativa, registros o declaraciones de hechos.

pertinentes a:
– las características de un elemento o servicio o
– a la existencia e implementación de un elemento de proceso.

Que está basado en

– observación,
– medición o prueba y
– que es verificable

En el SCAMPI las fuentes de evidencia objetiva incluyen:

-instrumentos
información escrita relacionada con la implementación en la unidad organizacional.
(cuestionarios, encuestas o mapeo organizacional de las practicas del modelo a sus procesos
correspondientes)

-presentaciones
Información
preparada por la organización y
entregada visualmente o verbalmente al equipo evaluador para describir los procesos
organizacionales y la implementación de las prácticas del modelo.

2
 ESTANDAR DE EVALUACION SCAMPI

Incluye normalmente resúmenes de visión general y demostraciones de herramientas o

capacidades.

-documentos
Artefactos que:
reflejen la implementación de una o más prácticas del modelo: políticas de organización,
procedimientos y artefactos a nivel de implementación.
Los documentos pueden estar disponibles en hardcopy o softcopy.

-entrevistas
interacción cara a cara con aquellos que implementan o usan los procesos dentro de la unidad
organizacional. Típicamente las entrevistas se realizan con varios grupos o individuos tales como
lideres de proyecto, gerentes y practitioners. Pueden realizarse una combinación de entrevistas o
preguntas exploratorias desarrolladas para elicitar la información necesaria.

Instancias
representar (una abstracción) mediante una instancia concreta

Las practicas del CMMI son abstracciones

->implementadas y hechas realidad en su aplicación por proyectos y organizaciones
El contexto en el cual la práctica se aplica “genera” la implementación.
Las instancias incluyen:
–Detalles de implementación y
–Contexto en el que la práctica es implementada.
Puede haber a nivel organizacional o a nivel del proyecto.

Muestras e instancias en evaluaciones

– identificar una muestra de instancias dentro de la unidad organizacional
– Evaluar la implementación de cada práctica para cada una de las instancias.
– El grado en el cual la práctica está implementada en la muestra se usa para indicar el grado en el
cual la práctica esta implementada en la unidad organizacional.

Tipos de indicadores de implementación de prácticas

* Artefacto directo
– Productos tangibles resultado directo de la implementación de una práctica genérica o
específica.
– Parte integral de la verificación de la implementación de una práctica
Puede estar explícitamente declarado o implícito en la declaración de la práctica o material
asociado:
– Materiales típicos enunciados (typical workproducts)
– productos típicos que responden a “establecer y mantener”
– documentos, productos entregables, materiales de entrenamiento, etc.
– se necesitan uno o varios artefactos directos para verificar la implementación del modelo.

* Artefacto indirecto
Son una consecuencia de ejecutar una práctica específica o genérica o de hacer tangible su
implementación, pero no son el objetivo para el cual fueron realizados.

3
 ESTANDAR DE EVALUACION SCAMPI

Este tipo de indicador resuelve las dudas de sis es que los objetivos de una determinada practica
se cumplen. Por ejemplo:
– un artefacto existe, pero no hay señal de dónde viene, quien trabajó para desarrollarlo o cómo
se usa.
– Actas de reunión.
– Resultados de revisión.
– Reportes de estado.
– Mediciones de desempeño
– Typical workrpoducts enumerados en las practicas CMMI

Afirmación
– Declaraciones verbales (en entrevistas) o escritas, confirmando o apoyando la implementación
de una práctica específica o genérica.
– usualmente las generan los que implementan la práctica o los stakeholders: clientes internos,
externos, gerentes, etc.
– pueden incluir entrevistas presenciales, video conferencia, etc.
Ejemplos:
-respuestas a cuestionarios
-Entrevistas,
-Presentaciones

Caracterización, implementación de la práctica.

Ejemplo de PII

REQM SP 1.2 Obtener consenso para los requerimientos

Artefactos directos:
– RDD firmado, casos de uso firmados
– Análisis de impacto aprobado por CCB
– email de aprobación de los cambios de requerimientos.

Artefactos indirectos
– emails, actas donde el cliente da el OK al entendimiento de los requerimientos
– Observaciones y comentarios encontrados por el cliente al RDD, casos de uso y análisis de
impacto (CRs)

Verificar evidencia objetiva

la organización proporciona un conjunto de evidencias objetivas de prácticas que satisfacen los
objetivos del CMMI inicio de la evaluación, el equipo verificará si es que realmente fueron
implementadas.
para practicas a nivel de proyecto, se debe confirmar que cada proyecto tiene implementada estas
prácticas.
para practicas a nivel organizacional, el equipo debe observar implementación a nivel
organizacional así como implementación de las mismas actividades del proyecto.
El equipo debe confirmar:
– validez de artefactos directos, indirectos y afirmaciones (ej. documentos, actas de reunión,
declaraciones ).

4
 ESTANDAR DE EVALUACION SCAMPI

– los artefactos directos, corroborados por los indirectos y las afirmaciones verifiquen la
implementación de cada práctica de CMMI necesaria.
– Cada practica del modelo dentro del alcance de la evaluación pueda ser demostrada,
– al menos 50% de las prácticas de la organización deben implementar las metas específicas y
genéricas CMMI

Generar observaciones que describan las brechas en las prácticas implementadas de la

organización.

CMMI —> proceso

|| ===> afirmaciones
||
proyectos

Verificar evidencia objetiva

– para que la evaluación SCAMPI no sólo esté basada en papel, una mínima de evidencia objetiva
debe ser de las entrevistas cara a cara.

Reglas de cobertura para las afirmaciones

– Cada práctica seleccionada debe tener al menos una evidencia objetiva afirmación para al menos
una instancia.
– Cada instancia, debe proporcionar al menos una evidencia objetiva afirmando la practica
relacionada.
(regla de one row, one column)

Proyectos

Metas pj1 pj2 pj3 Row

pa.sox.1-1 x ok

pa.sox.2-1 x ok

pa.sox.3-1 x

Column ok ok ok

– para cada meta al menos 50% de las celdas en la matriz practicas/instancias deben tener al
menos un punto da dato de afirmación.
– si la anterior regla es satisfecha, entonces la regla “one row, one column” no necesita ser
aplicada.

5
 ESTANDAR DE EVALUACION SCAMPI

Caracterización de implementación de prácticas

Fully implemented (FI)

– Artefactos directos presentes y apropiados
– Apoyados por artefacto indirecto y/o afirmación
– No hay debilidades significativas anotadas

Largely implemented (LI)

– Artefactos Directos presentes y apropiados
– Apoyados por artefactos indirectos y/o afirmaciones
– una o más debilidades significativas anotadas.

Partially implemented (PI)

– Artefactos directos ausentes o juzgados inadecuados
– Artefactos o afirmaciones indican que algunos aspectos de la práctica están implementados
– Una o más debilidades significativas anotadas.

Not implemented (NI)

Cualquier situación no contemplada previamente.

Reglas para calificar metas satisfechas

– Todas las practicas asociadas estan categorizadas como LI o FI
– La agregación de debilidades no tiene un impacto significativo negativo en el logro de la meta.

– para una meta calificada como insatisfactoria, el equipo debe ser capaz de describir como las
debilidades nos condujeron a esa calificación.

lineamientos para determinar “impacto significativo”

– cuan confiable está el equipo evaluador que futuras instancias de las prácticas asociadas serán
consistentes con las prácticas observadas.
– Calificar a la meta satisfecha, proporciona a la unidad organizacional una confianza injustificada
en la implementación de una porción del modelo determinado.
– Calificar al meta satisfecha debilita otros aspectos de los esfuerzos de mejora de procesos.
– Es la calificación de la meta “satisfecha” consistente con otras calificaciones de meta ya
determinadas

La cantidad mínima de proyectos es cuatro (4)

Mini Equipos,
permiten al equipo evaluador trabajar con más eficiencia para ejecutar muchas tareas en paralelo.

Categorías de preguntas
Preguntas de respuesta abierta
– no presuponen la respuesta
– proporcionan a los entrevistados la oportunidad de expresar sus ideas y preocupaciones
– facilitan una respuesta espontánea y no estructurada.

6
 ESTANDAR DE EVALUACION SCAMPI

Preguntas directas
– pueden presuponer la respuesta (asume algo que ya existe)
– preguntas al entrevistado por información específica.

Preguntas de transición
– Preguntas acerca de las preguntas
– guían las entrevistas

Ejemplo:
RD SG1 SP1.2
¿Se transforman en un conjunto de funcionalidades y restricciones técnicas de cliente?, ¿Quedan
documentados?, ¿Donde?

Tomar notas
necesario para registrar los datos recogidos de las entrevistas
objetivos específicos:
– Recordar lo que se escuchó y vio.
– Registrar información significativa
– Reportar información de forma precisa.
– Verificar modelo y cobertura organizacional
– Resolver inconsistencias entre lo que recuerdan los integrantes del equipo.
– Proporcionar las bases para definir las fortalezas y debilidades.

Habilidades:
se requiere escuchar y observar.
– Registrar comentarios relevantes
– Evitar parafraseo
– Registrar lo que se escucha palabra por palabra, cuando sea posible.
– Registrar comunicación verbal y no verbal
– Evitar sacar conclusiones o hacer inferencias
– Deben ser durante y hasta inmediatamente después de la entrevista.
– Es necesario tomar notas en relación a componentes específicos del CMMI

Componentes evaluados
– áreas de proceso
– Objetivos específicos y genéricos

Evaluación basada en evidencias de:

– Debilidades
– Fortalezas
– Prácticas alternativas
– Prácticas no aplicables

Puntuación de las prácticas

– Se realiza un juicio sobre las prácticas para cada instancia del proceso (proyectos,
requerimientos)
– El conjunto de prácticas que componen los procesos se emplean como indicadores para
determinar un juicio.

7
 ESTANDAR DE EVALUACION SCAMPI

– Está basado en evidencias de los datos obtenidos durante la evaluación.

– determina su grado de definición e implantación en los proyectos seleccionados
– se combinan para presentar una única puntuación que determine la capacidad del proceso a
nivel organizativo.

Escala de puntuación
Fully Implemented (FI) – Enfoque completo y consistente en cuanto a implantación de la practica
en toda la organización sin existir ninguna debilidad significativa

Largely Implemented (LI) – Enfoque adecuado en la definición de la práctica a nivel de proceso y su

implantación en los proyectos es ordenada, aunque existen variaciones. Hay evidencia de algunas
debilidades no significativas.

Partially Implemented (PI) – Enfoque adecuado en la definición de la práctica a nivel de proceso

pero su implantación no es evidenciada en los proyectos, puede no ser consistente ni predecible.

Not Implemented (NI) – Poca o ninguna evidencia de que la práctica está implementada.

Puntuación de Metas

Satisfecho

las prácticas organizativas asociadas al componente CMMI están implantadas e institucionalizadas

de acuerdo al CMMI o mediante una alternativa adecuada.

Parcialmente Satisfecho
Hay inconsistencias o cobertura parcial en la implantación e institucionalización de las prácticas
asociadas al componente CMMI

No Satisfecho
Hay debilidades significativas en la implantación e institucionalización de las prácticas asociadas al
CMMI y no existe una alternativa adecuada.

No aplicable
Las prácticas asociadas al componente CMMI no son aplicables en el contexto de la organización.

No puntuado
Los hallazgos de la evaluación no cumplen los criterios de cobertura o el elemento CMMI está
fuera del alcance de la evaluación.