Evaluación de

Productos

Grupo 2
Agenda

• Introducción
• Norma ISO/IEC 14598
• Proceso para Evaluadores

Grupo 2
Evaluación de Productos
• Importancia de evaluar productos
• Para la evaluación de calidad:
– Modelo de calidad
– Método de evaluación
– Medición del software
– Herramientas de soporte

Grupo 2
Norma ISO/IEC 14598
• Conformada por:
– 1: Descripción General
– 2: Planificación y gerenciamiento
– 3: Proceso para Desarrolladores
– 4: Proceso para Adquirientes
– 5: Proceso para Evaluadores
– 6: Documentación de Módulos de evaluación

Grupo 2
Norma ISO/IEC 14598-1
• Descripción General
– Descripción de las partes que conforman la norma
– Quienes la pueden usar
• Desarrolladores
• Adquirientes
• Evaluadores

Grupo 2
Norma ISO/IEC 14598-2
• Planificación y Gerenciamiento
– Determinar requerimientos para asegurar el éxito de la
evaluación
– Función de soporte al proceso de evaluación:
• Adquisición de estandares nacionales e internacionales
• Desarrollo de estandares internos y herramientas que se
adecuan a los requerimientos de la organización

Grupo 2
Norma ISO/IEC 14598-3
• Define Proceso de evaluación de producto para
Desarrolladores
– Evaluación para Desarrollo y Mantenimiento
– Aplica a todas las fases del desarrollo
– Se realiza por miembros de la propia empresa
– Se evalúa productos intermedios y finales

Grupo 2
Norma ISO/IEC 14598-4
• Define Proceso de evaluación de producto para
Adquirientes
– Evaluación de productos ya desarrollados
– La evaluación resultante de este proceso se aplica
para la toma de decisiones de la adquisición del
producto.

Grupo 2
Norma ISO/IEC 14598-5
• Define Proceso de evaluación de producto para
Evaluadores
– Realizado por personal independiente
– Evaluación de productos intermedios y finales

Grupo 2
Norma ISO/IEC 14598-6
• Guía para Documentación de Módulos de
evaluación
– Modulo de evaluación: estandarización para
documentar nuevas métricas y guias de uso
– Se documentan las técnicas, métricas y métodos del
proceso de evaluación
– Ej.;Definición de Templates

Grupo 2
ISO/IEC 14598 - ISO/IEC 9126
Producto de Efecto del
Recursos y Proceso de
software producto
entorno evaluación
software

Apoyo a la Proceso de Métricas Métricas Métricas de

evaluación evaluación Internas externas calidad en
uso

14598-1

14598-2 14598-3 9126-1

14598-4
14598-6 9126-3 9126-2 9126-4
14598-5

Grupo 2
Agenda

• Introducción
• Norma ISO/IEC 14598
• Proceso para Evaluadores

Grupo 2
Proceso para evaluadores
• Define un proceso de evaluación
– Actividades
– Entregables
• Debería ser usado por:
– Laboratorios evaluadores
– Empresas desarrolladoras de software
– Adquirientes de software
– Usuarios de un producto
– Entidades certificadoras

Grupo 2
Proceso para evaluadores (2)
• Promueve las siguientes características:
– Repetible
– Reproducible
– Imparcial
– Objetivo

Grupo 2
a
Establecimiento de los Requerimientos

Grupo 2
Establecimiento de los Requerimientos
• Propósito
– Definir los objetivos de la evaluación.
- Proyectar uso del producto de software y
riesgos asociados.
- Puede ser interesante considerar diferentes
puntos de vista (desarrollador, proveedor,
encargado de mantenimiento, etc)

Grupo 2
Caja Ampliada de los Requerimientos
Establecimiento

Grupo 2
Entradas
• Requerimientos del Solicitante
– Aspectos del producto a gran escala que el Solicitante
quiere evaluar.

Grupo 2
 Actividades a desarrollar
• Planteo de requerimientos del Solicitante.
• Definición del cubrimiento de la evaluación por
parte del Solicitante.
• Orientación del Evaluador hacia el Solicitante en
la definición de requerimientos.
• Acuerdo mutuo en la definición de
requerimientos.

Grupo 2
Salidas
• Requerimientos de la Evaluación
– Descripción general del dominio de la aplicación
– Listado de requerimientos de calidad a evaluar (se
recomienda basarse en ISO/IEC 9126-1)
– Ponderar reqs. de calidad en función del tipo de
aplicación a evaluar

Grupo 2
Ejemplo: Reqs de la Evaluación
• Producto a Evaluar: Gmail
• Evaluación de Interfaz en las sig. tareas
• Envio de mail
• Uso de Chat
• Armado de grupos
• Redireccionamiento a otra casilla de correo
• Atributos de calidad
• Efectividad
• Productividad
• Satisfaccion

Grupo 2
Especificación de la Evaluación

Grupo 2
Especificación de la Evaluación
• Propósito
– Especificar las mediciones a realizar acerca de los
atributos anteriormente seleccionados.
– Brindar un nivel de detalle suficiente como para
asegurar que el proceso sea repetible y reproducible.

Grupo 2
Especificación de la Evaluación

Grupo 2
Entradas
• Requerimientos de Evaluación (etapa anterior)
• Descripción del Producto (Solicitante)
• Especificaciones Predefinidas (Evaluador)
– Conjunto de posibles mediciones a realizar sobre un
cierto atributo de calidad

Grupo 2
Actividades a desarrollar
• Análisis de la descripción del producto
– Determinación de los componentes a ser evaluados y
estudio de factibilidad.
• Especificación de las evaluaciones
– Especificación de que atributos de calidad van a ser
evaluados por componente.
– Especificación de las métricas a ser utilizadas en
ciertos componentes (Evalúo midiendo).
– Determinación de requerimientos a ser testéados.
(Evalúo testeando).

Grupo 2
Actividades a desarrollar (2)

• Verificación de la Especificación de la Evaluación

– Verificar el cubrimiento de los Reqs. de evaluación con
respecto a la Especificación de la Evaluación.

Grupo 2
Salidas
• Especificación de la Evaluación
– Resultado de las actividades anteriormente
mencionadas.

Grupo 2
Ejemplo: Esp. de la Evaluación
• Evaluaremos los siguientes atributos de calidad:
– Efectividad
– Productividad
– Satisfacción

Grupo 2
Ejemplo: Esp. de la Evaluación
• Efectividad
– % funciones relevantes usadas
– % de usuarios capaces de completar cada tarea
– % de usuarios capaces de completar una tarea sin
capacitación

Grupo 2
Ejemplo: Esp. de la Evaluación
• Productividad
– Tiempo insumido en primer intento
– Tiempo insumido normalmente
– Cantidad de clicks necesarios

Grupo 2
Ejemplo: Esp. de la Evaluación
• Satisfacción
– Relación entre opiniones positivas y negativas de los
usuarios
– % de usuarios que recomendarían el producto
– % de usuarios que lo califican de fácil uso en
comparación con otro competidor

Grupo 2
Diseño de la Evaluación

Grupo 2
Diseño de la Evaluación
• Propósito
– Documentar los métodos y procedimientos a ser
usados en la evaluación
– Identificar los recursos a ser utilizados en la evaluación

Grupo 2
Diseño de la Evaluación

Grupo 2
Entradas
• Especificación de la Evaluación (etapa anterior)
• Descripción del Producto (Solicitante)
• Métodos de Evaluación (Evaluador)
– Conjunto de técnicas y procedimientos conocidos por
el Evaluador.

Grupo 2
Actividades a desarrollar
• Documentación de los métodos y
procedimientos en un plan inicial.
– Para cada evaluación a realizar, se deberá describir en
forma detallada el método a ser usado y como este va
a ser instanciádo.
• Agendar las actividades a realizar de acuerdo a
los recursos disponibles.
• Optimización del plan inicial.

Grupo 2
Salidas
• Plan de la Evaluación
– Métodos a seguir
– Agenda.

Grupo 2
Ejemplo: Diseño de la Evaluación
• Plan de Evaluación
– Encuestas
• % de usuarios que recomendarían el producto.
– Cronómetro
• Tiempo insumido en primer intento.
– Contar clicks
• Cantidad de clicks necesarios.

Grupo 2
Ejecución de la Evaluación

Grupo 2
Ejecución de la Evaluación
• Propósito
– Llevar a cabo el plan definido en el diseño registrando
los resultados obtenidos y las acciones tomadas.

Grupo 2
Ejecución de la Evaluación

Grupo 2
Entradas
• Plan de la Evaluación (etapa anterior)
• Componentes del Producto (Solicitante)
• Herramientas de Evaluación (Evaluador)

Grupo 2
Actividades a desarrollar
• Gestión de los componentes del producto
– Llevar registro de los componentes de producto
recibidos.
• Identificador único de componente o documento
• Nombre del documento o componente
• Estado del documento (en buen estado, dañado, etc)
• Versión
• Fecha de recibido
– En caso de ser necesario se podra usar Gestión de la
Configuración

Grupo 2
Actividades a desarrollar (2)
• Gestión de resultados obtenidos
– Manejo ordenado
– Prevención de modificaciones accidentales
– Manejo de la confidencialidad
– Tener en cuenta el lugar de desarrollo de la evaluación

Grupo 2
Actividades a desarrollar (3)
• Gestión del uso de herramientas
– Inclusión en el Informe borrador de la evaluación
información acerca de las herramientas utilizadas
– Inclusión en el registro de acciones de información
detallada sobre el uso de herramientas
– Verificación del correcto funcionamiento de las
herramientas
– Capacitación (en caso de ser necesario) en el uso de
las herramientas.

Grupo 2
Actividades a desarrollar (4)
• Revisión de los datos obtenidos y generación de
reportes
– Todos los resultados deben ser analizados
– Participación de integrantes no involucrados
directamente en la medición de los resultados
– Resultados de la revisión se deben incluir en el
Informe Borrador de la Evaluación

Grupo 2
Salidas
• Plan de la Evaluación
– Informe Borrador de la Evaluación
– Registros de Acciones

Grupo 2
Conclusión de la Evaluación

Grupo 2
Conclusión de la Evaluación
• Propósito
– Revisión conjunta (Solicitante, Evaluador) del Informe
Borrador de la Evaluación
– Eliminación de los datos no relevantes de la
evaluación

Grupo 2
Conclusión de la Evaluación

Grupo 2
Entradas
• Requerimientos de la Evaluación (etapas
anteriores)
• Especificación de la Evaluación(etapas
anteriores)
• Informe Borrador de la Evaluación(etapa
anterior)
• Componentes del Producto (Solicitante)

Grupo 2
Actividades a desarrollar
• Revisión conjunta
– Puesta en común de los resultados documentados
– Comentarios del solicitante
– Generación del Informe Final de la Evaluación, la cual
incluye la integración de los documentos de entrada
• Cierre de la evaluación
– Destino de los datos, documentos, componentes,
herramientas, hw, etc.

Grupo 2
Salidas del Proceso
• Informe Final de la Evaluación
– Resultado de las actividades anteriormente mencionadas.
– Entregado al Solicitante y almacenado por parte del
Evaluador

Grupo 2
Salidas del Proceso
• Registros de la Evaluación
– Almacenado solo por el Evaluador
– Es lo permite que el proceso sea repetible y
reproducible.

Grupo 2
Preguntas

Grupo 2