Control de Calidad en el Desarrollo de Aplicaciones

Modelo Operacional de Pruebas y Certificacin

Agenda

Modelo Operacional de Pruebas y Certificacin Introduccin Metodologa Entregables Tipos Ambientes

Metodologa
Introduccin

El Modelo en V proporciona un marco de desarrollo estructurado, enfatizando la calidad de la construccin desde la fase de requerimientos iniciales hasta la fase de pruebas. El Modelo en V exige que los productos principales del proyecto sean verificados, validados, y probados. El proceso de verificacin y validacin es un intento de identificar problemas en las fases ms tempranas del ciclo de vida del proyecto y asegurar que las especificaciones son completas, correctas y cumpliendo estndares. La prueba asegura que las especificaciones han sido correctamente desarrolladas y que la solucin responde a los requerimientos de negocio y rendimiento del proyecto. El esfuerzo de un desarrollo comienza en el lado izquierdo del Modelo en V, con las actividades de anlisis y diseo. El proyecto se detalla de arriba abajo, tomando decisiones y aadiendo ms especificaciones en cada fase. Cuando termina el diseo, comienza la construccin. Una vez que sta se completa, el producto pasa, a travs de las actividades de pruebas, a la zona derecha del Modelo en V. Durante las primeras fases de prueba, el foco se centra en los componentes individuales. Segn se progresa en esta fase, el foco pasa a la funcionalidad y al logro de los requerimientos establecidos. Mientras tanto, las acciones de verificacin y validacin se van ejecutando a lo largo de todo el ciclo de vida del proyecto que sigue el Modelo en V.

Metodologa
Introduccin

Metodologa de Prueba Modelo V

Salida a Produccin

Preparar y Ejecutar Pilotos y Simulaciones Obtener los requerimientos de Usuario Analizar los requerimientos del sistema Preparar y Ejecutar Pruebas de Aceptacin de Usuario Preparar y Ejecutar Prueba de Desempeo Preparar y Ejecutar Prueba de Producto Preparar y Ejecutar Prueba de Integracin Disear Procesos Automatizados Preparar y Ejecutar Prueba Unitaria

Especificaciones de Requerimientos Diseo Conceptual de Aplicacin Arquitectura de Aplicacin

Disear Aplicacin

Especificaciones de Programacin

Generar y Codificar Unidades de Programacin

Flujo de Trabajo

Verificacin

Validacin

Pruebas: Probar que los desarrollos cumplen las especificaciones iniciales

Metodologa
Introduccin

Verificacin La Verificacin es un control que asegura que todos los componentes se han construido correctamente a partir de los datos de entrada y los estndares establecidos. .
Fase Tipo Documentacin requerida

Diseo Tcnico

Peer Review (Revisiones entre Iguales)

Construccin y Prueba Unitaria

Peer Review (Revisiones entre Iguales)

Diseo Tecnico Detallado Matriz de Casos de Pruebas Unitarias Cuestionario de Revisiones Peer Formulario de Resultados de Revisin Peer. Guas de diseo vigentes en Telefnica Movistar Cdigo Fuente Matriz de Casos de Pruebas Unitarias Resultados de prueba Unitaria/Sistema Cuestionario de Revisin Peer Formulario de Resultados de Revisin Peer Guas de Codificacin vigentes en Telefnica Movistar

Metodologa
Introduccin

Validacin La validacin es efectuada para asegurar que los sistemas/productos que estn siendo desarrollados pueden ser usados como fue previsto. En otras palabras, la validacin puede asegurar que las cosas estn hechas de forma correcta. La validacin se articular en base a los puntos de transicin, definidos como puntos en el ciclo de vida de la aplicacin que hay un movimiento de los entregables, debido a la finalizacin de una fase del ciclo de vida y que implica el movimiento del entregable entre equipos y/o responsables. .

Fase Construccin y Prueba Unitaria

Tcnica de validacin Prueba

Realizado por Analista Programador

Criterio de Aceptacin No debern quedar Informes de Errores de SW que no sean de tipo distinto a mejora.

Metodologa
Introduccin

El Modelo V engloba toda la metodologa y enfoque de pruebas de Accenture, siendo este un modelo de pruebas validado y actualizado constantemente. El Modelo V provee un marco estructurado de pruebas a lo largo de todo el proceso de desarrollo, enfatizando en la calidad de la fases iniciales del requerimiento hasta la fase final de pruebas. En el Modelo V cada etapa sucesiva de pruebas garantiza que el entregable de cada fase implemente las especificaciones para esa etapa, proporcionando una continua verificacin y validacin a lo largo de todo el desarrollo. La utilizacin de este modelo de pruebas conlleva a una disminucin significativa del nmero de errores que se pueden encontrar en Produccin despus de cada implementacin. La contina verificacin y validacin a lo largo de todo el proceso de desarrollo permite una deteccin temprana y rpida de los defectos.

Agenda

Modelo Operacional de Pruebas y Certificacin Introduccin Metodologa Entregables Tipos Ambientes

Metodologa
Tipos
A continuacin se muestra una tabla con los distintos tipos de prueba que deben ser planificadas y ejecutadas para verificar cada aplicacin, al igual que el responsable de la ejecucin y el ambiente en el cual debe ejecutarse cada prueba:

Tipo de Prueba

Responsable
Equipo de Desarrollo

PRUEBAS UNITARIAS PRUEBAS FUNCIONALES Y DE INTEGRACIN

Por definir

PRUEBAS DE ACEPTACIN DE USUARIO

Pruebas clientes

Por Definir PRUEBAS DE DESEMPEO

Metodologa
Tipos
Debe existir una separacin fsica y funcional entre las tareas de desarrollo y pruebas. Este enfoque mejora el desempeo de los equipos responsables de estas actividades Mltiples Equipos de Desarrollo
Programacin Pruebas Unitarias

Equipo de Pruebas nico

Pruebas de Aceptacin de Usuario

Programacin

Programacin

Pruebas Unitarias

Programacin

Pruebas Unitarias

Pruebas de Desempeo

Pruebas Unitarias

Pruebas Funcionales y de Integracin

Metodologa
Tipos PRUEBAS UNITARIAS
Objetivo: El objetivo de las Pruebas Unitarias es probar los elementos ms pequeos de la aplicacin verificando que los flujos de control y de datos han sido cubiertos y funcionan segn lo esperado Alcance: Este nivel de prueba incluye una revisin del cdigo fuente y una prueba completa de la lgica del programa Todas las lneas de cdigo deben ejecutarse al menos una vez para garantizar que cumplen con las especificaciones del diseo tcnico Luego de la revisin del cdigo, se prueba ejecutando el programa para validar contra las especificaciones tcnicas establecidas La meta de la prueba es probar tantas lneas de cdigo involucradas como sea posible

Roles: El rol responsable de la planificacin y ejecucin de las Pruebas Unitarias es el Analista Programador

Entregables: Los entregables relacionados con las Pruebas Unitarias son: Resultados de Prueba

Metodologa
Tipos PRUEBAS UNITARIAS
Datos de Prueba Las Pruebas Unitarias pueden realizarse con datos limitados de prueba. Cmo obtener datos para las Pruebas Unitarias: Cargar archivos de texto desde la base de datos de produccin y convertir la data utilizando herramientas de conversin de datos Crear nuevos datos. Esto puede realizarse utilizando herramientas de Generacin de Datos o ingresando los datos directamente en la Base de Datos. Los datos para las Pruebas Unitarias deben ingresarse en el ambiente de desarrollo.

Metodologa
Tipos PRUEBAS UNITARIAS
Criterios de Entrada Se ha aprobado el diseo tcnico? Se han identificado los casos de prueba y los resultados esperados? Criterios de Salida Se han probado todos los casos? Se documentaron todos los resultados obtenidos? Se documentaron todos los errores identificados? Los errores identificados han sido corregidos o planificada su correccin? El mdulo ha sido revisado por el lder del equipo?

Metodologa
Tipos PRUEBAS UNITARIAS
Aspectos a considerar durante la ejecucin de las Pruebas Unitarias: Se prueban todos los casos de lgica funcional Todas las variables se inicializan correctamente Todos los ciclos se completan exitosamente La codificacin cumple con los estndares establecidos por Banco Se prueba la validacin de campos tanto para valores correctos e incorrectos Se prueban todos los manejadores de errores para los flujos del programa Los contadores son asignados adecuadamente Las nuevas estructuras de datos son compatibles con las ya existentes Las validaciones y el diseo de pantallas es consistente con los estndares de diseo del Banco Todos los clculos generan resultados correctos Los clculos slo pueden realizarse con datos numricos vlidos. Las reglas de redondeo se aplican correctamente.

Metodologa
Tipos PRUEBAS UNITARIAS
Aspectos a considerar durante la ejecucin de las Pruebas Unitarias (continuacin): Se manejan correctamente los nmeros positivos y negativos Se prueban todos los valores de cada campo de mensaje Las entradas no son rechazadas en el procesamiento Todos los mdulos hacen un manejo correcto las condiciones de error y proveen mensajes adecuados Se prueba cada condicin de error Se han efectuado pruebas para valores no numricos y campos en posiciones incorrectas. Todos los acumuladores son asignados a cero al comienzo de las ejecuciones y puntos de corte Las interacciones entre mltiples ventanas dentro de un mismo dilogo o la misma funcin de negocio se efectan segn lo diseado. Todos los errores identificados han sido corregidos o planificada su correccin Se realizarn Pruebas de Regresin para verificar que las correcciones efectuadas no afectan negativamente casos ya probados

Metodologa
Tipos PRUEBAS FUNCIONALES/INTEGRACIN
Objetivo: El objetivo de las Pruebas Funcionales / Integracin es validar que la aplicacin en su totalidad cumple con los requerimientos funcionales y de negocio para asegurar que los componentes del sistema operan adecuadamente al ser combinados Roles: El rol involucrado en las Pruebas Funcionales / Integracin es Testing Movistar Alcance Funcional de las Pruebas Funcionales / Integracin Se realiza cuando la aplicacin esta funcionando como un todo. El objetivo es probar la funcionalidad completa del sistema as como tambin las interfaces existentes Valida que la aplicacin cumple con los requerimientos funcionales Valida que las interfaces funcionan correctamente y que las funciones de negocio son soportadas entre los mltiples sistemas Alcance Tcnico de las Pruebas Funcionales / Integracin Valida que todas las aplicaciones han sido cargadas y configuradas adecuadamente Valida que la infraestructura tcnica del banco soporta los cambios de las aplicaciones, y que los cambios en la plataforma no impactan en el desempeo de las aplicaciones existentes

Entregables: Plan Casos Rutas Log Resultados Configuracin del Ambiente

Metodologa
Tipos PRUEBAS FUNCIONALES/INTEGRACIN
Datos de Prueba Las Pruebas Funcionales y de Integracin deben realizarse con datos limitados pero realistas, es decir, no se requiere utilizar los datos completos de la Base de Datos de Produccin. Como obtener datos para las Pruebas de Integracin: Cargar archivos de texto desde la base de datos de Produccin y convertir la data utilizando herramientas de conversin de datos Crear nuevos datos. Esto puede realizarse utilizando Herramientas de Generacin de Datos o ingresando los datos directamente en la Base de Datos. Los datos para las Pruebas de Integracin deben ingresarse en el ambiente de Pruebas antes del comenzar la ejecucin

Metodologa
Tipos PRUEBAS FUNCIONALES/INTEGRACIN
Criterios de Entrada La fase de Pruebas Unitarias ha sido aprobada? Los Planes de Prueba han sido revisados y aprobados? Se han identificado y documentado los casos, rutas de prueba y resultados esperados? Est listo el ambiente de Pruebas? Se han preparado los datos para la Prueba Funcional y de Integracin? Criterios de Salida Se han probado todas las rutas de prueba? Los resultados obtenidos han sido documentados? Se documentaron todos los errores identificados? Los errores identificados han sido corregidos o planificada su correccin? Se han efectuado las revisiones y aprobaciones necesarias?

Metodologa
Tipos PRUEBAS FUNCIONALES/INTEGRACIN
Aspectos a considerar durante la ejecucin de las Pruebas Funcionales y de Integracin: Funcional Las interacciones entre las mltiples aplicaciones funcionan segn lo diseado La aplicacin soporta los procesos de negocio Todas las funciones se efectan segn lo requerido con entradas esperadas e inesperadas Todas las excepciones son manejadas adecuadamente o no interfieren con los procesos existentes Todos los errores han sido solventados o planificada su correccin Tcnico La plataforma tcnica existente soporta los nuevos cambios El desempeo de las aplicaciones existentes no se ve afectado por los cambios en la infraestructura tcnica Aspectos de prueba que pueden o no ser obvios para el usuario, como por ejemplo: recuperacin y arranque

Metodologa
Tipos PRUEBAS DE ACEPTACIN DE USUARIO
Objetivo: El objetivo de las Pruebas de Aceptacin de Usuario es verificar que la aplicacin est lista y puede ser utilizada por el usuario final para desempear las funciones del negocio

Roles: Los roles involucrados en las Pruebas de Aceptacin de Usuario son: Testing Movistar

Entregables: Plan Casos Rutas Log Resultados Configuracin del ambiente

Alcance: Se enfoca en validar que los requerimientos del usuario / negocio han sido implementados adecuadamente y soportan las necesidades y los procesos de negocio realizados por los usuarios Los usuarios validan que otros requerimientos de calidad sean cumplidos (facilidad de uso del sistema, datos de referencia, integridad de reportes y desempeo del sistema) Se prueba que la misma funcin de negocio trabaja adecuadamente en escenarios distintos. Se verifican los valores de cada campo de mensaje Se prueba que resultados y totales son generados correctamente por cada funcin de negocio

Metodologa
Tipos PRUEBAS DE ACEPTACIN DE USUARIO
Datos de Prueba Al igual que en las Pruebas Funcionales y de Integracin, las Pruebas de Aceptacin de Usuario deben realizarse con data limitada pero realista, eso significa que no es necesario utilizar la Base de Datos de Produccin completa Los datos ingresados en el ambiente de pruebas deben refrescarse antes de la ejecucin de estas pruebas

Creacin y modificacin de Datos de Prueba

Refrescamiento Datos de Prueba

Programacin

Pruebas Unitarias

Metodologa
Tipos PRUEBAS DE ACEPTACIN DE USUARIO
Criterios de Entrada Se aprobaron las Pruebas Funcionales y de Integracin? Se identificaron y documentaron los casos, rutas de pruebas y resultados esperados para estas pruebas? Se ha acordado y aprobado la participacin y disponibilidad de los usuarios? Esta listo el ambiente de pruebas? Se han preparado los datos de prueba? Criterios de Salida Se han probado todas las rutas definidas para estas pruebas? Se han documentado los resultados obtenidos? Se documentaron todos los errores identificados? Los errores identificados han sido corregidos o planificada su correccin? Se han efectuado las revisiones y aprobaciones necesarias?

Metodologa
Tipos PRUEBAS DE ACEPTACIN DE USUARIO
Aspectos a considerar durante la ejecucin de las pruebas: La aplicacin soporta los procedimientos y la operativa de los usuarios La aplicacin soporta los procesos para todos los perfiles (tipos) de usuario La misma funcin de negocio trabaja adecuadamente bajo distintos escenarios. Cada proceso afecta solamente a la data esperada sin inclusiones o exclusiones no previstas

Metodologa
Tipos PRUEBAS DE DESEMPEO
Objetivo: El objetivo de las Pruebas de Desempeo es identificar y corregir problemas de rendimiento de las aplicaciones antes de su pase a produccin

Roles: Los roles involucrados en las Pruebas de Desempeo son: Analista de Homologacin Arquitectos Infraestructura Entregables: Plan Casos Log Resultados Configuraciones del ambiente

Alcance: Prueba que los procesos de negocio pueden ejecutarse con los niveles de servicio requeridos, mientras trabaja con picos reales de carga de trabajo, en un ambiente completamente integrado El desempeo del sistema deber ser monitoreado en todas las reas de la funcionalidad de la aplicacin (por ejemplo: tiempos de respuesta en el front end, planificacin de tareas batch, servidores, bases de datos, redes, etc.) Las Pruebas de Desempeo deben probar especficamente, el comportamiento del sistema bajo volmenes normales, volmenes mximos y en el nivel en el cual comienza a decaer el desempeo de la aplicacin

Metodologa
Tipos PRUEBAS DE DESEMPEO
Con el fin de identificar problemas de desempeo antes de realizar el pase a Produccin, el Banco debe ejecutar los siguientes niveles de prueba: CAPACIDAD Y DISPONIBILIDAD Prueba de Carga: Somete al servidor a condiciones de carga anlogas a las del ambiente de Produccin. Pruebas de Estrs: Somete al servidor a aquellas condiciones de carga en las cuales el desempeo comienza a desmejorar. CONTINGENCIA Pruebas del Ambiente Tcnico: Garantiza que el hardware, la red y los componentes del Sistema Operativo se han instalado correctamente y se integran de forma adecuada. Pruebas de Recuperacin Tcnica: Confirma que los eventos tcnicos que se producen durante una recuperacin del desastre operan adecuadamente.

Metodologa
Tipos PRUEBAS DE DESEMPEO
Prueba de Aplicacin: Garantiza que las aplicaciones del negocio estn correctamente instaladas para probar la funcionalidad de recuperacin Pruebas de Invocacin: Garantiza que el proceso de recuperacin y los procesos que facilitan los servicios de recuperacin se ejecutan dentro del rango de tiempo definido y de manera apropiada.

Metodologa
Tipos PRUEBAS DE DESEMPEO
Datos de Prueba Pruebas de Desempeo Batch Con el fin de obtener resultados significativos, las Pruebas de Desempeo Batch deben ejecutarse con una base de datos completa de Clientes, Cuentas y Transacciones. La Base de Datos de Pruebas de Desempeo puede prepararse mediante las siguientes opciones: Cargando archivos de texto desde la base de datos de Produccin y adecuando la data utilizando herramientas de conversin de datos Creando nuevos datos. Esto puede realizarse utilizando Herramientas de Generacin de Datos o ingresando los datos directamente en la Base de Datos.

Metodologa
Tipos PRUEBAS DE DESEMPEO
Datos de Prueba Pruebas de Desempeo Online Existen dos opciones para medir el desempeo para transacciones Online: Utilizando usuarios clave del negocio en transacciones importantes y cronometrar el tiempo de respuesta. Utilizando una herramienta de pruebas que puede ser configurada para ejecutar scripts de prueba y capturar el desempeo

Metodologa
Tipos PRUEBAS DE DESEMPEO
Cuando ejecutar Pruebas de Desempeo: Pruebas Desempeo Batch Deben utilizarse para probar: Ejecuciones diarias de procesos Batch Ejecuciones de Batch en fin de da Ejecuciones de Batch en fin de mes Ejecuciones de Batch en fin de ao Interfaces Batch prioritarias con otras plataformas y redes externas Pruebas Desempeo Online Las Pruebas de Desempeo Online deben enfocarse en probar canales e interfaces con un volumen alto de transacciones: Transacciones de Cajeros Transacciones de ATM

Metodologa
Tipos PRUEBAS DE DESEMPEO
Cuando ejecutar Pruebas de Desempeo: Pruebas Desempeo Online (continuacin) Otros canales prioritarios (ejemplo: banca electrnica, banca por telfono, etc.) Banco debe asignar prioridades a las Pruebas de Desempeo para cubrir solo los canales ms utilizados o aquellos que generan un volumen significativo Asignar prioridad a las interfaces online entre aplicaciones. Banco debe priorizar las Pruebas de Desempeo slo para cubrir aquellas interfaces entre aplicaciones que son ms utilizadas o generan un volumen importante de transacciones.

Metodologa
Tipos PRUEBAS DE DESEMPEO
Criterios de Entrada Se aprobaron las Pruebas de Integracin? Se identificaron y documentaron los casos de prueba y resultados esperados para las Pruebas de Aceptacin de Usuario? Esta listo el ambiente de Pre-produccin? Los datos para las Pruebas de Desempeo han sido preparados? Criterios de Salida Se han probado todos los casos? Se han documentado los resultados obtenidos? Se documentaron todos los errores identificados? Se han efectuado las revisiones y aprobaciones necesarias?

Metodologa
Tipos PRUEBAS DE DESEMPEO
Aspectos a considerar durante la ejecucin de las Pruebas de Desempeo: Capacidad / Disponibilidad La aplicacin soporta el acceso de mltiples usuarios al servidor La aplicacin soporta comportamientos habituales de los usuarios La aplicacin soporta volmenes mayores a los esperados Contingencia Los procesos y mecanismos tcnicos para la recuperacin del sistema operan adecuadamente La cantidad de transacciones perdidas en caso de desastre no supera la cantidad esperada Las configuraciones de equipos redes y aplicaciones estn en la versin correcta Los procedimientos de identificacin de desastre, escalacin e invocacin operan segn lo planeado

Agenda

Modelo Operacional de Pruebas y Certificacin Introduccin Metodologa Entregables Tipos Ambientes

Metodologa
Ambientes
A continuacin se muestra una tabla con los distintos ambientes que deben ser establecidos para el proceso de pruebas y su descripcin: Tipo de Ambiente Descripcin
Utilizado por el programador para validar el funcionamiento de su desarrollo (Pruebas Unitarias) Ambiente de naturaleza inestable debido a los mltiples desarrollos que se llevan a cabo sobre esta plataforma Contiene un conjunto de datos limitado y muy cambiante a causa de las pruebas que se ejecutan en paralelo Adecuado para pruebas puntuales de funcionalidad Utilizado para realizar pruebas funcionales de integracin y certificacin de usuario Ambiente integrado ms estable donde se encuentran instalados las versiones ms recientes de las aplicaciones y estructuras de datos Contiene un subconjunto de datos especialmente generados para las pruebas a realizar

Desarrollo

Pruebas