Está en la página 1de 10

Las pruebas estadísticas: se utilizan para probar el desempeño y la fiabilidad del

programa y comprobar cómo trabaja bajo condiciones operacionales. Las pruebas se


diseñan para reflejar las entradas de los usuarios y su frecuencia. Después de llevar a
cabo las pruebas, se puede hacer una estimación de la fiabilidad operacional del sistema
contando el número de caídas observadas en el sistema.

La capacidad del programa se valora midiendo el tiempo de ejecución y el tiempo de


respuesta del sistema cuando procesa los datos estadísticos de la prueba.
Las pruebas funcionales o de caja negra son una estrategia para seleccionar las pruebas
de fallos basándose en las especificaciones de los componentes y programas, y no del
conocimiento de su implementación. El sistema se considera como una caja negra cuyo
comportamiento sólo se puede determinar estudiando las entradas y de contrastarlas con
las respuestas que proporciona el sistema.

Calificación de instalación (IQ) para software y aplicativos


 Identificar el nombre del software, fabricante, versión, localización (Servidor).
 Identificar los datos del servidor o PC donde se encuentra instalado: Sistema
operativo, fabricante, modelo, memoria RAM, serial, ubicación del servidor
 Verificar que la configuración del PC cumpla con las del aplicativo: Sistema
operativo, memoria RAM, disponibilidad de disco duro
 Verifica que el sistema se le realiza backup de forma periódica, se debe registrar la
periodicidad (Diaria, 1 vez al mes, trimestral), ubicación del backup, instructivo
como se realiza el backup.
 Identificar la configuración con que se realizarán las pruebas.
Protocolo de Calificación de Software
Calificación de instalación (IQ) y calificación operacional (OQ) basada en la
metodología de Agilent Laboratory Software
Como utilizar este documento

Este documento provee un listado completo de las pruebas y verificaciones realizadas por parte del
programa estándar de IQ y OQ para software utilizado por la empresa Agilent en conjunto con
Enterprise Edition Compliance Services.

Todos los procedimientos listados en este documento referente al software de IQ y OQ son una
serie de verificaciones y pruebas que Agilent recomienda según sus criterios y límites.

Todas las pruebas mencionadas en este documento son utilizadas en las herramientas de Agilent.

Calificación de Instalación de Software (IQ)


La calificación de instalación de Software comprueba y prueba cada cliente y servidor según
corresponde la configuración instalada por el servidor. Se realiza un registro detallado de la
configuración del sistema y se reporta en el informe final de IQ. La configuración (tipo de software,
número de clientes, etc.) determina el tipo y número de pruebas de OQ a realizar posteriormente.

La calificación de instalación incluida en el software de Agilent incluye los siguientes criterios:

1. Documentos de Orden de Compra.

Permite a los clientes verificar que el instrumento siendo calificado concuerda con sus
requerimientos establecidos (Si está disponible) y orden de compra.

CRITERIO DE ACEPTACIÓN: Ninguno

SOLO REGISTRO DE DOCUMENTACIÓN

2. Documentos de preparación y de instalación.

Recopila y registra información sobre los documentos de preparación e instalación.

CRITERIOS DE ACEPTACIÓN: NINGUNO

SOLO REGISTRO DE DOCUMENTACIÓN

3. Documentos del sistema e instalación

Recopila y registra información sobre referencias del sistema y manual de usuario para la
instalación inicial.

CRITERIOS DE ACEPTACIÓN: NINGUNO

SOLO REGISTRO DE DOCUMENTACION

4. Documentos para el aseguramiento de la calidad del producto

Recolecta y registra certificados y otras formas para verificar que el vendedor ha desarrollado y
construido un producto acorde a los estándares internos requeridos.

CRITERIOS DE ACEPTACIÓN: Ninguno


SOLO REGISTRO DE DOCUMENTACIÓN

5. Prueba de inicio

Verifica que todos los procedimientos y módulos inicien de forma correcta y apropiada.

CRITERIOS DE ACEPTACIÓN: Verificar que no exista ningún error en el inicio del software.

6. Calificación de instalación del Software

Verificar la exactitud de todos los archivos asociados con la instalación del software ejecutando el
programa de verificación de instalación automatizada proporcionada por su servidor (IQT). Todos
los componentes del software son verificados y escaneados para la correcta validación del
funcionamiento de los mismos.

CRITERIOS DE ACEPTACIÓN:

Informe de archivos generados

- Comprobar que no existan archivos faltantes o inválidos.

- Comprobar que no existan diferentes formatos en los archivos.

Informe de registros generados

- Comprobar que no existan entradas de registro invalidas

Informe de registro de archivos

- Comprobar que no se puedan utilizar archivos no registrados

Calificación de operación de Software (OP)


Toda la lista de criterios de calificación de operación utilizados para comprobar y verificar software
por Agilent son descritos a continuación. El tipo y escala de instalación de software será
determinada dependiendo la prueba requerida por el software OQ.

CRITERIOS DE ACEPTACIÓN PARA TODAS LAS PRUEBAS:

Actual salida de información o resultado actual en comparación con la salida de información


esperaba o resultado esperado.

Prueba de Seguridad: Acceso Básico

Esta prueba verifica que el acceso a la administración de utilidades y el software sea solamente
para usuarios validados por el servidor con el respectivo nombre de usuario y contraseña
proporcionados.

Prueba de Seguridad: Acceso Avanzado

Esta prueba verifica que el acceso acorde a la política de contraseñas del servidor funciona
correctamente.

Prueba de Seguridad: Bloqueo de interfaz de usuario

Esta prueba utiliza como herramienta el tiempo que el usuario permanece en la aplicación o sesión
y realiza un bloqueo, de esta manera verifica que el software puede prevenir el acceso de
personas no autorizadas o la incursión de un usuario al cual no corresponden los procesos que a
los que deseaba acceder.
Informes y pruebas de cálculo: Autotest

Esta prueba automatizada verificada los cálculos del programa.

Informes y pruebas de cálculo: informes

Esta prueba manual verifica que el programa pueda generar informes y resultados de acuerdo a la
plantilla predeterminada por el servidor.

Informes y pruebas de cálculo: Análisis integrador y cuantitativo

Esta prueba verifica el análisis integrador y cuantitativo, integrando un conjunto de datos bien
caracterizados comparando resultados actuales con los resultados esperados.

Prueba de Trazabilidad: Auditoria de gestión de usuarios

Está prueba verifica que el software registra la información de registro adecuada (firmas
electrónicas, fechas y sellos de tiempo, e información de cuentas).

Prueba de Trazabilidad: Auditoría de datos

Esta prueba verifica que los cambios de métodos asociados con los datos son mantenidos de
forma adecuada.

Prueba de integridad: Datos

Esta prueba verifica la integridad de los datos como archivos de almacenados, recuperados o
transferidos. Además verifica que los datos solo puedan ser modificados por los usuarios
autorizados.

Prueba de Comunicación

Está prueba verifica que el software pueda comunicarse con los módulos de instrumentos.

Calificación Operacional para pruebas específicas de software


Espectrometría de masas
Biblioteca Espectral/Evaluación

Está prueba verifica que el usuario pueda crear una biblioteca, agregar algún componente a la
misma, y entonces identificar el componente y verificar la identificación.

Usuario/Servidor
Prueba del Usuario: Operación del servidor

Esta prueba verifica la conexión entre el servidor y el cliente utilizando una prueba de flujo de
trabajo constante.

Prueba del Servidor: Operación del usuario

Esta prueba verifica que el usuario utilizado por el servidor complete la calificación de instalación
satisfactoriamente y puedo conectarse con el servidor.

Prueba del Servidor: Archivar y restaurar

Esta prueba verifica que el servidor posee las capacidades para archivar y restaurar información.
Prueba del Servidor: Prueba de carga

Esta prueba enfatiza el sistema usuario/servidor con una carga simultánea de transferencia de
datos desde múltiples usuarios.

Sistema de Gestión de Contenidos (CMS) Software (OpenLab, ECM)


Sistema de gestión de contenidos (CMS): Prueba de operación de archivos

Esta prueba verifica que un usuario autorizado pueda acceder al sistema, crear una carpeta,
enviarla, eliminarla y mover archivos a la misma desde el sistema de gestión almacenamiento.

CMS: Prueba de registro y verificación

Está prueba verifica que un usuario autorizado pueda verificar archivos y que el programa prohíba
a otros usuarios verificar el archivo cuando ya ha sigo verificado por un usuario autorizado.

CMS: Prueba de notificación de correo electrónico

Esta prueba verifica que una notificación de correo es enviada después de eliminar algún archivo
del sistema.

CMS Prueba de servicios de impresión: Impresión Genérica

Esta prueba verifica que los servicios de impresión envían datos correctamente al sistema de
gestión de almacenamiento.

CMS Prueba de Adobe Acrobat: Firma Virtual

Esta prueba verifica que se pueda firmar un documento.

CMS Prueba Adobe Acrobat: Plantilla

Esta prueba verifica que el sistema pueda extraer información desde un documento Adobe para
crear clave in las bases de datos.

CMS Prueba de archivos asociados

Esta prueba verifica que se puedan asociar archivos y deshacer la asociación creada cuando sea
deseado.

CMS Prueba de la Estructura de gestión de contenido

Esta prueba verifica que un usuario autorizado sea capaz de crear, manipular y eliminar una
estructura de gestión de contenido.

CMS Prueba de filtro

Esta prueba verifica que el sistema posea las capacidades de filtrar información por medio de una
prueba automatizada.

CMS Prueba de archivo

Esta prueba verifica si el sistema es capaz de archivar datos desde el almacenamiento.

CMS Prueba de Consulta

Esta prueba verifica que las consultas puedan encontrar archivos y claves de usuario previamente
definidas.
Listado de Criterios para la validación de un sistema informático
1. Desarrollo del Sistema
o Proveedores
 Verificar si hay un método para aceptar el producto, incluyendo los requerimientos técnicos
y de calidad del producto.

 Verificar como los requerimientos técnicos y de calidad son considerados por el proveedor
y/o sub contratado. ¿Hay un proceso definido? ¿El mismo es cumplido?

 En el caso de sub contratar actividades, verificar la experiencia y calificación del mismo


(por ej. verificar entrenamientos o certificaciones).

 Si la evaluación del proveedor involucró una auditoria, verificar el estatus de los hallazgos.

 ¿Dispone de un procedimiento para la evaluación de proveedores?, ¿dicho procedimiento


es seguido?

 Si el Sistema es provisto por un proveedor, verificar si el mismo ha sido evaluado.

 Verificar si el Sistema fue elaborado “In House” o desarrollado por un proveedor.

o Requerimientos
 Verificar que todos los requerimientos GMP del proceso, incluyendo la parte 11 (firmas y
registros electrónicos) han sido incluidos.

 Verificar que los requerimientos son revisados y aprobados por los departamentos
apropiados, incluyendo como mínimo responsable del proceso de negocios y al
responsable de QA.

o Diseño y codificación
 Verificar que existe un documento de diseño cubriendo todos los requerimientos del
usuario y la trazabilidad entre los requerimientos y los elementos del diseño.

 Verificar que la especificación de diseño es revisada y aprobada por los departamentos


apropiados.

 Confirmar que la especificación de diseño fue aprobada antes de que el codificado


comience.

 Confirmar que existe un estándar de codificado (por ej. Java, etc.). En caso de no haberlo,
debe haber una justificación adecuada.

 Verificar que la revisión de código fue efectuada.

 Determinar si todo el código es revisado o si es revisado una muestra, en éste último caso,
determinar cómo fue seleccionada la muestra.

 Confirmar que los revisores de código son independientes y están adecuadamente


calificados.

 Confirmar que los defectos encontrados durante la revisión son corregidos y las acciones
correctivas tomadas para evitar su re ocurrencia.
o Testeo
 Revisar la documentación de testeo asociada con el Sistema a auditar. (QI)

 Verificar que existe una estrategia de testeo explicando los testeos efectuados en cada
etapa de desarrollo (ej. Testeos de módulo, testeo de integración, testeos de interface) y
testeos de aceptación. (QI)

 Confirmar a través del proceso de testeo que los requerimientos funcionales críticos han
sido testeados. (QI)

 Verificar que los testeos cubren condiciones límites, fallas y estrés, así como pruebas
diseñadas para confirmar que el sistema funciona como se espera. Además, que incluye el
control de seguridad de accesos lógicos. (QI)

 Verificar que los testeos sean efectuados por personal independiente y calificado (el
desarrollador y el autor de los ensayos). (QI)

 Confirmar que los scripts de testeo están escritos, y que los mismos contienen claramente
los criterios de aceptación. (QI)

 Verificar que los resultados de los ensayos han sido documentados y se dispone de la
evidencia adecuada. Donde hay desvíos los mismos son documentados. (QI)

 Verificar que el test que falló ha sido evaluado respecto de la criticidad del requerimiento
funcional. (QI)

 Verificar que cuando un test ha fallado la funcionalidad requerida no es crítica para el


proceso ni para el cumplimiento GMP. Confirmar que existe una solución de procedimiento
adecuada. (QI)

 Si es utilizada una herramienta automatizada para los testeos, verificar que la misma ha
sido calificada para asegurar que funciona correctamente, que hay procedimientos para su
uso, que las firmas de la aprobación de los scripts de testeos son registradas y que los
cambios a la herramienta o scripts electrónicos son controlados y aprobados. (Q()

o Entregables de Validación
 Verificar que hay un conjunto de documentos de validación consistente con una clara
relación de los mismos a los requerimientos. (QI)

 Verificar que los entregables de validación son declarados en el plan de validación, han
sido completados y están resumidos en el reporte de validación. (QI)

 Verificar que las excepciones (si aplica) del reporte de validación han sido registradas
como acciones para su seguimiento. (QO)

o Liberación
 Revisar como es liberado el Sistema para el uso. (QI)

 Verificar los controles y chequeos utilizados para asegurar que todas las actividades fueron
completadas. (QI)

 Verificar que los roles y responsabilidades para la liberación están claras y se han
cumplido. (QI)
 Verificar que todos los entregables requeridos fueron parte del paquete de liberación, por
ej. un código de construcción del Sistema, certificado de liberación, manuales de uso,
material de entrenamiento. (QO)

2. Gestión del sistema


o General
 Establecer como es provisto el soporte al Sistema, confirmar que los roles y
responsabilidades del hepdesk, de los administradores y soporte técnico están claramente
definidas. Asegurar que el entrenamiento adecuado para cada rol fue suministrado. (QO)

 Verificar que el Sistema tiene un propietario que lo maneja con suficiente autoridad y con
un presupuesto para su mantenimiento. (QO)

o Manejo de problemas
 Confirmar que hay un procedimiento vigente para el reporte de problemas, con registro,
investigación y resolución de los mismos. (QO)

 Verificar que las acciones correctivas y preventivas son implementadas.

 Verificar que hay una relación entre el reporte de incidentes y la gestión de cambios para el
Sistema.

o Gestión de cambio
 Asegurar que los procedimientos para iniciar, autorizar y documentar los cambios del
Sistema están vigentes.

 Confirmar que los cambios son evaluados para asegurar que el impacto sobre las
funcionalidades relacionadas es entendido.

 Asegurar que la gestión de los cambios incluye la actualización de la documentación del


Sistema, instrucciones de uso, entrenamiento, datos maestros como la funcionalidad
técnica.

 Asegurar que los testeos hechos como soporte de los cambios del Sistema confirman que
las funciones relacionadas no son adversamente afectadas y además aseguran que los
cambios requeridos son alcanzados.

o Accesos y seguridad
 Revisar que las medidas de seguridad físicas están definidas para el Sistema y están en
uso efectivo. Verificar como son controlados los accesos físicos al hardware. (QI)

 Revisar que las medidas de seguridad del software están definidas para el Sistema.
Verificar como son controlados los accesos a las funcionalidades críticas son restringidas a
los usuarios apropiados. Verificar que donde la capacidad de enmendar datos maestros ha
sido restringida. (QI)

 Verificar la existencia de un procedimiento para otorgar y remover los accesos al Sistema


de los usuarios. Verificar que los accesos son revisados periódicamente para asegurar que
solo tengan acceso al Sistema los usuarios requeridos. (QI)

 Asegurar que los ambientes de desarrollo, de testeo y productivo son rutinariamente


revisados en búsqueda de virus.
 Determinar si los elementos del Sistema tales como Sistema operativo, base de datos y
aplicaciones del software son mantenidos con los últimos parches de seguridad
disponibles.

o Datos maestros
 Asegurar que existe un proceso para el mantenimiento de los datos maestros requeridos
por el Sistema. (QI)

 Confirmar que los roles y responsabilidades están claras respecto a la gestión y


aprobación de datos maestros. (QO)

 Verificar si los datos maestros son chequeados periódicamente para verificar su exactitud.

o Planeamiento de Business Continuity /Disaster Recovery


(incluyendo back up y recuperación)
 Verificar que el Sistema tiene un plan de continuidad del negocio (BC), y que el mismo
tiene en cuenta la criticidad del sistema.

 Verificar que el Sistema tiene un plan de disaster recovery (DR), y que el mismo tiene en
cuenta la criticidad del sistema.

 Verificar que existe un régimen de back up y recuperación para el Sistema y que el mismo
está documentado, mantenido y testeado. Verificar si el mismo tiene en cuenta la criticidad
del Sistema. (QI)

3. Revisión periódica
 Verificar que el Sistema es sujeto a revisiones periódicas para determinar qué actividades
tienen que ser efectuadas para mantener el estado validado.

 Confirmar que los resultados de la revisión son registrados y cualquier acción es seguida
hasta que se complete.