Documentos de Académico
Documentos de Profesional
Documentos de Cultura
ES Stqe SBTM
ES Stqe SBTM
Página 1
Este artículo es cortesía de la revista Software Testing & Quality Engineering (STQE).
Pruebas
Basado en s
Gestión de p
Una estrategia para estructurar exploratoria
VISTAZO RÁPIDO
especializarse en pruebas exploratorias. Como A diferencia de las pruebas con guiones tradicionales, las pruebas exploratorias
ing es un proceso ad hoc. Todo lo que hacemos está optimizado para
Escribo esto soy, con mi hermano encontrar errores rápidamente, por lo que continuamente ajustamos nuestros planes para renovar
cus en las áreas de riesgo más prometedoras; seguimos corazonadas;
James, liderando una prueba exploratoria minimizamos el tiempo dedicado a la documentación. Ese
nos deja algunos problemas. Por un lado, mantener
equipo para un cliente exigente. Nuestro el seguimiento del progreso de cada evaluador puede ser como pastorear serpientes
en una bolsa de arpillera. Todos los días necesito saber lo que probamos
La misión es probar lo que sea necesario.
ed, lo que encontramos y cuáles son nuestras prioridades para más
ed, con poca antelación, sin el beneficio pruebas. Para obtener esa información, necesito cada probador en el
equipo para ser un comunicador disciplinado y eficiente. Entonces yo
efecto o carga de la prueba predefinida Necesito alguna forma de resumir esa información para administrar
ment y otros clientes internos.
procedimientos. Hay otra prueba Una forma de recopilar el estado es tener reuniones frecuentes
ings. Podría decir: "Bien gente, ¿qué hicieron hoy?"
equipos que trabajan en varias partes de Algunos evaluadores me daban notas detalladas, algunos
el producto. Nuestro equipo particular fue comisionado por volver a contar historias emocionantes sobre errores geniales, algunos responderían
porque el producto es tan grande y complejo, y lo que está en juego con el equivalente de "Probé cosas" y me quedo en silencio con-
son tan altos. Brindamos soporte de prueba adicional para el seguimiento dar indicaciones más específicas. Y sería como un detective en
sobre rumores, reproducir problemas difíciles o cubrir áreas una escena del crimen que intenta dar sentido a la historia de todos.
que se encuentran entre las responsabilidades de los otros probadores. Para este proyecto, James y yo queríamos hacerlo mejor que
32
Página 2 Este artículo es cortesía de la revista Software Testing & Quality Engineering (STQE).
ese. ¿Qué pasaría si pudiéramos encontrar una manera para que los evaluadores trabajo involucrado en un ciclo de prueba y predecir la duración de la prueba
informes ordenados y organizar su trabajo sin obstrucciones tomará ... aunque no hayamos planeado el trabajo en
la flexibilidad y la casualidad que hace exploratoria detalle.
prueba útil? Esa fue nuestra motivación para desarrollar el Si hay un ingrediente mágico en nuestro enfoque de ses-
enfoque apoyado por herramientas que llamamos manual de prueba basado en sesión gestión de pruebas basada en sion, es el formato de hoja de sesión:
envejecimiento. cada informe se proporciona en un formato de texto etiquetado y se almacena
en un repositorio con todos los demás informes. Luego escaneamos
https://translate.googleusercontent.com/translate_f 1/5
2/11/21 11:26 2-6bach feature2
ellos con una herramienta que escribimos que los desglosa en sus
Pruebas en sesiones elementos básicos, los normaliza y los resume
Lo primero que nos dimos cuenta en nuestro esfuerzo por reinventar las experiencias en tablas y métricas. Usando esas métricas, podemos rastrear
La gestión de pruebas exploratorias consistía en que los evaluadores el progreso de las pruebas de cerca y hacer informes instantáneos para
cosas durante el día que no son "pruebas". Si quisiéramos Gestión, sin necesidad de convocar una reunión de equipo. En
realizar un seguimiento de las pruebas, necesitábamos una forma de distinguir las pruebas
De hecho,
de al colocar estas hojas de sesión, tablas y métricas
todo lo demas. Así nacieron las “sesiones”. online, nuestros clientes del proyecto tienen acceso instantáneo a la
En nuestra práctica de pruebas exploratorias, una sesión, no un información que anhelan. Por ejemplo, el gráfico de la Figura 1
caso de prueba o informe de error, es la unidad básica de trabajo de prueba. Qué muestra que los evaluadores gastan solo alrededor de un tercio de
que llamamos sesión es un bloque ininterrumpido de revisión, su tiempo de prueba. Eso corresponde a dos sesiones
esfuerzo de prueba fletado. Por "fletado", queremos decir que cada sesiones por día, en promedio, en lugar de tres sesiones. Ya que
La sesión está asociada con una misión: lo que estamos probando, el gráfico representa dos meses de trabajo, sugiere que
o qué problemas estamos buscando. Por "ininterrumpido", hay algún tipo de obstáculo continuo que está impidiendo
nos referimos a que no haya interrupciones importantes, ni correos electrónicos, reuniones,
los probadores de trabajar a plena capacidad. La figura 2 nos permite
charlando o llamadas telefónicas. Por "revisable", nos referimos a un para tener una idea aproximada de cuántas sesiones más podemos
informe (llamado hoja de sesión) que
vide información sobre lo que sucedió
pened, en un formato que se puede examinar Número de sesiones de prueba
ined por un tercero (como la prueba 300
gerente).
En mi equipo, las sesiones duran noventa
250
minutos, más o menos. No tenemos tiempo
ellos muy estrictamente porque no
200
quiero estar más obsesionado con el tiempo
que con buenas pruebas. Si dura una sesión
más cerca de cuarenta y cinco minutos, lo llamamos un 150
33
Noviembre / diciembre de 2000 Pruebas de software e ingeniería de calidad www.stqemagazine.com
Página 3 Este artículo es cortesía de la revista Software Testing & Quality Engineering (STQE).
https://translate.googleusercontent.com/translate_f 2/5
2/11/21 11:26 2-6bach feature2
alentar a los evaluadores a que está bien desviarse de sus estatutos s Desglose del evaluador Métricas de la sesión, por nombre del evaluador
si se topan con un problema fuera de los vuelos chárter que parezca im-
importante.
Aparte de las métricas de desglose de tareas, hay s Desglose por día Métricas de sesión, por día
otras tres partes principales de la hoja de sesión (ver ejemplo
en la página opuesta): errores, problemas y notas. Los errores son s Sesiones de tareas pendientes Hojas de sesiones incompletas
preocupaciones sobre la calidad del producto. Cuestiones son cues-
ciones o problemas que se relacionan con el proceso de prueba o el Permítanme explicarles un poco más sobre la tabla de sesiones de Tareas pendientes.
proyecto en general. Las notas son un registro de forma libre de cualquier cosa. Una forma de enviar probadores exploratorios es crear tareas pendientes
otra cosa: ideas de casos de prueba, listas de funciones, listas de riesgos o cualquier otra
hojas de sesión: hojas que incluyen un estatuto pero con todos los
er elementos relacionados con las pruebas que se producen durante el otras secciones en blanco. Cuando los evaluadores terminan una sesión de prueba,
sesión. miran a través de la carpeta de hojas, escogen una hoja de Tareas y
El informe completo de la sesión consta de estas secciones: realizar una sesión con esa carta. El pro-
ducida por la herramienta de escaneo es la lista de las hojas de Tareas
s Carta de la sesión (incluye una declaración de misión y áreas a ser probadas) en la carpeta de la hoja de sesión. A esa lista la llamamos
"tolva." Este arreglo proporciona una manera conveniente de
s Nombre (s) del probador alquilar una prueba de regresión completa a la vez. Y nosotros-
Con otra herramienta que escribimos, llamada ToDomaker, podemos
s Fecha y hora de inicio generar automáticamente hojas de tareas a partir de un modelo de prueba de Excel
trix.
s Desglose de tareas (las métricas de TBS) La tolva también nos ayuda a atender las solicitudes de
pruebas ciales por parte de nuestros clientes. Todo lo que tenemos que hacer es señalar el
s Archivos de datos hopper y preguntar al cliente qué prioridad debemos dar a
su solicitud, en comparación con las otras sesiones que ya están en
s Notas de prueba la tolva.
También utilizamos una utilidad de búsqueda que nos permite
s Problemas localizar, mostrar e imprimir cualquier hoja de sesión que contenga un
cadena especificada. Esta herramienta es importante porque nuestro cliente
s errores puede pedir, en cualquier momento, ver los datos sin procesar detrás de nuestra
métricas e informes resumidos. En unos cinco segundos,
puede abrir cada hoja de sesión relacionada con, digamos, el Mapa-
34
Página 4 Este artículo es cortesía de la revista Software Testing & Quality Engineering (STQE).
Diálogo de Maker Navigator. Danos treinta o cuarenta segundos más. El uso de las hojas de sesión y las métricas requiere un continuo
onds, y podemos imprimir todas esas hojas por usted. conciencia sobre el potencial de estos problemas.
https://translate.googleusercontent.com/translate_f 3/5
2/11/21 11:26 2-6bach feature2
por un administrador de pruebas confundido o sesgado. Una lengua de plata crónicamente no cumple con los estatutos, eso es un coaching is-
El probador podría sesgar las hojas y manipular el informe. demanda que se maneja en las sesiones informativas.
de tal manera que engañe al director de pruebas acerca de la
trabajo que se está haciendo. Incluso si todo el mundo está completamente sobrio ¿Qué se espera de un evaluador al que se le asignó un área que ya
y honesto, los números pueden estar distorsionados por la confusión. ha sido probado?
sobre el protocolo de informes, o el hecho de que algunos evaluadores Esperamos que el evaluador revise las notas de prueba anteriores.
puede ser mucho más productivo que otros probadores. Eficaz sesiones y, en su caso, perfeccionar las notas anteriores en
35
Página 5 Este artículo es cortesía de la revista Software Testing & Quality Engineering (STQE).
NOTAS DE PRUEBA
Ejemplo Toqué cada uno de los elementos del menú a continuación, pero me concentré
principalmente en el comportamiento del zoom con varias combinaciones
Sesión de los elementos del mapa mostrados.
CARTA Leyenda
Elementos del mapa
Analice la funcionalidad del menú Ver de MapMaker y Niveles de autopista
informar sobre áreas de riesgo potencial. Niveles de calle
Diagramas de aeropuerto
#AREAS Acercarse
OS | Windows 2000 Disminuir el zoom
Menú | Vista Nivel del zoom
Estrategia | Prueba de funcionamiento (Niveles 1-14)
Estrategia | Análisis funcional Vista previa
COMIENZO Riesgos:
CUESTIONES
ARCHIVOS DE INFORMACIÓN
# EDICIÓN 1
#N / A ¿Cómo sé qué detalles deben aparecer en qué
niveles de zoom?
# EDICIÓN 2
No estoy seguro de cómo se supone que funciona el mapa localizador.
¿Cómo se supone que el usuario interactúe con él?
36
Página 6 Este artículo es cortesía de la revista Software Testing & Quality Engineering (STQE).
el transcurso de la presente sesión. De esta forma, asumiendo que mientras que las hojas de sesión se degradan en algo más parecido a
hemos entrenado a los probadores en el arte de delinear pruebas, divagantes notas de rescate o haiku vagamente técnico. De una sola mano
esperar que los esquemas funcionales y las listas de riesgos progresen para ayudar a la situación podría ser delegar a los evaluadores
sivamente mejor con el tiempo. informar sobre el trabajo de los probadores junior. Siempre y cuando de alguna manera,
de alguna manera, las reuniones suceden.
Al probar las correcciones de errores, ¿cómo se registra?
Usamos una palabra clave de área titulada “estrategia | regresión de errores "y
https://translate.googleusercontent.com/translate_f 4/5
2/11/21 11:26 2-6bach feature2
escriba una carta que indique al evaluador que verifique cada corrección.
Esperamos que el probador pruebe en las áreas generales de las correcciones. ¿Demasiada burocracia?
Un colega mío, al escucharme hablar de esto
para ayudar a asegurar que algo más no se rompió durante el enfoque, expresó la preocupación de que los probadores experimentados
proceso de reparación. se resistiría a todo el papeleo asociado con la sesión
hojas de sion. Toda esa estructura, ella sintió, simplemente entraría
¿Cómo calcula el evaluador el tiempo que dedica a la redacción de una hoja de sesión?
la forma en que los evaluadores experimentados ya saben cómo hacer.
¿Qué tal el tiempo de interrogatorio? Aunque mi primer instinto fue discutir con ella, en
La finalización de la hoja de sesión se cuenta como tiempo de configuración de la sesión,
segundo pensamiento me di cuenta de que ella me estaba dando una importante
dentro de la sesión. El debriefing se cuenta como no sesión verificación de la realidad. Este enfoque impone una estructura que
trabaja. no es estrictamente necesario para la misión de realizar buenas pruebas.
La segmentación de tareas de prueba complejas e interrelacionadas en
¿Cómo explica un evaluador las tareas de TBS que ocurren? tintar pequeñas sesiones no siempre es fácil o natural. Sesión-
¿simultaneamente? la gestión de pruebas basada es simplemente una forma de aportar más
Lo que realmente queremos saber es qué cosas interrumpen la prueba. rendición de cuentas a las pruebas exploratorias, para esas situaciones
En g. Entonces, si el evaluador encuentra una manera de probar y realizar la sesión en el que la rendición de cuentas es especialmente importante.
configuración simultáneamente, no contamos el tiempo de configuración. Si un Este método todavía es relativamente nuevo para James y para mí,
la prueba se está ejecutando mientras el probador está investigando un error, y todavía tenemos mucho que aprender sobre el proceso y cómo
no contar el tiempo de fallo. El uso de este protocolo, podemos decir, se compara con los métodos tradicionales de gestión de pruebas.
en su mayor parte, que un informe de 50% de pruebas y 50% de errores ¿Qué han demostrado nuestras experiencias hasta ahora? Probablemente el
investigación significa que el probador podría haber hecho dos veces Lo más importante que hemos descubierto es que este tipo
tantas pruebas tuvieron los errores del producto no inter- de la gestión de pruebas pesa especialmente en la prueba
rompió el proceso de prueba. gerente. Experimentamos abandonando el diseño de la sesión.
sesiones informativas, pero eso condujo a hojas de sesión deficientes y significados
¿Cómo lleva a cabo el debriefing el director de la prueba? métricas ingless. Queremos buenas métricas, por supuesto, pero nuestro
Además de recorrer la hoja de la sesión, usamos un enfoque produce muchos de ellos. Todos los días hay
agenda resumida por el acrónimo “PRUEBA”: más, y a veces sentimos que estamos nadando en
tablas de hojas de cálculo. Eso también es una carga para el
Pasado ¿Qué pasó durante la sesión? ager, quien debe interpretar y resumir los datos. Sesión-
La gestión de pruebas basada puede ser difícil para la nueva gestión de pruebas.
Resultados ¿Qué se logró durante la sesión? envejecientes.
Lo que agrega el material de la sesión es un marco que ayuda
Obstáculos ¿Qué se interpuso en el camino de una buena prueba? aclarar y realizar un seguimiento de casi todos los elementos de las pruebas, desde
planificación de pruebas para asignar trabajo a los evaluadores de entrenamiento. Es
Outlook ¿Qué queda por hacer? ese marco que más nos intriga. Si vamos
para mantener el respeto y apoyo de la Gerencia y
Sentimientos ¿Cómo se siente el evaluador acerca de todo esto? desarrolladores, debemos ayudar a nuestros clientes a comprender qué es
que hacen los probadores, todos y cada uno de los días hábiles. S T Q E
¿Qué pasa si el administrador de pruebas está demasiado sobrecargado para hacer informes?
El informe es la oportunidad de los probadores de revelar sus experiencias. Jonathan Bach (jonbach@satisfice.com) es un escritor que
encesos, y la oportunidad del gerente de redirigir o validar fur- se convirtió en probador hace cinco años a instancias de su
otro esfuerzo. En la medida en que las sesiones informativas no sucedan, hermano James. Durante cuatro años, Jonathan fue probador
el administrador de la prueba no está en contacto con el proceso de prueba. los y líder de pruebas en Microsoft, y ahora es entrenador y
Luego, los probadores comienzan a derivar con la corriente del proyecto. gerente de laboratorio en Satisfice, Inc. (www.satisfice.com) , una Vir-
eventos y sus propias preferencias sobre lo que es divertido de probar, laboratorio de formación y consultoría de pruebas basado en ginia.
37
https://translate.googleusercontent.com/translate_f 5/5