EXPERIMENTO II - COMPARACIÓN

DE TÉCNICAS DE LECTURA

DE REQUISITOS DE SOFTWARE

Millones Isique, Elvis Eugenio (140498-B)

Salirrosas Vílchez, Carolina (145139-K)
Santisteban Quiroz, Juan Piero (144034-K)
Segundo Ortiz, Luis Gustavo (140511-I)
Tapia Carrillo, Jhoely Mailis (132037-J)
Estudiantes de ingeniería de sistemas – UNPRG – Lambayeque

Asignatura: Diseño de Experimentos

Docente: Ing. Alex Muro Núñez

RESUMEN

En el presente trabajo se desarrolla un diseño experimental para comparar dos técnicas de lectura
de documentos de requisitos de software, las técnicas de lectura Ad Hoc y la técnica basada en
perspectivas PBR.

ABSTRACT

In this paper we develop an experimental design to compare two techniques document reading soft-
ware requirements, Ad Hoc reading techniques and technical perspectives based on PBR.

PALABRAS CLAVE

Proceso de Experimentación, Técnicas de Lectura, Requisitos de Software.

Diseño de Experimentos Experimento II – Comparación de técnicas
de lectura de requisitos de software

COMPARACIÓN DE TÉCNICAS DE LECTURA DE REQUISITOS DE SOFTWARE

1. INTRODUCCIÓN
En un documento de especificación de requisitos (DER) se modela lo que el cliente desea que realice el
software. Alcanzar la satisfacción del cliente de software depende, en buena medida, de la calidad del do-
cumento de requisitos de software.
Las técnicas de lectura son pautas o guías que tienen como objetivo encontrar defectos en los artefactos
de software que están en proceso de inspección. Estas guías, generalmente basadas en un mecanismo de
verificación, apuntan a obtener un conocimiento acabado del artefacto de software que permita al inspec-
tor encontrar hasta los defectos más insignificantes.
En este trabajo se presenta un diseño experimental para comparar dos técnicas de lectura de documentos
de requisitos de software, las técnicas de lectura Ad Hoc y la técnica basada en perspectivas PBR (Perspec-
tive Based Reading). La primera se la eligió por ser la más utilizada, mientras que a la segunda se la escogió
por ser una de las técnicas mejor definidas y con mayores referencias bibliográficas en la actualidad.

2. DEFINICIÓN
El objetivo del experimento es evaluar la Técnica de Lectura Ad hoc y Técnica de Lectura Basada en Pers-
pectivas PBR, con respecto a la cantidad de defectos detectados, tiempo de lectura, eficiencia y eficacia. El
estudio se realiza en el contexto de estudiantes de pre-grado de ingeniería de sistemas.

La hipótesis puede definirse para contrastarlas con las observaciones generadas por el experimento son:
H0: El rendimiento Global de la técnica de lectura Ad Hoc en la lectura de requisitos es equivalente al ren-
dimiento global de la Técnica PBR.
H0.a.: La técnica de lectura Ad Hoc detecta la misma cantidad de defectos que la técnica de lectura PBR.
H0.b.: La técnica de lectura Ad Hoc demanda la misma cantidad de tiempo que la técnica de lectura PBR.

H0.c.: La técnica de lectura Ad Hoc ofrece la misma eficiencia que la técnica de lectura PBR.

H0.d.: La técnica de lectura Ad Hoc ofrece la misma eficacia que la técnica de lectura PBR.

3. DISEÑO
 En el experimento el factor que se va a utilizar es la Técnica de Lectura. Este factor puede to-
mar dos valores o tratamientos que son las técnicas de lectura Ad hoc o PBR.
 El diseño será intrasujetos, en el que a cada sujeto se le asigna ambos tratamientos.
 Por lo cual, se determina un diseño experimental completamente aleatorizado unifactorial
con dos niveles, es decir, todas las unidades experimentales van a ser asignadas al azar a ambos
tratamientos ante la necesidad de estudiar un factor que presenta un número de posibles niveles
en este caso dos.
 Se trabajará con 2 grupos: A y B, ambos con igual número de sujetos.

UNPRG – Ing. De Sistemas 2 20 de enero del 2017

Diseño de Experimentos Experimento II – Comparación de técnicas
de lectura de requisitos de software

Objeto/técnica de lectura Ad-Hoc PBR

Requisitos del Software X Grupo A Grupo B
Requisitos del Software Y Grupo B Grupo A
 Así como vemos en la tabla se forman los dos grupos A y B, ambos pasan por los dos tratamientos,
tanto por Ad hoc y por PBR.

4. EXPERIMENTACION
Esta es la etapa en la que se ejecuta el experimento, es decir, donde se realiza la recolección de los datos
que serán analizados.
La realización del experimento es un proceso que tiene como entrada el diseño del experimento y como
salida principal los datos validados.
1) EJECUCIÓN
 Los grupos quedaron divididos con 5 y 5 sujetos cada uno. Tanto la asignación de grupos, como de
roles en la técnica de lectura PBR fue hecha aleatoriamente, disminuyendo así cualquier tipo de
amenaza a la validez de las conclusiones.
2) RECOLECCIÓN DE DATOS
 Se tuvo sumo cuidado en la recolección de los datos, cumplimentando las plantillas y formularios
por cada uno de los grupos de sujetos que participaron en dicho experimento. Concluida la etapa
de recolección los datos, se procedió a la digitalización de los mismos.

5. ANÁLISIS
Para realizar el análisis estadístico de los datos recolectados se utilizó el software Microsoft Excel 2016.
Primero se muestra un análisis descriptivo de las 2 principales variables objetivas medidas bajo la técnica
Ad-Hoc y PBR (Tabla N° 1 y Tabla N° 2) y por último se muestran el testeo de los resultados de las sub-
hipótesis del trabajo.

Tabla N° 1
Resultados de la Aplicación de la técnica de lectura Ad-Hoc.

Ad-Hoc Ad-Hoc
Resumen Defectos Tiempo
n 10 10
Promedio 4,5 33,5
Mínimo Valor 7 38
Máximo Valor 3 29
Nota: Datos obtenidos usando Microsoft Excel 2016
Fuente: Elaboración Propia

UNPRG – Ing. De Sistemas 3 20 de enero del 2017

Diseño de Experimentos Experimento II – Comparación de técnicas
de lectura de requisitos de software

Tabla N° 2
Resultados de la Aplicación de la técnica de lectura PBR.

PBR PBR
Resumen Defectos Tiempo
n 10 10
Promedio 13,9 169,1
Mínimo Valor 8 151
Máximo Valor 20 191
Nota: Datos obtenidos usando Microsoft Excel 2016
Fuente: Elaboración Propia

A continuación, se procede a testear las hipótesis plantadas:

a) Comparación de Defectos detectados y Tiempo Consumido en las técnicas Ad-Hoc y PBR

Se observa en la Tabla N° 3 y Figura N° 1, la comparación de defectos detectados y tiempos consumidos,
expresado en minutos, en cada una de las técnicas de lectura.

Tabla N° 3
Defectos detectados y tiempo consumido en cada técnica.

Promedio Defectos Promedio Tiempo

Técnica Detectados (unid.) Consumido (min.)
Ad-Hoc 5 34
PBR 14 169
Promedio 9 101
Nota: Datos obtenidos usando Microsoft Excel 2016
Fuente: Elaboración Propia
Gráficamente:

Defectos Tiempo

180 169
160
140
120
100
80
60
40 34

20 14
5
0
Ad-Hoc PBR

Figura N° 1: Defectos detectados y tiempo consumido en cada técnica

Fuente: Elaboración Propia

UNPRG – Ing. De Sistemas 4 20 de enero del 2017

Diseño de Experimentos Experimento II – Comparación de técnicas
de lectura de requisitos de software

En la Figura N° 2, haciendo uso del diagrama de caja, se observa cómo la caja de la cantidad de defectos
detectados con la técnica PBR, está muy por encima de la caja de la cantidad de defectos detectados con la
técnica Ad-Hoc.

Figura N° 2: Defectos detectados por cada técnica de lectura

Fuente: Elaboración Propia

Usualmente en el diseño de experimentos se emplea el análisis de la varianza (en inglés ANOVA) para com-
probar o no la veracidad de las hipótesis.

Tabla N° 4
Prueba Anova, para los defectos detectados por cada técnica de lectura.

Origen de las Suma de Grados de Cuadrado

variaciones Cuadrados libertad Medio F p
Muestra 33,8 1 33,8 6,12 0,02
Columnas 441,8 1 441,8 79,96 0,00
Interacción 7,2 1 7,2 1,30 0,27
Dentro del 88,4 16 5,525
grupo

Total 571,2 19
Nota: Datos obtenidos usando Microsoft Excel 2016
Fuente: Elaboración Propia

Como el valor p es mayor que el nivel de significancia α = 0,05, se rechaza la H 0.a, por lo tanto, se puede
pensar la cantidad promedio de defectos detectados con la TL Ad-hoc es menor a la cantidad promedio de
defectos detectados con la TL PBR.

UNPRG – Ing. De Sistemas 5 20 de enero del 2017

Diseño de Experimentos Experimento II – Comparación de técnicas
de lectura de requisitos de software

En el diagrama de caja de la Figura N° 3, se observa cómo la caja del tiempo consumido con la técnica PBR
está bastante por encima de la caja del tiempo consumido con la técnica Ad-Hoc.

Figura N° 2: Tiempo consumido por cada técnica de lectura

Fuente: Elaboración Propia

Luego se aplica el test de Análisis de Varianza:

Tabla N° 4
Prueba Anova, para el tiempo consumido por cada técnica de lectura.

Origen de las Suma de Grados de Cuadrado

variaciones Cuadrados libertad Medio F p
Muestra 672,8 1 672,8 16,47 0,001
Columnas 91936,8 1 91936,8 2250,59 0,000
Interacción 245 1 245 6,00 0,206
Dentro del 653,6 16 40,85
grupo

Total 93508,2 19
Nota: Datos obtenidos usando Microsoft Excel 2016
Fuente: Elaboración Propia

Como el valor p es mayor que el nivel de significancia α = 0,05, se rechaza la H0.b., por lo tanto se puede
pensar que el tiempo promedio consumido en el proceso de inspección con la TL Ad-Hhoc es menor al
tiempo promedio consumido en el proceso de inspección con la TL PBR

UNPRG – Ing. De Sistemas 6 20 de enero del 2017

Diseño de Experimentos Experimento II – Comparación de técnicas
de lectura de requisitos de software

b) Comparación de la Eficiencia
La eficiencia es el esfuerzo requerido en el uso correcto de una TL, la misma se calculó dividiendo la
cantidad de defectos detectados por el total de tiempo consumido en el proceso de detección. La Com-
paración entre Ad-Hoc y PBR, se puede observar en la Tabla N° 5.

Tabla N° 5
Eficiencia lograda en cada técnica.

Promedio Defectos Promedio Tiempo Eficiencia =

Técnica Detectados (DD) Consumido (TC) DD/TC
Ad-Hoc 5 34 0,13
PBR 14 169 0,08
Promedio 9 101 0,11
Nota: Datos obtenidos usando Microsoft Excel 2016
Fuente: Elaboración Propia

En el gráfico de caja de la Figura N° 3 se observa cómo la caja de la eficiencia lograda con la técnica Ad-Hoc
se ubica por encima de la caja de la eficiencia lograda con la técnica PBR.

Figura N° 3: Eficiencia lograda por cada técnica de lectura

Fuente: Elaboración Propia

UNPRG – Ing. De Sistemas 7 20 de enero del 2017

Diseño de Experimentos Experimento II – Comparación de técnicas
de lectura de requisitos de software

Luego se aplica el test de Análisis de Varianza:

Tabla N° 6
Prueba Anova, para la eficiencia por cada técnica de lectura.

Origen de las Suma de Grados de Cuadrado

variaciones Cuadrados libertad Medio F p
Muestra 0,002 1 0,002 2,92 0,11
Columnas 0,013 1 0,013 22,48 0,00
Interacción 0,000 1 0,000 0,24 0,03
Dentro del 0,010 16 0,001
grupo

Total 0,025 19
Nota: Datos obtenidos usando Microsoft Excel 2016
Fuente: Elaboración Propia

Como el valor p es menor que el nivel de significancia α = 0,05, se acepta la H0.c, por lo tanto, se puede
inferir que la eficiencia obtenida con la TL Ad-Hoc es igual a la eficiencia obtenida con la TL PBR, con un nivel
de significancia del 5%.

c) Comparación de la Eficacia
La Comparación entre Adhoc y PBR, se puede observar en la Tabla N° 6.

Tabla N° 7
Eficacia lograda en cada técnica.

Promedio Defectos Promedio Defectos Eficacia =

Técnica Detectados (DD) Existentes (DE) (DD/DE)%
Ad-Hoc 5 34 22 %
PBR 14 169 69 %
Promedio 9 101 46%
Nota: Datos obtenidos usando Microsoft Excel 2016
Fuente: Elaboración Propia

En el siguiente diagrama de caja, Figura N° 4, se puede observar cómo la caja de la eficacia lograda con
la técnica de lectura PBR está muy por encima de la caja de la eficacia lograda con la técnica Ad-Hoc.

UNPRG – Ing. De Sistemas 8 20 de enero del 2017

Diseño de Experimentos Experimento II – Comparación de técnicas
de lectura de requisitos de software

Figura N° 4: Eficacia lograda por cada técnica de lectura

Fuente: Elaboración Propia

Luego se aplica el test de Análisis de Varianza:

Tabla N° 8
Prueba Anova, para la eficiencia por cada técnica de lectura.

Origen de las Suma de Grados de Cuadrado

variaciones Cuadrados libertad Medio F p
Muestra 0,03 1 0,03 1,92 0,18
Columnas 1,10 1 1,10 77,51 0,00
Interacción 0,01 1 0,01 0,69 0,42
Dentro del 0,23 16 0,01
grupo

Total 1,36 19
Nota: Datos obtenidos usando Microsoft Excel 2016
Fuente: Elaboración Propia

Como el valor p es mayor que el nivel de significancia α = 0,05, se rechaza la H0.d, por lo tanto, se puede
pensar que la eficacia promedio obtenida con la TL Ad-Hoc es menor a la eficacia promedio obtenida con
la TL PBR.

UNPRG – Ing. De Sistemas 9 20 de enero del 2017

Diseño de Experimentos Experimento II – Comparación de técnicas
de lectura de requisitos de software

6. CONCLUSIONES

 La Hipótesis de Investigación H 0 indica: El rendimiento de la técnica de lectura Ad Hoc en la lectura de

requisitos es equivalente al rendimiento de la Técnica PBR. La cual se dividió el 4 sub-hipótesis:
o La Hipótesis de Investigación H0.a. es totalmente rechazada, existe una diferencia estadísticamente
significativa con respecto a la cantidad de errores detectados con PBR comparado con la cantidad de
errores detectados con Ad Hoc.
o La Hipótesis de Investigación H0.b. es totalmente rechazada, existe una diferencia estadísticamente
significativa con respecto al tiempo requerido por PBR comparado con el tiempo requerido por Ad
Hoc.
o La Hipótesis de Investigación H0.c. es totalmente aceptada, no existe una diferencia estadísticamente
significativa con respecto a la eficiencia de la técnica PBR comparado con la eficiencia de la técnica
Ad Hoc.
o La Hipótesis de Investigación H0.d. es totalmente rechazada, existe una diferencia estadísticamente
significativa con respecto a la eficacia de la técnica PBR comparado con la eficacia de la técnica Ad
Hoc.
 La Hipótesis de Investigación H0. es parcialmente rechazada, existe una diferencia estadísticamente sig-
nificativa con respecto al rendimiento global de la técnica PBR comparado con el rendimiento global de
la técnica Ad Hoc.
 Los resultados expuestos pretenden dar a los ingenieros de sistemas algunos datos que puedan mejorar
la toma de decisión al momento de aplicar técnicas de lecturas de documentos de requisitos.

UNPRG – Ing. De Sistemas 10 20 de enero del 2017

Diseño de Experimentos Experimento II – Comparación de técnicas
de lectura de requisitos de software

7. REFERENCIAS
Lund M. Inés, Herrera Myriam, Aballay Laura, Zapata Sergio. Comparación de Técnicas de Lectura de Do-
cumentos de Requisitos de Software: Diseño de un Experimento. Revista Avances en Sistemas e In-
formática, Vol.4 No. 3. ISSN 16577663. pp. 117 - 129. Medellín Colombia. (2007).
Zapata Sergio G., Aballay Laura N., Sevilla Gustavo. Experimentos Controlados y Educación en Ingeniería
de Software. Facultad de Ciencias Exactas F. y N. - Universidad Nacional de San Juan – Argentina.
(2010).

UNPRG – Ing. De Sistemas 11 20 de enero del 2017