Protocolo de Revisión de Estudios Empíricos

Definición de un procedimiento de
selección de técnicas de educción
TR 2
Protocolo de revisión de estudios empíricos
Resumen
Este informe define el protocolo a utilizar en la revisión sistemática de estudios empíricos acerca de las técnicas de educción.
Dicho protocolo sigue los criterios definidos en (Kitchenham 2004) para las revisiones sistemáticas, con algunas
modificaciones debidas a la naturaleza de los estudios empíricos a considerar.
Autores Fechas Version Comentarios
Alan Davis, UCCS Marzo de 2005 0.5 Primer borrador

Oscar Dieste, UCCS, UPM1
Natalia Juristo, UPM Agosto de 2005 0.9 Versión revisada
Ann Hickey, UCCS
Ana M. Moreno, UPM
Noviembre de 2005 1.0 Versión final para su pública distribución
1
El autor ha sido parcialmente financiado mediante la beca MECD/Fulbright FU2004-0589.
Proyecto: Definición de un procedimiento de selección de técnicas de educción
Índice
1 Introducción........................................................................................................................................................... 1
2 Protocolo de revisión ............................................................................................................................................. 2
2.1 Motivación .............................................................................................................................................2
2.2 Aspectos a investigar..............................................................................................................................2
2.2.1 Población.................................................................................................................................................3
2.2.2 Intervención.............................................................................................................................................4
2.2.3 Variables respuesta..................................................................................................................................5
2.2.4 Tipos de estudios empíricos ....................................................................................................................5
2.3 Estrategia de búsqueda...........................................................................................................................6
2.4 Criterios de selección .............................................................................................................................7
2.5 Aplicación de los criterios de selección .................................................................................................8
2.6 Estrategia de extracción de datos ...........................................................................................................8
2.7 Valoración de la calidad de los estudios seleccionados .........................................................................9
2.8 Estrategia de síntesis ..............................................................................................................................9
2.8.1 Metodología de síntesis.........................................................................¡Error! Marcador no definido.
2.8.2 Restricciones en la síntesis de resultados ..............................................¡Error! Marcador no definido.
2.8.3 Consideraciones finales para la síntesis de resultados ..........................¡Error! Marcador no definido.
2.9 Planificación temporal .........................................................................................................................10

Bibliografía 11
Apéndice A 16
Apéndice B 18
Apéndice C 23
Apéndice D 24
Apéndice E 25
TR 2. Protocolo de revisión sistemática de estudios empíricos i

1 Introducción
Tal y como se ha indicado en (Davis. A.M.; Dieste; Hickey; Juristo, and Moreno 2005a), la primera tarea a abordar
en el proyecto “Definición de un procedimiento de selección de técnicas de educción” es la revisión sistemática de
los estudios empíricos cuantitativos acerca de las técnicas de educción.
Para la realización de esta tarea se han seguido, en la medida de lo posible, las recomendaciones indicadas por
(Kitchenham 2004). Dichas recomendaciones tienen como objetivo asegurar que la revisión de la literatura se
realiza de una forma rigurosa y repetible. El artefacto utilizado para asegurar el rigor y repetibilidad es el protocolo
de revisión. La confección de dicho protocolo permite: (1) Valorar la calidad de la revisión desde sus estadios
iniciales; (2) reducir la influencia del investigador en los resultados de la investigación y, en consecuencia, (3) dotar
de una determinada validez las conclusiones obtenidas en la revisión.
El presente informe tiene precisamente como objetivo describir el protocolo de revisión utilizado durante la tarea de
revisión sistemática de los estudios empíricos cuantitativos acerca de las técnicas de educción. A ello se dedicará la
sección 2. Dicha sección se subdividirá en varias sub-secciones, cada una de las cuales tratará aspectos específicos
del protocolo, tales como la estrategia para la búsqueda de estudios primarios, criterios de selección, estrategia de
extracción de datos, etc.
Nótese que, debido a que paralelamente a la confección del presente protocolo ya se ha realizado una prospección
de los estudios potencialmente interesantes, es posible proporcionar ejemplos con los que ilustrar el protocolo de
revisión propuesto. Es igualmente necesario indicar que dichos ejemplos se han revisado con publicaciones
localizadas tras finalizar la revisión sistemática.
Finalmente, en apéndice se incluye toda la información necesaria para realizar ciertas tareas de revisión, tales como
la catalogación de estudios primarios, extracción de datos y valoración de la calidad.
TR 2. Metodología para la revisión sistemática de estudios empíricos 1

2 Protocolo de revisión
El protocolo de revisión utilizado, detallado en las secciones siguientes, ha sido el descrito en (Kitchenham 2004),
con la única salvedad de lo indicado en la sección 2.5. Dicha sección se ha añadido para dar cuenta de la aplicación
de los criterios de selección. Para más información al respecto, consúltese la mencionada sección.
2.1 Motivación
La necesidad de realizar una revisión sistemática de los estudios empíricos cuantitativos acerca de las técnicas de
educción ha sido extensivamente descrita en (Davis. A.M. and others 2005a). No obstante, deben indicarse aquí los
motivos siguientes:
• No existe en absoluto consenso entre los expertos acerca de cómo educir información o conocimiento
(Wooten and Rowley 1995).
• Existe la necesidad de determinar en qué situaciones qué técnicas de educción son más adecuadas
(Blandford and Rugg 2002;Burton; Shadbolt; Rugg, and Hedgecock 1990;Byrd; Cossick, and Zmud 1992).
• Los estudios comparativos que analizan las potencialidades de una técnica frente a otras, ya sean desde un
punto de vista teórico o empírico, han sido muy escasos (Cooke 1994;Munro and Davis 1977). No obstante,
existen un número considerable de estudios empíricos, algunos de ellos de gran calidad como (Agarwal and
Tanniru 1990;Corbridge; Rugg; Major; Shadbolt, and Burton 1994;Marakas and Elam 1998), por citar
únicamente tres casos, que no obtienen el impacto que merecen en la literatura científica o en la práctica
profesional.
Por este motivo, afrontar una revisión sistemática puede ser de gran interés, debido a que permitirá identificar y
sintetizar los resultados empíricos existentes hasta la fecha. Estos resultados no son muy numerosos, pero sin duda
proporcionan una valiosa información acerca de la utilidad de las técnicas de educción que podría promover el
consenso acerca de cómo obtener información de fuentes humanas.
2.2 Aspectos a investigar
El aspecto a investigar durante la revisión sistemática es determinar la utilidad de las técnicas de educción. La
investigación en dicho aspecto de las técnicas de educción producirá tres efectos beneficiosos:
• Desde el punto de vista investigador, la revisión sistemática proporcionará: (1) una descripción completa de
los resultados obtenidos hasta la fecha en el ámbito de la experimentación en educción y (2) una
descripción de las carencias en los estudios experimentales, tales como factores o niveles no ensayados,
variables respuesta no estudiadas, técnicas no sometidas a comparación, etc.
• Desde un punto de vista académico, dicha revisión permitirá establecer un mínimo cuerpo de
conocimientos acerca de la utilidad de las técnicas de educción, proporcionando una base científica para las

acciones que se llevarán a cabo durante esta tarea del desarrollo y evitando, de este modo, los efectos
perniciosos de ciertas creencias que no están respaldadas por los datos experimentales. Por citar un ejemplo
de este particular, existen datos empíricos que apuntan en la dirección de que los analistas experimentados
no realizan mejor las entrevistas que los analistas noveles (Agarwal and Tanniru 1990), lo cual parece
desafiar al sentido común.
• Desde el punto de vista profesional, la agregación que sigue a la actividad de revisión permitirá obtener
criterios, aplicables en proyectos reales, que permitirán decidir la mejor estrategia de educción
considerando las restricciones impuestas por los aspectos contextuales del proyecto de desarrollo. Por citar
un ejemplo,
Con el fin de precisar la amplitud de la investigación, las secciones siguientes proporcionan un mayor detalle sobre
el aspecto a investigar, esto es, la utilidad de las técnicas de educción. Dichas secciones detallan la población,
intervención, variables respuesta y tipos de estudios empíricos que serán considerados.
2.2.1 Población
Por población, deben entenderse dos aspectos distintos:
• El problema acerca del cual se realiza la educción
• Los individuos que proporcionan la información o conocimiento requerido.
Ambos aspectos están típicamente entremezclados, de tal forma que son difícilmente separables. Así, por ejemplo,
si el problema por el cual se realiza la educción es el desarrollo de un sistema de información, los individuos que
deberán proporcionar la información requerida con los clientes o usuarios de dicho futuro sistema software.
Pues bien, no se establecen restricciones sobre la población sobre la que se realizan los experimentos, debido a la
previsible escasez de estudios empíricos. Nótese que la ausencia de restricciones en este punto tiene dos
repercusiones principales:
• Cualquier tipo de problema será tenido en consideración. Ello permitirá incluir estudios empíricos referidos
tanto al desarrollo de sistemas de información (Browne and Rogich 2001), como a la clasificación de rocas
(Burton; Shadbolt; Hedgecock, and Rugg 1987).
• En coherencia con lo anterior, es perfectamente posible que se tomen en consideración estudios empíricos
totalmente ajenos a informática. Como ejemplos podrían citarse (Bech-Larsen and Nielsen 1999;Breivik
and Supphellen 2003), los cuales pertenecen al área de conocimiento de marketing y ejecutan sus estudios
empíricos sobre individuos que actúan como consumidores.
Se espera, en cualquier caso, que la inclusión de estudios de este tipo no afecten las conclusiones que se alcancen.
La razón fundamental reside en que la educción es un proceso fundamentalmente social, ni mucho menos privativo
de la ingeniería del software, por el cual se obtiene información o conocimiento acerca de algo, típicamente un
producto potencial o real. Por esta razón, pueden existir diversas publicaciones en ámbitos tales como el marketing,

ergonomía o incluso psicología cuyas conclusiones pueden aplicarse o extrapolarse de forma casi directa a la
ingeniería del software.
No obstante, debe indicarse explícitamente que no será aceptado cualquier estudio empírico. Así, se limitará el
conjunto de técnicas de educción a aquellas razonablemente similares a las empleadas en la ingeniería del software,
tal y como se indica en la sección 2.2.2. Igualmente, determinados problemas no serán tenidos en consideración,
tales como, por ejemplo, la educción de probabilidades, como es el caso de (Benson; Curley, and Smith
1995;Browne; Curley, and Benson 1997), toma de decisiones (Hodgkinson; Maule, and Bown 2004), etc. Este
particular se detalla en la sección 2.4.
Finalmente, se tomarán las debidas precauciones para que dichos estudios no adquieran una preeminencia
innecesaria. Esto es, dichos estudios empíricos se utilizarán no para proporcionar evidencias, sino para matizar los
resultados obtenidos en estudios propios de ingeniería del software y áreas aledañas. Ello se explicará más
detalladamente en {Davis. A.M., Dieste, et al. 2006 #1270}.
2.2.2 Intervención
Es imposible, a priori, enunciar una lista comprehensiva de las técnicas de educción a considerar en la presente
revisión sistemática. La razón de ello reside en que el número de técnicas, y versiones de las mismas, es realmente
inmenso (Rugg and McGeorge 1999). Sí sería posible indicar un número de técnicas bien conocidas, como las
entrevistas, el análisis de protocolos o el brainstorming. No obstante, además de éstos, existe un gran número de
técnicas cuya popularidad es mucho menor, como el Critical Decision Method (CDM) o el Nominal Group
Technique (NGT), y precisamente en estas reside la dificultar de elaborar una lista completa de técnicas de
educción.
Por este motivo, las técnicas que se considerarán en la presente revisión sistemática se definirán por comprensión,
mediante los siguientes tres criterios:
• Las técnicas de educción a considerar deberán razonablemente ser aplicables primordialmente a la

ingeniería del software y áreas aledañas. Por aplicable, debe entenderse que dicha técnica pueda utilizarse
en la práctica en una sesión de educción, sin incomodar a los usuarios o clientes, requerir un desembolso
excesivo, emplear demasiado tiempo, etc.
Es necesario indicar que, una vez finalizada la revisión sistemática, no se han encontrado estudios que
parezcan contradecir este criterio, por lo que puede considerarse sin efecto.
• Sólo se considerarán técnicas de educción individuales, esto es, no serán tenidas en consideración las
técnicas de educción de grupo, tales como el JAD o el brainstorming. Existen dos razones para ello:
o El número de estudios acerca de técnicas de educción individuales es mayor en ingeniería del

software que en otras áreas, mientras que en el caso de las técnicas de educción de grupo, la
situación parece invertirse. Por citar algunos ejemplos, el número de estudios empíricos en
brainstorming es muy amplio en psicología: (Garmer; Liljegren; Osvalder, and Dahlman
2002;LaFrance 1987;Shanteau 1988;Tversky 1977;Whaley 1979), por citar unos pocos. Asimismo,
existen numerosos estudios en el área de marketing y ergonomía acerca de focus groups como, por

ejemplo: (Atkinson 2000;Ives and Olson 1984;Massey and Wallace 1991). En contrapartida, el
número de estudios en ingeniería del software y áreas aledañas es mucho más reducido: (Duggan
and Thachenkary 2003;Lloyd; Rosson, and Arthur 2002).
o Los estudios acerca de las técnicas de educción de grupo persiguen típicamente estudiar la
influencia de aspectos psicológicos o sociales en el marco de una técnica concreta de educción,
mientras que los estudios individuales están más enfocados a comparar técnicas de educción entre
si. Ejemplos del primero de los casos podrían ser (Bales and Borgatta 1955;Bouchard; Barsaloux,
and Drauden 1974;Cohen; Whitmyre, and Funk 1960), mientras que ejemplos de lo segundo
podrían ser (Corbridge and others 1994) o (Agarwal and Tanniru 1990).
o En varios casos, los estudios empíricos acerca de grupos incluyen la utilización de Sistemas
computerizados de Apoyo a Grupos (Lloyd and others 2002;Ocker and Hiltz 1996), software que
no se utiliza en los estudios acerca de las técnicas de educción individuales. Obviamente, la
utilización de tales sistemas software implica que el contexto de ambos tipos de estudios es
completamente distinto.
Los motivos anteriores producirían, en el caso de haber incluido las técnicas de grupo, problemas en la
agregación de los resultados de los distintos estudios ya que: (1) al contrario de como se indica en la
sección 2.8, no sería posible dar preeminencia a los estudios pertenecientes a la ingeniería del software y
áreas aledañas durante la agregación de resultados y (2) la diversidad de factores ensayados y aspectos
contextuales haría más complicada dicha agregación. Por ello, se ha considerado preferible prescindir de
las técnicas de grupo en la presente revisión sistemática y abordar éstas en futuras revisiones, quizás
utilizando otro tipo de metodologías de análisis y síntesis/agregación, como por ejemplo grounded theory
(Strauss and Corbin 1998), case surveys (Yin and Heald 1975) o qualitative comparative análisis (Ragin
1987), dependiendo de los objetivos que se fijen en su caso.
2.2.3 Variables respuesta
No existe limitación el las variables respuesta a estudiar, debido a que la presente revisión sistemática, tal y como
se ha indicado al inicio de la sección 2.2, persigue proporcionar una completa revisión de los estudios empíricos
realizados acerca de las técnicas de educción. Todas las variables respuestas estudiadas son, en consecuencia,
interesantes.
2.2.4 Tipos de estudios empíricos
Al igual que lo indicado en la sección 2.2.3, no existe limitación el tipo de estudios empíricos a considerar y
exactamente por las mismas razones. Como única limitación a este respecto, no se tomarán en consideración
aquellos estudios empíricos que describan un caso de estudio o experiencia singular, tales como (Bostrom
1989;Potts; Takahashi; Smith, and Ora 1995;Sutcliffe 1995). Para que estudio sea tomado en consideración, debe al
menos:

• Ensayar dos técnicas de educción, realizando una comparación de las mismas. No se considerarán, en
ningún caso, aquellos estudios empíricos que comparen una técnica de educción con el “modo tradicional”
de realizar la educción, o algo similar, como es el caso, por ejemplo, de (Tawbi; Ben Achour, and Velez
1999). Esto es, para que un estudio sea aceptado, debe comparar dos técnicas razonablemente bien
definidas, y no algo contra nada.
• Ensayar una técnica de educción en dos o más situaciones, realizado una comparación entre las mismas.
• Requerir información acerca de las técnicas de educción a un conjunto de personas expertas, como es el
caso de los surveys (Eva 2001).
Evidentemente, las restricciones expuestas anteriormente excluyen a todos los casos de estudio donde se ensaya una
única técnica de educción. El motivo fundamental es que dichos estudios tienden a ser fuertemente contextuales y,
por lo tanto, están sujetos a interpretación. Es mucho más sencillo y sistemático analizar estudios comparativos, ya
que al menos es posible enunciar relaciones de orden, del tipo “la técnica A es mejor que la técnica B para la
variable respuesta C”. A este respecto, véase la sección 2.8.
Por consiguiente, es preferible prescindir de los casos de estudio en la presente revisión sistemática y abordar éstos
en futuras revisiones, utilizando otro tipo de metodologías de análisis y síntesis/agregación, como por ejemplo
grounded theory (Strauss and Corbin 1998), o case surveys (Yin and Heald 1975), dependiendo de los objetivos que
se fijen en su caso.
2.3 Estrategia de búsqueda
Tal y como se ha indicado en la introducción, previamente a la confección del presente protocolo se ha realizado
una prospección de los estudios empíricos relevantes. Dicha prospección ha permitido averiguar los hechos
siguientes:
• El título, palabras clave y resumen de muchas de las publicaciones indexadas en las bases de datos no hace
referencia a la metodología utilizada.
• La terminología utilizada para describir los productos y actividades del desarrollo de software han variado
considerablemente en las cinco últimas décadas. Por ejemplo, para referirse a las primeras actividades del
desarrollo, se pueden encontrar las denominaciones: Requisitos, análisis funcional, análisis de sistemas, etc.
Los dos hechos anteriores provocan que sea muy difícil identificar una estrategia única para identificar los estudios
relevantes de forma precisa. Por ello, en lugar de una, se han planteado tres estrategias complementarias de
búsqueda:
a) Búsqueda, mediante palabras clave, en las principales bases de datos (SCOPUS, IEEEXPLORE y ACM
DL). Dicho tipo de búsqueda permitirá identificar los principales estudios publicados. La cadena de
búsqueda a utilizar se ha escogido debido a que permiten obtener un número elevado, aunque no enorme,
de publicaciones potencialmente interesantes. La cadena de búsqueda utilizada será:

(elicitation OR “requirements gathering” OR “requirements acquisition”)
AND
(capture OR empirical OR experiment OR study OR review OR evaluation)
b) Búsqueda oportunista, utilizando únicamente los términos:
elicitation ; “requirements gathering” ; “requirements acquisition”
en Google™. Este tipo de búsqueda permitirá localizar dos tipos de estudios:
o Aquellos trabajos publicados en revistas o conferencias no indexadas (SCOPUS, IEEEXPLORE), o

deficientemente indexadas (ACM DL), en las bases de datos anteriormente citadas. Un ejemplo de
estos trabajos podría ser (Mahmood 1987), publicado en MIS Quarterly.
o Literatura gris, como por ejemplo (Chatzoglou 1997).
c) Revisión de las referencias bibliográficas citadas en los artículos seleccionados. Este tipo de búsqueda,
aunque extremadamente tediosa, permitirá identificar estudios antiguos, no indexados en ninguna base de
datos y, o, con títulos muy poco precisos, tales como (Stephenson; Michaelsen, and Franklin 1982).
Debido a la no existencia de revisiones previas, las búsquedas indicadas anteriormente tendrán como límite superior
las fecha de Marzo de 2005 (incluido, ya que la búsqueda comenzará en el mes de Mayo, ver sección 2.9), mientras
que no se especificará un límite inferior). La selección de estudios se realizará en dos fases. En una primera fase,
todos los estudios potencialmente interesantes serán incluidos en una base de datos bibliográfica PROCITE™. Se
será flexible en esta selección inicial, para evitar eliminar estudios empíricos relevantes por problemas de no
reconocer éstos tras leer únicamente el título y, o, el abstract. Posteriormente, dichos estudios serán evaluados y se
seleccionarán los estudios empíricos relevantes.
Una vez indicado lo anterior, es necesario indicar explícitamente que la estrategia de búsqueda adolece de
sistematicidad. Las estrategias b) y c) potencialmente pueden producir resultados muy diversos dependiendo de las
personas que las apliquen. No obstante, y debido a los problemas de identificación de estudios empíricos, ya
mencionados, prescindir de dichas estrategias podría limitar en gran medida la probabilidad de localizar estudios
empíricos relevantes.
2.4 Criterios de selección
En las secciones anteriores ya se han proporcionado diversos criterios para la selección de estudios. No obstante,
dichos criterios hacían referencia a particularidades de los aspectos a investigar, tales como la población objetivo o
los tipos de intervención interesantes.
No obstante, el estudio prospectivo realizado parece señalar que es necesario definir de forma más precisa la
población y, concretamente, qué tipos de problemas (véase la sección 2.2.1) son susceptibles de ser considerados en

la presente revisión sistemática. El motivo reside en que existe un número de estudios que, si bien están dedicados a
la educción y ensayan determinadas técnicas o efectos de ciertos factores, es muy difícil extrapolar sus resultados
de tal modo que resulten útiles en la ingeniería del software.
Por este motivo, se rechazarán todos los estudios dedicados a problemas que no puedan extrapolarse directamente,
y proporcionar cierta utilidad práctica, a la ingeniería del software. Esto excluye, por ejemplo, los trabajos en
educción de probabilidades (Benson and others 1995;Browne and others 1997), toma de decisiones (Hodgkinson
and others 2004) y una variada gama de etcéteras (Butler and Scherer 1997;Kanwar; Olson, and Sims 1981;Rogers;
Meyer; Walker, and Fisk 1998).
2.5 Aplicación de los criterios de selección

Tal y como se ha indicado anteriormente, se han definido un buen número de criterios de selección en las secciones
2.2 - 2.4. No obstante, no se ha hecho referencia alguna a la aplicación de dichos criterios, esto es, quién y cómo se
determinará cuando un estudio cumple, o no, dichos criterios. Esta sección se dedicará a este particular.
Los criterios de selección enunciados (incluyendo la identificación de estudios potencialmente interesantes, ver
sección 2.3) serán evaluados por al menos dos miembros del equipo de trabajo, y las discrepancias se resolverán
por consenso.
Para cada estudio que se evalúe, se registrará la información indicada en el Apéndice A en la base de datos
bibliográfica PROCITE™. Finalmente, la base de datos bibliográfica se facilitará en la página web
http://is.ls.fi.upm.es/udis/i_d/educcion.html para permitir su público escrutinio.
2.6 Estrategia de extracción de datos
Se extraerán los datos requeridos en el formulario mostrado en el Apéndice B. Dicho formulario se ha definido
atendiendo a los criterios indicados en (Kitchenham; Pfleeger; Pickard; Jones; Hoaglin; El Emam, and Rosenberg
2002). En dicho formulario, el apartado dedicado al tipo de estudio (B.6. Study type) se deriva principalmente de
(Kitchenham 2004) y en menor medida de (Fukuda and Ohashi 1997). El tamaño de los efectos (apartado M.1.
Statistically significant results) se calcularán conforme indica (Thalheimer and Cook 2002).
Los datos de cada estudio serán extraídos, por razones de eficiencia, por un único miembro del equipo de trabajo.
Dado que no se realiza ningún tipo de manipulación o interpretación de los datos a obtener, no se establece ningún
protocolo específico para el control de la presente actividad. No obstante, los formularios de recolección de datos se
publicarán en la página web http://is.ls.fi.upm.es/udis/i_d/educcion.html para permitir su público escrutinio.
Finalmente, debe indicarse que, con anterioridad a la utilización del formulario mostrado en el Apéndice B, se
utilizó el formulario mostrado en el Apéndice C. Este formulario, a diferencia del finalmente utilizado, permitía una
mucha mayor libertad a la hora de registrar los datos de interés y, en consecuencia, producía unos resultados menos
uniformes que con el formulario del Apéndice B. Por ello, en la mencionada página web algunos de los estudios
empíricos pueden no estar en el formato esperado. Actualmente, se está trabajando para convertir todos los antiguos
formularios al nuevo formato.

2.7 Valoración de la calidad de los estudios seleccionados
Durante la presente revisión sistemática, la calidad de los estudios empíricos seleccionados se valorará de dos
formas distintas, aunque complementarias:
• Cada estudio empírico se asignará a un nivel de la jerarquía de evidencia indicada en (Kitchenham 2004),
la cual se resume en el Apéndice D. La asignación de dicho nivel jerárquico es directo, ya que el apartado
B.6. Study type del formulario de extracción de datos contiene toda la información necesaria.
• A cada estudio empírico será sometido a una evaluación de su calidad interna. Dicha evaluación estará
basada en los criterios indicados en (Kitchenham and others 2002). Dicha evaluación será realizada
utilizando el formulario indicado en el Apéndice por un miembro del equipo de trabajo. Dichos
formularios se publicarán en la página web http://is.ls.fi.upm.es/udis/i_d/educcion.html para permitir su
público escrutinio.
Ambos criterios de calidad se utilizarán para durante la actividad de agregación, con el objetivo de reforzar o poner
en evidencia los resultados obtenidos.
2.8 Estrategia de agregación

Llegados a este punto, lo más deseable hubiera sido poder resumir en pocas palabras la metodología de
síntesis/agregación a seguir. Desgraciadamente, en el caso de la presente revisión, la situación no es tan sencilla por
varias razones:
• Los estudios de interés se corresponderán, fundamentalmente, con estudios comparativos de tipo

cuantitativo. El grado en que los aspectos importantes de estos estudios vienen perfectamente definidos, sin
necesidad de excesiva interpretación o elaboración, parece desaconsejar estrategias interpretativas, tales
como el análisis narrativo, temático, o de contenidos (Dixon-Woods; Agarwal; Jones; Young, and Sutton
2005), así como técnicas meta-etnográficas (Noblit and Hare 1988).
• El área de estudio, esto es, la educción de información o conocimientos, es un área relativamente bien
definida. Las técnicas de educción, así como las variables respuesta u otros factores que ensayen los
estudios empíricos de interés no necesitan de elaboración, y los datos que se recaben corresponderán con
categorías relativamente bien definidas. Ello parece desaconsejar métodos fundamentalmente inductivos
como la grounded theory (Strauss and Corbin 1998).
• El número de estudios empíricos será probablemente reducido. Este hecho dificulta enormemente la
agregación mediante técnicas como los case surveys (Yin and Heald 1975) o el análisis comparativo
{Ragin 1987 #370}.
• Es muy probable que apenas existan replicaciones, bajo cualquier tipo de diseño experimental, de los
estudios seleccionados. Ello impide la utilización de técnicas de meta-análisis (Pickard; Kitchenham, and
Jones 1998).

• Una vez puestos en cuestión los métodos de síntesis/agregación indicados anteriormente, siempre sería
posible utilizar métodos débiles como la meta-síntesis (Paterson; Thorne; Canam, and Jillings 2001) o la
síntesis realista (Dixon-Woods and others 2005). No obstante, la misma debilidad de dichos métodos puede
levantar objeciones en las conclusiones que se obtengan de la agregación.
Resumiendo la situación, el factor fundamental es la ausencia de replicaciones, con muy pocas excepciones tales
como (Burton and others 1987;Corbridge and others 1994). En consecuencia, sólo restan dos posibilidades: (1) o
bien no se realiza agregación alguna, lo cual convierte en absurdo este mismo protocolo y, por ende, buena parte
del proyecto investigador planteado en {Davis. A.M., Dieste, et al. 2005 #1240}; (1) o bien, y teniendo en
consideración las características de los estudios empíricos relevantes, se defina una estrategia de síntesis/agregación
que permita aprovechar el conocimiento obtenido en los citados estudios.
En el presente estudio, la alternativa (2) parece, con mucho, la más razonable. Por consiguiente, se retrasará la
definición del protocolo de agregación2 hasta el momento en que se hayan extraído los fragmentos de conocimiento
de los estudio empírico, lo cual será realizado en {Davis. A.M., Dieste, et al. 2006 #1260}. Obviamente, retrasar la
definición del protocolo de agregación puede provocar biases en los resultados obtenidos. Este particular se
discutirá en {Davis. A.M., Dieste, et al. 2006 #1270}.
2.9 Planificación temporal
La búsqueda e identificación de estudios potencialmente interesantes se realizará durante el mes de Mayo de 2005.
En este periodo se creará la base de datos bibliográfica PROCITE ™ mencionada en la sección 2.3.
Con posterioridad, hasta Septiembre de 2005, se seleccionarán los estudios relevantes, anotando todos los artículos
revisados en la base de datos bibliográfica, tal y como se ha indicado en la sección 2.5. En este mismo periodo se
extraerán los datos indicados en la sección 2.6.
Durante el mes de Octubre de 2005, se procederá a la revisión de la calidad de los estudios seleccionados, tal y
como se indica en la sección 2.7.
Finalmente, durante Noviembre del 2005 se procederá a la agregación de los resultados, tal y como se indica en la
sección 2.8.
Los documentos del proyecto se harán públicos en la página web http://is.ls.fi.upm.es/udis/i_d/educcion.html

cuando los autores consideren que dichos documentos poseen la estabilidad y calidad necesaria para su pública
distribución.

3 Bibliografía
1. Agarwal, R. and Tanniru, M. R. Knowledge Acquisition Using Structured Interviewing: An Empirical
Investigation. Journal of Management Information Systems. 1990 Summer; 7(1):123-141.
2. Atkinson, C. J. Socio-Technical and Soft Approaches to Information Requirements Elicitation in the Post-
Methodology Era. Requirements Engineering. 2000 Sep; 5(2):67-73.
3. Bales, R. F. and Borgatta, E. F. Size of group as a factor in the interaction profile. in: Hare, P. A.; Borgatta,
E. F., and Bales, R. F., (Eds.). Small Group Studies in Social Interaction. New York, NY, USA:
Alfred A. Knopf; 1955; pp. 396-413.
4. Bech-Larsen, T. and Nielsen, N. A. A comparison of five elicitation techniques for elicitation of attributes of
low involvement products. Journal of Economic Psychology. 1999 Jun; 20(3):315-341.
5. Benson, P. G. ; Curley, S. P., and Smith, G. F. Belief assesment: An underdevelopment phase of probability
elicitation. Management Science. 1995; 41(10):1639-1653.
6. Blandford, A. and Rugg, G. A case study on integrating contextual information with analytical usability
evaluation. International Journal of Human-Computer Studies. 2002; 57(1):75-99.
7. Bostrom, R. P. Successful application of communication techniques to improve the systems development

process. Information & Management. 1989; 16(5):279-295.
8. Bouchard, T. J.; Barsaloux, J., and Drauden, G. Brainstorming procedure, group size, and sex as determinants
of the problem-solving effectiveness of groups and individuals. Journal of Applied Psychology.
1974; 59:135-138.
9. Breivik, E. and Supphellen, M. Elicitation of product attributes in an evaluation context: A comparison of

three elicitation techniques. Journal of Economic Psychology. 2003 Feb; 24 (1):77-98.
10. Browne, G. J.; Curley, S. P., and Benson, P. G. Evoking information in probability assessment: Knowledge
maps and reasoning-based directed questions. Management Science. 1997; 43(1):1-14.
11. Browne, G. J. and Rogich, M. B. An Empirical Investigation of User Requirements Elicitation: Comparing
the Effectiveness of Prompting Techniques. Journal of Management Information Systems . 2001
Spring; 17(4):223-249 .
12. Burton, A. M.; Shadbolt, N. R.; Hedgecock, A. P., and Rugg, G. A formal evaluation of knowledge elicittion
techniques for expert systems: Domain 1. in: Moralee, D. S., (Ed.). Research and development in
expert systems IV: proceedings of Expert Systems '87, the seventh annual Technical Conference of
the British Computer Society Specialist Group on Expert Systems. Cambridge, UK: Cambridge
University Press; 1987.

13. Burton, A. M.; Shadbolt, N. R.; Rugg, G., and Hedgecock, A. P. The efficacy of knowledge acquisition
techniques: A comparison across domains and levels of expertise. Knowledge Acquisition. 1990;
2:167-178.
14. Butler, Adam B. and Scherer, Lisa L. The Effects of Elicitation Aids, Knowledge, and Problem Content on
Option Quantity and Quality. Organizational Behavior and Human Decision Processes. 1997 Nov;
72(2):184-202.
15. Byrd, T. A.; Cossick, K. L., and Zmud, R. W. A synthesis of research on requirements analysis and
knowledge acquisition techniques. MIS Quarterly. 1992; 16(1):117-138.
16. Chatzoglou, P. D. Factors affecting completion of the requirements capture stage of projects with different
characteristics. Information and Software Technology. 1997; 39(9):627-640.
17. Cohen, D.; Whitmyre, J. W., and Funk, W. H. Effect of group cohesiveness and training upon creative
thinking. Journal of Applied Psychology. 1960; 44:319-322.
18. Cooke, N. J. Varieties of knowledge elicitation techniques. International Journal of Human-Computer

Studies. 1994 Dec; 41(6):801-849.
19. Corbridge, B.; Rugg, G.; Major, N. P.; Shadbolt, N. R. , and Burton, A. M. Laddering - technique and tool
use in knowledge acquisition. Knowledge Acquisition. 1994; 6(3):315-341.
20. Davis. A.M. ; Dieste, O.; Hickey, A.; Juristo, N., and Moreno, A. M. Project Description. 2005a(Definición
de un procedimiento de selección de técnicas de educción; TR1).
21. Davis. A.M. ; Dieste, O.; Hickey, A.; Juristo, N., and Moreno, A. M. Síntesis de estudios empíricos.
2005b(Definición de un procedimiento de selección de técnicas de educción; TR3).
22. Dixon-Woods, M.; Agarwal, S.; Jones, D.; Young, B., and Sutton, A. Synthesising qualitative and
quantitative evidence: a review of possible methods. Journal of Health Services Research and Policy.
2005; 10(1):45-53B(9).
23. Duggan, E. W. and Thachenkary, C. S. Higher Quality Requirements: Supporting Joint Application
Development with the Nominal Group Technique. Information Technology and Management. 2003;
4(4):391-408.
24. Engelbrektsson, P. Effects of product experience and product representations in focus group interviews.
Journal of Engineering Design. 2002; 13(3):215-221.
25. Eva, M. Requirements acquisition for rapid applications development. Information & Management. 2001
Dec; 39(2):101-107.
26. Fukuda, H. and Ohashi, Y. A guideline for reporting results of statistical analysis in Japanese journal of
clinical oncology. Japanese Journal of Clinical Oncology. 1997; 27(3):121-127.
27. Garmer, K.; Liljegren, E.; Osvalder, A.-L., and Dahlman, S. Application of usability testing to the
development of medical equipment. Usability testing of a frequently used infusion pump and a new
user interface developed with a Huamn Factors approach. International Journal of Industrial
Ergonomics. 2002; 29:145-159.
28. Hodgkinson, G. P.; Maule, A. J., and Bown, N. J. Causal Cognitive Mapping in the Organizational Strategy
Field: A Comparison of Alternative Elicitation Procedures. Organizational Research Methods. 2004
Jan 1; 7(1):3-26.
29. Ives, B. and Olson, M. User involvement and MIS success: A review of research. Management Science.
1984; 30(5):586-603.
30. Kanwar, R.; Olson, J. C., and Sims, L. S. Toward conceptualizing and measuring cognitive structures.
Advances in Consumer Research. 1981; 8(1):122-127.
31. Kitchenham, B. A. Procedures for performing systematic reviews. Keele University; 2004; TR/SE-0401.
(Keele University Technical Report). ./methods/1.pdf.
32. Kitchenham, B. A.; Pfleeger, S. L.; Pickard, L. M.; Jones, P. W.; Hoaglin, D. C.; El Emam, K., and
Rosenberg, J. Preliminary guidelines for empirical research in software engineering. IEEE
Transactions on Software Engineering. 2002; 28(8):721-734. ISSN: 0098-5589.
33. LaFrance, M. The knowledge acquisition grid: A method for training knowledge engineers. International
Journal of Man-Machine Studies. 1987; 26:245-255.
34. Lloyd, W. J. ; Rosson, M. B., and Arthur, J. D. Effectiveness of elicitation techniques in distributed
requirements engineering. Proceedings IEEE Joint International Conference on Requirements
Engineering; 2002: 311-318.
35. Mahmood, M. System development methods -- A comparative investigation. MIS Quarterly. 1987;
11(3):293-311.
36. Marakas, G. M. and Elam, J. J. Semantic structuring in analyst and representation of facts in requirements
analysis. Information Systems Research. 1998; 9(1):37-63.
37. Massey, A. P. and Wallace, W. A. Focus groups as a knowledge elicitation technique: an exploratory study.
IEEE Transactions on Knowledge and Data Engineering. 1991; 3(2):193-200. ISSN: 1041-4347.
38. Munro, M. C. and Davis, G. B. Determining management information news: A comparison of methods. MIS
Quarterly. 1977; 1(2):55-67.
39. Noblit, G. W. and Hare, R. D. Meta-Ethnography: Synthesising Qualitative Studies. Newbury Park, CA:
Sage; 1988.
40. Ocker, R. and Hiltz, S. R. The effects of distributed group support and process structuring on software
requirements development teams: Results on creativity and quality. Journal of Management

Information Systems. 1996; 12(3):127-154.
41. Paterson, B. L.; Thorne, S. E.; Canam, C., and Jillings, C. Meta-Study of Qualitative Health Research: A
Practical Guide to Meta-Analysis and Meta-Synthesis . Thousand Oaks, CA, USA: SAGE
Publications; 2001.
42. Pickard, L. M.; Kitchenham, B. A., and Jones, P. W. Combining empirical results in software engineering.
Information and Software Technology. 1998 Dec 1; 40(14):811-821.
43. Potts, C.; Takahashi, K.; Smith, J., and Ora, K. An evaluation of inquiry based requirements analysis for an
internet service. in: Zave, P. and Harrison, M. D., (Eds.). Proceedings of the 2nd International
Workshop on Requirements Engineering: IEEE Computer Society Press; 1995: 27-34.
44. Ragin, C. C. The Comparative Method: Moving Beyond Qualitative and Quantitative Strategies. Berkeley,
CA: University of California Press; 1987.
45. Rogers, W. A.; Meyer, B.; Walker, N., and Fisk, A. D. Functional limitations to daily living tasks in the aged:
A focus group analysis. Human Factors. 1998; 40( 1):111-125.
46. Rowe, A. L.; Cooke, N. J.; Hall, E. P., and Halgren, T. L. Toward an on-line knowledge assesment
methodology: Building on the relationship between knowing and doing. Journal of Experimental
Psychology: Applied. 1996; 2:31-47.
47. Rugg, G. and McGeorge, P. Questioning methodologyUniversity College Northampton. Faculty of

Management and Business Working Paper 99/03. 1999;
http://mcs.open.ac.uk/gr768/elicitation/overview/qm/index.shtml.
48. Shanteau, J. Psychological characteristics and strategies of epert decision makers. Acta Psychologia. 1988;
68:203-215.
49. Stephenson, B. Y.; Michaelsen, L. K., and Franklin, S. G. An empirical test of the nominal group technique
in state solar energy planning. Group and Organization Studies. 1982; 7(3):320-334.
50. Strauss, A. and Corbin, J. Basics of Qualitative Research: Techniques and Procedures for Developing
Grounded Theory. Thousand Oaks, CA: Sage Pubs; 1998.
51. Sutcliffe, A. Requirements rationales: integrating approaches to requirements analysis. in: Olson, G. M. and
Schuon, S., (Eds.). Proceedings of Designing Interactive Systems DIS'95: ACM Press; 1995: 33-42.
52. Tawbi, M.; Ben Achour, C., and Velez, F. Guiding the process of requirements elicitation through scenario.
Proceedings of the Tenth International Workshop on Database and Expert Systems Applications;
1999: 345-349.
53. Thalheimer, W. and Cook, S. How to calculate effect sizes from published research: A simplified
methodology. 2002 Aug.
54. Tversky, A. features of similarity. Psychological Review. 1977; 84:327-352.
55. Whaley, C. P. Collecting paired-comparison data with a sorting algorithm. Behavior Research Methods and
Instrumentation. 1979; 11:147-150.
56. Wooten, T. C. and Rowley, T. H. Using anthropological interview strategies to enhance knowledge
acquisition. Expert Systems With Applications. 1995; 9(4):469-482.
57. Yin, R. K. and Heald, K. A. Using the Case Survey Method to Analyze Policy Studies . Administrative
Science Quarterly. 1975; 20(3):371-381.

Apéndice A
Todas las publicaciones seleccionadas para su revisión (y que, por lo tanto, incluyen tanto estudios empíricos como
cualquier otro tipo de publicación) se registrarán en una base de datos bibliográfica PROCITE®. Para facilitar la
gestión de dichas publicaciones, cada articulo se etiquetará con una serie de valores. Dichas etiquetas y valores se
indican a continuación:
AVAILABILITY: {Available | Not available | Unknown}

Esta etiqueta define cuándo el texto completo de una publicación ha sido obtenido (Available), no obtenido
(Not available) o todavía no se ha procedido a su búsqueda (Unknown). En general, el valor “Unknown”,
en cualquier etiqueta, indica que no se ha revisado ese particular.
AVAILABLE AT: {File | UCCS | UPM | My library | N/A | Unknown}

Esta etiqueta define dónde se puede localizar el texto completo de un artículo.
FILE: {Path to file | N/A | Unknown}

Esta etiqueta proporciona el nombre y trayectoria del texto completo de un artículo, en caso de que esté
disponible.
STATUS: {Pending | Closed | Unknown}

Esta etiqueta determina si el artículo ha sido revisado (Closed), está pendiente de revisión (Pending).
CONSIDERED: {Yes, Not}

Esta etiqueta determina el artículo es relevante para la síntesis. Ello no implica que el artículo sea empírico,
lo cual se determina mediante la etiqueta TYPE.
TYPE: {Empirical | Support | Comment | Theoretical | Quote | Duplicated | Useless }+

Esta etiqueta determina si el artículo es empírico o no. El primero de los casos, existen cuatro posibilidades:
dedicado a técnicas de educción (Empirical), dedicado a algún aspecto accesorio (Support), que incluye
alguna información interesante (Comment) o es el mismo que otro estudio empírico (Duplicated). En el
segundo de los casos, el artículo puede ser teórico (Theoretical), contener información interesante (Quote)
o no poseer utilidad alguna (Useless). Es posible catalogar un artículo {Empirical | Support | Comment}
también como “Quote”, si dicho artículo contiene información que pueda citarse.
RELATED TO SOFTWARE: {Yes | Not}
FIELD: {Field}
Esta etiqueta determina a qué disciplina pertenece el artículo, como, por ejemplo, ingeniería del software o
marketing.
SHORT DESCRIPTION: {Text}

Esta etiqueta proporciona una breve descripción del artículo.
METHODOLOGY: { Randomized controlled trial |

Pseudo- randomized trial |
Sequential self-controlled |
Sequential cross-over |
Historical control |
Uncontrolled study |
Post test |
Pre test / Post test |
Cross-sectional study |
Case-control study |
Cohort study prospective |
Cohort study retrospective |
Cohort study historical |
Nested case-control study |
Survey
Conceptual}
NUMBER: {Number | N/A | Unknown}

Esta etiqueta asigna un número a cada estudio empírico, para facilitar su identificación, ya que en algunos
casos un mismo artículo contiene varios estudios empíricos distintos.
STRUCTURED ABSTRACT: {Yes, No}.

Esta etiqueta indica si se ha confeccionado un abstract estructurado para el artículo. El abstract estructurado
contendrá la siguiente información:
o BACKGROUND: Motivación y contexto del estudio.
o OBJECTIVE: Propósito general del estudio.
o DESIGN: Metodología, tratamiento, unidad experimental, tarea experimental y método de análisis.
o OUTCOMES: Variables respuesta.
o PROCEDURE: Cualquier aspecto relevante acerca de la ejecución del estudio empírico.
o MEASUREMENT: Procedimientos de medida, describiendo especialmente la utilización de

jueces o evaluadores.
o RESULTS: Resultados estadísticamente significativos y fallos en la validación de hipótesis, si

procede.
o CONCLUSIONS: Conclusiones, si los autores ofrecen alguna que no se derive directamente de

los resultados empíricos.
o OTHER CONSIDERATIONS: Cualquier otro aspecto del estudio que pueda resultar
significativo para la síntesis de resultados.

Apéndice B
A. Identification
A.1. Reference:
A.2. Codes:
(project-specific data only)
B. Context
B.1. Background:
B.2. Study goal:
B.3. Domain:
B.4. Environment:
B.5. Special issues:
Intervention study (trial)
Controlled study
Parallel ( randomized, non-randomized)
Sequential ( self-controlled, cross-over)
Historical control
Uncontrolled study
Quantitative observational study

Case series study
B.6. Study type: Post test
Pre test / Post test
Cross-sectional study
Longitudinal study
Case-control study
Cohort study (prospective, retrospective, historical)
Nested case-control study
Survey
Survey
Exploratory
B.7. Study approach: Confirmatory
Replication of

C. Hypothesis
C.1. Does the paper state hypotheses?: No Yes
C.1.1: Question or Hypothesis Underlying theory
Hypothesis
C.1.2:
Hypothesis
C.1.3:
Hypothesis
C.1.4:
Hypothesis
C.2. Comments:
D. Population
D.1. Subjects:
D.2. Inclusion criteria:
D.3. Exclusion criteria:
D.4. Comments:
E. Objects
E.1. Objects/Problem:
E.2. Comments:
F. Treatments & Other Factors
F.1. Treatments: F.2. Factor 2: F.3. Factor 3:

(Specify levels) (Specify levels)
Levels: Levels:
F.4. Comments:

G. Design
G.1. Type of Design:

G.2. Experimental unit:
G.3. Calculation of the sample size: N/A No Yes, with power: ; Number of units needed:
G.4. Treatment admin.: ; Blind: No Yes
G.5. Allocation: N/A Randomized Non randomized, because:
G.6. Comments:
H. Outcomes
H.1. Aspect 1: Type: Ratio Interval Ordinal Nominal

Units: Measurement procedure:
Evaluator(s) (if/a): ; Blind: No Yes
Inter-rater agreement (if/a): Type: ; Value: Power:
Comments:

Comments:

Comments:
Comments:
I. Surveys
I.1. Aspect 1: Scale:

I.13. Comments:

K. Experiment Execution, Controls & Drop Out
K.1. Execution:
K.2. Controls:
K.3. Drop out:
J. Response Rate and Representativeness
J.1. Response Rate and Representativeness:
L. Analysis (I)
No Yes; Number of tests:

L.1. Multiple testing:
Bonferroni adjustment (if/a): No Yes, with level
L.2. Blind analysis: No Yes, performed by:
L.3. Analysis method(s):
Statistical package
Raw data
Number of observations
Means / Means difference
L.4. Quality issues: Variances / Standard deviations
(check if reported)
Alpha level
Type of test, values and degrees of freedom
Confidence intervals
Effect size / regression coefficients
L.5. Comments:
M. Analysis (II)
M.1. Statistically
significant results:
M.2. Other interesting
results:
N. Threats to Validity
N.1. Internal validity:

N.2. External validity:
N.3. Authors’
involvement and
blinding:
N.4. Other:

O. Authors’ Conclusions
O.1. Conclusions:
P. References
P.1. References:

Apéndice C
(1) Paper:
(2) Overall interest
(3) Brief description & context:
(4) Techniques considered:
(5) Aspects studied:
(6) Hypotheses
(7) Methodology:
(8) Procedure:
(9) Results:
(10) Implications:
(11) Limitations:
(12) Threats to validity:
(13) Comments:
(14) Interesting references:

Apéndice D
La Tabla 1 muestra la clasificación propuesta por (Kitchenham 2004), con la única adición, realizada por los
autores, de un nivel más de evidencia (concretamente, los estudios observacionales, situados al nivel 5, los cuales
desplazan una posición hacia abajo a la opinión experta, inicialmente considerada por (Kitchenham 2004) a nivel
5). Dicha interpolación se ha realizado para incluir en la clasificación los estudios empíricos con un número
reducido de unidades experimentales. Dichos estudios no pueden clasificarse como experimentos, debido a que no
existe apenas control de los factores, típicamente aleatorizar es imposible o inútil y, con cierta frecuencia y debido a
la misma carencia de unidades experimentales, no es factible aplicar análisis formal alguno.
No obstante, parece razonable incluir este nuevo nivel debido a que un gran número de estudios empíricos
pertenece a dicha categoría y, en la medida en que están adecuadamente planificados, ejecutados y analizados,
proporcionan una valiosa información. Asimismo, y aunque es discutible, parece razonable considerar dichos
estudios empíricos a un nivel superior que la opinión experta, al menos en un campo tan reciente como la
informática.
Experiment Level
Evidence obtained from properly-designed randomized controlled trial 1
Well-designed non-randomized controlled trials 2
Evidence obtained from comparative studies with concurrent controls and
allocation not randomized, cohort studies, case-control studies or interrupted 3-1
time series with a control group.
Evidence obtained from comparative studies with historical control. two or more
3-2
single arm studies, or interrupted time series without a parallel control group
Evidence obtained from randomized experiment performed in an artificial setting 4-1
Evidence obtained from case series, either post-test or pre-test/post-test 4-2
Evidence obtained from non-randomized experiment performed in an artificial setting 4-3
Evidence obtained from quantitative or qualitative observational studies (case
5
study, ethnography, grounded theory, action research)
Evidence obtained from expert opinion based on theory or consensus 6
Tabla 1. Niveles de evidencia

Apéndice E
A. Identification
A.1. Reference:
A.2. Codes:
(project-specific data
only)
Q. Evaluation
Criterion Not Partially Yes

Q.1. Is the study context clearly described?
Q.2. Are the hypotheses and underlying theory explicitly described?
Q.3. Is it stated whether the study is exploratory or confirmatory?
Q.4. Is the type of study defined?
Q.5. Is the related research described?
Q.6. Is the population identified?
Q.7. Is the selection procedure defined?
Q.8. Is the assignment of subjects/objects to treatments defined?
Q.9. Is the experimental unit defined?
Q.10. Is the sample size calculated?
Q.11. Is appropriate blinding used?
Q.12. Are the treatments clearly defined?
Q.13. Are the outcomes justified in terms of the objectives / hypotheses?
Q.14. Is the data gathering procedure defined?
Q.15. Are inter-rater reliability, response rates or drop-out described?
Q.16. Are measures taken to avoid multiple testing effects?
Q.17. Are sensitive analysis performed?
Q.18. Are descriptive statistics (means, standard deviations) provided?
Q.19. Are quantitative results correctly provided?

Protocolo de Revisión de Estudios Empíricos

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Protocolo de Revisión de Estudios Empíricos

Cargado por

Copyright:

Formatos disponibles

Definición de un procedimiento de

selección de técnicas de educción

Protocolo de revisión de estudios empíricos

Autores Fechas Version Comentarios

Alan Davis, UCCS Marzo de 2005 0.5 Primer borrador

2.1 Motivación .............................................................................................................................................2

2.2 Aspectos a investigar..............................................................................................................................2

2.2.3 Variables respuesta..................................................................................................................................5

2.2.4 Tipos de estudios empíricos ....................................................................................................................5

2.3 Estrategia de búsqueda...........................................................................................................................6

2.4 Criterios de selección .............................................................................................................................7

2.5 Aplicación de los criterios de selección .................................................................................................8

2.6 Estrategia de extracción de datos ...........................................................................................................8

2.7 Valoración de la calidad de los estudios seleccionados .........................................................................9

2.8 Estrategia de síntesis ..............................................................................................................................9

2.8.1 Metodología de síntesis.........................................................................¡Error! Marcador no definido.

2.8.2 Restricciones en la síntesis de resultados ..............................................¡Error! Marcador no definido.

2.8.3 Consideraciones finales para la síntesis de resultados ..........................¡Error! Marcador no definido.

2.9 Planificación temporal .........................................................................................................................10

TR 2. Protocolo de revisión sistemática de estudios empíricos i

TR 2. Metodología para la revisión sistemática de estudios empíricos 1

2.2 Aspectos a investigar

TR 2. Metodología para la revisión sistemática de estudios empíricos 2

Por población, deben entenderse dos aspectos distintos:

• El problema acerca del cual se realiza la educción

• Los individuos que proporcionan la información o conocimiento requerido.

TR 2. Metodología para la revisión sistemática de estudios empíricos 3

• Las técnicas de educción a considerar deberán razonablemente ser aplicables primordialmente a la

o El número de estudios acerca de técnicas de educción individuales es mayor en ingeniería del

TR 2. Metodología para la revisión sistemática de estudios empíricos 4

2.2.3 Variables respuesta

2.2.4 Tipos de estudios empíricos

TR 2. Metodología para la revisión sistemática de estudios empíricos 5

2.3 Estrategia de búsqueda

TR 2. Metodología para la revisión sistemática de estudios empíricos 6

(elicitation OR “requirements gathering” OR “requirements acquisition”)

(capture OR empirical OR experiment OR study OR review OR evaluation)

b) Búsqueda oportunista, utilizando únicamente los términos:

elicitation ; “requirements gathering” ; “requirements acquisition”

en Google™. Este tipo de búsqueda permitirá localizar dos tipos de estudios:

o Aquellos trabajos publicados en revistas o conferencias no indexadas (SCOPUS, IEEEXPLORE), o

o Literatura gris, como por ejemplo (Chatzoglou 1997).

2.4 Criterios de selección

TR 2. Metodología para la revisión sistemática de estudios empíricos 7

2.5 Aplicación de los criterios de selección

2.6 Estrategia de extracción de datos

TR 2. Metodología para la revisión sistemática de estudios empíricos 8

2.7 Valoración de la calidad de los estudios seleccionados

2.8 Estrategia de agregación

• Los estudios de interés se corresponderán, fundamentalmente, con estudios comparativos de tipo

TR 2. Metodología para la revisión sistemática de estudios empíricos 9

2.9 Planificación temporal

Los documentos del proyecto se harán públicos en la página web http://is.ls.fi.upm.es/udis/i_d/educcion.html

TR 2. Metodología para la revisión sistemática de estudios empíricos 10

7. Bostrom, R. P. Successful application of communication techniques to improve the systems development

9. Breivik, E. and Supphellen, M. Elicitation of product attributes in an evaluation context: A comparison of

TR 2. Metodología para la revisión sistemática de estudios empíricos 11

18. Cooke, N. J. Varieties of knowledge elicitation techniques. International Journal of Human-Computer

requirements development teams: Results on creativity and quality. Journal of Management

47. Rugg, G. and McGeorge, P. Questioning methodologyUniversity College Northampton. Faculty of

methodology. 2002 Aug.

54. Tversky, A. features of similarity. Psychological Review. 1977; 84:327-352.

TR 2. Metodología para la revisión sistemática de estudios empíricos 15