EXPERIMENTOS

Machine Translated by Google
Ex post facto
12 investigar
Introducción causas y someterlas a la autoridad correspondiente en

forma de recomendaciones. Estos pueden incluir mejorar
Cuando se traduce literalmente, ex post facto significa las condiciones de las carreteras, reducir el límite de
'de lo que se hace después'. En el contexto de la velocidad o aumentar la vigilancia policial, por ejemplo.
investigación social y educativa, la frase significa El punto de interés para nosotros es que al identificar las
'después del hecho' o 'retrospectivamente' y se refiere a causas retrospectivamente, el experto adopta una
aquellos estudios que investigan las posibles relaciones perspectiva ex post facto .
de causa y efecto observando una condición o estado de La investigación ex post facto es un método que
cosas existente y buscando en el tiempo plausibles. también se puede utilizar en lugar de un experimento
factores casuales. En efecto, los investigadores se para probar hipótesis sobre causa y efecto en situaciones
preguntan qué factores parecen estar asociados con en las que no es ético controlar o manipular la variable
ciertos sucesos, condiciones o aspectos del dependiente. Por ejemplo, digamos que quisiéramos
comportamiento. La investigación ex post facto , entonces, probar la hipótesis de que la violencia familiar causó un
es un método para descubrir posibles antecedentes de bajo rendimiento escolar. Aquí, éticamente hablando, no
eventos que han ocurrido y que, por lo tanto, no pueden debemos exponer a un estudiante a la violencia familiar.
ser controlados, diseñados o manipulados por el Sin embargo, uno podría poner a los estudiantes en dos
investigador (Cooper y Schindler 2001: 136). grupos, emparejados cuidadosamente en una variedad
Los investigadores pueden informar solo lo que ha de factores, con un grupo compuesto por aquellos que
sucedido o lo que está sucediendo, tratando de mantener han experimentado violencia familiar y el otro cuyas
constantes los factores mediante una cuidadosa atención al muestreo.
circunstancias domésticas son más aceptables. Si la
El siguiente ejemplo ilustrará la idea básica. Imagine hipótesis es compatible, entonces el investigador debería
una situación en la que ha habido un aumento dramático poder descubrir una diferencia en el rendimiento escolar
en el número de accidentes de tránsito fatales en una entre los dos grupos cuando las otras variables se igualan
localidad en particular. Se llama a un experto para que o se mantienen lo más constantes posible.
investigue. Naturalmente, no hay forma de que ella pueda
estudiar los accidentes reales porque han ocurrido; Kerlinger (1970) ha definido la investigación ex post
tampoco puede recurrir a la tecnología para una facto como aquella en la que ya se han producido la
reproducción en video de los incidentes. Lo que sí puede variable o variables independientes y en la que el
hacer, sin embargo, es intentar una reconstrucción investigador parte de la observación de una variable o
estudiando las estadísticas, examinando los lugares de variables dependientes. Luego, el investigador estudia la
los accidentes y tomando nota de las declaraciones de variable o variables independientes en retrospectiva para
las víctimas y los testigos. De esta forma el experto determinar su posible relación y efectos sobre la variable
estará en condiciones de identificar posibles determinantes o variables dependientes.
de los accidentes. Estos pueden incluir velocidad Por lo tanto, el investigador examina retrospectivamente
excesiva, malas condiciones de la carretera, conducción los efectos de un evento que ocurre naturalmente en un
descuidada, frustración, vehículos ineficientes, los resultado posterior con miras a establecer un vínculo
efectos de las drogas o el alcohol, etc. Sobre la base de causal entre ellos. Algunos casos de diseños ex post facto
su examen, el experto puede formular hipótesis sobre la probable
corresponden a diseños experimentales.
DISEÑOS DE GRUPOS CO-RELACIONALES Y DE CRITERIO 265
Capítulo
12
investigación a la inversa, ya que en lugar de tomar
grupos que son equivalentes y someterlos a diferentes
tratamientos para generar diferencias en las variables
dependientes a medir, un experimento ex post facto
comienza con grupos que ya son diferentes en algún
Aquí la cuestión del tiempo era importante: ¿el personal
se ausentaba solo en los días en que impartía clases
difíciles o en otros momentos? ¿Había otras variables
que podrían tenerse en cuenta en el estudio, por ejemplo,
grupos de edad? Por lo tanto, el estudio se perfeccionó
aspecto y busca en retrospectiva del factor que provocó aún más, recopilando más datos, como se muestra.
la diferencia. De hecho, Spector (1993: 42) sugiere que
la investigación ex post facto es un procedimiento que Días en que Días en los que
pretende transformar un diseño de investigación no no se enseña enseñanza

secundarias
difícil clases
experimental en una forma pseudoexperimental. difíciles clases secundarias

Años Alto Bajo Alto baja
Uno puede discernir dos enfoques para la investigación ausencia ausencia ausencia 6 ausencia
>30 30 10
ex post facto . En el primer enfoque, uno comienza con dieciséis
sujetos que difieren en una variable independiente (por años 30–

50 años 4 4 4 20
ejemplo, sus años de estudio en matemáticas) y luego
estudia cómo difieren en la variable dependiente , por >50
2 2 2 28
ejemplo, una prueba de matemáticas. En un segundo
enfoque, uno puede comenzar con sujetos que difieren años
Total 36 12 22 58
en la variable dependiente (por ejemplo, su desempeño
en una prueba de matemáticas) y descubrir cómo difieren Total general: 128
en una gama de variables independientes, por ejemplo,

Esto demuestra que la edad también fue un factor, así
sus años de estudio, su gusto por el tema, la cantidad
como los días a la hora de impartir clases de secundaria
de tareas que hacen en matemáticas. La investigación ex
difíciles: los más jóvenes tienen más probabilidades de
post facto aquí busca descubrir las causas de un
ausentarse. La mayoría de los docentes ausentes tenían menos de 30 años
resultado particular (desempeño en la prueba de
Dentro de los grupos de edad, también está claro que
matemáticas) comparando aquellos estudiantes en los
los docentes jóvenes tienen una mayor incidencia de
que el resultado es alto (notas altas en la prueba de
ausentismo excesivo cuando imparten clases de
matemáticas) con estudiantes cuyo resultado es bajo
secundaria difíciles que los docentes del mismo grupo
(notas bajas en la prueba de matemáticas). prueba),
de edad (jóvenes) cuando no imparten clases de secundaria difíciles.
después de que se haya producido la variable
Por supuesto, otra verificación aquí sería comparar
independiente.
las tasas de ausentismo de los mismos profesores
Se puede presentar un ejemplo de una investigación
cuando imparten y no imparten clases difíciles.
ex post facto . Se ha observado que el personal de una
escuela secundaria muy grande ha estado ausente los
días en que imparte clases difíciles. Se realizó una
Diseños de grupos de criterios y correlacionales
investigación ex post facto para tratar de establecer las Se pueden identificar dos tipos de diseño en la
causas de esto. Se anotaron las ausencias del personal investigación ex post facto : el estudio correlacional y el
en los días en que impartía clases secundarias difíciles, estudio de grupo de criterios. La primera se denomina a
como se muestra en el diagrama. veces "investigación causal" y la segunda, "investigación
causal-comparativa". Un estudio correlacional (o causal)
Días en que imparte clases de secundaria se ocupa de identificar los antecedentes de una condición
difíciles presente. Como su nombre indica, implica la recopilación
Ausencias Sí No de dos conjuntos de datos, uno de los cuales será
Alto 26 30 retrospectivo, con el fin de determinar la relación entre
Bajo 22 50 ellos. El diseño básico de tal experimento puede
Total 48 80 representarse así:1
Total general: 128
266 INVESTIGACIÓN EX POST FACTO
Si, por ejemplo, un investigador elige un diseño de

XO este tipo para investigar los factores que contribuyen
a la eficacia docente, el grupo de criterio O1 , los
Un estudio de Borkowsky (1970) se basó en este tipo docentes efectivos, y su contraparte O2, un grupo
de diseño. Trató de mostrar una relación entre la que no muestra las características del grupo de
calidad de la formación de pregrado de un profesor criterio, se identifican midiendo los efectos
de música (X) y su posterior eficacia como profesor diferenciales. de los grupos en clases de niños. El
de su materia (O). Las medidas de la calidad de la investigador puede entonces examinar X, alguna
formación universitaria de un profesor de música variable o evento, como los antecedentes, la
pueden incluir las calificaciones en cursos capacitación, las habilidades y la personalidad de los
específicos, el promedio general de calificaciones y grupos, para descubrir qué podría "causar" que solo algunos maestr
las autoevaluaciones, etc. La eficacia del maestro se Se puede considerar que los estudios de grupos
puede evaluar mediante índices de desempeño de de criterios o causales comparativos cierran la
brecha
los alumnos, conocimiento de los alumnos, actitudes de los entrey los
alumnos métodos
juicio de investigación
de expertos, etc.
Se obtuvieron correlaciones entre todas las medidas descriptivos, por un lado, y la verdadera investigación experimental,
para determinar la relación. A lo sumo, este estudio
podría mostrar que existió una relación, después del
Características de la investigación ex post facto En la
hecho, entre la calidad de la preparación docente y
la posterior eficacia docente. investigación ex post facto el investigador toma el
Cuando se encuentra una fuerte relación entre las efecto (o variable dependiente) y examina los datos
variables independientes y dependientes, el retrospectivamente para establecer causas, relaciones
investigador tiene abiertas tres posibles interpretaciones: o asociaciones y sus significados.
Otras características de la investigación ex post
que la variable X ha causado O.
facto se hacen evidentes cuando se contrasta con la
que la variable O ha causado X que
verdadera investigación experimental. Kerlinger
una tercera variable no identificada, y por lo tanto
(1970) describe el modus operandi del investigador experimental.
no medida, ha causado X y O.
('Si x, entonces y' en el uso de Kerlinger (1970).
A menudo ocurre que un investigador no puede decir Hemos sustituido X por x y O por y para encajar con
cuál de estos es correcto. las convenciones de Campbell y Stanley (1963) a lo
El valor de los estudios correlacionales o causales largo del capítulo.) Kerlinger (1970) plantea la
radica principalmente en su carácter exploratorio o hipótesis: si X, luego O; si frustración, entonces
sugerente ya que, como hemos visto, si bien no agresión. Dependiendo de las circunstancias y de
siempre son adecuados en sí mismos para establecer sus propias predilecciones en el diseño de la
relaciones causales entre variables, son un primer investigación, utiliza algún método para manipular X.
paso útil en esta dirección en que dan medidas de Luego observa O para ver si ocurre una variación
asociación. concomitante, la variación esperada o predicha a
En el enfoque de grupo de criterio (o causal- partir de la variación en X. Si lo hace, esto es
comparativo), el investigador se propone descubrir evidencia de la validez de la proposición, XO, que
las posibles causas de un fenómeno que se estudia, significa 'Si X, entonces O'. Tenga en cuenta que el
comparando los sujetos en los que la variable está científico aquí predice de un X controlado a O. Para
presente con sujetos similares en los que está ausente. ayudarlo a lograr el control, puede usar el principio
El diseño básico en este tipo de estudio puede de aleatorización y manipulación activa de X y puede
representarse así: asumir, en igualdad de condiciones, que O varía
como resultado de la manipulación . de X.
O1 En los diseños ex post facto , en cambio, se observa
X O. Luego se produce una búsqueda retrospectiva de X.
O2 Se encuentra una X que es plausible y concuerda con
CARACTERÍSTICAS DE LA INVESTIGACIÓN EX POST FACTO 267
Capítulo
12
la hipótesis. Debido a la falta de control de X y
otras X posibles, la verdad de la relación hipotética
entre X y O no puede afirmarse con la confianza
del investigador experimental.
ser su causa: la clásica falacia post hoc, ergo
propter hoc.2 Se pasa por alto el hecho de que
incluso cuando encontramos una relación entre
dos variables, debemos reconocer la posibilidad
de que ambas sean resultados individuales de un
Básicamente, entonces, las investigaciones ex post
facto tienen, por así decirlo, una debilidad tercer factor común en lugar de la relación entre
incorporada: la falta de control de la variable o dos variables. la primera es necesariamente la
variables independientes. Como sugiere Spector causa de la segunda. Como hemos visto
(1993: 43), es imposible aislar y controlar todas anteriormente, también existe la posibilidad real
las variables posibles, o saber con absoluta de causalidad inversa, por ejemplo, que una
certeza cuáles son las variables más cruciales. afección cardíaca promueva la obesidad y no al
Esta breve comparación destaca la diferencia revés, o que se alienten entre sí. El punto es que
más importante entre los dos diseños: el control. la evidencia simplemente ilustra la hipótesis; no
En la situación experimental, los investigadores lo prueba, ya que las hipótesis no pueden probarse
al menos tienen control manipulativo; tienen como con los mismos datos de los que se derivaron. La
mínimo una variable activa. Si un experimento es relación señalada puede existir realmente, pero
un experimento 'verdadero', también pueden no es necesariamente la única relación, o quizás
ejercer el control mediante la aleatorización. la crucial. Antes de que podamos aceptar que
Pueden asignar sujetos a grupos al azar; o, por lo fumar es la causa principal del cáncer de pulmón, debemos descar
menos, pueden asignar tratamientos a grupos al azar. Además, un investigador puede descubrir que
En la situación de investigación ex post facto , este mirar televisión se correlaciona con un rendimiento
control de la variable independiente no es posible escolar deficiente. Ahora bien, es posible que aquí
haya un efecto causal: ver televisión provoca un
y, quizás más importante, tampoco lo es la aleatorización.
Los investigadores deben tomar las cosas como bajo rendimiento escolar; o puede haber una
son y tratar de desenredarlas, aunque dicho esto, causalidad inversa: el bajo rendimiento escolar
pueden hacer uso de procedimientos seleccionados hace que los estudiantes vean más televisión. Sin
que les darán un elemento de control en esta embargo, puede haber una tercera explicación: a
investigación. A estos nos referiremos en breve. los estudiantes que, por cualquier motivo (p. ej.,
Por su propia naturaleza, los experimentos ex capacidad, motivación), no les va bien en la
post facto pueden respaldar cualquier cantidad escuela, también les gusta ver la televisión; puede
de hipótesis diferentes, quizás incluso ser la tercera variable (la variable independiente
contradictorias; son tan completamente flexibles de habilidad o motivación) la que está causando
que se trata en gran medida de postular hipótesis los otros dos resultados (ver mucha televisión o bajo rendimiento
de acuerdo con las preferencias personales. El No debemos concluir de lo que se acaba de
investigador parte de ciertos datos y busca una decir que los estudios ex post facto son de poco
interpretación acorde con ellos; a menudo, sin valor; muchas de nuestras importantes
embargo, pueden estar disponibles varias investigaciones en educación y psicología son
interpretaciones. Consideremos nuevamente el diseños ex post facto . A menudo no hay elección
aumento hipotético de los accidentes de tránsito en el asunto: un investigador no puede hacer que
en una ciudad determinada. Una búsqueda retrospectiva unde grupo se convierta
las causas revelaráen media
un fracaso,
docena delincuente,
de posibles. suicida, con dañ
Los estudios experimentales, por el contrario, La investigación debe necesariamente apoyarse en los grupos existentes.
comienzan con una interpretación específica y Por otro lado, la incapacidad de los diseños ex
luego determinan si es congruente con los datos post facto para incorporar la necesidad básica de
derivados externamente. Con frecuencia, las control (por ejemplo, a través de la manipulación
relaciones causales parecen establecerse sobre o la aleatorización) los hace vulnerables desde un
nada más sustancial que la premisa de que se punto de vista científico y debe reconocerse
asume cualquier evento relacionado que ocurra antes delclaramente
fenómeno la en
posibilidad
estudio. de que sean engañosos. Ex post facto
Los diseños probablemente se conciban mejor de el enfoque experimental no es posible. En el caso

manera más circunspecta, no como experimentos con de la supuesta relación entre fumar y el cáncer de
la mayor certeza que estos denotan, sino más bien pulmón, por ejemplo, esto no puede probarse
como encuestas, útiles como fuentes de hipótesis para experimentalmente (al menos en lo que respecta a
ser probadas por medios experimentales más convencionales enlos
unaseres humanos).
fecha posterior.
El método proporciona información útil sobre la
Ocasiones cuando sea apropiado naturaleza de los fenómenos: qué ocurre con qué y
en qué condiciones. De esta manera, la investigación
Los diseños ex post facto son apropiados en ex post facto es una valiosa herramienta exploratoria.
circunstancias donde el método experimental más
poderoso no es posible. Estos surgen cuando, por Las mejoras en las técnicas estadísticas y la
ejemplo, no es posible seleccionar, controlar y metodología general han hecho que los diseños ex
manipular los factores necesarios para estudiar post facto sean más defendibles.
directamente las relaciones de causa y efecto; o cuando De alguna manera y en ciertas situaciones, el
el control de todas las variables excepto una sola método es más útil que el método experimental,
variable independiente puede ser poco realista y especialmente cuando el establecimiento de este
artificial, impidiendo la interacción normal con otras último introduciría una nota de artificialidad en los
variables influyentes; o cuando los controles de procedimientos de investigación.
laboratorio para muchos propósitos de investigación La investigación ex post facto es particularmente
serían poco prácticos, costosos o éticamente indeseables. apropiada cuando se exploran relaciones simples
La investigación ex post facto es particularmente de causa y efecto.
adecuada en contextos sociales, educativos y, en El método puede dar un sentido de dirección y
menor medida, psicológicos, donde la variable o proporcionar una fuente fructífera de hipótesis que
variables independientes se encuentran fuera del posteriormente pueden ser probadas por el método
control del investigador. Abundan los ejemplos del experimental más riguroso.
método en estas áreas: la investigación sobre el
tabaquismo y el cáncer de pulmón, por ejemplo; o Entre las limitaciones y debilidades de los diseños ex
estudios de características docentes; o estudios que post facto se pueden mencionar las siguientes:
examinen la relación entre la afiliación y las actitudes
políticas y religiosas; o investigaciones sobre la relación Existe el problema de la falta de control en el
entre el rendimiento escolar y variables independientes sentido de que el investigador no puede manipular
como la clase social, la raza, el sexo y la inteligencia. la variable independiente o aleatorizar a sus sujetos.
Muchos de estos pueden dividirse en estudios ex post
facto a gran o pequeña escala , por ejemplo, el estudio No se puede saber con certeza si el factor causal
a gran escala de Stables (1990) sobre las diferencias ha sido incluido o incluso identificado.
entre estudiantes de escuelas mixtas y de un solo sexo
y Arnold y Atkins (1991) estudio a pequeña escala del Puede ser que ningún factor único sea la causa.
ajuste social y emocional de los estudiantes con Un resultado particular puede resultar de diferentes
discapacidad auditiva. causas en diferentes ocasiones.
Cuando se ha descubierto una relación, se plantea
Ventajas y desventajas de la investigación el problema de decidir cuál es la causa y cuál el
ex post facto efecto; debe considerarse la posibilidad de
causalidad inversa.
Entre las ventajas del enfoque se encuentran las
La relación de dos factores no establece causa y
siguientes: efecto.
La investigación ex post facto satisface una necesidad La clasificación en grupos dicotómicos puede ser
importante del investigador donde cuanto más riguroso problemática.
DISEÑO DE UNA INVESTIGACIÓN EX POST FACTO 269
Capítulo
12
Está la dificultad de interpretación y el peligro de
que se haga la suposición post-hoc, es decir, creer
que porque X precede a O, X causa O.
A menudo basa sus conclusiones en una muestra o

escuela secundaria en la que se supone que la baja
moral del personal (O) se ha producido como resultado
directo de la reorganización unos dos años antes, digamos.
Se pueden identificar fácilmente una serie de factores
clave que distinguen a la nueva organización de la
número de ocurrencias demasiado limitado. anterior. Colectivamente, estos podrían representar o
Frecuentemente falla en señalar el factor o factores contener la variable independiente X y los datos sobre
realmente significativos, y falla en reconocer que ellos podrían acumularse retrospectivamente.
los eventos tienen causas múltiples en lugar de Podrían incluir, por ejemplo, la introducción de
únicas. habilidades mixtas y la enseñanza en equipo, la
Como método, algunos lo consideran demasiado innovación curricular, la pérdida del estatus docente, la
flexible. disminución de la motivación de los estudiantes, las
Carece de nulidad y confirmación. modificaciones en el área de influencia de la escuela o
El tamaño de la muestra podría reducirse el nombramiento de un nuevo director. Éstos podrían
enormemente con múltiples coincidencias (Spector 1993:entonces
43). cotejarse con una medida de las actitudes
dominantes de los profesores (O), proporcionando así
al investigador algunas pistas al menos sobre las posibles causas del des
Diseño de una investigación ex post facto
El segundo modelo, el causal-comparativo, puede
Anteriormente nos referimos a los dos diseños básicos representarse esquemáticamente como se muestra.
adoptados por la investigación ex post facto : el modelo
corelacional (o causal) y el modelo de grupo de criterios Grupo Variable independiente Variable dependiente
(o causal-comparativo). Como vimos, el modelo causal mi X O1
intenta identificar el antecedente de una condición ----------------------
presente y puede representarse así: C O2
Usando este modelo, el investigador plantea la hipótesis

Variable independiente Variable dependiente de la variable independiente y luego compara dos
X O
grupos, un grupo experimental (E) que ha estado
expuesto a la supuesta variable independiente X y un
Aunque no se puede decir con confianza que una grupo de control (C) que no lo ha hecho. (La línea
variable en un estudio ex post facto depende de la otra discontinua en el modelo muestra que los grupos de
como sería el caso en una investigación verdaderamente comparación E y C no se equiparan mediante asignación
experimental, es habitual designar a una de las variables aleatoria). Alternativamente, el investigador puede
como independiente (X) y a la otra como dependiente examinar dos grupos que son diferentes en alguna
( O). La dimensión de izquierda a derecha indica el forma y luego tratar de explicar la diferencia o diferencias
orden temporal, aunque una vez establecido esto, no investigando posibles antecedentes. Estos dos ejemplos
debemos pasar por alto la posibilidad de una causalidad reflejan dos tipos de enfoque de la investigación causal
inversa. comparativa: el tipo de 'causa a efecto' y el tipo de
En una investigación típica de este tipo, entonces, 'efecto a causa'.
se reunirán dos conjuntos de datos relacionados con
las variables independiente y dependiente, respectivamente. El diseño básico de las investigaciones causales-
Como se indicó anteriormente en el capítulo, los datos comparativas es similar a un estudio diseñado
sobre la variable independiente (X) serán de carácter experimentalmente. La principal diferencia reside en la
retrospectivo y, como tales, serán propensos a los tipos naturaleza de la variable independiente, X. En una
de debilidad, limitaciones y distorsiones a los que está situación verdaderamente experimental, ésta estará
sujeta toda evidencia histórica. Traduzcamos ahora el bajo el control del investigador y, por lo tanto, puede
diseño a una situación hipotética. Imagina un describirse como manipulable. En el modelo causal-comparativo
(y también el modelo causal), sin embargo, la causal-comparativo. Ary et al. (1972) indican que los
variable independiente está fuera de su control, ya diseños de pares emparejados (ver Capítulo 13)
que ha ocurrido. Por lo tanto, puede describirse en tienen cuidado de emparejar a los participantes en
este diseño como no manipulable. características importantes y relevantes que pueden
tener relación con la investigación.
Sin embargo, existen dificultades con este
Procedimientos en la investigación ex post
procedimiento porque supone que el investigador
facto La investigación ex post facto se ocupa de sabe cuáles son los factores relevantes, es decir, los
descubrir las relaciones entre las variables en los factores que pueden estar relacionados con la variable dependiente.
datos propios; y hemos visto cómo se puede lograr Además, existe la posibilidad de perder aquellos
esto utilizando un modelo causal o causal- sujetos que no se pueden emparejar, reduciendo así
comparativo. Ahora examinamos los pasos la muestra.
Como
involucrados en la implementación de una investigación ex post procedimiento
facto . alternativo para introducir
Podemos comenzar identificando el área del problema un grado de control en la investigación ex post facto ,
a investigar. A esta etapa le seguirá un enunciado Ary y sus colegas (1972) sugieren incorporar las
claro y preciso de la hipótesis a contrastar o de las variables independientes extrañas en el diseño y
preguntas a responder. El siguiente paso será hacer luego usar una técnica de análisis de varianza. Por
explícitos los supuestos en los que se basarán las ejemplo, si la inteligencia es una variable extraña
hipótesis y los procedimientos posteriores. A relevante, pero no es posible controlarla a través de
continuación se hará una revisión de la literatura de emparejamiento u otros medios, entonces podría
investigación. Esto permitirá al investigador agregarse a la investigación como otra variable
determinar los tipos de cuestiones, problemas, independiente, clasificando a los participantes en
obstáculos y hallazgos revelados por estudios términos de niveles de inteligencia. A través de
previos en el área. Luego seguirá la planificación de técnicas de análisis de varianza, se analizarían las
la investigación propiamente dicha, que constará de medidas de la variable dependiente y esto revelaría
tres grandes etapas: identificación de la población y los efectos principales y de interacción de la
muestras; la selección y construcción de técnicas de inteligencia, indicando cualquier diferencia
recolección de datos; y el establecimiento de estadísticamente significativa entre los grupos en la
categorías para clasificar los datos. La etapa final variable dependiente, aunque no podría existir una
implicará la descripción, análisis e interpretación de relación causal entre la inteligencia y la variable
los resultados. dependiente. ser asumido
Se señaló anteriormente que la principal debilidad Otro procedimiento más que puede adoptarse
de la investigación ex post facto es la ausencia de para introducir una medida de control en el diseño ex
control sobre la variable independiente que influye post facto es el de seleccionar muestras que sean lo
en la variable dependiente en el caso de los diseños más homogéneas posible en una variable dada.
causales o que afecta las diferencias observadas Por ejemplo, Ary et al. (1972) sugieren que si la
entre las variables dependientes en el caso de los diseñosinteligencia fuera una variable extraña relevante, sus
causales-comparativos.
Aunque a los investigadores ex post facto se les niega efectos podrían controlarse al incluir participantes
no sólo este tipo de control, sino también el principio de un solo nivel de inteligencia.
de la aleatorización, pueden utilizar procedimientos Esto separaría la variable independiente de otras
que proporcionen alguna medida de control en su variables con las que se asocia comúnmente, de
investigación; es a algunos de estos a los que modo que cualquier efecto encontrado podría
ahora gira asociarse justificadamente con la variable
Uno de los medios más comunes de introducir el independiente.
control en este tipo de investigación es emparejar a Finalmente, el control puede introducirse en una
los sujetos en los grupos experimentales y de control investigación ex post facto estableciendo y probando
donde el diseño es cualquier hipótesis alternativa que pueda ser plausible.
PROCEDIMIENTOS EN LA INVESTIGACIÓN EX POST FACTO 271
Capítulo
12
explicaciones de los resultados empíricos del estudio. Por
lo tanto, un investigador debe cuidarse de aceptar la
primera explicación probable de las relaciones en un
estudio ex post facto como necesariamente la única o la
final. Un caso bien conocido al que ya se ha hecho
la explicación de que fumar causa cáncer de pulmón.
Las empresas tabacaleras, sin embargo, han presentado
una hipótesis alternativa: que tanto el tabaquismo como
el cáncer de pulmón son posiblemente el resultado de un
tercer factor, aún no especificado, es decir, la posibilidad
referencia es la supuesta relación entre el tabaquismo y el de que tanto las variables independientes como las
cáncer de pulmón. Los funcionarios de salud se dependientes sean simplemente dos resultados separados
apresuraron a aprovechar de un solo factor. La causa común no puede ser ignorada.
13 Experimentos, cuasi-experimentos,
investigación de caso único y metanálisis
Introducción efecto de ese cambio en otra variable, llamada

variable dependiente. Utilizando un diseño fijo, la
El tema de la causalidad y, por lo tanto, de la
investigación experimental puede ser confirmatoria,
previsibilidad ha ocupado considerablemente las
buscando apoyar o no una hipótesis nula, o
mentes de los investigadores (Smith 1991: 177).
exploratoria, descubriendo los efectos de ciertas
Una respuesta ha estado en la operación de
variables. Una variable independiente es la
control, y encuentra su apoteosis en el diseño
variable de entrada, mientras que la variable
experimental. Si las causas o explicaciones rivales
dependiente es la variable de resultado: el
pueden eliminarse de un estudio, entonces se
resultado; por ejemplo, Kgaile y Morrison (2006)
puede establecer una causalidad clara; el modelo
señalan siete variables independientes que tienen
puede explicar los resultados. Smith (1991: 177)
efecto sobre el resultado (la efectividad de la escuela) (Cuadro 1
reclama el terreno elevado para el enfoque
En un experimento, la prueba posterior mide la
experimental, argumentando que es el único
variable dependiente y las variables independientes
método que se ocupa directamente de la
causalidad; esto, claramente es discutible, como aclaramos se aíslan y controlan
en la Parte Trescuidadosamente.
de este libro.
Imagine que hemos sido transportados a un
En el Capítulo 12, describimos la investigación
laboratorio para investigar las propiedades de un
ex post facto como una experimentación a la nuevo fertilizante maravilloso que los agricultores
inversa en la que los estudios ex post facto
podrían usar en sus cultivos de cereales, digamos
comienzan con grupos que ya son diferentes con
trigo (Morrison 1993: 44-5). El científico tomaría la
respecto a ciertas características y luego proceden
bolsa de semillas de trigo y la dividiría al azar en dos partes igua
a buscar, en retrospectiva, los factores que
Una parte se cultivaría en condiciones normales
provocaron esas diferencias. Luego pasamos a existentes: cantidades controladas y medidas de
citar la descripción de Kerlinger del enfoque del investigador experimental:
suelo, calor, agua y luz y ningún otro factor. Esto
Si x, entonces y; si frustración, entonces agresión . . . el se llamaría el grupo de control.
investigador usa algún método para medir x y luego La otra parte se cultivaría en las mismas
condiciones: las mismas cantidades controladas
observa y para ver si se produce una variación concomitante.
(Kerlinger 1970) y medidas de tierra, calor, agua y luz que el grupo
de control, pero, además, el nuevo fertilizante
La característica esencial de la investigación maravilloso. Luego, cuatro meses después, se
experimental es que los investigadores controlan examinan los dos grupos y se mide su crecimiento.
y manipulan deliberadamente las condiciones que El grupo de control ha crecido medio metro y
determinan los eventos en los que están cada mazorca de trigo está en su lugar pero las
interesados, introducen una intervención y miden semillas son pequeñas. El grupo experimental,
la diferencia que produce. Un experimento implica por el contrario, también ha crecido medio metro
hacer un cambio en el valor de una variable, pero tiene significativamente más semillas en
llamada variable independiente, y observar el cada mazorca, las semillas son más grandes, más llenas y más r
INTRODUCCIÓN 273
Recuadro 13.1
Variables independientes y dependientes Capítulo

13
Padres Enseñanza
La planificación y y
del desarrollo
comunidad aprendizaje
Escuela
Eficacia
Índice
Profesional Cultura y
administración Liderazgo
climatizado
desarrollo
Fuente: Kgaile y Morrison 2006
El científico concluye que, debido a que ambos grupos manteniendo todas las demás variables constantes para el
entraron en contacto con nada más que cantidades dos grupos
medidas de suelo, calor, agua y luz, entonces no pudo la medición final del rendimiento y el crecimiento para
haber sido otra cosa que el nuevo fertilizante maravilloso comparar los grupos de control y experimentales y
lo que hizo que el grupo experimental floreciera tan bien. observar las diferencias con los resultados de la
prueba previa (la prueba posterior) la comparación de
Los factores clave en el experimento fueron los siguientes: un grupo con otro la etapa de generalización: que este
nuevo fertilizante maravilloso mejora el rendimiento y
crecimiento bajo un conjunto dado de condiciones.
la asignación aleatoria de la bolsa entera de trigo en
dos grupos emparejados (el grupo de control y el
experimental), que implica la medición inicial del Este modelo, basado en nociones de aislamiento y control
tamaño del trigo para garantizar que sea el mismo para de variables para establecer la causalidad, puede ser
ambos grupos (es decir, la prueba previa) la apropiado para un laboratorio, aunque, de hecho, una
identificación de variables clave (suelo, calor, agua y situación social podría convertirse alguna vez en el mundo
luz) el control de las variables clave (las mismas artificial y antiséptico del laboratorio o debería convertirse
cantidades para cada grupo) la exclusión de cualquier en tal. mundo es una cuestión tanto empírica como moral,
otra variable el tratamiento especial (la intervención) respectivamente.
al grupo experimental mientras Además, los dilemas éticos de tratar a los humanos como
manipulables, controlables e inanimados son considerables
(ver Capítulo 2). Sin embargo, persigamos más el modelo
experimental.
274 EXPERIMENTOS Y META-ANÁLISIS
Con frecuencia, en los experimentos de aprendizaje que un experimento doble ciego, e incluso es posible no
en el aula, la variable independiente es un estímulo de decirles a los participantes que están en un experimento
algún tipo, un nuevo método de cálculo aritmético, por en absoluto, o decirles que el experimento se trata de X
ejemplo, y la variable dependiente es una respuesta, el cuando, de hecho, se trata de Y, es decir, "desanimarlos".
tiempo que se tarda en hacer veinte sumas usando el el perfume'.
nuevo método. Sin embargo, la mayoría de los estudios Esta forma de engaño necesita ser justificada; una
empíricos en entornos educativos son cuasi justificación común es que permite realizar el
experimentales más que experimentales. La diferencia experimento en condiciones más naturales, sin que los
más importante entre el cuasi experimento y el verdadero participantes alteren su comportamiento cotidiano.
experimento es que, en el primer caso, el investigador
emprende su estudio con grupos intactos, es decir, los
grupos han sido constituidos por medios distintos a la
selección aleatoria. En este capítulo identificamos las
Diseños en experimentación educativa
características esenciales de los verdaderos diseños Hay varios tipos diferentes de diseño experimental, por
experimentales y cuasi-experimentales, siendo nuestra ejemplo: el experimento controlado en condiciones de
intención introducir al lector en el significado y propósito
laboratorio (el experimento 'verdadero'): dos o más
del control en la experimentación educativa.
grupos
el campo o cuasi-experimento en el entorno natural
En los experimentos, los investigadores pueden
en lugar del laboratorio, pero donde las variables se
permanecer relativamente distantes de los participantes,
aíslan, controlan y manipulan. el experimento natural
aportando un grado de objetividad a la investigación (Robson 2002: 98).
en el que no es posible aislar y controlar variables.
Los efectos del observador pueden distorsionar el
experimento, por ejemplo, los investigadores pueden
registrar de manera inconsistente, imprecisa o selectiva
o, de manera menos consciente, pueden tener un efecto en elLos
experimento.
consideramos en este capítulo (ver http://
Además, los efectos de los participantes pueden www.routledge.com/textbooks/9780415368780 – Capítulo
distorsionar el experimento (ver la discusión del efecto 13, archivo 13.1. ppt). El experimento de laboratorio (el
Hawthorne en el Capítulo 6); el simple hecho de estar en verdadero experimento clásico) se lleva a cabo en un
un experimento, en lugar de lo que está haciendo el entorno artificial especialmente diseñado, de modo que
experimento, podría ser suficiente para alterar el las variables puedan aislarse, controlarse y manipularse
comportamiento de los participantes. (como en el ejemplo de las semillas de trigo de arriba).
En los experimentos médicos, estas preocupaciones El experimento de campo es similar al experimento de
gemelas se abordan dando placebos a ciertos laboratorio en que las variables se aíslan, controlan y
participantes, para monitorear cualquier cambio, y los manipulan, pero el escenario es el mundo real en lugar
experimentos son ciegos o doble ciego. En los del mundo artificialmente construido del laboratorio.
experimentos ciegos, a los participantes no se les dice
si están en un grupo de control o en un grupo A veces no es posible, deseable o ético montar un
experimental, aunque el investigador sabe cuál es. En laboratorio o un experimento de campo.
un experimento doble ciego, ni siquiera el investigador Por ejemplo, imaginemos que quisiéramos investigar
sabe si un participante tiene el control del grupo los efectos traumáticos en las personas en accidentes
experimental; ese conocimiento reside en un tercero. de tránsito. No podíamos exigir que un participante
Estos están destinados a reducir los efectos sutiles de corriera debajo de un autobús, que otro se interpusiera
que los participantes sepan si están en un grupo de en el camino de un camión en movimiento, que otro
control o experimental. En la investigación educativa es fuera atropellado por una motocicleta, etc. En su lugar,
más fácil realizar un experimento a ciegas que podríamos examinar los registros hospitalarios para ver
los efectos traumáticos de las víctimas de accidentes de autobús, accide
VERDADEROS DISEÑOS EXPERIMENTALES 275
Capítulo
13
accidentes de motocicleta y ver qué grupo parece haber
sufrido los mayores traumas. Puede ser que las víctimas
de accidentes de camiones hayan tenido el mayor
traumatismo, seguidas de las víctimas de motocicletas,
el post-test diseño de dos grupos experimentales el
pretest-post-test diseño de dos tratamientos el
diseño de pares emparejados el diseño factorial el
diseño paramétrico los diseños de medidas repetidas.
seguidas de las víctimas de autobuses. Ahora, aunque no
es posible decir con 100 por ciento de certeza qué causó
el trauma, uno podría suponer inteligentemente que los
El experimento de laboratorio generalmente tiene que
involucrados en accidentes de camiones sufren las peores
identificar y controlar una gran cantidad de variables, y
lesiones. Aquí observamos los resultados y trabajamos
esto puede no ser posible. Además, el ambiente del
hacia atrás para examinar las posibles causas. No podemos
laboratorio en sí mismo puede tener un efecto sobre el
aislar, controlar o manipular variables, pero sin embargo
experimento, o puede tomar algún tiempo para que una
podemos llegar a algunas conclusiones probables y
defendibles. intervención en particular manifieste sus efectos (por
ejemplo, una intervención de lectura en particular puede
En el esquema de diseños de investigación que sigue,
tener poco efecto inmediato pero puede tener un efecto
usamos símbolos y convenciones de Campbell y Stanley
retardado en promover el gusto por la lectura). lectura en
(1963):
la vida adulta, o puede tener un efecto acumulativo a lo largo del tiempo).
X representa la exposición de un grupo a una variable Un experimento 'verdadero' incluye varias características
o evento experimental, cuyos efectos se van a medir. clave:
uno o más grupos de control

O se refiere al proceso de observación o
medición. uno o más grupos experimentales
asignación aleatoria a control y experimental
Xs y Os en una fila dada se aplican a las mismas
grupos
personas.
prueba previa de los grupos para asegurar
El orden de izquierda a derecha indica secuencia temporal.
Xs y Os verticales entre sí son simultáneos. la paridad prueba posterior de los grupos para ver los
efectos sobre la variable dependiente una o más
intervenciones al grupo o grupos experimentales
R indica asignación aleatoria a grupos de tratamiento
aislamiento, control y manipulación de las variables
separados.
independientes no contaminación entre los grupos
Las filas paralelas no separadas por guiones
control y experimental .
representan grupos de comparación equiparados por
aleatorización, mientras que las separadas por una
línea discontinua representan grupos no equiparados
por asignación aleatoria. Si un experimento no posee todas estas características,
entonces es un cuasi-experimento: puede parecer que es
Verdaderos diseños experimentales un experimento ('cuasi' significa 'como si') pero no es un
verdadero experimento, solo una variante de él. .
Hay varias variantes del diseño experimental 'verdadero',
Una alternativa al experimento de laboratorio es el cuasi-
y consideramos muchas de ellas a continuación (ver http://
experimento o experimento de campo, que incluye:
www.routledge.com/textbooks/ 9780415368780 – Capítulo
13, archivo 13.2. ppt):
el pretest-postest de un grupo el
el diseño de grupo control y experimental pretest-
diseño de grupo de control no equivalente el
postest los dos grupos de control y un grupo
diseño de series de tiempo.
experimental el diseño de grupo control y experimental
pretest-postest el diseño de grupo experimental y Los consideramos a continuación. Los experimentos de
control postest campo tienen menos control sobre las condiciones
experimentales o las variables extrañas que un experimento de laboratorio.
y, por lo tanto, inferir causalidad es más discutible, pero Recuadro 13.2
tienen el atractivo de tener lugar en un entorno natural. Las Los efectos de la aleatorización
variables extrañas pueden incluir, por ejemplo:
Selecciona veinte cartas de un paquete, diez rojas y diez negras.
Baraja y reparte en dos montones de diez cartas. Ahora
factores de los participantes: pueden diferir en cuente el número de cartas rojas y negras en cada pila y
características importantes entre los grupos de control registre los resultados. Repita la secuencia completa muchas
veces, registrando los resultados cada vez.
y experimental factores de intervención: la intervención
Pronto se convencerá de que la distribución más
puede no ser exactamente la misma para todos los probable de rojos y negros en una pila es cinco en cada uno:
participantes, variando, por ejemplo, en secuencia, la siguiente más probable, seis rojos (o negros) y cuatro
duración, grado de intervención y asistencia, y otras negros (o rojos); y así. Tendrás suerte (¡o mala suerte para
prácticas y contenidos factores situacionales: las los propósitos de la demostración!) si consigues una pila de
cartas rojas y la otra enteramente de cartas negras. La
condiciones experimentales pueden diferir.
probabilidad de que esto suceda es de 1 en 92.378. Por otro
lado, la probabilidad de obtener una 'mezcla' de no más de
seis de un color y cuatro del otro es de 82 entre 100.
Si ahora imagina que las tarjetas rojas representan a
Estos pueden conducir a un error experimental, en el que los diez niños "mejores" y las tarjetas negras a los diez niños
los resultados pueden no deberse a las variables "más pobres" en una clase de veinte, concluirá que la
independientes en cuestión. operación de las leyes del azar por sí sola casi probablemente
le dará 'mezclas' equivalentes cercanas de niños 'mejores' y
'más pobres' en los grupos experimental y de control.
El control pretest-postest y el diseño de

grupos experimentales
Fuente: adaptado de Pilliner 1973
Una exposición completa de los diseños experimentales

está más allá del alcance de este capítulo. En el breve
resumen que sigue, hemos seleccionado un diseño del
la aleatorización incluso con un pequeño número de sujetos
tratamiento integral del tema por Campbell y Stanley (1963)
se ilustra bien en el Cuadro 13.2.
para identificar las características esenciales de lo que ellos
La aleatorización, entonces, asegura la mayor probabilidad
denominan un "experimental verdadero" y lo que Kerlinger
de equivalencia, es decir, la distribución entre los grupos
(1970) ) se refiere como un "buen" diseño. Junto con sus
experimental y de control de cualquier otro factor o
variantes, el diseño elegido es de uso común en la
característica de los sujetos que posiblemente pueda afectar
experimentación educativa (ver http://www.routledge.com/
las variables experimentales en las que está interesado el
textbooks/ 9780415368780 – Capítulo 13, archivo 13.3. ppt).
investigador. Si los grupos se hacen equivalentes, los
llamados efectos de "enturbiamiento" deberían estar
presentes en ambos grupos.
El diseño del grupo de control pretest-postest se puede
representar como:
Tan fuerte es este verdadero diseño experimental simple
Experimental RO1 X O2 y elegante, que todas las amenazas a la validez interna

Control RO3 O4 identificadas en el Capítulo 6 están, según Campbell y
Stanley (1963), controladas en el diseño de grupo de control
Kerlinger (1970) observa que, en teoría, la asignación
pretest-postest. El efecto causal de una intervención se
aleatoria a las condiciones E y C controla todas las variables puede calcular en tres pasos:
independientes posibles. En la práctica, por supuesto, solo
cuando se incluyen suficientes sujetos en el experimento,
el principio de aleatorización tiene la oportunidad de operar 1 Reste la puntuación previa a la prueba de la puntuación
como un poderoso control. Sin embargo, los efectos de posterior a la prueba del grupo experimental para
obtener la puntuación 1.
Capítulo
13
2 Reste la puntuación previa a la prueba de la puntuación controles ha llevado a afirmaciones muy cuestionables
sobre
posterior a la prueba del grupo de control para obtener la puntuación
3 Resta la puntuación 2 de la puntuación 1.
2. el éxito de los programas (Boruch 1997: 69). Pueden
verse ejemplos del uso de ECA en Maynard y Chalmers
(1997).
Utilizando la terminología de Campbell y Stanley, el efecto El ensayo controlado aleatorio es el 'estándar de oro'
de la intervención experimental es: de muchos investigadores educativos, ya que pretende
establecer la capacidad de control, la causalidad y la
(O2 ÿ RO1) ÿ (O4 ÿ RO3) generalización (Coe et al. 2000; Curriculum, Evaluation and
Management Center 2000). Se discute hasta qué punto
Si el resultado es negativo, entonces el efecto causal fue esto es cierto (Morrison 2001b).
negativo. Por ejemplo, la teoría de la complejidad reemplaza la
Un problema que se ha identificado con este diseño causalidad simple con énfasis en redes, vínculos, holismo,
experimental en particular es el efecto de interacción de retroalimentación, relaciones e interactividad en contexto
las pruebas. Good (1963) explica que mientras que las (Cohen y Stewart 1995), emergencia, sistemas dinámicos,
diversas amenazas a la validez de los experimentos autoorganización y un sistema abierto (en lugar del mundo
enumerados en el Capítulo 6 pueden considerarse efectos cerrado). del laboratorio experimental). Incluso si
principales, que se manifiestan en diferencias medias pudiéramos realizar un experimento, su aplicabilidad a
independientemente de la presencia de otras variables, los situaciones en curso, emergentes, interactivas, relacionales,
efectos de interacción, como su nombre lo indica, son cambiantes y abiertas, en la práctica, puede ser limitada
efectos conjuntos y puede ocurrir incluso cuando no hay (Morrison 2001b). Es erróneo mantener constantes las
efectos principales presentes. Por ejemplo, un efecto de variables en una situación dinámica, cambiante, fluida y
interacción puede ocurrir como resultado de la medida abierta.
previa a la prueba que sensibiliza a los sujetos a la variable
experimental.1 Los efectos de interacción pueden Además, el laboratorio es un mundo ideado, irreal y
controlarse agregando al diseño del grupo de control artificial. Las escuelas y las aulas no son el mundo
posterior a la prueba previa a la prueba dos grupos más antiséptico, reduccionista, analizado o analizable del
que no experimentan la prueba previa. medidas. laboratorio.
El resultado es un diseño de cuatro grupos, como sugiere De hecho, la conceptualización sucesionista de la
´
Solomon (1949) a continuación. Más adelante en el capítulo, causalidad (Harre 1972), en la que los investigadores hacen
describimos un estudio educativo que incorporó un diseño inferencias sobre la causalidad sobre la base de la
de grupo de prueba previa y posterior a la prueba y un observación, debe admitir sus limitaciones. No se pueden
grupo de control adicional para tener en cuenta la inferir causas a partir de efectos o múltiples causas a partir
posibilidad de sensibilización previa a la prueba. de múltiples efectos. La generalización del laboratorio al
La aleatorización, explica Smith (1991: 215), produce aula es peligrosa, pero con los experimentos de campo,
equivalencia sobre una amplia gama de variables, mientras con su pérdida de control de las variables, la generalización
que el emparejamiento produce equivalencia sobre sólo puede ser igualmente peligrosa.
unas pocas variables nombradas. El uso de ensayos
controlados aleatorios (ECA), un método utilizado en Los métodos experimentales clásicos, que obedecen a
medicina, es una forma putativa de establecer la causalidad la necesidad de replicabilidad y previsibilidad, pueden no
y la generalización (aunque, en medicina, el tamaño de la ser particularmente fructíferos ya que, en fenómenos
muestra para algunos ECA es necesariamente muy complejos, los resultados nunca son claramente replicables
pequeño, ya que hay un número limitado de pacientes con o predecibles: nunca nos bañamos dos veces en el mismo
una queja particular). – que la aleatorización está seriamente río. En el pensamiento lineal, las causas pequeñas traen
comprometida). efectos pequeños y las causas grandes traen efectos
Boruch (1997) brinda una poderosa defensa de los ECA grandes, pero en la teoría de la complejidad las causas
para la planificación y la evaluación. De hecho, argumenta pequeñas pueden traer efectos grandes y las causas
que el problema de la mala grandes pueden tener poco o ningún efecto. Además, para atomizar los fenóm
y luego centrarse solo en algunos de estos es perder http://www.routledge.com/textbooks/

la sinergia y el espíritu del todo. 9780415368780 – Capítulo 13, archivo 13.4. ppt).
La medición, por aguda que sea, puede decirnos
poco acerca de un fenómeno; Puedo medir cada
El control post-test y el diseño de grupos
variable física de una persona, pero la naturaleza de
experimentales
la persona, lo que hace que esa persona sea quien
es, elude la atomización y la medición. Los ensayos Aquí, los participantes se asignan aleatoriamente a
controlados aleatorios pertenecen a una visión un grupo de control y a un grupo experimental, pero
desacreditada de la ciencia como positivismo. no hay una prueba previa. El grupo experimental
Aunque abordamos las preocupaciones éticas en recibe la intervención y los dos grupos reciben solo
el Capítulo 2, es importante señalar aquí la reserva una prueba posterior (ver http://www.routledge.com/
común que se expresa sobre el experimento de dos textbooks/9780415368780 – Capítulo 13, archivo
grupos (por ejemplo, Gorard 2001: 146), que es 13.5. ppt). El diseño es:
cuestionar qué tan ético es negarle a un grupo de Experimental R1 X O1
control el acceso a un tratamiento o intervención Control R2 O2
para adaptarse al investigador (a lo que el
contraargumento es, como en medicina, que el El post-test diseño de dos grupos experimentales
investigador no sabe si la intervención (por ejemplo,
el nuevo fármaco) funcionará o si traerá resultados
Aquí los participantes se asignan aleatoriamente a
perjudiciales y, de hecho, el propósito del
cada uno de los dos grupos experimentales. El
experimento es descubrir esto).
grupo experimental 1 recibe la intervención 1 y el
grupo experimental 2 recibe la intervención 2. Solo
Los dos grupos de control y un grupo se realizan pruebas posteriores en los dos grupos
experimental diseño pretest-postest (ver http://www.routledge.com/ textbooks/
9780415368780 – Capítulo 13, archivo 13.6. ppt) . El
diseño es:
Este es el diseño de Solomon (1949), destinado a
identificar el efecto de interacción que puede ocurrir Experimental1 R1 X1 O1
si el sujeto deduce el resultado deseado al observar Experimental2 R2 X2 O2
el pretest y el postest. Es lo mismo que el ensayo
controlado aleatorio anterior, excepto que hay dos El diseño de dos tratamientos pretest-postest
grupos de control en lugar de uno.
En el ensayo controlado aleatorio estándar, cualquier Aquí los participantes se asignan aleatoriamente
cambio en el grupo experimental puede deberse a la a cada uno de los dos grupos experimentales. El
intervención oa la prueba previa, y cualquier cambio grupo experimental 1 recibe la intervención 1 y el
en el grupo de control puede deberse a la prueba previa. grupo experimental 2 recibe la intervención 2. Se
En la variante de Solomon, el segundo grupo de realizan pruebas previas y posteriores para medir
control recibe la intervención pero no la prueba los cambios en los individuos de los dos grupos
previa. Esto se puede modelar así:
(ver http://www.routledge.com/textbooks/
Experimental RO1 X O2 9780415368780 – Capítulo 13, archivo 13.7.ppt). El
control1 diseño es: Experimental1 RO1 X1 O2 Experimental2
RO3 O4
control2 XO5 _ RO3 X2 O4
Por lo tanto, cualquier cambio en este segundo
grupo de control puede deberse únicamente a la El verdadero experimento también se puede realizar
intervención. Remitimos a los lectores a Bailey con un grupo de control y dos o más grupos
(1994: 231-4) para una explicación completa de esta técnica y sus variantes
experimentales. (ver
(ver http://www.routledge.com/
Capítulo
13
textbooks/9780415368780 – Capítulo 13, archivo 13.8. ppt).
Entonces, por ejemplo, los diseños podrían ser:
Experimental1 RO1 X1 O2
Experimental2 RO3 X2 O4
3 Asigna aleatoriamente una persona de cada pareja al
grupo de control y la otra al grupo experimental.
4 Administrar el tratamiento/intervención experimental al

grupo experimental y, en su caso, un placebo al grupo
Control RO5 O6
control.
Esto se puede extender al diseño de grupo experimental y Asegúrese de que el grupo de control no esté sujeto a
control posterior a la prueba y al diseño de dos grupos la intervención.
experimentales posterior a la prueba, y al diseño de dos 5 Realizar una medida de la variable dependiente con ambos
tratamientos previo a la prueba y posterior a la prueba. grupos y compararlos/medirlos para determinar el
efecto y su tamaño sobre la variable dependiente.
El diseño de pares combinados

Borg y Gall indican que surgen dificultades en el
Como sugiere el nombre, aquí los participantes se asignan emparejamiento cercano de la muestra de los grupos de
aleatoriamente a los grupos de control y experimental, pero control y experimental. Esto implica una identificación
la base de la asignación es que un miembro del grupo de cuidadosa de las variables en las que debe realizarse el
control se empareja con un miembro del grupo experimental emparejamiento. Borg y Gall (1979: 547) sugieren que es
en las diversas variables independientes que se consideran más probable que el emparejamiento de varias variables
importantes para el estudio ( ej., aquellas variables que se correlacionan con la variable dependiente reduzca
independientes que se considera que tienen influencia los errores que el emparejamiento de una sola variable. El
sobre la variable dependiente, como el sexo, la edad, la problema, por supuesto, es que cuanto mayor sea el número
capacidad). Entonces, primero, se seleccionan pares de de variables que deben coincidir, más difícil será encontrar
participantes emparejados en términos de la variable la muestra de personas que coincidan.
independiente en consideración (por ejemplo, cuyas
puntuaciones en una medida en particular son iguales o Por lo tanto, debe lograrse el equilibrio entre tener muy
similares), y luego cada par se asigna aleatoriamente al pocas variables, de modo que pueda ocurrir un error, y
grupo de control o experimental. . La aleatorización se lleva tener tantas variables que sea imposible extraer una
a cabo a nivel de pareja en lugar de a nivel de grupo. muestra. En lugar de pares emparejados, es posible la
Aunque, como sugiere su nombre, esto asegura una asignación aleatoria, y esto se analiza a continuación.
coincidencia efectiva de los grupos de control y
experimentales, en la práctica puede no ser fácil encontrar Mitchell y Jolley (1988: 103) plantean tres preguntas
coincidencias lo suficientemente cercanas, particularmente importantes que los investigadores deben considerar al
en un experimento de campo, aunque encontrar una comparar dos grupos:
coincidencia tan cercana en un experimento de campo
puede aumentar el control. del experimento ¿Son los dos grupos iguales al comienzo del
considerablemente. Los diseños de pares emparejados son experimento?
útiles si el investigador no puede estar seguro de que las ¿Se habrían separado los dos grupos de forma natural,
diferencias individuales no oscurecerán los efectos del independientemente de la intervención?
tratamiento, ya que permiten controlar estas diferencias individuales. ¿Hasta qué punto el error de medición inicial de los dos
Borg y Gall (1979: 547) establecieron una serie de pasos grupos ha sido un factor contribuyente en las diferencias
útiles en la planificación y realización de un experimento: entre las puntuaciones?
Borg y Gall (1979) llaman la atención sobre la necesidad de

1 Realizar una medida de la variable dependiente. especificar el grado de exactitud (o varianza) del
2 Asigne a los participantes a parejas emparejadas, según emparejamiento. Por ejemplo, si los sujetos tuvieran que
las puntuaciones y medidas establecidas en el Paso 1. emparejarse en, digamos, la capacidad lingüística medida
en una prueba estandarizada, es importante definir el
límites de variabilidad que se utilizarán para definir el INDEPENDIENTE NIVEL NIVEL NIVEL
emparejamiento (por ejemplo, ± 3 puntos). Como antes, MELLA UNA DOS TRES
cuanto mayor sea el grado de precisión en la VARIABLE
coincidencia aquí, más cercana será la coincidencia,
pero cuanto mayor sea el grado de precisión, más difícil Disponibilidad Alta
será encontrar una muestra que coincida exactamente. de recursos
Una forma de abordar este problema es colocar
todos los sujetos en orden de clasificación sobre la limitada (1) disponibilidad
DisponibilidadDisponibilidad moderada (2) (3)
base de las puntuaciones o medidas de la variable Motivación Poco Moderado Alto
dependiente. Luego, los dos primeros sujetos se por el tema motivar motivar motivo
convierten en un par emparejado (el que se asigna al estudiado. ción (4) ción (5) vación (6)
grupo de control y el que al grupo experimental se hace
al azar, por ejemplo, lanzando una moneda), los Aquí las combinaciones posibles son: 1 + 4, 1 + 5, 1
siguientes dos sujetos se convierten en el siguiente par + 6, 2 + 4, 2 + 5, 2 + 6, 3 + 4, 3 + 5 y 3 + 6. Esto da como
emparejado, luego los siguientes dos sujetos convertirse resultado 9 grupos (3 × 3 combinaciones).
en el siguiente par emparejado, y así sucesivamente Se pueden realizar pretests y postests o postests
hasta que se extraiga la muestra. Aquí, la pérdida de solamente. Podría mostrar, por ejemplo, que la
precisión se compensa con la evitación de la pérdida de sujetos.
disponibilidad limitada de recursos y la poca motivación
La alternativa al emparejamiento que se ha discutido tuvieron una influencia estadísticamente significativa
anteriormente en este capítulo es la aleatorización. en el rendimiento del examen, mientras que la
Smith (1991: 215) sugiere que el emparejamiento se usa disponibilidad moderada y alta de recursos no la tuvo,
más ampliamente en la investigación cuasi-experimental o que la alta disponibilidad y la alta motivación tuvieron
y no experimental, y es un medio muy inferior para un efecto estadísticamente significativo en el
descartar explicaciones causales alternativas que la rendimiento, mientras que la alta motivación y la
aleatorización. disponibilidad limitada no lo hicieron, y así sucesivamente.
Este ejemplo asume que hay el mismo número de
niveles para cada variable independiente; este puede
El diseño factorial
no ser el caso. Una variable puede tener, digamos, dos
En un experimento puede haber dos o más variables niveles, otra tres niveles y otra cuatro niveles. Aquí las
independientes actuando sobre la variable dependiente. combinaciones posibles son 2 × 3 × 4 = 24 niveles y, por
Por ejemplo, el rendimiento en un examen puede ser tanto, 24 grupos experimentales. Se puede ver que los
consecuencia de la disponibilidad de recursos (variable diseños factoriales generan rápidamente varios grupos
independiente uno: disponibilidad limitada, disponibilidad de participantes. Un ejemplo común es un diseño 2 × 2,
moderada, alta disponibilidad) y la motivación por el en el que dos variables independientes tienen dos
tema estudiado (variable independiente dos: poca valores cada una (es decir, cuatro grupos). Aquí el
motivación, motivación moderada, alta motivación ). grupo experimental 1 recibe la intervención con la
Cada variable independiente se estudia en cada uno de variable independiente 1 en el nivel 1 y la variable
sus niveles (en el ejemplo aquí son tres niveles para independiente 2 en el nivel 1; el grupo experimental 2
cada variable independiente) (ver http:// recibe la intervención con la variable independiente 1
www.routledge.com/ textbooks/9780415368780 – en el nivel 1 y la variable independiente 2 en el nivel 2;
Capítulo 13, archivo 13.9. ppt) . Los participantes se el grupo experimental 3 recibe la intervención con la
asignan aleatoriamente a grupos que cubren todas las variable independiente 1 en el nivel 2 y la variable
combinaciones posibles de niveles de cada variable independiente 2 en el nivel 1; El grupo experimental 4
independiente, como se muestra en el modelo. recibe la intervención con la variable independiente 1
en el nivel 2 y la variable independiente 2 en el nivel 2.
Los diseños factoriales también deben tener en

cuenta la interacción de las variables independientes.
Capítulo
13 (cuatro niveles de la variable independiente
'habilidad lectora'). Se configuran cuatro grupos
Por ejemplo, un factor (variable independiente) experimentales para recibir la intervención, así:
puede ser 'sexo' y el otro 'edad' (Recuadro 13.3). El grupo experimental uno (lectores pobres); grupo
investigador puede estar investigando sus efectos experimental dos (lectores promedio), grupo
sobre la motivación para aprender matemáticas (ver experimental tres (buenos lectores y grupo
http://www.routledge.com/textbooks/ 9780415368780 experimental cuatro (lectores sobresalientes). El
– Capítulo 13, archivo 13.10. ppt). grupo de control (grupo cinco) no recibiría ninguna
Aquí se puede ver que la diferencia en la intervención. El investigador podría trazar los
motivación por las matemáticas no es constante efectos diferenciales de la intervención en los
entre hombres y mujeres, sino que varía según la grupos, y así tener una indicación más sensible de
edad de los participantes. Existe un efecto de sus efectos que si hubiera un solo grupo experimental
interacción entre la edad y el sexo, de modo que el con una amplia gama de habilidades de lectura; el
efecto del sexo depende de la edad. Un diseño investigador sabría qué grupo fue más y menos
factorial es útil para examinar los efectos de interacción. afectado por la intervención. Los diseños
En su forma más simple, los diseños factoriales paramétricos son útiles si se considera una variable
pueden tener dos niveles de una variable independiente tener diferentes niveles o un rango
independiente, por ejemplo, su presencia o ausencia, de valores que pueden influir en el resultado
pero, como se ha visto aquí, pueden volverse más (investigación confirmatoria) o si el investigador
complejos. Esa complejidad se compra al precio de desea descubrir si los diferentes niveles de una
aumentar exponencialmente el número de grupos requeridos.
variable independiente tienen un efecto en el resultado (investigación
El diseño paramétrico Diseños de medidas repetidas
Aquí los participantes se asignan aleatoriamente a Aquí, los participantes en los grupos experimentales
grupos cuyos parámetros se fijan en términos de se prueban en dos o más condiciones experimentales.
los niveles de la variable independiente que recibe cada uno.
Así, por ejemplo, un miembro del grupo experimental
Por ejemplo, imaginemos que se lleva a cabo un puede recibir más de una "intervención", que puede
experimento para mejorar las habilidades de lectura incluir o no una condición de control. Esta es una
de lectores pobres, promedio, buenos y sobresalientes. variante de los pares emparejados.
Recuadro 13.3
Efectos de interacción en un experimento.
100
80
60 machos
40 Hembras
20
0
matemáticas
Motivación
para
las
15 dieciséis 17 18
Años
diseño, y ofrece un potencial de control considerable, ya que www.routledge.com/textbooks/9780415368780 – Capítulo 13,

es exactamente la misma persona la que recibe diferentes archivo 13.12. ppt). En el mejor de los casos, pueden ser
intervenciones. (ver http://www.routledge.com/textbooks/ capaces de emplear algo que se acerque a un verdadero
9780415368780 – Capítulo 13, archivo 13.11.ppt). Los efectos diseño experimental en el que tienen control sobre lo que
de orden asoman aquí: el orden en que se secuencian las Campbell y Stanley (1963) denominan "el quién y para quién
intervenciones puede tener un efecto sobre el resultado; la de la medición", pero carecen de control sobre "el cuándo y
primera intervención puede tener una influencia (un efecto para quién". de exposición', o la aleatorización de las
de arrastre) sobre la segunda, y la segunda intervención exposiciones, esencial para que se lleve a cabo una verdadera
puede tener una influencia sobre la tercera, y así experimentación. Estas situaciones son cuasiexperimentales
sucesivamente. y las metodologías empleadas por los investigadores se
Además, las intervenciones tempranas pueden tener un denominan diseños cuasiexperimentales. (Kerlinger (1970)
efecto mayor que las intervenciones posteriores. Para superar se refiere a las situaciones cuasi-experimentales como
esto, es posible aleatorizar el orden de las intervenciones y "diseños de compromiso", una descripción adecuada cuando
asignar participantes aleatoriamente a diferentes secuencias, se aplica a muchas investigaciones educativas donde la
aunque esto puede no garantizar una secuencia equilibrada. selección aleatoria o la asignación aleatoria de escuelas y
Más bien, puede ser necesario planificar un orden deliberado, aulas es bastante impracticable).
por ejemplo, en un experimento de tres intervenciones:
Los cuasi-experimentos vienen en varias formas, por
ejemplo:
El grupo 1 recibe la intervención 1 seguida de la
intervención 2, seguida de la intervención 3. Diseños preexperimentales: el diseño pretest-postest de
El grupo 2 recibe la intervención 2 seguida de la un grupo; el diseño de un solo grupo después de las
intervención 3, seguida de la intervención 1. pruebas; las post-pruebas solo diseño no equivalente.
intervención 1, seguida de la intervención 2. Diseño de grupos no equivalentes pretest-postest.
El grupo 4 recibe la intervención 1 seguida de la Serie temporal de un grupo.
intervención 3, seguida de la intervención 2. Los consideramos a continuación.
intervención 1, seguida de la intervención 3.
Un diseño pre-experimental: el pretest-postest de un grupo
intervención 2, seguida de la intervención 1.
Muy a menudo, los informes sobre el valor de un nuevo
Los diseños de medidas repetidas son útiles si se considera
que los efectos del orden no son importantes o son método de enseñanza o el interés despertado por alguna
innovación curricular u otra revelan que un investigador ha
improbables, o si el investigador no puede estar seguro de
que las diferencias individuales no ocultarán los efectos del medido a un grupo en una variable dependiente (O1), por
ejemplo, las actitudes hacia los grupos minoritarios, y luego
tratamiento, ya que permite controlar estas diferencias
individuales. introdujo un grupo experimental. manipulación (X), quizás un
proyecto curricular de diez semanas diseñado para aumentar
la tolerancia de las minorías étnicas. Después del tratamiento
Un diseño cuasi-experimental: el diseño de experimental, el investigador midió nuevamente las actitudes
grupo de control no equivalente A menudo, en la grupales (O2) y procedió a explicar las diferencias entre las
puntuaciones previas y posteriores a la prueba con referencia
investigación educativa, simplemente no es posible que los
a los efectos de X.
investigadores realicen experimentos verdaderos, por
ejemplo, en la asignación aleatoria de participantes a grupos
El diseño pretest-postest de un grupo se puede representar
de control o experimentales.
como:
Los cuasi-experimentos son parte de la experimentación de
campo, es decir, fuera del laboratorio (ver http:// Experimental O1 X O2
UN DISEÑO CUASI-EXPERIMENTAL: EL DISEÑO DEL GRUPO DE CONTROL NO EQUIVALENTE 283
Capítulo
13
Suponga que se ha emprendido un proyecto de este tipo
y que el investigador encuentra que las puntuaciones O2
indican una mayor tolerancia hacia las minorías étnicas
que las puntuaciones O1 . ¿Qué tan justificado está el
(una intervención y una prueba posterior), la falta de una
prueba previa, de un grupo de control, de asignación
aleatoria y de controles, hace que esta sea una metodología defectuosa.
investigador en atribuir la causa de las diferencias O1 ÿ

Un diseño pre-experimental: el post-test solo diseño
O2 al tratamiento experimental (X), es decir, al trabajo
de grupos no equivalentes
del proyecto del término? A primera vista, la suposición
de causalidad parece bastante razonable. Sin embargo, Nuevamente, aunque esto parece ser similar a un
la situación no es tan simple. Compare por un momento experimento, la falta de una prueba previa, de grupos
las circunstancias representadas en nuestro ejemplo emparejados, de asignación aleatoria y de controles,
educativo hipotético con las que típicamente se obtienen hace que esta sea una metodología defectuosa.
en los experimentos de las ciencias físicas.
Un diseño cuasi-experimental: el diseño de

Los físicos que aplican calor a una barra de metal pueden
grupo no equivalente pretest-postest
atribuir con confianza la expansión observada al aumento
de temperatura que han introducido porque dentro de
los límites del laboratorio han excluido (es decir, Uno de los diseños cuasi experimentales más utilizados
controlado) todas las demás fuentes extrañas de en la investigación educativa se puede representar como:
variación (Pilliner 1973).
Nunca se puede lograr el mismo grado de control en Experimental O1 X O2
la experimentación educativa. En este punto, los lectores ----------
pueden interesarse en reflexionar sobre algunas posibles Control O3 O4

influencias distintas del proyecto curricular de diez
La línea discontinua que separa las filas paralelas en el
semanas que podrían explicar las diferencias O1 ÿ O2 en
diagrama del grupo de control no equivalente indica que
nuestro ejemplo educativo hipotético.
los grupos experimental y de control no han sido
equiparados por aleatorización, de ahí el término 'no
Pueden concluir que factores relacionados con los
equivalente'. La adición de un grupo de control hace que
alumnos, el profesor, la escuela, la organización del aula,
el presente diseño sea una mejora decidida sobre el
los materiales curriculares y su presentación, la forma
diseño de un grupo antes y después de la prueba, ya que
en que se midieron las actitudes de los sujetos, por no
en la medida en que los experimentadores puedan hacer
hablar de los mil y un hechos más ocurridos en y
alrededor de la escuela durante el curso del trabajo del que los grupos E y C sean lo más equivalentes posible,
pueden evitar la ambigüedad de las interpretaciones que
trimestre, todos podrían haber ejercido alguna influencia
plagan el diseño pre-experimental discutido anteriormente.
sobre las diferencias de actitud observadas. Este tipo de
variables extrañas que están fuera del control de los La equivalencia de los grupos se puede fortalecer
experimentadores en los diseños de prueba previa y mediante el emparejamiento, seguido de una asignación
aleatoria a los tratamientos E y C.
posterior de un grupo amenazan con invalidar sus
Cuando no sea posible el emparejamiento, se aconseja
esfuerzos de investigación. Más adelante identificamos
al investigador que utilice muestras de la misma
una serie de tales amenazas a la validez de la
población o muestras que sean lo más parecidas posible
experimentación educativa.
(Kerlinger 1970). Sin embargo, cuando los grupos
intactos difieren sustancialmente, el emparejamiento no
Un diseño preexperimental: el diseño de un solo grupo es satisfactorio debido a los efectos de regresión que
de pruebas posteriores conducen a diferentes medias grupales en las medidas
posteriores a la prueba. Campbell y Stanley (1963) lo expresaron de esta ma
Aquí un grupo experimental recibe la intervención y
luego realiza el post-test. Si [en el diseño del grupo de control no equivalente]
Aunque esto tiene algunas características de un experimento las medias de los grupos son sustancialmente diferentes, entonces
el proceso de emparejamiento no solo no proporciona Implican la evaluación continua de algún aspecto del
la ecuación deseada, sino que además asegura la comportamiento humano durante un período de tiempo,
aparición de efectos de regresión no deseados. lo que requiere que el investigador administre medidas
Como era de esperar, es seguro que los dos grupos en múltiples ocasiones dentro de fases separadas de un
diferirán en sus puntajes posteriores a la prueba, estudio.
independientemente de cualquier efecto de X, y que Implican 'efectos de intervención' que se replican en los
esta diferencia variará directamente con la diferencia mismos sujetos a lo largo del tiempo.
entre las poblaciones totales de las que se hizo la
selección e inversamente con la prueba . volver a probar la correlación.
Las medidas de evaluación continua se utilizan como base
(Campbell y Stanley 1963: 49) para extraer inferencias sobre la eficacia de los
procedimientos de intervención.
La serie de tiempo de un grupo Kazdin (1982) analiza las características de los estudios
de investigación de caso único en términos de diseños
Aquí el único grupo es el grupo experimental, y se le da más
ABAB, el formato experimental básico en la mayoría de las
de una prueba previa y más de una prueba posterior. La
investigaciones de caso único. Los diseños de ABAB,
serie temporal utiliza pruebas u observaciones repetidas
tanto antes como después del tratamiento, lo que, en efecto, observa Kazdin, consisten en una familia de procedimientos
en los que se realizan observaciones de rendimiento a lo
permite que los participantes se conviertan en sus propios
controles, lo que reduce los efectos de la reactividad. Las largo del tiempo para un cliente o grupo de clientes determinado.
A lo largo de la investigación, se realizan cambios en las
series de tiempo permiten observar las tendencias y evitan
condiciones experimentales a las que se expone el cliente.
depender de un único punto de recopilación de datos previo
El fundamento básico del diseño ABAB se ilustra en el
y posterior a la prueba.
Esto permite observar tendencias tales como ningún efecto cuadro 13.4. Lo que hace es esto. Examina los efectos de
una intervención alternando la condición de referencia (la
(p. ej., continuar una tendencia al alza, a la baja o uniforme
fase A), cuando no hay ninguna intervención en vigor, con
existente), un efecto claro (p. ej., un aumento o una caída
la condición de intervención (la fase B). Luego se repiten las
sostenidos en el rendimiento), efectos retardados (p. ej.,
fases A y B para completar las cuatro fases. Como dice
algún tiempo después de que se haya producido la
Kazdin (1982), los efectos de la intervención son claros si el
intervención). ). Los estudios de series de tiempo tienen el
rendimiento mejora durante la primera fase de intervención,
potencial de aumentar la confiabilidad.
vuelve o se acerca a los niveles iniciales de rendimiento
originales cuando se retira el tratamiento, y mejora de nuevo
Investigación de caso único: diseño ABAB
cuando se reinicia el tratamiento en la segunda fase de
Al comienzo del Capítulo 11, describimos a los investigadores intervención. .
de estudios de casos como típicamente comprometidos con
la observación de las características de una unidad
individual, ya sea un niño, un salón de clases, una escuela o una comunidad entera.
Dietz (1977) proporciona un ejemplo de la aplicación del
Continuamos contrastando a los investigadores de estudios diseño ABAB en un entorno educativo, cuyo estudio de
de casos con los experimentadores a quienes describimos caso único buscó medir el efecto que un maestro podría
como típicamente preocupados por la manipulación de tener sobre el comportamiento disruptivo de un adolescente
variables para determinar su significado causal. Esa cuya conversación persistente perturbaba a sus compañeros
distinción, como veremos, es sólo parcialmente cierta. de clase. en una clase de educación especial.
Cada vez más, en los últimos años, la investigación de
caso único como metodología experimental se ha extendido Para disminuir el comportamiento no deseado, se ideó
a campos tan diversos como la psicología clínica, la un programa de refuerzo en el que el niño podía ganar
medicina, la educación, el trabajo social, la psiquiatría y el tiempo extra con la maestra al disminuir la cantidad de
asesoramiento. La mayoría de los estudios de casos veces que gritaba.
individuales llevados a cabo en estas (y otras) áreas Se le dijo al niño que cuando hacía tres (o menos)
comparten las siguientes características: interrupciones durante un período de cincuenta y cinco minutos,
PROCEDIMIENTOS PARA REALIZAR INVESTIGACIONES EXPERIMENTALES 285
Recuadro 13.4
El diseño ABAB
Capítulo
13
Base Intervención Base Intervención
(Una fase) (fase B) (A) (B)
comportamiento
Frecuencia
de
Días
Las líneas continuas en cada fase presentan los datos reales . Las líneas discontinuas
indican la proyección o el nivel previsto de rendimiento de la fase anterior.
Fuente: adaptado de Kazdin 1982
período de clase, el maestro pasaría más tiempo y replicado a lo largo del tiempo o a través de
trabajando con él. En el lenguaje técnico de la teoría comportamientos, situaciones o personas. La
de la modificación de la conducta, el alumno recibiría investigación de caso único ofrece una estrategia
consecuencias de refuerzo cuando fuera capaz de alternativa a las metodologías más habituales basadas en diseños en
mostrar una tasa baja de conducta disruptiva (en el Hay, sin embargo, una serie de problemas que
recuadro 13.5 esto se denomina "refuerzo diferencial surgen en relación con el uso de diseños de caso
de tasas bajas" o DRL). único que tienen que ver con las ambigüedades
Cuando el niño pudo desistir de hablar en voz introducidas por las tendencias y variaciones en los
alta en menos de tres ocasiones durante cualquier datos de la fase de referencia y con la generalidad
período de tiempo programado, fue recompensado de los resultados de la investigación de caso único.
por la maestra que pasó quince minutos con él El lector interesado se dirige a Kazdin (1982), Borg
ayudándolo con sus tareas de aprendizaje. El patrón (1981) y Vasta (1979).2
de resultados que se muestra en el Cuadro 13.5
muestra los cambios considerables que ocurrieron
Procedimientos en la realización de investigaciones
en el comportamiento del niño cuando se llevaron a
experimentales.
cabo los procedimientos de intervención y los
aumentos sustanciales en las interrupciones hacia Una investigación experimental debe seguir un
los niveles de referencia cuando se retiraron las conjunto de procedimientos lógicos. Los que ahora
estrategias gratificantes del maestro. Finalmente, enumeramos, sin embargo, deben ser tratados con
cuando se restableció la intervención, se observa que el comportamiento del niño
cierta circunspección. Esvuelve a mejorar.
extraordinariamente difícil
El diseño de investigación de caso único es el (y temerario) establecer reglas claras como guías
único capaz de proporcionar una técnica experimental para la investigación experimental. En el mejor de
para evaluar las intervenciones para el sujeto los casos, podemos identificar una ruta ideal a
individual. Además, tales intervenciones pueden seguir, sabiendo muy bien que la investigación
estar dirigidas al sujeto o grupo en particular. educativa rara vez procede de una manera tan sistemática.3
Recuadro 13.5
Un diseño ABAB en un entorno educativo
Base Tratamiento Inversión Tratamiento

40
DRL de sesión completa DRL de sesión completa
35
30
25
20
Frecuencia
hablar
alta
voz
en
de
15
10
5 diurno diurno límite diurno diurno límite
0
5 10 15 20 25 30 35
Sesiones
DRL, refuerzo diferencial de tipos bajos
Fuente: Kazdin 1982
Primero, los investigadores deben identificar y definir importante de ellos se puede variar experimentalmente
el problema de investigación con la mayor precisión mientras que otros se mantienen constantes.
posible, suponiendo siempre que el problema es Tercero, los investigadores deben seleccionar los
susceptible de métodos experimentales. niveles apropiados para probar las variables
En segundo lugar, los investigadores deben formular independientes. A modo de ejemplo, supongamos que un
hipótesis que deseen probar. Esto implica hacer psicólogo educativo desea averiguar si períodos de
predicciones sobre las relaciones entre variables lectura más largos o más cortos contribuyen al logro de
específicas y, al mismo tiempo, tomar decisiones sobre la lectura en entornos escolares (ver Simon 1978). El
otras variables que se van a excluir del experimento por psicólogo difícilmente seleccionará períodos de cinco
medio de controles. Las variables, recuerda, deben tener horas y cinco minutos como niveles apropiados; más
dos propiedades. La primera propiedad es que las bien, es más probable que elija niveles de treinta y
variables deben ser medibles. sesenta minutos, para compararlos con los períodos
La aptitud física, por ejemplo, no se puede medir habituales de cuarenta y cinco minutos de duración. En
directamente hasta que se haya definido operativamente. otras palabras, el experimentador variará los estímulos a
Hacer que la variable 'aptitud física' sea operativa significa niveles que sean de interés práctico en la situación de la
simplemente definirla dejando que algo más que sea vida real. Prosiguiendo un poco más el ejemplo del logro
medible la represente, tal vez una prueba de gimnasia. La de la lectura, nuestro experimentador hipotético hará bien
segunda propiedad es que la variable proxy debe ser un en variar los estímulos en intervalos lo suficientemente
indicador válido de la variable hipotética en la que se está amplios como para obtener resultados medibles.
interesado. Comparar períodos de lectura de cuarenta y cuatro
Es decir, una prueba de gimnasia probablemente sea un minutos, o cuarenta y seis minutos, con lecciones de
indicador razonable de la aptitud física; la altura, por otro lectura programadas de cuarenta y cinco minutos es poco
lado, ciertamente no lo es. La exclusión de variables del probable que resulte en diferencias observables en el
experimento es inevitable, dadas las limitaciones de rendimiento.
tiempo y dinero. De ello se deduce, por tanto, que hay Cuarto, los investigadores deben decidir qué tipo de
que establecer prioridades entre las variables en las que experimento adoptarán, quizás de las variedades
uno está interesado para que la más expuestas en este capítulo.
EJEMPLOS DE INVESTIGACIÓN EDUCATIVA 287
Capítulo
13
Quinto, al planificar el diseño del experimento, los
investigadores deben tener en cuenta la población a la
que desean generalizar sus resultados. Esto implica
tomar decisiones sobre el tamaño de las muestras y los
7 Asigne a los participantes al grupo o grupos.
8 Llevar a cabo la intervención.
9 Realice la prueba posterior.
10 Analizar los resultados.
métodos de muestreo. Las decisiones de muestreo
La secuencia de los pasos 6 y 7 se puede invertir; la
están ligadas a cuestiones de fondos, personal y la
intención de colocarlos en la secuencia actual es
cantidad de tiempo disponible para la experimentación.
garantizar que los dos grupos se asignen y se emparejen
Sexto, con problemas de validez en mente, los
al azar. En experimentos y diseños fijos, los datos se
investigadores deben seleccionar instrumentos, elegir
agregan en lugar de relacionarse con individuos
pruebas y decidir sobre métodos de análisis apropiados.
específicos, y los datos buscan promedios, el rango de
Séptimo, antes de embarcarse en el experimento real,
resultados y su variación. Al calcular las diferencias o
los investigadores deben realizar una prueba piloto de
similitudes entre los grupos en las etapas de la prueba
los procedimientos experimentales para identificar
previa y la prueba posterior, a menudo se usa la prueba
posibles inconvenientes en relación con cualquier aspecto de la investigación.
t para muestras independientes.
Esto es de crucial importancia.
Octavo, durante el experimento mismo, los
investigadores deben esforzarse por seguir al pie de la Ejemplos de la investigación educativa
letra los procedimientos probados y acordados. La
Ejemplo 1: un diseño preexperimental
estandarización de las instrucciones, la sincronización
exacta de las secuencias experimentales, el registro y la Se utilizó un diseño preexperimental en un estudio que
verificación meticulosos de las observaciones: estos involucró al grupo del diploma de posgrado en educación
son el sello distintivo del investigador competente. de 1991–92 que siguió un curso de capacitación para
Con sus datos recopilados, los investigadores se prepararlos para enseñar estudios sociales en escuelas
enfrentan a la parte más importante de toda la empresa. secundarias superiores en Botswana. El investigador
Procesar datos, analizar resultados y redactar informes deseaba averiguar si el programa de estudios que había
son actividades extremadamente exigentes, tanto en ideado produciría cambios en las orientaciones de los
esfuerzo intelectual como en tiempo. A menudo, esta estudiantes hacia la enseñanza de las ciencias sociales.
última parte de la investigación experimental recibe muy Con ese fin, empleó un instrumento de investigación, la
poco tiempo en la planificación general de la Escala de preferencia de estudios de Barth/Shermis
investigación. Los investigadores experimentados rara (BSSPS), que ha tenido un amplio uso en diferentes
vez cometen ese error; Las fallas en los programas de culturas, incluidas las de Estados Unidos, Egipto y
computadora y una docena más de desastres imprevistos Nigeria, y cuya construcción cumple con los criterios
enseñan la dura lección de dejar suficiente tiempo para comúnmente requeridos en cuanto a validez y
el análisis y la interpretación de los hallazgos experimentales.consistencia interna. fiabilidad.
Se puede sugerir un modelo de diez pasos para la La BSSPS consta de cuarenta y cinco ítems tipo
realización del experimento (ver http://www.routledge.com/ Likert (Capítulo 15), que brindan medidas de lo que
textbooks/9780415368780 – Capítulo 13, archivo pretenden ser tres tradiciones de estudios sociales u
13.13.ppt): orientaciones filosóficas, la más antigua de las cuales,
Transmisión de Ciudadanía, involucra el adoctrinamiento
1 Identificar el propósito del experimento. de los jóvenes en los valores básicos de una sociedad. .
2 Seleccione las variables relevantes. La segunda orientación, las Ciencias Sociales, se
3 Especifique el(los) nivel(es) de la intervención (por sostiene que se relaciona con la adquisición de
ejemplo, intervención baja, media, alta). habilidades de recopilación de conocimientos basadas
4 Controlar las condiciones experimentales y en el dominio de los conceptos y procesos de las
ambiente. ciencias sociales. Se dice que la tercera tradición,
5 Seleccione el diseño experimental apropiado. Investigación reflexiva, se deriva del pragmatismo de
6 Administrar la prueba previa. John Dewey con su énfasis en el proceso de investigación. Cuarenta y och
A los estudiantes de posgrado se les administró el los exámenes producirían una mejora en el
BSSPS durante la primera sesión de su curso de desempeño a lo largo del currículo secundario.
estudio de un año. Al final del programa, se El título de su informe, "Iluminando el inglés: cómo
completó nuevamente el BSSPS para determinar si la enseñanza explícita del idioma mejoró los
se habían producido cambios en las orientaciones resultados de los exámenes públicos en una
filosóficas de los estudiantes. Brevemente, la escuela integral", sugiere que los autores estaban
'orientación preferida' en la prueba previa y posterior convencidos de que habían logrado su objetivo. A
fue la medida de criterio, siendo ignoradas las dos la luz del diseño experimental seleccionado para la
orientaciones menos preferidas. En términos investigación, los lectores pueden preguntarse si
generales, los estudiantes tendieron a pasar de una los resultados son tan inequívocos como los informados.
mayoría que tenía una orientación de Transmisión El diseño adoptado en el estudio de Shevington
de Ciudadanía al comienzo del curso a una mayor (Shevington es la ubicación del experimento en el
afirmación de las tradiciones de las Ciencias noroeste de Inglaterra) puede representarse como:
Sociales y la Investigación Reflexiva. Usando los
Experimental O1 X O2
símbolos y convenciones adoptados anteriormente ----------
para representar diseños de investigación, podemos ilustrar el estudio de Botswana como:

Control O3 O4
Experimental O1 X O2
Este es, por supuesto, el diseño de grupo de control
La consideración más breve revela insuficiencias no equivalente descrito anteriormente en este
en el diseño. De hecho, Campbell y Stanley (1963) capítulo en el que las filas paralelas separadas por
describen el diseño de prueba previa y posterior de líneas discontinuas representan grupos que no han
un grupo como "un "mal ejemplo" para ilustrar sido equiparados por asignación aleatoria.
varias de las variables extrañas confundidas que En resumen, los investigadores adoptaron una
pueden poner en peligro la validez interna. Estas metodología similar a la enseñanza del inglés como
variables ofrecen hipótesis plausibles que explican lengua extranjera y la aplicaron a los años 7 a 9
una diferencia O1 ÿ O2 , rival de la hipótesis que (para alumnos de 11 a 14 años) en la Shevington
causó la diferencia' (Campbell y Stanley 1963). El Comprehensive School y dos escuelas vecinas,
investigador es, con razón, cauteloso en sus monitoreando a los alumnos en cada etapa y
conclusiones: 'es posible decir que el curso de comparando sus desempeño con grupos de control
estudios sociales podría ser responsable de este extraídos tanto de Shevington como de las otras
fenómeno, aunque podrían estar operando otras dos escuelas. Inevitablemente, debido a que los
variables extrañas' (Adeyemi 1992, énfasis agregado). grupos experimentales y de control no se asignaron
Con cierta ingenuidad, apunta a una posible al azar, hubo diferencias significativas en el
explicación, que los cambios podrían haber ocurrido desempeño de algunos grupos en las medidas
entre sus futuros maestros porque el cambio de previas al tratamiento, como la Prueba de aptitud
'inculcación a toma de decisiones racional estaba lingüística de York. Además, debido a que no se
en línea con la recomendación del programa de disponía de pruebas de lectura estandarizadas de
estudios sociales de nueve años emitido por el dificultad suficiente como medidas posteriores al
Ministerio de Botswana. Educación en 1989' (Adeyemi tratamiento, los investigadores tuvieron que diseñar pruebas, que
1992). A pesar de estas dificultades, los alumnos de los
grupos experimentales que tomaron exámenes
públicos en 1990 y 1991 mostraron ganancias
Ejemplo 2: un diseño cuasi-experimental
sustanciales con respecto al aumento porcentual
El estudio longitudinal de Mason et al. (1992) se llevó de aquellos que obtuvieron los grados A–C del
a cabo entre 1984 y 1992. Su objetivo principal era GCSE. Los investigadores señalan que durante los
probar si la enseñanza explícita de las características tres años de 1989 a 1991, "no se produjo ningún
lingüísticas de los libros de texto, trabajos de curso y otro cambio significativo en la política, el personal docente o la org
INVESTIGACIÓN EDUCATIVA BASADA EN EVIDENCIA Y META-ANÁLISIS 289
Capítulo
13
explican esta espectacular mejora del 50 por ciento' (Mason
et al. 1992).
Aunque los investigadores de Shevington intentaron
ejercer control sobre variables extrañas, los lectores bien
los sujetos se incluyen en el experimento que el principio de
aleatorización tiene la oportunidad de operar como un
poderoso control'. Es dudoso que veintiséis alumnos de cada
uno de los tres grupos del estudio de Bhadwal y Panda (1991)
pueden preguntarse si las amenazas a la validez interna y constituyeran "suficientes sujetos".
externa, como las aludidas anteriormente, se cumplieron lo
suficiente como para permitir una conclusión tan categórica Además de los procedimientos de emparejamiento en la
como "los alumnos" . . . logró un mayor éxito en los exámenes elaboración de la muestra y la asignación aleatoria de
públicos como resultado de su participación en el alumnos a grupos experimentales y de control, los
proyecto' (Mason et al. 1992). investigadores también utilizaron el análisis de covarianza,
como un medio adicional para controlar las diferencias
iniciales entre los grupos E y C en su media previa a la
Ejemplo 3: un diseño experimental 'verdadero'
prueba. puntuaciones en las variables independientes,
hábitos de estudio y actitudes.
Otra investigación (Bhadwal y Panda 1991) que se ocupaba
de efectuar mejoras en el rendimiento de los alumnos como El programa experimental implicó mejorar las habilidades
consecuencia de cambiar las estrategias de enseñanza utilizó docentes, la organización del aula, los materiales didácticos,
un diseño experimental más sólido. En la India rural, los la participación de los alumnos, la ayuda de recuperación, la
investigadores seleccionaron una muestra de setenta y ocho tutoría entre pares y la evaluación continua. Además, también
alumnos, emparejados por entornos socioeconómicos y se tomaron medidas en el grupo experimental para garantizar
coeficientes intelectuales no verbales, de tres escuelas la participación de los padres y materiales de lectura
primarias que fueron emparejadas por ubicación, instalaciones adicionales. Sería asombroso que un paquete de ayudas
físicas, calificaciones y habilidades de los maestros, didácticas y estrategias curriculares de este tipo no produjera
procedimientos de evaluación escolar. y el grado de cambios significativos en sus destinatarios, y tal fue el caso
participación de los padres. Veintiséis alumnos fueron de los resultados experimentales. El Grupo Experimental
seleccionados al azar para formar el grupo experimental, los obtuvo avances muy significativos en cuanto a su nivel de
cincuenta y dos restantes se dividieron por igual en dos hábitos de estudio en comparación con el Grupo de Control
grupos de control. Antes de la introducción de las estrategias 2, donde los estudiantes no mostraron un cambio marcado.
de enseñanza modificadas al grupo experimental, los tres

grupos completaron cuestionarios sobre sus hábitos y Sospechamos que lo que sorprendió a los investigadores fue
actitudes de estudio. Estos instrumentos se diseñaron el aumento significativo en los niveles de hábitos de estudio
específicamente para su uso con niños más pequeños y se en el Grupo de control 1. Tal vez, opinaron, este resultado
sometieron a los análisis habituales de ítems, test-retest e inesperado ocurrió porque los alumnos del Grupo de control
inspecciones de fiabilidad dividida por la mitad. El diseño de 1 fueron evaluados inmediatamente antes del comienzo de
investigación de Bhadwal y Panda se puede representar como: sus exámenes anuales.

Por otro lado, admitieron, algunas variables inexplicables
podrían haber estado operando.
¡Seguramente aquí hay una lección para todos los investigadores!
Experimental RO1 X RO2
(Para ver un conjunto de ejemplos de experimentos
primer control
RO3 RO4
problemáticos, consulte http://www.routledge.com/textbooks/
Segundo mando RO5 RO6
9780415368780 – Capítulo 13, archivo 13.1.doc).
Recordando la discusión de Kerlinger (1970) sobre un 'buen'
diseño experimental, la versión del diseño de control de Investigación educativa basada en
preprueba y posprueba empleada aquí (a diferencia del evidencia y metanálisis
diseño usado en el Ejemplo 2 anterior) recurrió a la
Investigación basada en evidencia
aleatorización que, en teoría, controla todas las variables
independientes posibles. Kerlinger (1970) agrega, sin En una era de educación basada en la evidencia (Thomas y
embargo, 'en la práctica, es solo cuando hay suficiente Pring 2004), el metanálisis es un método cada vez más
método de investigación utilizado, reuniendo en esta área se encuentran Fitz-Gibbon (1996;

diferentes estudios para proporcionar evidencia 1997; 1999) y Tymms (1996), quienes, en el
para dar forma a la formulación de políticas y la Curriculum, Evaluation and Management Center de
planificación. El metanálisis es una estrategia de la Universidad de Durham, han establecido uno de
investigación en sí misma. Que esto está ocurriendo los centros de monitoreo de educación más grandes del mundo.
significativamente se demuestra en el El trabajo de Fitz-Gibbon es crítico con el modelado
establecimiento del Centro EPPI (Centro de multinivel y, en cambio, sugiere cómo se pueden
Información y Coordinación de Evidencia para usar los sistemas de indicadores con métodos
Políticas y Prácticas) en la Universidad de Londres experimentales para proporcionar evidencia clara
(http://eppi.ioe.ac.uk/EPPIWeb/home. aspx), el de causalidad y una respuesta rápida a su propia
Registro de Ensayos Controlados Social, pregunta, '¿Cómo sabemos qué funciona?' (Fitz-Gibbon 1999: 33).
Psicológico, Educativo y Criminológico (SPECTR), Haciéndose eco de Anderson y Biddle (1991),
luego transferido a la Colaboración Campbell (http:// Fitz Gibbon sugiere que los formuladores de
www.campbellcollaboration.org), un paralelo a la políticas evitan la evidencia en el desarrollo de
Colaboración Cochrane en medicina (http:/ / políticas y que los profesionales, en el alboroto de
www.cochrane.org/index0.htm), que realiza la actividad cotidiana, recurren al conocimiento
revisiones sistemáticas y metaanálisis de, por lo tácito en lugar del conocimiento que se deriva de
general, evidencia experimental en medicina, y el los RCT. Sin embargo, en un argumento convincente
centro Curriculum, Evaluation and Management (Fitz-Gibbon 1997: 35-6), sugiere que los enfoques
(CEM) de la Universidad de Durham (http:// basados en la evidencia son necesarios para
www. .cemcenter.org). Aquí, la "evidencia" desafiar la imposición de prácticas no probadas,
generalmente proviene de ensayos controlados resolver problemas y evitar procedimientos
aleatorios de un tono u otro (Tymms 1999; Coe et dañinos, y crear mejoras que conduzcan a más
al. 2000; Thomas y Pring 2004: 95), con énfasis en aprendizaje efectivo. Además, dicha evidencia,
el muestreo cuidadoso, control de variables, tanto sostiene, debería examinar los tamaños del efecto en lugar de la s
externas como incluidas, y Medidas del tamaño del Si bien la naturaleza de la información en la
efecto. La evidencia acumulada de los ECA educación basada en la evidencia puede ser
recopilados pretende proporcionar un conjunto de cuestionada por investigadores cuyas simpatías
conocimientos fiable sobre el que basar las políticas (por la razón que sea) se encuentran fuera de los
y la práctica (Coe et al. 2000). Se afirma que estos ensayos controlados aleatorios, el mensaje de Fitz-
datos acumulados proporcionan evidencia de 'lo Gibbon no desaparecerá: la comunidad educativa
que funciona', aunque Morrison (2001b) sugiere que estanecesita
afirmación es sospechosa.
evidencia sobre la cual basar sus juicios
Las raíces de la práctica basada en la evidencia y decisiones. comportamiento. El desarrollo de
se encuentran en la medicina, donde la defensa de sistemas de indicadores en todo el mundo atestigua
Cochrane (1972) de ensayos controlados aleatorios la importancia de esto, ya sea a través de datos de
junto con su revisión sistemática y documentación evaluación y examen, hallazgos de inspección,
llevó a la fundación de la Colaboración Cochrane comparaciones nacionales e internacionales de
(Maynard y Chalmers 1997), que ahora es mundial. logros o establecimiento de objetivos. En lugar de
Los estudios de investigación cuidadosos y ser un tiro en la oscuridad, la educación basada en
cuantitativos que pueden contribuir a la acumulación la evidencia sugiere que la formación de políticas
de una base probatoria se consideran un poderoso debe estar informada y que la toma de decisiones
contraataque a los esquemas a menudo no políticas debe basarse en la mejor información
probados y poco probados que se inyectan en la práctica.hasta la fecha en lugar de corazonadas, ideologías
Más recientemente, la educación basada en la o voluntad política. Está al borde de la falta de ética
evidencia ha ingresado al mundo de la política implementar recomendaciones no probadas y no
social, el trabajo social (MacDonald 1997) y la probadas en la práctica educativa, al igual que no es ético usar pr
consentir. educativa
educación (Fitz-Gibbon 1997). A la vanguardia de la investigación
Metanálisis
Capítulo
13
El estudio de Bhadwal y Panda (1991) es típico de la
investigación realizada para explorar la eficacia de los métodos
de clase. A menudo, tales estudios no llegan a la luz del día,
el hecho de que los revisores no reconozcan que el error
de muestreo aleatorio puede jugar un papel en la creación
de variaciones en los hallazgos entre los estudios pasan
por alto los hallazgos de investigación diferentes y
contradictorios el hecho de que los revisores no examinen
particularmente cuando forman parte de los requisitos de
críticamente la evidencia, los métodos y las conclusiones
investigación para un título superior. El metanálisis es,
de revisiones anteriores
simplemente, el análisis de otros análisis. Implica agregar y
combinar los resultados de estudios comparables en una
Pasar por alto la medida en que los hallazgos de la
cuenta coherente para descubrir los efectos principales.
investigación están mediados por las características de la
muestra. Pasar por alto la importancia de las variables
Esto a menudo se hace estadísticamente, aunque también se
que intervienen en la irrepetibilidad de la investigación
recomienda el análisis cualitativo. Entre las ventajas de utilizar
porque los procedimientos para integrar los hallazgos de
el metanálisis, Fitz-Gibbon (1985) cita las siguientes:
la investigación no se han hecho explícitos.
Los informes humildes y de pequeña escala que

simplemente han estado acumulando polvo ahora pueden volverse útiles.
La investigación a pequeña escala realizada por Desde finales de la década de 1970, Glass y sus colegas (Glass
estudiantes y profesores individuales será valiosa ya que y Smith 1978; Glass et al. 1981) y otros (p. ej., Hedges y Olkin
el metanálisis proporciona una forma de coordinar los 1985; Hedges 1990; Rosenthal 1991) han desarrollado un
resultados extraídos de muchos estudios sin tener que método cuantitativo para sintetizar los resultados de la
coordinar los estudios mismos. investigación para reemplazar la narrativa de sede. intuición.
Para los historiadores, se crea un género de estudios El metanálisis, esencialmente el "análisis del análisis", es un
completamente nuevo: el estudio de cómo los tamaños de

medio para identificar cuantitativamente las generalizaciones
de una variedad de estudios separados y dispares, y para
los efectos varían con el tiempo, relacionándolos con los cambios históricos.
(Fitz-Gibbon 1985: 46) descubrir insuficiencias en la investigación existente de modo
que se puedan proponer nuevos énfasis para la investigación
McGaw (1997: 371) sugiere que el metanálisis cuantitativo futura. Es simple de usar y fácil de entender, aunque el
reemplaza a la intuición, que con frecuencia se informa de tratamiento estadístico que lo sustenta es algo complejo.
forma narrativa (Wood 1995: 389), como un medio para Implica la cuantificación y síntesis de hallazgos de estudios
sintetizar diferentes estudios de investigación de manera separados sobre alguna medida común, generalmente un
transparente y explícita (un desiderátum en muchos estudios agregado de estimaciones del tamaño del efecto, junto con un
sintéticos: Jackson 1980). ), en particular cuando difieren análisis de la relación entre el tamaño del efecto y otras
sustancialmente. características de los estudios que se sintetizan. Se aplican
Revisiones narrativas, sugieren Jackson (1980), Cook et al. tratamientos estadísticos para atenuar los efectos de otros
(1992: 13) y Wood (1995: 390), son factores contaminantes, por ejemplo, error de muestreo,
propenso a: errores de medición y restricción del rango. Los hallazgos de

la investigación se codifican en categorías sustantivas para
carecen de exhaustividad, son selectivos y solo se dirigen hacer generalizaciones (Glasset al. 1981), de modo que se
a subconjuntos de estudios tergiversación y representación descubre la coherencia de los hallazgos que, a través de los
cruda de los resultados de la investigación confianza medios tradicionales de intuición y revisión narrativa, se
excesiva en las pruebas de significación como un medio habría perdido.
para respaldar las hipótesis, por lo que se pasa por alto el
punto de que el tamaño de la muestra ejerce un efecto
importante en los niveles de significación y se pasa por Fitz-Gibbon (1985: 45) explica la técnica sugiriendo que en
alto el efecto el metanálisis los efectos de las variables se examinan en
Talla términos de su
tamaño del efecto, es decir, en términos de cuánta 4 Estimar los tamaños del efecto mediante cálculo para
diferencia hacen en lugar de solo en términos de si los cada par de variables (variable dependiente e
efectos son o no estadísticamente significativos en algún independiente) (ver Glass 1977), ponderando el
nivel arbitrario como el 5 por ciento. Debido a que, con los tamaño del efecto por el tamaño de la muestra.
tamaños del efecto, se vuelve más fácil concentrarse en el 5 Calcule la media y la desviación estándar de los tamaños
significado educativo de un hallazgo en lugar de tratar de del efecto entre los estudios, es decir, la varianza
evaluar su importancia por su significado estadístico, entre los estudios.
finalmente podemos ver que el significado estadístico se 6 Determinar los efectos de los errores de muestreo,
mantiene en su lugar como solo una de las muchas errores de medición y rango de restricción.
posibles amenazas a la validez interna. . El movimiento 7 Si una gran proporción de la varianza es atribuible a los
hacia la elevación del tamaño del efecto por encima de los problemas del Paso 6, entonces el tamaño del efecto
niveles de significación es muy importante (ver también el promedio puede considerarse una estimación precisa
Capítulo 24), y señala un énfasis en la "idoneidad para el de las relaciones entre las variables.
propósito" (el tamaño del efecto tiene que ser adecuado
para los propósitos del investigador) sobre puntos de corte 8 Si una gran proporción de la variación no es atribuible a
arbitrarios. en los niveles de significación como determinantes de la utilidad.
los problemas del Paso 6, revise las características
El término "metanálisis" se originó en 1976 (Glass 1976) de interés que se correlacionan con los efectos del
y las primeras formas de metanálisis usaban cálculos de estudio.
probabilidades y frecuencias combinadas con las que los
resultados caían en categorías definidas (p. ej., Cocine et al. (1992: 7–12) establecieron un modelo de
estadísticamente significativos en niveles dados), aunque cinco pasos para una revisión integradora como proceso
los problemas de diferentes tamaños de muestra rigor de investigación, que abarca:
confundido (p. ej., muestras grandes darían importancia

1 Formulación del problema, donde un metanálisis de alta
en efectos triviales, mientras que los datos importantes de
calidad debe ser riguroso en su atención al diseño,
muestras pequeñas no se descubrirían porque no
realización y análisis de la revisión.
alcanzaron la significación estadística)
(Light y Smith 1971; Glass et al. 1981; McGaw 1997: 371).
2 Recopilación de datos, donde el muestreo de estudios
Glass (1976) y Glass et al. (1981) sugirió tres niveles de
para revisión tiene que demostrar la idoneidad para el propósito.
análisis:
3 Recuperación y análisis de datos, donde se abordan las
análisis primario de los datos amenazas a la validez en la investigación no
análisis secundario, un nuevo análisis usando experimental, de las cuales la revisión integradora es
diferentes estadísticas un ejemplo. La validez aquí debe demostrar adecuación
metanálisis que analiza estadísticamente los resultados al propósito, confiabilidad en la codificación y atención
de varios estudios para integrar los resultados. al rigor metodológico de las piezas originales de
investigación.
4 Análisis e interpretación, donde los hallazgos acumulados
Vidrio et al. (1981) y Hunter et al. (1982) sugieren ocho de varias investigaciones deben considerarse puntos
pasos en el procedimiento: de datos complejos que deben interpretarse mediante
un análisis estadístico meticuloso.
1 Identificar las variables de enfoque (independientes y
dependientes).
2 Identificar todos los estudios que presentan las variables Fitz-Gibbon (1984: 141–2) establece cuatro pasos para
que interesan al investigador.
realizar un metanálisis:
3 Codifique cada estudio para aquellas características que
podrían predecir los resultados y el tamaño del efecto. 1 Encontrar estudios (p. ej., publicados, no publicados,
(p. ej., edad de los participantes, género, origen revisiones) a partir de los cuales se puedan calcular
étnico, duración de la intervención). los tamaños del efecto.
Capítulo
13
2 Codificación de las características del estudio (por ejemplo,
fecha, estado de publicación, características del diseño,
calidad del diseño, estado del investigador).
3 Medir los tamaños del efecto (por ejemplo, ubicar el grupo
de evitar errores de tipo II (no encontrar efectos que realmente
existen), sintetizar los resultados de la investigación de forma
más rigurosa y sistemática, y generar hipótesis para futuras
investigaciones. Sin embargo, Hedges y Olkin (1980) y Cook
experimental como un puntaje z en la distribución del et al. (1992: 297) muestran que los errores de tipo II se vuelven
grupo de control) para que los resultados se puedan más probables a medida que aumenta el número de estudios
medir en una escala común, controlando los "datos incluidos en la muestra.
grumosos" (datos no independientes de un gran conjunto Además, Rosenthal (1991) ha indicado un método para
de datos) . evitar errores de tipo I (encontrar un efecto que, de hecho, no
4 Correlacionar los tamaños del efecto con variables de existe) que se basa en establecer cuántos estudios no
contexto (p. ej., para identificar diferencias entre estudios publicados que promedian un resultado nulo serían necesarios
bien controlados y mal controlados). para compensar el resultado. grupo de estudios publicados
estadísticamente significativos. Por ejemplo, muestra una
El tamaño del efecto (p. ej., d de Cohen y eta al cuadrado)
proporción de 277:1 de investigación no publicada frente a
son las estadísticas preferidas sobre la significación
publicada, lo que indica el sesgo limitado en la investigación
estadística en los metanálisis, y lo analizamos en la quinta parte.
publicada.
El tamaño del efecto es una medida del grado en que un
fenómeno está presente o el grado en que no se respalda una
El metanálisis no está exento de críticas (por ejemplo, Wolf
hipótesis nula. Wood (1995: 393) sugiere que el tamaño del
1986; Elliott 2001; Thomas y Pring 2004). Wolf (1986: 14-17)
efecto se puede calcular dividiendo el nivel de significación
sugiere seis áreas principales:
por el tamaño de la muestra. Glasset al. (1981: 29, 102) calculan
el tamaño del efecto como: Es difícil sacar conclusiones lógicas de estudios que
utilizan diferentes intervenciones, mediciones, definiciones
(Media del grupo experimental ÿ media del grupo control) de variables y participantes.
Desviación estándar del grupo de control
Los resultados de estudios mal diseñados ocupan su
Hedges (1981) y Hunter et al. (1982) sugieren ecuaciones
lugar junto con los resultados de estudios de mayor
alternativas para tener en cuenta las ponderaciones
calidad.
diferenciales debidas a variaciones en el tamaño de la muestra.
Se favorece la investigación publicada sobre la
Los dos índices de tamaño del efecto que se usan con más
investigación no publicada.
frecuencia son las diferencias de medias estandarizadas y las
Se utilizan múltiples resultados de un solo estudio, lo que
correlaciones (Hunter et al. 1982: 373), aunque se pueden usar
hace que el metanálisis general parezca más confiable de
estadísticas no paramétricas, por ejemplo, la mediana. Lipsey
lo que es, ya que los resultados no son independientes.
(1992: 93-100) establece una serie de pruebas estadísticas
para trabajar sobre los tamaños del efecto, las medias del
Los efectos de interacción se pasan por alto en favor de
tamaño del efecto y la homogeneidad. Queda claro a partir de
los efectos principales.
esto que Glass y otros asumen que el metanálisis se puede
El metanálisis puede tener "consecuencias dañinas" (Wolf
realizar solo para un tipo particular de investigación, el tipo
1986: 16) porque su aparente objetividad y precisión
experimental, en lugar de para todos los tipos de investigación;
pueden disfrazar la invalidez procesal de los estudios.
esto podría limitar su aplicabilidad.
Vidrio et al. (1981) sugieren que el metanálisis es

Wolf (1986) proporciona una respuesta sólida a estas críticas,
particularmente útil cuando utiliza disertaciones no publicadas,
tanto teórica como empíricamente. Wolf (1986: 55-6) también
ya que éstas a menudo contienen correlaciones más débiles
sugiere una secuencia de diez pasos para llevar a cabo
que las reportadas en investigaciones publicadas y, por lo
metanálisis de forma rigurosa:
tanto, actúan como un freno para generalizaciones engañosas
y más espectaculares. El metanálisis, se afirma (Cooper y 1 Aclarar los criterios de inclusión y exclusión de estudios.
Rosenthal 1980), es un medio

2 Búsqueda de estudios no publicados. Una búsqueda sistemática, completa y exhaustiva de

3 Desarrollar categorías de codificación que cubran la estudios relevantes.
gama más amplia de estudios identificados. La especificación y aplicación de criterios claros para
4 Busque efectos de interacción y examine múltiples la inclusión y exclusión de estudios, incluidos los
variables independientes y dependientes por separado. criterios de extracción de datos: publicados; inédito;
detalles de la cita; idioma; palabras clave; apoyo
5 Pruebe la heterogeneidad de los resultados y los efectos de financiero; tipo de estudio (p. ej., centrado en el proceso
los valores atípicos, graficando las distribuciones de los resultados. o en los resultados, prospectivo o retrospectivo);
6 Verifique la confiabilidad de la codificación entre evaluadores. naturaleza de la intervención; características de la
7 Utilice indicadores del tamaño del efecto en lugar de muestra; planificación y procesos del estudio;
significancia estadística. evaluación de resultados.
8 Calcular pruebas y tamaños de efectos no ajustados (en Evaluaciones de la calidad de la metodología utilizada
bruto) y ponderados para examinar la influencia del en cada estudio (p. ej., el tipo de experimento y muestra;
tamaño de la muestra en los resultados encontrados. informe de las medidas de resultado).
9 Combinar métodos de revisión cualitativos y La especificación de estrategias para reducir el sesgo
cuantitativos. en la selección y revisión de estudios.
10 Informar las limitaciones de los metanálisis realizados. Transparencia en la metodología adoptada para la
revisión de los estudios.
Se puede agregar a esto la necesidad de especificar las Gorard (2001) reconoce que la subjetividad puede entrar en
preguntas de investigación que se formulan, los marcos el metanálisis. Dado que mucho depende de la calidad de
conceptuales que se utilizan, los protocolos de revisión que los resultados que se van a sintetizar, existe el peligro de
se siguen, las estrategias de búsqueda y recuperación que que los adherentes simplemente multipliquen las
se utilizan y las formas en que se obtienen las síntesis de insuficiencias de la base de datos y los límites de la muestra
los hallazgos de varios estudios. juntos (Thomas y Pring (por ejemplo, tratando de comparar lo incomparable).
2004: 54–5). Cazador et al. (1982) sugieren que se debe abordar el error
Gorard (2001: 72–3) sugiere un modelo de cuatro pasos de muestreo y la influencia de otros factores, y que debe
para realizar un metanálisis: representar menos del 75 por ciento de la variación en los
1 Recopile todos los estudios apropiados para su inclusión. tamaños del efecto observados si se quiere que los
resultados sean aceptables y se puedan codificar en
2 Ponderar cada estudio 'según su tamaño y calidad'. categorías. .

El problema es claro aquí: las categorías de codificación
3 Enumere las medidas de resultado utilizadas. deben declarar su nivel de precisión, su confiabilidad (p.
4 Seleccione un método de agregación, según la naturaleza ej., confiabilidad entre codificadores, el equivalente a la
de los datos recopilados (p. ej., contando los estudios confiabilidad entre evaluadores, consulte el Capítulo 6) y
en los que apareció un efecto y aquellos en los que no validez (McGaw 1997: 376–7).
apareció, o calculando el tamaño medio del efecto Ante la acusación de que el sesgo de selección será tan
entre los estudios). fuerte en el metanálisis, que abarca tanto la investigación
publicada como la no publicada, como en la investigación
únicamente publicada, Glass et al. (1981: 226-29) argumentan
Evans y Benefield (2001: 533–7) establecieron seis
que es necesario contrarrestar las afirmaciones groseras
principios para realizar revisiones sistemáticas de la
hechas en investigaciones publicadas con afirmaciones
evidencia:
más cautelosas que se encuentran en investigaciones no publicadas.
Una especificación clara de la pregunta de investigación Porque el modo cuantitativo de (muchos) estudios exige
que se está abordando. solo unas pocas variables comunes
Capítulo
13
medirse en cada caso, explica Tripp (1985), la
acumulación de los estudios tiende a aumentar el
tamaño de la muestra mucho más que la complejidad
de los datos en términos de número de variables. El
muchos estudios débiles pueden sumarse a una
conclusión fuerte, y que las diferencias en el tamaño
de los efectos experimentales entre estudios de alta
y baja validez son sorprendentemente pequeñas
metanálisis corre el riesgo de intentar sintetizar (Glass et al. 1981: 221, 226).
estudios que no son lo suficientemente similares Además, Wood (1995: 296) sugiere que el
entre sí para permitir esto con alguna legitimidad metanálisis simplifica demasiado los resultados al
(Glass et al. 1981: 22; McGaw 1997: 372) que no sea concentrarse en los efectos generales y descuidar la
en un nivel de generalidad poco útil. interacción de las variables que intervienen. A la
La analogía aquí podría ser tratar de mantener juntos acusación de que, debido a que los metanálisis se
el aceite y el agua como "líquidos"; los metaanalistas realizan con frecuencia en grandes conjuntos de
argumentarían que las diferencias entre los estudios datos en los que se derivan múltiples resultados del
y sus relaciones con los hallazgos se pueden mismo estudio (es decir, que los datos no son
codificar y abordar en el metanálisis. Eysenck (1978) independientes) y, por lo tanto, no son confiables,
sugiere que los primeros estudios de metaevaluación Glass et al. (1981: 153-216) indican cómo se puede
mezclaron manzanas con naranjas. Morrison (2001b) abordar esto mediante el uso de técnicas sofisticadas
pregunta: de análisis de datos. Finalmente, una preocupación
práctica es el tiempo requerido no solo para usar los
¿Cómo podemos estar seguros de que el
estudios fáciles de descubrir (típicamente estudios
metanálisis es justo si las hipótesis de los
publicados a gran escala) sino también para incluir
experimentos separados no eran idénticas, si las
los estudios no publicados a menor escala; el efecto de ignorar este ú
hipótesis no eran operacionalizaciones de los
Es la búsqueda tradicional de generalizaciones de
constructos idénticos, si la realización de los ECA
cada estudio cuantitativo lo que más ha dificultado
separados (por ejemplo, marcos de tiempo,
el desarrollo de una base de datos adecuada para
intervenciones y programas, controles ,
reflejar la complejidad de la naturaleza social de la
constitución de los grupos, características de los participantes, medidas utilizadas) no eran idénticos?
educación. Los efectos acumulativos de los estudios
(Morrison 2001b: 78)
experimentales "buenos" y "malos" se ilustran
Aunque Glass et al. (1981: 218-20) abordan este tipo gráficamente en el cuadro 13.6.
de cargos, sigue siendo cierto (McGaw 1997) que
existe el riesgo en el metanálisis de tratar
Un ejemplo de metanálisis en la
indiscriminadamente con un cuerpo grande y, a
investigación educativa
veces, incoherente de literatura de investigación.
Tampoco está claro cómo el metanálisis diferencia Glass y Smith (1978) y Glass et al. (1981: 35-44)
entre una investigación 'buena' y una 'mala', por identificaron 77 estudios empíricos de la relación
ejemplo, entre investigación metodológicamente entre el tamaño de la clase y el aprendizaje de los alumnos.
rigurosa y mal construida (Cook et al. 1992: 297). Estos estudios arrojaron 725 comparaciones de los
Smith y Glass (1977) y Levaciÿ c y ´ Glatter (2000) logros de clases más pequeñas y más grandes, las
sugieren que es posible utilizar los resultados de un comparaciones se basan en datos acumulados de
estudio, independientemente de su calidad casi 900.000 alumnos de todas las edades y aptitudes
metodológica, aunque Glass y Smith (1978) y Slavin que estudian todo tipo de materias escolares.
(1984a, 1984b), en un estudio de los efectos del Utilizando el análisis de regresión, las 725
tamaño de la clase, indican que la calidad comparaciones se integraron en una única curva
metodológica hace una diferencia. Vidrio et al. (1981: que mostraba la relación entre el tamaño de la clase
220-6) abordan efectivamente la acusación de utilizar y el rendimiento en general. Esta curva reveló una
datos de estudios "pobres", argumentando, entre otros puntos, que
relación inversa definida entre el tamaño de la clase y el aprendizaje d
Recuadro 13.6
Tamaño de la clase y aprendizaje en estudios bien controlados y mal controlados
90
Estudios bien controlados
Estudios mal controlados
80
70
percentiles
rangos
Logro
en
60
50
10 20 30 40
Tamaño de la clase
Líneas de regresión para la regresión del rendimiento (expresado en rangos percentiles) sobre el tamaño
de la clase para estudios que fueron bien controlados y mal controlados en la asignación de alumnos a las clases.
Fuente: adaptado de Glass y Smith 1978
Cuando los investigadores derivaron curvas similares afectó sustancialmente la curva: si el estudio original
para una variedad de circunstancias que, según su controló adecuadamente en el sentido experimental las
hipótesis, alterarían la relación básica (por ejemplo, nivel diferencias iniciales entre alumnos y maestros en clases
de grado, materia enseñada, habilidad del alumno, etc.), más pequeñas y más grandes.
prácticamente ninguna de estas circunstancias especiales Las curvas de control adecuadas e inadecuadas se
alteró la relación básica. solo un factor establecen en el Cuadro 13.6. 4

EXPERIMENTOS

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

EXPERIMENTOS

Cargado por

Copyright:

Formatos disponibles

Machine Translated by Google

Introducción causas y someterlas a la autoridad correspondiente en

DISEÑOS DE GRUPOS CO-RELACIONALES Y DE CRITERIO 265

pretende transformar un diseño de investigación no no se enseña enseñanza

experimental en una forma pseudoexperimental. difíciles clases secundarias

sujetos que difieren en una variable independiente (por años 30–

en una gama de variables independientes, por ejemplo,

266 INVESTIGACIÓN EX POST FACTO

Si, por ejemplo, un investigador elige un diseño de

CARACTERÍSTICAS DE LA INVESTIGACIÓN EX POST FACTO 267

268 INVESTIGACIÓN EX POST FACTO

Los diseños probablemente se conciban mejor de el enfoque experimental no es posible. En el caso

DISEÑO DE UNA INVESTIGACIÓN EX POST FACTO 269

A menudo basa sus conclusiones en una muestra o

presente y puede representarse así: C O2

Usando este modelo, el investigador plantea la hipótesis

270 INVESTIGACIÓN EX POST FACTO

PROCEDIMIENTOS EN LA INVESTIGACIÓN EX POST FACTO 271

Introducción efecto de ese cambio en otra variable, llamada

Variables independientes y dependientes Capítulo

Fuente: Kgaile y Morrison 2006

274 EXPERIMENTOS Y META-ANÁLISIS

VERDADEROS DISEÑOS EXPERIMENTALES 275

uno o más grupos de control

276 EXPERIMENTOS Y META-ANÁLISIS

y, por lo tanto, inferir causalidad es más discutible, pero Recuadro 13.2

El control pretest-postest y el diseño de

Una exposición completa de los diseños experimentales

Experimental RO1 X O2 y elegante, que todas las amenazas a la validez interna

VERDADEROS DISEÑOS EXPERIMENTALES 277

278 EXPERIMENTOS Y META-ANÁLISIS

y luego centrarse solo en algunos de estos es perder http://www.routledge.com/textbooks/

VERDADEROS DISEÑOS EXPERIMENTALES 279

4 Administrar el tratamiento/intervención experimental al

El diseño de pares combinados

Borg y Gall (1979) llaman la atención sobre la necesidad de

280 EXPERIMENTOS Y META-ANÁLISIS

VERDADEROS DISEÑOS EXPERIMENTALES 281

Los diseños factoriales también deben tener en

El diseño paramétrico Diseños de medidas repetidas

Efectos de interacción en un experimento.

282 EXPERIMENTOS Y META-ANÁLISIS

diseño, y ofrece un potencial de control considerable, ya que www.routledge.com/textbooks/9780415368780 – Capítulo 13,

UN DISEÑO CUASI-EXPERIMENTAL: EL DISEÑO DEL GRUPO DE CONTROL NO EQUIVALENTE 283

investigador en atribuir la causa de las diferencias O1 ÿ

Un diseño cuasi-experimental: el diseño de

pueden interesarse en reflexionar sobre algunas posibles Control O3 O4

284 EXPERIMENTOS Y META-ANÁLISIS

PROCEDIMIENTOS PARA REALIZAR INVESTIGACIONES EXPERIMENTALES 285

Fuente: adaptado de Kazdin 1982

286 EXPERIMENTOS Y META-ANÁLISIS

Un diseño ABAB en un entorno educativo

Base Tratamiento Inversión Tratamiento

5 diurno diurno límite diurno diurno límite

DRL, refuerzo diferencial de tipos bajos

Fuente: Kazdin 1982

EJEMPLOS DE INVESTIGACIÓN EDUCATIVA 287

288 EXPERIMENTOS Y META-ANÁLISIS

para representar diseños de investigación, podemos ilustrar el estudio de Botswana como:

INVESTIGACIÓN EDUCATIVA BASADA EN EVIDENCIA Y META-ANÁLISIS 289

de enseñanza modificadas al grupo experimental, los tres

investigación de Bhadwal y Panda se puede representar como: sus exámenes anuales.

290 EXPERIMENTOS Y META-ANÁLISIS

método de investigación utilizado, reuniendo en esta área se encuentran Fitz-Gibbon (1996;