MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN 1

PRUEBAS DE SIGNIFICANCIA Y LA HIPÓTESIS NULA...... 2

Aspectos básicos......................................................................... 2
Nivel de significancia (alfa) ....................................................... 4
Potencia ...................................................................................... 5
Formas de aumentar la potencia................................................. 8
TEMAS ESPECÍFICOS EN EL ANÁLISIS DE DATOS ..... 11
Análisis que implican comparaciones múltiples ...................... 11
Resultados múltiples: análisis multivariados y univariados..... 13
UNIDAD III. Análisis de datos y diseño del estudio...................................... 14
OBJECIONES A LAS PRUEBAS DE SIGNIFICANCIA
ESTADÍSTICA........................................................................... 15
MÉTODOS DE INVESTIGACIÓN Interpretación de las pruebas estadísticas................................. 15
Pruebas de hipótesis nula ......................................................... 16
Réplica y conocimiento acumulativo ....................................... 16
ALTERNATIVAS 0 COMPLEMENTOS A LAS PRUEBAS DE
SIGNIFICANCIA........................................................................ 17
Magnitud y fuerza del efecto.................................................... 17
Intervalos de confianza............................................................. 18
Metanálisis................................................................................ 19
Comentarios Generales............................................................. 20
Lectura 3
SIGNIFICANCIA CLÍNICA: EVALUACIÓN DE LOS EFECTOS
Kazdin, A. (2001). Métodos de Investigación en DE LA INTERVENCIÓN............................................................ 20
Psicología Clínica. Prentice Hall. Métodos de comparación.......................................................... 21
Evaluación subjetiva................................................................. 24
Cap. 14, Métodos Estadísticos de
Medidas del impacto social ...................................................... 26
Evaluación de Datos. Pp 355-395
Comentarios generales ............................................................. 27
RESUMEN Y CONCLUSIONES................................................ 28

Para profundizar en este tipo de contenidos consulte la obra:

Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.

UNIDAD III MÉTODOS DE INVESTIGACIÓN.

MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN 2

Suponiendo que se ha diseñado y realizado el estudio, recopilado datos pruebas convencionales de la hipótesis nula. Además de las pruebas de
de múltiples medidas, realizado con detalle todos los controles posibles, hipótesis nula y la búsqueda de la significancia estadística, las técnicas
ahora estamos listos para que en nuestros propios laboratorios estadísticas se usan en psicología clínica para evaluar la implicación
encontremos cuáles fueron los efectos. AI fin estamos listos para clínica o la importancia de los efectos o cambios. También se analizan los
analizar los datos estadísticamente. La evaluación estadística se refiere métodos para evaluar la implicación clínica de los resultados.
al uso de técnicas cuantitativas para describir los datos u obtener
inferencias acerca de los efectos; es decir, si es probable que se deban PRUEBAS DE SIGNIFICANCIA Y LA HIPÓTESIS NULA
al azar o a un efecto verídico. Algunos de los aspectos de la evaluación
estadística que influyen en la posibilidad de obtener conclusiones es la Aspectos Básicos
validez por conclusión estadística. La evaluación cuantitativa del estudio
depende no sólo del hecho de aplicar simplemente algunas pruebas. La
En algún tiempo no existieron las pruebas estadísticas ni la evaluación
investigación actual en psicología y en otras ciencias se basa
estadística, probablemente esta afirmación refleje mi pobre conocimiento.
primordialmente en probar la hipótesis nula y la búsqueda de efectos
Sin duda, uno de los primeros usos de las pruebas estadísticas, como
estadísticamente significativos. La mayoría de los artículos publicados
muchos otras en sus inicios, se pueden remontar a los antiguos griegos y
en revistas utilizan esta aproximación (reflejada en las secciones de
en especial quizás basta Aristóteles. La primera evaluación estadística
"resultados", anotando (fases conocidas como: "los resultados son o no
surgió cuando la madre de Aristóteles jugaba con el a las monedas y, con
estadísticamente significativos"). Dominar la metodología de la
las dos manos cerradas le preguntaba: "Ari, ¿cuál mano tiene más
investigación requiere comprenderlas características centrales de la
dracmas? Si adivinas correctamente, la puedes quedar con el dinero de
evaluación estadística en cuando que influye en el diseño de los
esa mano"; Ari contestó: "ésa es una pregunta capciosa, mami, aunque
experimentos y obtener inferencias válidas. Por tanto, este capítulo
una mano tiene tres monedas y la otra tiene una moneda, los dos
refiere conceptos básicos y prácticas relacionadas con la evaluación
números no son realmente diferentes estadísticamente hablando". La
estadística de los datos.
mamá de Aristóteles ni tarda ni perezosa (después de todo hablaba el
antiguo griego con soltura,), rápidamente contestó: "Si no son diferentes,
Desde la aparición de la evaluación estadística ha habido
entonces déjame darte lo que está en esta mano", en ese momento le dio
desaprobación respecto a la aproximación de las pruebas de la
la moneda que estaba sola. (Aristóteles pronto aprendió que se puede
hipótesis nula. La desaprobación continúa en la actualidad con
aceptar la hipótesis nula, no hay diferencia, cuando no es realmente muy
recomendaciones para eliminar las pruebas de significancia estadística
prudente hacerlo.) En cualquier caso, considerar la significancia
o por lo menos de complementarlas con otras índices (Kirk, 1996;
estadística como criterio para tomar decisiones fue una gran contribución
Schmidt, 1996b; Shrout, 1997). Es importante comprender la
a la ciencia, lo cual le agradecemos a Aristóteles, Mostrar que aun
insatisfacción porque existen mitos acerca de lo que quieren decir las
cuando no hay diferencia estadística puede haber una diferencia real e
pruebas de significancia. Además, la práctica de las pruebas de
importante, es también una gran contribución, por lo que damos las
significancia puede hasta disminuir la cantidad de conocimiento que se
gracias a la mamá de Ari.
puede obtener. Así, para entender las aproximaciones convencionales
referentes a la evaluación de los datos, es importante analizar los
Adelantándonos un poco en el tiempo y en la historia que no es ficción, es
límites de estas aproximaciones. Más que eso, hay métodos
conveniente detenerse en los años veinte y treinta. Durante ese periodo,
alternativos de evaluación estadística de los datos que continúan siendo
los estadistas instrumentaron prácticas que tienen gran influencia en los
sugeridos para evitar el uso de las pruebas de significancia. En este
métodos estadísticos de evaluación en psicología y, por supuesto, en las
capítulo se analizan aspectos fundamentales y prácticas de la
ciencias en general (Fisher, 1925; Neyman y Pearson, 1928). Las prácticas
evaluación estadística convencional, problemas con las pruebas de
incluyen las pruebas estadísticas actuales, así como conceptos
significancia estadística y estrategias para complementar o suplir las,
fundamentales, como plantear una hipótesis nula (no hay diferencias
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.

UNIDAD III MÉTODOS DE INVESTIGACIÓN.

MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
entre los grupos) y considerar las pruebas de significancia para
determinar si la diferencia obtenida en la muestra tiene la suficiente
magnitud para rechazar esta hipótesis. Una meta era proporcionar un
objetivo o al menos un criterio establecido (niveles de significancia) que
puede usarse para decidir si es probable que los resultados en un
estudio particular se deban al azar, esto es, a la fluctuación normal y
diferencias en el muestreo y a las diferencias que es probable se
produzcan en tales fluctuaciones. Desde esta aproximación, surgieron
todo tipo de problema, como la potencia, el tamaño del efecto,
aleatoriedad y otras que probablemente son tan desagradables que
tenemos que disfrazar sus verdaderos nombres (errores de Tipo 1 y
Tipo II).
La variedad de características de las pruebas de significancia son lo
suficientemente claras para la mayoría de los individuos que no
necesitan ser explicadas. En esencia, en la mayor parte de la
investigación, la evaluación estadística analiza si los grupos que difieren
en una variable independiente particular (por ejemplo, condiciones
diferentes) pueden distinguirse estadísticamente en las medidas
dependientes. La evaluación estadística consiste en aplicar una prueba
para evaluar si es probable que la diferencia obtenida en la medida de-
pendiente haya ocurrido por azar. Usualmente, se selecciona un nivel
de confiabilidad (como .05 o .01) como un criterio para determinar si los
resultados son estadísticamente significativos. Una diferencia
estadísticamente significativa indica que el nivel de probabilidad es igual
o menor al nivel de confiabilidad seleccionado, por ejemplo, p .05. Esto
significa que si el experimento se realizara 100 veces, habría
probabilidades de que ocurriera una diferencia de la magnitud
encontrada en la variable dependiente sólo cinco veces en función del
azar. Si la probabilidad obtenida en el estudio es más baja que .05, la
mayoría de los investigadores rechazarían la hipótesis nula y admitirían
que las diferencias entre los grupos muestran una relación verdadera
entre las variables independiente y dependiente.
Afirmar que una relación en un experimento es estadísticamente
significativa no quiere decir que hay necesariamente un efecto
verdadero (es decir, que existe una relación entre las variables
estudiadas). Hasta una diferencia estadísticamente significativa pudiera
ser el resultado de suceso del azar a causa del muestreo de los sujetos
y de otras factores. El azar es la hipótesis contraria que nunca se puede
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
3
descartar completamente. No obstante, es común encontrar entre los
investigadores un acuerdo que cuando la probabilidad producida por una
prueba estadística es tan baja como .05 o .01, hay un nivel
suficientemente conservador para mantener la confianza que permite a
uno concluir que existe una relación entre las variables independiente y
dependiente.
Fundamentalmente, la evaluación estadística proporciona un criterio para
diferenciar los efectos probablemente verídicos de los posiblemente
azarosos. Aunque, puede influir la subjetividad y los sesgos en el
proceso de la evaluación estadística, por ejemplo, por lo que se refiere a
las pruebas que se aplican y los criterios de significancia estadística, el
objetivo de las estadísticas es proporcionar un método relativamente
libre de sesgos y consistente para interpretar los resultados. El uso
frecuente de las estadísticas no implica que el acuerdo sobre su valor
sea universal. Han sido cuestionados diversos aspectos de la
evaluación estadística, tales como: (1) el criterio arbitrario que
representa un nivel particular de confiabilidad, como: p <. 05; (2) la toma
de decisiones de todo o nada a la que se llega con base en ese criterio;
(3) la ausencia de información respecto a la fuerza o valor práctico de la
relación entre la variable independiente y dependiente, sin considerar si
se obtiene significancia estadística; y (4) la probabilidad de que la
hipótesis nula en la. cual se basan las pruebas realmente no sea
verdadera (Chow, 1988; Kupfersmid, 1988; Meehl, 1978). A pesar de
estos cuestionamientos, la prueba de hipótesis y la evaluación
estadística siguen dominando la investigación para identificar las
relaciones entre variables.
La evaluación estadística proporciona criterios consistentes para
determinar si un efecto se va a considerar como verdadero. Esta
ventaja es muy importante. Como investigadores perdemos de vista
esta ventaja porque no consideramos aquellas influencias que no están
basadas en investigación y las justificaciones en las cuales están
bastante alejados los cánones de ésta. Las pretensiones de un
tratamiento efectivo, por ejemplo, para bajar de peso o reducir el
consumo de cigarros, como se sugiere en libros comerciales, artículos
de revistas y los nuevos aparatos para hacer ejercicio (para endurecer
los músculos del estómago, las "abdominales"), rara vez se basan en
métodos experimentales y de evaluación estadística. Las bases para la
evaluación son los testimonios de quienes proponen las técnicas o
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
aquellos que han participado en los programas. Seria valioso en estos
casos aplicar métodos experimentales y evaluar los resultados
estadísticamente.
Por otra parte, se requiere significancia estadística, en parte porque
de otra manera no es claro en muchas situaciones (de hecho en
mayoría) si los efectos están más allá de los cambios, diferencias o
variaciones que serían evidentes por azar o sin una intervención. Sin
embargo, claramente hay algunas situaciones en las que no se
necesita la evaluación estadística. Analizamos cambios evidentes en
el capítulo sobre los estudios de caso y los diseños simples en que se
utilizan criterios no estadísticos en la evaluación los datos, en parte
para ayudar a detectar solamente los cambios que son evidentes. En
general, ya sea para la investigación en grupo o de un solo caso, los
cambios muy marcados podrían ser tan contundentes que no habría
(duda de que algo importante, confiable y verdadero sucedió, el tipo
de cambios a los que se denomina efectos "de golpe" (Gilbert, Light y
Mosteller, I975). La claridad de los resultados puede relacionarse
tanto con el grado de impacto como con la confianza que se pueda
tener en su medición. Por ejemplo, si consideramos un tratamiento
especifico para tres individuos enfermos terminales que sobrevivan
después del tratamiento, y otras tres que no lo hubieran recibido
murieran. Las características de esta demostración -la claridad de la
medida dependiente, el resultado predicho sin tratamiento y las
amplias diferencias en los resultados— la hacen convincente, aunque,
como siempre, es importante reproducirlo. No obstante, la mayoría de
las situaciones de las cuales, deseamos obtener conclusiones no
muestran efectos "de golpe", por tanto, es importante usar algún
criterio para decidir si es probable que los resultados, diferencias o
cambios dentro o entre los grupos se deban al azar o a las
fluctuaciones aleatorias en las muestras. La significancia estadística
se diseña para servir a este propósito.
Considerar la evaluación estadística no significa que proporcione la
"respuesta" o la "verdad real". La evaluación estadística está sujeta a
todo tipo de abusos, ambigüedades, malas interpretaciones y
subjetividad. Los diferentes métodos para analizar los mismos datos
pueden llevar a diferentes conclusiones, aun con variaciones al
parecer menores en puntos de decisión y criterios predeterminados en
los análisis. Sin embargo, una ventaja es que a menudo las
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
4
ambigüedades pueden hacerse explícitas, se les puede estudiar y
comprender. Lo explícito de los procedimientos estadísticos nos ayuda
a cuestionar y comprender los limites de las conclusiones.
La evaluación estadística se enfatiza en gran medida en psicología, en
efecto, a menudo la significancia estadística se considera la prueba
definitiva acerca de si las variables bajo investigación son importantes o
si vale la pena darles continuidad. Sin embargo, la significancia
estadística es una reunión de muchas características diferentes de un
experimento, sólo una de las cuales se presenta si hay una relación
entre las variables independiente y dependiente. Examinar la
significancia estadística depende de múltiples conceptos
interrelacionados. El investigador debería conocer los conceptos, de
qué manera se interrelacionan, y cómo se controlan. En la siguiente
sección consideramos conceptos fundamentales, lo que significan, y lo
que el experimentador puede hacer para maximizar la probabilidad de
demostrar un efecto, cuando de hecho hay una diferencia.
Nivel De Significancia (Alfa)
El nivel de significancia (alfa) es bien conocido en la evaluación
estadística de los datos, como un criterio para tomar decisiones. La
tradición nos ha llevado a usar un alfa de p < .05 y .01 para tomar
decisiones ¿Serán estadísticamente significativos los resultados del
experimento? Entre los determinantes de la respuesta se encuentra el
número de sujetos por grupo en el estudio. Puede suponerse que los
grupos nunca (o casi nunca) tendrán medias idénticas en las medidas
de los resultados, simplemente a causa de las fluctuaciones normales y
las diferencias en el muestreo. Aun si la diferencia observada no es
estadísticamente significativa, el investigador puede estar seguro de
que la misma magnitud o diferencia entre grupos podrían ser
estadísticamente significativa o mucho más cerca de la significancia
estadística, si se usara el mismo número de sujetos dos o tres veces.
La significancia estadística está en función directa del tamaño de la
muestra. Es decir, entre mayor sea el tamaño de la muestra, menores
diferencias de los grupos se necesitan para la significancia estadística de
un nivel de confianza dado. Dicho de otra manera, una diferencia dada
entre dos grupos se aproximará gradualmente a la significancia estadís-
tica al incrementar el tamaño de las muestras dentro de cada grupo. En
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
efecto, la significancia estadística está virtualmente asegurada si se
usa mayor número de sujetos. (La importancia del tamaño de la
muestra en relación con la significancia estadística es bastante
evidente en las relaciones. Con una muestra de 40,000 sujetos, es
significativa una correlación de r = .01 en el nivel .05) Cuando
comenzaron los estudios psicológicos en la milicia, se realizaron
pruebas a gran escala en donde se consideraron miles de sujetos.
Invariablemente, los investigadores informaron que la significancia
estadística estaba virtualmente garantizada sin importar qué variables
se estudiaran (Bakan, 1966; Nunnally, 1960). Las muestras más
grandes sugieren la probabilidad de que las pequeñas diferencias,
triviales o por azar, lleven a la conclusión de que los resultados son
estadísticamente significativos.
Potencia
El problema. La potencia (grado al cual un investigador puede
detectar una diferencia cuando ésta exista) se analizó en un capítulo
anterior. Es importante considerar nuevamente el tema, porque la
potencia baja es el talón de Aquiles de la investigación psicológica. Es
decir, si vamos a usar pruebas de significancia estadística para
evaluar los resultados, es indispensable asegurar que exista una
oportunidad (potencia adecuada) para demostrar una diferencia
cuando ésta exista. El nivel de potencia que se identifica como
"adecuado" no se justifica o se deriva matemáticamente. Como con el
nivel de confiabilidad (alfa), la decisión se basa en un acuerdo sobre el
margen de seguridad que uno debería tener en contra de aceptar la
hipótesis nula cuando de hecho sea falsa (beta). Cohen (1988)
recomendó la adopción de la convención beta = .20 y por tanto la
potencia (1 – beta) = .80 cuando alfa = .05. Esto se traduce como la
probabilidad de 4 en 5 al detectar un efecto cuando exista una
diferencia en la población. Aunque aquí se usa una potencia mayor a
.80 como criterio, a menudo se alientan niveles más altos (.90, .95)
como el criterio aceptable (Friedman y cols., 1978; Friedman, Furberg
y DeMets, 1985).
Dentro de las revisiones de las diversas áreas de la especialidad de la
psicología y otros campos, también se ha mostrado que la mayoría de
los estudios presenta una potencia adecuada para identificar
diferencias (Cohen, 1992; Rossi, 1990; Sedlmeler y Gigerenzer, 1989).
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
5
Incluso, las repetidas advertencias acerca del problema y las recomen-
daciones consistentemente claras para rectificar el problema han tenido
poco o ningún impacto sobre la investigación. (El valor de este trabajo
en relación con la psicología clínica ha sido mostrar que la perspicacia y
tener conciencia dentro de un problema a menudo no son muy potentes
las intervenciones para cambiar el problema.) No obstante, es importante
expresar las dificultades.
La potencia débil o insuficiente no es un problema menor o simplemente
una preocupación por malinterpretar un estudio en particular. Las
diversas áreas de investigación pueden caracterizarse por la potencia
débil y las conclusiones que estas áreas han generado se pudieran
atribuir a esta característica. Por ejemplo, anteriormente se consideró el
trabajo en la investigación sobre los resultados de la psicoterapia, en la
que los tratamientos usualmente no difieren uno de otro. Una conclusión
de que los tratamientos no son diferentes (es decir, apoyar la hipótesis
nula) a menudo se entiende como indicador de que los tratamientos son
igualmente efectivos. Sin embargo, en mucha de la investigación en
psicoterapia, la potencia débil es una interpretación contradictoria a
causa del reducido tamaño de las muestras (de 10-20 casos por grupo)
(Kazdin y Bass, 1989).
Relación con alfa, el tamaño del efecto y el tamaño de la
muestra. Se ha analizado el punto de variación de cuatro conceptos
diferentes de la estadística inferencial, el criterio de significancia
estadística (alfa), el tamaño del efecto (TE), el tamaño de la muestra y la
potencia. Estos conceptos están interrelacionados en el sentido de que
cuando tres de éstos se especifican, con el que queda puede tomarse
una decisión. El análisis de estas interrelaciones es importante porque
nos permite considerar todo tipo de opciones en un experimento, como
el nivel de potencia (dado un nivel específico de alfa, TE y una N fija),
cuál TE se necesita (si se predeterminan alfa, la potencia y el tamaño
de la muestra), etcétera. El uso más frecuente de esta información es
decidir cuántos sujetos incluir en un estudio. Así, para identificar el
tamaño de nuestra muestra, necesitamos tomar decisiones para fijar
los otros tres parámetros, alfa, potencia y TE. En este caso, adoptemos
un alfa de .05 para adherirnos a los criterios tradicionales. Respecto al
nivel de potencia, podríamos también seguir este mismo criterio y
aceptar una potencia de .80. Ahora debemos estimar el TE, ¿cómo lo
podemos hacer? La fórmula para el TE requiere que tengamos un
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN 6

conocimiento sobre la diferencia entre los grupos en las variables los grupos.
dependientes de interés y la desviación estándar (TE = m, – m2)/s).
De cualquier modo, suponga que por alguno de los métodos antes
En realidad, en muchas áreas de investigación se ha estudiado el TE. mencionados consideramos que la probabilidad del TE es alrededor de
El procedimiento de análisis secundario, que se denomina metanálisis, .50. Tenemos que alfa = .05, la potencia = .80 y el TE estimado en .50.
se ha usado ampliamente para evaluar diversas áreas de En este punto, podemos revisar las tablas de potencia en varios libros
investigación (Cook y cols., I992). Los metanálisis proporcionan (Cohen, 1988; Kraemer y Thiemann, 1987). A manera de ejemplo, in
estimaciones del TE para la investigación en un área determinada. El tabla 14.1 reproduce partes de una tabla de potencia para comparar dos
TE se usa como una métrica común para combinar los estudios que medias, usando un alfa de .05. La columna marcada n es el número de
usan variables dependientes diferentes. Podemos consultar dichos casos por grupo; cruzando la parte superior de la tabla está d(TE),
análisis para identificar los TE probables para el estudio que vamos a cada columna representando un TE diferente. Las anotaciones dentro
llevar a cabo. Por ejemplo, si estamos a punto de realizar un estudio de la tabla reflejan la potencia. Por ejemplo, si observamos la tabla en
de psicoterapia que compara recibir tratamiento con no recibirlo, la columna con TE - .50 tenemos una idea de cómo funciona la tabla.
podemos estimar el TE a partir de los muchos matanálisis de la AI bajar por la columna, estamos buscando .80, que es la potencia
psicoterapia ([Brown, 1987; Roth y Fonagy, 1996; Welsz y Welss, que nos convendría para nuestro estudio. La tabla está marcada
1993). El TE para tales comparaciones tiende a ser alrededor de .70. para mostrar .80 y la línea horizontal que se mueve hacia la
De manera alternativa, si estamos comparando dos o más izquierda muestra la n que necesitamos. Cuando alfa - .05, TE - .50,
tratamientos mutuamente, sabemos que es probable que los TE sean y la potencia deseada es .80, necesitamos 64 sujetos por grupo (es
más pequeños (en el rango de .40 – .60) El punto es que las decir, N - 128).
estimaciones del TE se pueden obtener de la investigación publicada
que incluya estudios individuales o, de manera más conveniente, de TABLA 14.1 Tabla de potencia de la muestra: potencia, tamaño de
los matanálisis. El tamaño del efecto varía entre medidas; así, no hay del efecto para una
un solo TE. Incluso, es conveniente estimar, antes del estudio, la Potencia de la prueba t de m1 = m2 al .05
probabilidad de TE para las principales medidas dependientes. d
n .10 .20 .30 .40 (50) .60 .70 .80 1.00 1.20 1.40
Cuando no se dispone de estudios individuales o metanálisis, el TE 10 06 07 I0 13 I8 24 31 39 56 71 84
45 56 75
puede estimarse con base en la razón. El investigador puede no 15
20
06
06
08
09
I2
I5
18
23
26
33
35
45 58 69 87
88
96
96
99
considerar otros antecedentes para el tipo de trabajo que va a realizar. 25 06 IP I8 28 4I 55 68 79 93 99
(Efectivamente, se tiende a creer esto de muestra investigación.) El 30
31 07 12 2I
33
34
47
42
63
64
76
77
86
87
97
97
investigador tendrá que descifrar si el TE es pequeño, mediano o 32 07 12 22 35 (50) 65 78 88 98
grande. Cohen (1988) proporcionó unas guías que se consideran un
33 07 13 22 36 5I 67 80 89 98
tanto arbitrarias, pero bastante útiles en este sentido, considerando 34 07 13 23 37 53 68 81 90 98
que los TE corresponde a .20, .50 y .80, respectivamente. Es (útil 35 07 13 23 38 54 70 82 91 98
seleccionar una estimación conservadora. Si el investigador es nuevo 36 07 13 24 39 55 71 83 92 99
37 07 14 25 39 56 72 84 92 99
en un área de investigación (primer o segundo estudio), 38 07 14 25 40 57 73 85 93 99
probablemente la fuerza de la manipulación experimental y muchas 39
40
07
07
14
14
26
26
41
42
58
60
74
75
86
87
94
94
99
99
fuentes de variabilidad puedan no serle familiares y, por tanto, difíciles 42 07 15 27 44 62 77 89 95 99
de controlar. En esos casos, es probable que el investigador esté 44
46
07
08
15
16
28
30
46
48
64
66
79
81
90
91
96
97
demasiado optimista acerca del TE que espera lograr y puede 48 08 16 31 49 68 83 92 97
subestimar las fuentes (de variabilidad que atenúan las diferencias de 50 08 17 32 50 70 84 93 98
52 08 17 34 51 71 86 94 98
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.

UNIDAD III MÉTODOS DE INVESTIGACIÓN.

MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN 7

54 08 I8 34 53 73 87 95 98 que realizo. Diseñar una prueba potente es realmente importante

56 08 I8 35 55 74 88 96 99
58 08 19 36 57 76 89 96 99 para obtener la prueba más sensible que sea posible. Si uno se
60 08 19 37 58 90 97 99 adhiere a la tradición de las pruebas de significancia estadística, la
64 09 20 39 6I 80 92 98 99
68 09 21 4I 64 82 93 98 potencia y sus conceptos relacionados son realmente importantes y
72 09 22 43 66 85 94 99 no se pueden descuidar.
76 09 23 45 69 86 95 99
80 10 24 47 7I 88 96 99
84 10 25 49 73 90 97 99 Cuando consideramos la potencia al iniciar un estudio, es probable
88 10 26 51 75 91 98
92 10 27 52 77 92 98 que aprendamos que para determinar un TE razonable (mediano)
96 1I 28 54 79 93 99 necesitamos una N mucho mayor de la que planeamos o tal vez de la
100 I1 29 56 80 94 99 que podamos obtener. En realidad es conveniente identificarla antes
120 12 34 64 87 97
140 13 38 71 92 99 de que realicemos el estudio. Entonces podamos decidir variar alfa
160 14 43 76 95 99
180 I6 47 8I 97 (por ejemplo, p < .10) o reducir ligeramente la potencia (potencia -
200 17 51 85 98 .75) o seleccionar condiciones experimentales (o variaciones de la
250 20 61 92 99
300 23 69 96 manipulación) que es probable que produzcan un TE mayor. Tales
350 26 75 98 consideraciones e información de las decisiones son ponderadas
400 29 8I 99 cuando se realizan antes de una investigación. El uso de tablas de
450 32 85 99
500 35 88 potencia nos ayuda a realizar un experimento en forma adecuada,
con posibles opciones cuando consideramos el alfa, potencia, TE y
Nota: p < .05 La columna n es et número de sujetos que se necesitan dentro
N.
de cada uno de los dos grupos; la fila cruzando la parte superior marcada
como d es el tamaño del efecto; los números en la tabla son la potencia. El
Las dificultades de las personas que sugieren la consideración a la
ejemplo que estamos analizando en et texto pregunta; ¿Que tamaño de la
potencia se derivan en parte de la facilidad de usar tablas de
muestra necesitamos si tenemos un tamaño del efecto de .50, alfa .05, y la
potencia. La información está disponible fácilmente. Estimar la
potencia de .80? Obviamente, fa tabla puede usarse de otra manera diciendo: "Si
potencia, el tamaño de la muestra, el TE o alfa, cuando se han de-
comienzo con cierto número de sujetos (por ejemplo, 50), ¿cuál será la potencia
terminado los otros tres conceptos, requiere poco tiempo (dos
para un tamaño del efecto dado, etcétera? " Aquí se proporciona solamente una
minutos para el investigador inexperto, un minuto para el experto).
parte de la tabla. (Los decimales se omiten de tas cifras de potencia.)
(El minuto se divide así: 40 segundos para buscar la tabla correcta
Fuente: Adapaado de Cohen, J. (1988), Statisticat power anatysis in the
en un libro, 10 segundos para encontrar las columnas correctas, 10
behaviorai sciences (2a. ed.), pigs. 36-37, Hillsdale, NJ, Erlbaum.
segundos para reaccionar y h acer afirmaciones como)a "Deben estar
Reproducido con permiso
bromeando.") La tarea tiene que hacerse más fácil porque existe el
software en computadora que nos permite ingresar cualquier
La mayor parte de los estudios no tienen un tamaño de la muestra
parámetro (N, TE, alfa, potencia) y ver cualquiera de los otros
igual de grande, así que tal vez podamos considerar esto con más
parámetros o todos (Gorman, Primavera y Allison, 1995; Statistical
tranquilidad. De hecho, después de ver el N que necesitamos,
Solutions, 1995). Con éstos u otros programas, se puede identificar
podríamos decir: "Y después de todo, ¿a quién le importa la
fácilmente con uno o dos clics del ratón el tamaño de la muestra
potencia?" Si nos mostramos más flexibles y reducimos la potencia
necesaria. Esto pone mucha potencia en los dedos del investigador.
a .50, necesitamos un tamaño de la muestra de solo 32 por grupo
(N = 64). Reducir la potencia de esta manera es muy arriesgado.
Vale la pena señalar un punto más allá acerca del tamaño de la
En mi propia investigación, cuido mucho la potencia. No voy a
muestra y de la potencia. La potencia pertenece a las comparaciones
hacer muchos estudios en mi vida, así que no estoy tan interesado
estadísticas que hará el investigador, incluyendo los subanálisis que
en obstaculizarme yo mismo con una potencia débil en los estudios
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.

UNIDAD III MÉTODOS DE INVESTIGACIÓN.

MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
pueden dividir a los grupos en varios subgrupos. Por ejemplo, el
investigador puede tener N = 100 sujetos en dos grupos. La
comparación principal que interesa puede contrastar al grupo 1 (n =
50) con el grupo 2 (n = 50). El investigador puede planear varios
análisis que dividen todavía más Es muestra, por ejemplo, por sexo
(hombres versus mujeres), edad (jóvenes versus mayores), inteligencia
(división de CE por mediana) o alguna otra variable. Tales
comparaciones dividen a los grupos en unidades más pequeñas (o
subgrupos). En lugar de grupos con n = 50, los subgrupos son mucho
menores y la potencia se reduce conmensurablemente. La lección es
simple. Asegure la potencia adecuada para las comparaciones que
Interesan primordialmente.
Variabilidad en los datos. La potencia es una función de alfa, N, y
TE. Sin embargo, hay más en la potencia que la fórmula para utilizarla.
Se había señalado la noción de que una excesiva variabilidad dentro de
un experimento puede amenazar la validez por conclusión estadística.
La variabilidad es inherente en la naturaleza del comportamiento del
sujeto en cualquier investigación. Sin embargo, el investigador
inadvertidamente puede aumentar la variabilidad de manera que
reducirá el TE obtenido. Obviamente, si la diferencia entre la media de
los grupos es igual a 8 en alguna medida, el TE aumentará o disminuirá
dependiendo del tamaño de la desviación estándar entre la cual se
divide esa diferencia. La desviación estándar puede ser mayor en
función de la heterogeneidad de los sujetos (en edad, antecedentes,
sexo, clase socioeconómica, etc.). Es probable que los efectos de la
intervención o manipulación experimental sean menos consistentes
entre los sujetos cuyas diferencias (heterogeneidad) sean relativamente
mayores. La heterogeneidad de los sujetos se refleja en una mayor
variabilidad dentro de los grupos. Esta variabilidad, a la que se
denomina varianza de error, se relaciona directamente con el TE y la
significancia estadística. Para una diferencia dada entre los grupos en la
medida dependiente, entre mayor sea la varianza de error, es menos
probable que los resultados sean estadísticamente significativos. Como
se analizó en el capítulo 3, la varianza de error puede incrementarse por
el descuido y la falta de cuidado en la realización del experimento, por
usar diversidad y heterogeneidad de sujetos que varían en
características que tienen que ver con el resultado, y usando
mediciones que tienen una baja confiabilidad. Los procedimientos y las
prácticas que reducen o minimizan la variabilidad externa, aumentan el
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
8
tamaño del efecto y la potencia que se obtenga.
Formas De Aumentar La Potencia
Variación de los niveles alfa dentro de una investigación. Para incrementar
la potencia, las alternativas obvias son aumentar el tamaño de la muestra
y minimizar la variabilidad del error. Como los niveles alfa están
relacionados con la potencia, su uso y variación justifica su estudio. Alfa
en p< .05 o .0I está más bien dispuesto dentro del campo y representa
restricciones sobre las cuales el investigador aparentemente tendría poco
control, Sin embargo, hay circunstancias individuales en las que podamos
desear reconsiderar el nivel alfa. El investigador puede decidir minimizar
el nivel alfa (reducir la probabilidad del error de tipo 11), con base en los
problemas sustantivos o de diseño que se deciden antes de la
recopilación de datos.
Diversas circunstancias pueden llevar al investigador a anticipar
restricciones específicas que atenuarán el TE probable. Primero, se
podría saber que el criterio para seleccionar a los grupos en un estudio
de control de casos es defectuoso o de alguna manera sutil. MI, algunas
personas en un grupo (por ejemplo, controles no deprimidos) podrían,
mediante la clasificación defectuosa, pertenecer al otro grupo (por
ejemplo, personas deprimidas). La comparación de los grupos será poco
conocida por la variabilidad y la clasificación defectuosa. Segundo,
pueden no estar muy bien establecidas las medidas en el área de la
investigación. Las mediciones poco confiables pueden introducir en la
situación variabilidad que afectará la sensibilidad de la prueba
experimental la relación predicha pudo haber sido evidente con medidas
más sensibles y confiables.
Tercera, puede esperarse que la comparación específica de interés genere
una diferencia muy pequeña entre los grupos. Si esperamos diferencias
pequeñas, la recomendación usual es incrementar el tamaño de la
muestra de modo que la potencia sea elevada para este pequeño efecto.
Cuando se pueden tratar las muestras de estudiantes universitarios y se
dispone de una gran cantidad de sujetos, esa alternativa es muy útil. En los
escenarios clínicos, aumentar el tamaño de la muestra no siempre es tan
fácil; a veces no es posible porque hay relativamente pocos sujetos
disponibles con las características de interés (por ejemplo, niños con una
enfermedad crónica particular, adultos del mismo género que cohabitan
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
criando a los niños o profesores con habilidades sociales). Obtener
grandes cantidades de casos podría requerir el muestreo en una amplia
área geográfica o continuar el estudio por un periodo prolongado; de
hecho, podría impedir realizar la investigación. Alterar alfa podría ser
razonable como forma de evaluar las diferencias predichas entre los
grupos.
Cuarto, podríamos alterar alfa con base en la consideración de las
consecuencias de nuestras decisiones. Aquí las consecuencias se
refieren a la atención de los pacientes (beneficios o sufrimiento), costo,
problemas de políticas (facilidad de (diseminación o proporcionar la
mayor atención al mayor número) y otras consideraciones en las cuales
el peso de aceptar o rechazar la hipótesis nula tenga valor e
implicaciones muy diferentes. Por ejemplo, si estamos estudiando si un
procedimiento particular tiene efectos colaterales, podríamos alterar
alfa) a p < .20. En tal estudio, seria posible que estimáramos hasta el
error (tipo II) al afirmar que existen efectos colaterales si hay cualquier
sugerencia razonable de que existen.
En un experimento dado, alfa es uno de muchos puntos de decisión.
Aunque el nivel aceptable de alfa está profundamente arraigado por la
tradición, el investigador debería considerar seriamente desviarse, a
partir de las circunstancias de cada experimento en particular. También
hay circunstancias en las cuales el investigador puede planear usar
niveles diferentes de alfa dentro de un experimento. Por ejemplo,
suponga que estamos estudiando tres condiciones en un estudio de
psicoterapia: (1) tratamiento A, (2) tratamiento A con un componente
adicional para mejorar el resultado, y (3) un grupo control sin trata-
miento. Consideremos una muestra de 75 personas que cumplen varios
criterios (por ejemplo, diagnóstico, edad y salud física) y las asignamos
aleatoriamente a las condiciones, con la restricción de que aparezca un
número igual en cada grupo. ¿Qué usaremos para el nivel alfa?
Podríamos usar un alfa) de .05 y dejar las cosas como están. De forma
alternativa, podríamos considerar antes del estudio las comparaciones de
interés y su posible 'FE. Probablemente la diferencia entre tratamientos
versus sin trata miento sea grande. Podría ser razonable el nivel alfa
usual (p < .05) para detectar una diferencia en esta situación. En
contraste, la diferencia entre el tratamiento A con y sin un componente
especial es probable que sea menor. Una muestra de 75 sujetos con 25
casos por grupo en nuestro estudio hipotético es mayor que las
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
9
muestras de la mayor parte de los estudios en la investigación en
psicoterapia, pero todavía es probable que sea demasiado pequeña para
mostrar diferencias estadísticamente significativas (Kazdin y Bass, 1989).
Podría ser razonable usar un nivel alfa menos severo (por ejemplo; p <
.20) para comparar los dos tratamientos.
En general, en un caso determinado puede ser útil reconsiderar el
nivel alfa antes de un estudio o para algunos de las pruebas o
comparaciones dentro de él. Si a priori se pueden esperar
condiciones especiales dentro del diseño para, atenuar la
sensibilidad de un efecto, se puede justificar un alfa menos severo.
Tanto los problemas teóricos como aplicados pudieran llevar a
reconsiderar el alfa. Alterando el nivel de alfa sería conveniente
proceder a partir de evaluar la naturaleza de las consecuencias de
as diferentes decisiones, es decir, concluir si hay una diferencia
confiable entré las condiciones o no la hay.
Se debe considerar muy cuidadosamente el cambio de los niveles
alfa. Obviamente, no es apropiado disminuir los niveles alfa
después de realizado el estudio o cuando no se ha determinado por
los resultados los niveles de significancia convencional, porque
altera el modelo en el cual se basan las pruebas de significancia.
Es tentador minimizar los niveles alfa de esta manera, porque
pocos creen que un resultado ha sido sustentado por una p< .05,
porque no se dispone de pruebas de que un nivel de p por arriba de
éste (p < .06 o .10). Sin embargo, dentro del modelo convencional
de la prueba de significancia, se tiene que seleccionar algún criterio
generalmente acordado. Cualquiera que sea ese criterio, siempre
habrá ejemplos que simplemente se equivocan y en los que el
investigador, aunque no muchos otros miembros de la comunidad
científica, dirían que el efecto está lo suficientemente cerca de ser
considerado confiable.
Uso de pretests. Señalamos previamente los diseños experimentales
que usaban pretests. Desde este punto de vista del diseño, las
ventajas de usar pretests eran múltiples e incluían problemas
relacionados con la información que proporcionan (por ejemplo,
acerca de ha magnitud del cambio, el número de personas que
cambia n, etcétera). Las ventajas estadísticas de un pretest son los
fundamentos más universales para usar tales diseños. La ventaja
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
del pretest es que con varios análisis se reducen las condiciones
de error al evaluar el TE. Con una evaluación repetida de los
sujetos (previa y posterior a la prueba) se puede tomar en cuenta
la variación dentro del g r u p o (sujeto) para reducir las condiciones
de error.
Considere el impacto en la fórmula del TE. Cuando hay una
medida pretest u otra medida que está relacionada con el
comportamiento posterior al tratamiento (por ejemplo,
covariación), se alteran las condiciones de error del TE. La fórmula
está representada por TE = (m 1 – m 2 )/ s √ 1– r 2 donde r es igual a
la correlación entre la prueba previa (u otra variable) y la prueba
posterior. Al aumentar la correlación entre la prueba previa y la
posterior, se reducen las condiciones de error (denominador); de
aquí que la potencia del análisis aumenta. Se pueden usar varios
análisis estadísticos que tienen ventaja para el uso de una prueba
previa, como los análisis de covarianza, análisis de varianza de
medidas repetidas y el incremento de puntajes (Lipsey, 1990).
Uso de pruebas direccionales. Otro tema relacionado con la
potencia es el controvertido problema de las pruebas de una
versus dos colas. En las pruebas de significancia, alfa se usa para
decidir si es confiable una diferencia entre ambos. Considere un
estudio de dos grupos y la prueba t para evaluar las diferencias
de ambos. La hipótesis nula es que los grupos no difieren, es
decir, el TE es igual a 0. Una prueba de dos colas evalúa la
diferencia obtenida a partir de desviarse de 0 en cualquier
dirección, es decir, si un grupo es mejor o peor que el otro. El alfa
de .05 se refiere a ambas "colas" (extremos de la distribución
normal), que se usan como la región crítica para el rechazo.
En muchos estudios, el investigador puede tener un punto de vista
acerca de la dirección de las diferencias. Puede que no desee
comprobar si el es diferente de cero, sino más bien si el
tratamiento es mejor que la condición control o si el tratamiento A
es mejor que el B. La hipótesis a rechazar no es bidireccional
(mejor o peor), sino unidireccional (mejor). Como tal, el
investigador puede considerar el uso de una prueba de cola. Se
requiere un valor t más bajo para rechazar la hipótesis nula
siempre y cuando se direcciones la prueba de una cola.
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
10
La mayoría de las hipótesis en la investigación es direccional en el
sentido, de que los investigadores tienen una idea e interés en las
diferencias en una dirección particular. Por esta razón, algunos
autores han sugerido que la mayor parte de las pruebas de signi-
ficancia se debe basar en pruebas de una cola (Mohr, 1990). Sin
embargo, hay resistencia respecto a esto y el lector debe estar
alerta. A menudo hay una suposición implícita de que los
investigadores que usan pruebas de una cola pudieron haberlo
hecho porque de otra manera los resultados no serían
estadísticamente significativos. Con frecuencia, es poco claro para
el lector del informe de una investigación que el uso de pruebas de
una cola se debe decidir antes de ver los resultados. La suposición
implícita no da el beneficio de la duda al investigador. Al mismo
tiempo, relativamente pocos estudios en psicología clínica y áreas
relacionadas utilizan pruebas de una cola. Raras veces se ven
dichas pruebas o sólo se les ve en situaciones en las cuales los
resultados serían significativos sin considerar si los tests se
realizaron como pruebas de una o de dos colas.
En general, se recomienda a los investigadores ser conservadores
en el análisis de sus datos y al obtener conclusiones acerca de las
relaciones que son confiables o estadísticamente significativas. El
análisis de las comparaciones múltiples (en la siguiente sección;
describe mejor su uso. Sin embargo, las hipótesis direccionales y el
uso de pruebas de una cola justifican su estudio. Tener claro el
origen de la predicción es importante para su uso, de modo que los
buscadores de investigación puedan identificar si las pruebas son
adecuadas. También, como ocasionalmente las pruebas de una
cola son vistas ocasionalmente con desconfianza, el investigador
podría señalar, si así lo desean las pruebas que pueden ser
significativas o no con pruebas de dos colas. Los comentarios en
ambos tipos de pruebas dentro de un estudio no reflejan las
preocupaciones del estadístico, quien posiblemente influya para una
evaluación pertinente en la forma de usar una u prueba (pero no
ambas). Sin embargo, los comentarios acerca de las conclusiones
obtenidas de las pruebas estadísticas pueden generar problemas
mayores. Entre éstos está la importancia de informar a otros
investigadores sobre las conclusiones que dependen de
suposiciones y métodos de análisis.
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN 11

Existen algunas pruebas de comparación múltiple para tratar el

problema del porcentaje de error según el experimento y para controlar el
T EMA S E SP EC ÍF IC O S E N E L A NÁ L ISI S D E D A TO S riesgo de error tipo I que aumentó (Hochberg y Tamhane, 1987). Se
conocen muchas más pruebas de comparación múltiple por el nombre
Análisis Que Implican Comparaciones Múltiples de las personas que han sido principalmente las responsables de su
desarrollo (algunas pruebas como: Tukey, Duncan, Scheffé). Una
alternativa relativamente simple se denomina procedimiento Bonferroni,
Control del nivel de alfa. En un experimento es probable que el
que consiste en la manera de ajustar alfa de acuerdo con el número de
investigador incluya múltiples grupos y que compare algunos o
comparaciones que se hacen. Considere la forma en que funciona la
todos los grupos entre sí. Por ejemplo, el estudio puede incluir
prueba. En un conjunto de comparaciones, el límite superior de la
cuatro grupos, tres de tratamiento y uno de control. El
probabilidad de rechazar la hipótesis nula es el número de
investigador puede realizar una prueba global (análisis de
comparaciones (k) por alfa ( α) (por ejemplo p = .05). Obviamente, si se
varianza) para ver si hay diferencias entre los grupos. Si las
van a hacer 10 comparaciones, la tasa global de error es ka, o .50.
diferencias son estadísticamente significativas, pueden hacerse
Como protección contra un error de tipo I, p = .50 claramente sería
diversas comparaciones individuales para identificar qué grupos
inaceptable. Para controlar el porcentaje de error global, alfa se puede
difieren de otros. De forma alternativa, el investigador puede descartar
ajustar al número de comparaciones.
la prueba global. Se pueden realizar algunas comparaciones de dos
grupos (pares convenientes) al compararse entre sí cada tratamiento y
El ajuste Bonferroni se basa en dividir alfa (p - .05) entre el número de
con el grupo control. Se podría fijar un nivel de alfa en p .05 para
comparaciones. En nuestro estudio de cuatro grupos, hay seis
protegerse contra el riesgo de un error de tipo I. Este alfa se refiere al
comparaciones posibles de pares por conveniencia. Si fijamos alfa en
riesgo de una comparación dada, al (cual a veces se le denomina
.05, sabemos que el riesgo es realmente mucho más alto a causa del
porcentaje de error por comparación. Sin embargo, hay múltiples
número de comparaciones. Para hacer un ajuste, dividimos alfa entre el
comparaciones. Con múltiples pruebas, el porcentaje de error global o
número de pruebas. En nuestro ejemplo, dividimos .05/6 que produce p
riesgo de un error del Tipo I puede ser mucho más alto. Este aumento
=.0083. Para cada comparación individual de los pares por conveniencia,
a veces se denomina probabilidad de piramideo para señalar que la
que realizamos (tratamiento 1 versus tratamiento 2, tratamiento 1 versus
acumulación de la probabilidad real de un error de tipo I aumenta con
grupo control, etc.), usamos p ≤ .0083 como el criterio para la
el número de pruebas. Qué tanto aumente el nivel p depende
significancia. Si usamos este criterio, el porcentaje global de error
directamente del número de comparaciones diferentes: De hecho, con
según el experimento se controla en p = .05.
un número de comparaciones, en las que cada una mantiene un nivel
de .05, la probabilidad de concluir que se ha obtenido algún efecto
El ajuste Bonferroni controla el porcentaje de error global (según el
significativo puede ser muy alfa. En nuestro ejemplo hipotético con
experimento), por ejemplo, en p ≤. 0 5 . Los porcentajes de error para las
cuatro grupos, el investigador puede hacer todas las comparaciones
comparaciones individuales (por comparación) no necesitan ser iguales
posibles de los grupos (en total seis comparaciones de pares por
(por ejemplo, todos en p ≤ .0083 en el ejemplo anterior). Si el
conveniencia). Aunque la tasa de error de los pares por conveniencia
investigador desea incrementar la potencia en algunas pruebas más
es .05, el riesgo de un error de tipo I en el experimento es más alto,
que en otras, pueden variar las comparaciones individuales del nivel
debido a la cantidad de pruebas. La tasa total se denomina porcentaje
alfa por comparación, mientras estos niveles no excedan el porcentaje
de error según el experimento. Debemos controlar la probabilidad de
de error según el experimento de .05 cuando se sumen todas las
un error de tipo en todas las comparaciones o el porcentaje de error
comparaciones.
según el experimento. Es decir, el alfa seleccionada debe justificar el
número de comparaciones de pares por conveniencia.
El ajuste de alfa, como se señaló aquí, surge cuando se realizan
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.

UNIDAD III MÉTODOS DE INVESTIGACIÓN.

MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
diversas comparaciones de pares por conveniencia en una medida
dada. Una inquietud similar, por un alfa elevado, surge cuando hay
múltiples medidas de resultados y múltiples pruebas comparando los
mismos grupos en cada medida. Por ejemplo, si dos grupos de
pacientes (pacientes ansiosos versus no ansiosos) se comparan en
diversas medidas, la posibilidad de encontrar una diferencia
significativa cuando no hay ninguna en la población es mayor que p
=.05 para una comparación dada. Aquí también, el ajuste Bonferroni
se puede usar para el número de comparaciones en las que k se
refiere aún al número de comparaciones o pruebas. Como antes, para
cada prueba de pares por conveniencia, el nivel de ajuste se usa para
decidir si los efectos son estadísticamente significativos.
Consideraciones. Hay un acuerdo general en que las
comparaciones múltiples requieren algún ajuste para controlar el error
de tipo I. No considerar la multiplicidad de comparaciones tiene
implicaciones directas para la validez por conclusión estadística, en
este caso, es frecuente concluir que hay diferencias significativas
cuando, por el criterio usual de alfa, no existe ninguna. M á s allá de
estos puntos generales y a partir del hecho de que los investigadores
necesitan realizar un análisis de los datos para tomar decisiones, el
acuerdo disminuye. Por ejemplo, qué pruebas de comparación
múltiple son apropiadas y si una prueba determinada es demasiado
conservadora o limitada, son dos áreas en las cuales los estadistas
sensatos pueden estar en desacuerdo. El uso de un ajuste, como el
procedimiento Bonferroni es bastante común. Aunque el alfa ajustado
es razonable, la consecuencia puede ser moderada en un estudio
dada En la práctica, el número de efectos significativos disminuye
cuando se usa un nivel ajustado. Dicho de otra manera, al hacerse
más estricta el alfa para las comparaciones individuales de pares por
conveniencia, disminuye la potencia y aumenta la probabilidad de un
error de tipo II.
Dentro de las prácticas actuales de las pruebas significativas, se da
una mayor prioridad al control del error de tipo I en vez de al de tipo II
y la potencia. De aquí que, a los investigadores se les estimula (por
tradición, asesores de investigación, revisores, editores) que elijan un
alfa en .05 o .01, casi a cualquier costo. La dificultad de esta tendencia
en la investigación es que ya sabemos que es probable que la
potencia en la mayoría de los estudios psicológicos sea débil. Cuando
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
12
se hacen ajustes para controlar los niveles alfa globales, la potencia de
un estudio disminuye aún más. Es decir, además de que el tamaño de
la muestra es relativamente pequeño, el investigador tiene la
responsabilidad de rectificar el número de pruebas estadísticas. Es
comprensible que los investigadores estén renuentes a detallar la gran
cantidad de pruebas que a menudo se realizan.
Hay alternativas para el investigador que cree que los principales
resultados se basan en las comparaciones estadísticas, pero las ve
desaparecer cuando se ajusta alfa para controlar el índice de error
según el experimento. Primera, el investigador puede presentar los
resultados para ambos niveles alfa, ajustados y no ajustados. Los
resultados pueden mostrar las pruebas que siguen siendo significativas
bajo ambas circunstancias y las pruebas que son significativas cuando
no son ajustadas. Ésta no es una solución completamente satisfactoria,
pero trata la ambivalencia y el conflicto tanto en el autor como en el
campo en general, es decir, para identificar cuáles son los efectos,
mantener un nivel razonable de potencia, pero no para perder el control
con una gran cantidad de pruebas, de las cuales sólo unas cuantas son
estadísticamente significativas.
Segunda, el investigador puede seleccionar un alfa según el
experimento que sea ligeramente más flexible que p < .05, como p <
.10; antes de hacer el ajuste. El ajuste Bonferroni dividir; este alfa entre
el número de comparaciones. El alfa por comparación permanecerá
abajo de .05, dependiendo del número de comparaciones. Adoptar un
porcentaje según el experimento de .10 usualmente preocupa menos a
otros investigadores que adoptarlo para las comparaciones individuales
(porcentaje por comparación).
Tercera, el investigador puede no estar interesado en todas las
comparaciones posibles, sino más bien sólo en un subconjunto
establecido con anterioridad que se relaciona específicamente con una o
dos hipótesis iniciales. Ajustar el alfa para un reducido número de
comparaciones significa que el porcentaje por comparación (de alfa) no
es estricto. En efecto, para unas cuantas comparaciones
preestablecidas, no ajustar el número de pruebas usualmente se
considera como satisfactorio. Aquí, la diferencia está en determinar al
principio del estudio cuáles son las hipótesis y qué pruebas específicas
se usarán para evaluarlas. Comúnmente se favorecen las
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
comparaciones directas, planeadas y a priori. Si se realizan análisis
adicionales, complementarios, o exploratorios, se podrían probar de' la
forma más habitual (con niveles p ajustados).
Las alternativas no agotan el rango de posibilidades. Entre las
opciones está el uso de variaciones menos tradicionales del ajuste
Bonferroni (Simes, 1986) o una variedad de otros procedimientos para
controlar el error de tipo I (Hochberg y Tamhane, 1987). También,
puede uno no poner énfasis en todas las pruebas de significancia al
analizar los datos. Se pueden usar las medidas de la fuerza de la
relación, como el TE, y no están sujetas a las mismas desventajas que
las pruebas estadísticas. (Ésta alternativa se explica con detalle
posteriormente a causa de la extensa implicación en relación con las
prácticas actuales de investigación.) El punto central no es discutir una
solución específica, sino subrayar la importancia de tratar el problema
en el análisis de datos. Cualquier problema del análisis de datos que
se pueda anticipar también requiere la consideración en la etapa de
diseño. Identificar en el estudio las principales comparaciones
principales que interesan en el estudio, las pruebas estadísticas que
se usarán, y el número de pruebas, puede tener implicaciones para el
tamaño de la muestra y la potencia. Todos estos argumentos influyen
directamente en las conclusiones a las que el investigador tiene
derecho y, por tanto, es importante considerarlas antes de que se
estudie al primer sujeto.
Resultados múltiples: análisis multivariados y
univariados
En la mayoría de la investigación clínica se usan múltiples medidas para
evaluar el impacto de una intervención. Por ejemplo, en un estudio
sobre los resultados de la terapia, pueden realizarse diversas
mediciones para evaluar diferentes perspectivas (pacientes, parientes
y terapeutas) acerca del funcionamiento del paciente en algunas de
sus características (por ejemplo, depresión, autoestima, adaptación en
el hogar y el trabajo) y para encontrar con diferentes formatos de
evaluación (por ejemplo, entrevistas, cuestionarios, observaciones
directas). Cuando hay múltiples medidas, las interrelaciones de éstas
presentan problemas relevantes a los análisis de datos.
El rendimiento puede estar conceptualmente relacionado con diversas
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
13
mediciones de los resultados porque refleja una propiedad que el
investigador ve como tuna unidad o relacionado de manera empírica
porque las medidas correlacionan alto una con otra. Por ejemplo, si
tenemos 10 medidas dependientes podríamos analizarlas por separado
con pruebas 1 o f. Podríamos evitar el problema de un error tipo I
elevado con el ajuste (por ejemplo, Bonferroni) que se señaló
anteriormente. Otro problema se refiere al hecho de que las medidas
pueden estar interrelacionadas. Las pruebas univariadas, es decir,
pruebas separadas para cada medida, no toman en cuenta la posible
redundancia de las medidas y su relación mutua. Es posible, por
ejemplo, que dos medidas de resultados muestren efectos significativos
debidos al tratamiento. El investigador puede analizar qué tan fuertes
son los efectos entre las dos medidas, cuando de hecho la alta
correlación entre las medidas sugiere un constructo en lugar de dos.
También es posible que ninguna medida muestre un efecto significativo,
pero cuando se considera como un todo conceptual, en realidad sí
muestran un efecto. Las medidas por separado pueden no proporcionar
un efecto tan fuerte o tan confiable como sucede cuando se combinan.
Cuando hay múltiples medidas de los resultados, podemos considerar
que los datos son multivariados. Puede ser conveniente realizar análisis
multivariados (como los análisis de varianza multivariados). Éstos
incluyen varias medidas en un solo análisis de datos, mientras que los
análisis univariados estudian una medida a la vez. No usamos análisis
multivariados porque tenemos diferentes medidas dependientes. Más
bien, la razón primordial es el interés del investigador por entender las
relaciones entre las medidas dependientes. Los análisis multivariados
consideran estas relaciones proporcionando una combinación lineal de
las medidas y evaluando si esa combinación proporciona evidencias de
diferencias significativas. Por ejemplo, el estudio puede incluir tres
medidas de la ansiedad. Se podría realizar un análisis multivariado
combinando estas medidas. Si el análisis multivariado global indica un
efecto significativo, esto sugiere que alguna combinación de variables
ha mostrado el efecto sobre la intervención o la variable independiente de
interés.
Después de encontrar el efecto global de los análisis multivariados, se
podrían realizar pruebas univariadas (pruebas F individuales para cada
medida) para identificar las diferencias específicas de cada variable
dependiente. Como antes, el alfa necesitaría ajustarse para evitar un
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
error de tipo I elevado. Sin embargo, las pruebas univariadas pueden no
mostrar efectos significativos después de un análisis multivariado
global. Este último toma en cuenta la relación de las medidas
mutuamente y evalúa la combinación de las medidas. Los análisis
univariados ignoran este aspecto de la estructura de los datos y puede
ser que no lleven a conclusiones similares.
Consideraciones. Puede ser muy apropiado analizar las
mediciones múltiples de los resultados con análisis multivariados, o
con varias pruebas univariadas (Haase y Ellis, 1987; Huberty y Morris,
1989). Los análisis multivariados son particularmente apropiados si el
investigador considera las medidas conceptualmente
interrelacionadas y está interesado en diversas interrelaciones de
las medidas aparte o además de las medidas individuales mismas.
Por ejemplo, puede haber algunas mediciones de la adaptación
del paciente y el funcionamiento familiar. Dentro del estudio, el
investigador puede agrupar todas las medidas de la adaptación
del paciente y realizar un análisis multivariado para identificar una
asociación considerando el área conceptual global y hacer lo
mismo para las medidas del funcionamiento de la familia. También
se pueden realizar análisis separados para las escalas
individuales dentro de cada área conceptual si también son de
interés. Por ejemplo, se ha estudiado el uso de drogas entre
adolescentes para comprender su principio curso y relación con la
adaptación posterior en la etapa adulta (Newcomb y Bentler,
1988). La droga se concebía como una variable latente
(constructo con múltiples índices) e incluía tres medidas, es decir,
el uso de alcohol (cerveza, vino o licor), cannabis (marihuana y
hashish) y drogas fuertes (por ejemplo, cocaína, barbitúricos LSD
y otras). En el análisis de los datos se consideraron el uso de
drogas (todas las medidas juntas) porque' se concebían como una
tendencia general hacia el uso de sustancias. Las tres medidas ,
individuales también se evaluaron por separado porque se
esperaba (y se demostró) que algunas sustancias (drogas fuertes)
tuvieran resultados particularmente perjudiciales a largo plazo.
Sin embargo, ambos niveles de análisis —la variable combinada y
la variable individual— condujeron a resultados significativos e
importantes.
Los análisis multivariados evalúan las variables compuestas
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
14
basándose en sus interrelaciones. Ésta es una característica
original y no se evalúa llevando a cabo varias pruebas univariadas
por separado; las cuales podrían ser apropiadas bajo una variedad
de condiciones si el investigador no considera las medidas
relacionadas conceptualmente, si las medidas de hecho no están
correlacionadas o si el interés primordial o específico está en las
medidas individuales mismas en vez de en cómo se combinan o
relacionan mutuamente. Los investigadores ocasionalmente usan
los análisis multivariados como prueba global. Después que el
análisis multivariado es significativo, proceden con varias pruebas
univariadas. Usualmente, estas pruebas se realizan con un alfa por
comparación de .05; de aquí que, el riesgo global de un error de
tipo I aumenta mucho. Descubrir la significancia estadística en esta
situación es un problema, porque se suponía que la prueba
multivariada controlaba el error tipo I en el nivel de alfa (p =.05).
Las pruebas univariadas individuales, si se realizan, aún requieren
consideración del número de pruebas y el porcentaje de error
según el experimento.
Análisis De Datos Y Diseño Del Estudio
Las pruebas de significancia son la base de la investigación
contemporánea. Los problemas relacionados con alfa, la potencia, el
TE esperado y los índices de error que surgen de múltiples pruebas,
por mencionar sólo algunos, es fundamental tomarlos en cuenta al
estar planeando un estudio. No son problemas esotéricos ni
matices meramente cuantitativos; al contrario, influyen de manera
importante en las conclusiones que el investigador desea obtener y
la fuerza y calidad del diseño. Más concretamente, al estarse
formulando el propósito del estudio y el diseño, es útil escribir cada
hipótesis y junto a cada una determinar las estrategias
datoanalíticas tentativas que se usarán. En relación con las pruebas
y análisis específicos, se puede preguntar:
• ¿Tengo suficiente potencia dado el TE probable?
• ¿Puedo variar alfa, el tamaño de la muestra o reducir la variabilidad de
alguna manera (por ejemplo, homogeneidad de la muestra cómo se realiza el
estudio) para aumentar la potencia?
• ¿Puedo incrementar la fuerza o potencia de la variable independiente o
incrementar el efecto que ocurrirá usando grupos diferentes en el diseño, o
contrastando las condiciones (experimentales y control) que es probable
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
que produzcan tamaños del efecto más fuertes?
• ¿Necesito cada grupo en este estudio o puedo distribuir a todos los
sujetos en menos grupos (por tanto aumentar la potencia)?
• ¿Habrá otras pruebas relacionadas con esta hipótesis que dividirán más a
los grupos (por ejemplo, contrastar hombres versus mujeres) y, por tanto,
reducirán la potencia?
Es muy útil evaluar estas preguntas y resolverlas en la medida que
sea posible en la etapa de diseño. Después de que se realizó el
experimento, sin duda, surgirán otras preguntas y problemas
datoanalíticos; de aquí que, no se pueden anticipar todos los
resultados y planes para su evaluación. Al mismo tiempo, debería
elaborarse un plan para los análisis principales en la etapa de
diseño, de modo que puedan hacerse cambios en el diseño para
mejorar los aspectos de la validez por conclusión estadística.
O BJ ECIO NE S A LA S P RUE BA S DE SIG NI FICA NCIA
ESTA DÍSTICA
Como las pruebas de significancia estadística siguen imperando en
in investigación contemporánea, es de suma importancia conocer
a detalle los problemas y métodos analizados previamente, para
las personas que planean realizar una investigación. AI mismo
tiempo, hay otro punto, es decir, de qué manera se practican e
interpretan actualmente. Las pruebas de significancia estadística
pueden ser engañosas y contraproducentes. Las recomendaciones
incluyen ya sea que abandonemos la práctica por completo o
realicemos las pruebas de significancia con otra información (para
revisiones recientes, véase Kirk, 1996; Schmidt, 1996b). Ésta
postura no es nueva ni es la visión de una minoría radical
sostenida por extremistas cuyas tesis, como la mía, los pusieron
en contra de los niveles alfa convencionales.
Se hace necesario un breve comentario histórico. Cuando
surgieron por primera vez las pruebas estadísticas y las pruebas
de in hipótesis nula (Fisher, 1925; Neyman y Pearson, 1928), les
siguieron las objeciones que cuestionaban la lógica y utilidad de
tal aproximación (Berkson, 1938). Desde ese tiempo hasta el
presente, ha habido un continuo "aumento de cuestionamientos"
(Kirk, 1996, Pág. 747). Por ejemplo, entre las afirmaciones más
fuertes, Meehl (1978, pág. 817) señaló que las pruebas de
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
15
significancia para evaluar la hipótesis nula "son un error terrible, es
básicamente una estrategia científica poco sólida, y una de las peores
cocas que hayan sucedido en la historia de la psicología" (por
supuesto, como psicólogo clínico, esta afirmación es difícil de
interpretar, pero a mí me parece negativa). Meehl ha sido claro al
afirmar el caso, pero ninguna manera está solo en el asunto. Las
objeciones a las pruebas de significancia se refieren a que logran y
no logran y de qué manera son malinterpretadas. Las objeciones se
mencionan brevemente como forma de avanzar hacia una
recomendación alternativa para la evaluación estadística de la
investigación.
Interpretación De Las Pruebas Estadísticas
Una objeción (o más bien, un conjunto de objeciones) se refiere a la
manera en que se interpretan las pruebas de significancia. Primero, a
menudo un valor p(.05) es interpretado como uno de los aspectos que
muestran la probabilidad de que la hipótesis nula (sin diferencias) no sea
verdad y, por tanto, que la hipótesis alternativa sea verdadera. El valor p
no es una medida de la veracidad de una hipótesis ni el grado en el que
puede ser verdad. La hipótesis nula pudiera ser verdad sin importar qué
resultados muestre; también, aún si está hipótesis no fuera verdad, esto
no necesariamente argumenta a favor de la hipótesis alternativa
Segunda, puede interpretarse erróneamente una diferencia no
significativa que no refleje ninguna relación entre las variables
independiente y dependiente. Si la hipótesis nula no es rechazada, debe
ser aceptada. Aceptar la hipótesis nula usualmente se interpreta como sin
efectos, es decir, las diferencias entre los grupos probablemente se
deban sólo al azar. De hecho, los investigadores tienden a creer que los
descubrimientos en p< .05 o más bajo, son efectos reales y reflejan una
relación, pero que por arriba de este nivel (p> .05) las diferencias entre
los grupos no existen o sólo son aleatorias (Rosenthal y Gaito, 1963). No
hay una base racional para esta creencia,. En su cita ahora clásica,
Rosnow y Rosenthal (1989, p. I277) señalaban que, "Por supuesto, a
Dios le encanta el .06 casi tanto como el .05". Qué la hipótesis nula se
rechace se basa en la potencia yen un efecto verdadero. Cuando se
acepte la hipótesis nula, todavía podría haber un efecto (es decir,
diferencias de los grupos) y hasta un efecto bastante potente (TE).
Significativamente no equivale de hecho a ninguna diferencia o ningún
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
efecto, de la variable independiente.
Tercera, un valor p (de nivel más alto (p < .0001 en lugar de p <.05) a
menudo se dice que significa que el efecto es más potente, más fuerte,
mas importante, o con más probabilidades de ser replicado en un
estudio posterior. El uso del término "efecto altamente significativo" en
muchos artículos contradice las concepciones equivocadas implícitas
acerca de lo que significa un resultado estadísticamente significativo. El
nivel no nos dice la magnitud o fuerza de la diferencia. De hecho, es
muy posible que una diferencia estadísticamente significativa en un
experimento (con p < .0001) refleje un efecto más débil que un
descubrimiento no significativo (p < .20) en otro estudio. La razón es
que el nivel p se relaciona con la fuerza de la relación (por ejemplo, TE)
y el tamaño de la muestra, no sólo con la fuerza de la relación. En un
estudio, un 'TE menor podría llevar a una diferencia estadísticamente
significativa, sólo en función de la potencia. Por la misma razón (la
potencia), un TE más fuerte en otro estudio puede no producir una
diferencia estadísticamente significativa
El problema con las pruebas estadísticas es que en su uso común nos
piden que tomemos decisiones binarias (aceptar o rechazar) para la
hipótesis nula. Si no aceptamos ésta, entonces debemos rechazada e ir
hacia la hipótesis alterna. Lo que preferiríamos tener es alguna idea de
la probabilidad de que la hipótesis científica sea verdadera (el
tratamiento A es mejor que el tratamiento B) y olvidarnos del todo de la
hipótesis nula.
Pruebas De Hipótesis Nula
La prueba de hipótesis se basa en controlar alfa (error de tipo I), como
se reflejó en el interés por fijar p en ≤.05 o .01. Es decir, no queremos
rechazar la hipótesis nula (sin diferencias) cuando de hecho es
verdadera. El problema con esto es que no hay control del error de tipo
II; se le permite variar amplia y bruscamente. Si alfa (error del tipo I) se
fija en p = .05, ¿qué significa esto para beta (error del tipo II)?
Usualmente, el tipo II es alrededor de .50 u .80. Toda la discusión sobre
la potencia gira en torno a los errores de tipo II (potencia = 1 – P. Así,
cuando la potencia es débil (por ejemplo, .50), beta es elevado (.50). La
potencia débil significa que es muy probable que aceptemos la hipótesis
nula cuando sea falsa.
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
16
Como se señaló con anterioridad, una preocupación de las pruebas de
significancia es que la hipótesis nula siempre es falsa. Es decir, las
medias para los dos grupos siempre serán diferentes (por ejemplo, en
algún decimal) y preguntar si los grupos son diferentes "es tonto" (Tukey,
1991, p. I00). Si la hipótesis nula es falsa, no podemos cometer un error
de tipo I (es decir, no podemos rechazar la hipótesis nula cuando sea
falsa). Sin embargo, es muy probable que cometamos un error de tipo II
porque la probabilidad de mostrar una diferencia, es muy alta, teniendo
en cuenta la débil potencia de los experimentos. La potencia débil
aumenta cuando realizamos ajustes en los análisis (por ejemplo,
Bonferroni) que hacen a alfa más riguroso en las comparaciones
individuales. Como ha quedado precisado un estudio específico refleja
que el efecto es una función de la potencia. Cuando los grupos son
realmente diferentes, nos importa menos el valor real de p y más si las
diferencias son grandes, pequeñas o medianas. También, cuando
consideramos múltiples variables independientes (estudios de
predicción), queremos saber su impacto relativo en relación con algún
criterio o resultado. Las pruebas de significancia estadística por sí
mismas no proporcionan tal información.
Réplica Y Conocimiento Acumulativo
Las pruebas de significancia pueden impedir la réplica y la acumulación
de conocimiento. Hay todo tipo de hallazgos contradictorios y fracasos en
la réplica. Para estar seguros, muchos pudieran provenir del hecho de
que un descubrimientos dado puede depender de influencias razonables
(edad, sexo y clase social de la población) y variaciones en las muestras
entre los diferentes estudios. En relación con el presente análisis,
enfrentamos un punto más problemático, es decir, que los mismos
hallazgos puedan producir resultados contradictorios cuando las pruebas
de significativas estadística sean la base para hacer efectiva su
influencia.
Considere por un momento que hemos realizado un estudio y hemos
obtenido un tamaño del efecto de .70. Ésta magnitud de efecto es
aproximadamente del nivel del TE demostrado cuando la psicoterapia se
compara con no recibir tratamiento. Un TE de esta magnitud indica una
relación (bastante fuerte y se considera m TE de moderado a grande.
¿También se reflejaría un TE de esta magnitud en las diferencias de los
grupos estadísticamente significativas? La respuesta depende del tamaño
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
(de la muestra. Considere dos estudios hipotéticos, ambos con un TE
de .70. En el estudio I, tenemos un estudio de dos grupos con 10 casos
en cada grupo (N = 20). En el estudio I tenemos dos grupos con 30
casos en cada grupo (N = 60). Realizamos cada estudio y estamos
listos para analizar los datos. En cada estudio tenemos dos grupos, así
que decidimos evaluar las diferencias de los grupos usando) una
prueba I. La fórmula de la prueba puede expresarse de muchas
maneras. La relación entre la significancia estadística y el TE para
nuestro estudio de dos grupos puede verse en la siguiente fórmula:
donde TE = (m1 - m2)/s
En el estudio I, en el cual TE = .70 y hay 10 casos en cada uno de los
dos grupos, la fórmula anterior origina una t = 1.56 con grados de
libertad ( g l ) de 18 (o n1 + n2 - 2). Si consultamos una tabla para la
distribución t de los estudiantes, observamos que se requiere un t de
2.10 para p = .05. Nuestra t no cumple el nivel p ≤ 5.05; por tanto,
concluimos que no hay diferencias entre el grupo 1 y el grupo 2.
Cuando el TE = .70 y hay 30 casos en cada uno de los dos grupos, la
fórmula mencionada produce t = 2.71, con un gl de 58. Si consultamos
la distribución t de los estudiantes, observamos que el t que se obtiene
es más alto que el t de 2.00 que requeríamos para este gl en p < .05.
Así, concluimos que los grupos 1 y 2 son diferentes. Obviamente,
tenemos dos estudios con efectos idénticos pero conclusiones
diametralmente opuestas acerca de las diferencias de los grupos. Esto
es el caos y no es como queremos que nuestra ciencia avance.
En este ejemplo, los resultados idénticos produjeron diferentes
conclusiones. Las implicaciones a gran escala son enormes. Cuando
expresamos escepticismo al señalar que se encontró un resultado en un
estudio pero no se replicó en otro, se basa en el hecho de que en un
estudio los resultados eran estadísticamente diferentes y en otro estudio
no. En la acumulación de conocimiento, no podemos realmente separar
los fracasos al replicar los efectos que de hecho reflejan resultados
similares (TE), de los que representan diferencias genuinas en los
resultados.
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
17
ALTERNATIVAS 0 COMPLEMENTOS A LAS PRUEBAS DE
SI GN IF I CA NCIA
Es fácil criticar las pruebas de significancia estadística; los argumentos
han sido bien fundamentados por los últimos 60 años y se pueden citar
ejemplos reales para mostrar la forma tonta en que hacemos las cosas.
Generar opciones no ha sido un problema y aquí se dan tres sugerencias
comunes.
Magnitud Y Fuerza Del Efecto
En lugar de (o además de) las pruebas de significancia estadística, seria
ú01 considerar la magnitud de alguna medida o fuerza en la relación
entre las variables independiente y dependiente o la magnitud de las
diferencias entre grupos. En la investigación clínica, la noción de la fuerza
de la relación es obviamente importante. Por ejemplo, si deseamos
comparar a los padres que abusan de sus hijos con Padres que no lo
hacen, no queremos simplemente demostrar diferencias estadísticamente
significantes en algunas medidas (por ejemplo, estrés paterno,
funcionamiento familiar). Además, deseamos conocer la fuerza de la
asociación y la magnitud de la relación entre el nivel de abuso paterno y
otras variables. Si todas las variables que estudiamos distinguen a los
padres abusivos de los no abusivos, nos gustaría conocer la fuerza de
estas conexiones y la contribución relativa de cada una.
La magnitud del efecto o fuerza de la relación puede expresarse en
formas diferentes, omega2 (ω 2), eta (ή), epsilon2 (ε 2 ), y la correlación
Pearson producto momento (r, r 2) y en la regresión múltiple (R y R')
(Haase, Ellis y Lanady, I989, Kirk, 1996; Rosenthal, 1984; Rosenthal y
Rosnow, 1991). Una medida que ya hemos analizado es el TE, el cual
ilustra muy bien la producción informativa proporcionada más allá de la
significancia estadística. El tamaño del efecto nos permite proporcionar
un punto estimado de cuál es la fuerza de la relación entre variables: La
utilidad de esta estimación es expresar la relación, no decidir si la relación
es o no estadísticamente significante. También, el TE es familiar a partir
de su frecuente uso en los metanálisis. Aún más, con el TE, la magnitud
del efecto proporciona una métrica común que permite la comparación (y
combinación) de diferentes experimentos usando diferentes medidas de
los resultados.
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
Puede interpretarse un tamaño del efecto de .20, .50 0 .80, respecto a
las unidades de desviación estándar. En un estudio que compara un
grupo de intervención y un control, un TE de .70 es fácilmente
interpretable en relación con las diferencias en las distribuciones entre
los grupos con tratamiento y sin tratamiento. Es decir, el TE se puede
traducir en términos más concretos. La figura 14.1 muestra dos
distribuciones, una para el grupo de tratamiento y otra para el grupo
control. Las medias del grupo (líneas verticales) muestran el tamaño del
efecto de .70; es decir, la media del grupo de intervención es 7/10 de
desviación estándar mayor que el grupo control. Uno puede ir a una
tabla de la distribución normal y convertir esta información en cómo les
fue a las personas en el grupo de intervención en relación con los
sujetos control en unidades de desviación estándar. Dado el tamaño del
efecto de .70, el promedio del sujeto en tratamiento está mejor que 76%
de las personas que no recibieron tratamiento. Éste porcentaje fue
obtenido identificando qué porcentaje de la población está por debajo
de las unidades de desviación estándar +,70 de la distribución normal.
FIGURA 14.1 Representación de un tamaño del efecto de .70 entre un grupo
de intervención y el control. Cada grupo se refleja en su propia distribución
(curva normal). Si los grupos de hecho no son diferentes, las dos distribuciones
estarían colocadas una sobre otra y se verían como una sola distribución
(misma media, misma desviación estándar). Con un tamaño del efecto de .70, la
media del grupo de intervención es .70 unidades de desviación estándar por
arriba de la media del grupo control. Las dos distribuciones son diferentes.
TABLA 14.2 Conversiones simples para cambiar de las pruebas de
significancia estadística a la magnitud de la relación o tamaño del efecto
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
18
Otra medida comúnmente utilizada para evaluar la fuerza de la relación
es r. La correlación refleja la relación entre la variable independiente y la
dependiente. La correlación al cuadrado (r2) se usa para reflejar la
varianza compartida en estas variables. La correlación se utiliza en
muchos estudios. Los estudios que emplean la regresión múltiple a
menudo reportan R o R2 para expresar cuánta variación es explicada por
los predictores y resultados. Tanto el tamaño del efecto como r se
computan fácilmente de las fórmulas proporcionadas en libros de
introducción a la estadística. También, las estimaciones pueden
computarse directamente a partir de pruebas estadísticas de significancia
típicas para comparar dos grupos. Observe la sencilla conversión en la
tabla 14.2. Las ecuaciones expresan que una vez que se tiene t o x2, se
puede proporcionar mayor información sobre TE y r. De manera que para
reportar los resultados, se puede derivar con relativa facilidad más
información (y tal vez más importante) que la significancia estadística
Intervalos De Confianza
El tamaño del efecto (o alguna otra medida de la magnitud (del efecto)
proporciona un punto estimado, es decir un valor específico que estima el
valor de la población. Para complementar esta estimación se
recomiendan también los intervalos de confianza (Kirk, 1996; Schmidt,
1996b). Un intervalo de confianza proporciona un rango de valores y
refleja la probabilidad de que el TE en la población caiga dentro de un
rango particular. Los valores comunes usados para los intervalos de
confianza son 95% o 99%, paralelos a los criterios estadísticos de alfa de
.05 y .01. La fórmula para computar los intervalos de confianza (IC) es:
Cls = m + ZαSm
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
donde m = puntaje de la media, Zα = el valor de puntuación z (dos
colas) bajo la curva normal, dependiendo del nivel de confianza (por
ejemplo, z = 1.96 y 2.58 para p = .05 y p = .01, respectivamente), y Sm
es el error estándar de la medición. El error estándar no es la
desviación estándar de la muestra, sino más bien la desviación dividida
entre la raíz cuadrada de N(Sm = S/ √N). Para proporcionar las
estimaciones inferiores y superiores del intervalo de confianza para el
intervalo de 95%, la z– 1.96 y + 1.96, respectivamente, se multiplica
por el 5m.
Los intervalos de confianza proporcionan un rango de los valores
dentro de los cuales es probable que las verdaderas diferencias entre
los grupos no sean reales. Aunque el intervalo es un rango, también
incluye la información que se obtiene de una prueba de significancia
estadística, porque los valores z que se usaron para las pruebas de
significancia (puntuación z de 1.96 para p = .05) se usan para formar
los intervalos de confianza inferiores y superiores. El tamaño del efecto
proporciona un punto estimado de las diferencias entre los grupos en
unidades de desviación estándar; los intervalos de confianza
proporcionan la misma métrica por encima y por debajo de esa media.
Además, los datos pueden presentarse fácilmente en términos de la
unidad de medida original (puntuaciones totales, puntos de CI) de
modo que sean más fácilmente interpretables. Así, la sección m1 – m2
de la fórmula del TE, es la diferencia en la unidad de medida de la
escala original (no unidades de desviación estándar); los intervalos de
confianza también se pueden presentar en esta métrica original. Así, se
pudiera afirmar, por ejemplo, que en un estudio de psicoterapia, el
tratamiento A fue mejor que el tratamiento B con un TE = .70, con
IC95%:.35, 1.05. Esto significa que podemos estar 95% seguros de que
el TE que obtuvimos cae dentro del rango de .35 a 1.05. De manera
alternativa, los mismos datos pueden presentarse como una diferencia
promedio (es decir, las diferencias de las puntuaciones entre los
grupos 1 y 2 en alguna escala de síntomas) como 15 puntos con (por
ejemplo) un IC95%: 10, 20 puntos en esa medida del síntoma. Ambos
son equivalentes. El TE en unidades de desviación estándar es
fácilmente interpretable en términos de la fuerza del efecto (como en
las recomendaciones de Cohen para efectos pequeños, medianos y
grandes); diferencia promedio presentada en la medición original de
las puntuaciones como con los intervalos de confianza, representa a
aquellas que le son comunes a la medición exactamente tan grande
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
19
sea la diferencia.
Metanálisis
Para los estudios individuales, el TE y los intervalos de confianza
proporcionan útiles estadísticas que han sido propuestas para remplazar
o completar las pruebas estadísticas. La ventaja se extiende más allá de
un estudio específico. El metanálisis es una extensión del uso del TE
para evaluar múltiples estudios. Como se mencionó con anterioridad, el
metanálisis es una metodología o análisis secundarios en los cuales se
combinan y se evalúan múltiples estudios. El metanálisis tiene muchos
propósitos, uno de los cuales es permitir una evaluación cuantitativa
(revisión) de la literatura. En relación con el presente análisis, el
metanálisis sirve como método para contribuir a la base de conocimientos
más en general. El método permite combinar varios estudios, Pero en el
proceso logra mucho más que simplemente proporcionar una revisión de
éstos. Demos aprendido que se tiene que interpretar con mucho cuidado
cualquier estudio individual. El muestreo por sí solo podría significar que
los resultados no son representativos del valor real de la población (o
diferencia). También, las características de un estudio específico
(muestra, geografía, forma en que se manipuló la intervención y medidas
específicas usadas) incrementan las amenazas a la validez externa, es
decir, el grado en el que los resultados pudieran generalizarse.
Los metanálisis combinan muy diferentes TE y muchos estudios
diferentes; de aquí que pueden proporcionar una mejor estimación de los
parámetros de la población. Inclusive pueden hacerse preguntas de la
literatura, que un estudio específico no puede proporcionar fácilmente.
Por ejemplo, en el metanálisis en una investigación en psicoterapia, los
investigadores analizan si el tratamiento es más efectivo (los TE son más
grandes en las comparaciones tratamiento versus sin tratamiento) en
relación con la experiencia del terapeuta, edad de los sujetos, tipos de
problemas para los cuales fueron referidos los sujetos para tratamiento y
la calidad metodológica del estudio (Brown, 1987; Shadish y Ragsdale,
1996; Welsz y Weiss, 1993). Estas preguntas no se hicieron en las
investigaciones originales. Sin embargo, en muchos estudios, cada uno
de éstos puede ser codificado con nuevas variables de interés. Los
tamaños del efecto llegan a ser la variable dependiente de las nuevas
preguntas que se hacen a la investigación. Así, el metanálisis va más allá
de describir una literatura dada y puede usarse para examinar preguntas
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
y probar explicaciones de la literatura que no surgieron en las
investigaciones originales (Cook y cols., 1992).
El uso del TE como partes de las investigaciones individuales facilita la
integración de los estudios en forma sistemática a través de los
metanálisis. El metanálisis, además de su habilidad para revisar la
literatura de forma cuantitativa, nos permite tener- mejores estimaciones
de los efectos verdaderos (TE de la población) y el rango dentro del
cual caen (intervalos de confianza de los TE). Esto es mucho más
valioso que las pruebas que buscan significancia estadística. Queremos
conocer el impacto de nuestras intervenciones y las diferencias que
producen las variables específicas (en estudios de control de caso). Las
estimaciones de la magnitud del efecto o la fuerza de las relaciones
mediante alguna otra medida (TE, r) nos dan la información que
buscamos. Combinar las medidas en los estudios, como ilustraron los
metanálisis, no sólo nos permite proporcionar mejores estimaciones del
TE, sino que también nos permite usar la literatura para tratar nuevas
preguntas.
Comentarios Generales
No es claro si las pruebas de significancia estadística se consideran
permanentes. En este punto, sabemos que existe continuamente en la
literatura Comentarios negativos respecto al uso de las pruebas de
significancia y que recomiendan otras alternativas. No obstante, R. A.
Fisher, a quien se le otorga el crédito de (o, dada la cambiante historia,
a quien se puede culpar por) iniciar la aplicación de las pruebas de
significancia estadística, recomendaba que los investigadores
completaran sus pruebas de significancia con mediciones que mejoran
la asociación entre la variable independiente y la dependiente. En
efecto, nos gustaría saber más que si se puede rechazar una hipótesis
nula; de hecho, en realidad puede no importarnos Is hipótesis nula, a
partir de Comentarios (señalados previamente) de que esta nunca es
verdadera. También, queremos saber de nuestras hipótesis, es decir,
el tamaño o magnitud de los efectos que estudiamos y si son
importantes (muy fuertes). Actualmente se está considerando un nuevo
enfoque dentro de la investigación psicológica para que se modifiquen
los criterios de uso de las pruebas de significancia a favor de los
métodos señalados aquí. Por ejemplo, la Asociación Psicológica
Americana actualmente está considerando el problema de las pruebas
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
20
de significancia, su uso y sus alternativas potenciales para la
investigación (Schmidt, 1996a, 1996b). Es importante para los
investigadores estar familiarizados con la utilización tradicional de las
pruebas de significancia estadística, pero también (por lo menos)
complementar la investigación con estadísticas adicionales que
expresan la magnitud del efecto.
SIGNIFICANCIA CLÍNICA: EVALUACIÓN DE LOS EFECTOS
DE LA INTERVENCIÓN
Un problema con la evaluación estadística, en especial con la
investigación clínicamente relevante, es que se aparta de la pregunta
sobre la importancia de la aplicación del resultado o de su efecto. Este
problema es central para la investigación sobre la intervención o los
propósitos para cambiar el comportamiento o funcionamiento para la
aplicación de un fin, como se mostró en el tratamiento, la prevención, la
educación y la rehabilitación. En tal investigación, aún se utilizan los
métodos datoanalíticos usuales (por ejemplo, significancia estadística).
El criterio adicional es evaluar si las diferencias son clínicamente
significativas, es decir, establecen una diferencia la significancia clínica
se refiere al valor práctico o la importancia del efecto de una
intervención, es decir, si produce alguna diferencia real para los
pacientes o para otras personas en su funcionamiento y vida diaria.
Es importante distinguir la significancia estadística y la fuerza del efecto
de la significancia clínica. Esta última tiene que ver con un criterio
basado en la probabilidad para juzgar si un efecto es confiable, pero
tiene poco que ver con la importancia práctica del efecto. La fuerza del
efecto (TE, correlación) se relaciona con la magnitud del efecto
experimental, la cantidad de varianza compartida y otras medidas
similares. La fuerza de la relación puede ser fuerte o débil, dependiendo
de todo tipo de influencias (por ejemplo, variabilidad dentro del grupo).
Un efecto estadísticamente significativo y un TE grande pueden no tener
nada que ver con la significancia clínica si la medida dependiente no se
relaciona con el desempeño de la vida diaria (por ejemplo, un tiempo de
reacción). También, puede haber un TE muy grande, por ejemplo, si en
un grupo de tratamiento todos bajan dos libras para la intervención todos
suben dos libras en el grupo control. Sin embargo, al final del estudio,
todos los participantes pueden estar todavía muy obesos. El tamaño del
efecto no expresa si han mejorado realmente el peso y el estado de
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
salud de alguien. En otras palabras, la significancia estadística, el TE
(u otras magnitudes de las medidas del efecto) y la significación clínica
proporcionan diferente información acerca de los datos aunque todos
ellos son métodos cuantitativos de evaluación de los resultados.
El alcance de la evaluación clínica o aplicada del cambio es que
generalmente se usa como complemento para los métodos estadísticos
para determinar si las diferencias entre los grupos o los cambios a lo
largo del tiempo son confiables. Una vez que la claridad de los cambios
sean evidentes, se intenta cuantificar si el tratamiento ha cambiado al
paciente en forma considerable en relación con su funcionamiento
adecuado, es decir, si el cambio es significativo. En algunos casos, uno
puede inferir fácilmente si el cambio lleva al paciente a un
funcionamiento adaptativo. Por ejemplo, la conducta de autolastimarse
(golpearse la cabeza) puede presentarse en un alto porcentaje en un
niño autista, tal vez 100 autogolpes por hora durante un periodo de
observación. La reducción a 50 golpes por hora es impresionante, pero
probablemente no sería considerada como clínicamente significativa.
Sin una mayor reducción o eliminación total de la conducta, el paciente
todavía puede experimentar un daño severo. La eliminación virtual, si
no es que total de la conducta de autolastimarse, se requeriría para
efectuar un cambio clínicamente significativo.
En muchos casos, la presencia o ausencia de una conducta al final del
tratamiento no es necesariamente el criterio para decidir si se logró un
cambio importante. El grado de cambio y el impacto de éste es
relevante para decidir la significancia clínica. Por ejemplo, en el
tratamiento de la obesidad, una disminución promedio de 50 libras para
los sujetos podría parecer un cambio clínicamente importante. Sin
embargo, que el cambio tenga impacto (sobre la salud, el
funcionamiento diario) puede depender del peso inicial de los sujetos
que participaron (por ejemplo, peso promedio 500 o 600 libras versus
peso promedio de 200 libras). Así, simplemente evaluar el nivel,
absoluto del cambio no es siempre suficiente para determinar si la
diferencia o el cambio realmente tuvo una variación. Se han elaborado
varios métodos para evaluar la significancia clínica de los efectos del
tratamiento. Cada método se basa en la evaluación cuantitativa para
tomar la decisión acerca del significado del cambio. Se pueden delimitar
tres grandes estrategias: métodos de comparación, evaluación subjetiva
e impacto social (Jacobson y Truax, 1991; Kazdin, 1977; Wolf, 1978).
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
21
Métodos De Comparación
Al final del tratamiento puede compararse al paciente con algún otro
estándar para determinar si el cambio es clínicamente significativo. Se
han utilizado diferentes métodos con base en comparaciones normativas
o ipsativas (subjetivas). Las comparaciones normativas se refieren a
comparar el rendimiento de la persona con el rendimiento de otros; las
comparaciones ipsativas se refieren a comparar al individuo con él
mismo. Considere los métodos de comparación empleados con mayor
frecuencia.
Muestras normativas. La pregunta tratada por este método es ¿en qué
grado quedan los pacientes después de completar el tratamiento (o
alguna otra intervención) dentro del rango normativo del rendimiento?
Antes del tratamiento, los pacientes tal vez se desviarían
considerablemente de sus compañeros que funcionan bien en las
medidas y en la característica que llevó a su selección (por ejemplo,
ansiedad, depresión o retraimiento social). Demostrar después del
tratamiento que estas mismas personas no se distinguían de o dentro del
rango de una muestra normativa o que funcionen bien en las mediciones
de interés, seria una definición razonable de un cambio clínicamente
importante (Kazdin, 1977; Kendall y Grove, 1988). Para utilizar este
criterio, se hace una comparación entre los pacientes tratados y otros
sujetos que funcionan bien o que no tienen problemas significativos en su
vida diaria. Esto requiere que las medidas usadas en el estudio tengan
dates normativos a su favor y que se basen en muestras de población
general (no pacientes).
Como un ejemplo típico, uno de nuestros propios estudios evaluaba los
tratamientos para Los niños agresivos y antisociales de edades de siete a
13 años (Kazdin y cols., 1992). Se examinó la efectividad de tres
condiciones, incluyendo la capacitación en habilidades de resolución de
problemas (CHRP), capacitación para el manejo paterno (CMP), y CHRP
+ CMP. Se utilizaron dos mediciones de los resultados para los tres
grupos antes, después del tratamiento, y un seguimiento de un año
(figura 14.2). Las mediciones fueron las versiones completas de padre y
maestro de la Lista de revisión de la conducta infantil (Achenbach, 1991),
que evalúa un amplio rango de problemas emocionales y conductuales.
Una gran cantidad de datos normativos (de niños de la comunidad, no
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
referidos) de niños y niños dentro del grupo de edad se encuentra
disponible. Estos datos han indicado que la puntuación en el percentil
90 sobre los síntomas globales (totales) es la puntuación que mejor
distingue a las muestras clínicas de las muestras de la población
general de niños. En los resultados del tratamiento marcados en la
figura 14.2, se usaron las puntuaciones en este percentil de jóvenes de
la población general para definir el límite superior del rango normal de
problemas emocionales y conductuales. Se definió el cambio
clínicamente significativo como si las puntuaciones de los niños cayeran
por debajo de este límite, es decir, dentro del rango normativo.
La figura 14.2 muestra que las puntuaciones de los niños estaban muy
por encima de este rango antes del tratamiento en las medidas de los
padres (gráfica izquierda) y maestro (gráfica derecha). Cada grupo se
aproximaba o quedaba dentro del rango normal después del
tratamiento, aunque respecto al tratamiento combinado fue superior.
Los resultados en la figura 14.2 proporcionan las medias del grupo
(rendimiento promedio de cada grupo). También puede calcularse
cuántos individuos caen dentro del rango normativo al final del
tratamiento. En este ejemplo, para las medidas basadas en los padres,
los resultados después del tratamiento indicaban que 33, 39 y 64%, de
los jóvenes de CHIRP, CMP, y el tratamiento combinado,
respectivamente, quedaban dentro del rango normal. Estos porcentajes
son diferentes (estadísticamente significativos) y sugieren la
superioridad del tratamiento combinado aunque en el porcentaje de
jóvenes reportaron un funcionamiento por debajo de los niveles norma-
tivos. Los resultados resaltan la importancia de evaluar la significancia
clínica. En este estudio, aún con cambios estadísticamente
significativos dentro de los grupos y las diferencias entre los grupos, Los
datos refieren que la mayoría de los jóvenes que recibió tratamiento
seguía cayendo fuera del rango normativo de sus compañeros no
referidos clínicamente.
Muestras disfuncionales. Otro método para definir la significancia
clínica es utilizar una muestra disfuncional para comparar. La idea es
que, en un estudio sobre el tratamiento, se podría considerar que todos
los sujetos pertenecen a una muestra disfuncional (considerando que el
propósito de la admisión y selección era identificar tal muestra). AI final
del tratamiento, si se realiza un cambio clínicamente importante, las
puntuaciones de los pacientes deberían desviarse marcadamente de las
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
22
puntuaciones originales de los casos disfuncionales. ¿Cuánto es
"marcadamente" en un cambio? Por supuesto, no hay justificación lógica
para la respuesta. Alejarse dos desviaciones estándar de la media de la
muestra disfuncional es un criterio propuesto para delimitar dicha
magnitud de cambio como clínicamente significativo (Jacobson y
Revensdorf, 1988). Así, después del tratamiento, se consideraría que los
individuos cuyas puntuaciones se alejan por lo menos dos desviaciones
estándar de la media del grupo disfuncional (casos no tratados con
disfunción demostrada) han cambiado de manera importante.
FIGURA 14.2 Puntuaciones promedio (puntuaciones T) para la Capacitación en
habilidades de resolución de problemas (GRP), Capacitación del manejo paterno
(CMP') y combinación de ambos (CHRP + CMF) para el total de las escalas de
problemas de conducta de la Lista de revisión de la conducta infantil (LRCI,
grafica izquierda) y la Lista de revisión del reporte del maestro sobre la
conducta infantil (LRMCI-FRM, grafica derecha). La línea horizontal refleja el
límite superior del rango no clínico (normal) de nidos de la misma edad y sexo.
Las puntuaciones debajo de esa línea caen dentro del rango normal.
Fuente: Kazdin, A.E., Sieget, T. y Bass, D. (1992) "Capacitación en habilidades
cognitivas de resolución de problemas y capacitación del manejo paterno en el
tratamiento de la conducta antisocial en los niños", en Journai of consutting and
ciinicai psychoiogy, 60, 733-747. Reproducido con permiso.
En principio, este criterio parece similar al utilizado para la significancia
estadística ordinaria, es decir, una comparación de dos grupos con el
mismo problema; un grupo se trata; el otro, no. Sin embargo, se recurre al
criterio de significancia clínica en relación con el comportamiento
individual de los pacientes. El cambio clínicamente significativo se evalúa
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
con respecto a si un determinado paciente se aleja dos desviaciones
estándar al hacer un cambio y con respecto al porcentaje de individuos
que lo hacen dentro de una condición experimental dada. Para ser
considerados clínicamente significativos, los cambios deben reflejar un
alejamiento de la muestra desviada en dirección de una disminución de
los síntomas o un aumento en el funcionamiento prosocial. ¿Por qué un
criterio de dos desviaciones estándar? Primero, si el individuo está a
dos desviaciones estándar de distancia de la media del grupo original,
esto sugiere que no está representado por la media y distribución de la
cual se sacó dicha muestra; en efecto, dos desviaciones estándar sobre
la media reflejan el percentil 98. Segundo, dos desviaciones estándar se
aproximan al criterio usado para la significancia estadística cuando se
comparan los grupos (1.96 desviaciones estándar para una prueba t de
dos colas que compara grupos para el nivel de significancia p < .05).
Por ejemplo, un estudio del tratamiento de la depresión entre adultos
comparaba dos variaciones de estrategias de resolución de problemas
(Nezu y Perri, 1989). Para evaluar la significancia clínica del cambio, los
investigadores examinaban la proporción de casos en cada grupo cuya
puntuación en las medidas de la depresión caía dos o más desviaciones
estándar por debajo (es decir, menos deprimidos) de la media de la
muestra no tratada. Por ejemplo, en una medida (el inventario Beck de
la Depresión), 85.7% de los sujetos que recibió la condición completa
de resolución de problemas logró este nivel de cambio. En contraste,
50% de los sujetos que recibió la condición abreviada de resolución de
problemas logró este nivel de cambio. El tratamiento más efectivo llevó
a un cambio clínicamente significativo para la mayoría de los sujetos,
por supuesto, un tratamiento era mejor que el otro en esta conside-
ración. Las comparaciones añaden información importante acerca del
impacto del tratamiento.
Para muchas medidas que se utilizan en la evaluación del tratamiento u
otras intervenciones, los datos normativos que podrían servir de criterio
para evaluar la significancia clínica o no existen o son insuficientes
(muchos no se aplican al grupo que se estudia). Es decir, no podemos
saber realmente al final del tratamiento si los sujetos quedan dentro de
un rango normativo. En estos casos, es útil evaluar el grado al cual los
individuos han hecho un cambio que los desvía de la media de una
muestra disfuncional. Los datos normativos no se requieren para esta
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
23
evaluación, pero si están disponibles se puede evaluar la significancia
clínica del cambio evaluando si la conducta del paciente corresponde a
niveles normativos, se aleja de los niveles disfuncionales y está más
cerca del nivel normativo (media) que del nivel disfuncional.
El criterio diagnóstico ya no se cumple. Otra forma en que se evalúa la
significancia clínica es evaluar si la categoría diagnóstica del individuo ha
cambiado con el tratamiento. En muchos estudios sobre el tratamiento,
los individuos son admitidos y seleccionados si cumplen los criterios de
un diagnóstico psiquiátrico. Los que tienen un diagnóstico se incluyen en
el estudio y se asignan a varias condiciones control y de tratamiento. Una
medida de la significancia clínica es determinar si el individuo, al final del
tratamiento, sigue cumpliendo los criterios de los diagnósticos originales
(u otros). Probablemente, si el tratamiento ha logrado un cambio
suficiente, el individuo ya no cumple los criterios para el diagnóstico. A
veces esto se refiere a mostrar que el individuo se ha recuperado. Por
ejemplo, en un estudio, los adolescentes que cumplen los criterios de
diagnóstico psiquiátrico para la depresión clínica fueron asignados a uno
de tres grupos: tratamiento para el adolescente, tratamiento para el
adolescente y sus padres o la condición en lista de espera (Lewinshon,
Clarke, Hops y Andrews, 1990). Al final del tratamiento, 57 y 52% de los
casos en los dos grupos de tratamiento, respectivamente, y 95% de los
casos en el grupo control seguían cumpliendo los criterios diagnósticos
para la depresión. Es evidente que el tratamiento fue efectivo de manera
importante.
Hay algo de atractivo en mostrar que, después del tratamiento, el
individuo ya no cumple los criterios diagnósticos para el trastorno que se
trato. Sugiere que la condición (problema o trastorno) ha desaparecido o
"cuando". Si un efecto dramático del tratamiento actual del virus de
inmunodeficiencia humana (VIH) es que la combinación de medicinas
parece eliminar el virus de modo que ya no se detecte; entonces, el
individuo no presentará más el diagnóstico (Halter, 1996). Sin embargo,
en psiquiatría y psicología, no cumplir los criterios del diagnóstico de m
trastorno) (por ejemplo, la depresión) puede lograrse mostrando un
cambio en sólo uno o dos síntomas. También, sabemos que con algunos
diagnósticos (como la depresión, trastorno de conducta), (estar por
debajo del nivel para cumplir el criterio diagnóstico no significa que el
individuo está libre de problemas. Los individuos que no cumplen lo
suficiente con los criterios para el diagnóstico, pero están cerca, aún
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
pueden tener problemas actuales y duraderos (Gotlib, Lewinsohn y
Seeley, 1995; Offord y cols., 1992). El trastorno no define ni por arriba
ni por debajo del punto límite de corte para especificar el punto en el
cual principia y termina la disfunción clínica, el daño o un mal
pronóstico. Mostrar que un individuo ya no cumple con los criterios de
un diagnóstico es informativo en la medida que los criterios
diagnósticos se convierten en una manera significativa de comunicarse
acerca de la disfunción y los índices de ésta.
Problemas y consideraciones. Los métodos de comparación
presentan varios problemas. Una pregunta inicial es ¿quién debería
servir de grupo normativo cuando éste se una como la base para
decidir la significancia clínica? Por ejemplo, con quién deben
compararse los pacientes con retraso mental, psiquiátricos crónicos o
prisioneros, al evaluar el tratamiento o los programas de rehabilitación?
Desarrollar niveles normales de comportamiento podría ser un ideal
poco realista en el tratamiento si el nivel se basa en individuos que
están funcionando bien en una, población general. También, ¿Cómo se
define una población normativa? Sabemos, por ejemplo, que una
muestra normativa, es decir, los individuos en la comunidad no
involucrados en el tratamiento y los "normales" seleccionados para
investigación, pueden tener altos porcentajes (20-50%) de
psicopatología actual o de por vida y disfunción clínica (Halbreich y
cols, 1989; Kruesi, Lenane, Hibbs y Major, 1990; Robins y cols., 1984),
Así, puede haber mucho de conductas disfuncionales en el grupo que
serviría como base para la comparación. También, las tasas de
disfunción y los patrones de síntomas varían en función de la clase
social, el grupo étnico y la cultura. Formar un grupo normativo
probablemente debiera tomar en cuenta tales factores,
Aun si un grupo normativo puede identificarse exactamente, qué rango
de sus conductas se definirían dentro del nivel normativo? Entre los
individuos cuyas conductas no se identifican como problemáticas habrá
un rango de conductas aceptables, Definir los límites superior e inferior
de ese rango (por ejemplo, ± 1 desviación estándar) es algo arbitrario a
menos que los valores muestren que los datos por arriba o por debajo
de un límite particular tengan diferentes consecuencias a largo o a
corto plazos sobre otras mediciones de interés (hospitalización o
mostrar otro trastorno).
Para muchas medidas que interesan, ubicar a los individuos dentro del
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
24
rango normativo es un objetivo cuestionable. Considere, por ejemplo, las
habilidades para la lectura en los niños de primaria. Un cambio
clínicamente significativo podría ser cambiar de posición a los niños con
disfunción en la lectura, de modo) que caigan dentro del rango normal.
Sin embargo, tal vez el rango normal por sí mismo no debería verse come
un objetivo incuestionable La lectura de la mayoría de los niños podría
incrementarse por los niveles normativos actuales. Así, los mismos datos
normativos necesitan ser considerados. Sería más drástico ubicar a los
jóvenes que abusan de las drogas y del alcohol en un nivel igual al de
jóvenes funcionales. En algunos grupos, estos podrían estar involucrán-
dose en un nivel de conducta desviada, que es potencialmente
desadaptada.
Finalmente, es muy probable que el rendimiento caiga dentro del rango
normativo o Se salga marcadamente de un grupo desviado, pero no
refleje de qué manera está funcionando el individuo en la vida diaria. Las
medidas de lápiz y papel, los cuestionarios, las entrevistas y otras
medidas frecuentemente usadas pueden no reflejar el funcionamiento
adaptativo de un individuo dada. Hasta en las medidas con niveles
elevados de validez establecidos, el rendimiento en sí de un individuo no
significa que esté feliz, que le vaya bien o que se adapte en diferentes
esferas de la vida.
Evaluación Subjetiva
El método de evaluación subjetivas se refiere a determinar la importancia
del cambio de conducta en el paciente evaluando las opiniones de los
individuos que es probable que tengan contacto con el paciente o que
sean expertos (Wolf, 1978). La pregunta que trata este método de
evaluación es si los cambios han llevado a diferencias en que ven los
cambios los pacientes y las demás personas. dos puntos de vista de
otros son relevantes porque la gente en la vida diaria a menudo tiene m
papel fundamental para poder identificar, definir y responder a las
personas que consideran disfuncionales o desviadas. Las evaluaciones
subjetivas permiten la evaluación del grado en el que otras personas
pueden identificar los efectos de una intervención, sin considerar si es
estadísticamente significativa en las mediciones de los resultados
iniciales.
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN 25

Considere el caso de Steven, un estudiante universitario que deseaba después de dejar el tratamiento. La evaluación subjetiva es relevante
tratamiento para eliminar dos tics musculares (movimientos como criterio.
incontrolados) (Wright y Miltenberger, 1987). Los tics implicaban
movimientos de la cabeza y el excesivo levantamiento de las cejas. Se Problemas y consideraciones. Las escalas de índices globales son
realizaron sesiones de tratamiento individuales en las que Steven fue usualmente la base para obtener evaluaciones subjetivas. Estas escalas
capacitado para controlar e identificar cuando ocurrían los tics y estar son consideradas sospechosas porque son más fácilmente susceptibles
más consciente de su aparición en general. Además, el monitoreada los a sesgos por parte de los evaluadores que los cuestionarios y
tics a lo largo del día. Se realizaron sesiones de evaluación en las que entrevistas o las observaciones directas en las cuales los reactivos son
Steven leía en la clínica o en la biblioteca de la universidad y los más concretos y dirigidos a descripciones más claras. Como las
observadores registraban los tics. Los procedimientos de capacitación evaluaciones son globales en lugar de concretas, probablemente
de autocontrol y de autoconocimiento se evaluaron en un diseño de resultan muy variables (que tengan diferentes significados e
línea base múltiple, en el cual el tic declinaba en la frecuencia conforme interpretaciones) entre los que responden. También, es probable que
se aplicaba el tratamiento. las evaluaciones subjetivas, ya sea que las realicen los pacientes u otros
en contacto con ellos, sean poco específicas en la habilidad para
Una pregunta central es si la reducción fue muy importante o había
distinguir entre los diferentes tratamientos.
alguna diferencia, ya sea para Steven o para otros. Al final del
tratamiento, las respuestas de Steven a un cuestionario indicaban que
El hecho de que el paciente o las personas asociadas con éste
ya no estaba molesto por los tics y que sentía que ya no eran muy
identifiquen una diferencia en la conducta en función del tratamiento del
evidentes para otras personas. Además, cuatro observadores
paciente no significa que éste ha cambiado o ha cambiado mucho. Las
calificaron cintas de vídeo de Steven seleccionadas al azar sin saber
personas en contacto con él pueden percibir un pequeño cambio e
cuáles cintas precedían y cuáles eran posteriores al tratamiento. Los
informar esto en sus puntuaciones. Pero esto no necesariamente signi-
observadores puntuaron los tics de las cintas posteriores al tratamiento
fica que el tratamiento haya aliviado el problema para el cual se buscó
como poco evidentes, de normales a muy normales en apariencia y de
tratamiento o haya llevado al paciente dentro de los niveles de conducta
pequeñas a muy pequeñas en magnitud. En contraste, habían
normativos.
calificado los tics en las cintas anteriores al tratamiento como mucho
más severas en estas dimensiones. Luego se informó a los
En general, deben tratarse con cuidado las evaluaciones subjetivas; es
observadores cuáles eran las cintas posteriores al tratamiento y se les
posible que éstas reflejen cambios cuando otras medidas del cambio no
pidió que reportaran qué tan satisfechos estarían si hubieran logrado
lo hacen. Las evaluaciones subjetivas son extremadamente limitadas y
los mismos resultados que Steven. Todos los observadores informaron
de valor poco claro como medida única o inicial de los resultados en la
que habrían estado satisfechos con los resultados del tratamiento. Las
mayoría de las disfunciones clínicas. Sin embargo, como datos
evaluaciones de Steven y los observadores independientes ayudan a
complementarios, las puntuaciones subjetivas pueden proporcionar
verificar la importancia de los cambios; es decir, hicieron una diferencia
información relevante respecto a la manera en que puede ser el
para el paciente y para otros.
problema y el grado de cambio. En realidad sí hay una diferencia en
cómo siente y piensa la gente y si el tratamiento hace a la gente
La evaluación subjetiva es obviamente importante. Si el tratamiento
experimentar la vida mejor que antes del tratamiento. (También, nos
está funcionando y tiene un impacto importante, los efectos deberían
gustaría que los efectos no resultaran simplemente de la regresión
hacer una diferencia perceptible a los mismos pacientes y con los que
estadística.) La evaluación subjetiva se diseña para complementar otras
interactúan. Las opiniones de otros que están en contacto con el
medidas y tratar estos problemas mayores.
paciente son importantes como criterio por su propio derecho, porque
con frecuencia sirven de base para buscar el tratamiento en primer
lugar, y también reflejan las evaluaciones que el paciente encontrará
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.

UNIDAD III MÉTODOS DE INVESTIGACIÓN.

MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
Medidas Del Impacto Social
Otro tipo de medida que ayuda a evaluar la importancia clínica o
aplicada de los resultados del tratamiento es ver si las medidas del
impacto social se han alterado. Las medidas del impacto social se
refieren a resultados valorados en la vida diaria que son importantes
para la sociedad en general. Índices de arresto, vagancia, manejar
intoxicado, enfermedad, hospitalización y muerte, son ejemplos
primordiales de las medidas del impacto social. Los interesados en un
tratamiento (personas que piden o pagan tratamiento) a menudo
consideran tales medidas "el meollo del asunto". A menudo estas
medidas son más significativas e interpretativas para el público en
general y para las personas que influyen en la política, que las medidas
psicológicas usuales. AI final del tratamiento, los psicólogos pueden
entusiasmarse al mostrar que se reflejaron cambios en efectos
altamente significativos sobre las medidas psicológicas (por ejemplo,
MMPI-2, el inventario Beck de la Depresión). Sin embargo, ¿qué
significa esto en realidad? Para el público, los efectos son más daros si
podemos decir que como resultado del tratamiento se perdieron menos
días de trabajo, se hicieron menos visitas al doctor por problemas de
salud o hubo menos suicidios como resultado del tratamiento.
Las medidas del impacto social se han usado a menudo en los estudios
clínicos y aplicados. Por ejemplo, los programas de prevención
frecuentemente se enfocan en los infantes o niños pequeños de
hogares en desventaja socioeconómica, que están en riesgo de
problemas posteriores de salud mental y física (Lally, Mangione,y Honig,
1988; Schweinhart y Weikart, 1988). El seguimiento después de 10 a 20
añas que los niños recibieron el programa mostró porcentajes altos de
asistencia a la escuela, de graduación de la secundaría, de empleo
posterior, porcentajes más bajos de arresto y confiabilidad en el
bienestar entre personas que recibieron la intervención, comparadas
con controles sin intervención. Estas medidas y resultados son
claramente significativas para la sociedad.
El costo es también una medida del impacto social. Aunque no es
usualmente una medida de interés como constructo psicológico, es muy
importante mostrar que una intervención tiene impacto en el costo de la
atención. Efectivamente, el costo puede determinar la utilización de
cierto tratamiento y su aprobación al nivel de las políticas. De aquí que,
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
26
el costo no es una medida auxiliar para los consumidores de la
investigación.
Problemas y consideraciones. Las medidas del impacto social son por
definición muy importantes y proporcionan un puente de nuestra
investigación hasta las personas que buscamos ayudar. En muchas
panes de nuestra investigación nos estamos hablando a nosotros
mismos, incluso en áreas (por ejemplo, psicoterapia o evaluación de la
psicopatología) en las que el tema tiene implicaciones muy directas para
el público en general. En consecuencia, como medida de los efectos de la
intervención, se recomienda considerar una batería medidas del impacto
social.
Las medidas del impacto social tienen una cantidad de riesgos por lo que
se debe considerar con precaución su interpretación. Las medidas (por
ejemplo, calificaciones de la escuela, porcentajes de crimen y desgracias)
con frecuencia son insensibles como medidas de los efectos de la
intervención. Son medidas burdas y están sujetas a una variedad de otras
influencias no asociadas con la intervención y la investigación. Dicho de
forma más precisa, el error en las medidas puede ser relativamente alto.
El error al azar puede provenir de variaciones en qué tan
consistentemente se registran las medidas, como en el caso de muchos
registros de archivos (ir a la escuela y registros en las oficinas públicas).
Damos por hecho que la mayoría de las medidas psicológicas tiene un
método estandarizado de administración. Es muy probable que estas
medidas sean registradas y puntuadas algo fortuitamente a lo largo del
tiempo, lo que puede afectar (variabilidad del error) los resultados. Los
cambios en la economía (comúnmente recortes de presupuesto), las
políticas, procedimientos y personas responsables de los registros; todos
pueden operar de forma sistemática para influir en la confiabilidad y
validez de los datos. También, puede introducirse el error por los cambios
sistemáticos en la forma en que se hace la puntuación de la medida
(instrumentación) a lo largo del tiempo.
Los obstáculos interpretativos y de evaluación pueden contaminar las
medidas del impacto social. Por ejemplo, el porcentaje de delito interesa
tanto a las intervenciones psicológicas como sociales. Primero, ¿Qué es
lo que realmente evalúa el porcentaje de delito, según lo miden los
informes oficiales (Reportes uniformes del delito)? El delito se registra
usualmente de manera jerárquica, lo que significa que cuando ocurre un
determinado delito, sólo se cuenta el peor delito (DiLulio, 1997. Por
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
ejemplo, en un determinado día, un delincuente puede violar a alguien,
robar un automóvil para huir y asaltar a la persona a quien le robó el
auto. Esto se cuenta como un delito; se cuenta el peor delito (violación,
en este caso). De igual forma, si dos automóviles son robados la misma
noche y dos personas son golpeadas en el proceso, pero los incidentes
fueron hechos por el mismo delincuente, esto se cuenta como un delito.
En general, se cuenta el delito más grave, sólo ese delito es
considerado en un episodio dado y sólo una vez. Por tanto, el
porcentaje de delito no necesariamente refleja el número de delito,
realizados o el número de víctimas. Mostrar un cambio en el porcentaje
de delito podría ser importante, pero el significado de la medida no es
obvio para la mayoría de nosotros.
Otro problema es la instrumentación. Continuando con un ejemplo
sobre el porcentaje del delito, la mayor parte de los delitos
(aproximadamente 65%) no se reporta. El Departamento de Estadística
de Justicia do Estados Unidos realiza entrevistas anuales en los
domicilios para valorar los delitos, sin considerar si éstos fueron o no
reportados a la policía. La dificultad es que la encuesta (comenzada en
1973) ha cambiado a lo largo del tiempo; de ahí que haya grandes
cambios (incrementos) en los porcentajes del delito como función de los
cambios en el instrumento (DiLulio, 1997). Los cambios en los por-
centajes nuevamente pueden reflejar los efectos de la intervención, los
cambios sociales, o la instrumentación en grados y combinaciones,
variables. Además de las estadísticas desconcertantes en el porcentaje
real de los delitos, los cambios de criterios para registrar los delitos
añaden variabilidad a lo largo del tiempo. Puede ser difícil mostrar un
efecto de la intervención sobreimpuesto a esa variabilidad, basta
cuando hay un efecto verídico.
Frecuentemente, las personas que no son investigadoras utilizan las
medidas del impacto social como una base para determinar el valor y la
efectividad de un programa. Si la intervención no ha mostrado impacto
social, los medios o no investigadores a menudo lo considerar
evidencia de que la intervención no causa diferencias, no es
importante, o tal vez ha fracasado. Sin embargo, las medidas del
impacto social necesitan evaluarse e interpretarse en forma minuciosa.
La ausencia de cambio en tales medidas, dada la naturaleza misma de
muchas de ellas, puede no ser un índice adecuado, razonable o
interpretable del efecto del programa. El peligro de las medidas del
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
27
impacto social deriva de sus dos características más sobresalientes, es
decir, su alta credibilidad y sus propiedades psicométricas a menudo
pobres (por ejemplo, tipos alternativos de confiabilidad y validez). A
pesar de estas advertencias, los datos del impacto social pueden ser
muy útiles para ver si las mejoras identificadas en medidas psicológicas
específicas se reflejan directamente en las medidas de interés primario
para los consumidores del tratamiento y para la sociedad en general.
Cuando tales medidas muestran un cambio, expresan evidencia
importante de que el impacto de la intervención fue socialmente
importante.
Comentarios Generales
No hay una sola manera de medir la significancia clínica o aplicada de
los erectos de la intervención. En un proyecto determinado, las medidas
como la vagancia, el delito o los porcentajes de deserción escolar
pueden incluirse como un asunto del curso, porque fueron los alicientes
para diseñar y evaluar la intervención. Otras medidas que no sean las
señaladas anteriormente también pudieran haber sido instrumentadas
para evaluar la significancia clínica. No es difícil concebir otras maneras
de operacionalizar la significancia clínica. Por ejemplo, en la
investigación de la terapia, las medidas de los síntomas se usan
comúnmente para evaluar la significancia clínica. Sin embargo, pueden
evaluarse otros constructos, como la calidad de vida o el deterioro. Los
cambios en las medidas de estos constructos, si son estadísticamente
significativos o su TE es grande, pudieran ser esfuerzos operacionales
razonables para definir la significancia clínica porque las mismas
medidas intentan reflejar la experiencia de la vida real.
Para todas las medidas de la significancia clínica, conviene hacer una
advertencia. Estas medidas son definidas principalmente por los
investigadores, con excepción de las medidas del impacto social. Es
decir, las medidas son definiciones operacionales de lo que
consideramos bases razonables para decir que hubo impacto clínico
importante. Sin embargo, se pueden reunir pocos datos para mostrar
que la definición que elegimos es tal que de hecho realiza una diferencia
de alguna otra manera (más allá de nuestra medida) para el paciente en
su vida diaria. Por ejemplo, podemos mostrar que en la medida de los
síntomas el paciente que está realizando su terapia está ahora dentro
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN
del rango normativo o ha hecho un gran cambio (dos desviaciones
estándar). ¿Está el individuo de manera palpable funcionando mejor en
la vida diaria? Realmente no lo sabemos, porque las medidas de la
significancia clínica no se han validado una contra la otra o contra otros
índices del funcionamiento (por ejemplo, desempeño en el trabajo,
relaciones).
Una dificultad para interpretar las medidas de significancia clínica es
que no se han estudiado niveles determinados de comportamiento de
forma que podamos saber qué significan. Como modo de contraste,
considere las medidas dentro de la salad. Hay estándares
relativamente bien aceptados para los niveles normativos y de salad
sobre el peso, la hipertensión y el colesterol, aunque estos cambian
con los avances en la investigación. Aun así, sabemos que hay riesgos
de mortalidad y morbilidad asociados con los diferentes niveles de
peso, y sabemos que algunos niveles son claramente mucho mejores
que otros en relación con estos resultados. El ejemplo es menos claro
para las medidas de la psicopatología, la adaptación y la personalidad,
porque los correlatos y los pronósticos a largo plazo asociados con una
puntuación particular no están bien comprendidos. Esto significa que
es más difícil defender un resultado particular (cambio en dos
desviaciones estándar) como criterio que realmente realiza una
diferencia, es decir, es clínicamente significativo.
A pesar de estas consideraciones, se estimula al lector a incluir una o
más medidas de la significancia clínica en cualquier estudio sobre
intervención (Walker y cols., 1996). El propósito de esta adición es ir
más allá de la simple significancia estadística y también ayudar a
estimular la diseminación de los resultados. Es probable que éstos
tengan impacto en la sociedad en general al grado de que quienes no
son investigadores puedan interpretarlos. En consecuencia, el uso de
las medidas de significancia clínica avanzan el trabajo clínico al
asegurar que se ha ayudado a los pacientes en un grado importante y
también trata problemas más amplios pare la investigación al estimular
la diseminación de los resultados.
RESUMEN Y CONCLUSIONES
Las pruebas de significancia estadística son el método determinante
para analizar los resultados de la investigación. En la mayoría de los
casos, las pruebas estadísticas se realizan para comprobar la hipótesis
Para profundizar en este tipo de contenidos consulte la obra:
Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.
28
nula (no hay diferencias) y determinar si las diferencias entre los grupos
son estadísticamente significativas. Las pruebas estadísticas usan niveles
de probabilidad para hacer este juicio y se basan primordialmente en la
preocupación de proteger un error de tipo I, es decir, rechazar la hipótesis
nula cuando esa hipótesis realmente es verdadera. Como la significancia
estadística sigue siendo el criterio primario al evaluar los resultados de la
investigación, al investigador le interesa comprender cómo diseñar
estudios que tienen una prueba razonable para demostrar diferencias
cuando existan.
Se analizaron problemas relevantes a la evaluación estadística,
incluyendo niveles de significancia, potencia, tamaño de la muestra,
pruebas de comparación múltiples, significancia y magnitud de los
erectos y datos multivariados. La potencia estadística ha recibido el
mayor análisis en la investigación porque muestra más claramente la
interrelación de alfa, el tamaño de la muestra y el tamaño del efecto. Las
evaluaciones de la investigación han mostrado repetidamente que la
mayoría de los estudios se diseña de tal manera que tienen una potencia
débil. La solución obvia para aumentar la potencia es aumentar el tamaño
de la muestra, aunque usualmente esto no es muy factible, en parte
porque con frecuencia se requiere añadir muchos sujetos en lugar de
unos cuantos. Se analizaron estrategias alternativas, entre ellas
minimizar alfa en circunstancias especiales, usar pruebas estadísticas
que aumentan la potencia, minimizar la variabilidad del error en todas las
fases del experimento al grado que sea posible y considerar las
condiciones (por ejemplo, manipulaciones experimentales y qué grupos
incluir en el diseño) que maximizarán el tamaño del efecto obtenido.
Desde que surgieron las pruebas de significancia estadística, ha habido
una constante insatisfacción acerca de su utilidad para la investigación.
Entre las muchas preocupaciones está la forma en que los
investigadores malinterpretan la significancia estadística (no mide la
fuerza de un efecto o la probabilidad de la réplica), en que ésta confunde
(la hipótesis nula nunca es verdadera y no tiene que ser comprobada),
nos da puntos límite arbitrarios para tomar decisiones binarias (aceptar o
rechazar la hipótesis nula) y, más importante, no proporciona la
información crítica que nos gustaría (pruebas directas de nuestras
hipótesis e información acerca de la fuerza de nuestras intervenciones).
Entre las recomendaciones ha habido consenso en que se deberían
proporcionar medidas de la fuerza o magnitud de la relación, al presentar
UNIDAD III MÉTODOS DE INVESTIGACIÓN.
MÓDULO 0616- SEMINARIO DE INVESTIGACIÓN 29

los resultados cuantitativos. Se analizó el tamaño del efecto y la

correlación producto-momento de Pearson, Pero hay muchas medidas
similares. Un punto estimado fue la probabilidad del efecto (tamaño del
efecto) y un rango de valores acerca de ese efecto (intervalos de
confianza) que proporcionarían información más útil para interpretar
nuestros estudios.

La significancia clínica se ha definido de muchas maneras. Se

analizaron tres estrategias generales que se han usado: métodos de
comparación, evaluación subjetiva y medidas del impacto social. Los
métodos de comparación usualmente demuestran cambio
clínicamente significativo, mostrando que el rendimiento de los
pacientes después del tratamiento cae dentro del rango de una
muestra normativa de comparación o se desvía marcadamente del
nivel de funcionamiento que caracteriza a la muestra que continúa
manifestando el problema para el cual se aplicó el tratamiento. El
método de evaluación subjetiva consiste en hacer que los mismos
pacientes o los individuos que están en contacto con éstos
proporcionen evaluaciones cualitativas del comportamiento. El método
del impacto social consiste en evaluar las intervenciones en las
medidas de interés directo para los consumidores y la sociedad en
general. Estos tres métodos tratan de maneras diferentes la
importancia y la magnitud del cambio de conducta para el funcio-
namiento del paciente y proporcionan criterios no disponibles en otras
formas de evaluación de los datos.

Para profundizar en este tipo de contenidos consulte la obra:

Kazdin, A. (2001). Métodos de Investigación en Psicología Clínica. Prentice Hall.

UNIDAD III MÉTODOS DE INVESTIGACIÓN.