Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Seis
VALIDEZ
V
alidez es un término importante en la investigación que
se refiere a la solidez conceptual y científica de un
estudio de investigación (Graziano y Raulin, 2004).
Como se comentó anteriormente, el propósito principal
de todas las formas de investigación es producir conclusiones
válidas. Además, los investigadores están interesadas en las
explicaciones de los efectos e interacciones de las variables
que se producen en una amplia variedad de configuraciones
diferentes. Para entender verdaderamente estas interacciones
requiere especial atención al concepto de validez, lo que
pone de relieve la necesidad de eliminar o reducir al mínimo
los efectos de las influencias extrañas invariables y
explicaciones que pudieran interferir con los resultados de
un estudio.
Validez es, por lo tanto, un concepto muy importante y útil
en todas las formas de metodología de la investigación. Su
objetivo principal es aumentar la precisión y utilidad de los
resultados mediante la eliminación o el control de la mayor
cantidad de variables de confusión como sea posible, lo que
permite una mayor confianza en los resultados de un estudio
dado. Hay cuatro tipos distintos de validez (validez interna,
validez externa, validez de constructo y validez conclusión
estadística) que interacciones para controlar y minimizar el
impacto de una amplia variedad de factores extraños que puede
confundir a un estudio y reducir la exactitud de sus
conclusiones. En este capítulo se discutirá cada tipo de
validez, sus amenazas asociadas, y sus implicaciones para el
diseño de la investigación y la metodología.
158
VALIDEZ 159
NO OLVIDE
Puesta en práctica
…………………………………………………………………………………………………………
Un ejemplo de la validez interna y plausible Las hipótesis
rivales
……………………………………………………………………………………………………………………………………………………………….
Un investigador está interesado en la efectividad de dos
padres programas diferentes de capacitación y educación para
mejorar en los síntomas de la depresión en adolescentes. El
investigador recluta a 100 familias que cumplen con las
especificaciones criterios de inclusión en el estudio. El
criterio de inclusión principal es que la familia debe tener
un adolescente que actualmente cumpla con los criterios para
la depresión. Después del reclutamiento, el investigador
asigna aleatoriamente familias en uno de los dos programas de
capacitación de habilidades. Los padres reciben las
intervenciones durante un período de 10 semanas y luego se
envían a casa para solicitar las habilidades que han
aprendido. El investigador reevalúa a los adolescentes 6
meses después para ver si ha habido una mejora en los
adolescentes síntomas de depresión. Los resultados sugieren
que ambos grupos mejoraron. El investigador concluye que
ambas intervenciones de entrenamiento de habilidades
parentales fueron efectivos para tratar la depresión en
adolescentes. Dado que información limitada aquí, ¿es esta
una conclusión apropiada? La respuesta, por supuesto, es no.
Este estudio tiene poca validez interna porque Es imposible
decir con certeza que la variable independiente (las dos
clases de entrenamiento de habilidades) tuvieron un efecto en
la variable dependiente (depresión). Existen varias hipótesis
rivales alternativas que tienen no ha sido controlado y
podría explicar con la misma facilidad los
VALIDEZ 161
NO OLVIDE
Las amenazas a la validez interna
Como se discutió en los Capítulos 3 y 5, la mayoría de las
amenazas a la validez interna son controlado a través de
análisis estadísticos, grupos de control y comparación, y
aleatorización. El supuesto subyacente de aleatorización tal
como se aplica a validez interna es que los factores
extraños se distribuyen uniformemente en todos los grupos
dentro del estudio. Los grupos de control permiten la
comparación directa entre grupos experimentales y la
evaluación de sospechas extrañas influencias. Los controles
estadísticos se usan típicamente cuando los participantes no
pueden asignarse aleatoriamente a condiciones experimentales
e implicar estadísticamente controlando las variables que el
investigador ha identificado como diferentes entre grupos.
potenciales y el control de ellos en consecuencia. La no
aplicación de controles adecuados afecta la capacidad del
buscador re para inferir la causalidad.
162 ESCENCIALES DEL DISEÑO Y LA METODOLOGIA DE LA INVESTIGACION
Historia
Generalmente, el historial como una amenaza a la validez
interna se refiere a eventos o incidentes que tienen lugar
durante el curso del estudio y que pueden tener un efecto no
deseado e impacto incontrolado en el resultado final del
estudio (o el variable dependiente; Kazdin, 2003c). Estos
eventos tienden a ser globales lo suficiente como para
afectar a todos o la mayoría de los participantes en un
estudio. Ellos pueden ocurrir dentro o fuera del estudio y
generalmente ocurre entre el pre y fases posteriores a la
medición de la variable dependiente. El impacto de la
historia como una amenaza a la validez interna generalmente
se ve durante la medición posterior fase del estudio y es
particularmente frecuente si el estudio es longitudinal y
por lo tanto tiene lugar durante un largo período de tiempo.
En consecuencia, el cuanto mayor sea el período de tiempo
entre la premedida y la posmedida, mayor la posibilidad de
que un efecto de historia pudiera haber confundido los
resultados de el estudio (Christensen, 1988).
Por ejemplo, un evento nacional catastrófico que provoca
ansiedad podría tener un impacto en muchos, si no todos,
los participantes en un estudio para el tratamiento de la
ansiedad. El evento podría producir una escalada en los
síntomas que podrían ser interpretado como un fracaso de la
intervención, cuando, en realidad, es un artefacto del
evento externo en sí. Dependiendo del momento, este externo
evento podría tener un impacto significativo en la medición
del dependiente variable.
Otro ejemplo se puede encontrar en nuestra discusión previa
sobre la efectividad de capacitación en habilidades para
padres sobre síntomas de depresión en adolescentes (vea
Ponerlo en práctica en la página 160). En ese ejemplo, los
síntomas de la depresión se evaluaron 6 meses después de la
intervención de entrenamiento de habilidades parentales. Es
posible que ocurriera algún otro evento significativo
durante ese período de tiempo que podría explicar los
síntomas reducidos de la depresión. Una posibilidad es que
la escuela termine por el año y las vacaciones de verano.
comenzó, lo que produjo una disminución de los síntomas
depresivos entre la muestra de adolescentes. Entonces, la
disminución de la depresión podría deberse a un artefacto
VALIDEZ 163
Instrumentación
Esta amenaza a la validez interna no
está relacionada con las NO OLVIDES
características de los participantes y Consideraciones importantes
se refiere a cambios en la evaluación Respecto a Instrumentación
de la variable independiente, que
• La estandarización se refiere a la
generalmente son relacionado con pautas establecidas en la
cambios en la medición instrumento o administración
medida procedimientos a lo largo del y puntuación de un instrumento u
otra evaluación método.
tiempo (Christensen, 1988; Kazdin, • La confiabilidad está presente
2003c). En esencia, compromisos de cuando una evaluación método
instrumentación validez interna cuando mide las características de interés
en un Moda consistente.
cambios en la variable dependiente • La validez está presente cuando
resultado de cambios a lo largo del el enfoque a medida utilizada en el
tiempo en los instrumentos de estudio realmente mide lo que se
supone que debe medir
evaluación y criterios de puntuación
utilizados en el estudio. Existe una gran variedad de
medidas y técnicas de evaluación disponible para
investigadores y algunos de estos son más susceptibles a la
instrumentación y efectos que otros. La susceptibilidad de
una medida a el sesgo de instrumentación suele ser una
función de estandarización.
estudio.
Tercero, ¿hay algo único en las condiciones del estudio? Por
ejemplo, ¿se llevó a cabo el estudio alrededor de exámenes de
mitad de período o finales, cuando los niveles de ansiedad
podrían ser inusualmente altos? ¿Habría sido tan eficaz la
intervención si el estudio hubiera ocurrido en un momento
diferente durante el semestre? Como se mencionó
anteriormente, la respuesta es que no sabemos con certeza. En
términos de validez externa, la declaración más precisa que
se puede hacer a partir de los resultados de nuestro estudio
hipotético es que la intervención fue efectiva para los
estudiantes de primer año de la universidad en clases de
psicología introductoria en una importante universidad de la
costa este. Cualquier otra conclusión no sería necesariamente
apoyada, y sería necesaria una investigación adicional en
diferentes momentos, lugares y condiciones para apoyar
cualquier otra conclusión.
Características de la muestra
Esta amenaza a la validez externa se refiere a un fenómeno
por el que los resultados de un estudio se aplican sólo a una
muestra en particular. Por consiguiente, no está claro si los
resultados pueden aplicarse a otras muestras que varían en
180 ESCENCIALES DEL DISEÑO
función Y LA METODOLOGIA DEcomo
de características LA INVESTIGACION
la edad, el género, la
educación y el estatus socioeconómico (Kazdin, 2003c).
Un ejemplo de características de muestra se puede encontrar
en nuestra discusión anterior sobre la validez externa. En
ese ejemplo, observamos que la muestra consistía en
estudiantes de primer año universitarios inscritos en una
clase de psicología de nivel introductorio. Como señalamos,
no podemos suponer que los resultados de ese estudio
necesariamente se mantendrían para una muestra diferente,
como los estudiantes de secundaria o los niños de la escuela
primaria. Además, ni siquiera podemos suponer que los
hallazgos serían válidos para los estudiantes de primer año
de la universidad en general. A través de investigaciones
adicionales, podríamos descubrir que la intervención fue
efectivamente sólo para los estudiantes de psicología y no
generalizó a los estudiantes de primer año que tomaron clases
de negocios o ciencias de nivel introductorio. En otras
palabras, incluso esta diferencia sutil en las
características de la muestra puede tener un efecto
significativo en la generalización de los resultados de un
estudio. Claramente, no sería posible ni práctico incluir
todas las características de población posibles en nuestra
muestra, por lo que siempre nos enfrentamos a la posibilidad
de que las características de la muestra sean una confunde a
la validez externa de cualquier estudio. En consecuencia,
conclusiones.
NO OLVIDAR
………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………
Características de la diversidad
Las características de la muestra pueden abarcar una amplia
variedad de rasgos y características demográficas, siendo
algunos de los más comunes la edad, el género, la educación y
el estatus socioeconómico. Los comentaristas han observado
que algunas características relacionadas con la diversidad no
están bien representadas en la mayoría de las formas de
investigación (Kazdin, 2003c). La principal preocupación en
esta área es que hay una sobrerrepresentación de algunos
grupos, como los estudiantes universitarios; y una inclusión
relacionada y limitada de grupos subrepresentados y
minoritarios, como los hispanoamericanos y las mujeres. Las
características de la diversidad son un tema importante en
términos de validez externa, y pueden tener consecuencias
importantes y de gran alcance para todos los estratos de la
sociedad. Por ejemplo, los resultados de un estudio de
eficacia de medicamentos realizado sólo en hombres blancos
podrían no ser válidos para un grupo racial diferente. Las
posibles ramificaciones deben ser obvias. Del mismo modo, un
estudio diseñado para proporcionar la información necesaria
para tomar una decisión importante de política pública debe
incluir una muestra lo suficientemente diversa como para
capturar con precisión el grupo en particular que se verá
directamente afectado por la decisión. Aunque estos son sólo
dos ejemplos, los factores de diversidad deben ser
considerados en todos los tipos de investigación.
Efectos novedosos
Esta amenaza a la validez
externa se refiere a la Referencia Rápida 6.3
posibilidad de que los El efecto Hawthorne
La reactividad de los arreglos
efectos de la variable experimentales también se
independiente pueden conoce como el efecto
deberse en parte a la Hawthorne, que ocurre cuando el
singularidad o novedad desempeño de un individuo en un
del estímulo o situación estudio se ve afectado por el
y no a la intervención Sí conocimiento del individuo de
que él o ella está participando
mismo. Es similar a la
en un estudio. Por ejemplo,
Efecto espino (discutido algunos participantes podrían
en Capítulo 3; ver ser más atentos, obedientes o
también Referencia Rápida diligentes, mientras que otros
6.3) en ese nuevo o podrían ser intencionalmente
inusual tratamientos o difíciles o no cooperativos a
tratamientos pesar de haber sido voluntarios
para el estudio (Bracht &
experimentales
Glass, 1968).
Las intervenciones podría producir resultados que desaparecen
una vez que la novedad de la situación o condición se
desgasta apagado. En otras palabras, la novedad de la
intervención o situación actúa como un variable de
confundente, y es que novedad (y no la independiente
variable) esa es la verdadera explicación de los resultados. VALIDEZ 185
Esta amenaza a la validez externa es común en una amplia
variedad de entornos y diseños experimentales.
Tomemos, por ejemplo, una situación en la que los
investigadores están tratando de determinar la eficacia de
una nueva intervención terapéutica para individuos con
antecedentes de depresión crónica. Han decidido llamar a esta
nueva intervención "terapia de sonrisas" porque el terapeuta
está entrenado para sonreír al cliente en un horario regular
con la esperanza de fomentar un estado de ánimo positivo y
perspectiva de la vida. Se evalúan los síntomas de la
depresión, y luego los participantes se asignan
aleatoriamente a un grupo de control o a una de las tres
condiciones experimentales. Las tres condiciones
experimentales incluyen terapia de sonrisa, terapia
cognitivo-conductual y terapia interpersonal. Todos los
participantes se someten a sus respectivos tratamientos
durante 4 semanas y luego se les reevalúa la gravedad de la
depresión. Los investigadores encuentran que la terapia de
sonrisa es más eficaz que la terapia cognitivo-conductual e
interpersonal sobre los síntomas de la depresión crónica.
Por ahora, es probable que haya descubierto que podría haber
un problema aquí porque un efecto novedoso también podría
explicar los resultados. Nuestra población en este estudio
ficticio consiste en individuos con depresión crónica, por lo
que es probable que hayan probado muchas modalidades de
tratamiento o al menos han estado en tratamiento en una
modalidad durante un período significativo de tiempo. Aunque
estas modalidades son algo distintas, ninguna de ellas
implica que el terapeuta sonriendo al participante como la
intervención. Por lo tanto, la terapia de sonrisa es única, o
novedosa, y esto por sí solo podría explicar las mejoras en
la depresión. La otra cuestión aquí es que la intervención
tuvo lugar en el transcurso de 4 semanas. Si estos hallazgos
fueran el resultado de una novedad, entonces esperaríamos que
el efecto del tratamiento desapareciera con el tiempo a
medida que la novedad de la terapia de sonrisa disminuyera.
Cuatro semanas podrían no ser una cantidad suficiente de
tiempo para que la novedad disminuya, y los resultados del
estudio a las 12 semanas podrían no haber demostrado un
hallazgo significativo para esta nueva forma de terapia. La
presencia de un efecto novedoso limitaría la capacidad del
investigador para generalizar los resultados de este estudio
a situaciones o contextos en los que no existe el mismo
efecto.
Este efecto también se puede ver fuera del ámbito del
tratamiento-intervención. Supongamos que desea determinar la
eficacia de una intervención diseñada para aumentar el
trabajo en equipo y la productividad relacionada para los
gerentes de nivel superior en dos configuraciones
organizativas distintas. Dejando a un lado las amenazas
obvias a la validez interna creadas mediante la realización
de su estudio sin aleatorización en dos entornos separados,
exploremos más a fondo las implicaciones del efecto novedad.
Los investigadores identifican a los altos directivos de
ambas organizaciones y administran la intervención. Una
organización es una empresa de fabricación y la otra es una
gran empresa de gestión financiera. Los investigadores
encuentran que la intervención aumenta la productividad y el
trabajo en equipo, pero sólo en la empresa de gestión
186 ESCENCIALES DEL DISEÑO Y LA METODOLOGIA DE LA INVESTIGACION
financiera. Por lo tanto, los investigadores concluyen que la
intervención es eficaz, pero sólo en el único entorno.
Sin embargo, también es posible que el hallazgo se deba a un
efecto novedoso y no a la propia intervención. Vamos a
agregar información relevante adicional. ¿Y si supiera que la
empresa manufacturera está involucrada en un programa de
mejora de la calidad total? Estos programas tienden a
implicar un alto nivel de trabajo en equipo e interacción
grupal a diario. También descubren que la empresa de
gestión financiera nunca ha abordado el tema del trabajo en
equipo o la productividad grupal en el pasado. Por lo tanto,
el hallazgo significativo podría deberse a la novedad de
introducir el trabajo en equipo en un entorno donde nunca
antes se había considerado, y no a la intervención del
trabajo en equipo en sí. Por el contrario, la intervención
podría no haber sido efectiva en la empresa manufacturera
porque la organización ya había incorporado el modelo a su
cultura corporativa. ¿Qué pasa si intentamos la intervención
en una empresa de gestión financiera que ya había
implementado un enfoque de equipo? De nuevo, podríamos
encontrar que la intervención no es efectiva. Si ese fuera el
caso, entonces, en términos de generalización, la afirmación
más precisa podría ser que la intervención es efectiva en
compañías de gestión financiera que nunca han estado
expuestas a intervenciones de trabajo en equipo.
Reactividad de la evaluación
Esta amenaza a la validez externa se refiere a un fenómeno
por el cual la conciencia de los participantes de que se está
midiendo su desempeño puede alterar su desempeño de lo que de
otro modo habría sido (Christensen, 1988; Kazdin, 2003c). La
reactividad es una amenaza a la validez externa cuando esta
conciencia lleva a los participantes del estudio a responder
VALIDEZ 187
de manera diferente a como lo harían normalmente ante las
condiciones experimentales.
La reactividad es otra amenaza común a la validez externa que
puede ocurrir en una amplia variedad de entornos y
circunstancias, y es una amenaza sustancial siempre que la
evaluación formal o informal sea un componente necesario del
estudio. Por ejemplo, considere un estudio de resultados de
psicoterapia en el que se evalúe a los participantes el
número y la gravedad de los síntomas de angustia emocional.
El hecho mismo de que se esté realizando una evaluación
podría hacer que los participantes distorsionen sus
respuestas por diversas razones. Por ejemplo, los
participantes pueden sentirse incómodos o autoconscientes e
informar desempleo de sus síntomas. Por el contrario, los
participantes podrían informar en exceso sus niveles de
síntomas si sospechan que hacerlo podría conducir a un
tratamiento más intensivo. La Referencia Rápida 6.4 analiza
la obtrusiva del proceso de medición con respecto a la
reactividad de los participantes.
VALIDEZ ESTADÍSTICA
El último tipo de validez que discutiremos en este capítulo
es el concepto de validez estadística que es críticamente
importante pero que a menudo se pasa por alto. Como su nombre
lo indica, la validez estadística (también conocida como
validez de conclusión estadística) se refiere a aspectos de
la evaluación cuantitativa que afectan la precisión de las
conclusiones extraídas de los resultados de un estudio
(Campbell y Stanley, 1966; Cook y Campbell, 1979). Los
procedimientos estadísticos se usan típicamente para probar
la relación entre dos o más variables y determinar si un
efecto estadístico observado se debe al azar o es un reflejo
verdadero de una relación causal (Rosnow y Rosenthal,2002).
En su nivel más simple, la validez estadística aborda la
cuestión
194 ESCENCIALES de si Ylas
DEL DISEÑO conclusiones
LA METODOLOGIA estadísticas
DE LA INVESTIGACION extraídas de los
resultados de un estudio son razonables (Graziano y Raulin,
2004).
Los conceptos de prueba de hipótesis y evaluación estadística
están interrelacionados y proporcionan la base para evaluar
la validez estadística. La evaluación estadística se refiere
a la base teórica, la lógica y los aspectos computacionales
de las estadísticas reales utilizadas para evaluar la
naturaleza de la relación entre las variables independientes
y dependientes. Entre otras cosas, la elección de técnicas
estadísticas a menudo depende de la naturaleza de las
hipótesis que se prueban en el estudio. Aquí es donde el
concepto de prueba de hipótesis entra en nuestra discusión de
validez estadística. En pocas palabras, cada estudio está
impulsado por una o más hipótesis que guían el diseño
metodológico del estudio, los análisis estadísticos y las
conclusiones resultantes.
Como se discutió en el Capítulo 2, existen dos tipos
principales de hipótesis en la investigación: la hipótesis
nula (generalmente designada como H0) y la hipótesis
experimental (generalmente designada como H1, H2, H3, etc.,
dependiendo del número de hipótesis). La hipótesis
experimental representa la relación predicha entre las
variables que se examinan en el estudio. Por el contrario, la
hipótesis nula representa una declaración de no relación
entre las variables que se examinan (Christensen, 1988).
En este punto, deberíamos revisar una convención importante
en la metodología de investigación en lo que se refiere a
análisis estadísticos y pruebas de hipótesis. Rechazar la
hipótesis nula es un primer paso necesario para evaluar el
impacto de la variable independiente (Graziano y Raulin,
2004). Por lo tanto, en términos de análisis estadísticos, el
foco siempre está en la hipótesis nula, y no en las hipótesis
experimentales. Los investigadores rechazan la hipótesis nula
si se encuentra una diferencia estadísticamente significativa
entre las condiciones experimentales y de control (Kazdin,
2003c). Por el contrario, los investigadores retienen (o no
rechazan) la hipótesis nula si no se encuentra una diferenciaVALIDEZ 195
estadísticamente significativa entre las condiciones
experimentales y de control.
Al igual que con las otras formas de validez discutidas a lo
largo de este capítulo, existen numerosas amenazas a la
validez estadística. Los más comunes incluyen bajo poder
estadístico, variabilidad en los procedimientos
experimentales y características de los participantes, falta
de confiabilidad de las medidas y múltiples comparaciones y
tasas de error. Cada una de estas amenazas puede tener un
impacto significativo en la capacidad del estudio para
delinear relaciones causales y descartar hipótesis rivales
plausibles.}
Variabilidad
La variabilidad es otra amenaza para la validez estadística
que se aplica tanto a los participantes como a los
procedimientos utilizados en un estudio. Primero,
consideremos la variabilidad en los procedimientos
metodológicos. Este concepto incluye una amplia gama de
diferencias y preguntas relacionadas con los aspectos de
diseño reales del estudio. Estas diferencias se pueden
encontrar en la entrega de la variable independiente, los
procedimientos relacionados con la ejecución del estudio, la
variabilidad en las medidas de rendimiento a lo largo del
tiempo y una serie de otros ejemplos que dependen
directamente del diseño único de un estudio en particular.
Una amenaza relacionada con la validez estadística es la
variabilidad en las características de los participantes. Los
participantes en un estudio de investigación pueden variar
según una variedad de características y dimensiones, como la
edad, la educación, el estado socioeconómico y la raza. A
medida que aumenta la diversidad de características de los
participantes, hay menos probabilidades de que se pueda
detectar una diferencia entre las condiciones de control y
experimentales. Cuando se minimiza la variabilidad entre
estas dos amplias fuentes, aumenta la probabilidad de
detectar una verdadera diferencia entre el control y las
condiciones experimentales. Esta amenaza a la validez
estadística debe considerarse en la etapa de planificación
del estudio, y generalmente se controla mediante el uso de
muestras homogéneas, protocolos de procedimiento estrictos y
bien definidos, y controles estadísticos en la etapa de
análisis de datos.
Comparaciones múltiples
La amenaza final para la validez estadística que
consideraremos a menudo se denomina comparaciones
estadísticas múltiples y las tasas de error resultantes
(Kazdin, 2003c; Rosnow y Rosenthal, 2002). Esta amenaza a la
validez estadística se refiere al número de análisis
estadísticos utilizados para analizar los datos obtenidos en
un estudio. En general, a medida que aumenta el número de
análisis estadísticos, también lo hace la probabilidad de
encontrar una diferencia significativa entre las condiciones
experimentales y de control por pura casualidad matemática.
En otras palabras, el hallazgo significativo es un artefacto
matemático y no refleja una verdadera diferencia entre las
condiciones. En consecuencia, los investigadores deben
definir sus hipótesis antes de que comience el estudio para
llevar a cabo el número mínimo de análisis estadísticos para
abordar cada una de las hipótesis.
La referencia rápida 6.8 resume las amenazas a la validez
estadística que hemos discutido en esta sección.
VALIDEZ 197
RESUMEN
PRUÉBATE