Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Maintaining Internal Validity in Community Partnered Participatory Research ES
Maintaining Internal Validity in Community Partnered Participatory Research ES
Maintaining Internal Validity in Community Partnered Participatory Research ES
Introducción
(el comité directivo del estudio CPIC), explica con detalle cómo cumplimos los imperativos
transversales. Nos centramos en la validez interna, es decir, en la corrección, precisión y
solidez de las inferencias extraídas de la investigación, y en la capacidad de interpretar las
diferencias en los resultados del estudio como efectos causales. La validez externa, o la
capacidad de generalizar los resultados a otros entornos, también es de crucial importancia y
merece un examen que va más allá del alcance de este artículo. Como reflexiones
complementarias sobre cómo el marco del CPPR influyó en la validez interna, destacamos las
formas en que los investigadores del CPIC consideraron que los principios del CPPR habían sido
impactantes, resumimos el equilibrio distributivo sobre las características de fondo en los
respectivos brazos de intervención, hacemos referencia a las publicaciones que surgieron del
CPIC y aludimos a otras evaluaciones de revisión por pares.
Métodos
Contexto aplicado
El estudio CPIC surgió a partir de esfuerzos anteriores que documentaban los beneficios para la
salud y el bienestar social de la "atención colaborativa" para la depresión.6 En Partners in
Care,7 los pacientes de atención primaria con riesgo de depresión fueron ayudados por la
orientación sobre el tratamiento disponible, y se encontraron beneficios mayores que la media
para los participantes de las minorías. Utilizando un enfoque basado en la CPPR, Witness for
Wellness8 documentó una amplia necesidad insatisfecha de atención a la depresión, a la vez
que tendía un puente entre los investigadores académicos de la UCLA y la RAND Corporation y
los socios comunitarios afiliados a Healthy African American Families II, una agencia sin ánimo
de lucro centrada en la salud de las comunidades predominantemente minoritarias, y
QueensCare, una organización benéfica pública que presta servicios sanitarios a pacientes
indigentes. Los resultados prometedores llevaron a considerar la difusión de tratamientos
contra la depresión basados en la evidencia a través de agencias de servicios sociales, clínicas
de abuso de sustancias, clínicas de atención primaria, agencias de salud mental, entidades
religiosas u otros lugares de confianza de la comunidad (por ejemplo, parques y programas de
recreación, salones o peluquerías, gimnasios).
El CPIC comparó dos estrategias para difundir la atención a la depresión basada en la evidencia
a través de programas dentro de las agencias. Los programas fueron asignados al azar a una
intervención más intensiva de Compromiso y Planificación de la Comunidad (CEP), con
representantes de la agencia trabajando juntos en sesiones de planificación de grupo, o a una
intervención menos intensiva de Recursos para Servicios (RS) específica de la agencia que
exponía al personal a la formación en atención a la depresión sin componentes
interinstitucionales. A diferencia de un brazo de control sin tratamiento, el RS incluía
componentes de intervención activa que no se esperaban fuera del entorno del estudio; el
CPIC era, por tanto, un estudio de efectividad comparativa.
El CPIC se aplicó en dos áreas de planificación de servicios del condado de Los Ángeles
(Hollywood/Metropolitano y South Central), comunidades socioeconómicamente
desfavorecidas con poblaciones minoritarias desproporcionadas. Después de que las agencias
dieran su aprobación para participar, los clientes fueron reclutados de los programas dentro de
esas agencias a través de un proceso secundario que requería el consentimiento informado de
los clientes individuales.
En una de las primeras reuniones del Consejo del CPIC, el primer autor hizo una presentación
en la que abordó tanto los principios éticos como las consideraciones científicas relativas a la
aleatorización. Se reconoció que la realización de intervenciones con al menos algún beneficio
potencial era un reflejo del respeto a las personas, y también se destacó la importancia de
partir de una posición de auténtico equilibrio. Se señaló que la incorporación de elementos de
intervención activa en el brazo de RS tendría implicaciones en el tamaño de la muestra,
disminuyendo la potencia para detectar un efecto significativo de la intervención en
comparación con tener un brazo de control de tratamiento habitual; aun así, hubo un amplio
acuerdo en que las consideraciones éticas exigían ofrecer un beneficio potencial significativo
en el brazo de RS menos intensivo.
Una vez que el Consejo del CPIC llegó a un consenso que apoyaba el uso de la aleatorización,
se acordó delegar los detalles de la implementación al Comité de Diseño del estudio. Este
grupo incluía la dirección del proyecto, todos los investigadores del estudio con formación
especializada en estadística y otros socios académicos y comunitarios interesados.
Diseño experimental
Conceptualización
Los esfuerzos por ganar precisión en las comparaciones de resultados del CPIC se basaron en
principios de diseño experimental como la replicación y el bloqueo.12 El diseño del CPIC
también estuvo influenciado por el Modelo Causal de Rubin,1,2 que hace hincapié en la
transparencia al hacer explícitas las suposiciones subyacentes en lugar de implícitas.
El modelo causal de Rubin también implica que cuando los tratamientos tienen múltiples
componentes, no se puede aislar el efecto de un tratamiento a un componente específico.1
Estas ambigüedades, conocidas en la investigación experimental, son especialmente
destacadas cuando se estudian las intervenciones de la comunidad-coalición, dada la
complejidad de las interacciones interpersonales incluidas en la actividad de la intervención, lo
que hace imposible saber qué componente de la intervención podría haber influido en el
resultado de un cliente. En la fase de análisis, dado que el número de posibles efectos de
interacción de alto orden supera la capacidad de estimar dichos efectos con cierta precisión,
en el CPIC tenía sentido centrarse en el efecto principal de la intervención y en las
interacciones de bajo orden, como por ejemplo si los efectos de la intervención difieren entre
subgrupos geográficos o demográficos.
Mientras se desarrollaba el marco de muestreo del CPIC, surgieron preguntas sobre el alcance
geográfico de la investigación, y los socios comunitarios llamaron la atención sobre las
recientes iniciativas de investigación relacionadas con la salud en áreas específicas dentro de
los barrios socioeconómicamente desfavorecidos. Los socios académicos respaldaron la idea
de delimitar el ámbito geográfico del estudio y destacaron que el mayor conocimiento
contextual de los socios comunitarios era especialmente relevante para la decisión. Tras esta
aclaración, el debate fluyó fácilmente hacia un consenso que incorporaba la estructura de
otras iniciativas apoyadas por la comunidad.
Una reflexión sobre cómo los principios del CPPR influyeron en la comunicación dentro del
equipo de investigación surgió de un intercambio relacionado en el que un socio académico
utilizó el término "población objetivo" más de una vez para referirse a los individuos dentro del
ámbito del estudio. Aunque el término se entendió como jerga científica, su uso llevó a un
socio comunitario a comentar sin rodeos que no es deseable en la comunidad ser considerado
un objetivo. El socio académico agradeció la crítica sincera y posteriormente utilizó "población
de estudio" y otros términos similares para transmitir la idea subyacente; los participantes en
el intercambio consideraron posteriormente la interacción como una experiencia de
aprendizaje y de unión.
Cuando los tratamientos se van a asignar según un protocolo aleatorio, los detalles de la
implementación se suelen delegar en los programadores estadísticos. Una estrategia estándar
es utilizar un generador de números aleatorios incorporado en un paquete de software
estadístico. Se entiende que los números producidos por estos programas no son
técnicamente aleatorios, sino que se derivan de una secuencia determinista construida a partir
de los conocimientos de la teoría de los números, lo que produce dígitos que no muestran
evidencia de patrones sistemáticos.20,21
Para iniciar la secuencia de números, estos algoritmos se basan en una semilla (normalmente
un número con varios dígitos elegidos de forma arbitraria) que reproduciría exactamente el
mismo conjunto de asignaciones de tratamiento si alguna vez hubiera que reiniciar el proceso
desde el principio. Si no se proporciona una semilla, los paquetes de software suelen remitirse
al reloj interno del ordenador para obtenerla. Aunque las asignaciones de intervención están
determinadas por el resultado, la elección de una semilla suele considerarse una tarea
rutinaria, elegida normalmente sin ninguna discusión entre los miembros del equipo de
investigación.
Cómo abordar las limitaciones logísticas en las operaciones de campo del CPIC
Dado que se considera que los clientes se han acumulado a partir de un diseño de muestreo
anidado, los planes de análisis exigían el uso de modelos multinivel para tener en cuenta la
agrupación. Dada la variación en el volumen de clientes entre los programas, se entendió
además que los cálculos de potencia debían tener en cuenta la desigualdad en el tamaño de
las muestras de los programas. Las evaluaciones de simulación sugirieron que las desviaciones
moderadas de la igualdad en los tamaños de las muestras de los programas no afectaban
sustancialmente a la potencia para detectar diferencias significativas en las variables de
resultados clave. En particular, se encontró una potencia estadística satisfactoria para el
escenario en el que un tercio de los programas tenía un número medio de clientes, un tercio
tenía un 50% menos que el número medio de clientes y un tercio tenía un 50% más que el
número medio de clientes. En la fase de planificación, estos resultados se tradujeron en un
plan de muestreo provisional en el que el número de clientes inscritos en el estudio a partir de
una estimación inicial de 108 programas podría oscilar entre 4 y 12 tras identificar entre 5 y 15
clientes elegibles de cada programa.
Los diferentes contextos de los programas también plantearon retos para las operaciones
sobre el terreno. En algunos contextos, era posible examinar a todos los clientes (por ejemplo,
un programa que atendía a personas sin hogar que se alojaban en el lugar del programa),
mientras que en otros no había tiempo suficiente para enumerar y examinar a todos los
clientes potenciales (por ejemplo, cuando los clientes se dispersaban después de hacer cola
para obtener una comida). Se desarrollaron reglas empíricas basadas en la familiaridad con el
flujo de clientes a través de los programas durante un día típico. Por ejemplo, si el personal de
campo consideraba que había distinciones significativas entre los clientes atendidos en
categorías horarias amplias (p. ej., por la mañana, por la tarde, por la noche), se guiaba al
personal para que equilibrara la captación de clientes a lo largo del tiempo y dentro de los
marcos temporales; si el flujo de clientes superaba el número deseado de captación, se
utilizaba un dispositivo de aleatorización (concretamente una tabla de dígitos aleatorios para
determinar cuántos clientes había que omitir) para acumular clientes hasta que se cumpliera
un criterio de parada. El personal de campo dirigió algunas preguntas aclaratorias al Comité de
Diseño del CPIC durante el proceso de selección, pero en general informó de que se sentía bien
preparado para manejar una gama diversa de entornos de captación.
Resultados
Una serie de evaluaciones retrospectivas refuerzan el mérito de las opciones de diseño del
CPIC. En términos de reclutamiento, los procedimientos del CPIC produjeron datos sobre 1.018
clientes de 90 programas (una media de aproximadamente 11,3 por programa), incluyendo
759 clientes con resultados de seis meses (una media de aproximadamente 8,4 por
programa).22 Un reflejo de la carga de la depresión en las comunidades estudiadas es que el
29,8% de los clientes del programa examinados con éxito en el CPIC cumplían los criterios de
elegibilidad del estudio para ser derivados a la atención de la depresión.22
En la fase de análisis, las características de fondo de los clientes reclutados resultaron estar
bien equilibradas en todos los brazos de intervención del CPIC. Entre las 17 características de
los clientes medidas en la línea de base, ninguna de ellas mostró un desequilibrio al nivel de
significación de 0,05.22 Por casualidad, sería algo más probable tener uno o más desequilibrios
significativos al nivel de 0,05 entre las 17 características (58,2%) que no tener ningún
desequilibrio entre las 17 características (41,8%).
Al final del periodo de seis meses en el que la intervención del PEC estaba activa, una menor
proporción de clientes del brazo del PEC que del brazo de la RS tenía una puntuación por
debajo de un umbral predeterminado que indicaba una mala calidad de vida en cuanto a salud
mental, que era uno de los resultados primarios preespecificados del estudio, y los clientes del
brazo del PEC tenían también puntuaciones significativamente mejores en múltiples resultados
secundarios.22 Los efectos a largo plazo fueron menos evidentes, ya que las estimaciones eran
más sensibles a los supuestos del análisis, pero el perfil de los resultados a los 12 meses seguía
siendo modestamente favorable a la intervención de participación comunitaria.23 El estudio
ha aportado ideas para un conjunto más amplio de resultados de servicios sanitarios24 y para
subpoblaciones relevantes25 y ha recibido el reconocimiento favorable de varias fuentes de
revisión externa.26-28
Debate
Los principios del CPPR influyeron en la comunicación entre los investigadores del CPIC de
diversas maneras. Aunque se requirieron ajustes ocasionales, éstos no se consideraron
onerosos. La comunicación de conceptos como el equilibrio y el equilibrio no requería una
jerga técnica y, como se ilustra en la estrategia de aleatorización, las estrategias de
compromiso no técnicas ayudaron a reforzar la confianza.
Gran parte del pensamiento estratégico en el diseño del CPIC se orientó a mantener el
equilibrio entre los brazos de intervención. Con el telón de fondo de la desconfianza histórica
hacia la investigación en la comunidad, nuestra sensación compartida es que el debate abierto
sobre los méritos de la aleatorización benefició al esfuerzo de investigación más allá de la
decisión final de llevar a cabo un estudio aleatorizado. La apelación a elementos universales de
sentido común de la intuición científica hizo que los miembros del equipo se sintieran
comprometidos con el diseño. El consiguiente desarrollo de un diseño aleatorio en bloque que
ayudó a equilibrar las características de fondo de los programas y los clientes se basó en el
respeto mutuo por los conocimientos técnicos de los socios académicos y los conocimientos
contextuales de los socios comunitarios.
Las oportunidades para fortalecer una asociación de investigación pueden surgir de diversas
fuentes. Por ejemplo, la asociación del CPIC avanzó mediante presentaciones conjuntas en
conferencias en las que participaron como ponentes un socio académico y un socio
comunitario. En particular, los dos primeros autores de este documento hicieron una
presentación conjunta sobre la elección de semillas de generadores de números aleatorios en
las Reuniones Estadísticas Conjuntas de 2010 en Vancouver, Columbia Británica, lo que llevó a
una invitación para hacer una presentación conjunta más amplia sobre el diseño del CPIC en la
Conferencia Internacional sobre Estadísticas de Políticas de Salud de 2011 en Cleveland, Ohio.
El CPIC también ilustra cómo la aplicación creativa de las ideas de diseño experimental puede
mejorar, en lugar de disminuir, la validez interna. Por ejemplo, en los cursos sobre métodos de
investigación se suelen considerar los diseños de bloques aleatorios, pero a menudo se
centran en cómo deben analizarse los resultados, en lugar de en la importancia de anticipar las
amenazas a la validez interna (por ejemplo, posibles desequilibrios de covariables) y en la
importancia de utilizar la información disponible (por ejemplo, el conocimiento del contenido y
el contexto del programa por parte de la comunidad) para evitar dichas amenazas en la mayor
medida posible. Al evitar las fuentes de confusión que pueden socavar las interpretaciones de
las diferencias de resultados como efectos de la intervención, el equilibrio de covariables
logrado en el CPIC simplificó enormemente la tarea de inferencia.
Una característica novedosa del CPIC fue la inclusión de las partes interesadas de la comunidad
en la selección de los números de semillas para generar asignaciones aleatorias. Incluso en la
investigación asociada, la aplicación de la aleatorización suele ser
Conclusión:
En nuestra opinión, el marco de CPPR incorporado en el CPIC fue crucial para el éxito del
esfuerzo de investigación. No creemos que los principios del CPPR estén intrínsecamente en
conflicto con los imperativos científicos; más bien, nuestra sensación compartida es que el
cumplimiento creativo y colaborativo de los principios del CPPR reforzó sustancialmente la
validez interna del CPIC, fortaleciendo el rigor científico del estudio al involucrar áreas
complementarias de conocimiento y experiencia entre los miembros del equipo de
investigación. Esperamos que la experiencia del CPIC ayude a avanzar en otras iniciativas
relacionadas.