EVALUACIÓN DE PROGRAMAS E INTERVENCIONES

EL INFORME CIENTÍFICO
El lenguaje científico tiene unas características propias que lo diferencian de otros estilos,
como el literario, poético etc. Conocerlo y practicarlo es esencial para alcanzar un dominio
del mismo.

Características:
• Muy formal.
• Utiliza tecnicismos.
o Emplear términos adecuadamente, aunque para ello haga falta repetir muchas
veces este.
• Es parsimonioso.
o Frases cortas, evitar info no relevante.
• Se redacta de forma impersonal.
o Ej:
▪ “se observa”, “se tuvo en cuenta”.
• No es “elegante” en el sentido de que no busca ser bello en sí mismo, a diferencia de
otros estilos literarios.
• Es muy riguroso
o Ej: si es un estudio correlacional, no se deben usar términos causales.
• Es aséptico, los adjetivos han de ser empleados de forma escueta.
o Juicios subjetivos no son relevantes.
o No adjetivos calificativos.
• No se incluyen opiniones personales

Verbos CAUSALIDAD:

• Influir.
• Provocar.
• Alterar.
• Generar.
• Determinar.
• Perjudicar.
• Causar.

Verbos CORRELACIONALES:

• Asociar.
• Relacionar.
• Vincular.
• Covariar.

1
 • Correlacionar.
• Implicar.

3 tipos de informe científico:

• Artículo.
o Formal.
• Póster.
o Informal.
o Estructura no cerrada.
o Se permiten elementos informales visuales.
• Comunicación oral.
o Informal.
o Estructura no cerrada.
o Se permiten elementos informales visuales.
Informe y póster:

• 2 bloques:
o Título, resumen y palabras clave.
▪ Redactar bien este bloque nos asegura que nuestro artículo sea
encontrado por otros investigadores de manera más sencilla.
▪ Título:
➢ Recoge el objeto de la investigación.
→ Debe incluir el tema y la relación entre variables.
➢ Es lo último que se escribe.
▪ Resumen:
➢ Lo normal es que aparezca la información más importante para
que no haga falta leerse todo el artículo.
➢ Entre 150 y 250 palabras.
▪ Palabras clave:
➢ Suelen repetirse en el título y/o en el resumen, aunque hay
revistas que piden que no se repitan.
o Introducción, Método, Resultados, Discusión y Referencias.
▪ Desarrollo del artículo donde exponemos y justificamos la realización
de nuestro estudio.
▪ Introducción (el qué) :
➢ Justificación teórica de nuestro estudio.
→ 0-Problema de fondo.
→ 1-Vd
→ (Marco teórico).
→ 2-VI
→ 3-Variable Covariante.
→ 4-Objetivos.
→ 5-Hipótesis

2
 ➢ Hay que hilar conceptos y que cada párrafo esté relacionado
con el siguiente.
➢ Evitar saltos de info.
➢ Entre 3 y 5 páginas.
→ Hay que facilitar la lectura y comprensión.
▪ Método (el cómo) :
➢ 3 partes obligatorias.
→ Participantes:
❖ Describimos la muestra.
❑ Nº grupos.
❑ Nº personas.
❑ Distribución.
❑ Variables sociodemográficas.
❑ Criterios inclusión y exclusión (no
siempre hay de exclusión).
→ Instrumentos:
❖ Describimos test, autoinformes, entrevistas,
registros de conducta...
❖ Info fundamental:
❑ Cita versión original.
❑ Cita versión española.
❑ Nº ítems.
❑ Factores que los componen.
❑ Consistencia interna (alfa de Cronbach).
→ Procedimiento:
❖ Cómo se realizó el estudio y cómo se recogieron
los datos.
❑ Reclutamiento.
❑ Papel y boli u online.
❖ Ética:
❑ Aprobación del proyecto de investigación
por un comité de ética acreditado.
❑ Consentimiento informado de todos los
pacientes del estudio.
➢ 1 parte optativa.
→ Análisis de datos:
❖ Es lo último porque nos prepara para leer los
Resultados.
❖ Describimos secuencialmente el orden y la lógica
de los análisis estadísticos.
➢ Puede haber epígrafes adicionales.
→ Colocados entre Procedimiento y Análisis de datos.
➢ Discusión:

3
 → Visión analítica y reflexiva.
→ Se demuestra la madurez del investigador y su
capacidad para ver las implicaciones teórico-prácticas
de los resultados obtenidos.
→ 5 partes:
❖ Párrafo de 3 líneas recordando los objetivos del
estudio (única info que se repite en el artículo).
❖ Comentar reflexivamente nuestros resultados,
comparándolos con otros estudios.
❑ Indagar en las posibles causas de las
diferencias y similitudes.
❑ En clave de hipótesis.
❖ Líneas de investigación a futuro en base a lo
hallado.
❖ Limitaciones de nuestro estudio.
❑ Solo se reconoce lo insalvable.
❑ Muestra de objetividad, no es malo.
→ Entre 3 y 5 páginas.
➢ Referencias:
→ Seguir normas exigidas por la revista.
❖ Habitualmente son APA.
→ Todo a lo que se hace referencia debe ser citado
previamente en el texto y ser referenciado.
→ Perfecta conexión entre citas y referencias.
→ Mejor usar artículos en inglés y que sean científicos.
→ No más de 2 o 3 libros por referencias.
→ Solo valen páginas webs oficiales institucionales.
→ 1 o 2 tesis doctorales por trabajo.

TEMA 1
La evaluación de programas se define como un conjunto de conocimientos científicos teóricos
y metodológicos aplicados a las ciencias sociales con el fin de valorar ciertas decisiones de
carácter político, para lograr el mayor beneficio posible para la sociedad en general y para los
individuos.
Incluso podríamos decir que en evaluación de programas, teoría, metodología y recursos
prácticos (o habilidades) forman un conjunto indivisible.
Disciplina transversal a todas las disciplinas que entren en juego en las distintas fases que
implica la realización de un programa: propuesta, planificación, elaboración de materiales y
sesiones y administración a la población diana.

Problemas de la psicología para ser una ciencia

4
 • Uso de constructos (concepto usado para describir aspectos que no pueden verse).
• Intrusismo: laboralmente abordas un tema que legalmente no podrías hacerlo.
• Pseudointrusismo: las ramas de la psicología que no son la clínica no tienen que tener
formación específica.
• Abismo entre teoría y práctica (gap).
o Puede pasar más de una década desde que se descubre hasta que se aplica y
a veces no llega a aplicarse. Tiende a acortarse, pero poco a poco.
• Tradiciones enfrentadas: psicométrica (estadística que se puede generalizar, la media
es la normalidad) y análisis funcional de la conducta (cualitativo, entrevista).

¿Qué es la evaluación de programas?

Evaluación
• Latín “Valere” - Valorar.
• Acción de justipreciar (poner el precio justo), tasar, valorar o atribuir cierto valor a una
cosa.
• Examen de los efectos o resultados de un programa.
• Provisión de información para la toma de decisiones sobre una intervención.
• Scriven (1967): “sopone la estimación del mérito de un objeto.”
o Qué supone mérito (o valor) del objetivo.
o Cómo habría que realizarse la estimación.
o Para qué habría que realizarse la evaluación.

Diferentes perspectivas
• Qué: es el proceso de determinar en qué medida los objetivos de un programa se han
alcanzado.
• Cómo (estimación): es la sistemática investigación del valor o mérito de algún objeto.
• Para qué: la provisión de información para la toma de decisiones sobre una
intervención.
Se puede:

• Aceptarla tal cual.

• Aceptarla parcialmente (hace falta hacer cambios).
• Rechazarla.

Programa
• Otras rúbricas: políticas, proyectos, intervenciones.
• Fin (1993): “los sistemáticos esfuerzos realizados para lograr objetivos preplanificados
con el fin de mejorar la salud, el conocimiento, las actitudes y la práctica.
• 2 características esenciales:
o Ser sistemático.
o Haber adquirido esta condición a través de una rigurosa planificación.

5
 • Conjunto especificado de acciones humanas y recursos materiales diseñados e
implantados organizadamente en una realidad social concreta, con el objetivo de
resolver algún problema que atañe a un conjunto de individuos.
• Los elementos constituyentes de todo programa son los recursos humanos y
materiales, que se ponen a disposición de un conjunto específico de individuos que
presentan una problemática o unas necesidades específicas.
• Todo programa implica una planificación, un diseño y una implantación sistemática,
coordinada y rigurosa.

Características:

• Sistemático: aplicarse siempre de la misma manera a todo el mundo.

• Objetivos preplanificados: objetivos establecidos previo a la creación de este.
Problemas ciencia-política:

• No interesa buscar la cura para cierta enfermedad porque es más rentable

económicamente para los partidos políticos.
o También pasa con el cambio climático.
• Diferencia entre recursos (limitados) y necesidades (ilimitadas).

Evaluación de programas
• Sistemática investigación.
• A través de métodos científicos.
• Efectos, resultados y objetivos del programa.
• Con el fin de tomar decisiones sobre él.

Para ello:

• Recursos materiales y humanos.

• Una temporalización de la atención.
• Resolver un determinado problema que presenta un colectivo.
• Parte de una necesidad y de una inversión de recursos.

Elementos diferenciadores entre rúbricas

Nivel de complejidad de “objetos” evaluables según una dimensión molar – molecular.

6
 • Políticas: elemento superior jerárquicamente del cual dependen los otros 3.
o Se valúan no directamente, sino a través de los programas, subprogramas y
acciones que de ella se derivan.
o Determinan los siguientes niveles.
o La organización de la política va a depender de la conformación del estado en
cuestión.
• Programas.
• Subprogramas.
• Acciones específicas.

En España, realidad sociopolítica administrativa

2 tipos de poderes que hay que tener en cuenta a la hora de proponer programas:

7
 • Poder político: realidad sociopolítico administrativo.
o Tipos:
▪ Estatal.
▪ Autonómico.
▪ Provincial.
▪ Local.
• Entidades privadas:
o Cruz roja.
o Cáritas.
o Proyecto Hombre.

Distintos tipos de juicios valorativos

Pertinencia:

• Al crear el programa.
• Un programa responde a las necesidades concretas de la población atendida.
Suficiencia:

• Se establece antes de elaborarlo y se sabe si es suficiente al acabarlo.

• Las acciones establecidas pueden ser suficientes y adecuadas para conseguir los
propósitos que se persiguen.
• Cuáles son los mínimos necesarios que deberían alcanzar.

Progreso:

• Se realiza durante la implantación del programa pretendiendo determinar cómo éste

está actuando.
• Tipo de evaluación formativa.

Eficiencia:

• Relación entre el valor de los resultados obtenidos y de los medios puestos a

contribución.
Eficacia:

• Medida en la cual existen pruebas de que los objetivos establecidos en el pgorama se

han logrado.
Efectividad:

• Medida en la cual un programa ha alcanzado una serie de efectos.

• Eficiencia + eficacia.

Evaluabilidad:

• Medida en la cual un determinado programa está listo para ser evaluado.

• Capacidad de un programa para ser evaluado.

8
 • Muestra cautiva:
o Grupo de personas que es seguro que van a participar en el estudio.

Componentes básicos de la evaluación de programas

Modelo metodológico de Cronbach (UTOS):

• Objetivo: generalizar los resultados a la población, que se puede beneficiar de ello.

• Todo programa tiene que tener estos 4 elementos fundamentales:
o Tratamiento: conjunto de manipulaciones que han sido programadas para ser
implantadas en una determinada realidad socioambiental.
▪ Intervención, tratamiento, conjunto de acciones que persiguen un fin.
o Unidades: conjuntos de sujetos a los que se han implantado una determinada
intervención.
▪ También poblaciones, ciudades, escuela...
▪ Grupos diana.
▪ Criterios de inclusión y exclusión.
o Operaciones (observaciones): expresión de los objetivos que se pretenden
conseguir.
▪ Efectos o resultados.
▪ Rendimiento en las pruebas psicométricas que se apliquen para
verificar el grado de cumplimiento de los objetivos del programa en
cuestión.
o Contexto específico (situaciones).
▪ Marco general.
▪ Los objetivos pueden ser los mismos pero la metodología empleada
será muy diferente.
Cronbach definió 3 tipos de UTOS:

• utos (minúscula):
o u: muestra de personas.
▪ Ej: clase de 4º curso.
o t: programa aplicado a la muestra.
o o: variables de medida (medidas antes y después).
o s: contexto en la que se aplica el programa a la muestra.
• UTOS:
o U: población de la que se ha extraído la muestra
▪ Ej: universidad europea del atlántico.
o T: se hacen cambios en el programa y se aplica a la nueva población.
▪ Si el programa anterior está perfecto, no hace falta cambiarlo.
o O: variables.
▪ Suele coincidir, pero igual al trasladarlo a una población más grande,
no hay presupuesto para tomarle las mismas variables a todo el mundo
y solo se toma el resultado final.
o S: = contexto.

9
 ▪ Suele ser el mismo, pero igual por los recursos necesarios se tiene que
hacer en un lugar diferente.
• *UTOS:
o U: generalizar a poblaciones semejantes a la que se ha extraído la muestra.
▪ Ej: universidad de Cantabria, el resto de las universidades.
o T: igual al UTOS.
o O: igual al UTOS.
o S: igual al UTOS.
• Cuanto más similar sean UTOS Y *UTOS, más probabilidades de éxito tendrá el
programa.

Funciones de la evaluación
Contabilidad pública y base para nuevas decisiones presupuestarias:

• Principio ético y legal para justificar el gasto que implica la puesta en práctica de un
programa cualquiera.
• Los presupuestos suelen establecerse por programas.
• El gasto se determina según los objetivos.
• Eficacia y eficiencia económica.
o Si un programa no demuestra haber logrado los objetivos para los que fue
creado, probablemente la partida presupuestaria que se destinó a su
aplicación se retire de cara al futuro.
o Si logra los objetivos, las partidas presupuestarias se mantienen.
o No solo depende de la calidad el programa, sino de aspectos económicos e
incluso políticos.
o Programa demuestra eficacia parcial: se cumplen parte de los objetivos.
▪ Lo más viable es el replanteamiento del programa, modificando los
aspectos en los que los resultados no avalan su eficacia.

Justificación de decisiones:

• Solicitar una evaluación externa de un programa ya puesto en práctica, como forma

de avalar su aplicación.
• También cuando requiere la justificación de las decisiones adoptadas en torno tanto
a determinadas políticas como a los programas que las articulan.
• Ej: UNESCO.

Actuaciones sobre el programa:

• 3 principales acciones que pueden llevarse a cabo tras la aplicación de un programa:

o Eliminarlo.
o Sustituirlo.
o Mejorarlo.
• Auxiliar en la toma de decisiones sobre el objeto de evaluación.
• Ej: Residencias de ancianos del INSERSO.

10
Contrastación de teorías:

• Revisión bibliográfica exhaustiva sobre el problema que van a trabajar.

o La fundamentación científica se sostiene sobre un cuerpo teórico, que es la
base del programa.
• Metodología científica.
o Google académico.
o Pub Med.
o Dialnet.
o Web Of Science.
o Science direct.
• Posibilidades de generalización de resultados.
• Ej: Programa Nutricional Guatemala.

Tipos de evaluación de programas

Teniendo en cuenta:

• Cuando.
o Evaluación formativa:
▪ Juicio del progreso, de seguimiento o de proceso.
▪ Durante la implementación del programa.
▪ Objetivo: mejorar y perfeccionamiento.
o Evaluación sumativa:
▪ Juicio de resultado, al acabarlo.
▪ Evaluación del resultado al finalizar el programa.
▪ Medir antes y después.
▪ Objetivo: mejora del programa, contabilidad y justificación.
▪ Considera la variable problema, dependiente.
• Para qué.
o Diferenciación en base a los propósitos o funciones de la evaluación.
o Ambos tipos de evaluación no se contraponen, sino que se complementan ya
que sirven a distintos propósitos, pero de la misma realidad.
o Evaluación proactiva:
▪ Pretende asistir a la toma de decisiones sobre el programa.
o Evaluación reactiva:
▪ Pretenden asistir a la contabilidad.
• Dónde.
o Desde dentro:
▪ Ventajas:
➢ Optimiza la mejora del programa.
➢ Minimiza la reactividad de los sujetos.
➢ Menos costosa.
➢ Mayor influencia sobre el programa.
▪ Inconvenientes:

11
 ➢ Minimiza la objetividad.
➢ Minimiza la credibilidad social de la evaluación.
➢ Minimiza la utilización de estándares y tecnología dura.
o Desde fuera:
▪ Ventajas:
➢ Maximiza objetividad.
➢ Maximiza la utilización de tecnología dura (diseño e
instrumentos).
➢ Maximiza la credibilidad social de la evaluación.
➢ Maximiza la utilización de estándares.
▪ Inconvenientes:
➢ Minimiza las posibilidades de mejorar el programa.
➢ Maximiza la reactividad de los sujetos.
➢ Más costosa.
➢ Menor influencia sobre el programa.
o Se ha discutido mucho si la evaluación debe de ser desde dentro o desde fuera
de la institución.
o Esto no implica posibilidades opuestas e incompatibles sino formas distintas
de realizar una evaluación.
o Se puede hacer desde dentro y fuera al mismo tiempo.

Los distintos implicados en la evaluación de programas

Tipos, demandas e importancia de los implicados
• Distintos agentes implicados en la evaluación de un programa:
o Individuos/grupos de individuos que estén objetivamente afectados por el
propio programa.
o Aquellas personas profesionales de las cuales depende el futuro del programa.
• Tanto las demandas como los resultados que pudieran ser relevantes para los distintos
grupos de implicados pueden ser incompatibles.
• Los implicados son cruciales y deberán ser tenidos en cuenta desde el comienzo de
esta.
• Fases:
1. El evaluador tendrá que establecer contacto con la audiencia (cliente) para
establecer objetivos y fines de esta.
2. Establecer contacto con diferentes audiencias que van a informar sobre
necesidades, objetivos y metas del programa y de la evaluación.
3. Recogida de info: entrevistas, test, observaciones.
4. El evaluador informara a algunas o todas las audiencias.
Elemento 1:

• Tipo implicado: políticos.

• Demandas: ¿nuestras políticas adecuadas? ¿conviene modificar la financiación?
• Efectos de la evaluación: relaciones causales, política-problema.

12
Elemento 2:

• Tipo implicado: directivos.

• Demandas: el programa ha conseguido sus metas, ¿cómo puedo mejorar?, la teoría
de base, ¿se cumple?
• Efectos de evaluación: relaciones causales, programa-problema.

Elemento 3:

• Tipo implicado: prácticas (técnicos).

• Demandas: ¿es efectivo mi trabajo? ¿cómo puedo mejorar?
• Efectos de evaluación: relaciones causales, acciones desempeñadas-problema.
Elemento 4:

• Tipo implicado: usuarios.

• Demandas: ¿me ayuda el programa a cumplir mis expectativas?
• Efectos de evaluación: nivel de consciencia de la evaluación.
Elemento 5:

• Tipo implicado: allegados.

• Demandas: ¿me ayuda el programa a cumplir mis expectativas?
• Efectos de evaluación: nivel de consciencia de la evaluación.

Elemento 6:

• Tipo implicado: potenciales usuarios.

• Demandas: ¿me servirá el programa?
• Efectos de evaluación: sí, efectivo.

Elemento 7:

• Tipo implicado: población.

• Demandas: ¿sirve el programa a las necesidades que creo que tiene?
• Efectos de evaluación: desconfianza/confianza, presión fiscal.
La población general no solo se ve beneficiada de los programas específicos, sino que también
de forma indirecta como en el anterior caso le supone un coste.

• Hay que considerar en última instancia el gasto asignado a los programas en cuestión
correrá a cargo de los presupuestos generales de la unidad territorial que
corresponda.

13
Alternativas en evaluación de programas
Ciencia vs política:
Ciencia: debe dar respuesta a los interrogantes políticos de cada momento.
Política: diferencia entre necesidades y recursos.

• Cronbach: a través de su teoría de los Utos busca generalizar los conocimientos como
forma de facilitar la transferencia del conocimiento a la sociedad y lograr un beneficio
general.
• Evaluar implica en sí mismo un proceso científico, puesto que se aplica la
sistematización tanto en la búsqueda de información, sustentación teórica, recogida
y tratamiento de datos...
• Un programa es un conjunto de acciones implantadas es una determinada realidad
social previamente diseñadas, especificadas y dispensados de forma coordinada y
sistemática.
o Un programa basado en la evidencia tiene que estar manualizado (tener
manual).
• Existen distintas funciones de la evaluación que llevan consigo, desde la justificación
de políticas a la contrastación de teorías.
• Existen diferentes tipos de evaluación que conllevan la maximización o minimización
de una de las principales características de la metodología científica: la objetividad de
los juicios emitidos.
• Existen distintos implicados en los programas y en la evaluación, entre los que se
encuentran tanto políticos como técnicos, los cuales presentan sus necesidades y
objetivos no necesariamente compatibles.

14
 • La evaluación es una forma de investigación científica.
• Evaluación inmersa en valores del contexto y ha de tener en cuenta a los distintos
implicados en el programa y la evaluación, debe ser evaluada mediante métodos que
maximicen la objetividad de sus resultados.
• El control, la manipulación adecuada y la medición son garantías para realizar un
trabajo riguroso.
• El evaluador, al realizar un trabajo normativo, asume un rol que le sitúa en una
posición de experto frente a otros valoradores de la misma realidad.

Cuantitativa vs cualitativa:

Ontológico: propiedades del ser, filosófico.

Epistemológico: objeto de estudio.
Metodología: procedimiento

• Cuantitativa:
o Ontológico: realismo: existe una realidad independiente de cualquier
observador en la que se rigen principios.
▪ La verdad es definida como la representación de la realidad.
o Epistemológico: objetivismo: el conocimiento en la realidad puede darse con
independencia del observador en tanto en cuanto existen unas garantías de
observación.
o Metodológico: intervencionismo: el control, la manipulación y la medición son
garantías necesarias para la investigación científica.
o Más rigurosa, menos susceptible, más verídica, más pequeña.
• Cualitativa:
o Ontológico: relativismo: existen varias realidades socialmente construidas en
las que no rigen principios ni leyes generales.
o Epistemológico: subjetivismo: la relación entre el observador y lo observado es
de tal naturaleza que el producto de la investigación es una pura creación de
esta.
o Metodológico: hermenéutica(interpretación): la metodología compromete al
propio observador que se convierte en el principal instrumento en la
comprensión del fenómeno objeto de estudio.

15
 o Información más rica pero un mayor margen de error. 2

TEMA 2
El ciclo de intervención social
Ciclo de intervención: serie de pasos que sistematizan la intervención, su evaluación y la toma
de decisiones correspondiente.
Modelo de 4 factores (Brinkerhoff, Brethowe, Hluchyj y Nowakowski):
1. Identificación de metas: establecimiento por parte del investigador y de quien le
contrata de los objetivos que serán perseguidos con la aplicación del programa de
intervención.
a. Identificación y detección del problema.
b. Solo este paso es inamovible.
c. No deben ser modificadas las metas porque un programa no demuestre la
pertinencia que inicialmente se propuso.
d. Juzgar críticamente las posibilidades de fracaso del programa y reformularlo
para volver a comenzar el ciclo.
2. Diseño de estrategias de intervención - tratamiento: abarca todo lo relacionado con
el diseño del programa en cuestión, incluyendo materiales, sesiones, dinámicas.
3. Implantación del tratamiento: fase de aplicación del mismo en el grupo diana,
teniendo en cuenta la sistematización como aspecto fundamental.
4. Toma de decisiones recicladas: realización de modificaciones en el programa de
intervención la propuesta definitiva del programa y la formulación de conclusiones en
relación a la eficacia y eficiencia del programa.
• Últimos 3 pasos son susceptibles de mejora y reevaluación subsecuente.

Crítica:

• Comienza directamente por el establecimiento de metas, sin incluir un apartado de

identificación del problema.
o Aunque vaya implícito, es importante considerarlo como primer paso.
Modelo de 6 pasos (Scriven y Roth):
1. Identificación y jerarquización de necesidades.
a. Partiendo de objetivos concretos.
2. Establecimiento de metas.
3. Selección de intervenciones.
4. Implantación del programa.
5. Evaluación.
6. Modificación y reciclaje.
o Reciclaje: implicaría la reaplicación y reevaluación del nuevo programa,
modificado a partir de los resultados que se van obteniendo.

16
Se explicita la fase de evaluación de resultados del programa aplicado y la realización de
modificaciones sobre el programa una vez evaluados los efectos del mismo.
Es más complejo y añade detalle al proceso.

Modelo de Rocío Fernández Ballesteros:

7 fases:
1. Identificación del problema y necesidades.
2. Planteamiento de objetivos y metas.
3. Pre-evaluación potencial, cursos de acción y selección del que se considera más
adecuado.
4. Diseño y configuración del programa.
5. Implantación del mismo.
6. Evaluación propiamente dicha.
7. Toma de decisiones sobre el programa.

Influencia de 4 variables fundamentales:

• Valores.
• Ideología dominante.
• Política.
• Ciencia.

17
El problema y las necesidades

• Los programas parten de la existencia de un determinado problema el cual se

especifica a través de necesidades.
• Necesidades:
o Cualquier cosa que es requerida para el bienestar de una persona o grupo de
personas.
o Discrepancia entre estado actual y deseado.
o Aspectos biomédicos, económicos...
▪ Debe clarificarse a la hora de establecer el problema o necesidad para
el cual vamos a elaborar el programa.
o Una necesidad entraña un concepto que ha de ser evaluado a través de
distintas vías o procedimientos.
o 4 categorías de necesidades:
▪ Normativas: estándares establecidos.
➢ Ej: en la comunidad europea se establece que debe existir un
determinado número de camas en residencias de ancianos.
▪ Percibidas: necesidades subjetivas de los ciudadanos que son
manifestadas a través de encuestas u otro tipo de procedimiento de
recogida de datos.
➢ Ej: se sabe que los ciudadanos consideran que los problemas
esenciales en España son el terrorismo, la droga, el desempleo
y la inseguridad laboral.
▪ Expresadas: se pueden inferir de los registros de utilización de servicios
o de los datos sociodemográficos existentes en un colectivo.
➢ No son quejas dadas por las personas implicadas, sino que son
percibidas a partir de los datos.
➢ Ej: lista de espera y tiempo de espera para determinadas
consultas de la seguridad social.
▪ Relativas: principios de comparación e igualitarismo entre lugares,
grupos de personas, problemas.
➢ Ej: se considera que existe un mayor número de necesidades de
atención domiciliaria en aquellas regiones en las que existe una
menor tasa de atendidos.
• Evaluación del problema: análisis riguroso de la realidad, punto de vista empírico.
o Evaluación de programas: analizaremos la situación real presente del colectivo
sobre el que intervendremos.
▪ Implica analizar el resultado del programa aplicado.
▪ Cambio entre situación inicial (pre-test) y final (post-test).
o Evaluación de necesidades: herramienta en la identificación de los problemas
sociales y en la justificación de las intervenciones.
• Si no se identifica de forma correcta el problema o la necesidad, el resto de los pasos
serán erróneos y habrá una pérdida de eficacia, efectividad, pertinencia...
18
Objetivos y metas

• ¿Acorde a las necesidades y objetivos?

o Muchas necesidades y recursos limitados.
▪ Los recursos son limitados, por lo que tendremos que jerarquizar la
relevancia de las necesidades o decidir con la institución que nos
encargue el diseño, planificación, ejecución y evaluación del programa.
• Soluciones:
o Priorizar.
o Después: establecer un listado de objetivos y metas que con los recursos
asignados puedan llegar a conseguirse
• Objetivo:
o Algo que se desea conseguir porque será la demostración de que se ha aliviado
o resulto el problema que padecen una serie de sujetos o unidades.
o Ej: drogas.
• Objetivo y meta: cuestión temporal.
o Un objetivo puede depender de otro en el plano temporal.
▪ Ej: programa rehabilitación drogas.
Pre-evaluación

• Después de recogida de información, uno se plantea cuál es la mejor intervención.

o Evaluación de las acciones previas.
o Paquetes de programas.
o Programas concretos.
• Basado en evidencia científica.
o Revisión exhaustiva sobre las características del problema, en términos
operativos.
o Mapa de variables en la cual la variable dependiente se relacione con la
independiente.

• Realizar un análisis del programa minucioso con sus causas, consecuencias... y analizar
las intervenciones que ya se han probado.
19
 o Análisis de la literatura interventiva relevante:
▪ Revisión de la literatura.
▪ Formas de solución pre-establecidas, cuyo éxito ha sido probado.
▪ Construcción del programa “ad novo”: análisis funcional del problema.
➢ Programa nuevo que implemento yo.
o Análisis sobre el problema, sus potenciales causas y soluciones:
▪ En todo programa existe una teoría implícita o explícita que el
planificador debe conocer.
➢ Ej: patologías cardiovasculares.
▪ Identificar variables importantes para el objetivo.
▪ Elementos o condiciones que se supone que van a permitir la
manipulación de las variables relevantes.
➢ Ej: programa “póntelo/pónselo”.
Planificación y el diseño del programa

• Construir el programa que aplicaría a los colectivos en los que se haya detectado la
problemática a trabajar.
• Características fundamentales:
o Diseñado y especificado.
▪ Bagaje teórico-práctico que sostiene al propio programa.
➢ Lo diferencia de toda intervención no fundamentada.
o Organizado.
▪ Sistematización y planificación de la intervención.
▪ Siempre se lleva a cabo de la misma forma.
Implantación del programa

• Registrar todo lo que acontezca a lo largo de las diferentes sesiones.

o Realizar una valoración objetiva tanto al término de cada sesión como al
término del programa.
▪ 3 tipos de herramientas:
➢ Registros.
→ Vía sistemática de recogida de info por parte de los
dispensadores del programa.
→ Muy versátil.
→ Info objetiva.
➢ Observaciones.
→ Requieren que uno o varios expertos observen
determinados aspectos concretos.
➢ Autoinformes.
→ Entrevista: abierta o semiabierta, recoge aspectos
cualitativos.
→ Cuestionario: estandarizado y cuantitativo.
Evaluación

20
 • Medir indicadores del problema.
• Es fundamental la medición de la variable dependiente, sin perjuicio de poder evaluar
además las variables independientes propuestas.
• Evaluar gran cantidad de temáticas.
• Aspectos concretos:
o Fuentes de info.
o Tipos de medidas.
o Aspectos metodológicos y estadísticos.
Replanteamiento y toma de decisiones

• Extraer conclusiones en base a los resultados obtenidos.

• Conclusiones: basadas en la comparación de los resultados de la evaluación con los
objetivos y metas trazados al comienzo del proceso.
• 3 posibilidades:
o Objetivos cumplidos en su totalidad: marco deseable.
▪ El investigador está en condiciones de defender la utilidad de su
producto para la consecución de los findes propuestos y tiene
argumentos para continuar.
▪ Se buscará nuevas aplicaciones del programa y nuevos colectivos con
características similares al original.
➢ Más eficaces y rápidas.
o Resultados sugieran el cumplimiento parcial de objetivos.
▪ El nivel de la variable dependiente hubiese mejorado con el nivel pre-
test pero sin alcanzar el nivel propuesto como objetivo en el post-test.
➢ Investigador debería analizar si el problema radica en la
duración de los efectos del programa y si todas las variables
independientes han cambiado en la forma esperada.
➢ La conclusión del programa no tiene suficiente potencia como
para generar cambios en las variables.
▪ Variables independientes que se han determinado como causas del
problema que hayan cambiado en los niveles esperados con nuestra
intervención, pero no se ha traducido en el cambio que cabría esperar
sobre la variable dependiente.
o Resultados demuestren que ha habido efecto nulo.
▪ Post-test = pre-test.
▪ Menos frecuente que la posibilidad anterior.
▪ Incluso intervenciones inocuas muestran pequeños efectos, aunque
sea a corto plazo.
➢ Puede evidenciar que es de distinta índole.

Aspectos a mejorar de los 3 modelos:

• Ninguno de los 3 analiza específicamente los factores de protección.

o Importante considerarlos que impiden la aparición del problema.

21
 o Potenciarlos puede ser una ventaja a la hora de conseguir objetivos.
• Ninguno de ellos sugiere como paso inicial la identificación del grupo diana en el cual
se da la necesidad y el problema.
o El programa diseñado para un problema en concreto podría no tener la misma
eficacia en caso de ser aplicado a colectivos con características diferentes.
• No se indica la evaluación pre-test, que es fundamental de cara al establecimiento del
punto de partida o línea base.
o Comparar con el resultado de la evaluación post-test.
o Se recomienda repetir la evaluación al menos una tercera vez (al pasar un
tiempo).
Cambios propuestos:

• Indagar en la existencia de una serie de aspectos que podrían amortiguar la aparición

de ese programa.
o Puede no ser transferible a otro colectivo.
• El establecimiento de objetivos guiará al investigador hacia la búsqueda de un
sustento teórico, pero a la vez los modelos teóricos que se observen darán valiosas
pistas sobre algunos posibles objetivos a perseguir.
o Evaluación pre-test: obtener los niveles basales tanto de la variable
dependiente o independiente.
▪ El investigador debe tener flexibilidad para adecuarse a las necesidades
de cada grupo diana.
o Evaluación post-test: re-evaluar a los participantes en las mismas variables que
evaluamos en el pre-test.
▪ Analizar el cambio producido.
o Si los datos son iguales, no se ha producido ningún cambio.

Tipos de evaluación, juicios valorativos y ciclo de intervención social

Tipos de juicio:

• Pertinencia: análisis de los problemas existentes y de las necesidades derivadas.

o Debe cubrir las necesidades.
o Determinada por la adecuación del futuro programa a las necesidades y
potencialidades.
o No es suficiente con analizar las características de la población sobre la que
vamos a intervenir.
• Suficiencia: nos permite analizar teóricamente los efectos que el programa puede
tener en relación a los objetivos y la naturaleza de la intervención y si son suficientes
para conseguir los fines.
• Progreso: durante la implantación.
o Se obtiene información de las partes que han logrado los objetivos y las que
no, por lo que el investigador debe depurar el programa.
• Evaluación de resultados:

22
 o Eficacia: cumplimiento de metas, independientemente de los recursos
invertidos.
o Eficiencia: implica consecución de objetivos y que se hatan conseguido con la
menor cantidad de recursos posible.
o Efectividad: resultados del programa, más allá de los objetivos.

Evaluación de evaluabilidad
Evaluación: etapa fundamental, pero proceso costoso (dinero, tiempo y esfuerzo).
Mortalidad experimental:

• Los participantes desaparecen o no se muestran colaboradores al volver a ser

evaluados.
• Consecuencias graves en la elaboración de resultados y conclusión.

Evaluación de evaluabilidad: medida en la cual un determinado programa puede ser

evaluado.

• Depende de:
o Hasta qué punto ha sido bien planificado.
o Hasta qué punto pueden existir barreras que dificulten la evaluación.
• Pre-requisito de la evaluación.
• Vía para juzgar si el planificador ha realizado un buen trabajo durante el ciclo de
intervención.
Áreas problemáticas: pueden incrementar la inoperancia.

• Falta de definición del problema atendido, del programa implantado y de los objetivos
y resultados predichos.
o Elaborar una descripción completa de las características del grupo.
▪ Variables directamente relacionadas con el problema.
▪ Factor de protección y riesgo.
o Conocimiento teórico-práctico del problema.
▪ Fundamentación científica.
▪ Evidencia aplicada.
o Conocimientos en relación con otros programas similares llevados a cabo para
el mismo problema.
▪ Base de la intervención a desarrollar.
o Conocimiento de objetivos y resultados previstos.
• Falta de base en la teoría del programa.
o La base teórica es lo que diferencia un programa científico o basado en la
evidencia en un programa pseudocientífico.
o Requisito indispensable para que el programa a diseñar tenga garantías de
éxito en términos de eficacia, eficiencia y efectividad.
o Extensa revisión bibliográfica en fuentes fiables científicas.
o Evidencias científicas:

23
 ▪ Resultados que un determinado programa ha demostrado en estudios
debidamente diseñados.
▪ Meta-análisis: analizar conjuntamente los resultados de diversos
ensayos clínicos aleatorizados (asignación de participantes) y
controlados para analizar hasta qué punto el tratamiento puesto en
práctica consigue los resultados esperados.
➢ Estudio de mayor rigor científico.
• Falta de claridad en los propósitos de evaluación.
o El investigador no tiene claro el objetivo último.
o Es fácil que no cumpla las exigencias.
o Para evitarlo es fundamental conocer el fin último de quien encarga la
investigación.
• Falta de claridad en las prioridades de evaluación.
o Los recursos son casi escasos o menos cuantiosos de lo que se desearía.
▪ Recursos:
➢ Plazo de tiempos asignados para cada etapa.
➢ Tiempo asignado para su implementación.
o El investigador desearía unos plazos de tiempo más amplios.
▪ No podemos permitirnos extendernos excesivamente ya que hay un
problema que resolver.
▪ El coste del diseño y la implementación sería muy elevado.
▪ La disponibilidad de los participantes es limitada.
▪ El contratista desea implementar el programa lo antes posible.
▪ Una evaluación muy extensa es propensa a una alta mortalidad
experimental.
➢ El grupo control perderá motivación ya que son los últimos en
recibir el tratamiento.
o Jerarquía de prioridades:
▪ Duración del programa.
▪ Longitud de la evaluación.
➢ Pre-test, post-test, seguimientos.
▪ Tiempos de evaluación.
➢ 2 veces, pre y post test.
▪ Participantes.
➢ Esencial estimar la muestra mínima.
En base a las limitaciones, se han desarrollado 9 criterios a tener en cuenta para determinar
la evaluabilidad del programa:

• Tiempo de evaluación (desde el comienzo): calcular y planificar al detalle el tiempo

que llevará todo el proceso.
o Cuanto más se desgranen en subapartados todo el proceso, mayor exactitud
se logrará al calcular el tiempo.
o Si establecemos el tiempo en conjunto, hay más posibilidades de que la
estimación sea inexacta.
24
 o Mejor trabajar con metas a corto plazo y subapartados breves.
• Costes materiales: materiales que se necesitarán para la elaboración y puesta en
práctica del programa.
o Uso de tecnologías, facilita recoger grandes cantidades de info en poco tiempo.
▪ Minimización de probabilidad de cometer errores de codificación de
datos.
▪ Recogida de info no presencial.
▪ El formato de recogida no afecta a los resultados.
• Costes de personal: recursos humanos necesarios.
o Estimación de profesionales que requerirá la correcta elaboración, puesta en
práctica y evaluación de resultados.
o Equipo:
▪ Investigador principal – profesional de mayor recorrido.
▪ Adjuntos – cuerpo principal de profesionales con experiencias en
distintas subáreas.
▪ Profesional encargado de la metodología del estudio.
▪ Estudiantes de último curso que colaboren como parte de su
aprendizaje.
o Principal fuente de gasto de un proyecto.
• Obstáculos a la evaluación: disponibilidad de participantes, aprobación de la
organización y plazos de tiempo.
o Disponibilidad comprometida por:
▪ Los participantes no se encuentran en la organización a la hora de
realizar la evaluación.
▪ Pertenecer al grupo control.
• Disminución de motivación al ser los últimos en recibir la
intervención.
• Propósitos del programa: objetivos mediatos e inmediatos de la aplicación del
programa.
o Es fundamental identificar las áreas que queremos modificar o los problemas
que queremos resolver.
o Forma operativa de ordenar y gestionar la información y las variables de
estudio es en términos de VI, VD y covariantes.
▪ VD: variable de resultado.
▪ A veces se invierte de forma directa sobre las VI o causales para
provocar un cambio automático.
• Implantación del programa: anticipación de los problemas que podrían acontecer a la
hora de poner en práctica el problema.
o Una adecuada planificación en estos términos será clave a la hora de conseguir
un programa útil.
• Definición del problema: adecuación del programa a los objetivo del mismo.
o El investigador o equipo de trabajo tendrá que asegurarse de que el programa
que ha desarrollado se ajusta a los obejtivos iniciales del mismo.

25
 o Fundamental la fundamentación científica del problema.
• Posibilidad de utilizar medidas fiables y válidas: identificar VI y VD.
o Medir VD antes y después de la intervención.
o Medir también la ocurrencia de la VI.
o Contar con instrumentos de medida fiables y válidos.
o Fiabilidad: estabilidad de la medida (fiabilidad test-retest) y la consistencia
interna de la medida.
o Estabilidad: propiedad de un instrumento de arrojar idénticos resultados
cuando el constructo que es medido no cambia en el individuo.
o Si no disponemos de instrumentos de medida con suficientes garantías de
fiabilidad y validez, los datos que recojamos no serán de utilidad.
• Potenciales características administrativas, políticas y legales: contar con garantías
éticas y legales.
o Según la muestra o el colectivo al que le apliquemos el programa, el grado de
complejidad puede ser muy diferente.
o Se garantiza el anonimato.
o Se reconoce el derecho a abandonar el programa en cualquier momento.
▪ Si la persona es menor, será el tutor legal el que tenga que autorizar a
la participación del individuo en el programa.

Listado de Cuestiones Relevantes en Evaluación de Programas:

• Analiza la calidad y los obstáculos.

o Calidad: evaluación de necesidades, establecimiento de objetivos, definición
del programa, criterios de selección del programa, nivel de implantación,
diseño de la evaluación, calidad de las operaciones a observar e información
sobre el contexto.
o Obstáculos: aceptabilidad de la evaluación, implicación del evaluador,
finalidad de la evaluación y costes.
o Puede ser valorada doblemente.

TEMA 3
El proceso de evaluación
Fase 1: planteamiento de la evaluación

El resto de las etapas se planificarán y ejecutarán en función de esta.

Un mal planteamiento de la evaluación se traducirá en una concatenación de errores que
darán lugar al fracaso del programa a implantar.
Es importante tener en cuenta la irreversibilidad de los errores hasta cierto momento del
proceso de evaluación.

• Todo error que se cometa en las 4 primeras etapas dará como consecuencia un error
final en el ciclo de la intervención y en el proceso de evaluación del programa.
• Las 2 últimas partes no tienen la connotación de irreversibilidad.

26
 o Al completar la cuarta fase, el análisis de datos y la elaboración del informe se
realizan a posteriori, una vez se tienen los datos recogidos.
o Los errores en estas fases serán relativamente fáciles de enmendar.

Se parte de la premisa de que todo programa comienza con una demanda del contratista.

• Se referirá a la solución o prevención de un determinado problema en un determinado

colectivo.
• Demanda analizada en cuanto a su viabilidad, lo cual incluye el estudio preliminar de
las características u de las condiciones que rodean al problema y al contexto.
5 preguntas esenciales:

• ¿Quién solicita la evaluación?: la evaluación de programas parte habitualmente de

una encomienda o encargo por parte de un tercero.
o Tipos de contratistas:
▪ Institución pública que saca a concurso público un pliego para que las
instituciones interesadas puedan participar en la solicitud de la
concesión.
➢ La institución pública determinará el problema o realidad sobre
la que desea intervenir.
▪ Institución privada que contrata a un profesional o empresa
especializada para que diseñe o implemente un programa específico
para solucionar un problema determinado en un grupo determinado.
➢ Problemas de tipo empresarial.
▪ La iniciativa y la propuesta partan del propio investigador que llevará a
cabo la intervención, que plantea a un responsable concreto la
necesidad de diseñar y llevar a cabo una intervención para solucionar
algún tipo de problema.
o Una vez llegado a un acuerdo de contratación, el investigador comenzará por
entrevistarse con el cliente, con el fin de establecer los objetivos de la
intervención y de la consiguiente evaluación.
▪ Deberá hacer un análisis exhaustivo del contexto en el que va a llevar a
cabo su intervención y de todos los agentes implicados, incluyendo la
confección del organigrama de la institución.
▪ La versatilidad del profesional será una gran virtud a considerar,
teniendo en cuenta la gran disparidad de contextos, situaciones y
problemas, que podrían ser susceptibles de ser trabajadas por medio
de la implantación de un programa.
➢ Rango de edad, contexto, tipo de problema.
▪ Entrevistar a las distintas partes y podrá consultar la información
acumulada al respecto por parte de la organización.
• ¿Para qué se solicita la evaluación?: el investigador tendrá que matizar los objetivos
del programa que va a llevar a cabo.
o Importante tener en cuenta que frecuentemente el contratista puede no tener
claros los objetivos reales de su intervención.
27
 o El contratista no es un profesional de la evaluación de programas ni del manejo
y gestión del problema a resolver.
▪ Es tarea del investigador operativizar y concretar al máximo los
objetivos de la intervención a partir del planteamiento del problema.
o A partir de la solución inicial, el investigador tendrá que ir afinando en el
establecimiento de estos objetivos.
• ¿Qué se pretende evaluar?: el evaluador tendrá que especificar el objeto a evaluar,
así como el contexto que envuelve a este objeto a evaluar.
o Implica la identificación de VD y VI.
o La intervención se llevará a cabo sobre la VI y en algunas ocasiones a VD.
o Se evaluará las VD, siendo altamente deseable evaluar también la VI.
o Evaluación pre-test y post-test y al menos una evaluación de seguimiento.
o La decisión de evaluar o no las VI pasa por el cálculo de la complejidad,
dificultad y coste de evaluar las variables realmente importantes y relevantes
para lo que nos ocupa.
▪ VD: van a aportar información sobre el grado y la dirección del cambio
que se ha producido como consecuencia del programa elaborado.
• ¿Qué obstáculos podrían producirse durante la evaluación?: anticiparse a los
problemas que podrían acontecer durante el proceso de intervención y evaluación del
efecto de tal intervención.
o Vital importancia el establecimiento de un calendario de eventos.
▪ Calcular el tiempo que tomará cada una de las fases.
• ¿Es posible llevar a cabo la evaluación?: el evaluador tendrá que plantearse si
realmente es viable llevar a cabo la evaluación del programa a implantarse.
o Pre-requisito para llevar a cabo el programa con garantías de éxito.
o 2 cuestiones:
▪ La calidad con la que el programa ha sido diseñado.
➢ Valorado de forma muy general.
➢ Preguntas:
o ¿fue precedido de una evaluación de necesidades?, ¿se
han formulado metas y objetivos a alcanzar?, ¿existe
información sobre su potencial suficiencia o
adecuación?, ¿está bien definido y especificado?,
¿existen datos sobre su nivel de implantación?, ¿qué
calidad de diseño de evaluación permite?, ¿qué tipo de
operaciones a observar requiere?, ¿existen datos ya
tomados sobre el contexto?
▪ Las barreras que anticipamos podrían acontecer a lo largo del proceso.
➢ Preguntas:
o ¿existe aceptación de la evaluación por parte de los
distintos implicados?, ¿algunos de estos implicados
pueden poner obstáculos?, ¿hasta qué punto está el
evaluador comprometido con la institución o con el
programa de tal manera que pueda involucrar su
28
 objetividad y neutralidad?, ¿podría producir obstáculos
la finalidad de la evaluación? Y ¿qué costos va a
conllevar la evaluación?
o Para responder a las preguntas, se aconseja recurrir al Listado de Cuestiones
Relevantes en Evaluación de Programas.
Fase 2: selección de operaciones a observar
Es uno de los aspectos más importantes del proceso de evaluación de programas.

• Implica decidir las manifestaciones o expresiones (en términos de variables a evaluar)

que se supone que reflejan los efectos que el programa tiene sobre los individuos que
lo reciben.
o Elegir correctamente las variables a evaluar y medir es absolutamente esencial
para el proceso de evaluación del programa que pueda tener opciones de
éxito.
o Elegir incorrectamente nos conducirá a resultados negativos, sin que ello
implique que el programa no ha tenido el efecto deseado sobre las variables
deseadas.
Los programas implican cambios multidimensionales sobre gran cantidad de variables.

• Es fácil que el investigador se vea tentado a querer evaluar una vasta gama de
variables, lo cual exige la aplicación de gran cantidad de instrumentos de evaluación.
o Hemos de ser muy cuidadosos en este aspecto, evitando una especie de
“encarnizamiento evaluador”, sobrecargando a los participantes de pruebas
de evaluación.
▪ Inconvenientes: protocolo de evaluación excesivamente largo llevaría
a la fatiga y desmotivación de los participantes, que podrían terminar
respondiendo al azar a las cuestiones (perdiendo validez) o decidiendo
abandonar la participación en el proyecto.
➢ Mortalidad experimental.
▪ “Evaluar todo aquello que sea relevante, pero sólo aquello que sea
relevante.”
• Para seleccionar las variables a evaluar:
o Marco teórico de referencia que hemos tomado para diseñar y crear el
programa.
o Objetivos de nuestra intervención.
o Las variables que se escapen de los objetivos o que la literatura científica no
proponga, no serán incluidas.
o Solo en el caso de que los aspectos básicos y fundamentales del marco teórico
y de los objetivos del programa concluyan con un protocolo de evaluación
razonablemente breve, podremos plantearnos la posibilidad de incluir en
nuestro estudio otras variables secundarias.
▪ Objetivo más investigador o teórico que aplicado.
• El sistema adecuado para establecer operativamente las variables:

29
 o Analizar las variables en términos de dependientes, independientes y
covariantes.
▪ VD: problema a prevenir.
➢ Eje vertebral del programa.
➢ El éxito de un programa dependerá del cambio que se haya
producido en este.
➢ Medirlas correctamente es fundamental.
▪ VI: causan o se correlacionan con VD.
➢ Sobre las que vamos a intervenir.
→ Poder llevar a cabo un análisis del efecto relativo de
cada parte del programa.
▪ Covariantes: determinan o se asocian con VD.
➢ Sobre estas no intervenimos ya que se escapan de nuestro
control.
➢ Las controlamos a través del diseño o de la estadística.
o No se interviene directamente sobre VD, sino que se interviene de forma
directa sobre VI, cuya modificación se traducirá en un cambio directo en la VD.

Fase 3: selección del diseño de evaluación

Diseño de evaluación: creación de una serie de condiciones experimentales a las cuales se
evaluará una serie de veces (pre y post test, seguimientos) en una serie de variables que se
evaluarán en un determinado orden.

• Tipo de diseño depende de los objetivos e hipótesis de nuestro estudio.

o El investigador establecerá un diseño que le permita dar respuesta a sus
hipótesis.

Tipos de diseños:

• Correlacionales: único grupo de participantes, de características similares (misma

población general, criterios inclusión y exclusión).
o Objetivo: analizar el grado de asociación entre 2 o más variables, incluyendo el
análisis del efecto de terceras variables (mediación y moderación) sin que se
puedan extraer conclusiones de causalidad entre variables.
o La causalidad depende no de las técnicas estadísticas que apliquemos, sino del
diseño empírico que establezcamos.
o Más sencillos desde el punto de vista metodológico.
• Experimentales: manipulación de al menos una VI.
o Se emplean en experimentos de laboratorio.
o Cuasi-experimentales: no se manipula VI, sino que se asigna.
o Características fundamentales:
▪ Existencia de un grupo control que no recibe la manipulacuón de VI y
que sirve de contraste para poder establecer la relación causal a la que
antes nos referíamos.

30
 ▪ Aleatorización: cada uno de los participantes se le asigna a uno de los
grupos establecidos al azar.
➢ No es indispensable, pero su aplicación minimiza las fuentes de
error que podrán sesgar los resultados en el caso de que fuese
el investigador quien asignase por conveniencia a uno u otro
grupo a cada uno de los participantes.
▪ Ensayos aleatorizados y controlados: si tienen ambas características.
o Contrabalanceo: intercambio en el orden de presentación de estímulos
experimentales o de administración de las pruebas de evaluación, a fin de
evitar posibles sesgos que implicaría completar unas medidas antes que otras.
▪ Variante: cuadrado latino.
➢ Realizar un contrabalanceo doble, introducir varios bloques
aleatorizados para igualmente reducir el error experimental por
la posible influencia del orden de presentación de los
instrumentos de evaluación y/o estímulos experimentales.
Aspectos fundamentales:

• Validez interna: interpretabilidad de los resultados, grado en el que se puede inferir

que el cambio evidenciado en el grupo experimental se debe al tratamiento
implementado y no a las variables extrañas.
• Validez externa: generabilidad de resultados, cuál es posible extrapolar los resultados
obtenidos en el estudio con las muestras estudiadas a ciertas poblaciones.
• El objetivo del investigador al diseñar un estudio ha de tener siempre de trasfondo la
maximización tanto de validez interna y externa.
Eventos que amenazan la validez (Campbell y Stanley):
Validez interna:

• Control estadístico de las variables extrañas (covariantes): durante el tiempo que dura
la aplicación del programa y la evaluación (más duradero), los participantes están
sometidos a muchos más estímulos y variables extrañas que podría condicionar los
resultados.
o Si no controlamos las variables extrañas más relevantes, podría darse el caso
de que aun aplicando un programa que modifique correctamente las variables
independientes que persigue modificar, VD o de resultado no cambie.
• Procesos madurativos: cambio natural por maduración evolutiva de los participantes,
o a la fatiga o cansancio que podría ser fruto incluso de nuestra propia intervención.
• Administración de test: efecto directo de cambio sobre la variable que vamos a
trabajar con el programa en cuestión.
• Instrumentación: fuentes de sesgo por problemas inherentes al instrumento de
evaluación.
o Seleccionar instrumentos con pobres propiedades psicométricas de fiabilidad
y/o validez, utilizar hetero-registros de conducta cumplimentados por

31
 personas mal entrenadas para tal fin, podría dar lugar a la obtención de datos
falsos o inválidos por no ajustarse a la realidad.
o Elegir instrumentos con garantías de fiabilidad y validez paliará el problema.
• Regresión estadística: puntuaciones extremas pueden afectar a los resultados.
o Desviación típica: error típico de una distribución dividida por la raíz cuadrada
del tamaño muestral.
▪ Grupos de participantes pequeños en cuanto a tamaño muestral y/o
grupos de participantes con distribuciones muy heterogéneas dan
lugar a errores típicos muy elevados.
➢ Baja potencia estadística, puede no evidenciar cambios que
realmente sí se producen.
→ Necesaria la existencia de un efecto muy grande para
obtener resultados estadísticamente significativos.
▪ Fundamental tener este concepto en cuenta a la hora de planificar un
diseño de investigación.
▪ Lo aconsejable es establecer unos criterios de inclusión y exclusión
sólidos que minimicen la variabilidad intragrupo.
▪ No es una medida estandarizada, no se puede hablar de valores
máximos permitidos.
▪ Eliminar casos extremos: por encima o por debajo de 2 desviaciones
típicas.
• Mortalidad experimental o estadística: pérdida de participantes a lo largo del proceso
de evaluación del programa.
o Es habitual en una investigación longitudinal.
▪ Una vez finalizado el programa, su motivación por seguir involucrados
decae, a no ser que haya algún incentivo.
➢ Más complicado en grupo control.
➢ Estadísticamente hablando solo son de utilidad aquellos
participantes que han completado la totalidad del programa.
Validez externa:

• Selección de la muestra: muestra suficientemente representativa de la población de

la que fue extraída para poder establecer inferencias válidas.
o Representatividad depende de:
▪ Tamaño muestral: cuanto mayor es la muestra, mayor probabilidad
tendrá de ser representativa.
➢ Existen formas de calcular la muestra óptima en cuanto a
tamaño.
o Tenemos que conocer el tamaño de la población que
queremos estudiar, el nivel de confianza que queremos
asumir y el nivel de error muestral que queremos
asumir.

32
 ▪ Aleatorización en la selección: si el cálculo da 300 personas, ¿a qué
300 personas elegimos?
➢ Más recomendable: usar muestreo aleatorio.
o Alto coste, solo se realiza en las instituciones públicas.
➢ Muestreo accidental: las personas que tenemos más accesibles.
• Interferencias múltiples: si los individuos de la muestra están envueltos en diferentes
programas simultáneos, los efectos de estos podrían cruzarse, para potenciarse,
amortiguar los efectos de uno sobre el otro.
o Podría sesgar la extrapolación de los resultados sobre la población general.

Fase 4: recogida de información

Qué se va a evaluar y cómo: se debe planear la logística que se va a seguir para la recogida de
información, cómo los potenciales sesgos y problemas pueden acontecer durante esta fase.

• Determinar los sistemas de evaluación que se va a emplear.

Principales métodos de recogida de información:

• Entrevista: instrumento de evaluación cualitativa que puede ser de muy diferentes

estilos.
o Pueden ser categorizadas en base al grado de apertura de las cuestiones
planteadas: entrevista cerrada, semiabierta o abierta.
▪ En el ámbito clínico es usual emplear las abiertas y en investigación las
otras 2 ya que es necesario sintetizar y analizar la información de todos
los participantes en conjunto.
• Registros de observación: 2 tipos en función de quién es el informante.
o Autoinformados: el propio individuo reporta sus propias conductas,
pensamientos, situaciones desencadenantes, situaciones reforzantes...
▪ Ventajas:
➢ Se pueden registrar conductas observables, contextos y
procesos internos.
➢ El evaluador está en constante relación con el evaluado,
permite registrar cualquier tipo de conducta.
➢ Tiene efecto terapéutico, las conductas positivas aumentan y
las negativas disminuyen.
▪ Inconveniente:
➢ Implica entrenamiento exhaustivo ya que, según las variables a
recoger, puede variar el nivel de dificultad.
➢ La motivación del individuo puede sesgar los datos.
→ La deseabilidad social podría llevarle a registrar un
número menor de conductas negativas y un mayor
número de conductas positivas.
o Heteroinformados: un tercero quien reporta la conducta del individuo en
cuestión.
▪ Ventajas:

33
 ➢ Mayor objetividad en la recogida de información.
➢ Se pueden emplear técnicas de validez como el análisis de la
concordancia o el análisis de fiabilidad interjueces.
→ Un mismo individuo sea observado y registrado por 2 o
más observadores.
▪ Inconveniente:
➢ Solo se pueden registrar eventos externos.
o Uno de los ámbitos en el que más se aplica el registro de conducta es el
educativo por la facilidad que tienen los maestros de registrar la conducta.
• Cuestionarios autoinformados: técnica más frecuente.
o Instrumentos estandarizados, sencillos de responder, que permiten unificar
criterios de evaluación y comparar a distintos individuos.
o Las escalas tipo Likert conforman instrumentos ampliamente utilizados en
cualquier disciplina.
o Serie de ítems o reactivos que suponen muestras de conducta con respecto al
problema a estudiar.
o La psicometría moderna ha permitido grandes progresos en el desarrollo de
métodos y técnicas estadísticas que permitan evaluar de forma fiable y válida
constructos de naturaleza cognitiva o emocional.
o Todo cuestionario autoinformado se compone de una serie de ítems (variables
observables) y factores (variables inobservables).
o El objetivo es detectar los elementos conductuales cognitivos o emocionales
más representativos del constructo a estudiar.
▪ 1)Establecer una descripción operativa, completa y basada en un
marco teórico claro y con soporte empírico del constructo.
▪ 2) Conseguir determinar las situaciones más representativas del
mismo.
➢ Cumplir supuestos de fiabilidad (estabilidad de una medida,
consistencia interna) y validez (grado en que un instrumento de
medida mide realmente el constructo que dice medir).
→ Tipos de validez:
❖ Convergente: relación matemática de la
puntuación en el instrumento en cuestión y la
puntuación en una medida criterio.
❖ Concurrente: la medida criterio no evalúa el
mismo constructo que el instrumento que está
siendo analizado, sino un constructo afín.
❖ Divergente: diferencia en la fuerza de relación de
la medida en cuestión con 2 medidas, una
convergente y otra teóricamente similar.
❖ Discriminante: capacidad del instrumento de
discriminar entre personas con un determinado
atributo.

34
 ❑ Verdadero positivo: una persona
superando el punto de corte realmente
tenga la condición medida.
❑ Falso positivo: una persona superando el
punto de corte no tenga la condición
evaluada.
❑ Verdadero negativo: una persona no
superando el punto de corte realmente
no tenga la condición.
❑ Falso negativo: no superando el punto de
corte
❑ Sensibilidad: probabilidad de detectar
verdaderos positivos.
 Se prefiere un nivel alto.
❑ Especificidad: probabilidad de detectar
verdaderos negativos.
❖ Constructo: hasta qué punto el instrumento de
medida de adecúa al marco teórico de
referencia, siendo el tipo de validez más
complejo y sofisticado.
❑ Su comprobación se lleva a cabo a través
de la técnica estadística de análisis
factorial exploratorio o confirmatorio.
• Registros psicofisiológicos: evaluar respuestas fisiológicas centrales o periféricas ante
la presentación de ciertos estímulos.
o El grado de sofisticación de los aparatos requeridos suele ser muy alta, alto
coste económico.
o 2 tipos:
▪ Electroencefalografía: técnica de registro de actividad eléctrica
cerebral.
➢ Evaluación de parámetros y funciones cognitivas.
▪ Poligrafía: técnica de registro de la activación periférica.
➢ Medir aspectos emocionales.
o Para hacer registro:
▪ Aparataje asociado: utilización requiere de conocimientos técnicos
avanzados.
➢ Ambos contienen partes comunes: sensores.
➢ Electrodos: captan señales eléctricas.
➢ Traductores: captan señales mecánicas.
➢ En el registro poligráfico podemos medir gran cantidad de
índices englobados en 3 tipos: corticales, autonómicos y
somáticos.
▪ Diseño de estímulos que se presentarán.
o Proceso de evaluación:
35
 ▪ Preparar al paciente.
➢ Consentimiento informado.
➢ Limpiar piel.
➢ Colocar sensores.
▪ Calibrar el sistema (en polígrafos analógicos en desuso, se trata de
introducir parámetro cuya amplitud conocemos).
▪ Línea de partida (en polígrafos analógicos en desuso, se trata de
establecer el punto de partida del registro visual).
▪ Línea base.
▪ Presentación de estímulos.
• Técnicas experimentales: evaluar variables básicas como procesos atencionales
concretos, procesos de memoria, funciones ejecutivas, procesos de interferencia,
sesgos atribucionales, actitudes implícitas...
o Suelen basarse en tareas informatizadas de gran precisión, tanto por los
parámetros medidos como por los estímulos utilizados para la evaluación de
las funciones cognitivas en cuestión y por la validez de medida.
o Desventaja: baja validez ecológica.

Fase 5: análisis de datos

Tiene que adecuarse al diseño empírico del estudio, que a su vez debe ser planteado siempre
con el objeto de dar respuesta a las hipótesis del estudio.
El tipo de análisis a realizar dependerá tanto de la naturaleza de los datos como de las
preguntas relevantes que hayan sido formuladas por el contratista.

• ¿Cómo almacenar la información?

o Proceso que requiere de una correcta planificación y organización.
o Una recogida y codificación de datos mal planificados y mal organizados puede
echar por tierra toda la investigación, especialmente con muestras grandes.
o Exige un procedimiento claro y sencillo que nos permita identificar a cada
participante en cada fase de la evaluación.
o Proponer un sistema de codificación que reúna:
▪ Ser fácil de recordar por parte del participante.
▪ Ser corto en longitud para ayudar a la memorización.
▪ Ser único.
▪ No permita identificar al individuo.
o Posibles sistemas:
▪ Tomar como código de cada uno los 4 últimos dígitos del número de
teléfono.
▪ Digitalizar la fecha de nacimiento.
▪ Dar nosotros como investigadores a cada participante un código,
guardado cuidadosamente.
o Método de recogida de info:
▪ Soporte físico o a través de internet.
➢ Internet es la más frecuente.
36
 ➢ Ventajas:
→ Acceso a grandes muestras, que permite asegurar la
validez externa y la posibilidad de generalizar fácilmente
los resultados,
→ Bajo coste experimental.
→ La posibilidad de proporcionar las herramientas para el
desarrollo de la tarea sin límite de tiempo.
→ La total voluntariedad de participar, la cual
generalmente mejora la motivación de los sujetos.
→ La fase de codificación de datos queda eliminada.
→ La gran versatilidad en cuanto al diseño de tareas.
→ La posibilidad de reducir la influencia de las
características de la demanda, los prejuicios del
observador y en las respuestas.
➢ Limitaciones:
→ Las propiedades psicométricas de las versiones en lápiz
y en internet no pueden ser comparables.
→ Es necesario testar los instrumentos de medida en este
medio dado que la validez de constructo puede estar
alterada.
• ¿Qué tipo de análisis podemos realizar en función del tipo de datos y de las preguntas
que nos hayamos formulado?
o Revisión de las cuestiones planteadas:
▪ Darán lugar directamente a los objetivos e hipótesis del estudio.
▪ Pueden ser ordenados por el contratista o consensuados entre este y
el investigador.
▪ Formulados de manera operativa.
➢ Se describen y se enuncian de tal manera que puedan ser
confirmados o rechazados mediante los análisis
correspondientes.
o Preparación de los análisis descriptivos:
▪ Toma de decisiones acerca de los análisis a realizar.
➢ Cualitativos (análisis de contenido, sintético) o cuantitativos
(análisis descriptivos, inferenciales).
o Revisión y examen de resultados obtenidos y valoración de la posibilidad de
ejecutar nuevos análisis a posteriori.
▪ Hemos de ser cuidadosos con los análisis a posteriori ya que
probablemente no tengan un sustento teórico claro.
o Realizar una valoración de la evidencia final disponible.
▪ Reflexionar sobre si estos dan respuesta a las preguntas planteadas y si
los objetivos e hipótesis se verifican.
• ¿Qué criterios han de guiar los análisis?
o Evitar ser simplistas y asumir complejidades estadísticas innecesarias.

37
 ▪ Principio de parsimonia: elegir la opción más sencilla.
▪ Los análisis estadísticos han de plantearse con el único objetivo de dar
respuesta a las hipótesis, nunca con el objetivo de mostrar unos vastos
conocimientos en estadística y metodología.
o Enfatizar los efectos y condiciones diferenciales presentes en el objetivo a
evaluar y en la evaluación.
▪ Fundamental la selección de instrumentos de medida que valoren de
forma adecuada la realidad sobre la que se está interviniendo con el
programa.
▪ Uso de instrumentos fiables, válidos y sensibles es esencial para captar
las diferencias entre grupos y fases de evaluación.
o Utilizar múltiples estadísticos.
▪ Bajo la premisa de responder a las cuestiones planteadas.
▪ Ser cuidadoso a la hora de analizar los datos mediante estadísticas que
cumplan los supuestos exigidos.
Fase 6: informe

Resultados obtenidos en la evaluación son transmitidos a un público determinado.

• En función del público al que vaya dirigido, tendrá una estructura u otra.

El informe puede ser oral o escrito.

• Escrito: redactado utilizando un lenguaje científico.

o Características:
▪ Muy formal.
▪ Utiliza tecnicismos.
▪ Parsimonioso.
▪ Redactado de forma impersonal.
▪ No es elegante.
▪ Es muy riguroso.
▪ Aséptico.
▪ Sin opiniones personales.
o 2 tipos:
▪ Artículo.
➢ Formal.
▪ Póster.
➢ Informal.
➢ Estructura no cerrada y se permiten elementos visuales.
o Estructura:
▪ Portada: según normas APA.
➢ Título de la obra centrado.
➢ Datos de autores, nombres y 2 apellidos, filiación.
➢ Tipo de trabajo de la obra.
➢ A quién dirige o tutoriza el trabajo.

38
 ➢ Fecha en que se entrega.
▪ Título, resumen y palabras clave.
➢ Redactarlo bien asegura que otros investigadores lo encuentren
de manera sencilla.
➢ Un buen título recoge el objeto de la investigación.
➢ En el resumen es mejor que aparezca lo importante.
▪ Introducción, método, resultados, discusión y referencias.
➢ Exponemos y justificamos la realización de nuestro estudio.
→ Introducción: justificación teórica del estudio.
❖ Hilar conceptos.
❖ Facilitar lectura y comprensión.
→ Método: cómo hemos hecho el estudio.
❖ Participantes: describimos la muestra.
❖ Instrumentos: describimos los cuestionarios.
❖ Procedimiento: cómo se realizó el estudio y
cómo se recogieron los datos.
❖ Análisis de datos: describimos secuencialmente
el orden y la lógica de los análisis estadísticos.
→ Resultados: describir lo obtenido.
❖ Evitar duplicar información.
❖ Redactado de manera clara, ordenada y lógica.
→ Discusión: análisis profundo y reflexivo donde se
combinan los resultados obtenidos con la perspectiva
teórica.
❖ Se recuerdan los objetivos y las hipótesis.
❖ Comentar reflexivamente los resultados
comparándolos con otros estudios.
❖ Implicaciones prácticas de nuestros resultados.
❖ Líneas de investigación a futuro.
❖ Limitaciones.
→ Referencias: citar según las normas que exija la revista.
• Oral: más informal, centrado en resultados.
o Presentada en medios audiovisuales.
o Pueden usarse gráficos.
o Sintetizar la información y presentarla de manera gráfica y sencilla para
comprender de un vistazo la información.

Estándares en la evaluación de programas

Joint Committee ha propuesto una guía de 30 normas divididas en 4 áreas:

• Área 1: utilidad (U).

39
 o La evaluación ha de adecuarse a las necesidades de información de los
usuarios.
o 7 normas:
▪ U1: identificación de los implicados.
➢ Implicados identificados para que sus necesidades sean
cubiertas.
▪ U2: credibilidad del evaluador.
➢ Personas encargadas del programa deben ser competentes y
creíbles.
➢ Esencial trabajar honestamente y avalar la propuesta con
trabajos y resultados logrados en el pasado.
➢ Una manera de lograr credibilidad es a través de la
especialización.
▪ U3: ámbito de información y selección.
➢ Información recogida se ciñe a las necesidades y objetivos del
programa.
▪ U4: identificación de valores.
➢ Los procedimientos usados han de ser seleccionados y
elaborados cuidadosamente.
▪ U5: claridad del informe.
➢ El informe debe describir el problema de fondo, el marco
teórico de referencia, las variables implicadas, las
características del propio programa, los resultados y las
conclusiones.
➢ Teniendo en cuenta el público diana.
➢ Lenguaje excesivamente técnico si el informe se entrega a
alguien no experto.
▪ U6: oportunidad y difusión del informe.
➢ Los resultados deben ser difundidos en medios científicos y
profesionales como fundamentación del programa utilizado.
▪ U7: impacto de la evaluación.
➢ Evaluaciones planificadas e informadas.
• Área 2: factibilidad (F).
o Estándares de la evaluación: realista, prudente, austera.
o F1: procedimientos prácticos.
▪ Minimizar los trastornos que puedan producirse durante la recogida de
información.
o F2: viabilidad política.
▪ Evaluación objetiva.
▪ El evaluador debe actuar en consecuencia a fin de controlar los sesgos
que podrían producirse en el caso de anticipar la posibilidad de
conflictos de intereses.
o F3: coste – efectividad.
▪ Evaluación eficiente.

40
 ▪ Los resultados obtenidos han de tener la suficiente relevancia como
para justificar su realización.
▪ Si hay resultados inútiles, no tiene sentido su realización.
• Área 3: probidad (P).
o 4 principios de la ética psicológica:
▪ No maleficiencia (no causar daño al paciente).
▪ Beneficiencia (buscar el bien del paciente).
▪ Justicia (igualdad y equidad).
▪ Autonomía (capacidad del paciente de tomar decisiones).
o Evaluación debe realizarse siguiendo unos estándares éticos y legales,
atendiendo al bienestar de aquellos implicados en el proceso y resultados.
o P1: organización de servicio.
▪ Evaluaciones realizadas con el fin de que sean útiles a toda la gama de
participantes.
o P2: convenios formales.
▪ Las funciones de cada una de las partes implicadas deben ser acordadas
y firmadas.
o P3: derechos de los sujetos humanos.
▪ Evaluaciones diseñadas y planificadas teniendo como eje central los
derechos.
▪ Principios éticos de confidencialidad, anonimato, posibilidad de
abandonar el estudio etc.
o P4: respeto de la dignidad humana.
▪ Poner cuidado en evitar revelar la identidad de los participantes.
▪ Consentimiento y aprobación de un comité de ética reconocido.
o P5: evaluación completa y adecuada.
▪ Evaluación e informes honestos.
▪ Reconocer puntos fuertes y aspectos a mejorar.
o P6: declaración de resultados.
▪ Se harán llegar a todas las personas involucradas.
o P7: conflicto de intereses.
▪ Manejados con total honestidad, que no comprometan los resultados
de la evaluación.
o P8: responsabilidad fiscal.
▪ Partidas presupuestarias justificadas y declaradas.
• Área 4: adecuación (A).
o Adecuación y exactitud de la información que se revelará en el informe.
o A1: documentación sobre el programa.
▪ Programa basado en evidencia científica de la rama de conocimiento
elegida.
▪ Mejor documentación, más éxito.
o A2: análisis del contexto.
▪ Fundamental para garantizar el éxito.

41
 ▪ Un mismo problema en 2 contextos diferentes puede requerir
diferentes abordajes.
o A3: descripción de los propósitos y procedimientos.
▪ Descritos al detalle para garantizar la replicabilidad de resultados.
o A4: fuentes de información admisibles.
▪ Ser cuidadosos con las fuentes de información que seleccionamos.
▪ Limitar la búsqueda de info a revistas científicas reconocidas a través
de algunos de los estándares existentes.
o A5: información válida.
▪ Instrumentos de recogida de info deben garantizar unas propiedades
psicométricas que garanticen que la info es válida.
o A6: información fiable.
▪ Instrumentos de recogida de info deben garantizar unas propiedades
psicométricas que garanticen que la info es válida.
o A7: información sistemática.
▪ Info recogida y codificada debe ser revisada sistemáticamente con el
objetivo de identificar y subsanar cualquier error.
o A8: análisis de información cuantitativa.
▪ Sistematizada y analizada según los estándares y técnicas disponibles
(análisis de correlaciones, regresión múltiple...)
o A9: análisis de información cualitativa.
▪ Sistematizada y analizada según los estándares y técnicas disponibles
(análisis Delphi...).
o A10: justificación de conclusiones.
▪ Conclusiones debidamente sustentadas en resultados cuali y cuanti,
minimizando aspectos subjetivos.
o A11: informe imparcial.
▪ Identificar fortalezas y debilidades del programa que puedan amenazar
la validez.
o A12: metaevaluación.
▪ Resultados puestos a disposición de otros agentes expertos.
▪ Puedan verificar la validez de los distintos procedimientos, resultados
y conclusiones.

TEMA 4
Análisis de datos

42
Estuvimos analizando las tres cuestiones de una correlación podemos interpretar → que tres
cosas:
• Significación
• El tamaño del efecto → que es el valor de r
• La dirección → la fuerza
La correlación que información nos daba: hasta que punto dos variables son directa o
inversamente proporcionales y con qué fuerza lo son pudiendo adquirir un valor entre -1 y 1
(una medida de proporción).
Coeficiente de determinación → que es: la cantidad de varianza que comparte dos variables,
hasta que punto cuando cambia una variable, cambia también la otra.
• Se calcula elevando al cuadrado el coeficiente de correlación: si tenemos una r =.50,
el coeficiente de determinación sería esto al cuadrado: T al cuadrado = 0.50x0.50
• Qué rango de valores puede adquirir este coeficiente: entre 0 y 1 porque al ser al
cuadrado no hay resultados negativos.

Técnicas correlacionales:
• Correlación bivariada
• Correlación parcial
• Regresión múltiple
• Análisis de mediación
• Análisis Factorial Exploratorio

Técnicas comparativas / experimentales:

• 2 grupos independientes
• 3 o más grupos independientes
• 2 o más grupos independientes + 1 VC
• 2 o más VI (4 o más grupos)
• 1 grupo, 2 veces
• 1 grupo, 3 o más veces
• 2 o más grupos, 2 o más veces

Correlacionales:
Correlación bivariada:
• r de Pearson
• Rho de Spearman
• Tau b de Kendall
• Correlación parcial
• Control de una tercera variable [significación estadística + tamaño del efecto]

Correlación parcial:

• Control de una tercera variable

(significación estadística + tamaño del efecto)

43
→ Es lo mismo que la bivariada pero con la característica de que permite controlar el efecto
de una tercera variable en esa relación que se analiza.
• EJ: queremos analizar la relación entre las notas de una persona y su autoestima.
• Sin embargo, esta nos sirve para aislar el efecto que puede tener en esta relación
terceras variables.
• Por ejemplo, ¿Qué otra variable es importante a la hora de pronosticar unas notas? →
las horas de estudio → aísla el efecto de las horas de estudio (que sería la tercera
variable).
• (Gráfico de sectores para explicar → “Cómo se aísla la varianza de la tercera variable”).
• Con la correlación parcial yo voy a obtener una medida más pequeña pero más pura,
porque lo que yo voy a hacer es anular la varianza en común que comparten los dos
predictores (De las notas que son autoestima y tiempo de estudio).
• De qué depende la cantidad de reducción de una correlación bivariada a una
correlación parcial → depende de la asociación entre la variable covariante y la
variable predictora (autoestima).
• Si la dificultad del examen sería ahora la covariante, ¿entonces cuánto se va a reducir
la correlación? nada, porque no tiene ninguna franja en común, porque no coinciden
en el gráfico de sectores.
• EJ - 2: dos variables absolutamente relacionadas: autoestima académica y
autoconcepto académico. Controlando el efecto del autoconcepto académico.
• Dos variables que se solapan: cuando se va a reducir la correlación parcial de la
bivariada: mucho → hasta el punto en el que estas variables correlacionan perfecto: r
= 1 → por tanto la correlación parcial sería r = 0.
• Cuánto se reduce la correlación parcial entre una variable predictora y covariante si
su correlación es 1, se reduce a 0.
• La utilización de la correlación parcial → es tener una medida más afinada de la
correlación entre una tercera variable.

Regresión múltiple:
¿Qué diferencia hay entre esta y la parcial? → es casi lo mismo, tiene la misma lógica, solo
que la regresión múltiple sirve para dar respuesta a toda pregunta de investigación de que
sea: ¿de qué depende…?
• EJ: ¿De qué depende las notas en evaluación de programas? Podemos decir 200
predictores (estudio, dificultad, ansiedad-estado, calidad de la docencia).
• ¿Qué nos va a dar los predictores de una variable? → La literatura: ver hasta que puto
dos o más variables explican o pronostican la aparicion de una tercera variable (de ese
fenómeno que se quiere estudiar: la nota del examen)
• Hago regresión múltiple porque quiero profundizar en el efecto de todas ellas sobre
la que se quiere estudiar.
• La correlación parcial tengo covariantes que me interesa solo controlar su efecto, y en
la regresión múltiple si que quiero profundizar en el efecto de cada una de las variables
predictoras (ansiedad-estado, estudio, ansiedad).

44
2 tablas:
Primera tabla:
• R: es el grado de correlación múltiple, la relación de mis productores en conjunto con
la variable de resultado.
• Es el resumen, el dato general → hasta qué punto mis predictores (6 predictores en
conjunto) correlacionan (si yo en el texto veo una r minúscula es la bivariada)
• R cuadrado: .163 → es el coeficiente de determinación: la cantidad de varianza de (0%
y 100% → 0 y 1) que comparten todos mis predictores con mi variable de resultado.
Segunda tabla:
La segunda tabla me da el peso específico de cada variable predictora en mi variable
resultado: (porque aunque todas influyan no influyen igual).

Coeficientes no estandarizados, y estandarizados (Beta).

• El coeficiente no estandarizado (B) es la cantidad de unidades que cambia la variable
dependiente por cada unidad que cambia la variable independiente en cuestión.
• Cuál es el problema de este coeficiente: cada variable se mide con instrumento con
una escala de medida a su manera (con diferentes de sistema de medida) que no es
interpretable en sí mismo, porque me dice cuántas unidades cambia la variable de
resultado por cada unidad que cambia la variable independiente en cuestión en su
sistema de mediada (por ello el -2.092 puede no ser mayor que el 1.010 porque cada
uno tiene su sistema de medida).
• Por cada unidad que subimos la variable fatiga subjetiva, la variable Das_total se
reduce -2.092.

45
 • Por cada unidad de medida que subo nervios subjetivos, la variable DAS_total sube
1.010.
• (Esta medida no estandarizada solo quiere que la entendamos pero no es la que vamos
a mirar).
• Siguiente columna que nos interesa, la beta estandarizada, se interpreta igual que un
coeficiente de correlación de Pearson, entre -1 y 1 porque está estandarizado.
• Y como está estandarizado (está entre -1 y 1) entonces el -.141 es más pequeño que
el .142 (está todo en el mismo sistema de medida = estandarizado).
• Eliminado la parte común del resto de predictores, como una especie de correlación
parcial (especie porque el resto no son covariates son predictoras también).
• La Beta es la relación/grado/fuerza y dirección entre cada predictor y la variable
resultado.
• Que diferencia hay entre la beta estandarizada y la r de pearson → la beta esa una
especie de correlación parcial, porque es la relación entre el predictor y la variable
resultado eliminando la parte común de este predictor con el resto de predictores
(covariando el efecto de las otras 5).
• EJ: fatiga subjetiva, es .-142, eliminando la parte común de los otros 5 predictores.
• La diferencia en la regresión múltiple es que todas las demás variables son predictoras.
Entonces en un modelo de regresión múltiple, ¿Qué es preferible, que los predictores esten
muy correlacionados entre ellos o muy poco correlacionados entre ellos?? POCO → porque
cuanto más relacionados esten, más predictores se van a anular mutuamente.
• Lo ideal: es que los predictores esten muy poco relacionados entre ellos y a la vez
esten bivariadamente muy relacionados con la variable de resultado.
• ¿Y qué va a suceder con la Beta? va a ser de 0 en esas dos variables predictoras
solapadas → por ello no deben estar más relacionadas de .075 → este efecto tiene un
nombre que es multicolinealidad = el hecho de que dos o más predictores de un
modelo de regresión esten muy fuertemente relacionados y es un problema porque
se anulan.
• Que dos requisitos tiene que cumplir para hacer un modelo de regresión:
• Que cada uno de los predictores este significativamente relacionado con la variable
de resultado (bivariadamente r de pearson).
• Y que no exista multicolinealidad: que los predictores no estén fuertemente
relacionados entre sí. Es condición necesaria que la r sea significativa para que la beta
lo sea (porque si la r de pearson es pequeña ya, pues la beta mucho más).
• Cuando hay solapamiento entre dos variables, solo metemos una de las dos, ¿Y cual
quitamos? la que más bajo este relacionada con la variable de resultado.
La significación (sig.), es la significación de Beta, e indica cuál de las variables es relevante a
la hora de predecir la de resultado:

• Se interpreta igual que Pearson, si es menor a .05 va a ser significativa.

• Y si es mayor .05 no va a tener una relación significativa.

46
 • Por tanto, la variable que a mí más me interesa es la que tiene un valor menor a .05
que es ira subjetiva, es la única que tiene significación (sig = .028).

Regresión jerárquica:
Una variante de la regresión múltiple → la regresión jerárquica.

Es un tipo de regresión múltiple:

• En la regresión múltiple, meto todos los predictores a la vez en un bloque, pero a veces
vamos a tener tal número de predictores que no me interese meter todos a la vez,
sino por bloques y estos bloques se hacen por tipología.
• Primero las del tipo 1, después tipo 2 y después tipos 3 → esto me permite ver el peso
específico de variable y el peso específico de cada bloque de cada tipo de variables.
EJ: de estudio de 12 predictores (tabla):
• Esos 12 predictores se distribuyen entre tres tipos: sociodemográficas, las variables en
ira y agresión, y el tercer bloque Ira y agresión al vehículo.

Repaso:
Si un investigador quiere dar respuesta a esta pregunta → ¿de qué depende…? (así no nos lo
va a preguntar, pero lo preguntará de otra forma)
La miga de la cuestión de la regresión:

47
 • Hasta qué punto una serie de variables (mínimo 2 y máximo infinitas) explican o se
correlacionan con una tercera variable que va a ser Y.
• Toda hipótesis que se formule en este sentido se responderá con una regresión
múltiple.
• ¿De qué depende Y? pues de todas esas Xi .
R mayúscula al cuadrado (R2) → es el coeficiente de determinación → la correlación total
entre todo el conjunto anterior → todas las variables X i y la Y.
R mayúscula (R) → Regresión múltiple (varias cosas que correlacionan con una).
r minúscula (r) → correlación de Pearson.
Que pasa si yo hago una regresión múltiple sólo con una variable predictora (una X) con Y,
pues R (correlación múltiple) va a ser igual que r (pearson).

Análisis de mediación:

En ocasiones nos interesa conocer el efecto de terceras variables.

• Qué es esto → en la regresión tenemos dos tipos de variables (las predictoras X i, y el
tipo dos, que es la variable a predecir que es Y).
• En mediación y moderación, vamos a ver otro nivel de variables, el efecto de otro tipo
de variables.
Tipos: moderación y mediación.
Análisis basado en regresión.
Conceptos de la mediación:
• Variable independiente, variable mediadora, variable dependiente.
• Efecto total, efecto directo, efecto indirecto
• Bootstrapping
Las variables mediadoras (M): tenemos la variable X, la variable Y, y en medio la variable M
→ X se relaciona con Y a través de M (que es la mediadora).
• EJ: el efecto dominó → tiro una y van cayendo hasta que cae la última, cuántas fichas
mínimo necesito para hacer este efecto, mínimo tres. Porque la gracia del efecto
dominó es que yo tiro una, esa tira la siguiente y esa la siguiente. Y si pongo el dedito
en la de enmedio, la tercera no se cae.
• Ver el efecto de variables distales y una variables proximales (en tiempo) → EJ: ver
como influye el abuso sexual en la infancia en la sintomatologia adulta → entre lo que
ha sucedido lo 1 y lo otro, ha pasado mucho tiempo. El análisis de mediación nos
permite buscar variables que explican ese efecto (que le ha pasado a la persona en
todo ese tiempo) y detectar esas variables me va permitir explicar la relación entre X
e Y.

• Entre medio que podría haber → puede llevar a una mayor disregulación emocional,
y esta es la que lleva a la persona a mostrar más sus sintomatología.
• La ansiedad (Y → sintomatología) se debe a la desregulación (M) no al trauma (X).

48
 • No puedo cambiar el trauma (X), pero si puedo entrenar la regulación (M) para
cambiar (Y): Actuo sobre la mediadora, no la (X). (poner el dedo en la ficha de
enmedio).
• La hipótesis que se deriva de aquí, es que el trauma se relaciona indirectamente con
la ansiedad en la edad adulta.
La mediación no es algo que vayamos a concluir, no es solo si hay medición o no hay
mediación → si media significativamente o no, sino que además, vamos a analizar con qué
fuerza/cantidad/proporcional de esta relación es explicada por M (porque esa relación puede
ser explicada por cientos de variables, M pueden ser muchas variables).
• El valor que se deriva de aquí se representa con f al cuadrado (f 2).
• Si f2 es del 100% → significa que si yo trabajo M y la cambio, la sintomatología (Y) se
reducirá al 100%. Porque M explicará el 100% de la relación entre X e Y.
• Dicotomía: si es mediadora y cuanto de mediadora es.

3 efectos:
Efecto total → la relación entre X e Y (es una correlación bivariada), no teniendo en cuenta a
M). Como esperar que sea este efecto, alto.
• Si el efecto total no es significativo → trauma (X) no se relaciona con ansiedad (Y).
• Debería ser significativo → trauma (X) se relaciona con (Y), (p menor de .05)

Efecto directo: correlación parcial entre X e Y controlando el efecto de M. (correlación

parcial). Como esperare que sea el efecto indirecto → bajo.
• Se trata de que el efecto directo sea lo más pequeño posible en comparación con el
total, que sea más bajo.
• Si el efecto total es de .050, el efecto directo tiene que ser más bajo.
• Cuando más se reduzca quiere decir que más fuerza tiene la mediadora.
• Si el efecto directo es igual que el total, la mediadora no explica absolutamente nada,
porque al introducirla como covariante la correlación parcial (efecto directo) es igual
que la correlación total (efecto total).
• Otro extremo: efecto directo es .60 y el efecto total es 0 → quiere decir que lo explica
todo, y la f2 es del 100%.
Efecto indirecto:
• Es el más importante de todos → efecto total menos efecto directo.
• Si lo esperable es que el efecto total sea lo más alto posible y el directo lo más bajo
posible.
• Como espero que sea el resultado del indirecto: alto.
• Efecto total .30 y directo = 0, el efecto indirecto va a ser igual al total.
• Porque tiene en cuenta a los dos dos anteriores, es la relación entre ambos.

• Pregunta de examen: ¿Qué es más importante en la mediación? el directo, indirecto,

total o los tres por igual → el indirecto.

49
 • p = menor .05 → es significativa → conclusión es que la variable mediadora asociada,
es realmente mediadora (que explica la relación entre X e Y).
• si p = mayor .05 → no es significativa, y por tanto la variable mediadora no es
realmente mediadora.

Para calcular la significación estadística de cualquier cosa, se podría calcular de dos formas, a
través del valor de p , o a través de los intervalos de confianza.
Que tiene que ver el valor p con un intervalo de confianza:
• p menor de .05 implica o es lo mismo a decir que el intervalo de confianza de efecto
tiene el mismo signo en el límite inferior y superior.
• p mayor .05 → ambos límites va a tener signos distintos, el menor (positivo o negativo)
y el mayor lo contrario.
• El intervalo de confianza se llama Bootstrapping → es el intervalo de confianza de
efecto indirecto.
• si ambos límites tiene el mismo signo, es que la variable es realmente mediadora, p =
menos de .05
• Si ambos límites tiene distinto signo, significa que la variable mediadora no es
mediadora porque p = mayor .05
2
f → es una medida de magnitud:
• Pregunta de examen: un investigador a atesta dos mediaciones entre dos hipótesis:
• La relación entre X e Y a través de la desregulación → f cuadrado de .010
• Y otra relación entre X e Y a través de la autoestima → f cuadrado .030
• Cual de las dos es más importante: la autoestima, porque tiene más fuerza mediadora,
aunque las dos son significativas.
• La significación en mediación se pone con los límites y así lo va a poner en el examen.
¿Cómo interpretar la mediación?
• Prueba de significación de mediación: efecto indirecto (bootstrap)
• Tamaño del efecto (f2)

50
Análisis de la moderación:
¿Qué es una variable moderadora? (no que explica la relación = mediación), altera desde la
fuerza la relación entre dos variables (X e Y). No está relacionada directamente ni con X ni con
Y.
La variable moderadora es una variable covariante en la cual me interesa profundizar
EJ: el sexo → la relación entre la dificultad del temario y la ansiedad es diferente en hombre
y mujeres.
• En conjunto hay una correlación → r = .30 (correlación total de la muestra)
• Separo mi muestra en hombres y mujeres y calculo correlaciones→ veo que la
correlacion en hombres (entre dificultad del temario y ansiedad) es de r =.45 y la
correlación en mujeres es de r = .10 → esto quiere decir que la variable sexo altera la
relacion entre la dificultad de temario y la ansiedad.
• La varaible sexo modera la relacion entre la difiultad percibida y la ansiedad, en el caso
de los hombres hay una relacion muy estrecha (cuanta mas dificultad, mas ansiedad).
En el caso de las mujeres pasa en menor medida.
• Esto es un efecto condicional.
• Ejemplo contrario: correlación total r = 30. Hombres r = .30 y mujeres r = .30 //
Conlcusion: sexo no es moderadora, la relacion entre X e Y es la misma estando el sexo
que no (controlando o no // separando la muestra en sexo o no).

51
¿Cuál es el requisito de la variable moderadora? → que no esté influida por la independiente.
• Cualquier variable que no esté influenciada por X puede ser moderadora (los rasgos
de personalidad suelen ser moderadora)
EJ: personas que puntúan alto en neuroticismo (+1 desviación típica por encima de la media)
y personas que puntúan bajo (-1 desviación típica por debajo de la media).
• Las personas que puntúan alto en neuroticismo ante mayor dificultad percibida en el
examen tendrán más ansiedad. Y al contrario.
• Dicotomizas la muestra: personas que puntúan alto vs personas que puntúan bajo.
• Es como calcular la correlación entre X a Y en dos subgrupos. Cuando esta correlación
sea distinta significativamente entre ambos grupos quiere decir que será moderadora.

Análisis factorial exploratorio:

Sirve para agrupar cosas → pasar de muchas variables a pocas → facilitar el trabajo, en vez
de trabajar con muchas variables, trabajar con menos.

Es la más habitual en psicometría → yo tengo un test de K items. Los ítems no me sirven de

nada, me sirve el sumatorio y el percentil asociado. El análisis factorial exploratorio es una
técnica que me permite factorizar/agrupar/resumir.

Si es un test unifacorial, quiere decir que los ítems se agrupan todos en un único factor.
Si es un test multifactorial, significa que sus ítems se agrupan en más factores.

Al agrupar los ítems de un test en dos factores, que pasa si un ítem se me ajusta a los dos
factores, lo eliminamos.
• Ver que tienen en común los ítems para agruparse en el factor 1.
• Y ver qué tienen en común los otros para agruparse en el factor 2.
2 requisitos → que cada variable encaje solo en un factor, por otro lado que todas las variables
que conformen un factor tienen que estar muy correlacionadas entre sí (están midiendo lo
mismo y no cosas distintas → alfa de cronbach).

El valor objetivo de alfa de cronbach → mayor o igual de .70 → porque los elementos que lo
conforman tiene que estar muy correlacionados, es decir que miden lo mismo (consistencia
interna).
El alfa de cronbach no es de cada instrumento, es de cada factor de cada instrumento.
El análisis factorial se puede hacer de distintas formas: hay dos tipos de test cuyos factores
están teóricamente altamente relacionados y tenemos modelos teóricos (test) cuyos
componentes son independientes:
• EJ: STAI, la ansiedad-estado y ansiedad-rasgo tienden a correlacionar moderadamente
pero no muy alta, tiene tendencia a correlacionar.

52
 • EJ: modelo teórico Big Five → los factores de personalidad son independientes entre
sí. Tengo 5 factores, no tiene sentido calcular la puntuación total, no hay una
puntuación total de personalidad.
• EJ: test de Barratt de impulsividad: tres factores impulsividad cognitiva, impulsividad
motora e impulsividad emocional (factores de primer orden) → correlacionan entre sí
→ miden el mismo constructo → impulsividad (factor de segundo orden).

Modelos teóricos derivados de esta correlación: los modelos oblicuos vs modelos ortogonales
• La diferencia entre estos dos, es que los oblicuos son aquellos cuyos factores están
altamente correlacionados (El modelo de Barratt). Los modelos teóricos ortogonales
son aquellos cuyos componentes (factores) son independientes (NEO-PI, modelo Big
Five).
• Por lo tanto, en los ortogonales no se puede calcular nunca una puntuación total, y en
los oblicuos a vece si, cuando lo permite.

53
54
Repaso:
• Para qué servía la moderación → no tiene una relación directa con la variable
independiente, quiere decir que afecta desde fuera.
• La mediadora explica la relación entre VI y VD siendo una variable de proceso
• Análisis exploratorio → con el fin de simplificar la información en factores.

Técnicas experimentales/comparativas:
**Vamos a ver 5 de las 7, ni la cuarta ni la quinta vamos a ver (solo los preguntará a nivel
teórico no con tablas).
• 2 grupos independientes
• Lo más simple, dos grupos independientes: hombres y mujeres
• La independencia de los grupos es que la persona sujeto solo puede estar en uno de
los grupos (o eres hombre o eres mujer) → ver diferencias entre hombres y mujeres
en una serie de variables.
• 3 o más grupos independientes
• un grupo experimental y 2 controles.
• 2 o más grupos independientes + 1 VC
• 2 o más grupos independientes pero añadiendo 1 o más variables covariantes.
• Grupo experimental y control y el análisis de una tercera variable covariante.

55
 • 2 o más VI (4 o más grupos)
• La variable independiente es la variable de agrupación.
• No solo vamos a mirar la diferencias de medias entre ambos grupos (experimental y
control) sino también la diferencia entre sexos (dos grupos y dos sexos, me salen 4
grupos).
• ¿Cómo sabemos el número de grupos que vamos a tener?, tan fácil como multiplicar
el número de condiciones.
• Tengo un diseño factorial con dos variables, una de agrupación teniendo 2 niveles, y
una variable de sexos (hombre mujeres) cuántos grupos tendré al final → 2x2 = 4.
• Si meto una tercera variable, grupos de edad (jóvenes, adultos , ancianos) → 2x2x3 =
12 grupos al final voy a tener que comparar (multiplicó todos los niveles que tengo).
• 1 grupo, 2 veces
• Pre test y pos test, porque lo mido dos veces.
• 1 grupo, 3 o más veces
• Es un grupo y distintos tiempos: pre-test, pos-test y seguimiento.
• 2 o más grupos, 2 o más veces
• Es el más importante en evaluación de programas, es la combinación de todo lo
anterior.
• Un grupo experimental y un grupo control a los cuales evaluó un pre-test y un pos-
test.
Cual es la característica que tiene: a diferencia de las correlaciones comparamos las medias
de ciertos grupos en ciertos tiempos en base a dos cosas: a distintos grupos y/o distintos
tiempos.

2 grupos independientes:
T-Student muestras independientes
• Qué prueba tengo que hacer: t student de muestra independientes → me permite
analizar las medias de dos grupos.
Supuestos: normalidad, homocedasticidad
• Cuales son los prerrequisitos que tiene que cumplir nuestra muestra:
• Normalidad:
o Si no se cumple tenemos que hacer el equivalente no paramétrico a la t de
student que es la prueba U de Mann y Whitney.
• Homocedasticidad:
o La igualdad de varianzas de ambos grupos, es decir, la desviación típica (no es
que sean altas o bajas es que sean iguales)
Resultado: valor p + tamaño de efecto
d de Cohen

• 0.20: pequeño; 0.50: mediano; 0.80: grande

Y finalmente vamos a interpretar dos cosas:
• La significación (p):

56
 o Me va a decir la magnitud del efecto → me va a decir hasta qué punto los
hombresy las mujeres de la población de la que he extraido mi muestra podrá
beneficiarse, si la puntuación es menor que .05
o Es decir, si se podrá extrapolar a la población
o Si p = es mayor .05 no puedo concluir que en la población se den los mismo
efectos que en mi muestra.
• Y el tamaño del efecto:
o Me va a dar info acerca de la magnitud de esa diferencia, es decir, cuanto de
más puntúan distinto.
o Se denomina d Cohen.
o Cómo se interpreta → valores en torno a 0,20 son tamaños pequeños, que la
diferencia es significativa pero pequeña, valores entorno 0.80 o más quiere
decir que hay mucha diferencia entre grupos.

Tablas:
En la primera tabla tenemos los estadísticos descriptivos, hombre y mujer a los cuales
comparamos en 4 cosas (avance impedido por otros.. → son los datos muestrales)
• Primera variable: hombres puntuaron una media de 15.

Segunda tabla:
• Igualdad de varianza = calidad de varianza → homocedasticidad.
• Es la prueba para ver si las varianza son iguales o no.
• sig. asociada a la prueba de levene:

57
 • Si yo espero que las varianzas sean iguales, ¿Como quiero que sea la significación
mayor o menor de .05? → mayor, porque a la hora de comparar medias o varianzas,
la sig menor de .05 quiere decir que las medias de los son distintas, y cuando es mayor
quiere decir las medias son igual.
• Significación de varianzas mayor de .05 quiere decir que son iguales que es lo que
deseo. Que pasa si es menor, quiere decir que las varianzas no son iguales y entonces
no se cumple el principio de homeopaticidad.
• Significación de la prueba t: es donde voy a ver si las medias son distintas o no:
• .077 como es mayor de .05 no son significativamente distintas, son iguales, no hay
diferencia entre hombres y mujeres en el avance impedido por otro.
• Imaginaos que arriba es .035 y abajo .077
• Cuando sig.es mayor de .05 miro los datos de arriba y cuando es menor .05 miro el
dato de abajo (.071).
• Si es (mayor o menor, mirar porque no me he enterado) significa que hombre y mujer
puntúan distinto en DAS total en la población en general.

3 grupos independientes:
ANOVA
• La prueba que vamos a hacer es anova y sus requisitos son los mismos.
-Supuestos: normalidad, homocedasticidad
-Resultado: valor p + tamaño de efecto

>.14 Large effect size; .01 - .04 Small effect size; .05 - .14 Medium effect size
Vamos interpretar la significación (p) y el tamaño del efecto (pero que no es la d de cohen) es
la letra griega al cuadrado esta que sale ahí.
• si esta es al cuadrado qué valores puede tener: de 0 a 1.

58
Tablas:
Primera tabla: las dos primeras son análogas a las dos de antes y la tercera es distinta.
• Estadísticos descriptivos:
• Jóvenes, con adultos y con adultos mayores en una variable que se llama TOTAL_R,
que es la variable dependiente
• Variable Independiente – grupo edad.
• Media de cada grupo en esa variables.

Segunda tabla: pruebas de efectos intersujetos - prueba principal de anova.

• Mirar la fila que se denomina igual que mi variable de agrupación y su significación
(gr_Edad)
• Si es menor de .05 quiere decir que es significativa, y que hay diferencias en al menos
dos de los grupos.
• Si .05 mayor - los tres grupos son iguales, no es significativa.

Tercera tabla: para ver dónde radica la diferencia en caso de que sea menor, hay que ir a la
tercera tabla.
• La prueba ad hoc es una prueba para comparar cada grupo con el resto.
• .573 → quiere decir que los grupos 1 y 2 son iguales
• Grupo 1 o 3 → .000 son distintos.

59
2 o más grupos independientes + 1 VC:
ANCOVA
• Análisis de la covarianza
Supuestos: normalidad, homocedasticidad
Resultado: valor p + tamaño de efecto
-
>.14 Large effect size; .01 - .04 Small effect size; .05 - .14 Medium effect size

Tabla, casi igual a la anova pero introducimos una variable para controlar su efecto.

Primera tabla: es la misma

• Cuanto puntuan en… → agresividad = autoestima las personas con ira alta 17,47.

Segunda tabla:
60
 • Hay una independiente y una covariante ¿como se cuales son?
• Sexo - covariante (sexo no esta en la tabla de arriba por eso se que es la covarainte).
• gr_Agresividad (grupo de agresividad) y esta la tengo detallada en la primera tabla.
• Significación de la covariante → es significativo si es menor de .05
• Y la significación de agresividad (v.i = es .002) → hay alguna diferencia entre estos 3
grupos y esta diferencia la adivino con la tercera tabla post ohc.

2 o más VI (4 o más grupos):

ANOVA Factorial
Supuestos: normalidad, homocedasticidad
Resultado: valor p + tamaño de efecto

61
 >.14 Large effect size; .01 - .04 Small effect size; .05 - .14 Medium effect size
Que pasa si queremos profundizar en la variable covariante → que pasa a ser independiente
y pasamos a la anova factorial.

Tablas:
Primera tabla → tabla de resumen
• grupo agresividad y sexo

Segunda tabla → todas las combinaiones entre las variables independientes (sexo y
agresividad)
• ira alta hombre
• ira alta mujer
• ira media total
• …
• 3 grupos de agresividad por 2 grupos de sexo = 6 grupos finales

Tercera tabla → tabla principal

• Interacción entre gr_agresividad y sexo (gr_agresividad*sexo) – efecto combinado de
ambas.
• Vamos a ver el efecto por separado de cada una de las dos V.I y el efecto combinado
de ambas.
• Grupo agresividad es significativo, me esta comparando ira alta total, con ira media
total con ira baja total porque no esta teniendo en cuenta al sexo.
• Sexo → me compara total hombres con total mujeres, porque no tiene en cuenta la
varaible agresiviada.
• La interacción: para cada uno de los 6 grupos: no es significativo. No hay diferencias
en los grupos.

Cuarta tabla: post ohc

• Veo dónde radica la diferencia.
• Te compara al grupo con los otros dos.
• **no vamos a entrar a analizar esta tabla.

62
1 grupo 2 veces:

t-Student medidas relacionadas

normalidad
Resultado: valor p + tamaño de efecto

63
d de Cohen
0.20: pequeño; 0.50: mediano; 0.80: grande

1 grupo, 3 veces o más:

ANOVA medidas repetidas
Supuestos: normalidad y esfericidad
Resultado: valor p + tamaño de efecto
-
01 - .04 Small effect size; .05 - .14 Medium effect size; >.14 Large effect size

64
2 o más grupos, 2 o más veces:

ANOVA Mixta
Supuestos: normalidad y esfericidad
Resultado: valor p + tamaño de efecto
-
01 - .04 Small effect size; .05 - .14 Medium effect size; >.14 Large effect size

65
66
Diseño prototipo de evaluación de programas:
• Pregunta de examen: Cuál es diseño prototipo o prueba ideal /preferido de evaluación
de programas = la ANOVA mixta.
Tablas:
Primera tabla: factores inter-sujetos a los cuales hemos medido en dos tiempos DAS 1 y DAS
2
• Dos grupos: hombre y mujeres
• Dos tiempos : das 1 y y das 2
• Y la media de cada grupo en cada tiempo
• Compara 4 medias: hombres en pretest (das 1) mujeres en pretest (das 1), hombres
en postest (das 2) y mujeres en postest (das 2).
• Si es una variable negativa (depresión) voy a esperar que hombres y mujeres partan
de la misma base si los he elegido aleatoriamente.
• Que pasa si no parten de la misma base (esto quiere decir que cual es la puntuación
de base, por ejemplo la autoestima de base // cuando más de parejo partan mejor
porque podré analizar un efecto mayor), tendría que ir a alguna otra prueba
estadística
• Y en segundo lugar voy a esperar que el grupo experimental mejore más que el grupo
control (no importa si el control mejora también, pero que el experimentar tiene que
mejorar más)
• Que el grupo experimental mejore significativamente más que el control → es lo que
deseamos.
¿Ha cambiado la autoestima entre el tiempo y el tiempo dos? = - .006 → sí ha cambiado
Factor 1 por sexo → combinar experiemntal control, tiempo 1 y 2 → en este caso no es
significativa → no ha habido cambio combinado ambas variables.

67
Tabla de interacción, es la ulitma // sexo*factor 1 → es la más importante
• Es la misma que la segunda pero aquí tenemos los intervalos de confianza de estas
medias.
• La prueba de significación de cualquier cosa se puede hacer de dos formas: a través
de los valores p o de los intervalos de confianza.
• Si nos da esta tabla hay que representar gráficamente en el examen→ línea morada
tiempo y linea verde hombre y mujeres
• se ha reducido igual →
• Se trata de ver hasta qué punto de 2,8 a 3,7 → dibujar una barra vertical
• de 3,1 a 3,7
• Por cada punto hay que hacer una barra de error.
• Cómo se interpreta → cuando el mínimo de un intervalo no coincide con el máximo
de otro.
• Cuando dos barras de error no comparten ningún espacio, es decir, el mínimo de una
no coincide con el máximo de la otra → quiere decir que las medias son
significativamente diferentes // al contrario quiere decir que esas medias son iguales.
¿Es eficaz mi programa? Es decir, ¿Ha mejorado más el grupo experimental que el control?

68