1.

INVESTIGACIÓN EVALUATIVA
1.1. QUÉ ES
- Investigación aplicada y centrada en la práctica que, mediante un proceso selectivo y sistemático de recogida y
análisis de información sobre un determinado problema del ámbito educativo (programas, instituciones,
profesionales), facilita la toma de decisiones fundamentadas para poder mejorarlo.

1.2. OBJETIVO PRINCIPAL

- Medir la eficacia de los programas.
- Comprobar si se han alcanzado o no las metas propuestas.

1.3. PROCESO
- Se divide en tres momentos:
1. Marco contextual
2. Marco de ejecución
3. Marco de valoración de los resultados

1.4. MARCO CONTEXTUAL

- Nos permite hacer el encuadre general de la propuesta investigadora mediante la recogida y registro de
informaciones útiles para la posterior toma de decisiones.
- Se centra en el DISEÑO.
- ASPECTOS:
• Objetivos del trabajo
• Pautas de actuación
• Secuenciación y temporalización del trabajo
• Los sujetos intervinientes
• Los clientes

1.5. MARCO DE EJECUCIÓN

- Fase más operativa.
- Se definen con precisión los pasos a seguir.
- ASPECTOS:
• Plan de trabajo
• Definición operativa de variables
• Selección y elaboración de instrumentos de recogida de datos
• Recogida de datos en el proceso
• Análisis y tratamiento de datos

1.6. MARCO DE VALORACIÓN DE LOS RESULTADOS

- Última fase de la investigación evaluativa.
- Aplicación de los resultados alcanzados en el trabajo, nos indica como llevar a la práctica las aportaciones de
la evaluación.
- Debe ser objetiva y contextualizada y conducir a la toma de decisiones de mejora.
- ASPECTOS:
• Selección de los criterios de valoración
• Análisis minucioso de los resultados
• Formulación de juicios a partir de los resultados analizados
• Toma de decisiones de mejora
• Redacción del informe

1.7. COMPLEMENTARIEDAD METODOLÓGICA

- Atender adecuadamente y en las mejores condiciones los propósitos y metas de la investigación.
- Visión más rica de la realidad objeto de estudio.
- Nos posibilita el contraste de información, verificación de resultados y descubrir errores.
- Exige la presencia de técnicas variadas. El investigador será quién decida qué método y técnica utilizar en
cada momento.

1
 - Además de permitir un estudio más profundo de la realidad educativa, permitirá alcanzar los objetivos
propuestos, para conseguir una educación de calidad.

1.8. TÉCNICAS DEL ENFOQUE CUANTITATIVO

- Comprobación de los resultados del programa para constatar la eficacia del mismo.
- Datos de calidad. Precisión, validez y fiabilidad.
- TÉCNICAS:

• Entrevista: permite la recogida directa de información a través de anotaciones y comentarios en la relación personal
entre entrevistador y entrevistado, ofreciendo una información rica y valiosa, tanto superficial como profunda. Puede ser
estructurada (cuantitativa), donde las preguntas y respuestas suelen ser cerradas, o no estructurada (cualitativa).

• Encuesta: repertorio de preguntas que se formulan a una muestra representativa de sujetos para obtener su opinión y
valoración y que se reflejan en cuestionario (instrumento), donde apenas existe relación entre entrevistador y entrevistado.

• Observación sistemática: El observador contempla la realidad sin actuar sobre ella (no participante), registrando los
hechos tal y como se producen en un momento determinado. Es una acción intencional, lo que implica determinar con
claridad qué se va a observar, cómo y quién lo hará.

• Autoinforme: no precisa de la interacción sujeto-sujeto, por lo que permite acceder a más elementos con menor esfuerzo
y conlleva un mayor grado de especificación (ayuda a recabar información más profunda). Debe tenerse en cuenta que
las aportaciones pueden ser subjetivas.

• Otras formas de recogida de información:

− Datos de archivo procedentes de fuentes documentales, ofrecen información sobre los implicados antes de iniciar la
intervención. Existen dos tipos de documentos: oficiales y personales; siendo los segundos los que interesan para la
investigación evaluativa.
− Indicadores: medidas estadísticas que permiten analizar una realidad social de forma diacrónica para reflejar su
evolución y desarrollo. Deben ser independientes, verificables, válidos y accesibles y son muy recomendables para
alcanzar la máxima objetividad de los datos. TIPOS: descriptivos y evaluativos, siendo éstos últimos los más utilizados en
investigación evaluativa.

1.9. TÉCNICAS DEL ENFOQUE CUALITATIVO

Mayor énfasis en la participación e implicación de los sujetos y la importancia de la evolución del proceso.
TÉCNICAS:

• Entrevista abierta no estructurada: basada en la relación personal entre entrevistador y entrevistado, permite la recogida
directa de información y captar el mensaje del entrevistado sin ningún filtro previo. Las preguntas suelen ser abiertas,
permitiendo mayor libertad y expresión más libre.
Tres tipos de entrevista:
− Focalizada: muy técnica. Requiere gran habilidad, experiencia y trato personal del entrevistador. Parte de un listado de
tópicos.
− Clínica: finalidad terapéutica y dirigida a motivaciones y sentimientos.
− No dirigida: el problema de estudio actúa como catalizador. El sujeto se expresa con libertad, permitiendo recoger
información sobre comportamientos observables, motivos e ideales.

• Grupos de discusión: tipo de conversación en grupo, guiados por un moderador. Obtener información de un campo
concreto de interés, ambiente no-directivo. Permite establecer acuerdos entre los implicados sobre los efectos provocados
por dicha intervención.

• Observación participante: el observador contempla la realidad participando de forma directa, permitiéndole conocer la
vida del grupo desde dentro, pero sin interferir en su desarrollo. Dos TIPOS: natural (si el observador pertenece al grupo)
o artificial (si sólo se integra en él para llevar a cabo la investigación).

2
• Técnica Delphi: Busca respuestas consensuadas de un grupo de expertos a una serie de cuestiones. Se utiliza para
determinar el alcance y pertinencia del problema. Agentes implicados: equipo de trabajo (directivos y técnicos) e
informantes clave.

2. TIPOS DE EVALUACIÓN
- La evaluación, como herramienta, es un poderoso medio al servicio de los objetivos educativos. Teniendo esto
en cuenta, si una educación de calidad plantea la formación integral de la persona y el logro de objetivos tanto
cognoscitivos y cognitivos, como afectivos, sociales, morales…, el contenido de la evaluación debe tener plena
relación con éstos y abarcarlos todos, evitando sesgos o reduccionismos. Esta sería pues, una evaluación
INTEGRAL.

- La evaluación INTEGRADA es aquella que pretende evaluar un programa/institución convirtiéndose en un

componente más éste, incorporado armónica y sistemáticamente en todo su plan de acción (planificación,
contenido, metodología…). De esta forma, podrá evaluarse más objetivamente, buscando siempre la mejora en
posteriores ediciones de un programa o, en el caso de instituciones, podrá evaluarse la toma de decisiones
según se vaya llevando a cabo.

- La unión evaluación integral e integrada da fruto a la evaluación INTEGRADORA, la cual se convierte en una
realidad con un papel activo en la acción educativa: dinamiza las actuaciones; promueve la reflexión, análisis y
autocrítica; fomenta la innovación y estimula el deseo de mejora continua, base de cualquier actuación
educativa de calidad.

3. PRINCIPALES REFERENCIAS
- A la hora de evaluar un programa no pueden realizarse valoraciones y juicios de forma espontánea, es preciso
contar con criterios y referencias, claramente definidos y establecidos de antemano. Para emitir valoraciones
globales del programa debe acudirse a algún tipo de REFERENCIA, es decir, una realidad tomada como
patrón con la que relacionar la realidad evaluada. Las referencias básicas son tres:

• Referencia NORMATIVA: permite situar un programa entre un conjunto de programas que pretendan las mimas
metas u objetivos. Acudir a esta referencia a veces es problemático por dos causas: la existencia de pocos
programas que pretendan los mismos objetivos y la dificultad de resumir la complejidad de un programa en un único
valor global.

• Referencia CRITERIAL: permite comprobar, con las técnicas e instrumentos adecuados (fiables y válidos), los
niveles de logro previstos para poder hablar de éxito o eficacia del programa. Para ello, los responsables del
programa, además de sus objetivos, actividades, medios y recursos, deben haber establecido, con claridad y
precisión, los resultados que se esperan alcanzar.

• Referencia IDIOSINCRÁTICA o PERSONALIZADA: permite decidir si se aprecian progresos o mejoras de una

edición a otra de un programa, el cual es el mismo en sus elementos sustanciales y puede ser evaluado globalmente
tomando como referencia los resultados de la edición anterior, que deberían mejorarse. Permite una comparación
más amplia de los resultados o los niveles de satisfacción, e incluso, el impacto del programa en la comunidad.
Referencia compatible con la criterial.

- Las referencias criterial e idiosincrática son perfectamente compatibles: podemos comprobar el grado de
eficacia de un programa y, a la vez, las mejoras respecto a su edición anterior.
- Un matiz específico de la referencia idiosincrática consiste en valorar el programa poniendo en relación los
resultados alcanzados con el conjunto de condicionantes y circunstancias en las que ha debido ser implantado
e implementado. Teniendo en cuenta su propio contexto, puede considerarse, subjetivamente, más o menos
satisfecho al margen de los resultados objetivos constatados.

3
 4. ESTÁNDARES
- Los estándares son principios que orientan a las personas evaluadoras a la hora de llevar a cabo una
evaluación de programas.
- Los estándares de calidad a los que atender a la hora de encargar, diseñar, dirigir, llevar a cabo y valorar las
evaluaciones se concretan en 4 GRANDES CATEGORÍAS que se concretan, a su vez, en una serie de
normas:
• Estándares de UTILIDAD
• Estándares de VIABILIDAD
• Estándares de HONRADEZ
• Estándares de PRECISIÓN.

4.1. ESTÁNDARES DE UTILIDAD

- Se ha de exponer con claridad a todas las personas implicadas.
- La persona responsable ha de ser profesional y tener la confianza de los implicados.
- Toda la información para que sea útil ha de ser amplia y adecuada, acorde a las necesidades destacadas, a su
vez para que la información pueda ser interpretada, ha de estar correctamente planificada y contener todos los
aspectos relevantes de un informe de evaluación.
- Al final se ha difundido la información a todos los participantes y evaluar el impacto.
- En resumen, la información ha de ser necesaria y adecuada.

4.2. ESTÁNDARES DE VIABILIDAD

- El procedimiento de actuación ha de ser práctico y con costes eficaces, y ha de promover la cooperación de las
partes implicadas, evitando cualquier intento en intervenir en su desarrollo o resultado.
- En resumen el programa ha de ser realista, prudente, diplomático y moderado.

4.3. ESTÁNDARES DE HONRADEZ

- Orientación positiva del servicio, evitando programas negativos y poco exitosos.
- Acuerdos formales respetando los DDHH y resaltando las relaciones humanas saludables, realizando informes
claros y completos englobando tanto los aspectos positivos como los negativos.
- La información ha de llegar con claridad a todas las partes sin generar conflictos de intereses ni económicos.

4.4. ESTÁNDARES DE PRECISIÓN

• Documentación del programa
• Análisis del contexto
• Descripción de intenciones y procedimientos
• Fuentes de información diferentes.
• Información fiable, sistemática y válida.
• Análisis de la información cualitativa y cuantitativa.
• Conclusiones justificadas.
• Objetividad del informe.
• Metaevaluación.

5. NECESIDADES, CARENCIAS Y DEMANDAS

- Las necesidades a las que pretende responder un programa no son un elemento que pertenezca formalmente
a la evaluación de programas, pero son fundamentales para el diseño, implantación, implementación y
evaluación de dicho programa, por ello, es necesario su identificación y estudio antes de diseñarlo.

- Una NECESIDAD es una tensión que impulsa a tener que satisfacer algo considerado deseable. Término con
evidente subjetividad: una persona/grupo siente que le falta algo importante que puede llegar a ser básico o
esencial para alcanzar sus propósitos. Sin embargo, podemos encontrar personas/grupos que, en situaciones
más o menos similares, no sienten esas necesidades; estamos ante CARENCIAS objetivas, necesidades que
no son sentidas como tal por quienes las experimentan y no ven, por tanto, la necesidad de tener que cubrirlas.

4
 - Uno de los factores esenciales del éxito de un programa es la implicación de sus destinatarios y, para ello,
deben considerarlo interesante, útil, adecuado y valioso. Por ello, a la hora de diseñar programas deben
identificarse las necesidades, comprobando si lo son en sentido estricto o si estamos ante carencias objetivas.
En este caso, antes de implantar el programa habrá que sensibilizar a las personas con intención de convertir
esas carencias en necesidades.

- Por otro lado, también encontramos DEMANDAS, necesidades sólo en sentido subjetivo, que pueden ser
caprichosas, excesivas, o estar alejadas de la situación general de la comunidad. Deberán atenderse sólo
cuando se hayan satisfecho, al menos, las necesidades básicas de la población con carencias más radicales.

- Cabe mencionar también las EXPECTATIVAS, esperanzas que pueden tener ciertos grupos de lograr
determinadas metas, que necesitan del programa para ser alcanzadas. Pueden verse como indicador de una
disposición favorable de las personas a trabajar y esforzarse en su logro, cosa que tendrá una incidencia
positiva en la implantación, implementación, desarrollo y eficacia del programa. Si son razonables y justas
merecen ser atendidas, siempre y cuando se cuente con los medios y recursos necesarios para crear
programas que las satisfagan.

6. COMPONENTES BÁSICOS
- Pese a su diversidad y complejidad, los programas deben incluir unos COMPONENTES MÍNIMOS:
Contenidos – Objetivos – Medios y recursos – Sistema integrado de evaluación.

• Los OBJETIVOS tienen un papel directriz y su formulación debe basarse en las carencias y necesidades
detectadas e identificadas previamente. Se concretan en los CONTENIDOS específicos del programa.
• Los MEDIOS y RECURSOS, que deben ser suficientes y variados, están subordinados a los objetivos y son
el componente clave. Algunos son esenciales, como las actividades o la motivación promovida por el
responsable del programa. La evaluación también puede ser un medio ya que ayuda a tomar medidas eficaces
y a estimular el interés según se van conociendo logros.
• El SISTEMA DE EVALUACIÓN debe estar integrado en el programa, ya sea como un elemento de
responsabilidad social (para rendir cuentas de los medios y recursos), o como un componente para la mejora
continua del programa, tanto en su plan como en sus resultados.

- Para que el programa logre sus metas y pueda llevarse a cabo su evaluación, además de estos componentes,
debe tenerse en cuenta el CONTEXTO en el que se enmarca por ser un condicionante esencial para su
implantación y desarrollo (acogida, coherencia con él, apoyos…). Además, los programas deben cumplir
ciertos REQUISITOS técnico-prácticos (necesidad, viabilidad, factibilidad, responsabilidad en el uso de
recursos, evaluabilidad) y éticos (estándares de utilidad, viabilidad, honradez y precisión).

7. MOMENTOS DE EVALUACIÓN. RESULTADOS

7.1. EVALUACIÓN INICIAL

- Se realiza antes de ejecutar el programa una vez diseñado, permitiéndonos ajustar tal diseño a las pautas de
calidad exigibles.
- Tiene una finalidad eminentemente preventiva, al tratar de aplicar el programa en las condiciones más
favorables, reduciendo al máximo las posibilidades de fracaso.
- Objetivos: comprobar si el programa será evaluable, decidir si es viable y excluir el diseño del programa como
causa de resultados inadecuados, insuficientes o insatisfactorios si se produjeran.
- DIMENSIONES:
• CALIDAD INTRÍNSECA. El programa debe cumplir unas exigencias técnicas mínimas referidas a:
− Su contenido. Atendiendo a todos sus elementos: objetivos (relevancia y relación con las
necesidades detectadas), medios y recursos (adecuación y suficiencia) y sistema de evaluación (coherencia
con medios y objetivos).
− Su calidad técnica. Comprobar si se respetan las cualidades técnicas de un buen diseño de
programas: papel directriz de los objetivos, subordinación a éstos de medios y recursos, evaluación
instrumental…

5
 − Su evaluabilidad. Plantearse si el programa reúne las condiciones necesarias para poder ser
evaluado, atendiendo a su contenido, metodología y lenguaje utilizado (técnico y/o adaptado a las partes
interesadas).
• ADECUACIÓN AL CONTEXTO: comprobar si el programa es adecuado a las necesidades, carencias,
demandas y expectativas de los destinatarios y atender a los diferentes elementos de los ambientes concretos
donde se llevan a cabo los programas (dinámica, relaciones, costumbres…).
• ADECUACIÓN A LAS CIRCUNSTANCIAS: Viabilidad. El éxito de un programa depende de haber elaborado
un plan riguroso y realista, por ello, debe analizarse la situación antes de ponerlo en marcha, implantándolo
sólo si se considera factible y viable para esa situación o momento.

7.2. EVALUACIÓN DEL DESARROLLO

- La evaluación del desarrollo del programa (o formativa) es la que se realiza durante la implantación e
implementación de dicho programa. La implantación corresponde al inicio de su ejecución y es un momento
crucial por ser cuando se configuran las actitudes respecto a la realidad de dicho programa. La implementación
se corresponde al desarrollo en sí del programa, el cual puede ocupar un tiempo lo suficientemente amplio
para que merezca la pena ligar a su desarrollo una evaluación procesual y formativa.
- La evaluación del desarrollo debe atender a las siguientes DIMENSIONES:
• EJECUCIÓN DEL PROGRAMA: comprobar en qué grado se está respetando la planificación prevista
(plan de acción) sometiendo a análisis y valoración los siguientes aspectos:
− Actividades (y demás medios)
− Secuencias (de actividades)
− Temporalización
− Recursos
− Flexibilidad
• MARCO DEL PROGRAMA: el contexto en el que se aplica el programa es un condicionante para su
desarrollo, por lo que, en una evaluación orientada a la mejora, debe estudiarse para determinar cuál
es el origen de los aspectos a mejorar. Debe atenderse al clima general en la institución donde se
aplica, el recibimiento que está teniendo, la implicación, actitud y relaciones de las personas, etc.

7.3. EVALUACIÓN RESULTADOS

-La evaluación de resultados (final o sumativa) permite constatar la consecución, o no, de los objetivos del programa
cuando su ejecución ha terminado. Su finalidad es constatar el grado de eficacia del programa. Esta evaluación final
puede servir de base para mejorar el programa en sucesivas ediciones, complementando su finalidad con dos grandes
objetivos: identificar los aspectos susceptibles de mejora y los que se han desarrollado satisfactoriamente.

-Cuando el logro de los objetivos es insuficiente, la evaluación sumativa no informa sobre la naturaleza de las
limitaciones ni su origen. Para evitar esas limitaciones es necesario que la evaluación final forme parte de una
evaluación integral, siendo su 3ª parte o momento; en los momentos previos (inicial y procesual) habremos obtenido
elementos suficientes para detectar la naturaleza y causas de los aspectos negativos.

-La evaluación de resultados debe atender a dos DIMENSIONES:

• RESULTADOS: establecer cuáles son los logros y valorarlos según unos criterios y referencias, previamente
especificados y hechos públicos, para determinar la eficacia del programa. Es preciso prever la ponderación de
los diversos objetivos y niveles de logro para poder emitir una calificación global y unitaria sobre la eficacia del
programa.
• VALORACIÓN de tales resultados: atender a diferentes referencias (criterial, idiosincrática, normativa) y a las
circunstancias que se dieron durante el desarrollo del programa, cuya valoración conlleva cierto grado de
subjetividad y por ello, los evaluadores deben objetivar sus posiciones, razonándolas y argumentándolas
debidamente.

-En programas pensados para aplicarse en varias ediciones, a estas dos dimensiones pueden añadirse la
evaluación del procedimiento de toma de decisiones y los planes en los que éstas se concretan. En una evaluación
integral, esta sería su 4ª etapa o momento, denominada institucionalización de la evaluación.

6
 8. PROPUESTA PÉREZ-JUSTE
PÉREZ JUSTE intenta dar respuesta a la complejidad de los programas, especialmente educativos, evaluando en 4
MOMENTOS. Su propuesta recoge una evaluación inicial, una procesual y una final, complementadas con su
institucionalización, de forma que esos tres momentos constituyen un bucle con sucesivas realizaciones.

• 1 er MOMENTO: evaluación del programa en cuanto a tal. Su finalidad es establecer la calidad técnica, viabilidad
y evaluabilidad del programa y ponerlo en marcha en condiciones óptimas.
-Tiene una función formativa aunque en ocasiones, puede ser sumativa (sobre el programa o su evaluación).
-Su metodología utiliza entre otros el análisis de contenido, técnica Delphi, juicio de expertos, etc., para recoger
información sobre el programa (fundamentación, formulación, relación con necesidades, carencias, demandas y
expectativas de los destinatarios).
-Los criterios de evaluación son:
- Calidad, pertinencia y realismo de objetivos y metas y su adecuación al contexto y destinatarios.
- Suficiencia de apoyos, medios y recursos.
- Calidad técnica de los planteamientos de evaluación.
- Calidad técnica (coherencia y congruencia), viabilidad y evaluabilidad del programa.

-Las decisiones a tomar tienen, generalmente, un carácter formativo (mejora previa), aunque en casos graves puede
ser sumativa (retirada del programa, no realización de la evaluación).

• 2º MOMENTO: evaluación del proceso de implantación del programa. Su finalidad es facilitar la toma de
decisiones de mejora a tiempo y acumular información para introducir mejoras en ediciones futuras.
-Su función es formativa, sumativa en casos extremos. Su metodología consiste en la recogida de información
sobre el desarrollo del programa, los resultados intermedios y los efectos no planeados mediante observación,
diálogos, entrevistas… y su posterior análisis en sesiones de grupo, debates…
-Los criterios de evaluación son el cumplimiento, la coherencia institucional, la eficacia parcial y la satisfacción de los
implicados. Se toman decisiones sobre ajustes parciales y, en casos extremos, sobre la suspensión del programa.

• 3 er MOMENTO: evaluación de los resultados de la aplicación del programa. Su finalidad es comprobar la

eficacia del programa. Tiene una función sumativa (sumativa formativizada cuando sea posible).
Debe recogerse información sobre los resultados relacionados con los objetivos y sobre los efectos positivos,
negativos y no planeados. Los criterios de evaluación son la eficacia, eficiencia, efectividad, satisfacción e impacto.
Las decisiones a tomar tienen un carácter sumativo: mantener o suprimir el programa.
También pueden ser formativizadas si se pretende mejorar el programa para una nueva edición.

• 4º MOMENTO: INSTITUCIONALIZACIÓN de la evaluación del programa. Momento que se añade cuando se

pretenden diferentes ediciones de un programa, planteándose sucesivos ciclos de evaluación: mejora – evaluación –
mejora. En este momento se logra la plena integración del programa y su evaluación, mejorando así, tanto el programa
como la metodología de evaluación.

9. PRINCIPIOS EVALUACIÓN INSTITUCIONES

-La evaluación de instituciones es un proceso sistemático, organizado, reflexivo, participativo y dinámico con la
finalidad de obtener información válida y valiosa sobre el estado de la institución. Para ello, analiza su eficacia,
eficiencia, pertinencia y resultados alcanzados con intención de que sirvan de base para la toma de decisiones de
mejora, tanto de la institución como del personal implicado. La evaluación debe ser objetiva y recoger sólo lo necesario.
Para su validez, debe tener coherencia y congruencia entre teoría y práctica y, sobre todo, debe ser didáctica, es decir,
que permita reflexionar y lograr equilibrio entre lo real y lo deseado.

-Los PRINCIPIOS que deben regir una evaluación de instituciones de calidad son:
• RELEVANCIA: relación con los grandes fines formativos de la institución. Se traduce en buenas
orientaciones, las políticas que desarrolla y los perfiles profesionales de sus miembros y participantes.
• INTEGRIDAD: desempeño laboral responsable y ético de la institución, reflejado en sus normas, derechos de
las personas y condiciones éticas en las actuaciones profesionales.

7
 • EFICACIA: grado de congruencia entre las actuaciones planificadas y los logros obtenidos, tomando como
referencia el contexto en el que se inserta la acción.
• EFICIENCIA: capacidad de las personas para alcanzar la finalidad de la institución, optimizando los recursos
disponibles.

10. VENTAJAS E INCONVENIENTES DE LA EVALUACIÓN EXTERNA

-La evaluación externa de instituciones, que puede actuar como complemento de la interna (autoevaluación), es
aquella evaluación llevada a cabo por agentes externos a la entidad que ayuda a demostrar su eficacia y mérito frente
a otras propuestas. La propuesta de evaluación externa puede provenir de dentro de la institución, una demanda
de sus agentes para favorecer el desarrollo de las personas y mejora de la entidad, o de fuera de la institución, una
solicitud de las autoridades académicas o administrativas para comprobar los niveles de logro, control de su
funcionamiento, dificultades y recursos disponibles.

Sus principales VENTAJAS son: ̶

-Preparación y cualificación técnica de los responsables.
-Visión objetiva de la institución.
-Emplea técnicas e instrumentos precisos.
-Resultados contrastables con otras aportaciones o centros.
-Garantías de mantener el anonimato.
-Favorece el trabajo en equipo.

A pesar de las ventajas, también tiene ciertos INCONVENIENTES:

-Provoca reacciones de subordinación al personal evaluador.
-Actuación pasiva de los trabajadores del centro.
-Ofrece datos descontextualizados, por lo que las recomendaciones pierden aplicación inmediata.
-La comunidad actúa como juez de la tarea educativa desarrollada en el centro.
-Riesgo de utilizar a los agentes sólo como fuente de datos, sin analizar cómo ejercen su tarea de forma
concreta.
-Puede coartar las iniciativas individuales al utilizar procedimientos muy jerarquizados y delimitados.

11. EFQM

11.1. CONCEPTOS FUNDAMENTALES DE EXCELENCIA EFQM

El modelo de Excelencia EFQM se utiliza para conseguir la calidad en las instituciones y ha demostrado ser eficaz
como sistema de gestión de las organizaciones y como instrumento para la autoevaluación. Se trata de una
herramienta práctica que ayuda a las organizaciones en su camino hacia la excelencia, cuya finalidad es conocer la
realidad de la institución mediante la autoevaluación y reflexionar sobre ella, características que, unidas a la implicación
de todos en el proceso de autoevaluación y toma de decisiones, incidirán en la mejora de la calidad de los servicios
prestados por la institución.

Para aumentar los beneficios del Modelo EFQM deben entenderse y aceptarse los siguientes CONCEPTOS DE
EXCELENCIA:

• Orientación al cliente: la • Liderazgo y constancia • Orientación hacia los • Desarrollo, implicación

excelencia se consigue
creando valor sostenible al
cliente, ya que depende
del equilibrio y satisfacción
de sus necesidades.
de propósitos: el resultados: la excelencia y reconocimiento de las
liderazgo ayuda a se logra cuando los personas: la excelencia
conseguir la excelencia si resultados satisfacen a aumenta mediante la
la visión y el propósito de todos los implicados en la contribución al desarrollo e
la organización están organización. implicación de las
alineados. personas que trabajan en
la mejora de la
organización, mediante el
trabajo en equipo.

8
 • Gestión por procesos y • Desarrollo de alianzas: • Proceso continuo de • Responsabilidad social
hechos: la excelencia se la excelencia se consigue aprendizaje, innovación de la organización: la
consigue a través de la desarrollando y y mejora: la excelencia se excelencia se consigue
gestión de procesos y manteniendo alianzas que consigue desafiando el yendo más allá del marco
hechos de forma sistémica añadan valor en las “statu quo” y haciendo legal mínimo en el que
(actividades relacionadas y personas y organizaciones realidad el cambio, opera la organización y
gestionadas como que suministran productos, aprovechando el esforzándose por entender
sistémica, con la servicios o conocimientos aprendizaje para crear y dar respuesta a las
comprensión e implicación al centro. innovación y expectativas de los
de todos). oportunidades de mejora. interesados y de la
sociedad.

11.2. PRINCIPALES CRITERIOS DEL EFQM

Está integrado por 9 CRITERIOS para evaluar el progreso de una organización hacia la excelencia:

• CRITERIOS AGENTES o FACILITADORES: referidos a lo que la organización hace, definen lo que pretende
conseguir mediante:

-Liderazgo: los líderes excelentes desarrollan y facilitan la consecución de la misión y la visión y desarrollan los
valores y sistemas necesarios para lograr un éxito sostenido, reorientando la organización cuando sea necesario.
-Política y estrategia: las organizaciones excelentes implantan la visión, misión y valores, desarrollan su estrategia
centrada en los grupos de interés y despliegan políticas, planes, objetivos y procesos para hacerla realidad.
-Personas: las organizaciones excelentes gestionan, desarrollan y hacen aflorar todo el potencial de las personas que
las integran, implicándolas y fomentando la justicia y la igualdad..
-Alianzas y recursos: Las organizaciones excelentes planifican y gestionan las alianzas externas, proveedores y
recursos internos en pro de su política, estrategia y buen funcionamiento de sus procesos.
-Procesos: Las organizaciones excelentes diseñan, gestionan y mejoran sus procesos para satisfacer plenamente a
sus clientes e interesados y generar cada vez mayor valor para ellos.

• CRITERIOS de los RESULTADOS: referidos a lo que la organización logra, indican los resultados que desea
conseguir. Así, las organizaciones excelentes miden exhaustivamente:

-Resultados en los clientes: los resultados que esperan que alcancen los destinatarios, en relación con lo que está
definido en su misión (su percepción y formación que da el centro)
-Resultados en el personal: los resultados que esperan alcanzar en las personas que la integran (expectativas
generadas y satisfacción).
-Resultados en la sociedad: los resultados que se esperan alcanzar en la sociedad.
-Resultados clave de la organización: los resultados que esperan alcanzar respecto a los elementos clave de su
política y estrategia (indicadores de resultados educativos y otros servicios del centro).

A cada uno de estos criterios se le asigna una puntuación para comprobar la situación de la organización mediante la
autoevaluación. Es un modelo dinámico donde los “resultados” son causados por los “agentes'' y se mejoran
mediante la retroalimentación.

9
11.3. PASOS A SEGUIR PARA LA IMPLANTACIÓN DEL EFQM

• ETAPA PREVIA:
1. Liderazgo y compromiso del equipo directivo y autoridades educativas con la mejora.
2. Sensibilización e información del personal del centro y de la administración y servicios.
3. Ayuda de expertos externos para facilitar la implantación del modelo.
4. Constitución de un Equipo de Calidad integrado por la dirección y personas interesadas del centro.

• ETAPA DE AUTOEVALUACIÓN DEL CENTRO:

5. Realización de la autoevaluación por el Equipo de Calidad: recogida y análisis de la información y elaboración del informe de
resultados indicando los puntos fuertes de las áreas de mejora.
6. Priorización de las áreas según su incidencia en los resultados clave de la organización.
7. Presentación de los resultados al resto de la organización para concretar el Plan de mejora.

• ETAPA DE ELABORACIÓN DEL PLAN DE MEJORA:

8. Constitución de los Equipos de mejora según los temas y nombrar sus responsables y colaboradores.
9. Elaboración de los Planes de mejora.
10. Presentación de los Planes de mejora al resto de personal del centro para su conocimiento y aprobación.
11. Determinación y planificación de los procesos y recursos necesarios para realizarlos.

• ETAPA DE APLICACIÓN DEL PLAN DE MEJORA:

12. Ejecución y seguimiento de los procesos de mejora, medición de resultados.
13. Difusión y discusión de los resultados.
14. Verificación de los resultados y realización de una nueva autoevaluación.
15. Adopción del principio de innovación, aprendizaje y mejora continua del centro

11.4. NUEVO MODELO EFQM (2020)

- 5 aspectos fundamentales que señalan la diferencia entre el modelo anterior y el actual:
1. Sencillez: lenguaje más comprensible.
2. Utilidad para la gestión: herramienta de trabajo que ayuda a las instituciones en sus procesos de
transformación.
3. Orientada al futuro: facilita las estrategias a medio y largo plazo.
4. Centrado en los clientes: se identifican con los grupos de interés y su experiencia.
5. Puesta en valor del Ecosistema: forma parte de un sistema más global e interactivo.

- Las 5 claves se sintetizan en:

1. Cultura: desempeña un papel relevante como punto de partida y ayuda a personas para conocer más
a fondo la institución, siempre desde un enfoque global y dinámico.
2. Liderazgo: existencia de líderes en todos los niveles que garanticen una buena toma de decisiones y
trabajo en equipo.
3. Transformación y rendimiento: marco adecuado para lograr el éxito en la institución, combinando las
aportaciones del presente con el futuro.
4. Flexible y adaptable: debe ofrecer una guía para alcanzar un rendimiento sostenible.
5. El futuro: permite comprender sus beneficios y la previsión futura para una adecuada transformación.

12. INDICADORES
-Las sociedades avanzadas se sirven de la estadística para recoger datos, de forma sistemática y frecuente (censos,
encuestas…), sobre aspectos relacionados con sus ciudadanos que permitan saber cuáles son las carencias y puntos
fuertes de tales sociedades. Una de las herramientas fundamentales en el proceso de mejora de sus servicios a los
ciudadanos son los sistemas de indicadores.

-Los INDICADORES son DATOS de diversa naturaleza, que sirven para mostrar algo mediante indicios o señales
(fenómenos que permiten conocer o inferir la existencia de otros no percibidos). Sus elementos fundamentales son su
carácter indirecto, su sistematicidad y su naturaleza normalmente cuantitativa. Concretando más, podemos decir que
un indicador es una unidad de información empírica, contextualizada y consensuada entre los distintos implicados,
relacionada con unas metas o procesos y recogida sistemáticamente, que es susceptible de operativizar en variables y
que permite estimar la productividad y/o funcionalidad del sistema.

10
-Suelen referirse a variables muy estables, generalmente modificables, asequibles y comparables y se ponen al
servicio de un conjunto de objetivos como son, entre otros, identificar puntos fuertes y débiles del sistema, ayudar a su
mejora continua, valorar los resultados obtenidos facilitando la toma de decisiones, etc.

13. LA AUTOEVALUACIÓN EN LA EVALUACIÓN DE PROGRAMAS

-La Autoevaluación, dado su valor formativo, puede ayudar a plantear y evaluar objetivos relacionados con las
actitudes y valores. A través de ella, el alumno llega a conocer criterios relevantes y adecuados, a capacitarse en su
aplicación a producciones concretas y, con el tiempo, a seleccionar los mejores para valorar situaciones no
experimentadas con anterioridad. Deben estimularse los procesos autoevaluativos ya que tienen un gran valor para la
elaboración de un adecuado concepto de sí, alejado de hipervaloraciones e hipovaloraciones.
-En el marco de la evaluación de programas, la autoevaluación puede considerarse desde dos perspectivas
diferentes: como actividades destinadas al logro de los objetivos marcados, o como una técnica para recoger la
información pertinente, evitando en este caso limitaciones como la tendencia a responder según la imagen que se
desea proyectar (deseabilidad social) o la tendencia a responder afirmativamente, independientemente del contenido
de las preguntas (aquiescencia).

14. DATO CUALITATIVO

-El término “DATO” es una realidad que deben construir los investigadores (evaluadores), quienes toman decisiones
sobre lo que deben observar, preguntar y registrar y presentan y ordenan los datos según lo que ellos creen que es
importante.

-A la hora de evaluar un programa, mucha de la información recogida es de carácter cualitativa. Una característica
fundamental del “Dato” en la investigación cualitativa es su enorme diversidad y complejidad. Se tomarán como
datos todas las informaciones referidas, tanto a las interacciones entre los sujetos y entre éstos y el evaluador, como a
los contextos en que se produce y a las circunstancias en que se origina.

-La información puede registrarse de formas muy variadas(notas de campo, fotografías, documentos diversos, relatos
de los protagonistas…). Es, en conclusión, una modalidad de investigación/evaluación que ofrece una gran cantidad
de materiales que, fundamentalmente, son de carácter textual (escrito, gráfico o audiovisual).

15. ESTRUCTURA DEL INFORME

-El informe de evaluación es un documento técnico, elaborado por el evaluador, destinado a ofrecer información
relevante sobre el programa evaluado a sus responsables y a las demás partes afectadas e interesadas.
-Su ESTRUCTURA puede ser la siguiente:

• PORTADA que incluya el título del programa, nombre del evaluador o equipo, fecha y lugar.

• FICHA TÉCNICA con la denominación del programa y organismo que encarga la evaluación, los destinatarios, partes
afectadas y fechas en las que se lleva a cabo la evaluación. Para autentificar el informe, conviene fechar y firmar.

• RESUMEN: síntesis que incluya aspectos como los objetivos de la evaluación, naturaleza y características del
programa, metodología de la evaluación, principales resultados y consecuencias derivadas.

• EVALUACIÓN: se explicita el contenido o núcleo del informe (necesidades, contexto y circunstancias referentes al
programa; sus componentes; información de su implantación, implementación y resultados; resultados de la
evaluación; decisiones propuestas; difusión y alcance del informe y destinatarios).

• ANEXOS: el informe puede acompañarse de la información original recogida (organizada y estructurada) y de

cualquier otra información necesaria para quienes quieran profundizar en el programa o su evaluación.

--------------------------------------------------------------------------------------------------------------------------------------------------------------

11
 CASO PRÁCTICO
- BREVE DESCRIPCIÓN DEL CASO: En un Centro de Día para la protección a la infancia y adolescencia se viene
desarrollando un “Programa de Atención a la Infancia y Familia”. El objetivo de dicho Programa es la intervención con
las familias y con los menores en situaciones de riesgo o desprotección moderada para asegurar su normal desarrollo,
procurando insertarlos en un entorno seguro, atendiendo a sus necesidades y favoreciendo su integración.

- FINALIDAD DE LA EVALUACIÓN: valorar si el programa está funcionando bien o por el contrario necesita cambios o
mejoras, si la intervención atiende a las necesidades de los menores y sus familias, si se consigue que se encuentren
en un entorno seguro y si se está favoreciendo su integración.

- JUSTIFICACIÓN DE LA EVALUACIÓN: cuando se implantó el programa, se hizo después de analizar su calidad

técnica y su viabilidad. Durante estos años se ha realizado un proceso de recogida y análisis de la información y en
este momento se trata de ver cómo está funcionando el programa, cuáles son sus resultados parciales y decidir si se
mantiene o no el programa y, en caso de mantenerse, qué mejoras son necesarias introducir.
El equipo directivo del Centro de Día después de haber detectado un aumento significativo de la demanda de las
familias en los últimos años y un mayor malestar por parte de los profesionales, con síntomas de cansancio, solicita a
la educadora social que colabore con el equipo multidisciplinar del centro en la planificación de una evaluación del
programa que permita analizar en profundidad estos elementos y tomar las decisiones oportunas.
Se usarán, por tanto, diferentes técnicas e instrumentos, desde la complementariedad metodológica, intentando
combinar datos cuantitativos ya recogidos en las memorias anuales que se elaboran cada año (nº familias, nº
profesionales, nº horas atención, situación económica de las familias atendidas,....) con otras más de carácter
cualitativo (grado satisfacción,..)
Las administraciones están en un momento donde medir la eficacia de los programas es una prioridad ante la
disminución de recursos y aumento de las demandas y la necesidad de comprobar si los programas existentes
atienden las necesidades reales de la población.

- CRITERIOS a utilizar para evaluar el programa serán:

● Evolución de la situación económica de las familias atendidas, disminución de casos de maltrato, conductas
de riesgo en niños y jóvenes,..
● Evolución de conductas disruptivas como: violencia doméstica detectada; fracaso escolar; hurtos;
consumos tóxicos; falta de aseo; etc.
● Evolución de resolución de conflictos, mediación, grado de limpieza y adquisición de mejores hábitos de
salud, etc.
● Cumplimiento/nivel de logro de los objetivos y adecuación de los mismos en base a la situación actual
● Satisfacción de los participantes, de la comunidad, de los agentes y del personal, así como decisiones sobre
el funcionamiento de la institución
● Grado de coherencia, suficiencia, adecuación y eficacia en las actuaciones, de trabajo coordinado y en
equipo, y ajuste de la temporalización de las actuaciones con las familias
● Disponibilidad, eficiencia y pertinencia de los recursos
● Efectividad de los resultados alcanzados respecto a disminución de situaciones de riesgo, disminución de
necesidades, aumento de familias atendidas, ratio nº profesionales/nº de familias atendidas desde que empezó
el programa)
● Propuestas de mejora, plan de seguimiento y valoración…

- TÉCNICAS DE RECOGIDA DE DATOS:

● Revisión bibliográfica: análisis de las memorias anuales y estadísticas sobre la situación socio-económica de
la localidad en los últimos años
● Entrevistas semiestructuradas a profesionales, familiares de los menores, y menores.
● Cuestionarios de aplicación para conocer satisfacción por áreas y global (Likert)
● Observaciones sistemáticas: Cuaderno de campo, registro documental (audio y vídeo) y lista de control.

12
Se parte de un enfoque participativo y se recoge información de:

1. Profesionales del programa

2. Usuarios (menores y familiares)
3. Profesionales de Servicios Sociales del municipio
4. Profesionales sanitarios y educativos del municipio

- EQUIPO EVALUADOR: se planteará un enfoque participativo y la educadora social, máxima responsable, contará
con el apoyo del equipo profesional que participa en dicho programa pues resulta un factor muy positivo tanto para el
programa como para la institución favorecer un trabajo colaborativo y la implicación de todos los participantes en el
mismo.

FUNCIONES DEL EQUIPO EVALUADOR: el equipo que participa en el programa se encargará de la recogida y
análisis de información, sacar conclusiones, emitir juicios, elaborar los documentos necesarios y la educadora social
de realizar una entrevista estructurada al coordinador del programa para que nos ofrezca información detallada y
avances que se podrían conseguir a través del mismo, como resultados en la integración de las familias; ponerse en
contacto con todas las personas relacionadas con dicha evaluación, coordinar el equipo evaluador, informar de los
resultados a los responsables.

MOMENTOS DE LA EVALUACIÓN. Siguiendo a Pérez Juste, nos encontramos con cuatro momentos:
Primer momento: nos encontramos con un programa que ya está implantado en el centro. La finalidad de la
evaluación de este momento fue la comprobación de la calidad técnica del programa, pertinencia, realismo, adecuación
y viabilidad del programa, en el contexto y en la realidad del mismo y se tuvo en cuenta que la evaluación y las
decisiones fueran formativas.
Segundo momento: evaluación del proceso de aplicación del programa. Se lleva a cabo año a año, hay constancia en
las memorias anuales. En este momento se recogió información sobre cómo estaba funcionando el programa, si
estaba cumpliendo con sus objetivos y metas, la flexibilidad, coherencia, eficacia del mismo, así como la satisfacción
con su desarrollo. Se revisó si era necesario redefinir los objetivos o introducir mejoras que fueran necesarias. Se
utilizaron las técnicas de recogida de información que se han detallado anteriormente.
Tercer momento: evaluación de resultados aplicación del programa. Es el momento actual, nos fijaremos en los
resultados obtenidos, la eficacia del programa, comprobando si está teniendo el efecto deseado por parte del equipo
directivo, y como no, mucho más importante, si las necesidades de las familias han sido atendidas, teniendo en cuenta
en todo momento el impacto y satisfacción en las mismas.
Cuarto momento: Finalizada la evaluación por parte de la educadora social y, en base a su informe, se procederá a la
institucionalización de la evaluación. En el momento que la evaluación esté integrada en el programa ya no debe
tratarse como un elemento aislado. De esta forma se lleva el programa a la mejora continua, por ello se debe
incorporar al propio diseño del Programa un proceso de seguimiento y de evaluación que regularmente sea revisado,
con el fin de mejorar la calidad del servicio.

ANÁLISIS DE LA INFORMACIÓN: se utilizarán técnicas cualitativas, de esta forma la información será más descriptiva
y detallada, matizada y más acorde con la realidad, porque buscamos valorar si el programa funciona bien o necesita
cambios para mejorar. Se usarán gráficos que muestran con detalle la evolución del programa y de sus objetivos. Se
tendrá en cuenta la reducción de datos, categorización, codificación, presentación de datos y obtención y verificación
de conclusiones.

ELABORACIÓN DEL INFORME FINAL: se elabora al final de la evaluación con la participación de todas las partes
implicadas y debe cumplir una serie de criterios éticos y técnicos. Es importante tener en cuenta a quién va dirigido y
quien lo redacta. Debe recoger todo el proceso, los procedimientos, objetivos, metodología…, y todos los documentos
originales que hayan sido de utilidad en los anexos. Se deben incluir puntos fuertes, puntos débiles, áreas de mejora,..
Plan de acción para la mejora continua, finalidad de la institucionalización de la evaluación que se persigue.

13
A QUIÉN LLEGA LA INFORMACIÓN: al utilizar un enfoque participativo, todos los participantes recibirán información
de los resultados a través de una reunión formal con el equipo directivo y el coordinador del programa para poder
intercambiar impresiones sobre aspectos a mejorar, puntos fuertes y débiles, analizar el programa, posibles
limitaciones y proponer posibles mejoras.

CONCLUSIÓN: El propio concepto de eficiencia en la prestación de los servicios debe de ir unido inevitablemente al
concepto de calidad. Cualquier servicio público debe responder a ambos principios y para ello la revisión periódica de
programas, servicios, centros y recursos se constituye como un elemento indispensable

14