Está en la página 1de 27

14/09/2023

GRADO EN EDUCACIÓN SOCIAL

EVALUACIÓN DE PROGRAMAS Y
PROYECTOS DE EDUCACIÓN
SOCIAL
Vicente Matia Portilla
Brizeida Hernández Sánchez

BLOQUE 1

CONCEPTO, CARACTERÍSTICAS Y
FUNCIONES DE LA EVALUACIÓN DE
PROGRAMAS

1
14/09/2023

EL CICLO DE LA INTERVENCIÓN
SOCIOEDUCATIVA

La Intervención socioeducativa sigue un proceso cíclico, a


modo de espiral, en el que tienen lugar una sucesión de
procesos concatenados entre sí, que van condicionando el
devenir de los acontecimientos. Estos procesos podrían
ordenarse del siguiente modo:
• Se parte de una idea principal, con la que se pretende afrontar una
situación o problemática determinada.
• A partir de esa idea, se diseña la propuesta de intervención, con la que
se intenta dar respuesta a dicha situación o problema.
• Se implementa o lleva acabo la propuesta de intervención.
• Se evalúa la propuesta desarrollada.
• La evaluación servirá para reconsiderar o revisar la idea inicial y, en su
caso, reformularla, lo que generará nuevas ideas, iniciándose así un
nuevo ciclo.

EL CICLO DE LA INTERVENCIÓN
SOCIOEDUCATIVA

2
14/09/2023

EL CICLO DE LA INTERVENCIÓN
SOCIOEDUCATIVA
Aunque la evaluación se percibe como uno de los
eslabones de este ciclo en espiral, en realidad constituye
un elemento básico que afecta a todos los procesos:
• Evaluación de la idea: habrá que analizar si la idea de la que se parte
es oportuna, útil, viable y posible, si merece la pena, si realmente
ayudará a resolver la situación de partida, etc.
• Evaluación del diseño: será preciso examinar si el diseño es
adecuado, si tiene la calidad necesaria, si las decisiones tomadas son
válidas, si la propuesta es pertinente, etc.
• Evaluación del desarrollo: deberá averiguarse si la implementación
de la propuesta cumple unas condiciones mínimas de calidad, si
produce resultados, tanto deseados (efectos primarios) como no
deseados (efectos secundarios), etc.
• Evaluación de la evaluación: será conveniente estudiar tanto la
viabilidad y oportunidad de la propia evaluación (evaluación de la
evaluabilidad), como la calidad del propio proceso evaluador
(metaevaluación).

3
14/09/2023

CONCEPTO DE EVALUACIÓN EDUCATIVA

La evaluación puede entenderse como:


“la valoración, a partir de criterios y referencias
preespecificados, de la información técnicamente
diseñada y sistemáticamente recogida y organizada,
sobre cuantos factores relevantes integran los
procesos educativos para facilitar la toma de
decisiones de mejora”.
(Pérez Juste, 1995)

CONCEPTO DE EVALUACIÓN EDUCATIVA


De esta definición derivan los cuatro componentes básicos
en los procesos de evaluación:

a)Los contenidos a evaluar: “cuantos factores relevantes integran los


procesos educativos”. La evaluación debe ser integral, abarcando a todos los
elementos: situaciones educativas, aprendizajes, educadores, educandos,
programas, instituciones , entidades o centros educativos,…
b)La información a recoger: ésta debe ser “técnicamente diseñada y
sistemáticamente recogida y organizada”. Debe acudir a cuantas fuentes,
técnicas o instrumentos sea preciso para captar de modo suficiente y
adecuado cuantos objetos evaluativos se haya decidido evaluar.
c)La valoración de la información: distinguiendo los criterios aplicados a las
diferentes unidades de información (exactitud, precisión, claridad, profundidad,
variedad,…) y las referencias utilizadas para emitir juicios globales de
evaluación (normativa, criterial y personalizada o idiosincrática).
d)La finalidad: “facilitar la toma de decisiones de mejora”: Aunque caben otras
finalidades, la más importante debe ser finalidad formativa o de mejora de los
educandos, de los aprendizajes, de los educadores, de la acción educativa, de
los programas, de los centros o entidades,…

4
14/09/2023

CONCEPTO DE EVALUACIÓN DE PROGRAMAS

PÉREZ JUSTE (1995) define la evaluación de programas


como:

«un proceso sistemático, diseñado intencional y


técnicamente, de recogida de información rigurosa —
valiosa, válida y fiable— orientado a valorar la calidad y
los logros de un programa, como base para la posterior
toma de decisiones de mejora, tanto del programa como
del personal implicado y, de modo indirecto, del cuerpo
social en que se encuentra inmerso».

CONCEPTO DE EVALUACIÓN DE PROGRAMAS


En esta definición se incluyen algunos conceptos y componentes
básicos:

a)El contenido u objeto de evaluación: Se centra en la evaluación de Programas, pero


puede variar en función de su objeto: en algunos casos se centra sólo en la evaluación
de resultados para constatar su grado de eficacia, de su alcance (evaluación por una
sola vez), o de sus funciones, fundamentalmente sumativas. Pero la evaluación debería
centrarse en el conjunto del programa, tanto en su calidad (la de sus propios objetivos,
de su diseño, de sus medios o del propio sistema de constatación de sus resultados) ,
como en sus logros o resultados.
b)La finalidad: Debe centrarse en la mejora de los programas, en perfecta sintonía con
la esencia de los actos educativos. Para ello es necesario someter a evaluación los
propios procesos educativos, así como el proceso de implantación e implementación del
programa.
c)La información a recoger: Debe ser rigurosa, no vale cualquier tipo de información,
sino aquélla que se recoge mediante instrumentos o técnicas debidamente construidos y
adecuadamente contrastados, que puedan dotar al proceso de fiabilidad y validez.
También debe ser información valiosa, es decir, útil para facilitar la toma de decisiones
de mejora.
d)La valoración de la información: Es importante valorar la información en el marco del
contexto de desarrollo del Programa. La contextualización es básica tanto para
establecer niveles de generalización o de aplicación de los resultados a situaciones
diferentes, como para valorar la propia eficacia de la propuesta.

5
14/09/2023

TIPOS DE EVALUACIÓN

La evaluación se puede clasificar en diferentes


tipologías, según el punto de vista que se adopte
en tal clasificación. La clasificación de los tipos de
evaluación de puede realizar en función de:
• El nivel de gestión.
• La naturaleza de la evaluación.
• El momento de la evaluación.
• La finalidad y función de la evaluación.
• La extensión de la evaluación.
• Los agentes evaluadores.
• El patrón de evaluación.

TIPOS DE EVALUACIÓN
SEGÚN EL NIVEL DE GESTIÓN:

• Politica-Estratégica: Consiste en el análisis de los aspectos políticos y sociales


de la propuesta evaluada, la equidad y la justicia de las medidas o acciones, su
consistencia, su trascendencia o la permanencia en el tiempo de sus efectos. La
evaluación político-estratégica constituye una herramienta importante en el
desarrollo de las políticas activas que pretenden desarrollarse desde los poderes
públicos.
• Administrativa: Se centra en el estudio de los aspectos administrativos vinculados
a la gestión de los procesos. Si finalidad es la búsqueda permanente del mayor
nivel posible de racionalización de los recursos. Por ello, buscará los mejores
medios para el logro de las propuestas, para el cumplimiento de los fines, metas y
objetivos, para el desarrollo de las acciones o actividades, bajo criterios de
eficiencia y eficacia.
• Técnica: Se ocupa del análisis de las cuestiones técnicas en las que se enmarcan
las propuestas. Si finalidad es asegurarse del cumplimiento de los requisitos
técnicos de calidad que deben asegurarse en los procesos. Evidentemente, estos
requisitos técnicos variarán en función de las temáticas en las que se inscriban las
propuestas, debiendo tener en cuenta los conocimientos y descubrimientos
científicos existentes, así como los avances que se produzcan en los mismos. El
marco científico y técnico de la evaluación dependerá también de las disciplinas
que formen parte del proceso.
Estas tres tipologías no deben considerarse como excluyentes, pudiendo plantearse
procedimientos de evaluación en los que se incluyan diferentes componentes.

6
14/09/2023

TIPOS DE EVALUACIÓN

SEGÚN LA NATURALEZA DE LA EVALUACIÓN:


• Evaluación privada: Intenta establecer el análisis de la relación
costes-beneficios desde una perspectiva eminentemente
económica. Trata de ver si los costes generados por la propuesta
son adecuados, en función de los beneficios que reportará. Esta
evaluación se centra únicamente en la cuestión económica en el
supuesto de que se cuenta con capital suficiente para la puesta
en práctica de la propuesta. Cuando esto no es así, debe incluir
también un análisis financiero.
• Evaluación social: Se centra en el análisis del impacto social de
la propuesta. Esto supone establecer la relación costes-
beneficios no sólo en términos económicos, sino también en
términos sociales y políticos. Supone, por tanto, comprobar si los
beneficios sociales, políticos (y también económicos) que genera
la propuesta aconsejan o justifican la inversión de medios y
recursos necesaria para llevarla a cabo.

TIPOS DE EVALUACIÓN
SEGÚN EL MOMENTO:
Los distintos tipos de evaluación varían según el momento en que se
realicen. Los tipos de evaluación son: ex-ante, de proceso, ex-post y
de impacto.
•Evaluación ex-ante (evaluación inicial): Se efectúa antes de la
aprobación de la propuesta, con el fin de conocer su pertinencia, viabilidad y
eficacia potencial. Con ella, se pretende seleccionar, de entre varias
alternativas técnicamente factibles, aquélla que produzca el mayor impacto
con el mínimo costo. Este tipo de evaluación puede generar la necesidad de
incorporar ajustes que resulten convenientes al desarrollo de la propuesta,
lo cual podría acarrear, a su vez, cambios en el diseño inicial de la misma
(en los objetivos, en la definición de los beneficiarios, en la temporalización,
en el presupuesto,…).
•Evaluación de proceso, operativa, de medio término o continua
(evaluación procesual): Se realiza a medida que la propuesta se va
desarrollando y guarda estrecha relación con el seguimiento de la misma.
Permite conocer los logros, los avances y las dificultades que se producen
en el cumplimiento de los objetivos, en la consecución de resultados, en la
calidad de las acciones, en la idoneidad de las metodologías, los medios y
recursos empleados, en la calidad de la propia evaluación, etc. La finalidad
es descubrir los aspectos positivos y negativos del proceso, al objeto de
promover la mejora continua del mismo. También permitirá el sucesivo
perfeccionamiento del modelo de intervención.

7
14/09/2023

TIPOS DE EVALUACIÓN

SEGÚN EL MOMENTO:

•Evaluación ex-post, de resultados o de fin de proyecto


(evaluación final): Se realiza una vez que ha finalizado la ejecución
de la propuesta. Trata de averiguar el grado de cumplimiento de los
objetivos, así como los cambios que se han producido como
consecuencia de las acciones realizadas. Lógicamente, no debe
centrarse únicamente los cambios positivos, sino que también debe
analizar los efectos negativos o no deseados.
•Evaluación de impacto: Se centra en el análisis de los cambios
permanentes y del nivel de mejora de la calidad de vida que ha
generado la propuesta. Trata de averiguar si los cambios y la mejora
en la calidad de vida se mantienen en el tiempo, así como de
conocer también los efectos inesperados, tanto positivos como
negativos, que se han producido como consecuencia de la
aplicación de la propuesta. Esta evaluación no puede realizarse de
forma inmediata tras la finalización de la intervención, por lo que
deberá dejarse pasar un tiempo (entre uno y cinco años,
dependiendo de la situación) para su puesta en práctica.

8
14/09/2023

TIPOS DE EVALUACIÓN

SEGÚN SU FINALIDAD Y FUNCIÓN:


–Evaluación formativa: Se orienta a la mejora continua
del proceso. Su función es ir analizando el desarrollo
de la acción, con el fin de introducir sobre la marcha
los ajustes necesarios para la mejor consecución de
las metas y los objetivos que se persiguen. La
evaluación ex-ante y la evaluación de proceso,
definidas en el apartado anterior, entrarían en esta
categoría.
–Evaluación sumativa: Se centra en el análisis de los
resultados conseguidos. Por tanto, no busca mejoras
en la calidad del proceso, sino que más bien pretende
determinar su valía en función del producto obtenido.
La evaluación de resultados y la evaluación de
impacto, definidas en el apartado anterior, entrarían
en esta categoría.

TIPOS DE EVALUACIÓN
SEGÚN SU EXTENSIÓN:
– Evaluación global: se centra en el análisis de todos
los componentes o dimensiones que conforman la
propuesta. Se considera el objeto de la evaluación
desde una perspectiva holística, como una totalidad de
elementos que interactúan entre sí, de modo que
cualquier modificación en uno de sus componentes o
dimensiones afectaría a todos los demás. Este tipo de
evaluación permite lograr una mayor comprensión de la
realidad evaluada, aunque también es más compleja y
a veces no resulta posible o viable.
– Evaluación parcial: Focaliza el objeto de evaluación
en el estudio de algunos de los componentes o
dimensiones que configuran la propuesta (objetivos,
acciones, medios empleados, presupuesto,…).

9
14/09/2023

TIPOS DE EVALUACIÓN
SEGÚN LOS AGENTES EVALUADORES:
• Evaluación interna: es aquella que es llevada a cabo y promovida por los
propios agentes de la entidad, implicados en el diseño y desarrollo de la
propuesta. Esta tipología permite diversas modalidades: autoevaluación,
heteroevaluación y coevaluación.
 Autoevaluación: los evaluadores evalúan su propia labor (la
propuesta, su desarrollo). Los roles de evaluador y evaluado coinciden
en las mismas personas.
 Heteroevaluación: La evaluación se realiza por personal de la propia
entidad, pero los evaluadores son personas diferentes a los ejecutores
de la propuesta.
 Coevaluación: es aquella en la todos los agentes implicados se
evalúan entre sí (todos evalúan a todos). Así, el papel de evaluador y
evaluado es realizado por todos, intercambiando alternativamente su
rol.
• Evaluación externa: es aquella que es llevada a cabo por agentes ajenos
a la entidad y a las funciones de diseño y desarrollo de la propuesta.
Generalmente se trata de evaluadores expertos contratados por la propia
entidad o por algún organismo de control externo a la misma.
Ambos tipos de evaluación se consideran necesarios y se
complementan mutuamente.

TIPOS DE EVALUACIÓN

SEGÚN EL PATRÓN DE EVALUACIÓN:


– Evaluación normativa: Se define como la evaluación que utiliza
como patrón de análisis un referente externo, contrastando los
elementos o dimensiones de una propuesta con aquello que se
considera “normal”. En este caso, la norma suele surgir del contexto
o grupo normativo en el que se ubica la propuesta. Generalmente
se utilizan referentes estandarizados.
– Evaluación criterial: Se define como la evaluación que utiliza
como patrón de análisis un referente interno, es decir, que analiza
la propuesta con respecto a sí misma, contrastando sus elementos
o dimensiones con sus propios objetivos o patrones de realización,
que han sido previamente definidos. En este caso, el referente
surge de la propia propuesta.

Es posible conjugar ambos tipos de evaluación, si bien la


elección de uno u otro debe realizarse teniendo en cuenta
la finalidad y el propio objeto de la misma.

10
14/09/2023

DIMENSIONES DE LA EVALUACIÓN DE PROGRAMAS

Los procesos de evaluación de Planes, Programas y Proyectos


socioeducativos contemplan las siguientes dimensiones:

A) El objeto de evaluación.

B) La finalidad.

C) El momento evaluativo.

D) El Modelo paradigmático seguido.

E) La instrumentalización.

F) El evaluador.

G) El referente.

DIMENSIONES DE LA EVALUACIÓN DE PROGRAMAS

.A) El objeto de evaluación: puede ser diverso:

• educandos,
• educadores y otros profesionales,
• propuesta educativa,
• recursos,
• planes y programas, proyectos,
• estrategias metodológicas,
• instituciones socioeducativas
• Contextos
• Etc.

Para cada uno de ellos, las fuentes de información, los protagonistas y


estrategias de evaluación pueden variar en su nominación, implicación y
diseño.

11
14/09/2023

DIMENSIONES DE LA EVALUACIÓN DE PROGRAMAS


B) La finalidad perseguida por la evaluación: diagnóstica, formativa y sumativa.
También se podría hacer referencia a funciones más específicas relativas a las
. personas (su rendimiento: inicial, procesal o final), relativas al sistema (gestión),
relativas al conocimiento (investigación).

• La evaluación diagnóstica permite conocer la realidad en la que operará un programa


(evaluación de entrada), tanto en lo relativo al contexto como a los destinatarios del
mismo; ello permite habilitar los recursos y medios necesarios en el contexto para que el
programa sea exitoso, o bien, teniendo presente las limitaciones contextuales, ajustar el
programa a dicho contexto. Por lo que se refiere a los destinatarios, permite conocer sus
necesidades formativas, sus posibilidades para con el programa, etc., lo cual facilita la
toma de decisiones sobre admisión, orientación, agrupamiento de los participantes en la
acción educativa, etc.

• La evaluación formativa tiene que ver con el desarrollo del programa (evaluación de
proceso) en un contexto determinado. Su propósito está directamente relacionado con la
mejora y optimización del mismo en el transcurso de la acción educativa. Permite, pues,
el ajuste racional de dicha acción según las vicisitudes que la misma encuentra y afecta
básicamente a las estrategias de desarrollo (implementación de nuevos medios y
recursos, ajuste de la temporalización cambio de actividades y papel de los agentes, etc.)

• La evaluación sumativa (evaluación de producto) muestra los resultados obtenidos por


el programa. En este caso la toma de decisiones se orienta a la certificación, promoción,
reconocimiento, en relación con los destinatarios implicados en la acción educativa.
También permite valorar globalmente el programa, con vistas a su rechazo o aceptación
en función del éxito del mismo.

DIMENSIONES DE LA EVALUACIÓN DE PROGRAMAS

C) El momento evaluativo, conectado con la finalidad, es otra de las


. dimensiones básicas:

• Evaluación inicial, con finalidad diagnóstica, al principio de una


acción formativa.

• Evaluación continua, con finalidad formativa, durante el periodo de


desarrollo del programa o proyecto.

• Evaluación final, con finalidad sumativa, al final del periodo de


ejecución de la propuesta

• A estos tres momentos, ya clásicos, hay que añadirle la evaluación


diferida, que en la evaluación de programas toma capital importancia
por sus repercusiones prácticas y sociales. Un programa no sólo es
bueno por cuanto se verifica la suficiencia de los participantes al final
de la acción formativa, sino también por cuanto a lo largo del tiempo
tiene una repercusión en la práctica. También se denomina
evaluación de impacto del programa.

12
14/09/2023

DIMENSIONES DE LA EVALUACIÓN DE PROGRAMAS


D) El modelo paradigmático seguido, que afectará al diseño a seguir. Este
. está en íntima conexión con el referente (respecto a qué evaluamos).
Condiciona la interacción entre la variables implicadas. Así por ejemplo,
los criterios para juzgar el valor o mérito de un objeto de evaluación
puede ser:
• La confluencia entre los hechos (logros) y los objetivos (modelo
de evaluación por objetivos).
• La identificación de las necesidades actuales y potenciales de
las audiencias.
• Los ideales o valores sociales.
• El estándar de conocimientos estructurados por los expertos u
otros grupos relevantes.

Además, el modelo de interpretación puede basarse en:

• La racionalidad positivista (científico-técnico).


• La asignación de valores de la realidad (interpretativo-
fenomenológico).
• El énfasis en el sentido político que adopta cualquier situación
(sociocrítico).

DIMENSIONES DE LA EVALUACIÓN DE PROGRAMAS

E) La instrumentalización: remite a las herramientas que han de servir


. para obtener la información considerada como necesaria para la
evaluación.

Instrumentos y técnicas de recogida de información:


• estructurados,
• semiestructurados o
• sin estructurar,

• Susceptibles de tratamientos cuantitativos o cualitativos según


el objeto.
• En todo caso, deben ser instrumentos válidos, fiables,
pertinentes, etc.
• Estas características técnicas son exigibles a cualquier
instrumento o técnica de evaluación.
• Debe darse una complementariedad y triangulación de
instrumentos.

13
14/09/2023

DIMENSIONES DE LA EVALUACIÓN DE PROGRAMAS

F) El evaluador: constituye un eje importante en el hecho evaluativo.


.
Las funciones de evaluación pueden desempeñarse por:
• Los implicados en el proceso formativo (evaluación interna –
autoevaluación).
• Los expertos (evaluación externa – heteroevaluación)

• Ambas tienen ventajas e inconvenientes.

• Pueden combinarse en la práctica y utilizarse como elemento de


complementariedad.

• Cada vez se percibe una mayor necesidad de capacitación


técnica para poder evaluar. El conocimiento de técnicas,
instrumentos, metodologías, etc. en aras de una pretendida
"objetividad" (intersubjetividad) es un requisito formativo para los
protagonistas de la evaluación.

DIMENSIONES DE LA EVALUACIÓN DE PROGRAMAS

G) El referente:

• Es la dimensión más diferenciadora de la evaluación.


• Constituye la fuente para el establecimiento de criterios e indicadores
de evaluación.
• Está conectado con el resto de las dimensiones.

En la evaluación de programas, no cabe duda que el referente debe pasar


por:
• la coherencia con la política formativa,
• la contextualización,
• los principios psicopedagógicos y socioeducativos que inspiran
el aprendizaje adulto, y
• la consideración de los participantes como elementos nucleares.

Facilita la definición de toda una amplia gama de indicadores para la


evaluación.

14
14/09/2023

(Adaptado de Tejada, 1991)

RELACIONES ENTRE FINALIDAD Y MOMENTO DE LA EVALUACIÓN


FINALIDAD MOMENTO OBJETIVOS DECISIONES A TOMAR
Diagnóstica. Inicial. • Identificar las características de • Admisión, orientación,
los participantes (intereses, establecimiento de grupos de
necesidades, expectativa). aprendizaje.
• Identificar las características del
contexto (posibilidades, • Adaptación-ajuste e
limitaciones, necesidades, etc.). implementación del programa.
• Valorar la pertinencia,
adecuación y viabilidad del
programa.

Formativa. Continua. • Mejorar las posibilidades • Adaptación de las acciones


personales de los participantes. socioeducativas (tiempos,
• Dar información sobre su recursos, motivación
evolución y progreso. estrategias, rol de los agentes,
• Identificar los puntos críticos en etc.).
el desarrollo del programa.
• Optimizar el programa en su
desarrollo.

Sumativa. Final. • Valorar la consecución de los • Promoción, certificación,


objetivos así como los cambios reconsideración de los
producidos, previstos o no. participantes.
• Verificar la valía de un programa
de cara a satisfacer las • Aceptación o rechazo del
necesidades previstas. programa.

(Fuente: Tejada, 1998).

15
14/09/2023

EVALUACIÓN DE LA EVALUABILIDAD

• La evaluación de la evaluabilidad es una tipología previa


que trata de aportar un juicio de valor para llevar a cabo
una evaluación de mayor envergadura.
• Tiene por objeto mejorar y reducir la incertidumbre sobre
la decisión misma de evaluar.
• El objetivo de la evaluabilidad es mejorar la toma de
decisiones, asegurar la buena adjudicación de recursos y
rendir cuentas sobre la decisión de evaluar.
• Debe entenderse como un pre-requisito de un proceso
evaluativo de más profundo y largo alcance.

EVALUACIÓN DE LA EVALUABILIDAD

• El interés de la evaluación de la evaluabilidad radica en que un


elevado porcentaje de las intervenciones o propuestas no son
evaluables, y ello se debe a diversos motivos:
Por problemas generados por la propia intervención o propuesta.
Por problemas de los administradores o gestores de la intervención o
propuesta.
Por la inadecuación entre el coste, los recursos, y el tiempo respecto a lo
que se pretende conseguir.
• La razón de ser de la evaluabilidad es que la evaluación es costosa,
requiere esfuerzos, energías y recursos, el evaluador debe procurar
que sea eficaz y lo más útil posible, por lo que la evaluabilidad se
plantea como garantía de la decisión a tomar.
• La evaluabilidad es una evaluación previa a otra evaluación, y no
previa a una propuesta o programa que se pretende implementar. La
evaluabilidad diagnostica sobre propuestas o programas ya
implementados. Se trata de una post-intervención y se considera
idónea cuando se va a requerir demasiado tiempo, esfuerzo y
recursos, especialmente antes de realizar una evaluación de
impactos o de coste-beneficio o cuando hay demasiadas dudas
sobre lo que se va a obtener.

16
14/09/2023

EVALUACIÓN DE LA EVALUABILIDAD

DEFINICIONES:
• “La evaluación de la evaluabilidad es un medio que nos
sirve para asegurar usos más prudentes con los escasos
medios humanos y materiales disponibles… (así como)
para ayudar con este tipo de pre-evaluación a conseguir
evaluaciones técnicamente más factibles que logren sus
objetivos con mayor probabilidad” (Rutman, 1980).
• “La evaluación de evaluabilidad no muestra sólo si un
programa puede ser significativamente evaluado
(admitiendo que todos los programas pueden serlo), sino
que contribuye a clarificar si la evaluación aportará
mejoras sobre el rendimiento del programa”. (Wholey,
1994) .

EVALUACIÓN DE LA EVALUABILIDAD
CARACTERÍSTICAS DE LA EVALUABILIDAD (Merino, 2007).
• Saca a la luz la calidad de la conceptualización de la propuesta en la
fase de planificación, analizando su diseño, necesidades y objetivos.
• Cuanto mayor rigor haya observado el diseñador de la propuesta en la fase
de planificación, más fácil será comprobar su evaluabilidad.
• Responde a una lógica sistemática de “abajo arriba”, que irá
reconstruyendo un proceso desde las acciones concretas de la propuesta y
sus resultados hasta su fundamento y objetivos.
• Verifica la existencia y la accesibilidad a la información necesaria, en
calidad y cantidad, que permitiría llevar a cabo la evaluación. Si no hay
datos suficientes o los que hay no resultan relevantes, la evaluabilidad
desaconsejaría la evaluación.
• Informa sobre la implicación y disposición del órgano gestor y
responsable frente a la posible evaluación, constatando sus resistencias o
colaboración. En definitiva, uno de los objetivos perseguidos con el análisis
de la evaluabilidad es crear un clima favorable, de cooperación e interacción
entre “evaluados y evaluadores” para facilitar la evaluación.
• Analiza la dotación de recursos con los que cuenta para la evaluación.

17
14/09/2023

EVALUACIÓN DE LA EVALUABILIDAD
LAS PREGUNTAS A LAS QUE DEBE DAR RESPUESTA SON:
1) En Primer lugar, cuestiones referentes a la propia
evaluación:
 ¿Merece la pena evaluar?
 ¿Cómo se podría analizar la propuesta?
 ¿Qué tipología de evaluación resultaría más conveniente?
 ¿Cuál sería el diseño más apropiado para evaluar la
propuesta?
 ¿Con qué técnicas e instrumentos conviene hacerlo?
2) En segundo lugar, aspectos relacionados con la propuesta:
 ¿Qué cosa era en su origen una propuesta y en qué se ha
convertido tras la implementación?
 ¿Cuáles eran las metas y objetivos perseguidos?
 ¿Cómo se alcanzan en la actualidad?.
 ¿Cuáles son los medios utilizados y cómo se utilizan?
 ¿Cuál es la teoría política subyacente a la propuesta?

META-EVALUACIÓN: CONCEPTO

Concepto desarrollado por primera vez por Michael Scriven, en 1969.

Se define como:

“La evaluación de las evaluaciones – indirectamente, la evaluación de los


evaluadores - y representa una responsabilidad ética y científica cuando
está de por medio el bienestar de otros. Puede y debe hacerse en primer
lugar por un evaluador(a) de su propio trabajo; no obstante que la
credibilidad puede ser pobre, los resultados son considerados como un
plus de la validación del proceso. Aun cuando los resultados de la auto-
evaluación no son confiables, es deseable el uso de evaluadores
independientes para realizar la meta-evaluación” (Scriven, 1991).

“Proceso que permite asegurar la calidad de los servicios evaluativos,


evitar o enfrentarse a las prácticas ilegales o a los servicios que no son de
interés publico, señalar el camino para el perfeccionamiento de la
profesión y promover una mayor comprensión de la empresa evaluativa”
(Stufflebeam, 1987).

18
14/09/2023

META-EVALUACIÓN: CARACTERES

Su objetivo es asegurar la calidad de los servicios evaluativos, evitar


enfrentarse a las prácticas ilegales y a los servicios que no son de interés
público, señalar el camino para el perfeccionamiento de la profesión y
promover una mayor comprensión de la empresa evaluativa (Stufflebeam,
Daniel. L, Shinkfield J. Anthony, 1987).

Se puede aplicar en cualquier momento de la evaluación, desde la


planificación de la misma y los métodos, hasta una evaluación completa
que requiera la opinión de evaluadores externos (Shadish, William (1998).

Es una forma de evaluación, su conceptualización debe ser coherente con


alguna conceptualización de la evaluación.

Investiga aquellas debilidades o deficiencias que han marcado a la


evaluación realizada. Debe tenerse en cuenta que la evaluación de los
procesos socioeducativos resulta, con frecuencia, un proceso complejo,
rodeado de grandes espacios de subjetividad.

META-EVALUACIÓN: FINALIDAD
La meta-evaluación cumple dos finalidades básicas (Stufflebeam, 1974):

•Servir a la toma de decisión y a la rendición de cuentas. La meta-evaluación


debe ser hecha proactivamente para proporcionar a tiempo las
recomendaciones relacionadas a cómo deben ser diseñados y conducidos los
estudios evaluativos.

•Servir a la necesidad del evaluador de ser responsable por su trabajo. Este


propósito requiere que la meta-evaluación sea conducida retroactivamente para
producir juicios públicos sobre el mérito del trabajo evaluativo culminado.

•La meta-evaluación que sirve a la toma de decisión debe ser llamada meta-
evaluación formativa.

•La meta-evaluación que sirve a la rendición de cuentas es sinónimo a la meta-


evaluación sumativa.

19
14/09/2023

META-EVALUACIÓN: TIPOLOGÍA

Bustelo María (2003) plantea diversas tipologías de meta-evaluación,


conforme a cuatro aspectos básicos:

El papel de la evaluación.

El contenido o la fase del programa evaluado.

El momento de la evaluación.

El agente que realiza la evaluación.

META-EVALUACIÓN: TIPOLOGÍA

Según el papel de la evaluación:

 Meta-evaluación formativa: cuando se usa como un instrumento


de cambio durante el proceso de la evaluación. Su propósito es
mejorar el diseño de la evaluación en curso.

 Meta-evaluación sumativa: cuando la función es recapitular el


proceso completo de la evaluación.

20
14/09/2023

META-EVALUACIÓN: TIPOLOGÍA
 Según el contenido o la fase del programa evaluado (diseño, proceso o
resultados):

 La meta-evaluación del diseño: análisis y valoración del plan y el diseño de


la evaluación, como fue concebido, sus propósitos, objetivos, coherencia
interna, contextualizaciòn, estrategias de implementación, etc. También debe
analizar el costo beneficio del proceso, las expectativas, la utilidad, la rendición
de cuentas, calendario de ejecución realista...

 La meta-evaluación de proceso: analiza la puesta en práctica de la


evaluación. Incluye el análisis de las dificultades en la implementación del
proceso, ajustes en el calendario de ejecución, adecuación a las necesidades
y efectividad de los equipos de trabajo.

 La meta-evaluación de los resultados: analiza tanto la información obtenida


como los resultados y efectos. La información obtenida son los resultados, la
información y la evidencia producida (hallazgos, interpretaciones, juicios, y
recomendaciones), que se encuentran en los informes de evaluación. La meta-
evaluación de los resultados debe al final ayudar a un mejor entendimiento del
proceso, a un aprendizaje por parte de los equipos, estando esto directamente
relacionado con la utilidad de los procesos.

META-EVALUACIÓN: TIPOLOGÍA

 Según el momento de la evaluación:

 Meta-evaluación ex- ante: antes de la implementación del proceso.

 Meta-evaluación ex –postfacto: durante el proceso o


inmediatamente finalizado.

21
14/09/2023

META-EVALUACIÓN: TIPOLOGÍA

 Según el agente que la realiza (interno o externo):

 Meta-evaluación interna: desarrollada por los evaluadores mismos.


Las mismas personas que se ocuparon de la evaluación, desarrollan
la meta-evaluación, siendo así responsables del control de la calidad
de los procesos de evaluación.

 Meta-evaluación externa: desarrollada por un agente externo que no


ha estado implicado en el proceso de evaluación. Esto le da más
credibilidad al proceso y un reconocimiento externo y consolidación
del mismo.

CARACTERES DE LA EVALUACIÓN Y DE LA META-EVALUACIÓN


EVALUACIÓN META-EVALUACIÓN
1. La evaluación es la valoración del mérito. Meta-evaluación significa la valoración o estimación del mérito del
empeño evaluativo.

2. La evaluación sirve a la toma de decisión y a la rendición La meta-evaluación debe proporcionar información proactiva de
de cuentas. soporte (o respaldo) a las decisiones que se toman en la conducción
del trabajo evaluativo y debe proporcionar información retroactiva
para ayudar a los evaluadores responsables de su trabajo evaluativo
anterior. Es decir, la metaevaluación debe ser formativa y sumativa.
3. La evaluación deben valorar la finalidad, diseños, La meta-evaluación debe evaluar la importancia de los objetivos de la
implementación y resultados. evaluación, la idoneidad de su diseño, la adecuación de la
implementación al diseño de la evaluación y la cualidad e importancia
de los resultados de la evaluación.
4. La evaluación debe proporcionar una información La meta-evaluación debe describir y juzgar el trabajo evaluativo,
descriptiva, crítica y además recomendaciones apropiadas. también debe recomendar cómo las evaluaciones pueden ser
perfeccionadas y cómo los hallazgos pueden ser usados
apropiadamente.
5. La evaluación debe servir a todas las personas, tanto La meta-evaluación debe servir a los evaluadores y a todas las
aquellas que están involucradas en ella como aquellas que personas que están interesadas en el trabajo de los evaluadores.
han sido afectadas por el programa.
6. La evaluación debe ser conducida por personas internas La meta-evaluación debe realizarse con carácter formativo, y a la vez
(evaluación formativa) y externas al programa (evaluación obtener juicios externos del valor global de las actividades evaluativas
sumativa). realizadas.
7. La evaluación involucra el proceso de esbozar los Los meta-evaluadores deben implementar tres pasos: determinar los
asuntos a los que se deben dirigir, el proceso de obtención asuntos específicos a que debe dirigirse la meta-evaluación; acopiar,
de la información necesaria y el uso de la información para organizar y analizar la información necesaria y finalmente emplear la
la toma de decisión y la rendición de cuentas. información obtenida en la toma de decisiones apropiadas y en la
rendición de cuentas.
8. La evaluación debe ser técnicamente adecuada, útil y La meta-evaluación debe satisfacer los mismos criterios.
efectiva.

22
14/09/2023

PAPEL DE LA META-EVALUACIÓN

La meta-evaluación debe investigar aquellas debilidades o deficiencias que pueda presentar la


evaluación realizada. Por ejemplo, se pueden relacionar las deficiencias con:

– La definición de los objetivos que se persiguen con la evaluación.


– La elección del momento para que se realice la evaluación.
– La duración o premura con que se realice la evaluación.
– La predeterminación de los parámetros a evaluar en la evaluación .
– El sistema de valoración que se utilice.
– La pertinencia del sistema de evaluación diseñado para que sea aplicado a todos los programas.
– La identificación del sistema de evaluación diseñado con lo que se entiende como patrón de calidad de los
programas .
– El cumplimiento por los evaluadores seleccionados con las aptitudes y actitudes establecidas para ejercer
como evaluadores: justicia, objetividad, honestidad, capacidad, etc.
– La organización del trabajo de los evaluadores.
– El nivel de participación de los interesados en el proceso de evaluación.
– El clima en el que se desarrolla la evaluación.
– El apoyo institucional para que el proceso de evaluación se lleve a cabo en las condiciones requeridas .
– Las técnicas empleadas por los evaluadores para la recogida de la información .
– La calidad de los documentos del programa presentados por los evaluadores.
– La suficiencia de medios y recursos con que se cuenta para la realización de la evaluación.
– La utilización que se hace de dichos recursos.
– La riqueza de la información aportada por las audiencias ( a través de encuestas, entrevistas…).
– La calidad del informe final presentado por los evaluadores.

ELEMENTOS DE EVALUACIÓN:CRITERIOS E INDICADORES


CRITERIOS INDICADORES
Pertinencia:
Adecuación de un programa con la política de formación y el Nivel de coherencia: relación entre los objetivos asignados y los
contexto de formación. objetivos propuestos.
Actualización:
Adecuación de los objetivos del programa y las necesidades Relación entre los objetivos propuestos y las necesidades
reales (sociales e individuales) detectadas.
Objetividad: Relación entre los objetivos asignados y contenidos
Adecuación a las leyes y principios científicos (selección y secuenciación).
Aplicabilidad:
Posibilidad de puesta en práctica de los objetivos propuestos Relación entre el programa y la inserción social o laboral.
Suficiencia:
Grado con que un programa satisface las necesidades Nivel de exhaustividad, relación entre los objetivos asignados y las
detectadas necesidades detectadas.
Eficacia: Relación entre los objetivos asignados y los objetivos
Nivel de logro de los objetivos asignados alcanzados.
Eficiencia: Relación entre los objetivos logrados y los recursos implicados
Grado de implicación de recursos humanos, materiales y (ratio formador/participante, hora/formador/participante, etc.).
funcionales
Comprensividad: Relación entre el nivel de entrada y el nivel de salida de un
Grado de optimización alcanzado programa.
Relevancia: Relación entre objetivos propuestos y necesidades sociales e
Grado de importancia del programa para cubrir las individuales (objetivos de formación-necesidades, expectativas,
necesidades individuales y sociales intereses, cambio laboral, polivalencia laboral, etc.).
Coherencia: Nivel de relación entre los distintos componentes de un programas
Grado de adecuación entre sí de distintos componentes- (necesidades, objetivos, contenidos, estrategias, recursos, sistema
elementos de un programa de evaluación).

(Fuente: Tejada, 1997: 55).

23
14/09/2023

ELEMENTOS DE EVALUACIÓN: ESTÁNDARES DE EVALUACIÓN


ESTÁNDARES DE EVALUACIÓN
CONCEPTO En el Manual EFMQ se definen como el “Resultado deseado de un proceso que se puede
medir mediante el uso de indicadores”. También puede definirse como las “Normas de
desempeño definidas para una actividad, un proceso, un producto o un servicio”.
FINALIDAD Determinar si todas las partes de una evaluación del proyecto, programa o plan están
diseñadas de forma adecuada y están funcionando al máximo nivel de calidad. Permiten
realizar evaluaciones exitosas y éticas.
FUNCIÓN Sintetizan toda una serie de requisitos que influyen y optimizan la validez de las evaluaciones.
Constituyen un instrumento-guía imprescindible para la práctica de la evaluación en el ámbito
educativo. Miden la efectividad global de las políticas o planes, pero también la de programas,
actividades o grupos de actividades unificados por un determinado objetivo general.
ESTABLECIMIENTO Los indicadores se desarrollan a través de otro “indicador” (bien cualitativo o bien
cuantitativo) que establece un estándar de medida. Estos indicadores se formulan a modo de
“estándares medibles” mediante algún método de recogida y análisis de datos,
DEFINICIÓN Un estándar garantiza la uniformidad en los métodos de recoger, representar, almacenar y
documentar la información. Es un nivel o referencia de calidad establecida por alguna
agencia, organismo de acreditación o institución. Los estándares de calidad o de excelencia
sobre instituciones o programas se establecen previamente y, de forma general, por una
agencia de acreditación.
AGENCIA DE La Agencia de referencia en evaluación educativa es el Joint Committee on Standards for
ACREDITACIÓN Educational Evaluation (Comité nombrado por la American Educational Research Association,
la American Psychological Association y el National Council on Measurement on Education).
Estos estándares son sometidos a un proceso permanente de actualización y revisión.

UTILIZACIÓN Se utilizan en todos los momentos de la evaluación (al diseñar la evaluación, al evaluar el
propio diseño y durante la implementación del mismo.

(Fuente: Comas Arnau, 2008).

TIPOS DE ESTÁNDARES DE EVALUACIÓN

Los estándares de evaluación se organizan en función de los requisitos


exigibles para la propia evaluación.

REQUISITOS PARA LA EVALUACIÓN


UTILIDAD Hay que asegurar que una evaluación satisfará las necesidades
de información práctica de los usuarios.
VIABILIDAD Hay que asegurar que una evaluación será realista, prudente,
diplomática y frugal.
DECORO Hay que asegurar que una evaluación es llevada a cabo de
manera legal, ética y con el conveniente respeto hacia el
bienestar de las personas involucradas en la evaluación, así
como de aquellas afectadas por los resultados de la misma.
PRECISIÓN Hay que asegurar que la evaluación revelará y expresará
información técnicamente adecuada sobre los rasgos que
determinan el mérito o valor del programa evaluado.

De acuerdo con estos requisitos se han identificado un total de 30


estándares, agrupados en cuatro categorías.

(Fuente: Comas Arnau, 2008).

24
14/09/2023

ELEMENTOS DE EVALUACIÓN: ESTÁNDARES DE EVALUACIÓN

TIPO DE ESTÁNDAR DESCRIPCIÓN


ESTÁNDARES DE UTILIDAD (7) La evaluación debe ayudar a las personas o grupos
interesados a que éstos tengan acceso a las informaciones
que necesitan para el desempeño de su actividad. Debe
ayudarles a identificar los defectos y virtudes de lo evaluado y
proponer soluciones a fin de mejorar el objeto que se evalúa.
ESTÁNDARES DE VIABILIDAD (3) Los procedimientos para llevar a cabo la evaluación no deben
ser excesivamente complicados y sí eficientes. Han de
garantizar que la evaluación se lleve a cabo de un modo
realista, prudente y diplomático, que se hayan ponderado todos
los puntos y tenido en cuenta los costes.
ESTÁNDARES DE PROPIEDAD O La evaluación debe estar basada en compromisos explícitos
DECORO (8) que aseguren la necesaria cooperación, la protección de los
derechos de las partes implicadas y la honradez de los
resultados, además debe proporcionar un informe equilibrado
que ponga de manifiesto tanto aciertos como errores del objeto
que se evalúa.
ESTÁNDARES DE PRECISIÓN (12) El objeto, su evolución y su contexto deben estar claramente
descritos. Han de garantizar que la evaluación presente y
transmita las informaciones técnicas adecuadas referentes al
programa objeto de evaluación, resaltando tanto los aspectos
positivos como negativos.

(Fuente: Comas Arnau, 2008).

ESTÁNDARES DE UTILIDAD

ESTÁNDAR DESCRIPCIÓN
U1 Identificación de los interesados. Debería identificarse a las personas implicadas o afectadas por la evaluación para
poder dar respuesta a sus necesidades.

U2 Credibilidad del evaluador. Las personas que llevan a cabo la evaluación han de ser dignas de confianza y
competentes como evaluadores, de modo que sus resultados tengan una credibilidad y
aceptación máxima.
U3 Foco y selección de la información. La información recogida debería seleccionarse en términos generales para responder a
cuestiones pertinentes del programa y a los intereses de los clientes y otros
interesados que se especifiquen.
U4 Identificación de valores. Deberían describirse cuidadosamente los enfoques, procedimientos y fundamentos
utilizados para interpretar los resultados de modo que queden claras las bases de los
juicios de valor.
U5 Claridad del informe. Los informes de evaluación deberían describir claramente el programa evaluado,
incluyendo el contexto y el propósito, procedimientos y resultados de la evaluación, de
modo que se proporcione información esencial y se entienda fácilmente.
U6 Oportunidad y difusión del informe. Deberían divulgarse los resultados provisionales significativos y los informes de
evaluación a los usuarios destinatarios, de manera que puedan utilizarlos en el
momento oportuno.
U7 Impacto de la evaluación. Las evaluaciones deberían ser planificadas, llevadas a cabo, e informar de ellas de
modo que fomenten su seguimiento por parte de los interesados, de manera que
aumente la probabilidad de que se utilice la evaluación.

(Fuente: Comas Arnau, 2008).

25
14/09/2023

ESTÁNDARES DE VIABILIDAD

ESTÁNDAR DESCRIPCIÓN
V1 Procedimientos prácticos. Los procedimientos de evaluación deberían ser prácticos para reducir al
mínimo las interrupciones y molestias mientras que se obtiene la información
necesaria.
V2 Viabilidad política. La evaluación debería planificarse y llevarse a cabo anticipando las diferentes
posiciones de los diversos grupos de interés, de manera que pueda lograrse su
cooperación y puedan evitarse o contrarrestarse los posibles intentos de
cualquiera de estos grupos para limitar las actividades de evaluación o para
sesgar o usar indebidamente los resultados.
V3 Eficacia de costos. La evaluación debería ser eficiente y producir informaciones con el suficiente
valor, de modo que puedan justificarse los recursos empleados.

(Fuente: Comas Arnau, 2008).

ESTÁNDARES DE PROPIEDAD O DECORO

ESTÁNDAR DESCRIPCIÓN
P1 Orientación hacia el servicio. Las evaluaciones deberían diseñarse para ayudar a las organizaciones a atender y
responder con eficacia a las necesidades de toda la variedad de participantes destinatarios.

P2 Acuerdos formales. Las obligaciones de las partes formales de una evaluación (qué debe hacerse, cómo, por
parte de quién, cuándo) deberían ser acordadas y redactadas de manera que las partes
estén obligadas a adherirse a todas las condiciones de acuerdo o renegociarlo formalmente.
P3 Derechos de las personas. Las evaluaciones deberían diseñarse y llevarse a cabo respetando y protegiendo los
derechos y el bienestar de las personas.
P4 Relaciones humanas. Los evaluadores deberán respetar la dignidad y el valor de las personas en sus
interacciones con otras personas relacionadas con la evaluación, de manera que los
participantes no estén amenazados ni resulten dañados.
P5 Evaluación completa y justa. La evaluación debería ser completa y justa en su examen y registro de los puntos fuertes y
débiles del programa evaluado, de modo que se puedan desarrollar los puntos fuertes y
atender a las áreas problemáticas.
P6 Revelación de los resultados. Las partes formales de una evaluación deberían asegurarse de que la totalidad de los
resultados de la evaluación, teniendo en cuenta las limitaciones pertinentes, resulten
accesibles a personas afectadas por la evaluación y a cualquier otra con derecho legal
reconocido a recibir los resultados.
P7 Conflicto de interés. Los conflictos de intereses deberían afrontarse abiertamente y de un modo honesto, de
modo que no comprometan los procesos y los resultados de la evaluación.

P8 Responsabilidad fiscal. La disposición y el gasto de recursos por parte del evaluador deberían llevarse a cabo
mediante procedimientos de rendición de cuentas acertadas y además debe ser prudente y
éticamente responsable de manera que los gastos sean apropiados y se responda de ellos.

(Fuente: Comas Arnau, 2008).

26
14/09/2023

ESTÁNDARES DE PRECISIÓN
ESTÁNDAR DESCRIPCIÓN
Pr1 Documentación del El programa evaluado debería ser descrito y documentado con claridad y precisión, de manera que se identifique
programa. claramente el programa.

Pr2 Análisis del contexto. Debería examinarse con el suficiente detalle el contexto en el que existe el programa, de modo que puedan
identificarse las posibles influencias sobre el programa.

Pr3 Propósitos y Debería realizarse un seguimiento y una descripción suficientemente detallada de los propósitos y procedimientos
procedimientos descritos. de la evaluación, de modo que puedan ser identificados y valorados.

Pr4 Fuentes de información Deberían describirse con el detalle suficiente las fuentes de información utilizadas en la evaluación de un programa,
defendibles. de modo que pueda valorarse la adecuación de la información.
Pr5 Información válida. Los procedimientos de recogida de información deberían ser elegidos o elaborados y posteriormente
implementados de modo que aseguren que la interpretación a la que se llegue es válida para el uso pretendido.
Pr6 Información fiable. Los procedimientos de recogida de información deberían ser elegidos o elaborados y posteriormente utilizados de
modo que aseguren que la información obtenida es suficientemente fiable para el uso pretendido.
Pr7 Información sistemática. La información recogida, procesada y de la que se informa en una evaluación debería ser revisada
sistemáticamente y todos los errores hallados deberían ser corregidos.
Pr8 Análisis de la La información cuantitativa de una evaluación debería ser analizada de un modo apropiado y sistemático para que
información cuantitativa. se responda eficazmente a las preguntas de la evaluación.
Pr9 Análisis de la La información cualitativa de una evaluación debería se analizada de un modo apropiado y sistemático para que se
información cualitativa. responda eficazmente a las preguntas de la evaluación.

Pr10 Conclusiones Las conclusiones a las que se llegue en una evaluación deberían ser justificadas explícitamente, de modo que los
justificadas. interesados puedan valorarlas.
Pr11 Informes imparciales. Los procedimientos seguidos para la elaboración del informe deben estar protegidos contra la distorsión causada
por los sentimientos personales y el sesgo de cualquier parte en la evaluación, de manera que los informes de la
evaluación reflejen con justicia los informes de la evaluación.

Pr12 Metaevaluación. Debería evaluarse la propia evaluación, formativa y sumativa, en referencia a estos u otros estándares pertinentes,
de manera que se guíe adecuadamente su proceso y, además, los interesados puedan examinar detalladamente
sus puntos fuertes y débiles tras su conclusión.

(Fuente: Comas Arnau, 2008).

27

También podría gustarte