EVALUACIÓN E INVESTIGACIÓN EVALUATIVA (Ramón Pérez Juste, 2005)

- Programa educativo (def): un plan sistemático de actuación al servicio de metas

pedagógicamente valiosas
- Evaluación de programas educativos:
En sentido restrictivo y limitado: autoevaluación que hacen los profesores y los
profesionales responsables de sus programas
Acepción más profunda y rigurosa: investigación evaluativa
- La evaluación es la principal estrategia o herramienta para conseguir la mejora continua
de la educación. Eso si, si queremos que los profesores evalúen sus programas, hay que
facilitarles una metodología sencilla, sino, directamente no evaluarán.

1. EVALUACIÓN. CONCEPTO Y FUNCIONES DE LA EVALUACIÓN PEDAGÓGICA. UNA

CONCEPCIÓN INTEGRAL, INTEGRADA E INTEGRADORA:

- ¿Para qué se evalúa? Para constatar hasta qué punto se han alcanzado los objetivos
planteados
- Educación integral: el resultado de un proceso sistemático e intencional al servicio de unos
objetivos que confluyen en una finalidad general, unificadora y armonizadora de todos ellos. La
educación integral es mucho más que la mera transmisión de conocimientos. Abarca educar en
todas las dimensiones humanas para que los jóvenes puedan enfrentarse a los desafíos que les
esperan con posibilidad de tener éxito: en las relaciones familiares, en las relaciones sociales, con
las amistades, en su trabajo, en el ocio, etc.
- Evolución del concepto de evaluación:
Al principio la evaluación la realizaban los que tenían el poder. Evaluaban (y se sigue y se
debe seguir haciendo) para seleccionar personal, para calificar el aprendizaje alcanzado,
etc. Al fin y al cabo evaluar para controlar. Se ha evaluado de forma discontinua cuando el
aprendizaje, por ejemplo, es claramente un proceso continuo, y muchas veces sin
explicitar desde el principio con qué criterios se iba a evaluar.
El salto cualitativo de la evaluación: ocurre cuando se reconoce la función de mejora (o
formativa) de la evaluación (antes solo servía para controlar, ahora, además de para
controlar sirve también para generar mejoras). Lógico, porque la educación lo que quiere
es mejorar o perfeccionar las personas. La función de mejora implica:
o La ampliación de los objetos evaluados: ya no se evalúa solo el aprendizaje
alcanzado, sino que se evalúa todo: los procesos, los medios, los profesores, etc.
o La ampliación de los “sujetos” o evaluadores: antes evaluaba solo el que tenía
poder, ahora evalúa todo aquel que tenga algo que aportar para la mejora. Incluso
los alumnos, aunque sea asunto espinoso. Cuando transmiten como perciben la
realidad, como ven ellos a su profesor, su valoración puede ser muy útil aunque
 también puede alterar el comportamiento del docente. La autoevaluación
(evaluación realizada por uno mismo) y la coevaluación (evaluación realizada
entre pares) son también muy formativas para los alumnos, ellos tb tiene que
aprender a evaluar.
o La ampliación de momentos: ya no se evalúa solo al final de algo, se evalúa
también durante (por eso se evalúan los procesos). Se sobreentiende que si
mejoras los procesos acabas mejorando los productos o resultados. Hablamos de
la evaluación continua, que permita tomar decisiones (correctivas, potenciadoras o
preventivas) en el momento.
o La continuidad frente a la discontinuidad: ¿si los procesos educativos son
continuos, porqué evaluar de forma discontinua? Debe realizarse durante, en
paralelo al aprendizaje

- Repercusiones para la evaluación educativa:

Evaluación integral: del mismo modo que la educación tiene como objetivo la formación
integral de las personas, la evaluación debe ser integral en el sentido de que debe evaluar
todos los aspectos de la educación, sin que consideremos que algunos objetivos son más
importantes que otros. El riesgo de evaluar sólo algunos de los objetivos es que acabamos
enfocando nuestra actividad docente hacia la consecución de aquellos objetivos que son
evaluados en detrimento de los demás. Por lo tanto además de evaluar los objetivos
cognitivos y cognoscitivos no debemos dejar de lado los objetivos afectivos, sociales,
morales, etc.

Evaluación integrada: debido al carácter formativo de la evaluación, es una actividad que

queda perfectamente integrada en la educación, actividad formadora por excelencia. Se
trata por tanto de un medio más al servicio de la educación para conseguir los objetivos
del programa.

Evaluación integradora: la evaluación tiene carácter integrador (o desintegrador, según

se use). Los alumnos aprenden lo que se va a evaluar, y esas pruebas de evaluación son
las que al final determinan el contenido del currículo, ya que se supone que el profesor
evalúa aquello que considera más importante, y así lo entienden también los alumnos.
Los criterios de evaluación se convierten al final en los propios objetivos de la educación.

2
- Nuestro concepto de evaluación:

Tanto en su función de control como en el de mejora, aunque con el de mejora hay que ser más
exigente…no cualquier tipo de información va a permitir tomar decisiones de mejora…

FUNCIÓN ESENCIAL DE LA EVALUACIÓN: LA MEJORA DE LA EDUCACIÓN

MOMENTOS ELEMENTOS
PREVIO - Los objetivos: del objeto evaluado + del propio
sistema de evaluación
NÚCLEO DE EVALUACIÓN - Recogida de información
- Valoración de la información: criterios + referencias
- Toma de decisiones orientadas a la mejora (planes
de mejora)
POSTERIOR - Seguimiento de los planes de mejora

EN EL MOMENTO PREVIO: para que la evaluación sea de calidad tiene que ser coherente y
resultar adecuada a los objetivos que queremos evaluar (ya sean los objetivos de un programa
educativo, del aprendizaje de los alumnos, etc.). Ojo, eso no quiere decir que a su vez esos
objetivos sean de calidad….eso ya es otra cosa!

EN EL MOMENTO POSTERIOR: los planes de mejora que se derivan de las evaluaciones

necesitan su tiempo para dar sus frutos..En ese tiempo hay que hacer un seguimiento del plan
puesto que puede que: a) estuviera mal diseñado y haya que mejorarlo, b) estuviera bien
diseñado pero no haya resultado eficaz porque ha surgido un imprevisto, y sea necesario
modificarlo. Si no hacemos un seguimiento no nos daremos cuenta de todas estas cosas y el
esfuerzo habrá sido inútil.

NÚCLEO DE LA EVALUACIÓN: el núcleo lo integran los siguientes 3 elementos

(A) La recogida de información: una buena información son los cimientos para una
buena evaluación. Se debe recoger información sobre todos los tipos de objetivos, no solo
de algunos. No significa que haya que evaluarlo todo, sino que todos los tipos de objetivos
son potencialmente evaluables. Debe haber coherencia y armonía entre los objetivos a
evaluar (por ejemplo expresión oral) y la técnica empleada para recoger la información (no
podrás hacer un test, pero si un examen oral o una presentación oral de un tema, etc.). La
información no solo se recoge mediante pruebas, puede hacerse también mediante: la
observación, las actividades de aula, análisis de trabajo que hayan hecho los alumnos,
preguntas/intervenciones en clase, etc.

(B) La valoración de la información: la evaluación implica la valoración de la información

recogida (el examen en si mismo no es evaluación si no se corrige y se le da un valor de
acuerdo con criterios prefijados).Así, para valorar hacen falta unos criterios y referencias.
Los criterios siempre deben fijarse de antemano y los alumnos deben conocerlos (si un

3
 trabajo va a valer solo el 10% de la nota final, que los alumnos lo sepan para que calculen
cuanto esfuerzo y tiempo dedicar a ese trabajo). Los criterios ayudan a valorar más
objetivamente la información recogida (ejemplo de profesores que valoran una misma
redacción entre 3 y 9 por falta de criterios claros), mientras que las referencias hacen
posibles juicios globales sobre la realidad evaluada (23 puntos…de 25? De 50?, etc.).
Existen 3 tipos de referencias:

o Referencia normativa: es relativa (cada uno se sitúa respecto a los demás). Entre
los 5 primeros, en el 25% inferior de la tabla, etc.

o Referencia criterial: es absoluta, el profesor establece un criterio y se llega o no

se llega

o Referencia personalizada: cuando se tienen en cuenta las características

personales y circunstancias del alumno en concreto (se puede evaluar si progresa
con respecto a situaciones anteriores, si ha alcanzado todos los logros que podía
teniendo en cuenta sus capacidades y limitaciones, etc.). En secundaria puede
utilizarse, pero con carácter complementario, no exclusivo. Cuando en lugar de un
alumno se evalúa un centro, se denomina referencia idiosincrática, porque tiene en
cuenta las peculiaridades, contexto, etc. del centro. Lo que se valora es si el centro
ha mejorado comparado con situaciones anteriores.

(C) La toma de decisiones: la evaluación no puede quedar en un mero juicio de valor

(ejemplo experto en joyas) sino que hay que tomar decisiones y proponer acciones
pedagógicas (ejemplo del médico que te dice lo que tienes y además te pone un
tratamiento). La función de un profesor no es simplemente juzgar, sino educar, contribuir a
la mejora de sus alumnos, y para eso tiene que tomar decisiones y proponer planes de
acción.

- Funciones de la evaluación:
Sumativa: los profesores la realizan con mucha frecuencia, porque la sociedad les otorga
el papel de tener que dar fe de los niveles de aprendizaje alcanzados por los alumnos, al
final el estado y la sociedad en general hemos invertido dinero en ello y exigimos que se
nos informe de los resultados (las notas…) (para la selección, certificación y rendición de
cuentas)
Formativa: la función principal de la evaluación pedagógica, esta es la propia del
profesorado (para la mejora)
Sociopolítica (para motivar y ganar apoyo público)
Administrativa (para ejercer la autoridad)

4
2. EL OBJETO DE LA EVALUACIÓN: DE LA EVALUACIÓN DEL APRENDIZAJE A LA
EVALUACIÓN DEL PROFESORADO, LOS PROGRAMAS Y LOS CENTROS EDUCATIVOS

- EL OBJETO A EVALUAR:
¿Qué objetos evaluar?: se deben evaluar todo tipo de objetivos educativos, no solo
algunos, la ley así lo recoge y tb los propios centros educativos. Además de
conocimientos, evaluar también hábitos, destrezas, habilidades, etc. que inciden en
aspectos sociales o emocionales, en las relaciones con los demás, en el trabajo, en el
ocio, etc. Si no lo hacemos así los alumnos pensarán que solo son importantes los
objetivos que se evalúan y solo se esforzarán por alcanzar estos y no el resto.
¿Sólo alumnos?: el rendimiento escolar no depende solo de la inteligencia del alumno,
influye la familia, los amigos, los medios de comunicación, la sociedad y también el
profesor. Si influyen, significa que si los mejoramos podremos ayudar a evitar el fracaso es
escolar, por tanto, todos estos factores que influyen tb hay que evaluarlos.

Y una contradicción…el profesor tiene el poder de evaluar, pero no asume

responsabilidades, es decir, no propone mejoras! Eso no es justo. Hay que evaluar tb a los
profesores para que ellos mismos puedan mejorar su práctica docente.

- AMPLIACIÓN DEL OBJETO DE EVALUACIÓN:

No hay que evaluar solo el aprendizaje de los alumnos, hay que evaluar mucho más…

El profesorado como objeto de evaluación: el talante del profesor, su actitud, la ilusión y

ganas que le ponga a la tarea docente, su capacidad de empatía, sus problemas
personales, etc. afecta a los resultados de sus alumnos. Por lo tanto, el profesor debe ser
objeto de evaluación.
La evaluación de programas: los profesores integran en los programas los objetivos, los
contenidos, las actividades, etc. que llevarán a cabo en el aula. El objetivo de la evaluación
de programas es distinto al de la investigación evaluativa. Si sometemos los programas a
evaluación para mejorarlos, estaremos mejorando también la enseñanza y en última
instancia el aprendizaje, además de la actividad profesional del propio docente.

La evaluación de centros educativos: se evalúan los centros educativos con la vista

puesta en las “escuelas eficaces”. Vienen a decir que el rendimiento del alumno depende
de mucho más que de su inteligencia o incluso de su relación con el profesor, depende
mucho también: del clima del aula, etc. El centro escolar como tal, en su conjunto y porque
ofrece un proyecto común, debe implicarse activamente en intentar mejorar los resultados
de sus alumnos y por tanto, también debe ser evaluado (para que pueda mejorar).

5
Problemas para llevar a cabo las evaluaciones:

Los profesores tienen que recibir una formación específica para ser capaces de llevar a
cabo evaluaciones de calidad
Los modelos de evaluación tienen que ser sencillos, para que los profesores puedan
aplicarlos con facilidad y puedan seguir centrados en su cometido principal que es educar
a sus alumnos. Dedicarle el tiempo justo, ni más ni menos.

- EL PROGRAMA COMO OBJETO DE EVALUACIÓN:

Un programa es un plan de acción, es mucho más que un conjunto de temas de aprendizaje o

actividades. El programa da un sentido a esos temas a través de los objetivos, y además
contempla unos medios para alcanzar esos objetivos (actividades, recursos, etc.) y además
incorpora algún sistema de evaluación.

Un programa responde a demandas específicas para satisfacer las propias necesidades o a

carencias convertidas en necesidades por responsables de la comunidad.

Los programas son además muy complejos: se implican muchas personas, se tarda en satisfacer
la demanda, etc. suelen ser metas a largo plazo.

Por todas estas razones, los programas deben incluir su propio programa de evaluación:
identificar que objetivos no se alcanzan y porque, para tratar de alcanzarlos.

3. INFORMACIÓN: TÉCNICAS E INSTRUMENTOS

- INFORMACIÓN Y DATOS EN EL MARCO DE LA EVALUCIÓN:
Que el sistema de evaluación sea de calidad (armonía y coherencia entre los objetivos educativos
y el sistema de evaluación) no quiere decir que los objetivos que estamos evaluando tb lo sean.
Hay varios problemas que tendremos que superar:

Calidad de los objetivos (que tendremos que valorar…): los objetivos de los
programas tb hay que evaluarlos. ¿Quién tiene información acerca de la calidad de los
objetivos de los programas? Personas expertas del ámbito específico del programa y los
destinatarios de esos programas (el programa les tiene que interesar y tiene que serles de
utilidad). Ellas son las que tienen capacidad para analizar la calidad de los objetivos (que
estén bien formulados para los que tienen que aplicar el programa y para los destinatarios
del mismo).
Diversidad y complejidad de los objetivos de los programas educativos: los objetivos
de los programas educativos se caracterizan por ser diversos y complejos. Esto hay que
tenerlo en cuenta a la hora de recoger la información. Y no podemos olvidar que los
objetivos están dirigidos a personas. Son complejos porque muchas veces el evaluador no

6
 puede llegar a ellos directamente porque son procesos internos que ocurren en los sujetos,
y el evaluador solo tendrá ciertas manifestaciones externas de esos procesos.
De los objetivos a la información: hay objetivos de los que es relativamente fácil obtener
información acerca de su calidad, su implementación o nivel de logro (reducir el consumo
de tabaco a la mitad). En otros sin embargo, es mucho más complicado (respetar la
naturales, tener hábitos de vida saludable…¿cómo saber hasta que punto se logran o no
en nuestros alumnos? ¿con qué instrumento medirlo?) De este tipo de objetivos solo
podemos tener evidencias indirectas. A veces otras personas tendrán que darnos esa
información, o el evaluador tendrá que preguntar a los propios destinatarios del programa.
La información obtenida tiene que caracterizarse por su fiabilidad y su validez.
Planificación de la recogida de la información: dependiendo de las características de la
evaluación se podrá recoger información en un único momento o en momentos diferentes.
Hay que establecer: quién recogerá la información, cuándo, con que técnicas e
instrumentos, cómo la registrará y qué tipo de análisis se llevará a cabo con ella.

- TÉCNICAS PARA LA RECOGIDA DE INFORMACIÓN:

Generalmente la información que hay que evaluar hay que entresacarla, captarla de allí donde se
encuentre, producirla y para eso hace falta aplicar ciertas técnicas que en función del tipo de
información serán también diferentes. Estas técnicas nos permitirán medir y cuantificar la
información:

Técnicas de observación: la información se obtiene prestando atención a hechos o

comportamientos, tanto provocados como esperados o casuales. Esta técnica tiene preferencia
sobre otras como las opiniones o las encuestas porque la información se recoge de primera
mano. Ahora bien, se debe tener cuidado porque los hechos causales pueden llevar a
conclusiones no válidas. Por tanto la observación debe ser intencional, sistemática y
planificada. Es decir, “mirar con conocimiento de causa”. Cuando algo no es observable
directamente (la solidaridad, el respeto, etc.) observaremos evidencias y la información
recogida se considerará un indicio del hecho no observable directamente. Esta técnica puede
ser usada en distintos momentos de la evaluación.

Técnicas de análisis: se aplican cuando la información que necesita el evaluador se

encuentra en algún documento (actas, expedientes, filmaciones, etc.). A veces es un proceso
fácil (extraer las notas de un expediente académico) pero otras veces hay que interpretar
sentimientos, valores, problemas, etc. a partir de un dibujo o de una redacción. En este caso la
extracción de información resulta bastante más complicada, pero se puede obtener, lo que
probablemente no ocurriría con un cuestionario o una entrevista.

Técnicas de encuesta: se trata de la técnica más utilizada ya que permite recoger mucha
información de mucha gente y además se analiza y trata con facilidad. De hecho las encuestas

7
 donde se marcan opciones dadas por el evaluador son corregidas por lectura óptica teniendo
los resultados (la información) al momento. Como toda técnica también tiene sus limitaciones,
en concreto: a veces el número de respuestas es insuficiente resultando la muestra no
representativa (no se puede obligar a nadie a contestar una encuesta) y la posible falta de
sinceridad en las respuestas de los encuestados.

Técnicas de consulta: se trata de obtener la información preguntando a los que consideramos

expertos en la materia. Su opinión no será suficiente por si mismo pero pueden ayudarnos a
diseñar el programa, a ponerlo en marcha e implementarlo, a analizar la información, etc.

Técnicas de prueba: son muy útiles cuando se trata de evaluar la adquisición de un

conocimiento, de una habilidad, de un hábito, etc., aspectos que pueden perfectamente ser el
objetivo de un programa. Las pruebas son eficaces porque nos dan evidencias de los objetivos
que queremos evaluar (una prueba que nos permita evaluar si un alumno ha aprendido a
sumar o no, por ejemplo)

Lógicamente, todas estas técnicas pueden ser complementarias y es habitual la combinación de

técnicas que aportan datos objetivos (pruebas) con otras que aportan información más subjetiva
(entrevistas, cuestionarios, observación).

- LOS INSTRUMENTOS DE RECOGIDA DE INFORMACIÓN:

En cuanto a los instrumentos, la observación puede valerse de listas, escalas y guiones de
observación; las encuestas de los cuestionarios e inventarios; y las pruebas de las pruebas
objetivas y los tests tipificados.

4. CRITERIOS Y REFERENCIAS PARA EVALUAR

- VALORACIÓN DE LA INFORMACIÓN:

Importancia de los criterios y referencias:

- Criterio (def): la norma que nos damos para juzgar algo. Antes de evaluar un programa es
necesario fijarlos de forma precisa y clara puesto que una misma realidad puede ser valorada
desde distintos puntos de vista.
- Referencia (def): aquello con lo que ponemos en relación a la realidad evaluada.
- LOS CRITERIOS:
Para poder evaluar la información recogida primero tenemos que aplicar una serie de criterios, es
decir, tenemos que establecer con precisión y claridad en base a qué juzgaremos esa información
o en base a qué le daremos un valor determinado u otro. Todos los aspectos que se enumeran a
continuación exigen el establecimiento de criterios para su valoración:
Las necesidades: las necesidades dan lugar a la propuesta de programas por lo que es
necesario analizarlas y evaluarlas. Si la carencia es objetiva (se carece de algo o no se carece),

8
cuando hay un grupo de personas que siente una carencia como propia ésta se convierte en una
necesidad (subjetiva). Las autoridades deberán decidir qué programas son “necesarios” y cuales
no en función de las necesidades básicas de los seres humanos y de los recursos que tengan
disponibles. El criterio principal para valorar la necesidad de un programa es su pertinencia
entendida como el grado en que da respuesta a las necesidades de las personas a las que va
dirigido.
Los objetivos: los objetivos deben evaluarse desde las siguientes 3 perspectivas y
atendiendo a los criterios especificados:
o Punto de vista intrínseco: valiosidad (calidad, aporte a sus destinatarios, tanto
directos como indirectos)
o Punto de vista extrínseco: suficiencia (para responder a las necesidades),
adecuación (a las características de las necesidades), interés, utilidad y viabilidad
(posibilidad razonable de alcanzarlos)
o En cuanto a su formulación: claridad, precisión y evaluabilidad
El programa: el plan de acción (conjunto de medios y recursos al servicio de unos
objetivos) también debe ser evaluado, en función de los objetivos para los que haya sido
diseñado. Los medios y recursos deben ser suficientes y adecuados en relación a los
objetivos. Las actividades en concreto deben ser además interesantes y motivadoras y el
clima facilitador.
La implantación e implementación del programa: la implementación del programa
puede valorarse utilizando los criterios de: grado de cumplimiento, eficacia parcial y grado
de satisfacción de las partes implicadas. Es muy importante evaluar el proceso, por si
hubiera que hacer cambios o mejoras.
Los resultados del programa: un programa se diseña para alcanzar unos resultados, por
tanto, el principal criterio es el de eficacia. Pero ¿en qué grado tienen que haberse
alcanzado los resultados? En el diseño del programa deberemos haber establecido un
nivel de logro X que nos permitirá hablar o no de eficacia. Otros criterios son: eficiencia,
efectividad, satisfacción de los destinatarios e impacto del programa.
Las nuevas ediciones del programa: en aquellos programas que se aplican más de una
vez (a distintos destinatarios, por ejemplo) se debe institucionalizar la evaluación.

- LAS REFERENCIAS: sirven para emitir valoraciones globales solo los programas. Son de 3
tipos:
Normativa: en referencia a otros, problemática porque es difícil encontrar 2 programas que
tengan los mismos objetivos, además es difícil unificar las conclusiones parciales derivadas
de los distintos objetivos de un programa en un único valor global)

9
 Criterial: absoluta en base a un criterio prefijado. Pedagógicamente la más adecuada. En
el programa se habrán establecido para cada objetivo concreto que resultados se quieren
alcanzar, se trata pues de comprobarlo y ver si el programa ha tenido éxito.
Idiosincrática (para las personas era personalizada). Adecuada cuando un programa se
repite varias veces, porque se evalúa si han mejorado los resultados respecto a ediciones
anteriores.
Las referencias criterial e idiosincrática son perfectamente compatibles.

5. MODELOS Y METODOLOGÍAS PARA LA EVALUACIÓN

- Configuración de propuestas o modelos:
Según las funciones de la evaluación:
o Formativa: suelen ser evaluaciones internas
o Sumativa: suelen ser evaluaciones externas (expertos y/o administración,
inspección)
o Modelos mixtos (formativa+sumativa): la evaluación orientada al control debe
servir tb para mejorar. Evaluadores internos y externos discuten y establecen los
puntos fuertes y débiles del programa
La realidad es que hay muy pocos expertos bien preparados para evaluar y que hay muchos
programas para evaluar y además duran mucho, por eso: el futuro de las evaluaciones son las
evaluaciones internas.

Según la amplitud del objeto evaluado: nosotros hablamos de programas…

o Evaluación global: considera cada aspecto evaluada en sus relaciones con los
demás (ventaja). Por el contrario, una evaluación es tan ambiciosa que al final no
se puede profundizar en la información que se recoge. Tienes dos opciones: o
evalúas globalmente solo una parte del programa, o evalúas globalmente el
programa la primera vez y en evaluaciones posteriores solo evalúas globalmente
los aspectos que se han mejorado (porque se consideraban puntos débiles)
o Evaluación parcial: una so
¿De qué depende que se escoja una u otra? De los medios, recursos y tiempo disponible. La
evaluación tiene que consumir un tiempo razonable, no más, no puede quitar tiempo para que los
profesores sigan ejerciendo su función: educar a sus alumnos

Según el enfoque metodológico: la metodología es el modo en que se enfoca la manera

de realizar la investigación (aunque hay discrepancias entre autores con la def)
o Evaluación cuantitativa: adecuado cuando se quiere valorar la eficacia de un
programa, los efectos se asignan a causas concretas. A menudo hay que valorar
indicadores que permiten comparar unos indicadores con otros

10
 o Evaluación cualitativa: ayuda a poner de relieve apreciaciones del personal
implicado, aspectos que no pueden ser captados por los instrumentos
estandarizados de recogida de información. Hace que los nºs no sean “tan fríos”.
Desventaja: a veces tienes en cuenta elucubraciones de la gente…y tomas
decisiones en base a información totalmente irrelevante
o Modelo mixto (cuantitativo+cualitativo): es la opción más razonable porque: a) un
programa sirve a muchos objetivos diferentes, y cada tipo de objetivo requiere de
una metodología de evaluación; b) para los humanos las percepciones e
interpretaciones subjetivas de los hechos son muy importantes (cualitativo); c) los
destinatarios de los programas son muy diversos, es necesario constatar y si se
puede integrar la opinión de todos

Según la utilización de la evaluación: la información es poder. A veces las evaluaciones

se usan correctamente, con criterios éticos, pero otras no. Si los resultados del programa
son contrarios a los intereses de los responsables del mismo, puede que oculten parte de
la información, en última instancia los destinatarios habrán sido de alguna manera
manipulados.
- Principales modelos evaluativos: cronológicamente ordenados…
Modelos evaluativos basados en la eficacia de los programas: estos fueron los primeros
que salieron.
o Modelo de Ralph Tyler: centrado en medir la eficacia los programas, es decir, en
que grado se logran o no sus objetivos Es decir, qué era lo que queríamos lograr y
qué hemos logrado.
Identificación de las metas u objetivos
Operativización de los objetivos (traducirlos a comportamientos
observables)
Identificar situaciones donde se pueda ver si el objetivo se ha logrado o no
Seleccionar el instrumento que nos permitirá comprobar si el objetivo se
logra o no
Compara los resultados de logro con los objetivos: ¿se ha cumplido?
Criticado por: a) no tener en cuenta los procesos + b) los objetivos más complejos no se pueden
operativizar (fallo de todos los modelos evaluativos, no solo este) + c) muy centrado en los
objetivos explícitos dejando de lado el currículo oculto.
o Propuestas experimentales: proponen la realización de estudios experimentales
que permitan garantizar todo lo razonablemente bien que se pueda la eficacia general de un
programa (en comparación con otros programas y siempre que lo implementemos). Pretenden de
alguna manera demostrar la validez interna de los resultados, pero la realidad educativo “de

11
campo” que tenemos que evaluar es quizás demasiado compleja como para permitir tal grado de
control.
Modelos evaluativos orientados a proceso: surgieron de la crítica a los anteriores. Son
especialmente adecuados para cuando un programa no ha sido eficaz, ya que ayuda a detectar
problemas en el proceso de implementación que, mediante las mejoras pertinentes, pueden
mejorar la eficacia del programa. No sustituye a la evaluación de la eficacia sino que la
complementa. Es importante que un programa tenga éxito, pero mucho más saber a qué se ha
debido ese éxito.

Modelos complejos: además de la eficacia y el proceso de los modelos anteriores tienen

en cuenta también otros factores externos como la adecuación del programa a los destinatarios, la
disponibilidad del personal, efectos no planeados, etc. que aunque el programa sea bueno
técnicamente pueden hacer que no funcione como uno quisiera. Dentro de este tipo de modelo
cabrían:
o Propuesta de Stake:
o Modelo CIPP (Stufflebeam):
o Propuesta de R. Pérez Juste:

Cualitativos: basados en la evaluación iluminativa (se le otorga gran importancia al

contexto en el que se desarrolla el programa), defensores del paradigma cualitativo, justo al
contrario de Tyler más en línea con el cuantitativo.

- Problemas pendientes:
Continuamente hay que estar tomando decisiones al respecto de…
La existencia de expertos: se acude a ellos en las evaluaciones externas. La PECU (Plan
de Evaluación de la Calidad de las Universidades) entiende que primero se debe hacer una
autoevaluación, y después una evaluación externa por externos (inspección), por lo que asume
que la figura de experto es necesaria. Problema: es España no hay tantos expertos…y si los
“expertos” no están bien preparados socorro las evaluaciones que pueden hacer y, lo que es peor,
las consecuencias derivadas…
La factibilidad: ojo con no querer ser demasiado perfeccionista…Los expertos tienden a
proponer evoluciones muy complejas y costosas (recursos, tiempo y personal). Hay que buscar un
equilibrio (¿eficiencia?). Si la evaluación es factible serán muchos los que se animarán a hacer
autoevaluaciones, de lo contrario….será difícil que siquiera lo intenten.
¿Juicios expertos o juicios democráticos?: la evaluación debe ser participativa e
intentar la complementariedad metodológica pero…¿Quién toma al final las decisiones? Lo ideal
sería que se hiciera en sesiones de evaluación (dinámica de grupos), pero a falta de consenso las
decisiones las debería tomar el responsable de su gobierno.

12
 Los planteamientos éticos: la independencia profesional y el comportamiento ético de los
evaluadores es fundamental (sobre todo si es un experto contratado). Son asalariados y tienen
que elegir entre satisfacer a su patrón (a costa de mentir u ocultar información, incluso) o ser
honrado.
La comparabilidad de los datos: comparar los resultados de diferentes programas es
problemático pero parece que la globalización nos empuja irremediablemente a ello. Es
problemático porque tanto en el primero como en el segundo nivel de decisión curricular, las
CCAA y los centros educativos, respectivamente pueden concretar el curriculum. ¿Cómo compara
un colegio de Irun con otro de Madrid? El grado de autonomía, entre otros, dificulta la
comparación. Posible solución (parcial, eso si): si la evaluación se orienta a la mejora, tomar como
referencia los datos de la propia institución y ver si ésta se supera, avanza, mejora…respecto a
ella misma. Y combinarlo con una referencia criterial que establezca el propio centro: hasta donde
tienen que llegar para considerar el programa eficiente, efectivo, con qué resultado se darían por
satisfechos, etc.

6. EVALUACIÓN Y MEJORA

- Precisiones conceptuales:
Mejorar (def): hacer una cosa mejor de lo que era, y superarla
La mejora de los resultados es la meta a lograr, pero ¿cómo lo conseguiremos? Optimizando la
técnica, el control, la gestión, la coordinación (entre los profesores, profesores-familia…) etc. Pero
para poder optimizar un sistema primero se ha tenido que detectar que constituye un punto débil.
Cuando decimos que hemos “mejorado” es siempre porque tenemos en mente alguna referencia,
lo estamos comparado con algo que era peor. Es tan difícil y complejo llevar a cabo una
evaluación (la realidad que evalúa es asimismo super compleja) que el papel de la evaluación es
clave porque nos ayuda a lograr los objetivos, a mejorar técnicamente los programas, a que cada
vez que los aplicamos sean mejores (porque vamos perfeccionando y mejorando los elementos
que lo componen).

- La mejora: una cuestión de actitud y de información:

La actitud: para mejorar, se tiene que querer mejorar, la actitud es muy importante. Hay
que asumir que los programas no son perfectos y se pueden mejorar. Y eso implica asumir
también responsabilidades. Si las cosas van mal, es también en parte nuestra responsabilidad y
tenemos el deber de intentar mejorarlo. Hay que implicarse, mojarse.

La información aportada: sólo con la actitud y buenas intenciones no llegaremos a buen

puerto, no es suficiente. La evaluación proporciona a las personas con actitud positiva y ganas de
mejorar la información que necesitan para que las decisiones que tomen sean eficaces.

La información necesaria: la información que necesitamos para tomar las decisiones de

mejora de un programa se encuentra en todos sus componentes: en las actuaciones mediante las

13
que se identifican las necesidades que justifican el planteamiento del programa, en los resultados
del programa, en el diseño del programa, en su implantación e implementación, etc. Con que falle
uno de estos componentes puede ser suficiente para que le programa no resulte eficaz.

7. LOS ESTÁNDARES PARA LA INVESTIGACIÓN EVALUATIVA

Al ser la evaluación un proceso tan complejo y ambicioso, en 1981 el Joint Committee on

Standards for Educational Evaluation publicó una serie de estándares (principios acordados para
mejorar la evaluación) agrupados en torno a 4 categorías o criterios. Estos estándares se
consideran útiles tanto para los evaluadores como para los usuarios de los programas y tienen
además carácter formativo.
Estándares de utilidad: constituido por las siguientes 7 normas:
o Descripción de la audiencia a la que va dirigida la evaluación para poder atender sus
necesidades
o Credibilidad del evaluador: para que sus propuestas de mejora sean aceptadas, las partes
interesadas en la evaluación deben confiar en el evaluador, quien ha de ser competente en
la tarea encomendada
o Alcance y selección de información: la información recogida debe ser suficiente y estar
correctamente seleccionada para poder abordar la evaluación de todos los aspectos del
programa, se deben establecer prioridades
o Interpretación: los juicios de valor que emplearán los evaluadores para interpretar los
resultados deben estar claramente definidos y es que las valoraciones son subjetivas
o Claridad del informe: para que resulte lo más útil posibles a las partes interesadas
o Difusión y oportunidad del proyecto: si todo el trabajo de evaluación realizado no llega a
quien puede beneficiarse de ello pierde gran parte de su utilidad
o Impacto de la evaluación: si queremos que la evaluación impacta o influya en las partes
interesadas debemos hacer que se interesen por ella, motivándoles e informándoles
Estándares de viabilidad: constituido por las siguientes 3 normas:
o Procedimientos prácticos: los procedimientos (recogida de información, selección de
instrumentos, análisis y difusión de resultados, etc.) deben ser prácticos, es decir, que
generen el mínimo de problemas posibles. La evaluación perfecta puede ser una utopía.
o Viabilidad política: se debe buscar la cooperación de las partes interesadas pero tratando de
que evitar que influyan intereses específicos de ningún partido político en concreto
o Eficacia de los costes: obtener la información necesaria utilizando solo los recursos
(personal, dinero, tiempo) precisos, ni más ni menos. Se trata de encontrar el equilibrio.
Estándares de honradez: constituido por las siguientes 8 normas:
o Orientación al servicio: la evaluación tiene una función social por tanto debe atender a las
necesidades de sus integrantes, las personas, a veces directamente, a veces a través de
organizaciones, etc.

14
o Acuerdos formales: para que cada parte implicada cumpla con sus obligaciones y respete
las de los demás, conviene dejarlo todo por escrito, sea en forma de contrato legal o no.
o Respeto a los derechos humanos: deben protegerse los derechos de todos los participantes
(libertad para participar o para abandonar, confidencialidad de datos, etc.), incluye tanto
aspecto legales como éticos
o Relaciones humanas: el evaluador se debe comprometer a respetar la dignidad e integridad
de las personas relacionadas con la evaluación (no herir, no ofender, no molestar, etc.)
o Informes claros y completos: deben incluir tanto las conclusiones positivas como las
negativas susceptibles de mejora (puntos fuertes y débiles, respectivamente)
o Derecho a saber: todas las personas afectadas e interesadas tienen derecho a conocer los
resultados de la evaluación (debe existir acuerdo formal previo)
o Conflicto de intereses: si se da el conflicto entre el cliente y otras partes interesadas,
solucionarlo de forma abierta y con honestidad. Que no contaminen la evaluación.
o Responsabilidad fiscal: el uso de recursos económicos, tanto públicos como privados, debe
ser honrado y responsable para no desacreditar la evaluación
Estándares de precisión: constituido por las siguientes 11 normas:
o Documentación del programa: el programa evaluado debe estar bien descrito y
documentado
o Análisis del contexto: el contexto en que se desarrolla debe ser bien analizado porque
puede influir de diversas maneras en la evaluación
o Descripción de intenciones y procedimientos: transparencia al describir la recogida,
organización, análisis y utilización de información
o Fuentes de información: para saber si una información es adecuada o no es necesario
conocer su fuente, así los grupos interesados podrán hacer su propia valoración
o Información válida: para que una evaluación sea de calidad, debe ser válida. El evaluador
debe demostrar la validez de sus datos, sus procedimientos, instrumentos, etc.
o Información fiable: la recogida de datos debe realizarse con procedimientos fiables, que
aseguren que se adecuan a los objetivos. Necesidad de minimizar errores de medida.
o Información sistemática: es necesario revisar de forma sistemática la información, y que
quienes vayan a ocuparse de recogerla y organizarla reciban instrucciones claras sobre
cómo hacerlo
o Análisis de la información cuantitativa: mediante un análisis exploratorio previo y análisis
posteriores más complejos (comparaciones entre grupos, inferencias, etc.)
o Análisis de la información cualitativa: generalmente mediante su organización en categorías
(procesos inductivos)
o Conclusiones justificadas: para que las partes interesadas también puedan valorarlas, todas
las conclusiones deben estar bien argumentadas y discutidas por el evaluador

15
 o Objetividad el informe: las opiniones personales del evaluador y las partes interesadas y
afectadas por la evaluación no tienen cabida en el informe, este debe ser objetivo respecto
a la realidad que evalúa.
o Metaevaluación: la evaluación en si misma también debe ser evaluada utilizando los
mismos estándares aquí presentados.

Evaluación (def): la investigación sistemática del valor o mérito de un objeto

(programa/proyecto)

Proyecto (def): conjunto sistemático de actividades educativas cuyo desarrollo ocupa un periodo
determinado de tiempo

Programa (def): cuanto un proyecto se institucionaliza se convierte en programa (plan de acción)

16