UNIVESIDAD NACIONAL DE SAN LUIS

FACULTAD DE CIENCIAS HUMANAS

CARRERA DE POST-GRADO. Maestría en Educación Superior
MÓDULO: Metodología de la Investigación
AÑO LECTIVO: 2007

EVALUACIÓN DE PROGRAMAS:
Algunos puntos de partida para su estudio

Pedro Enriquez
1. CONSIDERACIONES INTRODUCTORIAS

Desde la década del ´60 en adelante la evaluación de programas se ha converti-

do en un campo de estudio de particular interés para la educación porque, entre otras ra-
zones, hay una necesidad de contar con herramientas que contribuyan a estudiar los
cambios que producen las múltiples experiencias pedagógicas, a determinar en qué me-
dida se logran los propósitos planteados, a definir cuáles son los obstáculos que operan
en el proceso, a juzgar la calidad de los procesos educativos generados, etc.

Alrededor de este espacio disciplinar se han estructurado diversas interpretacio-

nes teóricas, se han conformado diferentes comunidades de profesionales dedicados a
este quehacer y se han construido un conjunto de herramientas conceptuales y metodo-
lógicas específicas. En este trabajo, en primer lugar, se efectuará una aproximación con-
ceptual de la noción de Evaluación de Programas; y en segundo lugar, se realizará una
presentación de las dimensiones constitutivas de dicha noción

2. CONSIDERACIONES GENERALES SOBRE EVALUACIÓN DE PROGRA-

MAS

La noción de Evaluación de Programas entraña algunos problemas de carácter

terminológico que impiden la construcción de una definición unívoca entre los especia-
listas. Para salvar -en parte- esta situación, primeramente se caracterizan sus alcances
conceptuales y elementos más relevantes y luego, se analizan las coincidencias y dife-
rencias con otros conceptos afines, tales como: Diagnóstico Educativo e Investigación
Educativa que en ocasiones son utilizadas como sinónimo, y esto genera algunas confu-
siones no sólo conceptuales, sino también prácticas; es por ello que es necesario efec-
tuar hacer algunas breves aclaraciones al respecto.

2.1. Características relevantes de la Evaluación de Programas

En este trabajo se entiende a la Evaluación de Programas como:

Es un proceso intencional y sistemático de recolección de informaciones re-

levantes que permiten una comprensión reflexiva y crítica de un programa que se
desarrolla en un contexto socio-político e institucional determinado, a fin de elabo-
rar un juicio de valor fundado y ser plataforma para tomar decisiones que mejo-
ren o transformen directamente el programa e indirectamente el contexto social
donde se encuentra.

1
 Esta definición pone de relieve los alcances conceptuales y las características
fundamentales de la Evaluación de Programas. En tal sentido se puede apreciar que:
a) Es un tipo particular de evaluación que tiene como objeto un programa.

En términos generales, un programa es “un conjunto de actuaciones más o me-

nos amplias, pero coherentes entre sí, orientadas a una misma finalidad claramente di-
ferenciada” (Gairín, 1990:44) y en términos específicos, un programa educativo es una
serie de acciones intencionales destinadas a lograr que los sujetos se apropien de algu-
nos conocimientos relativos a un sector de la realidad. El mismo puede incluir desde el
diseño específico para enseñar un tema concreto de una materia hasta el plan educativo
que comporta el desarrollo de un curso completo; desde la actividad docente de un pro-
fesor hasta la organización funcional de uno o varios centros educativos; desde un pro-
yecto experimental de enseñanza hasta todo un sistema educativo formal (Cabrera,
1987).

La noción de programa plantea algunas ventajas interesantes. Es flexible porque

facilita la inclusión de una gran variedad de situaciones de diferente naturaleza y, al
mismo tiempo, no pierde su precisión puesto que mantiene su capacidad discriminativa
en tanto identifica claramente todas las experiencias que se pretenden evaluar. En suma,
se puede decir que su amplitud no atenta contra su precisión.

b) Es un proceso sistemático e intencional. que busca recoger informaciones

relevantes que sirven de indicios

La evaluación no es una actividad espontánea, desde el principio se definen las

acciones destinadas a recolectar sistemáticamente un conjunto de indicios y evidencias
provenientes de diferentes fuentes e instrumentos que permiten una aproximación suce-
siva al objeto a evaluar y una visión plural de los distintos elementos que intervienen en
el mismo. Este proceso promueve la reflexión y amplía la comprensión del programa
poniendo de manifiesto aspectos y procesos relevantes que permanecen ocultos. Es ne-
cesario destacar que la evaluación, pese a su carácter sistemático y planificado, se efec-
túa siempre en base a informaciones que sirven de indicios.

c) Es un proceso destinado a valorar el programa.

Esta acción supone una doble tarea; por un lado, interpretar las informaciones
recolectadas relacionando las múltiples determinaciones que se conjugan en la emer-
gencia de una situación, en un intento de construir sentidos y significados; y por el otro
lado, establecer un juicio de valor emitiendo una apreciación crítica de la bondad del
objeto evaluado conforme a los referentes definidos previamente.

Emitir un juicio de valor es tan delicado como arriesgado, porque involucra ac-
ciones técnicas y políticas que están intrínsecamente relacionadas y cuyos límites son
evanescentes. Esta tarea es sumamente compleja porque implica relacionar los diversos
indicios acerca del objeto tratando de re-construir sentidos y significados que ellos po-
seen. Esto supone poder descifrar los aspectos tanto explícitos como implícitos, las ra-
cionalidades que guían la acción, los valores, las visiones del mundo que sustentan los
sujetos que participan en el proceso de evaluación, etc., y en base a ello emitir el juicio
de valor.

2
 La formulación de dicho juicio debería ser entendida como un proceso social de
construcción, articulado en el diálogo, la discusión y la reflexión, entre todos los que,
directa o indirectamente se encuentran implicados en y con la realidad evaluada”
(Angulo Rasco y otros, 1991).

d) Es plataforma para la toma de decisiones que mejore el programa.

Como es lógico suponer, una vez emitido el juicio, resulta necesario tomar ciertas
decisiones que permitan profundizar las acciones que se están realizando correctamente,
corregir las deficiencias detectadas y eliminar los errores que se están produciendo.

e) Es plataforma para la toma de decisiones que mejore la sociedad.

Este tipo de evaluación trasciende los límites del programa mismo, como clara-
mente lo advierte De Miguel (1999), más allá del análisis y la valoración de los proble-
mas y requisitos que conlleva el diseño e implementación de un programa, lo verdadera-
mente importante de la evaluación es profundizar en la descripción y explicación de los
procesos de intervención, con el fin de promover la transformación social a partir de los
resultados de dichos procesos. Como consecuencia de ello, evaluar un programa implica
cuestionar los valores dominantes y asumir un compromiso en la resolución de los pro-
blemas sociales y en la lucha a favor de una sociedad más justa e igualitaria.

2.2. Diferencias y coincidencias con términos afines

En el campo educativo, la Evaluación de Programas en ocasiones es utilizada

como sinónimo de diagnóstico pedagógico, de Investigación Educativa o de investiga-
ción evaluativa; esto ha generado algunas confusiones no sólo conceptuales, sino tam-
bién prácticas. En este sentido, es importante hacer algunas breves aclaraciones al res-
pecto.

Evaluación de Programas y Diagnóstico Pedagógico: Sus diferencias y coincidencias

En la Evaluación de Programas como en el Diagnóstico Educativo, se desarro-

llan actividades similares. Ambos realizan una recogida sistemática de información me-
diante técnicas que garantizan una cierta precisión; además, hacen interpretaciones y va-
loraciones de los datos recolectados con el propósito de aportar una serie de pistas para
tomar decisiones. En opinión de Amaya (1994:629), el “diagnóstico y evaluación for-
man parte indefectiblemente del mismo proceso porque no puede haber diagnóstico sin
valoración, es decir, sin evaluación”.

Pese a la complementariedad expresada anteriormente, Amaya (1994) señala al

menos tres diferencias. Con relación al momento, indica que la interpretación diagnósti-
ca se produce después de la evaluación, porque en el proceso diagnóstico se apela a pa-
rámetros previos que sirven como punto de comparación. En lo referido a la cantidad de
técnicas empleadas, el autor advierte que una evaluación puede hacerse con una sola
prueba; en cambio, el diagnóstico no admite esta posibilidad porque es una actividad
que exige una síntesis de las informaciones recogidas por varios instrumentos. Final-
mente, en cuanto a los resultados, señala que las evaluaciones pueden tener un carácter
formativo o sumativo o ambos, en cambio, el diagnóstico siempre está orientado hacia
la mejora o el perfeccionamiento, nunca asume un carácter sancionador.

3
Evaluación de Programas y la Investigación Educativa: Sus diferencias y coincidencias

La Evaluación de Programas y la Investigación Educativa poseen algunas se-

mejanzas entre sí. En estos procesos se emplean procedimientos rigurosos para recoger,
analizar e interpretar las informaciones; en este sentido y, tal como lo señalan Tejedor y
otros (1994), la Evaluación de Programas es una auténtica estrategia de investigación
sobre los procesos educativos con todas las implicaciones epistemológicas, metodológi-
cas y técnicas que ella entraña.

Sin embargo, la Investigación Educativa se plantea como finalidad construir un

corpus de conocimiento sistemático y sólido que dé cuenta de un sector de la realidad.
Por lo tanto, los investigadores educativos diseñan estudios destinados a descubrir la
verdad y comprender algún fenómeno educativo (Borg y Gall, 1989). En cambio, la
Evaluación de Programas aplica los procedimientos científicos con el fin de valorar o
juzgar las acciones educativas y buscar las soluciones a los problemas del programa es-
pecífico y del grupo de referencia implicado. En ese contexto, los evaluadores diseñan
estudios para obtener datos sobre la importancia, el mérito y el valor de los fenómenos
educativos y, a partir del mismo, tomar decisiones (Borg y Gall, 1989). Como puede ad-
vertirse en la comparación, ambos procesos transitan por el mismo camino, pero se diri-
gen a destinos diferentes.

Evaluación de Programas e Investigación Evaluativa: Sus diferencias y coincidencias

San Fabián (1996) establece la diferencia entre estas dos nociones diciendo que
la Evaluación de Programas forma parte del diseño y su fin primordial es guiar y
reorientar el desarrollo de los programas; en cambio, la Investigación Evaluativa es un
medio no sólo para conocer y mejorar el desarrollo de un programa, sino que además
busca establecer relaciones con otros programas y niveles de la realidad estudiada. Esta
sutil diferencia puede tener importantes consecuencias a la hora de definir las
actuaciones de los sujetos. En otras palabras, se puede decir que ambos procesos tienen
el mismo punto de partida y transitan caminos similares, pero sus puntos de llegada son
diferentes. En el primer caso, las decisiones quedan circunscriptas al programa, mientras
que en el segundo, las excede ampliamente. No obstante esta distinción, en este trabajo
se las empleará como sinónimo.

3. DIMENSIONES BÁSICAS DE LA EVALUACIÓN

Tejada (1997) considera que la Evaluación de Programas es una tarea compleja

que exige la elaboración de un diseño que permita la organización de los distintos ele-
mentos afectados, la sistematización de las fases de desarrollo, la temporalización de las
acciones que se deben realizar, la provisión de los recursos necesarios, la superación de
las resistencias y obstáculos, la provisión de un organigrama evaluativo y el uso de los
instrumentos, técnicas y metodologías más idóneas.

Para ello, el autor propone siete dimensiones básicas que ayudan a la elaboración
del diseño de un programa de Evaluación, a saber: el objeto a valorar, la finalidad de la
evaluación, los momentos que atraviesa el proceso, el modelo que se adopta, los instru-
mentos que se emplean, el evaluador y los referentes. A éstas se le agrega una octava

4
 categoría relacionada con el contexto socio-político e institucional (Gráfico Nro.1). To-
das estas dimensiones sirven como punto de referencia para definir los cimientos que
sostienen la Evaluación de Programas que se lleva cabo en este trabajo.

1) ¿En qué marco social se evalúa? (Contexto)

El contexto donde se sitúan los programas a evaluar proporciona las claves que
ayudan a comprender la génesis, el desarrollo y los resultados que pueden generar los
mismos; es por ello que es imprescindible tener en cuenta las peculiaridades del contex-
to socio-político y educativo en donde se sitúa el programa, definiendo las coordenadas
estructurales, espaciales y temporales en las que se desarrollan (Fernández Sierra,
1994). Esta dimensión atraviesa y ubica al objeto de estudio, facilitando una mejor com-
prensión del mismo.

2) ¿Qué se evalúa? (Objeto)

No todo lo que puede ser evaluado vale la pena; y no todo lo que vale la pena
puede ser evaluado. Existe una amplia gama de objetos tales como personas, situacio-
nes, acciones, currículum, recursos, instituciones, etc. que pueden ser evaluados; es por
ello que es imprescindible no caer en la tentación de iniciar un proceso evaluativo que
abarque diversas dimensiones del objeto que no puede ser accesible; en tal sentido, es
aconsejable saber cuáles son los aspectos relevantes a tener en cuenta, es decir que hay
que evaluar aquellos objetos que valen y que puedan evaluarse. Hay que ser conciente
que en ocasiones por múltiples razones no todo lo que es relevante puede evaluarse.

3) ¿Para qué evaluar? (finalidad)

La finalidad constituye puntos de llegada de todos los esfuerzos intencionales, y

generalmente expresa los resultados que se desea obtener al finalizar la evaluación. Los
mismos orientan las acciones y determinan la medida del esfuerzo realizado. Según
Tejada (1988), pueden plantearse diversos tipos de finalidades:
a) La evaluación diagnóstica permite conocer la realidad en la que operará un programa
(evaluación de entrada), tanto en lo relativo al contexto (marco legal, marco institucio-
nal, etc.) como a los destinatarios (sus necesidades, demandas, etc.); ello contribuye a
tomar conciencia de las posibilidades y las limitaciones que puede tener la experiencia
educativa.

b) La evaluación formativa tiene que ver con el desarrollo en un contexto determinado y su

propósito está directamente relacionado con la mejora del mismo en el transcurso de la
acción formativa. Este tipo de evaluación permite el ajuste racional de las acciones edu-
cativas a las cambiantes situaciones que se generan en dicho programa.

c) La evaluación sumativa (evaluación de productos) permite examinar los resultados ob-

tenidos por el programa y en este sentido, la toma de decisión se orienta a la certifica-
ción y promoción de los destinatarios de la acción formativa, y simultáneamente permi-
te valorar globalmente el programa aceptándolo o rechazándolo en función del éxito del
mismo.

Stake (citado por Santos Guerra, 1998) utiliza una metáfora donde deja clara la
distinción entre la evaluación formativa y sumativa. Este autor cuenta que cuando el co-

5
cinero prueba es una evaluación formativa, cuando la efectúa el cliente es sumativa,
puesto que cuando el cocinero prueba la sopa se encuentra en pleno proceso de elabora-
ción y, por lo tanto, puede modificar el producto, mientras que el cliente ya está valo-
rando el producto final. También es cierto que el cocinero puede aprender de los dos
momentos; en el primero, puede modificar los ingredientes y conseguir un producto di-
ferente; en el segundo, y si el cliente le proporciona una buena información, entonces,
puede aprender a mejorar el producto para otra ocasión

Pueden agregarse dos finalidades más:

d) De impacto, focaliza en los efectos posteriores a la realización del programa Esta

evaluación apunta a analizar los resultados de un programa a mediano o largo plazo.
Asimismo permite ver hasta qué punto los participantes han cambiado su práctica
gracias al programa o a otros factores.

e) Pronóstica, enfatiza el valor predictivo. Este tipo de evaluación apunta a producir in-
formaciones relevantes que ayuden a anticipar razonablemente cómo se va a com-
portar el objeto evaluado en el futuro.

Objeto
Finalidad
Finalidad Modelo

Necesidades
de formación
Diseños Evalua
Momentos Resultado dores

Instrumentos

Referentes

Contexto socio-político

Figura Nro.1. Dimensiones básicas de la evaluación de programas (adaptación de Tejada, 1997)

4) ¿En base a qué se evalúa? (Referente)

6
 El referente es un elemento a partir del cual se puede establecer la comparación
porque actúa como un patrón de valor fundante de juicio y eventualmente de decisiones.
Celman (2000:13) lo define como el lugar desde donde se paran los sujetos para emitir
el juicio, y Lafourcade (1992) considera que el mismo es una interface entre las visiones
del mundo, los paradigmas científicamente aceptables y los indicadores.

Celman (2003) aporta un ejemplo simple que permite entender la plenitud de

este concepto. Según esta autora, para medir una mesa se puede utilizar un patrón insti-
tuido y arbitrario, pero indiscutible como el metro (una unidad de medida aceptada);
esta actividad no es evaluación sino medición. Se evalúa cuando se emite un juicio (esta
mesa es incómoda por tal razón) con relación a un contexto, a una situación o un pro-
yecto. El juicio de valor está situado en un contexto geográfico, histórico, teórico, ideo-
lógico que le da sentido. Desde la mirada de esta especialista en toda evaluación hay
que construir referentes para poder, desde allí, construir juicios. Dichos referentes cons-
tituyen un modelo o patrón flexible desde donde mirar y juzgar si está bien o mal, si hay
que corregirlo y ampliarlo.

5) ¿Con qué herramientas evaluamos? (Instrumentos)

Los instrumentos aluden a las herramientas que sirven para obtener la informa-
ción considerada como necesaria para la emisión del juicio. Estas herramientas están en
concordancia con el objeto que se evalúa, el contexto donde se desarrolla el programa y
la finalidad de la evaluación porque “los métodos, técnicas e instrumentos selecciona-
dos no son neutrales con respecto a la información que proporcionan; cada método es
adecuado para recoger cierto tipo de información y, al mismo tiempo, desechar otra”
(Fernández Sierra, 1994: 308).

Desde el punto de vista eminentemente práctico, la instrumentalización se erige

como una de las tareas más importantes en el diseño de la Evaluación de Programas,
porque en ella concurren y se integran el resto de las dimensiones evaluativos; su olvido
o desvalorización pone en riesgo todo el trabajo desarrollado (Tejada, 1998).

5) ¿Quién o quiénes son los protagonistas en la evaluación? (evaluadores)

Los protagonistas son aquellos sujetos que están directa o indirectamente involu-
crados con el programa. Gairín Sallán (1990:44) señala que de acuerdo a la participa-
ción de los mismos puede distinguirse una evaluación interna y otra externa.

En la evaluación interna, los sujetos involucrados con el programa son los res-
ponsables de revisar críticamente el programa que se está llevando a cabo; en cambio,
en la evaluación externa, un experto que no participan en el programa es el encargado
de hacer el examen crítico. En tal sentido, el especialista independiente recoge la infor-
mación necesaria para emitir un juicio sobre el programa analizado. Gairín Sallán
(1990:44) considera que esta forma de evaluar es más objetiva pero implica menos co-
nocimiento real de los problemas.

6). ¿Desde dónde evaluar? (Perspectivas y modelos teóricos)

7
 En estos últimos años, distintos autores han intentado clasificar las diversas pro-
puestas de Evaluación de Programas. En el presente trabajo, no se adopta un sistema de
clasificación elaborado por un especialista reconocido en este campo de estudio; tampo-
co se elabora una propuesta nueva. Aquí solamente se aludirá, por un lado, a las dos
grandes perspectivas que tradicionalmente han tendido vigencia en el campo de la eva-
luación de programa; por el otro, a los diversos modelos de Evaluación de Programas
frecuentemente mencionados (Stufflebeam y Shinkfield, 1987; Colás y Rebollo, 1993)
destacando sus rasgos sobresalientes.

6.1. Perspectivas de evaluación

Se puede diferenciar dos perspectivas la evaluación cualitativa y la evaluación
cuantitativa. Tejada (1997) las sintetizó en el cuadro que se reproduce a continuación.

Ejes Evaluación cualitativa Evaluación cuantitativa

Naturaleza dinámica y cambiante Estable y fija
de la Unidad en la naturaleza, mecánica Rechaza la unidad de la naturaleza
realidad

Relación El individuo como agente activo El individuo como sujeto pasivo de la

objeto- constructor de la realidad en la que está realidad.
sujeto inmerso Interesado en la búsqueda de hechos,
Interesado en conocer no sólo la conducta causas, centrándose en las conductas
manifiesta observables
Finalidad La evaluación no sólo refiere a objetivos, La evaluación se refiere al éxito o fracaso
de la sino a necesidades, valores sociales, del logro de los objetivos.
Evaluación soluciones de problemas localizados.
Énfasis en el proceso Énfasis en el producto
Contexto La evaluación debe tener en cuenta las La evaluación es ajena al contexto.
particularidades del contexto.
Papel del El evaluador necesita esquemas El evaluador está al margen de los datos
Evaluador explicativos para acercarse a cada realidad. con una perspectiva teórica.
Su perspectiva le permitirá comprender los
fenómenos que acontece en la realidad
Método Se basa en el método inductivo, Se basa en el Método hipotético-deductivo,
logía exploratorio, descriptivo, estudio de casos, comparaciones de grupos,
etc. comprobaciones, etc.

La estrategia es holística. La estrategia es particularista.

Diseño Rígidos Flexibles

Instrument Instrumentos múltiples. Entrevistas, Tests estandarizados, pruebas objetivas,

os informes, etc. observación sistemáticas
Figura Nro. 2. Evaluaciones cualitativas y cuantitativas.(Fuente: Tejada, 1997)

La perspectiva de la evaluación cuantitativa se estructura sobre la base de una

visión estable y fija de la realidad y su método de abordaje es hipotético-deductivo. Su
intencionalidad es describir los hechos y explicar las causas que los producen. Los datos
que generan pretenden ser válidos y confiables y las conclusiones a las que arriban
tienen aspiraciones de carácter universal.

La perspectiva de evaluación cualitativa se estructura de acuerdo a una visión

dinámica y cambiante de la realidad. Su finalidad es comprender los productos humanos
a partir de los marcos de referencia del propio actor. Sus métodos son cualitativos, y las

8
conclusiones obtenidas tienen validez local.

6.2. Modelos de evaluación

a) Modelo orientado a la eficiencia y a la productividad

Este modelo, también denominado de análisis de sistema, se asienta en la con-

cepción tecnológica de la enseñanza (González y Escudero, 1987). Desde esta perspecti-
va se entiende a la evaluación como un proceso destinado a comprobar la eficacia y la
productividad para lograr las metas establecidas por los órganos de gobierno.

Para efectuar la evaluación de algún programa educativo, este modelo identifica

en primera instancia, las variables de entrada y de salida; luego cuantifican dichas varia-
bles mediante procedimientos válidos y confiables y, finalmente, establecen las diferen-
cias estadísticas entre la entrada del programa y sus resultados.

Como puede advertirse, esta propuesta intenta determinar las relaciones causales
que existen entre determinadas variables dependientes (programa educativo) con otras
independientes (resultados obtenidos). Consecuentemente, los diseños experimentales o
cuasi-experimentales constituyen los procedimientos más adecuados para llevarlos a
cabo.

Esta propuesta proporciona un método de trabajo consistente para determinar las

relaciones causales entre programas y resultados. Sin embargo, no resulta útil para defi-
nir los objetivos de la evaluación o para mejorar el desarrollo de los programas porque
no presta atención a los requerimientos y necesidades de los destinatarios. Aquí sólo im-
portan las definiciones y orientaciones establecidas por las autoridades gubernamentales
o por los evaluadores.

b) Modelo centrado en el logro de los objetivos

Para algunos autores el comienzo de la Evaluación de Programas, tal como hoy

se la entiende, se sitúa en la década del ´30 en torno a los trabajos desarrollados por Ty-
ler. El mismo sostenía que la evaluación es un proceso destinado a determinar en qué
medida el currículum y la enseñanza satisfacen realmente los objetivos de la educación
y, de acuerdo con ello, decidir si es exitoso o no.

Para realizar una evaluación, Tyler (1970) propone definir claramente los objeti-
vos conductuales, seleccionar situaciones en las que haya que manifestar las conductas
buscadas y observar si se producen los resultados esperados, elegir los instrumentos
adecuados (normalmente tests estandarizados o construidos), seleccionar las formas de
resumir los registros cuidando que los resultados puedan ser interpretados adecuada-
mente y determinar la objetividad y fiabilidad de las medidas utilizadas.

El modelo de Tyler ha ejercido una gran influencia en el campo de la evaluación

debido a que su propuesta aporta un conjunto de prescripciones y reglas técnicas funda-
das en un supuesto método científico. Entre los principales trabajos que se derivan del
mismo, se destacan: el modelo de discrepancia de Provus (1971) que compara cons-
tantemente los objetivos propuestos con los rendimientos logrados, esta acción permite
identificar un espacio de discrepancia, que es la zona donde se deben generar las mejo-

9
ras; la propuesta E.P.I.C. de Hammon (1972) que incluye variables instruccionales e
institucionales que describen con mayor precisión la realidad educativa que se pretende
valorar; la taxonomía de objetivos de Bloom (1970) y el modelo de objetivos instructi-
vos de Popham (1972) que sofistican el proceso de planificación y evaluación, convir-
tiendo los objetivos de conducta y las metas observables en las fuentes o criterios de va-
loración.

c) Modelo basado en el método científico

Este modelo se basa en la lógica y en los presupuestos del método científico.

Desde esta óptica, el propósito de la evaluación es determinar o comprobar hasta qué
punto un programa consigue los resultados deseados.

Para Suchman (1967), uno de los representantes más importantes de este mode-
lo, los elementos esenciales que conforman el diseño son:

1) Valores. Estos aluden a la/s cualidad/es de una situación o actividad que se

desea lograr.
2) Objetivos. Se refieren a las intenciones hacia donde se dirigen los esfuerzos
que se realizan en el marco del programa.
3) Criterios. Son los parámetros que permiten valorar la consecución de los ob-
jetivos. Así, el esfuerzo (cantidad y calidad de actividades planificadas), los lo-
gros (resultados del esfuerzo), la eficacia (adecuación de los resultados obteni-
dos y del esfuerzo realizado), entre otros, son los medios que permiten la medi-
ción de los resultados.
4) Programa. Es el plan de actividades para alcanzar los objetivos, los cuales
pueden formularse en forma de hipótesis definiendo que las tareas A-B-C (varia-
bles independientes) producirán los resultados X-Y-Z (variables dependientes).
Esta propuesta, a diferencia de otros modelos tradicionales, contempla la exis-
tencia de pre-condiciones u otros acontecimientos que pueden incidir en la efi-
ciencia del programa inicial.
5) Implantación. Es la aplicación de las actividades previstas en la planifica-
ción.
6) Efectos. Son los resultados obtenidos a partir de la aplicación del programa.
En este caso se contemplan los efectos deseados e indeseados reconocibles por
sus consecuencias.

Las propuestas de Hammon, Provus y Suchman, entre otros, constituyen un

avance importante con relación a la de Tyler, debido a que posibilitan visualizar nuevas
dimensiones del objeto que se pretende evaluar, incluyen el estudio de los efectos no de-
seados y mejoran los procedimientos técnicos. No obstante ello, como bien lo señala
House (citado por González y Escudero, 1987), la esencia de estos modelos no hace más
que valorar lo que los diseñadores dicen que están intentando lograr porque la discre-
pancia entre las metas y los resultados es el único criterio que tienen en cuenta cuando
se juzga el éxito de un programa.

d) Modelo encaminado a la toma de decisiones

10
 En este marco se entiende que una evaluación debe recoger un conjunto de infor-
maciones útiles y fiables para tomar decisiones desde el inicio y hasta la culminación
del programa. En términos de Stufflebeam (creador del modelo C.I.P.P -Context-Input-
Process-Product-), la Evaluación de Programas es un proceso destinado a “ identificar,
obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las
metas, la planificación, la realización y el impacto de un objeto determinado, con el fin
de servir de guía para tomar decisiones, solucionar los problemas de responsabilidad y
promover la comprensión de los fenómenos implicados” (Stufflebeam y Shinkfield,
1987:183).

Ejes Contexto Entrada Proceso Producto

Objetivos Definir el contexto institu- Identificar y valorar la ca- Identificar o pronosticar Recopilar descriptores y
cional, identificar la pobla- durante el proceso los de- juicios acerca de los resul-
ción objeto de estudio e pacidad del sistema, las es-
fectos de la planificación tados y relacionarlos con
identificar y valorar sus trategias del programa, la del procedimiento o de su los objetivos y la informa-
necesidades, diagnosticar
planificación de procedi- realización; proporcionar ción proporcionada por el
los problemas que subya- información para las deci-
cen. Juzgar si los objetivos mientos para llevar a cabo contexto, por la entrada de
siones pre-programadas y los datos y por el proceso,
propuestos son coherentes estrategias, los presupues- describir y juzgar las acti-
con las necesidades valora- e interpretar su valor y su
das tos y programas. vidades y aspectos del pro- mérito.
cedimiento.
Métodos Utilización de métodos Inventariar y analizar los Controlar las limitaciones Definir operacionalmente
como el análisis de siste- potenciales del procedi- y valorar los criterios de
recursos humanos y mate-
ma, la inspección, la revi- miento y permanecer alerta los resultados, mediante la
sión de documentos, las
riales disponibles, las es- ante las situaciones que no recopilación de los juicios
audiciones, las entrevistas, trategias de solución y pro- se esperan, mediante la ob- de los clientes y la realiza-
los tests diagnósticos y la cedimientos de aplicación, tención de información es- ción de análisis cuantitati-
técnica Delphi. pecífica de las decisiones vos y cualitativos.
viabilidadad y economía.
programadas, la descrip-
Utilizar métodos como la
ción del proceso real, la
búsqueda de bibliografía,
continua interacción con el
las visitas a programas personal del proyecto y la
ejemplares, los grupos de observación de sus activi-
asesores y ensayo piloto. dades.

Relación Decidir el marco general,
las metas relacionadas con
con toma las satisfacciones de las
de deci- necesidades o la utiliza-
sión ción de las oportunidades y
los objetivos relacionadas
con solución de los proble-
mas, y proporcionar una
base para juzgar los resul-
tados.
Seleccionar los recursos de
apoyo, las estrategias de
solución y las planificacio-
nes de procedimientos,
esto es, efectuar un control
del proceso., y proporcio-
nar una base para juzgar la
realización.
Llevar a cabo y perfeccio-
nar la planificación los
procedimientos del progra-
ma, esto es, efectuar un
control del proceso, y pro-
porcionar un esbozo del
proceso real para utilizar-
los más tarde en la inter-
pretación de los resultados.
Decidir la continuación, fi-
nalización, modificación o
re-adaptación de la acti-vi-
dad del cambio, y presen-
tar un informe claro de los
efectos (deseados y no de-
seados, positivos o negati-
vos).

Figura Nro. 3. Tipos de decisiones necesarias para la evaluación

(Adaptado de Stufflebeam y Shinkfield, 1987:14-195).

Para efectuar una evaluación enmarcada en el modelo C.I.P.P., es necesario pri-

mero, identificar (delimitar) las informaciones mediante un acuerdo entre evaluadores y
responsables de la toma de decisiones, luego recoger y procesar los datos (obtener) y,
por último, suministrar a los responsables las informaciones sistematizadas para que
puedan tomar decisiones racionales y lógicas (aplicar).

Stufflebeam y Shinkfield (1987) distinguen cuatro tipos de decisiones que están

asociados a las evaluaciones de contexto, de entrada, de proceso y de producto. En la fi-
gura 3 se resumen dichas decisiones.

11
 En línea general, este modelo anima a los profesionales y a las entidades guber-
namentales a emplear la evaluación en forma continua, como una herramienta que pro-
porciona justificaciones lógicas a la hora de tomar decisiones, aunque con frecuencia, se
le critica su alto nivel de ingenuidad porque no considera las relaciones de poder que se
ponen en evidencia al momento de efectuar una evaluación. El éxito de esta propuesta
depende de los vínculos que se establecen entre el evaluador y los responsables de la
toma de decisión. Si esta relación se desarrolla en un sistema educativo altamente jerar-
quizado, lo cual ocurre con frecuencia, afectará negativamente el proceso valorativo y
los resultados que se obtengan

e) Modelo orientado a los resultados reales sin referencia a metas

Esta propuesta fue elaborada por Scriven, quien entiende que la evaluación no
debe limitarse solamente a determinar en qué medida se logran o no los objetivos pro-
puestos, sino que su tarea central consiste en valorar los efectos reales del programa,
analizando tanto los resultados previstos como los no previstos. Este autor sostiene que
las acciones educativas generan efectos secundarios tan o más importantes que los obje-
tivos iniciales, pero que el modelo orientado a la concreción de los objetivos no puede
visualizarlos.

En opinión de Tejada (1997:278) esta perspectiva entiende a la evaluación como

“la determinación sistemática y objetiva del valor o mérito de un objeto, basándose en
pruebas acumuladas procedentes de su comparación con otros objetos distintos a la
hora de satisfacer las necesidades del consumidor”.

Para desarrollar una evaluación de un programa sin referencia a metas es funda-

mental determinar sus antecedentes, contextos, recursos y funciones, caracterizar sus
sistemas de distribución, describir sus usuarios o población objeto, analizar y definir sus
necesidades y valores, conocer las normas o criterios previos para la valoración, especi-
ficar el proceso de intervención, sus resultados, sus costes y, finalmente, comparar con
los otros programas alternativos. Desde la perspectiva de Scriven, el éxito del programa
depende principalmente de la capacidad para cubrir las necesidades de los usuarios, más
que lograr los objetivos o adaptarse a las normas previstas por los organismos de con-
trol. Por lo tanto, la cobertura de la necesidad es el criterio que define la calidad de un
programa educativo.

Como se observa, el modelo descripto es más flexible puesto que amplía su mi-
rada hacia nuevas dimensiones de estudio que no fueron previstas desde el inicio. Asi-
mismo, exige al evaluador una mayor apertura para captar los fenómenos que acontecen
durante el desarrollo del programa. No obstante, esta propuesta entraña una importante
dificultad, porque solamente valora las necesidades de los consumidores y renuncia a
las posibilidades de incluir los requerimientos y demandas de otros sectores que están
directa o indirectamente involucrados con dicho programa.

f) Modelos fundados en la intuición pluralista y holística

12
 Estas propuestas intentan captar las diferentes necesidades y valoraciones que
poseen los diversos grupos y sectores implicados a fin de obtener una pluralidad de opi-
niones y perspectivas. La evaluación respondente de Stake, la evaluación iluminativa de
Parlett y Hamilton, la evaluación democrática de MacDonald y la crítica artística de Eis-
ner constituyen ejemplos claros de estos modelos.

Stake (1976) elabora un modelo que intenta reflejar la complejidad de los pro-
gramas en estudio. Para ello propone que el evaluador recoja y sistematice la mayor
cantidad de información con relación a los problemas, necesidades y preocupaciones de
los clientes y, posteriormente, las devuelva a los sujetos involucrados para que puedan
comprender cómo funciona el programa y mejorar lo que están haciendo. Para el autor,
una evaluación es responsiva cuando orienta su mirada hacia las actividades, responde a
las exigencias de los usuarios y alude a las diferentes perspectivas que existen.

Stake propone la evaluación reloj, compuesta por doce pasos destinados a identi-
ficar el alcance del programa, determinar el panorama de las actividades, descubrir los
propósitos e intereses, conceptualizar las cuestiones o problemas, identificar los datos
necesarios para investigar los problemas, seleccionar observadores, jueces e instrumen-
tos, observar los antecedentes, las transacciones y los resultados propuestos, desarrollar
temas preparados, validar mediante la confirmación y búsqueda de evidencia, realizar
un esquema de trabajo para que la información sea empleada por la audiencia, reunir los
informes formales y, finalmente, hablar con los clientes, el personal y la audiencia.

Desde un enfoque antropológico-social, Parlett y Hamilton elaboran un modelo

de evaluación alternativo a los convencionales de corte cuantitativo. El mismo busca
comprender más que medir o predecir los fenómenos que acontecen en un programa. En
este marco, el evaluador debe conocer las bases racionales, la evolución, las operacio-
nes, los logros, las dificultades, la relación con el contexto escolar y el aprendizaje que
favorecerá la propuesta educativa.

En términos de los autores, la evaluación iluminativa (Partlett y Hamilton,

1977:10) debe estar orientada a estudiar cómo funciona un programa, cómo influye en
las situaciones escolares, qué ventajas y desventajas encuentran las personas que están
involucradas, cómo afecta en las actividades intelectuales y académicas de los alumnos,
cómo participan profesores y alumnos, cuáles son las características más significativas,
los sucesos más frecuentes y los procesos críticos de la innovación, etc.

La evaluación democrática, tal como la entiende MacDonald, es un servicio de

información para la comunidad con respecto a las características de un programa educa-
tivo. Para este modelo, la evaluación es una actividad política asentada en el “derecho
de conocer” que tienen los sujetos implicados. En este modelo, el evaluador debe reco-
nocer las diversas perspectivas y reflejarlas durante todo el proceso. De esta manera, al
formular los problemas tienen que incluir los intereses de los implicados, al seleccionar
las técnicas de recolección de información debe tener en cuenta las capacidades de com-
presión de la audiencia no especializada y al elaborar el informe debe incorporar las in-
terpretaciones negociadas durante el proceso con los distintos sectores.

La evaluación de crítica artística abogada por Eisner implica una densa descrip-
ción e interpretación de los significados tal y como acontecen en un medio cultural de-

13
terminado. Estas acciones dependen de la comprensión del contexto, de los símbolos, de
las reglas y tradiciones de los que participa cualquier persona (Eisner, 1985).

Desde la perspectiva de dicho modelo, el informe final de la evaluación es un

documento escrito, cuya finalidad es ayudar a comprender y valorar la práctica educati-
va. Para elaborarlo, es necesario: describir viva y detalladamente los aspectos reales,
metafóricos, poéticos y literarios tratando de recoger las emociones y sentimientos, in-
terpretar, inferir o detectar los significados de las complejas relaciones que se producen
entre los sujetos y valorar lo descripto e interpretado, a partir de las características pe-
culiares e idiosincráticas del programa y la situación educativa concreta (Eisner, 1981).

De acuerdo con lo expuesto, el reconocimiento y respeto a las distintas opiniones

y valoraciones, la flexibilidad de los diseños, la gran riqueza informativa que recoge y la
sensibilidad para captar los acontecimientos singulares de los programas son algunas de
las virtudes que comparten los modelos de intuición pluralista y holística. No obstante,
su principal obstáculo estriba en la poca credibilidad externa de los productos logrados
ya que deja en mano de la pericia y de la sagacidad del evaluador, la delicada tarea de
tener que sistematizar los datos recogidos y sopesar equilibradamente los dispares jui-
cios de los sujetos o grupos involucrados.

La figura 4 (basada esencialmente en los trabajos de Stufflebeam y Shink-field,

1987 y otros afines) ofrece un resumen de los modelos comentados, señalando principa-
les autores, finalidad perseguida, referentes previos, audiencia, cuestiones principales,
metodología y técnicas e instrumentos de recolección de información.

Eficiencia y Verificación Método Toma de Sin referencia a Intuición

productividad de logro Científico Decisiones metas Pluralista y
Holística
Suchman
Autores

Rivlin Tyler Stufflebean Scriven Stake, Partlett y

Hammon Hamilton, Mac-
Bloom Donald, Eisner
Determinar o com-
Determinar el Relacionar los re- Proporcionar los Juzgar los méritos Facilitar la com-
probar hasta qué
grado de efecti- sultados con los punto un programa conocimientos su- relativos de bienes prensión de las ac-
Finalidad

vidad y produc- objetivos consigue los resul- ficientes y una y servicios alterna- tividades y su va-

tividad de un tados deseados base valorativa tivos loración en una

programa para tomar y jus- teoría determina-
tificar decisiones da desde distintas
perspectivas
Objetivos
Resultados Objetivos Situaciones decisi- Necesidades y va- Cuestiones po-líti-
Previo

vas lores cas y problemas

Audiencia Ref

específicos
Entidades de Planificadores y Planificadores y Los responsables Los clientes o con- La comunidad y
control, planifi- responsables del responsables del que toman decisio- sumidores los usuarios del
cadores y res- programa programa nes programa
ponsables

14
 ¿En qué medida ¿Qué estudiante ¿En qué medida el ¿Cómo debe ser ¿Cuál es el valor ¿Cuál es la histo-
el programa alcanza los objeti- programa cum-ple planificado, eje- de un programa, ria de un programa
cumple con los vos y en qué gra- con los objetivos cutado y reci-cla- dado sus costes, y cómo es juzgado
Principales
Cuestiones

requerimientos do? propuestos? do un pro-grama las necesidades de por quienes están

exigidos por las para que promue- los usuarios y los implicados en él?
entidades de va el desa-rrollo valores de la so-
control? humano a coste ra- ciedad en gene-
zonable? ral?
Cuantitativo.
Cuantitativo. Cuantitativo. Cuantitativo. Cuantitativo y Cualitativo
Contraste entre re-
Contraste entre Contraste entre re- Inspecciones, va- Cualitativo. Estudio de casos,
sultados y objeti-
Metodología

resultados y ob- sultados y objeti- loraciones de las Planificación ex- investigación–ac-

vos. Diseños expe-
jetivos. Diseños vos. Diseños expe- necesidades, estu- perimental, análi- ción. Estudio
rimentales o cuasi-
experi-mentales rimentales o cuasi- dio piloto y ob- sis de costes, eva- Etnográficos. Di-
experimentales
o cuasi-experi- experimen-tales servacionales y luación sin me-tas, seños emergentes
mentales método experi- comparación ex-
mental perimentación.
Tests estandari- Tests estandariza- Tests estandariza- Revisión de docu- Lista de control, Observación Par-
zados y pruebas dos y pruebas ob- dos y pruebas ob- mentos, entrevis- tests diagnósticos, ticipante.
Técnica

objetivas. Ob- jetivas. Observa- jetivas. Observa- tas, tests diagnós- entrevista e infor- Entrevistas en pro-
servaciones es- ciones estructura- ciones estructura- ticos, escalas, etc.. mes fundidad. Regis-
tructuradas das das tros cualitativos

Figura Nro.4. Diferentes modelos de Evaluación de Programas

(Adaptado de Stufflebeam y Shinkfield, 1987; Tejada, 1998; etc.).

Por último es necesario hacer dos observaciones parciales.

En primer lugar, se puede advertir que este breve recorrido relativo a los diferen-
tes modelos posibilita visualizar que en estos últimos años han cambiado profundamen-
te los pilares conceptuales del campo de la evaluación, porque se ha pasado de las no-
ciones monolíticas al pluralismo conceptual y a la utilización de métodos, criterios e in-
tereses múltiples (House, 1992:43).

En segundo lugar, es necesario destacar que cada evaluador termina construyen-

do su propio modelo en cada investigación evaluativa, en función del tipo de trabajo y
las circunstancias (Escudero, 1993); por lo tanto, las perspectivas y modelos que aquí
fueron sumariamente descriptos no deberían tener un carácter prescriptivo que implique
copiarlo tal y cual fue pensado, sino más bien debe tener un carácter ilustrativo, es decir
debe ayudar a ver cómo otros pudieron resolver los problemas y eventualmente si las
condiciones lo favorecen, adecuarlo al trabajo que está llevando a cabo.

7 ¿Cuándo se evalúa? (momento)

Determinar cuál es el momento más apropiado para realizar la valoración es una

decisión que está íntimamente relacionada con las otras dimensiones básicas. Por lo tan-
to, para definir cuándo evaluar es necesario tener resueltas las precisiones anteriores
vinculadas a la finalidad, a los instrumentos, a los sujetos, etc.

15
 En el marco de este trabajo, la evaluación se desarrolla a lo largo de todo el pro-
grama de formación, pero hay cuatro momentos claves. El primero se produce al iniciar
el programa, el segundo, durante el proceso, el tercero, al finalizar y, el cuarto es poste-
rior al proceso gestado en el programa. A continuación se describe cada uno de ellos:

a) Evaluación al comenzar el programa. Se evalúan el contexto socioeconómico

e institucional, los problemas identificados, las necesidades detectadas, la población ob-
jetivo, los insumos y las estrategias de acción. Para indagar este aspecto se apela a di-
versos documentos institucionales (fichas, planes de estudio, programas, información
estadística, etc.).

b) Evaluación durante el desarrollo del programa. Este evaluación implica una

revisión sistemática y permanente del proceso con el fin de mantener, modificar o pro-
fundizar las acciones. Este tipo de evaluación proporciona informaciones útiles que con-
tribuyen a mejorar el programa durante su desarrollo. Tal como acertadamente lo han
señalado Villar Angulo y Marcelo García (1991:428) “la evaluación (refiriéndose a la
del desarrollo) sirve a los sujetos directamente implicados en el proceso de formación, y
su finalidad es claramente formativa” porque permite detectar los aciertos, los errores
y las dificultades en el mismo proceso.

c) Evaluación al terminar el proceso formativo. Esta tarea se realiza ni bien cul-

mina el programa y tiene como fin valorar toda la experiencia desarrollada. Dicha eva-
luación permite detectar, registrar y analizar los resultados tempranos. Este tipo de eva-
luación “tiene como objetivo principal proporcionar evidencias objetivas, sistemáticas
y completas del grado en que el programa ha conseguido los fines que se proponía y
del grado en que se han producido otras consecuencias no previstas que, una vez cono-
cidas, son también de interés para los responsables del programa” (Cabrera,
1987:123).

c) Evaluación posterior al proceso formativo (evaluación diferida). Esta evalua-

ción se produce un tiempo después de haber acontecido el programa y tiene como fin
valorar el impacto o repercusiones que tiene el programa en la práctica. Bajo la denomi-
nación de evaluación de impacto se entiende el proceso orientado a medir a los resulta-
dos de las intervenciones, en cantidad, calidad y extensión según las reglas preestableci-
das.

BIBLIOGRAFÍA

AMAYA, R. (1994): “¿diagnóstico pedagógico o evaluación educativa?. Hacia una

clarificación conceptual y terminológica”. En Revista Investigación Educativa Nº. 23.
pp. 623-629.
ANGULO, J. y otros. (1994): Teoría y desarrollo del curriculum. Ediciones Aljibe,
350. Málaga.
BORG, W. R. y GALL, M. D. (1989): Research Evaluation. Longman. London
CABRERA, F. (1987): “Investigación evaluativa en la educación” En GELPI, E. y
CELMMAN, S (2000) y Otros: Quién evalúa a los evaluadores. Espacio de Docencia.
Universidad Nacional de Lujan. Buenos Aires.
DE MIGUEL DIÁZ, M. (1999): “La evaluación de programas: entre el conocimiento y
el compromiso”. En Revista de Investigación Educativa. Vol. 19. Nº. 2. pp. 345-348.

16
EISNER, E.R. (1985): The art of educational evaluation: a personal view. The
Falmer Press, Lewess. East Sussex.
ESCUDERO, T (2003): Desde los tests hasta la investigación evaluativa actual. Un si-
glo, el XX, de intenso desarrollo de la evaluación en educación en: Revista ELectrónica
de Investigación y EValuación Educativa, v. 9, n. 1. http://www.uv.es/ RELIEVE/
v9n1/ RELIEVE v9n1_1.htm.
FERNÁNDEZ SIERRA, J. (1994): “Evaluación del curriculum: perspectivas curricu-
lares y enfoques en su evaluación” En Angulo, J. y Blanco, N. Teoría y desarrollo del
curriculum. Aljibe. pp. 297-312. Málaga
GAIRIN SALLÁN, J (1990) Evaluación de programas de formación profesional (II par-
te). Herramientas Nro.11. pp.44-59.
HOUSE, E. R. (1994): Evaluación ética y poder. Morata. Madrid
LAFOURCADE, P. (1992): La auto-evalaución institucional en la Universidad. Edi-
torial Fundación Universidad Nacional de San Juan. San Juan.
nal. Largo Caballero. pp. 97-136. Madrid
Otros Técnicas de evaluación y seguimiento de programas de formación profesi
PARTLETT, M. y HAMILTON, D. (1977): “Evaluation as Illumination” In
HAMILTON, D. y otros (edits) A Reader in Educational Evaluation. McCutcheon
Publishing. pp. 6-22. London.
SANTOS GUERRAS, M. A. (1998) Evaluación Educativa 2. Un enfoque práctico de la
evaluación de alumnos, profesores, centros educativos y materiales didácticos. Magiste-
rio. Buenos Aires.
SCHUMAN. E.A. (1967): Evaluative research: Principles and practice in public
service and social action programs. Sage. New York.
STUFFLEBEAM, D. y SHINKFIELD, A. ( 1987): Evaluación Sistemática. Barcelona.
Paidós. MEC.
TEJADA, J. (1997): “Modelos de evaluación de programas”. En GAIRÍN, J;
TEJADA, J. (1998): Evaluación de Programas: Guía práctica para su diseño. UAB.
Barcelona.
TEJEDOR, J. (1994): Perspectivas metodológicas actuales de la Evaluación de Progra-
mas en el ámbito educativo. Revista Investigación Educativa Nro. 23 pp. 87-127
VILLAR ANGULO, L. M. y MARCELO, C (1991): “Evaluación de planes de forma-
ción para en cambio”. En ESCUDERO, J y LÓPEZ, Y.(Edits). Los desafíos de las re-
formas. Arquetipo. Sevilla.

17