Evaluación de programas de impacto social

F. Javier Islas Guzmán

Dirección de Desarrollo Curricular INITE/UNITEC
Octubre de 2007

Introducción

La evaluación es un elemento inherente a la planeación y operación de cualquier

programa (la educación, la entrega de servicios de salud o aun de nuestra propia
vida). Tanto las organizaciones como los individuos constantemente seleccionan entre
acciones alternativas basados en la valoración del grado en el cual éstas satisfacen
sus necesidades o influyen en el logro de sus metas. Esta valoración puede basarse
en conocimientos teóricos o empíricos del resultado probable de una acción dada.
Objetivamente o subjetivamente, conscientemente o subconscientemente, debemos
evaluar para poder seguir actuando.
En años recientes, los problemas han llegado a ser un reto para las instituciones. La
educación, los servicios de salud, la capacitación y una gran lista de áreas problema
han ocupado en los últimos tiempos, las prioridades en los programas de desarrollo.
Una gran cantidad de recursos han sido aplicados en el intento de resolver estos
problemas, pero todavía los esfuerzos y los instrumentos son limitados y los
problemas son grandes. Como resultado, quienes determinan cuántos recursos
humanos y materiales deberán ser empleados en apoyo de programas e instituciones
para solucionar problemas sociales, requieren de un enfoque racional para una
determinación y distribución más óptima. El desarrollo de este enfoque racional
requiere de información precisa y confiable sobre la efectividad relativa de las
soluciones alternativas para planear el uso de los escasos recursos. Esta tendencia,
reflejada en la planeación, muestra la falta de información y acuerdo concernientes a
los orígenes de los problemas y la importancia de su solución, incertidumbre acerca de
la efectividad social de las soluciones y un subsecuente interés por una evaluación
completa de las soluciones propuestas.
La evaluación de un programa no identifica por si misma las necesidades, ni establece
prioridades en la acción social; mucho menos crea los recursos necesarios para poner
en marcha los programas. Sin embargo, la importancia de la evaluación de programas
en el proceso de planeación e implementación para asegurar su éxito y continuidad no
debe ser disminuida.
Esta necesidad de evaluación y retroalimentación sistemáticas, como fundamento para
el desarrollo efectivo de los programas sociales, es lo que ha llevado a enfatizar la
evaluación diseñada, no solo para distribuir recursos y monitorear la ejecución, sino
también para proporcionar el entendimiento necesario para la modificación y selección
juiciosa de programas. El punto de coincidencia ha sido sobre los procedimientos y
metodología necesarios para adaptar el proceso evaluativo a la difícil tarea de planear,
seleccionar, implementar y modificar programas con impacto social
Una consideración importante se ubica alrededor de la pregunta ¿Qué es lo que se
evalúa? y, consecuentemente, ¿En qué contexto?
La evaluación puede ser aplicada a personas, productos o instituciones. La evaluación
de personas (candidatos a un trabajo, candidatos a un crédito, etc.) es una de las
formas más comunes de evaluación. Este tipo de evaluación tiene una larga historia

1
en las relaciones sociales y la psicoterapia, también en la selección y clasificación de
personal y en el desarrollo y uso de instrumentos psicométricos usados en estos
procesos. Por contraste, la evaluación de programas es hasta tiempos recientes objeto
de atención, y por lo menos en cuanto al estudio de sus metodologías es una nueva
área en el campo científico.
Una institución o programa tiene como una de sus metas, o aún como único propósito,
el desarrollo de productos específicos. Frecuentemente, estos productos son
materiales, tales como automóviles, libros, máquinas, etc. Alternativamente, el
producto puede referirse a algún aspecto humano: el logro de una habilidad, la
adquisición de ciertos conocimientos, educación o salud. Esta clase de “productos”
pueden considerarse también como personas que poseen ciertos atributos:
ciudadanos educados, profesores capacitados, pacientes curados, etc., en cuyo caso
la “evaluación de productos” puede ser vista como una evaluación de personas. El
punto a resaltar con esta situación es que la evaluación de un programa o institución
no es en ningún caso, lo mismo que la evaluación del producto, ya sean estos
productos materiales o humanos. Por un lado, una institución efectiva ocasionalmente
puede obtener productos indeseables, por ejemplo, un profesional “mal preparado”.
Por otro, quizás más raramente, una institución considerada de baja calidad pueda
incluir componentes de alta calidad, por ejemplo: una buena facultad o escuela en una
“mala universidad”.
Aún si un programa o institución busca el desarrollo de un solo tipo de producto, la
evaluación de productos, a pesar de ser un aspecto necesario, no es suficiente para
evaluar una institución. Una empresa puede fallar a pesar de obtener buenos
productos, porque la producción ha sido desarrollada de una forma ineficiente. De
manera similar, la evaluación de un programa de interés social necesita considerar no
sólo los resultados en términos del logro de sus metas, sino también, entre otras
cosas, su eficiencia en lograrlas. Alcanzar este último propósito puede requerir de
evaluaciones comparativas de programas alternativos; esto es, programas que han
sido diseñados para satisfacer objetivos comunes a través de métodos o
procedimientos alternativos.
En este momento es necesario señalar tanto las similaridades como las diferencias
entre la evaluación de programas y la evaluación de instituciones. Cualquier programa
diseñado para lograr objetivos dados, requiere necesariamente de algún aparato
organizacional, facilidades o instituciones que los desarrollen. Estas podrán ser, tanto
facilidades ya existentes, o facilidades proporcionadas específicamente para
implementar el programa particular. De igual manera una institución existente puede
adoptar un programa nuevo en adición a actividades ya establecidas, ya sea para
satisfacer sus propias necesidades o para alcanzar objetivos de alguna agencia
externa que ha solicitado sus servicios. En cualquier caso, la evaluación de un
programa por sí misma se traslapa pero no es lo mismo que la evaluación de la
agencia o institución asociada con el programa. Los métodos para la evaluación de
instituciones u organizaciones (compañías, fundaciones, universidades, laboratorios
de investigación o centros de investigación y desarrollo) frecuentemente difieren en
gran medida de los utilizados para la evaluación de programas. Las diferencias
pueden surgir porque las metas de una institución usualmente son más generales y
diversificadas que aquellas de un programa específico y limitado; o porque los
programas, siendo más procedimientos que entidades estructurales, son
probablemente más fácilmente terminados, modificados o replicados en nuevos
contextos; o porque los programas tienen un impacto determinado que puede ser más
claramente aislado o medido.
El término “programa” cubre comúnmente un rango considerable de clases o niveles
de programas. Dentro del alcance del lenguaje actual hay una necesidad de distinguir
programas amplios inclusivos a largo plazo, continuos, “macro” (por ejemplo: “el

2
programa de seguridad social”), de programas más específicos con duración y alcance
limitados. Este último tipo de programas representan innovaciones a programas,
tratamientos o procedimientos específicos cuyos resultados pueden ser valorados en
términos de su impacto y efectos específicos. Estos impactos específicos, en contraste
con los resultados acumulativos y múltiples de los “microprogramas” y de instituciones
continuas, normalmente, pueden ser estimados empíricamente de una manera más
fácil en periodos de tiempo específicos, en situaciones circunscritas y comparándolos
con el impacto de tratamientos alternativos; incluyendo condiciones de control o
tratamiento.

Propósitos y funciones de la evaluación

Definiciones y distinciones
“Evaluación” ha sido uno de los conceptos más discutidos en la experiencia educativa
y social contemporánea. Una de las mayores contribuciones de esta acumulación de
literatura han sido las definiciones de evaluación y terminología relacionada.
La evaluación ha sido definida y caracterizada de diferentes maneras, por ejemplo se
le ha descrito como “el descubrimiento de la naturaleza y valor de algo” (Stake y
Denny, 1969). También se le ha caracterizado por lo que se supone que hace, por
ejemplo, la evaluación intenta responder a cierto tipo de preguntas acerca de ciertas
entidades; las entidades de interés son los diferentes instrumentos educacionales y los
tipos de preguntas incluyen cuestionamientos tales como ¿Qué tan bien sirve este
instrumento a los propósitos para los que fue diseñado?; ¿Es este instrumento mejor
que algún otro?; ¿Qué hace este instrumento?; ¿El valor del instrumento es
justificable? (Scriven, 1967).
Por otro lado, la evaluación ha sido caracterizada por ser descriptiva y valorativa; es
considerada como la descripción y la identificación de los méritos y limitaciones de
algo (Stake y Denny, 1969). También la evaluación se define como un proceso que
apoya la toma de decisiones. Por ejemplo, la evaluación educacional fue definida por
Guba y Stufflebeam (1970) como “el proceso de obtención y provisión de información
útil para tomar decisiones educacionales”. Asimismo, la evaluación se ha definido
como “el proceso de indagación previo a las decisiones que van a ser tomadas, a
través de la selección de información para reportar datos útiles a los responsables de
la toma de decisiones en la selección de alternativas “(Alkin, 1969). Todavía en otra
instancia, la evaluación es considerada como el proceso de examinar ciertos objetos y
eventos a la luz de valores estandarizados y especificados con el propósito de tomar
decisiones adaptativas (Paulson, 1979).
Los roles y metas de la evaluación son utilizados también en su definición. Las metas
de la evaluación son la determinación del valor o mérito de un objeto. Sus roles son: la
evaluación formativa que se refiere a la recolección de datos mientras un programa
está siendo desarrollado, con el propósito de guiar el proceso de desarrollo y la
evaluación sumativa que se refiere a la valoración de todo el programa educacional
(Scriven, 1967).
Como puede verse el término evaluación ha sido definido de diferentes maneras
dependiendo del marco de referencia disciplinario de donde provienen, y por supuesto,
las metodologías utilizadas están matizadas por estos sesgos disciplinarios.
Por otro lado, uno de los problemas que se presenta con frecuencia es la confusión
que existe entre la evaluación y otras actividades relacionadas, tales como la
investigación, el desarrollo y la promoción. Worthen y Sanders (1973) establecen
distinciones definiendo investigación como “la actividad dirigida a la obtención de

3
conocimientos generalizables mediante la prueba de proposiciones acerca de las
relaciones entre variables, o mediante la descripción de fenómenos generalizables”. El
desarrollo se define, en el contexto educacional, como “la producción y prueba de
materiales curriculares, planes organizacionales y otros instrumentos y medios
educacionales”. La promoción incluye “la planeación, diseño y conducción de
actividades enfocadas a la aplicación del conocimiento y productos de la investigación
y el desarrollo”.
La evaluación difiere de la investigación, en que ésta pretende juzgar el valor de un
fenómeno particular, más que la obtención de conocimientos generalizables o de una
teoría referida a toda una clase de fenómenos. La evaluación difiere también del
desarrollo en cuanto que no busca producir ni desarrollar materiales educacionales y
difiere de la promoción porque no busca la difusión ni la aplicación de los productos.
La investigación y la evaluación tienen características común; sin embargo, cada una
de estas actividades puede ser particularizada y diferenciada de la otra a través de la
identificación de conceptos comúnes (Scriven, 1958). A continuación se discuten
algunos.
1. Motivación del investigador. La investigación y la evaluación generalmente
parecen ser emprendidas por diferentes razones. La investigación persigue en
gran medida satisfacer la curiosidad, la búsqueda de respuestas que expliquen
fenómenos para su control; la evaluación intenta contribuir a la solución de una
clase particular de problemas prácticos.
2. Objetivo de la investigación. La investigación y la evaluación buscan fines
diferentes, la investigación busca conclusiones; la evaluación lleva a
decisiones.
3. Leyes contra descripciones. La investigación es la búsqueda de leyes, esto es,
proposiciones de relaciones entre dos o más variables o fenómenos. La
evaluación solamente pretende describir un fenómeno particular con respecto a
una o más escalas de valores.
4. Papel de la explicación. La explicación de los fenómenos a través de la
aplicación de leyes científicas es uno de los propósitos más importantes de la
investigación, mientras que la descripción, más que la explicación, lo es para la
evaluación.
5. Autonomía en la selección del problema. El área problema es típicamente
asignada al evaluador; el investigador define sus propios problemas.
6. Propiedades del fenómeno estudiado. La evaluación intenta determinar el valor
de algo; la investigación pretende determinar una verdad científica. Excepto por
que la verdad es altamente valorada y por lo tanto valiosa, esta distinción sirve
para discriminar entre la investigación y la evaluación. Esta situación puede ser
enfatizada si la palabra valioso es tomada como sinónimo de “utilidad social” y
si “verdad científica” es identificada con dos de sus propiedades: a)
verificabilidad empírica, y b) consistencia lógica. La evaluación busca
determinar directamente la utilidad social. La investigación puede proporcionar
evidencia de utilidad social pero solo indirectamente.
7. Generalizabilidad del fenómeno estudiado. Los hallazgos de la investigación
son aplicables a fenómenos de la misma clase, mientras que los resultados de
la evaluación son específicos de la entidad o fenómeno que ha sido estudiado.

4
Cuatro marcos de referencia de la evaluación
La evaluación es un proceso presente en todas las instituciones educativas.
Continuamente se emiten juicios abiertos o encubiertos sobre individuos, programas y
políticas. Los maestros evalúan a los estudiantes, los directivos evalúan a los
profesores, también es evaluada la eficiencia administrativa. Además de la evaluación
de las personas, las instituciones educativas requieren de la evaluación de nuevos
currícula, programas, políticas, diseños instruccionales y prácticas educativas.
Decisiones basadas en la evaluación son requeridas en todos los niveles de la
organización educativa, afectando al personal y a sus actividades en cada uno de
ellos.
Un gran número de modelos conceptuales delineando varios tipos de funciones de la
evaluación, han sido desarrollados con el propósito de ayudar a sistematizar la
multiplicidad de roles que la evaluación puede tomar en la toma de decisiones
educacionales (por ejemplo: Carter, 1975; House, 1973, Steele, 1973). La meta de
tales enfoques es la de identificar los puntos cruciales en la toma de decisiones dentro
del proceso educacional. Es importante hacer notar que los modelos de evaluación no
son por sí mismos procedimientos para conducir evaluaciones (Airasian, 1974). Su
principal función es la de identificar las necesidades de información o de toma de
decisiones que deben ser consideradas al planear la evaluación. Una vez que un
enfoque particular es seleccionado como guía, el evaluador deberá enfrentarse a
problemas tales como la identificación de instrumentos para la recolección de la
información, selección de muestras y análisis de datos. En suma, los enfoques de la
evaluación sugieren qué decisiones necesitan tomarse, pero no cómo tomarlas.
Los cuatro enfoques a ser descritos han sido seleccionados en términos de su
relevancia en el campo educativo y particularmente por su potencialidad en la
evaluación de programas educacionales.

5
 COMPARACIÓN DE CUATRO MODELOS DE EVALUACIÓN*

Scriven Stake Provus Stufflebeam

Registro y comparación de Descripción y valoración de un Comparación de la ejecución Definición, obtención y uso

Definición de los datos de la ejecución con programa educacional con los estándares de la información para la
evaluación una escala ponderada de las toma de decisiones
metas

Establecer y justificar el Describir y juzgar programas Determinar el mejoramiento, Proporcionar información

mérito o el valor. La educacionales basados en un continuación o terminación de relevante a los decisores
Propósito
evaluación tiene muchos proceso formal de indagación un programa
roles

Comparación de la ejecución Recolección de información Identificación de las Producción de reportes

o producto con estándares, descriptiva de varias discrepancias entre estándares evaluativos usados para la
Énfasis
metas u objetivos, audiencias y ejecución usando un enfoque toma de decisiones
previamente establecidos grupal

Formativa Formal e informal Diseño Contexto

Sumativa Instalación Insumo
Tipos de
Comparativa Proceso Proceso
evaluación
Producto Producto
Costo

Responsable de juzgar el Especialista interesado en la Miembro de un equipo que Especialista que

Papel del mérito de una práctica recolección, procesamiento e participa en el mejoramiento y proporciona información
evaluador educacional interpretación de información administración del programa evaluativa a los decisores
descriptiva

6
 1. Debe estar basada en 1. Debe ser panorámica, no
las metas microscópica
2. Debe indicar valor 2. Debe incluir información
descriptiva y valorativa
3. Debe tener un enfoque
Criterios para holista 3. Debe proporcionar
juzgar la respuestas inmediatas
evaluación para la toma de
decisiones
4. Debe ser formal (objetiva,
científica, confiable)
*Adaptado de Worthen y Sanders (1973).
1. Involucramiento del equipo 1. Validez interna
2. Asumir correspondencia de 2. validez externa
uno a uno entre el diseño y
3. Confiabilidad
la solución
4. Objetividad
3. Comparar la ejecución
contra los estándares como 5. Relevancia
un instrumento para el 6. Importancia
mejoramiento
7. Alcance
4. Retroalimentación periódica
8. Credibilidad
9. Eficiencia
7
En suma, es útil puntualizar los aspectos particulares de cada uno de los modelos,
cada uno refleja los antecedentes y preocupaciones de sus autores. En todos los
casos el papel de los objetivos es prominente. En todos los casos es reconocido que
resultados pobres son debidos frecuentemente a diferencias entre las intenciones y las
prácticas y en todos los casos, la última palabra en la determinación del valor se basa
en el juicio humano.

Referncias
Airasian, P. W. (1974) Designing summative evaluation studies at a local level. En W.
J. Popham (Ed.), Evaluation in education. Berkeley, California: McCutchan.
Alkin, M. C. (1969) The use of behavioral objectives in evaluation, relevant or
irrelevant? Trabajo presentado en la 18th Annual ETS Wester Regional Conference on
Testing Problems. San Francisco.
Carter, W. E. (1975) A Taxonomy of evaluation models: use of evaluation models in
program evaluation. Trabajo presentado en The Annual Meeting of the American
Educational Research Association, Washington, D. C.
Guba, E.G. y Stufflebeam, D.L. (1968) Evaluation: the process of stimulating, aiding,
and abetting insightful action. Ponencia presentada en el 2th Phi Delta Kappa National
Symposium for Proffesors of Educational Research; Boulder, Colorado, Noviembre.
House, E. R. (1978) Assumptions underlying evaluation models. Journal of Educational
Research, 1978, 71, 4-12.
Paulson, C. F. (1970) A Strategy for evaluation design. (1970) Mammouth, Oregon:
Teaching Research.
Popham, W. J. (1975) Educational evaluation. Englewood Cliffs, N. J. : Prentice Hall.
Provus, M. M. (1971) Discrepancy evaluation for educational programs improvement
and assessment. Berkeley, California: McCutchan.
Scriven, M. (1958) Definitions, explanations, and theories. En H. Feigl, M. Scriven y G.
Maxwell (Eds.), Minnesota studies in the philosophy of science, Vol. II Minneapolis,
Minn.: University of Minnesota Press.
Scriven, M. (1976) The methodology of evaluation. En R. E. Stake (Ed.), Currriculum
evaluation. Monograph series on evaluation 1. American Educational Research
Association, Chicago: Rand McNally.
Stake, R. E. (1967) The countenance of educational evaluation. Teachers College
Record, 1967, 68, 523-540.
Stake, R. E. y Denny, T. (1969) Needed concepts and techniques for utilizing more
fully the potential of evaluation. En R. W. Tyler (Ed.), Educational evaluation: new
roles, new means. The 68th Yearbook of the National Society for the Study of
Education, Parte II. Chicago: University of Chicago Press.

Steele, S. R. (1973) Contemporany approaches to program evaluation and their

implications for evaluating programs for disadvantaged adults. Syracuse, New York:
ERIC Clearinghouse on Adult Education.
Stufflebeam, D. L.; Foley, W. J. ; Gephart, W. J.; Guba, E. G.; Hammond, R. L.;
Merriman, H. O. y Provus, M. M. ( 1971) Educational evaluation and decision making in
education. Itasca, Illinois: Peacock.

8
Stufflebeam, D. L. (1974) Alternative approaches to educational evaluation. En D. L.
Stufflebeam (Ed.), Evaluation in education: current applications. Berkeley, California:
McCutchan.
Worthen, B. R. y Sanders, J. R. (1973) Educational evaluation: theory and practice.
Worthington, Ohio: Charles A. Jones.