Está en la página 1de 10

Evaluación segmentada de los

programas educativos.
Una propuesta metodológica

Gustavo Rosales Estoada*

Segmented Evaluaüon in Educaaon de actividades institucionales sin relación con un produc*


Programs: A Methodological Opdon to deseado, y en otras, aún teniendo puesta la mirada en
Abstract. The evaluation ojprograms is donefrom alguna finalidad definida, no es posible encontrar un pro
manyperspeclim ndñchfnqusntly appear to be ceso racionalmente programado y, por consiguiente,
contradiclory and incompatible. An ana^sis oJ real evaluable.
evalnations and thtorttical studies shows íhat contents Un programa realizado por una institución con objeti
andpHrposts of iJjt evaluation areradicai^different, vosespecífiras, es un procesoque presentainevitablemente
henee thecondusions and mtílMdologf used cannot be cuatro seguemos secuenciados: definición, diseño, ejecu
idéntica/. The workpartíJrom the basic assnmption ción y condusión. Los dos primeros reflejan una primera
that the nsnils of anevaluation areakeady conditioned fase cuyo producto es la redacción de un documento que
ly itsplanning and, consequentl/, we ideníifgfour major actuará como guíahaciael futuro y los otros dos represen
segments of anyprogram, eacb one being divided into tan la realización de las propuestas cuyo producto es el
Chirteenparts, all of whié contain distinct aims, cambio de la realidad. En función de este análisis apare
contents, methods and agents. The mcfoñty of the cen roles distintos si se trata de programar (elaborar el
conceptual conflicts are caused by the uáiisyttion of programa) o de evaluar (juzgar el programa) y, en conse
differentparts of anafysis during the emhtadonprocess. cuencia, aparece la posibilidad o la necesidad de equipos
especializados en cada fase.
a evaluación de programaseducacionales La actividad de valorarproyectos educatiros se compli

¿L
1*1
^
tiene ya una gran historia (Shadish et al,
1991; Guba y Lincoln, 1989). La gran
. cantidad de libras, artículos e informes relaciona-
' dos con la valoración de programas educativos
ca cuando existenplanes bien elaborados y seriamente eje
cutados, porque cada segmento se divide en partes que
suponen unidades bien delimitadas y definidas y, por tan
to, exámenes correspondientes con rasgos específicos. La
muestran el gran interés por este campo y aseguran su mayoríade los conflictosconceptuales entre los evaluadores
potencial futuro. Sin embargo, la evolución ha sido tan tienen su origen en que se toman como referencia partes
desordenada como r^ida, lo que liaprovocado conflictos diferentes y se juzgan factores internos de cada una de
^tre los evaluadores y las respuestas prioritarias a lo que ellas que difieren muclio entresí. Quizá el mayor obstácu
el cliente o la audiencia demandan, con olvido del senbdo lo para un eraiuador de programas sea d desconocimien
básico de ésta. tode cómo se programa y decómo se lleva a lapráctica un
Los evaluadoresde programaseducativosse encuentran cambio. Nada má.s absurda que una apreciación interna
muchas veces con el hecho de que no tienen, pese a ser de un programa realizada por un equipo que no ha pro
requeridos para ello, un programa qué evaluar. En algunas gramado previamente su ejecución. Valorarun cambio no
ocasiones el objeto de estudio aparece como un conjunto puede confundirse con evaluar un programa porque las
'Pajea Catán 51¡ Sur. CaL Maáina. ToAini, Ejmáa deMéxico. C. P. SOISO. diferencias van más allá de la intencionalidad.
Tet^om (72) 173>44X. La estimación de cada sección se construye sobre un

CtEIICJA CitdO aUM


Evaluación Segmentada Programa Educativo

contenido preestablecido (viabilidad, estrategias o medios 1. Evaluación de necesidades


desoporte); una finalidad (tomar decisiones, juzg^ir uncom Esta evaluación tiene varios propósitos íil juzgar las nece
promiso, aprender) cerrada la mayoría de las veces por el sidades que pretende satisfacerel programa. Esencialmente
propio programa; un momento de realización (que condi trata de tmalizar: a) los objetivos de la búsqueda de necesi
ciona su vídor correctivo) y una audiencia (quiénes inter dades y de conclusiones alcanzadas; b) el plan de trabajo
vienen), lo que implica posibilidades de utilización y la utilizado para descubrirlos errores cometidos en el proce
exigencia de un tratamiento adecuado. A partir de aquí so o en el método; c) los obstáculos encontrados por los
pueden construirse los entramados de la evíduación con programadores, las condicionantes aceptadas y sus efec
algunas alternativas libres pero con otras muycondiciona tos en las conclusiones; d) el componente de riesgo que
das: quién debe evaluar (interno, externo o mixto); cómo implican las conclusiones en las decisiones del diseño; e)
(basada en objetivos, libre, con controles sccuenciados tem la relación costo-beneficio frente a un diagnóstico de ne
porales,descriptiva,centrada en el usuario experimentad) y cesidades intuitivo sin importe significativo; f) el aprendi
con qué tipo de tecnología (observación, escalas, análisis zaje de tecnología de uso múltiple logrado por los progra
de documentos). Todos ellos son los aspectos habituales madores, y g) el papel del equipo de gestión en la identifi
de conflictos, como si se tratase de las piedras angulares cación y la selección de necesidades.
de la evíduación de progr;imas. El modelo de cv;duación La consideración de estas últimas en el diseño de pro
de programas educativos es siempre consecuencia de los gramaseducativos debe ser entendidaen el sentido de pre
cuatro componentes definidos para cada parte (contenido, tender establecer la utilidad de la evaluación previa del
finalidad, momento y audiencia) y de los estilos de trabajo equipo. La mayoría de quienes trabajan en este campo lo
del evaluador yde quienphuiifica. Estos componentes poco hacen en el sentido de diagnóstico para la planificación
estudiados en la literatura técnica son, en definitiva, los {need assesíment), es decir,de identificación, valoración y se
diferenciadores de los prognimas y de sus correspondien lecciónde los requerimientos para poder, sobre ellos, cons
tes evaluaciones. truir el programa. Se trata de un proceso de metae\'aluación
que juzga el método, los procesos seguidos y que permite
I. Evaluación de la definición del programa emitir juicios sobre los aspectos considerados o no ante
riormente. La diferencia no es sólo de una perspectiva tem
La primera tarea cuando se elaboraun programaeducati poral sino también de metodología y de contenido.
vo es definirlo. Sin una buena definición no puede cons El modelo de recolección de datos deberá incluir: a) el
truirse un buen prognima. La evaluación de este segmento diseño del sistema de recolección de datos (fuentes y pro
se centra en la determinación de los requerimientos que cedimientos, muestras seleccionadas de las fuentes, ins
pretende cubrir y la identificación del grupo de personas trumentos y técnicas, tareas incluidas en cada técnica y
que las presentan. La conexión de las necesidades y los gestiones establecidas); b) la recolección real de informa
beneficiarios refleja la validez del programa globalmente ción (cómo se ha hecho la aproximación y observación de
considerada, pues cualquier manipulación falsea necesa la realidad,cómo se ha recogido la información y cómo se
riamente su desarrollo y sus efectos. han inventariado los casos); c) el registro de la informa
Como las personas y los programas no existen en el va ción recolectada (instrumentos usados y sistema utilizado
cio, la evaluación de este segmento necesita fijarse en el para establecer relaciones entre los datos).
contexto, es decir, en todo aquello que se interrelaciona La identificación de las necesidades se realiza apoyán
con las personas y que condiciona sus necesidades. dose en la interpretación de la información obtenida. Hay
Los programas son procesos dinámicos que en el trans que reconstruir cómo se llevóa cabo el proceso de identi
curso del tiempo se van modificando de tal manera que al ficación en relacióncon distintas audiencias que represen
concluirlos es frecuente que el documento inicial sea sólo tan diferentes puntos de vista,es decir,posiciones en con
un dato histórico. Además, se perciben de forma distinta flicto que afectan los fines, estrategias y utilización de re
entre quienes los crean, y por quienes los ejecutan, por los cursos. El evaluador tiene que descubrir el proceso, cómo
especialistas técnicos, por los directivos responsables de surgieron las distintas opciones y cómo fueron incorpora
su gestión, por el cliente que los subvenciona, por los be das o excluidas hasta su definición última.
neficiarios y por los ciudadanos no implicados en sus El evaluador debe entender que existe una traducción-
beneficios. Pero, sobre todo, los planes se elaboriui a veces adaptación de las necesidades para incluirlas en el progra
con ambigüedades, imprecisiones y con descripciones ge ma como consecuencia de factores adicionales, entre los
nerales de la intervención y de los objetivos o intenciones. que se encuentran los conocimientos e intereses de los
A partir de estos supuestos la evaluación del programa es miembros del programa, la tecnología disponible y el fi-
casi una misión imposible. nanciamiento obtenido. Todas estas dificultades de diag-

CIENCIA ERGO SUM


C I E N C I A S

Estimar el contexto exige un análisis longitudinal de la


situación en la que se ha creado y desarrollado el progra
ma. Si la evaluación se hace cuando éste ha concluido, los
datos actuales permiten disponer de una panorámica que
no tenían los programadores.
7 1
La definición del contexto es compleja debido a que éste
no es algo establecido, sino que se define de acuerdo con
lo que los programadores desean conocer para diseñar sus
acciones. Las personas cuyas necesidades trara de cubrir el
programa determinan el contexto en función de sus múlti
ples interacciones, por lo que es necesario establecer dis
tintos factores de análisis (Sommer, 1969; Hernández el
ai, 1985, Canter y Stringer, 1978, Moos, 1973).
Un buen modelo es aquel que se basa en la teoría gene
ral de sistemas, que presupone que el contexto se estruc
turaa partirde varios elementos: físico, social, organizativo
y de relaciones interpersonales.
El sistema físico tiene un sentido geográfico y se con
creta al área en la que los beneficiarios y agentes viven, se
trasladan diariamente y realizan sus actividades.
El sistema social constituye la parte del contexto más
activa y, por lo tanto, la que proporciona el mayor número
de interacciones. Este factor agrupa múltiples subsistemas
nóstico que enfrenfim los programadores obligan a la eva (laboral, político, religioso, administrativo, entre otros) que
luación cuidadosa de: interactúan entre sí de manera compleja, cada uno com
a) El análisis preliminar de la información recogida (qué puesto por múltiples variables en tanto que existarelación
cuestiones se ha planteado, cómo se ha explorado ésta en entre ellas y afecten, a través de una cadena causal, a las
forma global, cómo se ha organizado y estnicturado y cómo necesidades que pretende cubrir el programa.
se ha wilorado la calidad de dicha información). El sistema organizativo tiene una dimensión cercana,
b) El análisis de necesidades identificadas ^os resulta centrada en la institución que va a ejecutar el programa, y
dos deseados por las personas; las necesidades primarias otra más lejana constituida por la red de organizaciones
satisfechas y las no satisfechas; las necesidades secunda que interactúan sobre el programa. Éste refleja la interco
rias y los puntos fuertes y débiles para resolverlas). nexión del plan con las organizaciones (administración
c) El análisis de propuestas ofrecidas por los interesa central, partidos políticos, sindicatos, iglesia, empresas,
dos (los criterios establecidos por los programadores para ayuntamientos, centros,de formación, por mencionar sólo
valorar propuestas implícitas o explícitas recogidas lasprio algunos) que influyen a través de su estructura (al
ridades de las propuestas señaladas por los interesados). jerarquizar las decisiones), de su formalización (al estable
La valoración y la selección de necesidades es un proce cer normas), de su cultura (al aceptar valores y principios)
so convergente que termina con la integración y síntesis y de su conceptuación técnica (al imponer la metodología
de todos los datos obtenidos anteriormente. o los materiales). No puede olvidarse que un programa
El evaluador debe estudiar minuciosamente el análisis está al servicio del entorno (Ansoff, op. at!).
de requerimientos para comprobar si se ha llegado a de El sistema de relaciones interpersonales agrupa a las tran
mandas seleccionables de una forma válida. sacciones poco estructuradas y continuas que no encajan
en los tres sistemas anteriores. Amigos y familiares esta
2. Evaluación del contexto blecen relaciones que amplían los campos de acción y
Los programas educativos tienen un carácter comunitario, modifican las transacciones; los habitantes de la población
lo que implica que van más allá de la satisfacción de las viajan, establecen contactos y reciben influjos de otros
necesidades individuales e interactuan con la vida familiar, puntos geográficos, o alguien no integrado en la asocia
económica y social de la población. ción y colaborador del programa se erige en líder espontá
La evaluación del contexto o entorno consiste en eva neo de un grupo de beneficiarios. Es el sistema más difícil
luar los problemas que existen para cubrir las necesidades de delimitar,por ser esencialmente dinámico, con una crea
de las personas (Ansoff, 1985; Coyne y Clark, 1,981). ción constante de desequilibrios.

1 O CIENCIA ERSO SUM


Evaluación Segmentada Programa Educativo

3. Evaluación de la viabilidad grama. Puesto que la educación tiene recursos financieros


La evaluación de la definición del prognuiva tiene su as limitados y escasa flexibilidad para adaptarse a una activi
pecto más crítico en el examen de los objetivos y de la dad organizada por pliincs, es necesario analizar y obtener
viabilidad del mismo para su logro. /Vmbos conceptos, respuestas positivas de tilgunas cuestiones básicas, de otra
objetivos y viabilidad, estíin estrechamente unidos porque forma se pondría en peligro el éxito del programa.
el objetivo es una decisión libremente tomada que estable d) La viabilidad de gestión valora si estaba ganuifizado
ce un nivel de expectativas y determina al prognmva. 'líin el desarrollo del programa desde su comienzo hasta su
absurdo es establecer objetivos sin un prognuna viable, fin. La viabilidad de gestión será posible si existe un equi
como diseñar un programa sin objetivos. po responsabilizado de ella que prognune su actividad y
La valoración de la viabilidad (factibilidad) es una eva actúe con mecanismos paralelos pero diferenciados de
luación í.Ví7«/eque adoptados versiones correspondientes aquellos que tienenlos técnicos del prognuna. El evaluador
a dos momentos del proceso programador. Una tiene ca debe juzgar aquí la capacidad del equipo para actuar en Su
rácter general e hipotético y la otra concreto y real. La medio y tratar de responder algun;us cuestiones como: ¿tiene
primera versión consiste en comprobar que el equipo pro capacidad de organización interna, de relaciones externas
gramador baya tenido en cuenta los requisitos técnicos, y de dirección de personal?, ¿dispone de apoyo adminis-
sociales, políticos, económicos, financieros y de gestión tratiru, legal y humtino por sí mismo o en la institución?,
que el programa necesita de acuerdo con los fines estable ¿responde el programa al marco legal y a todos los requi
cidos y las necesidades y problemas seleccionados. Aun sitosadministrativos?, ¿tienecapacidad de maniobrar?,entre
que un programa con poca viabilidad no debe ser iniciado, otras preguntas.
las presiones o la fiüta de tiempo hacen olvidar este paso,
situación que puede generar consecuencias funestas. La II. Evaluación del diseño del programa
segunda se realiza sobre la estrategia y el diseño, y debe ser
ajustada y detalladapues constituirá una pieza esencial para El segundo segmento lo constituye el diseño del progra
la evaluación final. ma,que parte de los objetivos fijados en su definición. Tal
La principal dificultad en la evaluación de la viabilidad diseño describe los pasos que se deben realizar y termina
radica en que las variables utilizadas por los programas en el punto en que los objetivos se convierten en resultados.
educativos suelen ser en su mayoría de las llamadas "blan El evaluador se encuentra ante el diseño de un proyecto
das", las cuales se caracterizan por tener una grtm carga de con tres factores básicos sobre los que tiene que tomar
intenciones. Si a esto se añaden las imprecisiones del pro una postura: partir de una ideología sin valores o con valo
grama y el carácter asistenciíd de la acción educativa y so res dados, actuar desde su propia visión o desde las pers
cial, el análisis de la viabilidad puede quedar en algo su pectivas de los responsables del programa con el significa
perficial. do que los datos y las acciones tienen para ellos y obtener
Aunque cada programa exige tratamientos distintos en información sobre los efectos del plan. En estos tres fac
función de su definición y complejidad y con independen toresla primeraalternativa representa la visión del investi
cia del uso de un modelo global, la evaluaciónde la viabi gadory la segunda la del evaluador, eminentemente prác
lidad debería cubrir cuatro factores diferenciados: tica y orientada a la acción inmediata. La evaluación del
a) La viabilidad técnica para la solución del programa, diseño del programa se identifica porque está orientada a
que debe ser dominada por el equipo ejecutor. El análisis algún tipo de decisión y con un propósito individualizado
de los programas sociales muestra, en su gran mayoría, la (Isaac y Michael, 1990). Tal valoración es un proceso
carencia de este paso (Muro, 1975; Solomon, 1970; creativo, como lo es su elaboración, e implica la interven
Goodman, 1988). cióncombinada de otros modelos ideales que se entrecruzan
b) La vialidad social y política es un equilibrio de pode para alcanzar una fórmula fimil én función de las limita
res. Cuando los objetivos y la filosofía de un programa ciones prácticas y éticasde la realidad. Cuando los progra
educativo han sido impuestos es probable que las entida madores seleccionan una estrategia, h;m creado previamente
des o los mismos grupos de beneficiarios generen meca otras con los elementos posibles cuya combinación puede
nismos defensivos que hagan inviables las reformas. Del producirlos mejores resultados. Por ello, el evaluador tie
mismo modo, un programa basado en demandas popula ne la necesidad de reconstruirlas y plantear otras alternati
res que no cuentan con el apoyo de quienes tienen el po vas. Al mismo tiempo, la diversidad de datos obtenidos en
der de decisión o la misión de ejecutarlos, encontrará obs la población atendida u otras acciones del plan pueden
táculos políticos en su camino. sesgarla interpretación final si no se pone un cuidado es
c) La viabilidadeconómico-fmanciera supone que se dis pecial en reconstmir paso a paso el proceso seguido por
pone del presupuesto necesario para la realización del pro los programadores y las relaciones causales establecidas.

. « NiiHciio Uno. Makzu.Jvuio 1999 CIENCIA ER60 SUM 11


1. Evaluación de la estrategia ciencia, establece diseños con un alto nivel de detalle pero
La estrategia del programa es la principal preocupación siempre contíuido con elementos controlables internamen
del programador cuando comienza el diseño. Ésta consti te. Sus fallos aparecen cuando intervienen elementos no
tuye el curso de acción organizada que el plan necesita controlados del entorno, situaciones de incertidumbre o
para alc;mzar sus objetivos. Hay que partir de ella para componentes humanos "irracionales".
comprender al programa globalmente porque es, en defi El tercerenfoque lo constituyen lasestrategias adaptativas
nitiva, la clave que permite el cambio desde el estado ac- o innovadoras, poco usadas en el área social. Se basa en tres
tuíil al futuro. Sin tácticas adecuadas no hay transforma supuestos: a) lo importante no es el producto previamente
ciones. Igualmente, sin estrategia no hay programa, sólo fijado, sino el proceso que establece el plan; b) la táctica
un conjunto de acciones intuitivas enlazadas. debe estar concebida para que no produzca fiülos, general
La evaluación es especialmente compleja debido a las mente introducidos por quienes la ejecut;m; c) el modelo
implicaciones del entorno. El evaluador debe considerar, de estrategia depende del conocimiento del futuro (según
al menos, dos factores; los grados de certidumbre e ignorancia) y, en consecuen
a) El proceso de creación y selección del procedimiento cia, de la capacidad de reacción ante los acontecimientos.
con una gran contribución creativapara imaginar distintas El enfoque adaptativoes una respuesta al cambio (inter
soluciones, incluir en ellas elementos nuevos y soluciones no o externo al programa) por el que el procedimiento
no conocidas. reacciona con varios mecanismos para mantener el nivel
La evaluación de este complejo proceso exige el análisis de logro previsto. Utiliza la flexibilidad para modificar la
de tres elementos independientes, algunas veces enlaza capacidad de respuestas, la adaptación de personas o
dos y a veces contradictorios. El primero es la institución la transformación de los métodos. Potencia la motivación
que desarrollael programa, pues la realidad demuestraque de las personas como un mecanismo para lograr los obje
los resultados, la tasa de innovación, la inversión en nueva tivos a partir de incentivos o de un buen clima humano,
tecnología y formación, la capacidad de esfuerzo y el tra evitando medios negativoso sancionadores. Busca el com
bajo en equipo se reflejan en los programas que diseña promiso de quienes, de una forma u otra, intervienen en el
(Martinet, 1983; Ansoff et al., 1976).El segundo es el en programa. Por ello, la selección de los miembros es esen
torno en el que se va a desarrollar el programa y, dentro de cial, de manera que tengan objetivos comunes, valores
éste, el nivel de inestabilidad y turbulencia que da lugar a compartidos y un trabajo real de equipo.
cambios que modifican las variables que los programado
res manejan (Ackoff, 1970;Johnson y Scholes, 1984; 2. Evaluación de la estructura de las actividades
Steiner, 1979); el tercer condicionante son los costos, ya La estructura de las actividades en el diseño se evalúa a
muy introducido a través del uso de las técnicas de costo- través de varios componentes interconectados: tareas sig
eficacia y costo-beneficio utilizadas en el campo social. nificativas en cada grupo de actividad, productos que de
b) El enfoque de la estrategia que supone para el ben ser alcíinzados, tiempo previsto para realizarlas y
evaluador un atractivo ejercicio de análisis predictivo, que aceptabilidad del diseño.
le permitedescubrirla mentalidad de los programadores y Las tareas y las relaciones significativas representan las
pronosticar cuál será el progreso, los contratiempos y los actividades obligatorias paraalcanzarun objetivo. Un pro
resultados del programa. Este enfoque centra su preocu grama puede ser muy minucioso y detallado o dejar una
pación en los recursos económicos, debido a que con ellos amplia libertad a los que tienen que aplicarlo en función
se consiguen todos los demás medios. Cuando no existen de su nivel profesional,de las normas de la institución o de
recursos ilimitados, como es habitual, la estrategia puede la necesidad de coordinación interna. La libertad en el di
fracasar porque no se cumplen los plazos (por falta de seño de las tareas implica más satisfacción ymenos ayuda,
tecnología o de organización); esto es porque el costo total aunque siempreexiste la referencia permanentedelefecto
real es muy superior al previsto inicialmente (ya que no se que se logra con su realización.
partió de un estudio fiable) o porque los resultados están Los resultados que deben ser alcanzados son la esencia
alejados del diseño previo. del diseño y representan la culminación de un grupo de
Un segundo tipo de táctica pertenece a un enfoque actividades. Las tareas pueden no estar precisas y dejar-
optimizador, que exige hacer las cosas lo mejor posible. libertad para establecerlas, pero los productos tienen que
Parte de que la estrategia puede no funcionar y establece aparecer perfectamente definidos. En cualquier diseño hay
sistemas de control para identificar los fallos, pero no in productos intermedios y finales que deben estar encade
cluye reacciones ante lo inesperado, es decir, no puede nados, secuenciados y siempre relacionados con la finali
aprovechar oportunidades que se presentan para mejorar dad del programa.
los resultados. Este punto de vista, preocupado por la efi El tiempo para la realización de las actividades es uno

12 CIENCIA ERGO SUM Un».


Evaluación EOMENTADA DE LOS Programas Educativos

de los facrores que presentan maytjrcs discrepancias du- Laconcordíincia y la compatibilidad de los medios es la
ninte el procesn de intervención y que provoca graves característica más difícil de descubrir. No sólo deben res
obstáculos. El evaluador no debe entrar en la justificación ponder a las actividades sino también al enfoque y a la
técnica de los tiempos en cada grupo de actividades, a diniímica establecidos por la estrategia y ser congruentes
menos que sea una exigencia explícita del cliente y que con los demás medios o, al menos, no provocar
cuente con los especialistas necesarios. La calidad del fac disfunciones. El evaluador juzg;i el progrjima en su con
tor tiempodepende, muchas veces, de variables ajenas a la texto y, por fanto, la consomincia y la compatibilidad de
estructura del programa, pues la incertidumbre en las de cualquier medio es exigible con el conjunto de los progra
cisiones políticas, la rutina administrativa o la carencia de mas con los que se interrelaciona y, en especial, con los
medios adecuados son elementos que condiciontin la se medios utilizados por la institución. Supondría una
cuencialógica de un prognimíiy, en consecuencia, su mag ineficiencia usar medios diferentes si existen otros
nitud temporal. El aprendizaje de una unidad didáctica no infrautilizados o cuya falta de aprovechamiento puede pro
puede programarseen un número exacto de horas sin co vocar conflictos. Paralelamente no puede desecharse que
nocer el nivel real de los estudiantes y de no haber experi el empleo de otros elementos puedeser un apoyo a la inno
mentado las actividades en tiempo real. vación institucional y, además, puedeapor^ar otras ventajas.
El diseño de tarcas es una actividad compleja que debe La adecuación de los instrumentos a los objetivos exige
considerarmuchos factores para decidircuáles el plantea el análisis de tres componentes: la cantidad necesariapara
miento adecuado para conseguir los objetivos. Piénseseen la acdvidad, la calidad en función de los productos y el
un programa curricular y aparecerán una gran cantidad de costo como la mejor relación posibledel producto con la
variables difíciles de dominar; ¿existe un análisis de las cantidad y la calidad seleccionada.
necesidades familiares?, ¿cuál es el grado de coordinación La disponibilidad de los medios en el momento preciso
entre los profesores para hacer un programa coherente?, es uno de los fallos más habituales de los programas so
¿cómo se acepta la reforma educativa?, ¿quienes están de ciales. El diseño debe precisar cuándo, dónde y en qué
acuerdo con que el constructivismo sea una buena teoría condiciones debe disponersedelbieny, en la medida en que
de aprendizaje y cuántos son capaces de saber enseñar sea necesario, establecer un mecanismo adicional para
basados en él?,¿deacuerdo con qué metodologíase traba queestaoperación forme un subprograma. Ladisponibili
jará en cada ciclo y en cada materia?, ¿quién se dad supone que el proyecto debe incluir la adquisición,
responsabilizará de las decisiones de programación?, ¿tie mantenimiento y renovación de todos los recursos y el
ne esKi persona la preparación técnica paratomarlas?, ¿qué análisis de los riesgos que pueden provoctir su incoheren
víüor tienen los conocimientos científicos en la decisión? cia, inadecuación o no disponibilidad.
Parte de los desajustes en la ejecución se evitarán si el Aunque cada plan exige unos medios específico.s, el
programa se traza con la colaboración de quienes van a evaluador necesita analizar por separado cinco grupos: a)
ejecufarlo. Hay que considerar que una parte de los com medios físicos, constituidos por los equipos e instalacio
ponentesdel plan v;i a ctimbiar a lo largode su ejecución y nesnecesarias para el desarrollo de laestrategia; b) medios
construirelproyecto sin incluirestecondicionante es,cuan organizativos, formados por la estrucmra propia del pro
do menos, arriesgado. La excesiva rotación de personjil, grama que permita su realización (sistemas de comunica
incluido elequipodirectivo, da lugara variaciones tangran ción, de decisión, de responsabilidad y de operatividad de
des que no se puede afirmar que se trate del mismogrupo los otros procesos,como la tusignación de funciones y los
que ctjmenzó. La misión del exfaluador le obliga, si acepta procedimientos de solución de problemas; c) medios tec
el cargo, a reformular el programa permanentemente de nológicos, que agrupan a los métodos, técnicas e instru
acuerde; con los grupos que trabajan en él. mentos aplicados al programa; d) recursos humanos, con
formados por el personal adecuado (cantidad, especializa-
3. Evaluación de los medios de soporte ción de conocimientos, actitudes, flexibilidad, capacidad
Los factores otgíinizativos, la tecnolo^a, la información, de integración), y e) medios culturales normativos, que in
los equiposhumtinos, las políticas de mercado o la cultura cluyen los valores, creencias y principios que sirven de
empresarial no son valicísos en sí mismos sino sólo como guía al programa,así como las medidas legsiles o normas
consecuencias de combinacionesespecíficas. El evtduador internas que permiten regular las relaciones, los flujos o
necesita valorar los mediejs en conjunción con la estrate los procedimientos entre las personas o los grupos.
gia y las actividades para comprobar que en conjunto y
por separado responden a unas mínimas exigencias: co 4. Evaluación de la evaluabiiidad
herencia y compatibilidad, adecuación a los objetivos y Es el estudiode la conveniencia ynecesidad de evaluarun
disponibilidad. programa en función de su costo, las barreras que pon-

Vui. $ NUMiao Umii. MAN^n.^iNK CIENCIA EROO SUM 13


drán los miembros del prognimu o la nula utilización de III. Evaluación de la ejecución
los resultados obtenidos. Este enfoque es poco utilizado y
se sitúa en el segmento de ejecución o al menos como un Con el diseño termina la elaboración del programa. Lo
paso previo a él, no en el de diseño. evaluable ntj es,a partirde aquí, sólcj un grupo de hipóte
En nuestra interpretación, la evaluación de la sis y propuestas de cambio, sino hechos que suceden en la
evaluabilidad se realiza esencialmente sobre el diseño,pues práctica. La evaluación en este segmento exige el segui
to que lo que se juzgaes la calidad potencialdel programa miento, paso a paso, de la revilización y la existencia de
a través de un conjunto amplio de requisitos que determi controles y registros que permiran el análisis posterior de
nan que un programa educativo sea o no examinableen el lo sucedido.
futuro. El juicio sobre la evaluabilidad en esta fase de dise Laevaluación de laejecución es esencialmente formativa
ño, previa a la de ejecución, implica un análisis sumativo parael equipo que implementa el programa, porque tiene
en algunos casos, pero formativo en la mayoría,dado que como objetivo la revisión permanente de su intervención
las aportaciones del informe ayudan a establecer correc para ajustaría al diseño y a los condicionantes de la reali
ciones en el diseño, antes de pasar a su ejecución. Sin em dad. Puesto que la ejecución es una acción dilatada en el
bargo, el informe sobre la evaluabilidad posterior a la eje tiempo y re;ilizada por más de una persona, es imprescin
cución es exclusivamente sumativo porque se realiza en dible, desde que comienza el trabajo, la utilización de re
función del proceso de seguimiento realizado, los contras gistros con losdatos más significativos. Es la única forma
tes entre lo diseñado, lo ejecutado y los efectos directos de establecer una memoria fidedigna de las decisiones y
del programa. Los juicios sobre la evaluabilidad efectua los cambios paraevitarque se introduzcan distorsiones ex
dos a posteriori aparecen inevitablemente cargados de as postfació debidas al análisis y al ajuste que los miembros
pectos negativos y provocados por los desajustes con la del equipo realizan en el programa. El equipo evaluador,
realidad y, al no ser utilizados para una acción correctora, por su parte, también debe establecer registros si la eva
los propios evaluadores tienden a ser poco precisos y sus luación es paralelay en tiempo real, con sus propios crite
observaciones de dudosa utilidad. rios para el control de aspectos específicos. La recolección
Los elementosque se utilizan paramedir la evaluabilidad y el análisis de datos se orientanhaciala explicación de los
de un diseño educativo son: efectos del programaque aparecen en éste y en el siguien
a) La teoría del programa, que representa los princi te segmento. Las evaluaciones externas difieren en sus
pios y los axiomas que constituyen su fundamento. Es objetivos y en la implicación del equipo en la efectuación
indispensable tomarla como punto de referencia para o en las decisiones.
estudiar su evaluabilidad y debe ser consistente con su La valoración de la ejecución presenta una gran canti
aplicación real en el diseño. La carencia de interrelación dad de obstáculos a veces imposibles de salvar. La preocu
entre teoría y programa hacen inviable la evaluabilidad pación al momento de llevara cabo un programa se centra
(Bickman, 1987). en la acción, que se ve dificultada por las imprevisiones
b) Los componentes del programa, es decir, los distin del diseño y no por el registrode los datos. Con demasiada
tos y obligados pasos que deben estar reflejadosen el do frecuencia la ejecución se enfrenta con otras prioridades
cumento, que son: las necesidades de las personas; ii) los de los servicios, con sobrecargas de trabajo, con la falta de
problemas del contexto; iii) la viabilidad; iv) los objetivos recursos, entre otros.
y la estrategia; v) la estructura de las actividades; vi) Los La evaluación de estesegmentorequiere un análisis des
medios de soporte; vii) la estructura de las tareas y las de tres perspectiNías distintasdifíciles de separar:la prime
relaciones; viii^ el proceso de ejecución, y ix) la gestión del ra estudia la estructura de las tareas y relaciones incluidas
programa. previamente en el diseño; la segunda, el proceso
La evaluabilidad obtenida a través de estos componen interpersonal que se produce espontáneamente al realizar
tes está condicionada por los criterios, procedimientos y el programa; y la tercera, trata de estimular la capacidad
filtros utilizados en su elaboracióno, según el caso, por su humana y la solución de problemas imprevistos.
implementación.
c) Los efectos del programa, que deberán estar refleja 1. Evaluación de la estructura de tareas y relaciones
dos de forma precisa en todas sus variantes (productos, La evaluación de esta parte del programa se lleva a cabo
resultados, impactos sociales, efectos colaterales, satisfac de forma diferenciada utilizando cuatro factores: las ta
ción) y las consecuencias de no actuar a través del mismo, reas del programa establecidas en el diseño; las comisio
deben proporcionar la información necesaria para conec nes del equipo que lo ejecuta y que está inserto en la es
tar la evaluación de las necesidades y los problemas a los tructura de la institución de la que depende; las conexio
objetivos establecidos y los efectos finales reales. nes que establece el mismo programa,y las relaciones en-

14 CIENCIA EROO SUM Vul. • NtfBtau Uso. ll*iixo-4vaio


EVALUAei^H SiaxENTADA DE LOS PROBRAHAS CdUOATIVO

rrc los miembros del grupcj o de l;i institución. Tareas y


relaciones se andiztm como factores separados.
a) La esfructiira de las actividades está escrita en el dise
ño, en las normas insfitucionales o en la mente de los suje lili
tos. Las personas y Icts grupos reproducen patrones de con
ducta y acciones en forma casi automática tanto en su vida
personal como en su trabajtj. El ev.iluadtjr an;ili2a los docu-
lili
menn.)s y observalos acontecimientos pvird ccrtifiairios.
b) El equipo programador ha fijado en el diseño los
pasos, las actividades y los productos del programa. La
función del evtJuador es comprobar lo escrito y contras
tarlo con la realidvid, aunque con frecuencia sólo es posi

ble tomar nota de ella, y a veces sólo recibir referencias
indirectas de qué trabajos se realizaron.
c) La estructura de las relaciones es paralela a la de las
ñateas. Estas últimas describen las actividades para alcan
zar los objetivos y las relaciones establecen "quién hace
qué a quién" o "quiénes realizan las mismas funciones".
Asimismo, éstas describen la forma de jerarquizar o co
nectar las comisiones a través de las personas.
Dichos sistemas de interconexiones se valoran en fun
ción de la comunicación (terminología, símbolos comu
nes), de una clara definición de límites (normas de inclu za ios resultados, no por efecto de las tareas que están
sión, de información),de la asignación de poder (papeles diseñadas y que son válidas para los objetivos, sino por la
de autoridad o de represenración), de los niveles de rela manera en que se escin haciendo. Una forma inadecuada
ción personal y profesional (re^as del juego para relacio lle\'a inevi^ablemente a un producto no deseable.
narse),del grado de recompensa (reales o estimaciones de Los desajustes en el proceso de las relaciones se obser-
diferenciación) y de las reacciones ;inte acontecimientos \iin al no escudiar lo que otro dice, atacar lo que otro
no prexastos (amenjizas, tensiones). La misión de la eva propone, evitar que alguien tome el protagonismo en una
luación de la estructura de relaciones es hacer visible his situación o dejar olvidadas las buenas ideas según quien
intervenciones de los miembros pata explicar la forma en las presente. Estos y oti'os ejemplos que se repiten perma
que ésta interfiere o se ajusta al sistenia de las Kireas del nentemente, muestran cómo los procesosde las relaciones
programa o a sus reglas formales (Schein, 1988). interpersonales condicionanla ejecución de los programas.

2. E>^luacióo del proceso 3. Evaluación de la gestión


E diseño de un programa debería ser tan perfecto que La gestión responde a objetivos múltiples y, por tanto, su
permitiese, a través de la estructura de sus tareas y las rela evaluación es difícil de diseñar previamente. La clave de
ciones, establecer situaciones que condujesen a los miem una buena aplicación es conseguirque todo funcione ade
bros a actuar como desean los diseñadores. Sin embargo, cuadamente para que el programa alcance -junto con sus
la dirección de los procesos es muy difícil debido al poco objetivos técnicos-niveles altos de eficiencia, satisfacción
conocimiento de la naturaleza humana y a la complejidad o utilidad. Si el diseño fuese perfecto y las condiciones en
y cambios de la vida actual. Es evidente que cuanta más las que se ejecuta reuniesenlas premisas previamente esta
cerca se esté de la ejecución, sin sentirse involucrado, la blecidas, es lógico suponer que las tareas del equipo de
evaluación será más completa y se podrán captar errores gestión únicamente consistirían en activarlos dispositivos
imperceptibles pero graves durante d proceso. en los que tuviesen asignada responsabilidad (comprar
La evaluación del procesf> se centra en los aspectos hu materiales, formar profesores, coordinarun paso con otro).
manos, tanto de las tareas como de las relaciones. La defi Pero la realidad pocas vecesconcuerdacon lo deseado yel
nición de los procesos y su delimitación con la estructura equipo a cargo tiene en sus manos la tarea de conseguir
no Siempre es fácil de determinar con anterioridad, pero que ambos coincidan, mediante la modificación del dise
siempre pueden ser observados y experimentados. Para el ño o el acercamiento de la realidad a éste.
evaluadoréste es un análisis valioso porque debe diferen La clave de la gestión es su capacidad para identificar
ciarcuando un programa sedesvía de sus fines o no alcan- los problemas, diferenciar los que son básicos de los que

Vot < N»BElo Uno. M4«xo-Ato CIENCIA ERGO SUy 15


son accesorias (y de los falsos problemas) y )crarquizarlos tión del programa tiene que lograr del cliente la acepta
para seleccionar aquellos que, por su importjuicia, exten ción del programa terminado y que demostrar que se han
sión o urgencia deban tener prioridad. La cercanía a los alcanzado los objetivos dentro de las condiciones y los
problemaspor parte de los técnicos o la existencia de com límites establecidos.
ponentes ajenos a su campo de acción (políticos, econó Esta parte del segmento final no puede quedar para el
micos o sociales) hacen que la realización tenga un c:impo evaluador en un tramite de comprobar la correspondencia
específico, que implica inevitablemente la coordinación, el entre los objetivos del programa y el producto alcanzado,
control del sistema y la capacidad para hacer las modifica debido a que los efectos de éste van masalláde los límites
ciones necesarias. del contrato.
De acuerdo con este planteamiento, la evaluación de la 3. Por último, el evaluador necesita establecer las distin-
gestióndebe cubrir al menos cinco factores: a)la actividad ras caregorííus de efectos: a) productos, establecidos en el
de los medios de soporte establecidos en el diseño, po plan como efecto directo de las acciones, por ejemplo los
niéndolos a disposición de los especialistas por los meca títulos de formaciónexpedidos o la tecnología transferida
nismos establecidos o por cualquier otro que fuese nece a un departamento; b) resultados, con frecuencia no esta
sario para alcanzar los objetivos; b) la activación de las blecidos en el programa pero que representan la aplica
relaciones interpersonales positivas, de manera que se fa ción social de los productos logrados: por ejemplo, la co
vorezcan los procesos de estructuración de las taresis y locación laboial de los alumnos que tienen el título o la
relaciones durante la implementación del programa; c) la utilizacióncon éxitode la tecnologíatransferida;c) impac
actividad de la información y coordinación del plan tanto tos, efectosdel proyecto en el entorno como consecuencia
internacomo externa;d) la ayuda al equipo de especialistas de los productosyde los resultados logrados combinados
para identificar problemas, obstáculos y contradicciones en con variables exógenas de difícil predicción previa, por
su trabajo,la toma de decisiones y planteamiento de solu ejemplo,los cambios socioculturales familiares como con
ciones; y e) la integración de los componentes del proyec secuenciade la obtención del puesto de trabajoo las trans
to de manera que si se mantiene un mínimo nivel de con formaciones en la estructura de la institución por efecto
flicto, se ordenen las actividades parael logro de los fines. de la nueva tecnología utilizada; y d) los efectos colatera
les, consecuencias variadas en las personas o en las institu
IV. Evaluación final (conclusión) del programa ciones como resultado del programa, pero no incluidos ni
considerados en su lógica intema como parte de sus fines:
El último segmento del programa es, desde la perspectiva por ejemplo, los cambios ocupacionales de los miembros
de una evaluación segmentada, el más importante, pues del plan en función de sus nuevos aprendizajes, las trans
reúne en una sola actividad de síntesis la información del formaciones internas de la institución, la mejora de los
conjunto de los segmentos que le permitan llegar a esta medios de soporte habituales,los cambios de conducta en
blecer juicios más complejos y completos. Es una evalua las personas por efecto del proceso de evaluación o el gra
ción sumativa en el sentido de que permite la visión del do de satisfacción y aceptación general del prognuna.
conjunto del plan y la obtención de aprendizajes, valora
ciones y posibilidades de mejora muy superiores al resto V. Evaluación hoiística del programa
de las evaluaciones.
Para el equipo que ejecuta el programa, una vez termi La evaluación global u hoiística de las bondades de un
nada la fase anterior, queda un gran número de operacio prognuna es una actividad necesaria t;mto para el planifi-
nes aisladas sin las cualesno se puede decir que el proyec cador como para el evaluvidor y representa una secuencia
to ha concluido. Para el equipo evaluador, la actividad se obligada. Parael eraluador,el juicio sobre el proyecto re
prolongíi más allá de la conclusióndel diseño para obtener quiere del íuuilisis de cinco componentes:
la valoración finsil a través de los efectos obtenidos y su 1. Eficacia relativa, como el grado en que se han alcan
relación con las entradas utilizadas para producirlos. Esta zado los objetivos por la población beneficiaría conside-
comprende tres fases: nuido las variables que han intervenido en los efectos. En
1. Evaluación de la finalización del programa. Es una los programas sociales se considera el tiempo y los costos
operación de comprobación exhaustiva de las indicacio como lasdos variables más impornuites que se introducen
nes del programa, de los acuerdos durante su realización y para alcanzar los fines.
de los cambios introducidos. Cadapaso debe ser compro 2. Efectividad, como el grado en que los efectos logra
bado para tener constancia de su cumplimiento yde queel dos difieren de los alcanzables utilizando otras estrategias
producto fijado ha sido obtenido. en situaciones definidas como deseables o en compara
2. Evaluación de los efectos del plan. El equipo de ges ción con la norma para este tipo de programas.

1 6 CIENCIA EROO SU
Evaluación Se MENTADA Programas Educativos. ..

3. Eficiencia, como la relación entre los efectos y el cos tras que la eficiencia sólo analiza los productos finales y
to del desarrollo del plan. De acuerdo con el momento en utiliza unidades monetarias como uno de sus elementos
que se realiza la evaluación, es posible establecer compa de comparación.
raciones con los datos de los distintos segmentos a eva 5. Adecuación, como la relación entre los productos lo
luar. Las valoraciones pueden hacerse tanto del conjunto grados por el prognuna, los medios utilizados y las necesi
del prognima como de sus partes para establecer la efi dades, objetivos y esfuerzos de cuantos se encuentren
ciencia para cada producto intermedio. involucrados en el desarrollo del mismo. Se trata de un
El aniilisis de la eficiencia (equivíilente a rentabilidad en componente de difícil medida que exige utilizar instru
términos de actividad no específicasocial) adopta dos va mentos variados para establecer relaciones entre el logro
riantes de acuerdo con el contenido del programa. Una es final y otras variables como son el tipo, la secuencia y el
el análisis del costo-beneficio. Otra, es el análisis del cos ritmo de la intervención y la aceptación del beneficiario,
to-eficacia, los efectos (que producen resultados o impac los recursos empleados y los conflictos generados, el esti
tos) se calculan en otra unidad de medida (aprendizaje lo lo de trabajo de las personas y la tecnología empleada, la
grado, empleos logrados, nivel de calidad de vida, entre respuesta de los beneficiarios o de los agentes al sistema
otros) y la comparación se establece pctr el costo que su de seguimiento y la evaluación y las modificaciones auto
pone logrará una unidad de efectos. máticas, la participación de los integrantes en las decisio
4. Productividad, como un conjunto de relaciones entre nes y la responsabilidad asumida de los efectos, modifica
los productos y las entradas y medios de soporte utiliza ción en la ejecución de los tiempos disponibles o la infor
dos. Las medidas obtenidas sobre el proyecto aprobado o mación disponible, entre otros.
sobre su ejecución, permiten valorarel diseñode la estra Esta es una evaluación que pretende interconectar dis-
tegia en relación con otros planes o con los niveles tinras partes del programa, esencialmente aquellas en las
estándares para esa actividad. que el componente humano constituye la clave esencial
La productividad se eswblece por cadaentrada y medio para el logro de los objetivos. La falta de coherencia no
existente y se refiere a actividades y tareas que dan lugar a sólo es una causa, sino sobre todo una medida de la cali
productos intermedios ymedidos en unidades físicas, mien dad del proyecto. A

GBibliografía

Ackoff, R. L (1970). A Coneept oj Carpomtc Plantiing. WBey, Nueva York, Isaac, S. y Michael, W B. (1990). Handbook in Reseanb and Evakation.
Estados Unidos. Edits,San Diego, Estados Unidos.
Ansoff, H. I. (1985). La (Brecaánjsu acíUmi atil< e!tultruo. Deiisto, Bil JolJuison, G. y Scholes, K. (1984). Exphring Corporate Strategy. Prentice
bao, España. Hall, En^ewood Cliff
Ansoff, H. 1.; Decletck,R. P.y Mayes, R. L. (1976). Frow Stmttgk Pimning Martinet, A. C. (1983). Strat^ie. Vluibcrt, Paos, Francia.
to StraUgk Mauagemenl. Jolui Wiley, Londres, Inglaterra. .Moos, IL (1973/ "Conceplualizations of Human Enviroiunents", en
Bicknian, L (1987). "The Functions of Program Tlieory", en Bickiiian, American P^hohgist.
L. (ed.). Usittg PngmmThtaiyin EvaluaHon. Nea> DtrtcüonsJor Prognm Muro, V. (1975). Preparing Feas,s¡bU¡ty Studies Systems. Manila.
EvaíuatíBtt, 33.Jossey Bass,San Francisco, Estados Unidos. Schem. E. H. (1988). Consultaría deprocesos. Vol. 2. Addison-Wesley,
Canter; D. y Sttingei; P. (1978). Iniemedon ambienta!. lEAL Maddd, Es México, D. F.

paña. Sliadisli,W R.; Cook.T.D. yLevitón, L.C.(1991). FoundationsoJ Pngmm


Coyne,R. y Gaik, R.(1981). Eui'iroumeuta/Assessmeuí a/idDesigii. Pracgei, Evabtation Thearies oJ Pmctice. Sagc, Newbury Patk.
New York, Estados Unidos. Soloinon, M. J. (1970). Analjsis of Pnjeetsfor Economie Croiutk An
Goodman, L. J. (1988). Pn/'eet Planuing ami Management. Van Nostrand Qpemtiona! Sjstemfor tbeir Formulation, Evabtation and Imp/ementation.
Reinlioid, Nueva York, Estados Unidos. Paeger, Nueva York, Estados Unidos.
Guba, E. G. y Lincoln, Y. S. (1989). Fonrih Ceneraiion Evahation Stage. Soiiuner, R. (1969). Espacio j comportiimiento individua!. lEAL, Madrid,
Newbury Paik. España.
Hernández, F.; Remesar, A. y Riva, C. (1985). En tamo a! entorno. Glau Steiiicr, G. A. (1979). Stmtegic Pianning. The Free Prcss, Nueva York,
co, Barcelona, España. Estados Unidos.

CIENCIA EROO SUM 17

También podría gustarte