Antología Evaluación Institucional

UNIVERSIDAD POPULAR
AUTÓNOMA DE VERACRUZ
MAESTRÍA EN EDUCACIÓN
ANTOLOGÍA
ASIGNATURA
EVALUACIÓN INSTITUCIONAL

XALAPA –ENRÍQUEZ 2013

EVALUACIÓN INSTITUCIONAL
ANTOLOGÍA
Asesor:
Marco Antonio Vega Estrada
2013
ÍNDICE
SIMONEAU Richard
“La evaluación institucional: conceptos teóricos“ Pág. 1
ANUIES
SCHIEFELBEIN Ernesto
“Evaluación de los procesos de evaluación del sistema Pág. 12
educativo 1950-2008”
Revista Iberoamericana de Evaluación Educativa
CANALES Alejandro
“Evaluación, elementos del debate internacional” Pág. 19
RAVELA Pedro y otros

“Las evaluaciones educativas que América Latina Pág. 31
necesita”
MARTÍNEZ de Toda Fernández Ma. Josefa

“Investigación evaluativa en Metaevaluación de Pág. 51
necesidades educativas: Hacia un sistema de normas”
Universidad Complutense de Madrid

“Concepto y análisis de necesidades en Metaevaluación Pág. 74
de necesidades educativas: Hacia un sistema de normas”
Hacer click para accesar directamente al documento seleccionado

BALDIVIESO Hernández María Silvia
“Lineamientos estructurales e indicadores en Indicadores Pág. 101
para la autoevaluación de instituciones de formación
profesional inicial, en el marco de la nueva relación
educación–trabajo”
Universidad Autónoma de Barcelona
FROEMEL Juan
“La efectividad y la eficacia de las mediciones Pág. 124
estandarizadas y de las evaluaciones en educación”
VILCHES Amparo y Gil Pérez Daniel

“El Programa Pisa: Instrumento para la mejora del proceso Pág. 144
de enseñanza-aprendizaje”
Revista Iberoamericana de Educación
GONZÁLEZ López Ignacio y López Cobo Isabel

“Validación y propuesta de un modelo de indicadores de Pág. 179
evaluación de la calidad en la Universidad”
RUÍZ Ruíz José Ma.

“La autoevaluación institucional en un centro de educación Pág. 193
primaria”
Organización de Estados Iberoamericanos
PALLÁN Figueroa Carlos

“Los procesos de evaluación y acreditación de las Pág. 216
instituciones de educación superior en México en los
últimos años”
ANUIES

GARCÍA López Teresa
¿Qué pasa con la evaluación institucional” Pág. 242
I.E.E.S.C.A. Universidad Veracruzana

SIMONEAU Richard
“La evaluación institucional: conceptos teóricos“
ANUIES
1
LA EVALUACION INSTITUCIONAL:
CONCEPTOS TEORICOS
Richard Simoneau
Asesor del Consejo de Universidades de Quebec.
Contenido del Artículo:
INTRODUCCION.
Evolución de las prácticas de evaluación.
Teorías y métodos de evaluación.
Parámetros Claves.
Los Factores del Éxito y el Fracaso.
Los Mecanismos Apropiados de Coordinación y Dirección.
NOTAS.
INTRODUCCION Contenido
Lo que se da en llamar evaluación universitaria o evaluación institucional

corresponde a un conjunto de prácticas, métodos, conocimientos bien diversificados
y progresivamente desarrollados en el transcurso de los años con el objeto de dar
respuesta a una necesidad específica: la de una mejor gestión de las universidades.
Ello implica favorecer en la universidad todo aquello que le permita alcanzar sus
objetivos de enseñanza e investigación y fortalecer la calidad de sus actividades.
La concepción que tenemos de la evaluación institucional ha evolucionado sin

cesar, particularmente en el decurso de los 30 o 40 últimos años. La misma se
explica en gran parte por los cambios ocurridos en la universidad en lo que
concierne a sus orientaciones, su organización interna y sus relaciones con la
sociedad.
Evaluar la universidad quiere decir emitir un juicio de valor a propósito de la

pertinencia y la razón de ser de sus objetivos, su grado de cumplimiento y la forma
en que han sido alcanzados. Evidentemente, todo eso no es nada simple. Ni
especialistas en evaluación y ni los mismos representantes del medio universitario
han logrado ponerse de acuerdo sobre la manera de proceder.
Tampoco existe consenso en lo que respecta a la jerarquía de valores educativos y

sociales que deben ser tomados en cuenta por la universidad. Hay múltiples
modelos universitarios. Tenemos la institución de masas centrada en la
accesibilidad o la que tiene como eje principal el de la formación profesional del
mayor número de personas posible; junto a ésta tenemos igualmente la institución
elitista dedicada a la educación liberal o la que se encarga de promover la
investigación o los estudios avanzados. Valores tan diferentes como lo son la
equidad entre los diferentes grupos y los sexos, el desarrollo económico y técnico o
la eficiencia administrativa se encuentran entre los que definen la misión de las
universidades modernas junto con los que persiguen la excelencia en la enseñanza
y la investigación.
Como organización, la universidad es una mezcla particular de burocracia

administrativa, de colegiatura, de relaciones políticas y sindicales y de 2
individualismo profesoral. Los teóricos de la gestión, ellos mismos universitarios de
gran relevancia, lo han calificado de sistema de "anarquía organizada" o de
"anarquía productiva".(1) Los objetivos de la universidad son, además de
innumerables, muchas veces difíciles de identificar o definir de manera precisa. Los
mismos son adoptados y perseguidos paralelamente en numerosos niveles -cursos
y proyectos individuales; programas de actividades de departamentos y facultades;
instalaciones y servicios generales- sin que por lo tanto los mismos se encuentren
bien integrados y coordinados.
Los profesores, el administrador, el profesional de apoyo o el estudiante se forman

cada uno una concepción diferente. Así mismo, los diferentes sectores de actividad
-pensemos en las artes y humanidades, en las ciencias, en las profesiones- tienen
su propia visión acerca de los objetivos y parámetros de funcionamiento
universitario.
La enseñanza y la investigación son actividades creadoras, muy complejas, cuyos

atributos esenciales han sido más o menos comprendidos. Algunos consideran que
la pertinencia o la calidad de sus actividades pueden dificilmente ser evaluadas del
exterior puesto que sus principales efectos son intangibles o, más aun, sólo pueden
percibirse a muy largo plazo.
No obstante y a pesar de todo ello, la evaluación institucional no sólo se realiza

desde hace mucho tiempo sino que también ésta no ha dejado de desarrollarse. Sin
embargo, el grado de popularidad de la misma varía según la época y el lugar; ello
se explica por un número de razones.
Algunas veces es su falta de profundidad, otras es la simplicidad de sus métodos,

los que son objeto de críticas. Algunas veces, inclusive siendo de calidad, molesta,
aunque sea por el hecho de que con frecuencia tiene como resultado de la
disminución de las responsabilidades o de los recursos de los departamentos, los
que ya contaban con anterioridad a la evaluación la responsabilidad de evaluar a
sus profesores y estudiantes. Aún más, sus objetivos de examen, sus pretensiones
con respecto a la exactitud, léase la verdad, hacen que la idea misma de la
evaluación se presente como algo molesto. La evaluación cae entonces a las
universidades como la critica a los artistas y creadores. La crítica, decía un conocido
autor francés "es propia o de las personas extremadamente orgullosas o lo
suficientemente viejas como para probar su propia incapacidad" (S. Guitry). " El
crítico, decía otro, narra las aventuras de su alma pasándose en medio de los
grandes directores" (A. France).
. Evolución de las prácticas de evaluación Contenido
¿La desconfianza o la resistencia que provoca en los universitarios la idea de la

evaluación encontrará una explicación en el hecho de que ésta nació,
históricamente, al exterior de la universidad?
En América del Norte, en todo caso, fueron primeramente las profesiones y luego
los gobiernos y grupos sociales - los empleados o los consumidores de servicios -
los que más han compartido la idea de la evaluación institucional (una interpretación
más cuidadosa debe hacerse en lo que respecta al caso particular de la
investigación subvencionada, la que desde hace mucho tiempo es evaluada por
3
investigadores del mismo nivel que los que solicitan la subvención, llamados los
pares). Con frecuencia, la evaluación ha ingresado a la universidad como una
técnica, no siempre bien adaptada, con muchas dificultades para justificarse en el
marco de una teoría rigurosa.
La evaluación institucional remonta a finales del sigo XIX y se identificó

primeramente con lo que actualmente se llama acreditación. Fue impuesta por los
gremios de profesionales con el objeto de reglamentar el acceso al ejercicio
profesional, por lo que tenía como finalidad juzgar el valor de los diplomas emitidos
por la universidad. Para estar reconocido y autorizado, los programas universitarios
debieron ajustarse a un cierto numero de parámetros que iban de las condiciones
de admisión de los estudiantes al número y calificaciones de los profesores. Dichos
parámetros eran verificados periódicamente mediante visitas o informes de
evaluación con fines de acreditación. Históricamente fue la profesión médica la que
inició el movimiento, seguida por una multitud de grupos; actualmente
representados por unas cincuenta asociaciones de acreditación profesional.
La idea de la acreditación encontró en la universidad de la época un terreno fértil de

difusión debido en gran parte a que las mismas representan agrupaciones
profesionales.
Después de la primera Guerra Mundial aparecieron en los Estados Unidos de

América los primeros grandes organismos regionales encargados de acreditar a las
propias universidades y cuyas actividades continúan en la actualidad.
Según la literatura especializada, la filosofía y los métodos de acreditación no han

dejado de evolucionar y de progresar pasando de un modelo centrado, en sus
inicios, en parámetros cuantitativos bastante rígido y en el examen externo de los
objetivos institucionales, a otro que, en el extremo opuesto, utiliza procedimientos
de autoevaluación realizada por los mismos establecimientos y basada en criterios
más cualitativos. De todas maneras, se señala que lo principal de la acreditación, tal
y como fue concebida durante mucho tiempo, es el de haber suscitado la realización
de trabajos pre-formateados y sin grandes consecuencias; una gran mayoría de
establecimientos y unidades que producían los informes requeridos por los
organismos externos lo hacían más bien con el propósito de obtener su aprobación
que con el de autoevaluarse.
El modelo de acreditación que existe actualmente -con toda la importancia que le

otorga al examen de la calidad de los recursos, humanos, materiales y financieros, a
la claridad de las misiones y objetivos institucionales, a la demostración de
cumplimiento de los objetivos institucionales- es un modelo que se generalizó
verdaderamente a partir de los años 50 y 60.
Fue en esa misma época que las universidades norteamericanas experimentaron

una verdadera revolución, con la explosión de su clientela, la multiplicación de los
campus y programas, principalmente en el sector público, un alza considerable de
sus recursos y presupuesto, y el desarrollo de los servicios administrativos y
profesionales internos. La intervención de los poderes públicos, con sus objetivos de
coordinación de los sistemas universitarios, la llegada de administradores
profesionales y analistas con sus ideas de decisiones racionales y de cambio
contribuyeron a aumentar y renovar singularmente la concepción y la práctica de4la
evaluación universitaria ampliandola más allá del estricto marco tradicional. Las
palabras claves se vuelven no sólo la calidad, sino también la accesibilidad, la
eficiencia, la complementariedad y la imputabilidad, sobre todo para
establecimientos financiados con fondos públicos.
En esa época, la planificación se generaliza a nivel de todo el Estado, las

universidades con campus múltiples y los establecimientos particulares. La
planificación transmite la idea de previsión de necesidades futuras, de
determinación racional de objetivos, de asignación óptima de actividades y recursos
y de verificaciones periódicas de los resultados. De esta forma, la evaluación será
ampliamente utilizada; ésta se convierte por así decirlo en la llave maestra, al
menos en teoría, de cualquier empresa planificadora dado que es ella la que le
asegura su carácter racional, mediante un análisis riguroso de la situación, de los
problemas, de las necesidades internas y externas; la misma le asegura igualmente
su carácter continuo, al convertirse en el inicio y el fin del proceso de planificación,
es decir el punto de vinculación de un ciclo de planificación con el siguiente.
Si en teoría todo ello es válido, en la realidad las cosas son muy diferentes, los
planes de desarrollo universitario de los años 60 en América del Norte fueron
únicamente grandes catálogos de nuevos proyectos que no evaluaron lo que ya
existía, o grandes obras teóricas, con orientaciones de largo alcance que tenían
muy poco impacto en los programas o en el presupuesto universitario. Para
remediar estos vacíos, gobiernos y universidades desarrollan, con frecuencia, en
paralelo al "plan maestro" lo que se llamó "los ingresos de los programas". En
ciertos casos, dichos ingresos se elaboran teniendo en cuenta los informes de
acreditación; en otros, era necesaria la producción de trabajos de evaluación según
formatos, procedimientos y plazos específicos. Así mismo, se agregan a los criterios
usuales de acreditación otros como el de complementariedad y pertinencia
institucional de los programas y proyectos, las necesidades socioeconómicas, la
eficacia y los costos de funcionamiento.
Corriendo el riesgo de ser muy esquemático, por la necesidad de ser breves, puede
decirse que hacia los años 80 se produce otro gran cambio de rumbo en la filosofía
y en la práctica de la evaluación universitaria, derivándose la problemática que está
en vías de predominar actualmente en América del Norte.
A finales de los años 70, la educación post-secundaria norteamericana entra en una

triple crisis: demográfica (es el fin del crecimiento acelerado de su clientela); fiscal y
financiera (debido a la forma dominante de financiamiento, basado en las
inscripciones); política, en la que hay que considerar además la insatisfacción con
respecto de las universidades y los establecimientos de educación en general
expresada por muchos sectores de la sociedad. Por otra parte, las nuevas
limitaciones en el plano de los recursos invitan a adoptar una estrategia de
comprensión presupuestaria y de racionalización de programas. Era para las
universidades, la hora de "defenderse" y de hacer la planificación estratégica.
Sin embargo, y como si todo esto fuera poco, los problemas económicos,
principalmente en los Estados Unidos, colocan al sistema de educación y a las
universidades como una de las principales responsables de la caída de la
competencia de las empresas y de su falta de innovación. De acuerdo con la
opinión de los empleadores y los resultados de análisis nacionales las habilidades
5
de los graduados universitarios disminuyen. Por otra parte, si bien las inscripciones
universitarias aumentan, uno de cada dos estudiantes abandona sus estudios; los
buenos estudiantes ya no tienen interés en hacer carrera como profesores y de
hecho no lo hacen, lo que acentúa los problemas del sistema escolar. Las
universidades han sido entonces invitadas a evaluar de forma más rigurosa los
resultados concretos en los que desembocan sus actividades de formación. Es la
hora de "outcome assessment", la corriente dominante en los años 80.
La filosofía que sustenta el "outcome assessment" o "evaluación de resultados" no

es nueva. Uno de sus inspiradores, A. Astin, asentó sus principios directores desde
1968, en un artículo de la revista Science(2): los criterios tradicionales de evaluación
utilizados para la acreditación, decía, centrados en primer lugar en el estado de los
recursos (bibliotecas bien equipadas, altos gastos por estudiante, altas
calificaciones de los profesores, tasas severas de admisión, una baja relación
profesor/estudiante) no tienen ningún valor científico, y las investigaciones
efectuadas muestran que las mismas casi nunca están correlacionadas con el grado
de competencia adquirido o con el éxito de los estudiantes. Astin declaraba
igualmente que dudaba mucho de los postulados generales de los organismos de
acreditación, como por ejemplo el que pretendía "la claridad de los objetivos
institucionales era uno de los factores más importantes de la calidad"; nada lo
confirma o lo niega, decía.
Los criterios corrientes de acreditación, según él y muchos otros expertos de la

misma escuela, sólo son medidas indirectas de la calidad universitaria. Para percibir
la calidad, es necesario ante todo centrarse en los resultados, es decir en los
rendimientos y cualidades alcanzados por los estudiantes, para luego analizar las
fuerzas y debilidades de los programas, así como la eficiencia de la gestión
académica. Si se analiza el bagaje de conocimientos y habilidades poseídas por los
estudiantes a su ingreso, en ciertas etapas de sus estudios y la salida de la
universidad; si se examina con atención el contenido y el funcionamiento de los
programas y los servicios, es posible, decía Astin, no sólo llegar a conclusiones
significativas sobre la capacidad de las universidades para responder a objetivos
previamente establecidos de desarrollo de los estudiantes -lo que sigue siendo su
principal objetivo- además aseguran su calidad. Ello puede realizarse de manera
rigurosa o científica, por ejemplo, mediante estudios longitudinales y modelos de
análisis multivariados.
La filosofía que fundamenta la corriente del "outcome assessment" que fue durante
mucho tiempo menospreciada por los universitarios, dado que marca un retorno
hacia ciertos valores fundamentales, es en general ineludible. La evaluación
científica de la pedagogía y de las cualidades tropieza sin embargo con una
cuestión fundamental. La mayoría de los especialistas están de acuerdo en afirmar
que gran parte de la evolución de los estudiantes, de sus éxitos y fracasos es
imputable a factores exógenos a los programas universitarios propiamente dichos
(experiencias informales o complementarias de formación, de socialización,
antecedentes familiares y sociales, etc.). Precisar la contribución propia de los
establecimientos, de los programas o de los profesores es entonces una tarea bien
compleja. Ello exige estrategias de evaluación complejas, costosas y largas, tanto
mas difíciles cuanto más tenga interés en operar a gran escala. Por tales motivos es
adecuado pensar que esta limitación por si solas justifica el recurso a otros
procedimientos de evaluación universitaria paralelos, menos "científicos", mas 6
tradicionales.
Para complementar esta parte histórica, subrayemos que hay otro factor que ha
influenciado enormemente la evolución de las prácticas de evaluación institucional
durante los años 80, a saber, la generalización en las universidades
norteamericanas de los métodos de planificación y de gestión llamados
estratégicos. Con la introducción del enfoque estratégico, el énfasis ya no recae
tanto sobre la producción de un plan de desarrollo como en su aplicación, sobre los
efectos concretos del plan en la gestión universitaria. Un buen plan estratégico es
ante todo una guía para la acción; el plan es entonces más sucinto que voluminoso,
selectivo y apoyado en las prioridades más que en la planificación exhaustiva, más
operativo que teórico o analítico. Un buen plan estratégico incluye mecanismos de
seguimiento y reformulación actualizada de las recomendaciones; el mismo es
concebido para influenciar las decisiones presupuestarias, etc... La concepción de la
evaluación institucional evolucionó mucho bajo la influencia del enfoque estratégico.
Lo mas importante, se piensa cada vez mas, no reside en la elaboración del informe
de evaluación, sino sobre todo en prepararlo de tal forma que se maximicen sus
probabilidades de producir efectos concretos; su objetivo no es el de ser lo más
completo posible, sino más bien el de ser selectivo en la determinación de los
sujetos, identificar los problemas prioritarios que es realmente posible analizar y que
tienen mayores posibilidades de ser solucionados. Se considera así mismo que la
evaluación debe integrarse lo más posible a los ciclos regulares de planificación y
de gestión de los establecimientos: ello impone evidentemente todo tipo de
limitaciones, pero los efectos benéficos de esta manera de proceder son mucho
mayores.
. Teorías y métodos de evaluación Contenido
Hemos dicho que la evaluación universitaria se desarrolló mucho bajo la presión de

sectores exteriores a la universidad. Primero fue una práctica concebida para
responder a necesidades de gestión. Los trabajos de evaluación fueron con
frecuencia efectuados con los medios de que se disponía, tomando en cuenta más
bien los mandatos administrativos y sus plazos, los recursos y datos disponibles,
que los cánones de la teoría. Podría decirse que el evaluador nunca tiene tiempo
para analizar y responder a todas las interrogantes que deberían serlo en un
contexto ideal. Su desafío es el de tener en cuenta en forma equilibrada las
limitaciones de orden práctica y los modelos teóricos o las reglas de arte. Si pone
mucho énfasis en el "rigor" o en la "calidad", corre el riesgo de terminar sus trabajos
con un gran atraso y de presentar un trabajo desfasado. Si privilegia mucho la
eficacia a corto plazo y la productividad, corre el riesgo de producir informes
superficiales y simplistas.
La evaluación institucional se interesa en principio en todos los aspectos del

funcionamiento y el desarrollo de las universidades; la calidad de los cursos, los
programas, los departamentos universitarios; la formación de los estudiantes, la
integración socio-profesional de los graduados; la gestión de los cursos docentes, el
desarrollo de la investigación; el estado de los recursos materiales y financieros; el
funcionamiento de las grandes instalaciones y los servicios de apoyo a la
enseñanza y la investigación; las relaciones con el mundo exterior; etcétera.
La evaluación toma sus teorías y sus métodos de un gran número de disciplinas:7

psicología, sociología, pedagogía, economía, gestión, matemáticas, estadísticas...
Se apoya igualmente en un gran número de técnicas: cuestionarios, test, entrevistas
y observaciones, análisis cuantitativos, monografías. Se ha desarrollado con la
ayuda de todo tipo de instrumentos (taxonomías de objetivos y resultados, test de
medidas de aptitud, bases de datos sociodemográficas o financieras, encuestas de
actualización, etc...) desarrolladas por los expertos, o comercializadas por empresas
especializadas, algunas de ellas en gran apogeo.
Elaborar un cuadro simple y comprensivo de este inmenso campo de actividad

constituye todo un desafío.
.PARAMETROS CLAVES Contenido
En la introducción de un libro reciente de OCDE sobre la evaluación de la educación

superior, Maurice Kogan, inspirándose en contribuciones de diversos especialistas,
enunció una decena de preguntas que describían bien, desde su punto de vista, los
desafíos esenciales o los parámetros claves de evaluación universitaria, en el plano
de la filosofía y en el plano metodológico. Analicemos juntos algunas de ellas.
La primera: ¿Quién determina los objetivos y los criterios de la evaluación? (¿La

dirección de la universidad, sus unidades de base, el medio externo?) ¿...y cuáles
son dichos criterios? (¿Cualidad, oportunidad, eficiencia, complementariedad?) Es
evidente que, dependiendo de cómo sean determinados los intereses y las
preocupaciones, los métodos y procedimientos, así los resultados variarán
enormemente.
Por otra parte, ¿Que es lo que se desea evaluar principalmente? (¿ los recursos, las
actividades y procesos, los resultados, los impactos?) Hemos visto que el enfoque
de la acreditación, en el sentido más tradicional hace mucho énfasis en la
disponibilidad y la calidad de los recursos (profesores, presupuestos, bibliotecas,
espacios) los que son considerados como garantes de la calidad de los programas
de servicios. Tenemos aquí una perspectiva que calza con las creencias de la
mayoría de los universitarios. Hemos visto que el enfoque centrado en los
resultados (competencias adquiridas, o aún más, diplomas otorgados, citaciones,
publicaciones realizadas) es el enfoque privilegiado tanto por los partidarios de una
evaluación más "científica" de la universidad como por otros grupos. Los financieros
externos, o los administradores universitarios se interesan cada vez más en la
evaluación del impacto o la razón de ser de los programas. Cada uno de los
métodos propuestos supone métodos, indicadores y habilidades muy diferentes.
Otra pregunta importante es la siguiente: ¿Nos apoyamos en hipótesis y en un

marco analítico preciso? De una parte tenemos los partidarios del enfoque
experimental, o de la investigación evaluativa, que desean proceder a evaluar con
hipótesis preestablecidas, un grupo control, una medida de los efectos de las
intervenciones en el tiempo y en el otro extremo nos encontramos con los adeptos
de una evaluación más impresionista o periodística, que colectan informaciones y
que se basan en las reacciones y comentarios de los interesados para fundamentar
sus conclusiones.
Otra pregunta vecina de la anterior: ¿Qué fuentes de información y que datos serán
utilizados en la evaluación? ¿Se intentara definir verdaderos indicadores? ¿Podrá
8
contarse con bases de datos confiables y accesibles? ¿Si no, trataremos de validar
las informaciones utilizadas, de verificar su grado de confianza?
Por otra parte, ¿se trata de una evaluación puntual o ad hoc o de un estudio
realizado de acuerdo con procedimientos bien definidos para responder a una
política, o para inscribirse en un ciclo regular de actividades? ¿El análisis
comprende toda la población o solamente una muestra de ella? Los especialistas
distinguen también generalmente entre las evaluaciones de tipo formativo, que
tienen por finalidad mejorar la comprensión y funcionamiento de las cosas, y las
evaluaciones de tipo obligatorio o estatutarias, destinadas a apoyar la toma de
decisiones. Finalmente hablan de la evaluación instrumental -cuando se trata de
trabajos ampliamente controlados por expertos- y de evaluación interactiva o
participativa, cuando dichos trabajos reciben, ampliamente, la influencia de los
sectores directamente implicados.
Dependiendo entonces de la forma en que se combinen todos esos rasgos

característicos los trabajos de evaluación obtenidos tendrán un perfil
extremadamente diversificado, que podrá incluir todos los contenidos y ofrecer casi
todos los estilos imaginables.
LOS FACTORES DEL EXITO Y DEL FRACASO Contenido
Todo lo anterior no quiere decir que todos los modelos y todas las estrategias son
válidas. Así, conviene señalar la existencia de una enorme literatura especializada
sobre las cosas que pueden y no pueden hacerse, sobre los factores del éxito y del
fracaso en evaluación.
Uno de los que se interesan en dicho sujeto desde hace mucho es Richard I. Miller,
quien sostiene que la evaluación sólo produce buenos resultados en una
organización verdaderamente abierta a la innovación y al cambio, y en el que una
mayoría de los interesados comparten la idea de que una perspectiva crítica puede
ser la fuente del mejoramiento y del progreso. Aunque las ideas conservadoras son
todavía numerosas en el medio universitario, por lo que la evaluación puede ser
percibida algunas veces, o con frecuencia, como una molestia, con respecto a las
maneras normales de funcionar, o como una amenaza de algunos intereses ya
instalados, ya sean éstos burocráticos, socio políticos o sindicales, disciplinarios,
departamentales o individuales.
Considerando entonces las posibilidades de resistencia, es extremadamente

importante, así lo subrayan todos los expertos, que la dirección de la universidad
esté realmente de acuerdo, aunque sea, con la política, o con el proyecto de
evaluación, manifestándoselo claramente a los interesados. Caso contrario, sería
mejor no hacer nada.
La tercera condición del éxito: los problemas discutidos, los métodos empleados
deben ser objeto de un cierto consenso. Ello nos conduce a hablar de la concepción
del estudio, lo de la pre evaluación, la que es considerada por muchos como etapa
crucial de los trabajos, y desgraciadamente, como la etapa menos tomada en
consideración.
Al momento de la pre-evaluación, las personas que poseen la mejor percepción del

9
clima, de la situación imperante en el establecimiento, ayudados por algunos
expertos en investigación institucional, tratan de planificar el desarrollo del estudio.
Discuten, consultan, para delimitar mejor los riesgos y sujetos e identificar los
asuntos prioritarios; evalúan la factibilidad política, técnica y financiera de diferentes
escenarios de trabajo. Finalmente, optan por ciertos objetivos y estrategias. Blancos
muy ambiciosos, problemas muy difíciles de resolver, métodos de trabajo litigiosos,
cuyo sentido no es del todo claro, todo ello puede tener consecuencias negativas, y
ello desde el comienzo de los trabajos. Desde los inicios, innumerables factores
presionan los comités de evaluación a actuar con rapidez, en momentos en los que
nada les es más importante que tomarse el tiempo necesario para reflexionar y
prepararse bien. Puesto que la mejor evaluación es aquella que es concebida para
responder de la mejor manera posible al contexto y a las necesidades de un
establecimiento.
Una cuarta condición de éxito: reunir recursos humanos y materiales en cantidad y

calidad suficientes. Ello parece ser una evidencia. Y sin embargo, con frecuencia
constituye un desafío el lograr dotarse de "las ambiciones que corresponden a
nuestros medios" faltos de poder dotarse de "los medios que corresponden a
nuestras ambiciones".
LOS MECANISMOS APROPIADOS DE COORDINACION Y DIRECCION

(COMITES AD HOC, OFICINA DE PLANIFICACION, VICERRECTORES,ETC...)
Contenido
Otras condiciones que son mencionadas con frecuencia en la literatura: una

participación activa de profesores y sobre todo de los que ejercen el liderazgo; un
programa de trabajo sujeto a una buena publicidad y conteniendo comunicaciones
eficaces, para que los objetivos sean bien comprendidos; una dirección sabia y
eficiente; una época favorable, es decir al exterior de los periodos de punta y
cuando la moral interna está en su mejor nivel.
Algunos otros preceptos son igualmente citados con regularidad: en un medio

nuevo, comenzar modestamente, resistiendo a la tentación de querer analizar y
solucionarlo todo. Hay que dejar al tiempo realizar su trabajo. Una mentalidad, o una
cultura de organización, se dice con frecuencia, no puede cambiarse en menos de
diez años. Así pues, hay que tomar los plazos de la organización con mucha
seriedad, entregar los trabajos a tiempo y evitar la investigación de gran profundidad
y la perfección; dado que toda evaluación será siempre imperfecta, no habiendo
sido aún definido por los teóricos, según sus propias opiniones, el modelo perfecto.
Aún concebido y conducido impecablemente, la evaluación tendrá siempre sus

defectos: obstaculiza un poco las libertades; es costosa en tiempo, dinero y
energías; distrae a los interesados de sus obligaciones principales; o peor aún,
provoca desviaciones de objetivos "publicar por publicar" producir el mayor número
de graduados posible, inflar las cifras de inscripción o de subvención, etc. La
evaluación, por otra parte, muy raramente neutra. Tampoco tiene siempre toda la
profundidad deseada. Sus efectos con frecuencia dejan mucho que desear. Y otros
muchos.
Sin embargo, muchas evaluaciones tienen consecuencias felices, aún desde el

punto de vista de los evaluados, y en particular el de los profesores y
10
administradores. Una evaluación exitosa fortalece el sentimiento de autonomía y de
confianza, facilita la comprensión respecto de lo que acontece en el medio, y
asegura una mayor calidad y eficiencia en la consecución de las actividades de
enseñanza e investigación. Las instituciones son con frecuencia reacias al cambio,
lo que justifica aún más la necesidad de la evaluación. Su principal utilidad no es
política, puesto que a corto y mediano plazo, su impacto efectivo en las decisiones
es muy reducido. Su valor es principalmente de orden pedagógico, puesto que incita
a cuestionarse, a discutir. No obstante, tiene igualmente un valor de orden ético. La
evaluación opone. potencialmente, a todos los juicios cotidianos basados en la
subjetividad o en murmuraciones, opiniones más explícitas, más transparentes y
mejor sustentadas. Semejantes cualidades compensan ampliamente sus defectos.
En todo caso, es finalmente la menos mala, la más aceptable de las soluciones que
las universidades pueden ofrecerse.
NOTAS Contenido
(1) Ver el texto de James March de la Universidad de Stanford, en teoría de las

organizaciones.
(2) Astin A. Undergraduate Achievement and Institutional Excellence, No. 166. 1968,
p. 661 a 668.
11
SCHIEFELBEIN Ernesto
“Evaluación de los procesos de evaluación del sistema educativo 1950-2008”
12
EVALUACIÓN DE LOS PROCESOS DE EVALUACIÓN
DEL SISTEMA EDUCATIVO 1950-2008
Ernesto Schiefelbein y Paulina Schiefelbein
Revista Iberoamericana de Evaluación Educativa 2008 - Volumen 1, Número 1
http://www.rinace.net/riee/numeros/vol1-num1/art3.pdf
13
Evaluación de los Procesos de Evaluación del Sistema Educativo
1950-2008 ……………….. de de
E
l crecimiento de los sistemas educativos, en las últimas seis décadas, ha estado asociado a profundas
revisiones (y significativas mejoras) en la manera de evaluarlos. Tiene especial importancia revisar los
cambios producidos en tres dimensiones diferentes (pero complementarias), ya que si bien su impacto
final parece ser modesto (McKinsey, 2007:5), permite sugerir nuevas formas de mirar la dinámica
instruccional (Ball y Forzani, 2007:530) y, eventualmente, la educacional.
El principal cambio consistió, quizá, en pasar de “contar alumnos en cada nivel” a estimar “niveles de
aprendizaje” de contenidos y habilidades o aptitudes. Mientras que hace treinta años cualquier
evaluación era considerada como un tabú, en la actualidad la mayoría de países someten a los
estudiantes a pruebas desde los primeros años de la escolaridad hasta el final de los estudios
universitarios (Schiefelbein y Schiefelbein, 2004). Es importante, además, el haber pasado del “clasificar”
a los alumnos (entre los que podían avanzar al siguiente nivel y los que debían repetir), a lograr que cada
alumno aprenda al menos el mínimo necesario para avanzar (si tiene la capacidad necesaria, aunque sus
conocimientos previos sean limitados). Finalmente, se debe destacar el creciente interés por evaluar no
solamente el nivel de “instrucción” (en contenidos y habilidades), sino que también la “formación”
(propiamente tal) de la capacidad de tomar decisiones responsables conforme a criterios aceptados.
En este artículo se examina los cambios en cada una de estas tres dimensiones y se comenta la manera
en que cada uno de estos cambios ha repercutido en la operación de los sistemas y en los objetivos que
privilegian los maestros en el aula. Se examina, además, las brechas que estos cambios han generado
entre la formación inicial de los maestros y las demandas sociales de calidad de la educación.
1. PASAR DESDE LAS BRECHAS DE COBERTURA A LAS BRECHAS DE CALIDAD

De los indicadores de analfabetismo y cobertura usados en la primera mitad del siglo 20 se ha pasado, a
través de etapas graduales, a usar los puntajes en pruebas de rendimiento académico. Las “tasas de
analfabetismo” eran calculadas con las declaraciones que los “jefes de hogar” hacían a los
encuestadores que visitaban cada casa cuando se realizaba un Censo de Población (esto solía ocurrir
cada diez o más años) y, por lo tanto, era una medida que dependía de lo que cada jefe de hogar
considerada que era ser analfabeto. Se usaban en los estudios internacionales que ha realizado Unesco
(desde sus inicios) para comparar el avance de los países en materia de educación y estimular la
ampliación de la cobertura.
Chile redujo su tasa de analfabetismo de 25% en 1930, a 16% en 1960, a un 6% en 1992 y a un 4% en
la actualidad (MINEDUC, 2005). Si bien Unesco consideraba alfabeto a alguien que había cursado al
menos un cuarto grado de primaria, las declaraciones al Censo de población estaban asociadas a que la
persona hubiera estado matriculada en algún momento en una escuela.
En los años 60 la mitad de los Ministerios de Educación de América Latina tenía estimaciones de la
matrícula en cada grado y, en muchos casos, disponían de datos por edades calculados en los grandes
computadoras (denominadas “mainframe” por estar en una gran caja de metal que ocupaba una
enorme habitación). Esto permitía calcular las tasas de escolarización (bruta y neta) y, eventualmente,
tasas de repetición y de graduación (Schiefelbein, 1974).
Las tasas de repetición permitían suponer, en la década de los 60, que un 20% de los niños de América
Latina (que ingresaban a la escuela) tenía problemas de aprendizaje, pero el problema era
considerablemente mayor. En efecto, los datos para calcular esas tasas eran proporcionados por los
directores de escuela quienes informaban de los alumnos que repetían y de los que abandonaban la
escuela, sin saber que muchos de ellos se matriculaban al año siguiente en otra escuela como repitientes.
Esto generaba una subestimación de la tasa de repetición y una sobreestimación de la tasa de deserción.
Modelos de simulación permitieron calcular, con mayor precisión, que las tasas de repetición del primer
14
46
1950-2008 xxxxxxxxxxxx de
grado estaban cercanas al 50% (Schiefelbein, 1975). Estos indicadores sugerían la necesidad de estimular
el aprendizaje de los niños antes de ingresar a la educación primaria (Schiefelbein et al., 2000).
El desarrollo de los lectores ópticos y programas de computación permitió procesar, a fines de los 50,
pruebas objetivas administradas a miles de alumnos. Los investigadores y administradores de la
educación de doce países desarrollados acordaron en 1958 hacer comparaciones internacionales masivas
(Suter, 2001). Estas comparaciones permitieron estimar las brechas en los niveles de instrucción
alcanzados en los países. El momento era oportuno porque muchos países de menor desarrollo estaban
completando su capacidad de atender a los alumnos de familias con menos recursos de las zonas
urbanas. Estos niños tenían problemas para ser promovidos y se acumulaban los alumnos con extra-edad
en los primeros grados del sistema.
2. DEL ACREDITAR CONOCIMIENTOS (CLASIFICAR ALUMNOS) AL OPTIMIZAR APRENDIZAJES

Hasta los años 60 era parte de la responsabilidad profesional del maestro el promover un alumno al curso
siguiente sólo cuando estaba seguro que podía aprender al nivel esperado en ese curso (y no se sentía
responsable por los que no alcanzaban ese nivel mínimo). El maestro evaluaba al alumno a través de
Pruebas de Conocimientos o Capacidad (preguntas escritas a las que el alumno daba una respuesta
escrita) y observaciones personales. El criterio subjetivo de cada maestro determinaba quienes quedaban
clasificados para aprobar el curso y quienes debían repetirlo. En Chile sólo era posible comparar los
niveles de aprendizaje al rendir la Prueba de Bachillerato (administrada hasta 1966 por la Universidad de
Chile) una vez que se completaba el nivel secundario. Pero sólo un 5 a 10% de cada grupo de edad
rendía esa prueba.
Entre 1965 y 2001 la IEA realizó mediciones de lo que aprendían los alumnos en matemática (en 1965,
1982, 1995 y 1999); ciencias naturales (1970, 1986, 1995 y 1999); y lectura (1970, 1991 y 2001) lo que
permitió estimar las brechas que existían entre países desarrollados y en desarrollo (Suter, 2001). La
identificación de las brechas estimuló el análisis de los factores asociados a los rendimientos y, a
continuación, se realizaron estudios para identificar estrategias de enseñanza efectivas (Coleman et al,
1966; Schiefelbein y Simmons, 1979; Velez et al., 1992; Schiefelbein, 1994). Este tipo de estudios
produce, gradualmente, una separación entre los que ejecutan programas educativos y los que los
evalúan (McKinsey, 2007:36).
Los estudios sobre escuelas y maestros efectivos de los años 70 llevaron a medir el logro de
conocimientos y habilidades específicas (por ejemplo, capacidad de identificar la idea principal de un
texto de 100 palabras) mediante pruebas referidas a criterios específicos (Bond, 1996). La selección de
ítems de comprensión de lectura ha permitido constatar que en América Latina la mitad de los niños de
tercer o cuarto grado no logra entender los mensajes de textos breves y que esta dificultad estaría
asociada a insuficiente fluidez de lectura y a un vocabulario relativamente reducido. En la medida que se
han detectado estos problemas, las pruebas nacionales se tienden a concentrar en esclarecer las
características del problema y dejan de medir otros aspectos de la lecto-escritura como ortografía,
gramática o morfosintaxis.
La evaluación referida a norma (clasificar a los alumnos de acuerdo al puntaje en una prueba) vuelve a
tomar importancia cuando se constata que en los establecimientos que atienden a niños de nivel
socioeconómico bajo sólo se estudia parte del currículo. Esto hace que esos alumnos tengan bajos
puntajes en las pruebas de ingreso a la universidad. Sin embargo, los mejores alumnos de cada curso (el
10% con más alto rendimiento) tienden a lograr excelentes rendimientos (en el siguiente nivel) a pesar de
sus bajos puntajes en las pruebas de conocimiento (Gil, 2005). Se recupera —mediante esta manera de
15
47
1950-2008 ……………….. de de
seleccionar a los alumnos— a jóvenes de talento excepcional, que por falta de una instrucción adecuada
(en el nivel anterior) quedarían marginados de continuar estudiando en el nivel superior.
Pero los resultados de las pruebas no permiten avances significativos en los aprendizajes, ya que los
usuarios enfrentan numerosos obstáculos. Algunos ejemplos permiten ilustrar los tipos de obstáculos: (i)
distinguir entre acertar respuestas y saber las respuestas; (ii) diferenciar las probables “causas” de un
cambio en una variable independiente, de las asociaciones o correlaciones espurias o (iii) estar alertas
frente a procesos de “desorientación” en los medios de prensa, por ejemplo, distinguir entre los aportes
positivos y negativos de las Tecnologías de la Información y la Comunicación (TIC). Muchas veces los
resultados solo permiten suponer soluciones alternativas (Schiefelbein, 2005a, 2004a).
Los que toman decisiones (que no son expertos en el tema) no reciben el mensaje que menos de la mitad
de los alumnos de cuarto grado entienden lo que leen y muchos quedan con la sensación que “unos dos
tercios” comprende lo que lee. Esto se genera porque los resultados (para el nivel primario) se suelen
difundir en términos de porcentajes “brutos” de respuestas correctas. Si en un grupo de 100 alumnos hay
52 que responden correctamente (tasa “neta” de 52% que refleja los que “saben” la respuesta), los 48
restantes (en promedio, cuando hay 4 alternativas) acertarán doce veces, por lo que la tasa bruta llegará
al 64% de aciertos. En el SIMCE 2006 el 61,4% acertó con la idea principal del texto de dificultad
“intermedia”, pero sólo el 48,7% “sabía” cual era la idea principal (SIMCE, 2007b). Este resultado dista
mucho de “un buen rendimiento” donde cada uno de los niños tiene éxito (McKinsey, 2007,37).
También la difusión de resultados suele “desinformar o alejar a la opinión publica de los verdaderos
problemas” (Brunner, 2007). Esto ocurre, por ejemplo, cuando los titulares de los medios de prensa dicen
que “la educación privada logra 60 puntos más que la educación municipal lo que refleja su mejor
calidad”. Lo que no mencionan los medios de prensa es que cuando los resultados se controlan por el
nivel socioeconómico de la familia no hay diferencias en los puntajes (el nivel alto logra unos 300 puntos,
el medio obtiene 250 y el bajo entre 220 y 230). La conclusión es inversa (a lo afirmado en la prensa): no
hay diferencia de calidad entre los establecimientos (privados y públicos) y, en cambio, los profesores no
están preparados para compensar las diferencias en los niveles iniciales de educación (0 a 6 años).
Los mensajes sobre las TIC suelen desorientar al lector desprevenido. Se señala, por ejemplo, que los
nuevos audífonos o los mensajes de texto y fotografía de los teléfonos celulares han elevado la cantidad
de “copia” o fraude en las pruebas. El mensaje es que el problema estaría generado por la tecnología. Sin
embargo, el verdadero problema está generado por el énfasis en que los alumnos memoricen información
en vez de que aprendan a utilizarla. En este caso la tecnología ayuda a encontrar la verdadera solución:
que las preguntas impliquen un mejor nivel de aprendizaje (por ejemplo, aplicación, comparación,
inferencia o juicio crítico, según la taxonomía de Bloom) que no es posible copiar de un libro o un
mensaje de texto. En realidad la mayor parte de las pruebas se podrían hacer con derecho a consultar los
libros y apuntes (pruebas con libro abierto).
Finalmente, el uso de la información que proporcionan las evaluaciones, para mejorar la educación,
implica un uso profesional del conocimiento acumulado hasta ahora, tomando en cuenta sus diversos
niveles de confiabilidad (Ravela, 2005; Chapman y Mahlck, 1993). Por ejemplo, si el problema
fundamental es el bajo nivel de comprensión de lectura, será necesario examinar las revisiones de las
investigaciones pertinentes (Show et al., 1998; Abadzi, 2006; Oliveira, 2006; Bloom, 1976). En muchos
casos usar la información que proporcionan las evaluaciones implicará reanalizar los datos con teoría o
modelos más adecuados (por ejemplo, puntajes de un grupo de ítems de comprensión de lectura o nivel
de vocabulario) o realizar estudios complementarios de los alumnos (por ejemplo medición de aptitudes y
personalidad) o de otros aspectos, por ejemplo, examinar características de los profesores o de sus
formadores como maestros (Schiefelbein et al., 2007; Schiefelbein, 2004b; Schiefelbein, 1994). En
muchos casos se trata de entender el contexto en que ocurren los procesos y las interacciones entre los
16
48
1950-2008 xxxxxxxxxxxx de
diferentes elementos mediante una o varias visitas de un grupo de especialistas a una escuela específica
cada cierto número de meses o años, que puede ser menor para las escuelas con mejores indicadores de
rendimiento Esto ha permitido reducir a la mitad el tiempo que se dedica a evaluar en Inglaterra
(McKinsey, 2007:37).
Este considerable aumento de los instrumentos disponibles para evaluar y de información acumulada
sobre procesos de enseñanza y aprendizaje no debe hacernos olvidar que: (i) evaluamos en función de
ciertos objetivos que se consideran importantes y (ii) no siempre es posible medir con precisión los
objetivos importantes. Es por esto que se evalúa, fundamentalmente, la instrucción, y pone menos
atención a la “educación propiamente tal” (porque no podemos medir con facilidad actitudes y procesos
de decisión).
Por ahora todavía es útil la evaluación de niveles de instrucción (tal como antes fue la declaración en los
censos o la cobertura), pero no hay duda que se necesita más precisión para medir procesos de formación
de personas (Schiefelbein, 2003a). Es por esto que se debe revisar qué es lo que realmente queremos
obtener cuando evaluamos. ¿Nos interesa saber más, mejorar el mundo (ciencia o técnica) o
desarrollarnos como personas?
3. DEL EVALUAR CONOCIMIENTOS (INSTRUIR) A FORMAR PERSONAS (EDUCAR)

A mediados de los 50 se pensaba que el problema de la educación consistía en construir más escuelas y
contratar más profesores (y por eso se evaluaba el sistema con los indicadores comentados en el punto
1). Se esperaba que, eventualmente, los niños que estudiaran en esas escuelas se graduarían con niveles
similares a los de los alumnos que se graduaban en los 50. Los Bancos internacionales de fomento
prestaron fondos y los países ampliaron su cobertura. Pero la ampliación implicó el ingreso de alumnos
cuyas familias quedaban por debajo del nivel socioeconómico promedio del país (hasta los años 50 se
atendía sólo a la mitad de los niños en edad escolar de primaria cuyas familias quedaban por encima del
nivel socioeconómico promedio del país). Los recién ingresados tenían un menor vocabulario, asistían, en
promedio, menos días a clases que los de familias con más recursos —la necesidad de cuidar a
hermanos o la casa, el caminar mayores distancias (y a veces con ropa inadecuada), la desnutrición y
menor protección de la salud o la desorganización familiar están asociadas a mayores inasistencias a
clases— y, en general, sus aprendizajes eran menores que los del grupo anterior.
En las última dos décadas, entonces, el problema ha sido como lograr ciertos niveles mínimos de
instrucción, principalmente la capacidad de leer y entender los mensajes fundamentales de un texto y
realizar ciertos cálculos aritméticos básicos. La etapa siguiente podría ser la capacidad de usar la
información (más que la capacidad de recordar datos o aplicar algoritmos que se mide en la actualidad) y
en ese caso se usarían pruebas para medir aptitudes (por ejemplo, pruebas con libro abierto, quizá con el
estímulo de la tecnología que facilitad el “copiar” información a distancia mediante audífonos o
celulares). Pero esto está muy lejos de un esfuerzo de cambiar lo que pasa en las mentes y corazones de
los niños (McKinsey, 2007:5).
En la medida que la educación (y la evaluación) se ha reducido, en gran medida, a una mera instrucción,
es necesario recuperar “un justo equilibrio entre la libertad y la disciplina. . . [en el que] . . . la educación
lograda es una formación para el uso correcto de la libertad. Hay que aceptar el peligro de la libertad,
pero con la corrección de las ideas y decisiones equivocadas, sin apoyar en los errores o fingir que no los
hemos visto o, aún peor, que los compartimos, como si fueran las nuevas fronteras del progreso
humano” (Benedicto XVI, 2008). Esto implica empezar a medir lo que se logra en “formación” (porque de
otra manera sólo se pone atención a la “instrucción” por ser lo que se mide).
17
49
1950-2008 ……………….. de de
¿Qué indicadores usar para saber cuál es el nivel actual o el cambio en el uso de la libertad? ¿Queremos
medir con precisión o saber la magnitud del problema? ¿Cuál es el costo de usar los indicadores de
formación? ¿Es posible grabar clases, discusiones o dramatizaciones --en las cuales los participantes
representan teatralmente, el papel del ocupante de un determinado rol en la clase-- y luego re-analizar la
actuación de los participantes (un psicólogo puede colaborar en analizar el desempeño de cada
participante)? ¿Sería posible usar pruebas psicométricas para evaluar aptitudes o rasgos innatos de los
participantes a fin de tratarlos y transformarlos en habilidades o capacidades personales para tomar
decisiones razonadas, conforme a la conciencia moral? ¿Hay elementos de selectividad en los
instrumentos (que generen nuevos problemas de inequidad)? En todo caso es posible visitar las clases y
obtener indicadores de los procesos de enseñanza relacionados con formación (Schiefelbein, 2005b).
Por ahora, cuando la mitad de los niños de cuarto grado de Chile no logra comprender textos simples, las
alternativas de evaluación son más simples y se analizan en la última sección de este artículo.
4. CÓMO USAR HOY EN CHILE LOS RESULTADOS DE LAS EVALUACIONES: ¿CASTIGAR O AYUDAR?
Desde fines de los 60 se ha medido el nivel de aprendizaje de los alumnos para elevarlo, pero no ha sido
evidente la forma de hacerlo y, de hecho, no ha aumentado. La prueba de 8° grado (1967-1971) se limitó
a mostrar a los profesores los tipos de habilidades que debían estimular en sus alumnos. La PER, creada a
principios de los '80, buscó determinar el nivel del servicio educativo que se ofrecía y "monitorearlo" con
ayuda de los padres, que tratarían de seleccionar las mejores escuelas para sus hijos. El SIMCE midió, a
partir de 1988, los rendimientos de las escuelas y trató de identificar factores que pudieran explicar las
diferencias y evaluar el impacto de los programas de los municipios y del MINEDUC.
Sin embargo, no hay avances y conviene repensar este poderoso instrumento, que es el SIMCE, si se
quiere mejorar los aprendizajes. Un rol alternativo del SIMCE sería, según algunos expertos, ayudar a los
profesores a enseñar mejor y revisar cuáles son los temas importantes del currículo, más que el
"clasificar" rendimientos. Este segundo rol plantea diferencias nítidas con respecto al primero:
¿Seleccionar o desarrollar? ¿Poner nota o medir logro de meta? ¿Conocer el ranking o el aprendizaje de
objetivos específicos (criterio)? ¿Castigar o ayudar? “Son dos funciones diferentes (los especialistas
hablan de Evaluación Sumativa y Formativa, respectivamente). Si la primera no elevó hasta ahora los
rendimientos, convendría probar la segunda (Schiefelbein, 2003b).
Esto implica fuertes cambios en el SIMCE. En efecto, para "seleccionar" o "castigar" basta calcular un
puntaje total que "discrimine entre buenos y malos" y difundirlo públicamente. En este rol es
fundamental no divulgar los ítems utilizados para que mantengan su poder de discriminación (no ser
conocidos por los profesores y evitar que preparen a sus alumnos para contestarlos mecánicamente).
Basta calcular el puntaje de cada escuela para que los padres seleccionen entre escuelas o preparar datos
e indicadores globales para que los funcionarios del MINEDUC modifiquen las estrategias.
En la segunda función, en cambio, el usuario de la información del SIMCE es el profesor en su sala de
clases. En efecto, para "desarrollar" o "ayudar a mejorar" se necesita entregar información detallada a
cada profesor sobre los aspectos en que cada uno de sus alumnos logró los niveles adecuados y aquellas
habilidades o conocimientos que todavía no posee o no domina suficientemente. El profesor debe saber
lo que contestó cada alumno en la prueba y revisar con cada uno los errores que cometió, hasta que el
alumno internalice las deficiencias y reforme adecuadamente sus procesos de pensamiento. Sin
información detallada el profesor no puede identificar los aspectos de su enseñanza que debe cambiar o
cómo ayudar a cada estudiante... “En resumen, una redefinición clara del objetivo de la prueba nacional
de medición de la calidad de la educación debe orientar la reflexión del grupo de expertos sobre los
cambios que debe tener el SIMCE...”
18
50
CANALES Alejandro
“Evaluación, elementos del debate internacional”
19
ISSN: 1989-0397
EVALUACIÓN: ELEMENTOS DEL DEBATE INTERNACIONAL
EVALUATION: ELEMENTS OF INTERNATIONAL DEBATE.
Alejandro Canales
Revista Iberoamericana de Evaluación Educativa 2010 - Volumen 3, Número 1e
http://www.rinace.net/riee/numeros/vol3-num1_e/art1.pdf
20
Evaluación: Elementos del debate internacional
Alejandro Canales
H
ace alrededor de dos décadas que, con sus variantes, se inició en la región un amplio proceso de
evaluación en el sistema educativo (y en general en toda la sociedad), fue parte de lo que se denominó el
ascenso del Estado evaluador (Neave, 1988). Un amplio movimiento de control y vigilancia estatal de la
esfera pública y que, como eje analítico, colocó al Estado como actor con capacidad de iniciativa, factor
de explicación de los fenómenos políticos y apreciado en diferentes regiones (Skocpol, 1989).1 En el
campo educativo, una de sus expresiones más evidentes fue la distribución selectiva de recursos
financieros y la reorientación de actividades. Todos, prácticamente todos los actores y niveles del sistema
(docentes, alumnos y funcionarios) fueron sometidos a escrutinio y a una rendición de cuentas. Los
términos de calidad, eficiencia y competitividad, dominaron el discurso programático y los debates
académicos.
Si en un principio, frente a los problemas económicos de la década perdida de los años ochenta y la
posterior recuperación, pareció que las iniciativas de evaluación por entonces instauradas, serían algo
temporal para remediar los apremios derivados de la crisis, hoy, después de dos décadas de
experimentación, lo evidente es que se convirtieron en medidas permanentes, estratégicas, que
reorientaron los sistemas y cambiaron las coordenadas en las que se movilizan los actores del sistema
educativo.
Las causas que se han indicado sobre la aparición de este amplio proceso de evaluación son variadas,
aunque generalmente convergen en al menos tres aspectos:
Uno fue el crecimiento exponencial de los sistemas educativos en todo el mundo y particularmente los del
superior, cuya expansión a partir de los años sesenta fue mayor que en los niveles previos (UNESCO, 2000).
Efectivamente, si se consideran todos los niveles, la matrícula mundial casi se duplicó entre 1960 y 1990
(pasó de 437 millones a 990 millones en 1991), pero si solamente se considera a la educación superior, el
crecimiento fue más pronunciado, porque la matrícula se quintuplicó: pasó de 13 millones a 65 millones
en el mismo periodo (UNESCO, 1995). Más aún, el crecimiento todavía fue más importante en los países en
desarrollo, el número de estudiantes varió de 3 millones a 30 millones entre 1960 y 1991; aunque debe
advertirse que la base de la que partió era sumamente reducida.
El rápido crecimiento de la matrícula en el nivel superior, fue impulsada por la dinámica demográfica y la
ampliación de la cobertura en los niveles previos, lo cual facilitó que un mayor número de jóvenes
aspiraran a ingresar a la universidad; el énfasis fue mayor en la región africana, asiática y
latinoamericana, en comparación con Europa y América del Norte (UNESCO, 2000). El aumento de la
matrícula, provocó también un incremento en el número de los campos de estudio, en los departamentos,
en las instituciones y, en definitiva, en la expansión de los respectivos sistemas. En el contexto de
crecimiento cuantitativo, relativamente explosivo y prolongado, se decía, había que establecer cierto
control y regulación mediante procesos de evaluación.
Otro factor vinculado, o incluso independiente del anterior, se refiere al flujo de recursos financieros
canalizados a la educación superior, especialmente bajo el argumento de que el gasto público para el
sector ya había alcanzado su límite y en un escenario de fragilidad económica, como el que se vivió en los
años ochenta, había que ajustar y cuidar el uso de los recursos públicos. Recortes al presupuesto y un
1
Aunque, también está la opinión de que el retorno del Estado al primer plano, como nuevo “paradigma orientador para las ciencias sociales, no llegó
a establecerse propiamente en la región (latinoamericana)”. Cfr. Martín Tanaka (2005).
21
11
Alejandro Canales
escrutinio sobre su distribución, automáticamente condujeron a preguntar sobre la calidad de los

procesos y productos de la educación. En México y en la región una de las características más
sobresalientes al terminar la década de los ochenta, en el campo de la educación superior, fue el reproche
y el descontento con los resultados de la universidad pública. Organismos internacionales, como el Banco
Mundial y la misma UNESCO, coincidían en el tema de los recursos financieros. No obstante, el primero,
señalaba que era ineficiente la forma en la que invertían los recursos públicos en el nivel superior, puesto
que una buena parte se utilizaba para propósitos no educativos, otra no se aplicaba como era debido y la
rentabilidad social del nivel superior era menor en comparación con el básico (Banco Mundial, 1995). Por
su parte, la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO)
llamaba la atención sobre el hecho de que la matrícula seguía en expansión, pero el financiamiento
público mostraba la tendencia contraria y el ahondamiento de las diferencias educativas entre países en
desarrollo y desarrollados (UNESCO, 2000). El punto en común en ambos organismos era el mal
funcionamiento del sistema de educación superior, la baja calidad educativa y la necesidad de reformular
la misión y ampliar las perspectivas. En este escenario, la evaluación aparecía como el instrumento que
permitiría ordenar y mejorar la calidad del sistema educativo.
Un tercer factor, concierne al movimiento de transición a economías de base tecnológica, el cual, en
muchos países, viene asociado con el establecimiento de nuevas iniciativas en la formación de recursos
humanos y con la instrumentación de políticas para orientar la demanda estudiantil a campos que,
eventualmente, se aprecian como importantes para el desarrollo económico. En un esquema de
redistribución de la matrícula y de control de los procesos educativos para garantizar la calidad y
orientación de los recursos, la evaluación apareció como una medida relevante para canalizar la demanda
y procurar ciertas áreas educativas. A pesar de que se puede considerar como un sector de alto consumo
de recursos públicos, el costo creciente de los sistemas de educación superior tiende a ser legitimado por
lo que se supone tendrá de beneficios sociales (Van Vught y Westerheijden, 1994: 357).
También habría que reconocer que si alguno o algunos de los factores antes mencionados estuvieron en
la base del surgimiento del Estado evaluador y que éste fue, fundamentalmente, una respuesta a las
demandas de mayor productividad, calidad y eficiencia institucional, entonces parecía que el sistema de
educación superior había llegado a un punto crítico y que la evaluación prometía ser el único instrumento
que podría modificar y mejorar la situación (Neave, 2001).
El Banco Mundial, a mediados de los años noventa, indicaba que a la educación superior la aquejaba una
crisis de proporciones mundiales, sobre todo porque encima de las restricciones fiscales generalizas, tenía
que conservar o mejorar la calidad de la enseñanza y, al mismo tiempo, restringir el presupuesto para
educación (Banco Mundial, 1995). Era uno de los argumentos que le permitían afirmar que,
principalmente en los países en desarrollo, sus préstamos y el financiamiento público debía dirigirse
principalmente a la educación básica, no solamente porque el problema era mayor debido a los severos
ajustes fiscales y a una creciente demanda educativa, sino también porque, decía, existían pruebas de
que las “inversiones en la educación superior tenían tasas de rentabilidad social más bajas que las
inversiones en enseñanza primaria y secundaria” (p. 14). En consecuencia, señalaba que sus préstamos
continuarían orientándose al nivel básico, sugería que la inversión pública también debía hacerlo y
movilizar un mayor financiamiento privado en la educación superior. La UNESCO también acordaba en que
la educación superior en todo el mundo estaba en un periodo crítico, aunque advertía que: “Una
financiación pública limitada es una de las restricciones principales que se oponen al proceso de cambio y
desarrollo de la educación superior. Esa limitación de fondos es también la causa de la crisis actual y de
22
12
Alejandro Canales
las tensiones entre el Estado y la comunidad universitaria” (UNESCO, 1995: 8). No obstante, también
sugería que las instituciones de educación superior debían mejorar su gestión, ser más eficaces y
encontrar nuevas fuentes de financiamiento, sin menoscabo del indispensable apoyo público.
Después del eventual diagnóstico negativo de la educación superior, con ritmos y formas diferentes, en la
región latinoamericana y en todas la regiones, se fue instaurando un complejo entramado de
organizaciones y procedimientos para evaluar a todos los sectores y todos los actores del sistema de
educación superior; proliferó la creación de los llamados organismos intermedios, instancias con
diferentes figuras jurídicas (estatales, descentralizadas, autónomas) en quienes se delegó la tarea de
coordinar o efectuar directamente la actividad de evaluación. A continuación se destacan, de forma
sintética, algunos elementos de debate en el plano internacional, con el fin de ilustrar implicaciones para
la región latinoamericana y especialmente para la evaluación de la actividad docente.
1. BANCO MUNDIAL Y UNESCO

La crítica generalizada sobre la baja calidad de la educación superior proyectó a la evaluación como el
mecanismo que posibilitaría, primero, contener el deterioro y, luego, mejorar al sistema en su conjunto.
Los principales organismos internacionales formularon sus recomendaciones y moldearon, en buena
medida, las agendas nacionales sobre la educación superior en las diferentes regiones.
El Banco Mundial, en el documento mencionado, destacaba la crisis de la educación superior y alentaba a
debatir, también puntualizó cuáles deberían ser, a su parecer, las políticas a seguir. Una de las más
polémicas y que causó controversia fue su recomendación de que los fondos públicos debían canalizarse
principalmente a la educación básica, dado que la rentabilidad social de este nivel era mayor, en
comparación con la educación superior. Pero sus recomendaciones no solamente se refirieron al
financiamiento, el otro eje importante de propuestas para orientar la reforma de los sistemas de
educación superior fue el de calidad, capacidad de respuesta y equidad. A este respecto, planteaba que
el incremento de la calidad implicaba el mejoramiento de los niveles educativos previos y del proceso de
selección en la enseñanza superior, la incorporación de personal académico competente y motivado, la
garantía de una infraestructura e insumos pedagógicos suficientes, la movilidad internacional de
estudiantes y el fortalecimiento de los mecanismos de evaluación.
La capacidad de evaluar y vigilar la calidad de los resultados de la enseñanza y la investigación, señalaba
el Banco Mundial, era el principal factor determinante del desempeño académico. Los mecanismos de
evaluación a los que se refería el organismo, eran los que por ese entonces se comenzaban a generalizar
en las prácticas de las instituciones de enseñanza superior: la autoevaluación, como una forma de
promover el sentido de responsabilidad institucional, sobre la calidad y pertinencia de los programas, la
eficiencia y el manejo del financiamiento; la evaluación externa, para fijar y mantener niveles altos de
desempeño, con el propósito de establecer criterios mínimos de operación y funcionamiento en las
instituciones; y la de pares, como el procedimiento más aceptado para valorar y emitir un juicio.
Por supuesto, la evaluación no era el componente más sobresaliente en el documento del Banco Mundial,
sobre todo frente a la diversificación del financiamiento que proponía, pero sí la colocaba como el
principal factor para mejorar el desempeño académico, la calidad educativa y canalizar el apoyo
financiero.
23
13
Alejandro Canales
UNESCO, en buena medida en respuesta al debate que propuso el documento del Banco Mundial, también
planteó sus propios lineamientos para el cambio y desarrollo de la educación superior (UNESCO, 1995). En
general, proponía tres elementos clave para determinar la situación estratégica de este nivel: pertinencia,
calidad e internacionalización. El primer concepto, en referencia al papel que desempeñan las
universidades y los centros de educación superior en la sociedad y lo que ésta espera de estas
instituciones, sugería el cumplimiento de sus funciones sustantivas en permanente conexión con las
necesidades de la sociedad. El concepto de pertinencia pasó a formar parte de los planes y programas de
las agendas nacionales. En cuanto a la calidad, tema presente en el debate sobre la educación superior
desde fines de los años ochenta y también manifiesto en la preocupación del Banco Mundial, la UNESCO
proponía, en principio, reconocer que se trataba de un concepto multidimensional, en el que se incluían
las funciones esenciales de las instituciones de enseñanza superior y, por tanto, del personal, los
programas y el aprendizaje; no restringido a los aspectos financieros, a la función docente en los
diferentes programas, ni tampoco basada en el funcionamiento global de las instituciones que se
prestaban mejor a la medición de indicadores cuantitativos. En el caso del personal, señalaba el
organismo internacional, que la evaluación a través de pares, externa o autoevaluación, era el
mecanismo esencial en la política global de perfeccionamiento del personal. Una evaluación para permitir
la distribución adecuada de recursos y tareas, el reconocimiento financiero y no financiero de las
actividades del personal y la contratación, promoción y perfeccionamiento del profesorado.
A pesar de que UNESCO indicaba que en la búsqueda de la calidad y en la aplicación de la evaluación
debían respetarse los principios de libertad de enseñanza y autonomía institucional, también señalaba
con claridad que: “no hay que invocar estos principios fundamentales para luchar contra cambios
necesarios o como pretexto para defender con estrechez de miras los intereses profesionales o para el
abuso de privilegios” (p.40). En lo que se refiere a los alumnos, el problema de la calidad estaba referido,
principalmente, a cómo mantenerla en un escenario de crecimiento relevante de la matrícula y bajo un
claro principio de equidad, así como en la valoración de aptitudes en los diferentes segmentos de la
educación superior y en el perfeccionamiento de los programas de estudio y atención ofrecida por la
institución. Tal vez lo más importante es que el organismo internacional planteó, con claridad, que
[…] el principal criterio de evaluación del funcionamiento de la educación superior es la calidad de la
enseñanza, la formación, la investigación y los servicios prestados a la comunidad. Por consiguiente, es
importante que no se confundan la liberalización de las relaciones económicas y la necesidad de fomentar
un ‘espíritu de empresa’ con la ausencia de políticas sociales públicas, en particular en relación con la
financiación de la educación superior (UNESCO,1995:34).
Esto es, un objetivo centrado en la mejora del sistema de enseñanza superior, una evaluación amplia y
bajo distintos procedimientos y con el reconocimiento de las diferencias entre disciplinas y grupos de
disciplinas.
Las perspectivas y sugerencias de ambos organismos eran diferentes, aunque en los dos casos se
reconocía el punto crítico que había alcanzado el sistema de educación superior. La UNESCO, enfatizaba la
posibilidad y la capacidad del nivel superior para responder a su entorno, tanto en lo concerniente a la
equidad educativa como en su contribución al desarrollo sustentable. Por su parte, el Banco Mundial,
también sugería una vinculación con la sociedad, pero planteaba, fundamentalmente, su adaptación a un
escenario de mercado competitivo. Sobre la calidad educativa, como se pudo advertir, el Banco la
restringía a la vertiente instrumentalista y de beneficio económico. En tanto, UNESCO, la consideraba
24
14
Alejandro Canales
multidimensional, amplia, no solamente basada en indicadores cuantitativos y limitada a los aspectos

financieros.
2. EL UMBRAL DEL SIGLO XXI

En la primera Conferencia Mundial sobre Educación Superior, celebrada en 1998, una década después de
que se inició el amplio proceso de evaluación y posterior a los planteamientos de ambos organismos, se
dejó de lado la discusión en torno de la rentabilidad social de la educación superior y las prioridades de
financiamiento por nivel educativo. Sin embargo, sí incluyó en la declaración “la indeclinable
responsabilidad del Estado en el financiamiento de la educación superior pública”, así como también el
objetivo de mejorar y transformar la gestión de la educación superior mediante la adopción de políticas
apropiadas y la diversificación de fuentes de financiamiento (UNESCO, 1998:55).
En cuanto al tema de la calidad, prevaleció la idea sugerida por UNESCO y planteada previamente en
algunas de las conferencias regionales, como la de América Latina y el Caribe en 1996, en la que se
indicó que la educación superior podría cumplir su importante misión en la medida en que se exigiera la
máxima calidad y, para ello, la evaluación continua y permanente sería el mejor instrumento.
En la declaración de la Conferencia Mundial se consideraba que la calidad de la educación superior era
un concepto pluridimensional que debiera incluir todas sus funciones y actividades, como la enseñanza,
los programas, la investigación, las becas, el personal académico, los estudiantes, la infraestructura, los
servicios, entre otros y sugería que todas las instituciones de educación superior de todas las regiones
tendrían que evaluarse (UNESCO, 1998). Por tanto, además de plantear que los sistemas debían realizar
una autoevaluación interna y un examen externo, por especialistas, también recomendaba la creación de
instancias nacionales independientes y definir normas comparativas de calidad reconocidas en el plano
internacional. Esto es, las iniciativas se dirigían a tratar de poner en marcha, de forma regular,
procedimientos de evaluación para las instituciones ya establecidas, homogeneizar la calidad de las
mismas y también de las instituciones que estaban por crearse.
Lo más importante es que en la misma conferencia también se advertía que “Con miras a tener en cuenta
la diversidad y evitar la uniformidad, debería prestarse la atención debida a las particularidades de los
contextos institucional, nacional y regional” (UNESCO, 1998:27). Sobre todo, por la solicitud de varios
países para que se respetara la diversidad y la especificidad ante las eventuales normas internacionales
para la evaluación de la calidad. Esto es, se prevenía ante la idea de utilizar un modelo único de
evaluación que, como se ha mostrado, no es una opción válida, aunque no por ello ha dejado de
utilizarse, o alertaba sobre la posibilidad de generalizar un mismo perfil de evaluación.
En el año 2000 se publicó el documento de un grupo de expertos de diferentes países, auspiciado por el
Banco Mundial y UNESCO, en el que se analizó el futuro de la educación superior en los países en
desarrollo.2 En realidad se trataba de zanjar la polémica iniciada con la postura del Banco Mundial sobre
la prioridad del financiamiento público para la educación básica, dado el supuesto de menores tasas de
rentabilidad social de la educación superior (Rodríguez, 2000).
2
Cfr. Banco Mundial (2000).
25
15
Alejandro Canales
El documento del grupo de expertos, entre otros aspectos, rectificó el supuesto de menores tasas de
retorno de la educación superior, pues indicó que los cálculos se habían basado en una posición errónea.
Al respecto señalaron: “El grupo de trabajo apoya totalmente la continuidad de mayor inversión en
educación primaria y secundaria, pero cree que los argumentos económicos tradicionales están basados
en una concepción limitada de lo que las instituciones de educación superior contribuyen” (Banco
Mundial, 2000:39). Esto es, solamente consideraba que las personas con mayor educación tenían
mayores ingresos y eran mayores contrayentes fiscales, pero no tomaba en cuenta muchos otros efectos
de las personas educadas sobre la sociedad, como su papel como emprendedores económicos y sociales,
su contribución para crear ambientes en los que el desarrollo económico es posible, el funcionamiento
institucional que posibilitan o los beneficios de la investigación universitaria en la economía. En fin, en su
parte de conclusiones destacaba la responsabilidad del Estado para garantizar el financiamiento de largo
plazo para las instituciones públicas.
Sobre el tema de la calidad educativa, el documento de los expertos lo remitió fundamentalmente al
asunto de la gobernanza de las instituciones, al personal académico y a las formas de evaluación. En el
primer caso, fue enfático al señalar que la buena gobernanza, la forma en que se toman las decisiones en
las instituciones y se ponen en marcha, era condición necesaria aunque no suficiente para lograr una alta
calidad. Por la misma razón, también acordaba en que la calidad del profesorado era el factor más
decisivo para determinar la calidad total de una institución de educación superior. En tal circunstancia,
resaltó la importancia de la evaluación de pares externa como el mecanismo para el ingreso y promoción
del personal, aunque admitía que había ocurrido en las universidades de investigación y era necesario:
“desarrollar equivalentes funcionales para instituciones con diferentes misiones. Las instituciones deben
desarrollar indicadores claros para evaluar la calidad de sus objetivos organizacionales” (Banco Mundial,
2000:65).
A la par de los documentos de los organismos internacionales, diferentes países, al final de los años
noventa y con el emblemático cambio de siglo, se dieron a la tarea de elaborar reportes nacionales para
orientar la reforma de sus respectivos sistemas de educación superior. Por ejemplo, así funcionaron
diversas comisiones como la Attali en Francia; la Dearing en el Reino Unido; la Comisión Boyer en Estados
Unidos o el de Bricall en España.3 Obviamente, la preocupación central en el conjunto de reportes no
estaba dirigida al tema de la evaluación educativa sino a la reforma y papel que le correspondía a la
educación superior para impulsar el bienestar social y la competitividad de las respectivas naciones, pero
la calidad educativa sí formaba parte de los problemas a enfrentar. En los diferentes países y regiones, al
final del siglo pasado y en la primera década del actual, se impulsaron diversas iniciativas en la búsqueda
de la calidad y con la evaluación como su principal instrumento.
Es ilustrativo el balance regional de América Latina y el Caribe de 2008 sobre la evaluación y la
acreditación, realizado previamente a la Conferencia Mundial de Educación Superior de 2009. Ubicó a la
evaluación como paso previo al aseguramiento de la calidad y en la perspectiva de un mecanismo de
integración regional del Espacio de Encuentro Latinoamericano y Caribeño de Educación Superior
(ENLACES). La idea es, como ha ocurrido en la región europea, fortalecer el proceso de convergencia de los
sistemas de evaluación y acreditación nacionales y subregionales, para disponer de estándares y
procedimientos propios de aseguramiento de la calidad de la educación superior y de la investigación.
3
Una síntesis de los principales planteamientos de los diferentes reportes se puede consultar en: Roberto Rodríguez Gómez (2001: 339-356).
26
16
Alejandro Canales
Aunque también se advierte que los procesos de acreditación deben estar legitimados por la participación
de las comunidades académicas, contar con la contribución de todos los sectores sociales y reivindicar
que calidad es un concepto inseparable de la equidad y la pertinencia. Algunas de sus conclusiones
preliminares son que:
Se ha avanzado en relación con la “cultura de la evaluación” en la educación superior en la mayoría de los
países latinoamericanos, superándose las tensiones de los primeros años de la década de los noventa,
respecto a la autonomía universitaria, en relación con la evaluación y acreditación (De la Garza, 2008:207).
Tal conclusión genérica se basa en el tránsito paulatino que han experimentado, la mayoría de países
latinoamericanos, de la evaluación a la acreditación de los programas e instituciones universitarias
(ANUIES, 1993). Según el balance regional de América Latina, los procesos de acreditación de posgrados
tienen una amplia trayectoria en Brasil, se han aplicado masivamente en Argentina y, en general, han
posibilitado el control de nuevas instituciones universitarias y homogeneizar el nivel de calidad de las
mismas.
El reporte también aprecia que existe una tendencia a regular con mayor énfasis los programas de
ciencias de la salud (medicina, odontología y enfermería), ciencias aplicadas como la agronomía e
ingeniería y en menor medida carreras como derecho, educación y psicología.
Sin embargo, algunas tensiones se aprecian en el reporte de tendencias en la educación superior global,
preparado para segunda Conferencia Mundial sobre la Educación Superior de 2009. En el documento se
señala que las naciones se ven impelidas a diseñar esquemas de aseguramiento de la calidad que reflejan
prácticas internacionales, aunque preservan objetivos y prácticas que únicamente toman en cuenta
necesidades y limitaciones locales (Altabach; Reisberg y Rumbley, 2009). Igualmente, se hace notar que
la preocupación por la calidad de la educación superior ahora es universal, sin embargo, juega un papel
diferente en varias regiones y países, o bien que se ha ampliado y vuelto complejo el concepto. Esto es, si
en la primera conferencia se había reconocido que se trataba de un concepto multidimensional que
incluía todas sus funciones y actividades, actualmente se considera que la calidad de la educación
superior es un concepto dinámico, multidimensional y multinivel, relativo al contexto de un modelo
educativo, a diferentes misiones y objetivos institucionales. Tal vez una de las advertencias que vale la
pena retener del reporte es que:
Existen tanto riesgos como beneficios en el creciente movimiento por la calidad. Las prácticas
internacionales (frecuentemente desarrolladas en América del Norte y Europa) influyen el desarrollo de
esquemas de aseguramiento en todas partes, pero pueden no ser las más útiles para evaluar la educación
superior en los países en desarrollo. Los procesos se deben enfocar sobre objetivos reales y metas
apropiadas para cada ambiente local. Si no, el aseguramiento de la calidad rápidamente se convertirá en
un proceso político o burocrático con valor limitado (Altabach; Reisberg y Rumbley, 2009:64).
Por su parte, el comunicado final de la Conferencia de 2009 reitera el desafío de ampliar las
oportunidades y sostener la calidad educativa. Por tanto, se indica que el aseguramiento de la calidad es
una función vital de la educación superior contemporánea y debe involucrar a todos los interesados, por
lo cual se deben instaurar sistemas de aseguramiento, patrones de evaluación y promover una cultura de
la calidad en las instituciones (UNESCO, 2009). Nada se mencionó sobre las dificultades o los resultados de
la aplicación de los sistemas de evaluación que, desde hace dos décadas, están en operación; tampoco de
algunas de las advertencias del reporte de Altbach y colaboradores sobre las tendencias actuales.
27
17
Alejandro Canales
3. EL BALANCE
Después de más de dos décadas de experimentación, con variaciones en los distintos países, ¿cuál es el
saldo que ha producido la evaluación en la región latinoamericana?
Las posiciones en este terreno son variadas. Unos sostienen que, para bien, los sistemas de educación
superior de la región se han transformado, masificado y vuelto aún más diferenciados y complejos.
También que han diversificado sus fuentes de ingreso, se han internacionalizado, han cambiado sus
formas de gestión y que hoy, a diferencia del pasado, la evaluación y la rendición de cuentas son parte de
sus prácticas diarias y de su funcionamiento.
Otros también acuerdan en que los sistemas de educación superior se transformaron. Tanto por la
intervención estatal como por los mecanismos de gestión empresarial que se introdujeron, pero añaden
que el cambio de reglas no ha propiciado una verdadera mejora en las funciones sustantivas de las
instituciones que son las de enseñar e investigar. Por el contrario, dicen, se han deteriorado, pues aunque
los números se incrementaron exponencialmente (cantidad de instituciones, matrícula, titulados, textos
publicados, programas acreditados, etcétera), la calidad de los mismos no mejoró ni podrá hacerlo
porque el acento está puesto en la cantidad y solamente se han generado procesos de simulación.
Otros más sostienen, que los cambios en los sistemas de educación superior están en la ruta correcta,
pero que hace falta profundizarlos y mejorar la asociación entre recursos financieros y resultados. Señalan
que en el lenguaje administrativo de las instituciones educativas hoy ya es común el uso de términos
como calidad, indicadores de desempeño, revisión de pares, sistemas de información, medidas de
impacto, logro de metas y otros tantos, pero que en buena medida son más una declaración de
intenciones que una realidad y más una aspiración que un hecho.
Seguramente, en el espectro heterogéneo de los sistemas de educación superior en la región, las
generalizaciones son de poca utilidad y no ilustran a cabalidad la situación de cada uno, pero sin duda
que han ocurrido transformaciones importantes. El problema es que no está claro, o está debate, el
sentido de esas transformaciones.
El asunto tiene relevancia para la evaluación de la actividad docente porque la actividad como tal no ha
sido fuente de las preocupaciones de la transformación ni ha estado en la agenda de las iniciativas. En
general, como parte del mecanismo de asociar recursos al desempeño, se han tomado como principal
medida los programas de incentivo a la actividad docente, pero estos presentan serias deficiencias en su
aplicación y graves distorsiones, como mecanismos erróneos de dictaminación, un énfasis creciente en
criterios cuantitativos de desempeño individual, formas expeditas de resolver la valoración, cuando no un
desdén por las actividades docentes mismas, o un peso excesivo en las percepciones salariales.
Tal vez el problema más grave es que el sistema de incentivos en su conjunto no tiene como referente la
actividad docente, quizás puede tener el cumplimiento de la norma, como los horarios de rutina, la
actualización de expedientes, el programa de estudios e incluso características más cercanas a la
actividad de investigación, pero no el aliento para ser un buen docente.
En general, han sido dos las principales iniciativas para el personal académico que se han desarrollado en
el conjunto de sistemas de educación superior. Una se refiere al nivel de escolaridad de la planta
académica, sobre todo por la heterogeneidad de su situación y el supuesto de que un mayor grado de
escolaridad lo convertirá en un mejor profesor. Por esta razón, si uno ve las cifras del cambio del nivel de
28
18
Alejandro Canales
escolaridad del personal advertirá que principalmente es en la última década cuando se ha incrementado
el nivel de posgrado de la planta académica en buena parte de los países de la región.
La otra medida, cuando los presupuestos públicos lo han permitido, ha sido tratar de mejorar la
infraestructura y condiciones en las que se desarrolla la actividad docente. Lo que en algunos casos ha
implicado tratar de modificar el tiempo de dedicación y una mejora de la infraestructura de las
instituciones educativas.
Desafortunadamente, poco o nada se ha hecho por tratar de mejorar la actividad docente misma. El
ejercicio sigue, más o menos, las mismas pautas de actividad de siempre. O tal vez peor, bajo un
esquema de incentivos que multiplica los requerimientos o lo aleja de la docencia misma para obtener
compensaciones y no procura su desarrollo. Colocar a la actividad docente en el centro de las
preocupaciones para elevar la calidad de las instituciones y enfocarse en el aprendizaje es el gran desafío
que en los hechos ha sido diferido.
Seguramente nadie en su sano juicio estaría en contra de la calidad o de asegurar que la actividad
docente es y debe cumplir con sus propósitos fundamentales. Sin embargo, como dice Neave:
[…] hay algo deshonroso en el espectáculo de gobiernos que insisten en conseguir una enseñanza superior
de ‘calidad’ pero al mismo tiempo están resueltamente empeñados en modificar la condiciones bajo las
que funciona esta enseñanza. Piden calidad a la vez que no quieren o no pueden mantener su parte en el
trato (2001:183).
Una buena parte de lo que se dice y se escribe sobre la evaluación se refiere a la dimensión técnica de la
misma. A las formas y modelos, a las consecuencias de su aplicación, a su utilidad o inutilidad para
orientar ciertos perfiles o no. Pero tal vez no hemos reparado o re-examinado lo suficiente en el sustrato
que la anima y en sus consecuencias estructurales. Probablemente, después de dos décadas, nos
convendría hacerlo.
REFERENCIAS BIBLIOGRÁFICAS
Altbach, Philip; Reisberg, Liz y Rumbley, Laura E. (2009). Trenes in Global Higher Education: Tracking an
Academia Revolution. A Report Prepared for the UNESCO 2009 World Conference on Higher Education.
UNESC
ANUIES (1993) Acreditación universitaria en América Latina. Antecedentes y experiencias, México. México:
ANUIES.
Banco Mundial (1995). La enseñanza superior. Las lecciones derivadas de la experiencia. Col. El desarrollo
en la práctica. Washington, D.C.:Banco Mundial.
Banco Mundial (2000). Higher Education in Developing Countries. Peril and Promise. Washington D.C.:
Banco Mundial
De la Garza Aguilar, Javier (2008). “Evaluación y acreditación de la educación superior en América Latina
y el Caribe”, en: Carlos Tünnermann Bernheim (editor) La educación superior en América Latina y el
Caribe: diez años después de la Conferencia Mundial de 1998. Bogotá, Colombia: IESALC/UNESCO.
Neave, G. (1998). “The evaluative state reconsdiered”, European Journal of Education, vol. 33, núm. 3,
pp. 265-284.
29
19
Alejandro Canales
Neave, G (2001). Educación superior: historia y política. Estudios comparativos sobre la universidad
contemporánea. México: Gedisa.
Rodríguez Gómez, Roberto (2000). “La reforma de la educación superior. Señas del debate internacional
a fin de siglo”, Revista Electrónica de Investigación Educativa, vol. 2, núm. 1, pp. 68-86, UABC, México.
Rodríguez Gómez, Roberto (2001). “El debate internacional sobre la reforma de la educación superior.
Perspectivas nacionales”, Revista Española de Educación Comparada, núm. 7. pp. 339-356.
Skocpol, Theda (1989). “El Estado regresa al primer plano”, Zona Abierta, núm. 50. Enero-marzo.
Tanaka, Martín (2005). “El regreso del Estado y los desafíos de la democracia”, en El Estado está de
vuelta: desigualdad, diversidad y democracia. Perú: Instituto de Estudios Peruanos, 9972-51-129-4.
UNESCO (1995). Documento de política para el cambio y el desarrollo en la educación superior. UNESCO
UNESCO (1998). Conferencia Mundial sobre la Educación Superior. La Educación superior en el siglo XXI.
Visión y acción. Tomo I. Informe final. París. 5-9 de octubre.
UNESCO (2000). World Education Report. The Right to Education. Towards Education for All Throughout
life. UNESCO
UNESCO (2009). World Conference on Higher Education: The New Dynamics of Higher Education and
Research For Societal Change and Development. Comunique. París 8 de julio.
Van Vught, F. y D. F. Westerheijden (1994). “Towards a general model of quality assessment in higher
education”, Higher Education, vol. 28, núm. 3, pp. 355-371.
30
20
RAVELA Pedro y otros
“Las evaluaciones educativas que América Latina necesita”
31
LAS EVALUACIONES EDUCATIVAS QUE
AMÉRICA LATINA NECESITA
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,

Guillermo Ferrer, Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff 1
Referencia original:
Ravela, P., Arregui, P., Valverde, G., Wolfe, R., Ferrer, G., Martínez, F., Aylwin, M. y Wolff, L. (2008). Las Evaluaciones
Educativas que América Latina Necesita. Documento de Trabajo N. 40. Santiago de Chile: PREAL.
1
Los autores de este documento son los miembros del Comité Gestor del Grupo de Trabajo sobre Estándares y Evaluación del PREAL.
32
Las Evaluaciónes Educativas que America Latina Necesita
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
1. ¿POR QUÉ SON IMPORTANTES LAS EVALUACIONES NACIONALES DE LOGROS EDUCATIVOS?
L
a realización de evaluaciones estandarizadas como forma de conocer mejor la dinámica de procesos y
resultados en los sistemas educativos es cada vez más frecuente a nivel regional y mundial, en países de
muy diversas culturas y orientaciones ideológicas de gobierno. Prueba de ello es la creciente participación
de los países en las evaluaciones internacionales como PISA, TIMSS y PIRLS, y regionales como SERCE (en
América Latina) y SACMEQ (en África), así como el desarrollo de diferentes tipos de sistemas nacionales y
subnacionales de evaluación.
En algunos casos, la evaluación está motivada por una preocupación por la formación ciudadana y la
consolidación de una sociedad democrática; en otros, por la productividad de la fuerza de trabajo y la
competitividad de la economía nacional, por las oportunidades para el desarrollo integral de las personas
y sus posibilidades de participación en la sociedad del conocimiento, o por la equidad y la visión de la
educación como uno de los caminos para superar la pobreza. Muchos sistemas de evaluación parten de
una combinación de los intereses anteriores. En casi todos los casos se asume que la evaluación puede
servir:
como base para adoptar políticas educativas mejor fundamentadas;
para mejorar la gestión de los sistemas educativos;
como instrumento para la colaboración y el aprendizaje continuo al interior de los mismos.
A continuación se destacan los aportes principales de este tipo de evaluaciones.
La evaluación estandarizada ayuda a visualizar los resultados educativos del conjunto de estudiantes
La educación es una actividad “opaca”, en el sentido de que sus resultados no son directa ni
inmediatamente observables. Un buen docente puede apreciar si sus estudiantes están aprendiendo o no
y cómo, pero no todos los docentes tienen los mismos criterios de valoración, los cuales están
fuertemente vinculados a su experiencia profesional: su formación general y específica, su conocimiento
de la disciplina que enseña, su capacidad para percibir los procesos y dificultades de los estudiantes, su
familiarización con diversos tipos de alumnos, etc. Dada la heterogeneidad del cuerpo docente de un
país, no es posible obtener una visión de la situación del conjunto por la mera agregación de los puntos
de vista individuales. La evaluación estandarizada apunta a lograrlo.
Las evaluaciones entregan información sobre el real acceso al conocimiento y a las capacidades que
alcanzan los alumnos, más allá de la cantidad de años de estudio que tengan
En décadas pasadas, la equivalencia entre permanencia en el sistema educativo y acceso al conocimiento
y a las capacidades simbólicas se daba por descontada y los indicadores para valorar a los sistemas
educativos estaban relacionados con el acceso (matrícula, cobertura, retención, etc.). En esos tiempos, las
mayorías más pobres y con menor capital cultural no accedían al sistema educativo o apenas cursaban
unos pocos años de educación básica. Con la progresiva universalización del acceso al sistema educativo,
hoy muchos estudiantes procedentes de los sectores sociales más desfavorecidos llegan en desventaja en
términos de manejo del lenguaje oral (oficial) y escrito, con lo cual la equivalencia entre años de estudio y
acceso al conocimiento y a las capacidades simbólicas ya no es tal. Por otra parte, el crecimiento del
acceso a la profesión docente no fue acompañado por garantías de calidad en su formación, lo cual
también cuestiona la mencionada equivalencia. Así, más años en el sistema educativo no necesariamente
significa que todos los niños y jóvenes estén incorporando los conocimientos, actitudes y capacidades
necesarias para la vida personal y social, los que son cada vez más sofisticados y complejos. Las
evaluaciones buscan dar luces sobre lo que está ocurriendo al respecto.
33
46
Las Evaluaciónes Educativas que America Latina Necesita x
Las evaluaciones estandarizadas ayudan a hacer visibles un conjunto de aspectos centrales de la labor
educativa
Entre otras cosas, las evaluaciones estandarizadas aportan información sobre:
en qué medida los alumnos están aprendiendo lo que se espera de ellos al finalizar ciertos grados o
niveles;
cuál es el grado de equidad o inequidad en el logro de dichos aprendizajes;
cómo evolucionan a lo largo de los años, tanto los niveles de logro como la equidad en el acceso
al conocimiento por parte de los diversos grupos sociales;
en qué medida y cómo las desigualdades sociales y culturales inciden sobre las oportunidades de
aprendizajes de los estudiantes;
cuál es la diversidad de prácticas educativas existentes en escuelas y maestros y cómo las
mismas se relacionan con los aprendizajes de los estudiantes en diversos contextos sociales;
cómo influyen las condiciones de la enseñanza (situación de los maestros, recursos disponibles,
tiempos de estudio, etc.) en los progresos de los alumnos;
qué efecto tienen en los logros educativos las inversiones en programas educativos, los cambios en la
estructura del sistema, los cambios curriculares, los programas de formación, la adquisición de material
educativo, etc.
Un sistema de evaluación de aprendizajes y/o logros educativos puede aportar información importante
diversos actores sociales
En la medida en que el sistema produzca y comunique adecuadamente información sobre los aspectos
antes indicados, puede ser un instrumento clave de mejora, enriqueciendo la comprensión de la situación
educativa y la toma de decisiones en diversos ámbitos:
Las autoridades y los encargados de formular políticas educativas pueden comprender mejor los
problemas de la enseñanza y del aprendizaje; hacerse cargo de las carencias en que se desarrolla
la labor docente y desarrollar políticas pertinentes para apoyar el trabajo de las escuelas. Las
evaluaciones también les permiten valorar, sobre una base de evidencia empírica sólida, el
impacto de las políticas y programas que han impulsado y los probables efectos de las que se
proponen impulsar.
Los directivos y docentes pueden, a partir de una mirada externa sobre los logros educativos en
el conjunto del sistema, comprender mejor lo que están logrando y lo que no están logrando sus
propios estudiantes, cómo están aprendiendo y qué dificultades tienen. Pueden aprender de las
experiencias de otros docentes y escuelas que trabajan con estudiantes de características tanto
similares como diferentes a los propios. Pueden tomar decisiones más apropiadas acerca de qué
aspectos del currículo enfatizar y enriquecer sus propios modos de evaluar el aprendizaje de sus
estudiantes.
Los supervisores y encargados de la formación de docentes pueden apoyarse en la información
sobre los logros y dificultades educativas en el conjunto del sistema para estudiar en profundidad
las debilidades en el enfoque o en la práctica de la enseñanza que probablemente generan
algunas de las insuficiencias constatadas en los aprendizajes. Desde esa nueva perspectiva,
pueden mejorar su labor tanto de orientación a los docentes como de formación de los mismos.
En particular, los supervisores pueden beneficiarse de contar, como instrumento de apoyo para
34
47
su labor, con un mapa de las escuelas que las caracterice tanto en términos de la composición
sociocultural de su alumnado como de sus logros educativos.
Los padres y madres de estudiantes, adecuadamente informados, pueden comprender mejor qué
se espera que sus hijos aprendan, qué es lo que están logrando y qué pueden hacer para
colaborar con la escuela y con el aprendizaje de sus hijos.
La ciudadanía en general estará mejor informada sobre lo que acontece al interior del sistema
educativo y, por tanto, estará más atenta a los temas y problemas de la educación. Estará,
además, en mejores condiciones para exigir, tanto a los poderes públicos como a los
profesionales de la docencia, la mejora continua de la educación que se brinda a los niños, niñas
y jóvenes, y el uso responsable de los recursos que se destinan a la educación.
El desarrollo de un sistema nacional de evaluación estandarizada puede obligar a realizar una discusión
informada sobre qué aspectos del currículo formal son exigibles a todos los estudiantes y a definir con
claridad qué es lo que todos los estudiantes deberían haber aprendido al final de cada ciclo educativo.
La mayoría de los currículos en la región están constituidos por largas listas de objetivos y temas, todos
deseables pero no todos realizables. La elaboración de pruebas nacionales obliga a definir qué es lo que
debe ser considerado como fundamental y, por tanto, lo que todos los estudiantes deben saber y ser
capaces de hacer. Se pueden usar distintos términos para designar a estas definiciones: estándares,
competencias fundamentales, indicadores de logro, niveles de desempeño, metas de aprendizaje, criterios
de suficiencia, entre otros.
PARA NO CONFUNDIR...
Al desarrollar estos sistemas nacionales de evaluación, es necesario explicitar tanto el rol que estos cumplen así como las
funciones que no cumplen y cuáles son sus limitaciones, para evitar así los riesgos de mala interpretación respecto a lo que
son y la información que recogen y difunden.
Una evaluación estandarizada aporta información fundamental e indispensable sobre la “calidad educativa”, aunque
no es un indicador completo de la misma. No todos los objetivos valiosos de la educación están incluidos en este tipo
de evaluaciones. Hay una gran cantidad de saberes, actitudes, valores y aprendizajes relevantes que no pueden – por la
dificultad de medirlos de esta manera – o no deben – porque son propios de cada entorno local y, por tanto, no son
exigibles a todos los estudiantes del país – formar parte de una evaluación estandarizada.
La evaluación estandarizada de aprendizajes y/o logros educativos es un componente esencial de un sistema integral
de evaluación educativa, pero no es el único tipo de evaluación relevante. También tienen importancia la evaluación
realizada en el aula por los docentes, la evaluación del desempeño docente, la evaluación de los centros educativos, la
evaluación de las políticas educativas, la evaluación del uso de los recursos, la evaluación de la relevancia del currículo,
etc.
La evaluación es condición necesaria, pero no suficiente, para mejorar la educación. Si bien existe alguna evidencia de
que la mera existencia y difusión de información tiene algún impacto sobre ciertos actores, es necesorio recordar que la
evaluación es apenas uno de varios elementos clave de la política educativa que debe procurarse estén
adecuadamente alineados: la formación docente inicial y en servicio, la carrera y condiciones para el trabajo docente, la
gestión escolar, la supervisión, los diseños curriculares, los libros y materiales educativos, una inversión de recursos
proporcional a las necesidades de las diversas poblaciones y una acción decidida por parte de los responsables
educativos para resolver los problemas detectados, entre otros.
La evaluación estandarizada externa solo tendrá efectos positivos sobre la educación si es concebida, percibida y
empleada como un mecanismo de responsabilización pública de todos los actores vinculados al quehacer educativo.
Existe siempre el riesgo de que la política educativa se concentre en la implementación de evaluaciones, pero que luego
no se tomen acciones concretas para enfrentar y resolver los problemas que las mismas ponen de manifiesto. Muchas
veces las autoridades se limitan a informar de los resultados y transferir toda la responsabilidad por la solución de los
problemas detectados a las escuelas y familias, como si se tratase de un asunto privado entre ambas. Otras veces, toda
la responsabilidad se atribuye a los docentes, quienes, por su parte, tienden a transferir toda la responsabilidad a los
padres o al contexto. Lo importante es evitar ingresar en una dinámica de culpabilización y, por el contrario, intentar
construir una lógica de responsabilidad compartida en torno a la educación.
35
48
2. LA SITUACIÓN DE LA EVALUACIÓN ESTANDARIZADA EN AMÉRICA LATINA

Los sistemas nacionales de evaluación estandarizada se desarrollaron con fuerza en toda la región
durante los años 90. Algunos países han mantenido sus sistemas en funcionamiento con continuidad, aun
cuando se produjeran cambios de enfoque o variaciones en la institucionalidad de los mismos. Otros
países han tenido importantes discontinuidades y han tenido que comenzar prácticamente desde cero en
repetidas oportunidades o tendrán que hacerlo en el futuro próximo. Además de ello, actualmente:
Dieciséis países están participando en el Segundo Estudio Regional en 3° y 6° de primaria que
lleva adelante la OREALC/UNESCO: Argentina, Brasil, Chile, Colombia, Costa Rica, Cuba,
Ecuador, El Salvador, Guatemala, México, Nicaragua, Panamá, Paraguay, Perú, República
Dominicana y Uruguay.
Seis de estos países participan en PISA 2006 y otros tres se incorporarían al ciclo PISA 2009.
Algunos países de la región han participado además (o lo están haciendo) en los estudios de
Matemática y Ciencias (TIMSS), Lectura (PIRLS) y Educación Cívica que lleva adelante la
International Association for the Evaluation of Educational Achievement (IEA).
Durante los últimos 12 años ha estado activa en la región la red de los sistemas de evaluación
organizada en torno al Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación
(LLECE) de OREALC/UNESCO, en la que participan actualmente casi todos los países
latinoamericanos. Esta red se reúne dos veces al año y es un espacio de intercambio de
experiencias y formación en el ámbito de la evaluación.
Más recientemente se ha constituido el Grupo Iberoamericano de PISA, integrado por Argentina,
Brasil, Chile, Colombia, España, México, Portugal y Uruguay.
Las evaluaciones a gran escala en la región no solo son más frecuentes sino también están mejorando
Los principales cambios y mejoras que se observan en los últimos años incluyen:
Mayor transparencia en la difusión de los resultados. Parece haberse superado la etapa en que
las autoridades en varios países interferían en la divulgación de los resultados de las
evaluaciones cuando estos no les parecían favorables.
Tendencia creciente a pasar de pruebas normativas –que tienen como propósito principal
ordenar comparativamente a los estudiantes– a pruebas de criterios, que se enfocan en qué es lo
que los estudiantes saben y son capaces de hacer. Asimismo, crecientemente se incluye en las
pruebas de criterios una definición de cuál es el resultado que todos los estudiantes deberían
alcanzar para que su desempeño pueda ser considerado satisfactorio.
Mejoría de las capacidades técnico-metodológicas para la construcción de pruebas y para el
procesamiento de los datos. Existen esfuerzos por desarrollar pruebas que evalúen un rango de
conocimientos y capacidades más amplio y que incluyan preguntas de respuesta construida. Se
han ido incorporando también metodologías más sofisticadas para el tratamiento de datos,
como la Teoría de Respuesta al Ítem y el Análisis Multinivel.
Creciente atención a la difusión y uso de los resultados. Se ha ido comprendiendo que no basta
con implementar una evaluación y publicar un informe, sino que es necesario desarrollar una
estrategia de divulgación y un conjunto de reportes apropiados a cada una de las audiencias a
las que se quiere llegar. Las Unidades de Evaluación tienen una mayor conciencia acerca de los
usos apropiados e inapropiados para cada tipo de evaluación, aunque esto muchas veces no está
suficientemente claro entre quienes toman decisiones de política.
36
49
Mayor preocupación por la investigación de los factores que inciden sobre los aprendizajes. Si
bien falta mucho por hacer en términos metodológicos e interpretativos para producir buenos
trabajos de investigación, en la mayoría de los países hay conciencia de que es preciso avanzar
en la investigación y la construcción de hipótesis sobre cómo las dinámicas de la gestión de los
sistemas educativos, los procesos escolares, las prácticas de enseñanza y las decisiones de
política educativa influyen en las oportunidades de aprendizaje de los niños y niñas.
Creciente participación de los países evaluaciones internacionales. Esto ha tenido consecuencias
positivas en las Unidades de Evaluación y en la calidad de su trabajo: ha contribuido a la
construcción y acumulación de capacidad técnica en evaluación, ha facilitado el intercambio y el
desarrollo de un lenguaje común entre países y ha ayudado a mejorar la calidad de diversos
procesos técnicos (elaboración de pruebas, incorporación de preguntas de respuesta abierta,
muestreo, control de las aplicaciones, análisis de datos, modos de difusión, entre otros).
Las principales debilidades presentes en los sistemas de evaluación estandarizada en la región se
observan en la estrategia de difusión, en el uso de los resultados y en la calidad técnica de las
evaluaciones
A pesar de las mejoras previamente mencionadas, persiste un conjunto importante de debilidades que es
preciso abordar:
Es frecuente que desde el nivel político se demande la implementación de grandes operativos de
evaluación sin propósitos claramente definidos y en tiempos y con recursos absolutamente
insuficientes para hacerlo técnicamente bien.
Aún no se tiene claro que no cualquier evaluación sirve para cualquier propósito y que es
necesario diseñar cuidadosamente el sistema de evaluación para el largo plazo, en función de
propósitos y usos claramente establecidos. Esto es determinante para las decisiones relativas a la
utilización de censos o muestras, a los grados y disciplinas que serán evaluados, la periodicidad
de las evaluaciones, el tipo de pruebas y escalas de reporte, entre otras.
Falta una mayor discusión pública sobre qué debe ser evaluado y qué aspectos del currículo
deben haber sido enseñados a todos los estudiantes al concluir determinados niveles educativos.
Como resultado de ello, las metas y/o estándares de aprendizaje no son claros. Mientras no
exista claridad al respecto, tampoco existirá claridad ni para la enseñanza ni para la evaluación.
Esta tarea requiere de un amplio debate social y de un trabajo técnico coordinado entre las
unidades de currículo y de evaluación.
Para mejorar la investigación sobre los factores que explican los resultados, falta mejorar mucho
los instrumentos complementarios que se aplican junto con las pruebas y concebir diseños de
investigación más ambiciosos: estudios longitudinales, estudios de “valor agregado” y estudios
cualitativos, entre otros.
Los Ministerios de Educación han tenido, por lo general, una limitada capacidad para concebir,
formular e implementar políticas que den respuesta a los problemas identificados en las
evaluaciones. Falta para ello mayor articulación entre las Unidades de Evaluación y otros actores
educativos relevantes, dentro y fuera de los Ministerios de Educación, y mayor articulación entre
la evaluación, el desarrollo curricular, la formación inicial y el desarrollo profesional de los
docentes.
Las acciones para la divulgación y uso de los resultados de las evaluaciones aún son
insuficientes, en particular para lograr que los docentes los comprendan y utilicen y para que los
resultados se incorporen a la cultura escolar.
37
50
En la mayoría de los países perdura la práctica de divulgar resultados de tipos de escuela,

escuelas individuales, estados o provincias, sin una adecuada consideración de los contextos
socioculturales en que operan las instituciones y subsistemas educativos. Esto conduce a
interpretaciones y conclusiones erróneas sobre la eficacia educativa de dichas instituciones o
subsistemas. Para ello es necesario realizar evaluaciones de “valor agregado”, que implican dos
mediciones sobre una misma población en distintos momentos. Sobre este aspecto la experiencia
en la región es mínima.
En muchos países persisten importantes debilidades técnicas en el diseño de las evaluaciones:
excesiva simplicidad de la mayor parte de las preguntas y dificultad para elaborar preguntas que
permitan evaluar capacidades cognitivas complejas; focalización de las evaluaciones en los
logros educativos correspondientes a un grado específico, lo que impide saber qué han
aprendido quienes aún no logran lo esperado para dicho grado; deficiencias en la conformación
de las muestras y en la forma de estimar y reportar los errores de medición; y debilidades para
establecer mediciones que sean comparables en el tiempo.
No hay suficientes profesionales calificados para diseñar y conducir este tipo de evaluaciones, lo
que se agrava por la falta de continuidad de los equipos técnicos de los países, muchas veces por
razones de índole político-partidaria. Esto dificulta la acumulación de conocimiento y experiencia
en la región y ha dado lugar a que muchos países tengan que comenzar desde “cero” con sus
sistemas de evaluación, algunos años después de haber tenido uno en funcionamiento y haberlo
desmantelado.
EL RIESGO DE LAS MALAS EVALUACIONES

Sólo una evaluación técnicamente buena y cuyos resultados sean conocidos y utilizados de manera apropiada, puede
tener algún impacto en la mejora de los aprendizajes. Como es obvio, una evaluación cuyos resultados son poco
conocidos y utilizados supone un ejercicio estéril y un desperdicio de recursos.
Más graves aún son aquellas situaciones en que evaluaciones técnicamente malas son ampliamente difundidas o en que
las evaluaciones son empleadas para fines diferentes de aquellos para los cuales fueron concebidas y diseñadas, lo cual
puede tener efectos dañinos para el sistema educativo. El razonamiento según el cual lo que importa es evaluar y
difundir resultados como mecanismo de rendición de cuentas, sin importar la calidad de la evaluación, es una falacia
que puede hacer retroceder los sistemas de evaluación e imposibilitar una discusión seria de las ventajas y desventajas
de la rendición de cuentas o responsabilización por los resultados.
3. LOS PROPÓSITOS Y LOS USOS DE LOS RESULTADOS DE LAS EVALUACIONES ESTANDARIZADAS

Sea en la implementación de un sistema de evaluación o en su reforma, es necesario considerar algunas
opciones básicas de acuerdo a lo que se espera de él.
El primer paso es definir cuál será el propósito del sistema de evaluación y para qué se usarán sus
resultados
Es preciso considerar diversas opciones, que no son necesariamente excluyentes. Un sistema puede
combinar varias de ellas, pero es importante tener conciencia de que cada opción requiere de un
determinado diseño y tiene exigencias técnicas y de costos diferentes. Se debe analizar si el sistema
nacional de evaluación será:
de carácter diagnóstico (para alumnos, escuelas o sistema educativo), sin consecuencias directas
para los estudiantes, cuya finalidad principal es enriquecer con información de calidad las
percepciones, decisiones y acciones de diversos actores del sistema –autoridades y cuerpos
38
51
técnicos, supervisores, directivos, docentes, estudiantes y sus familias– para mejorar la

enseñanza y el aprendizaje.
de certificación de los logros educativos de los estudiantes, cuyo propósito central es establecer
quiénes han alcanzado los conocimientos y desempeños necesarios para aprobar un curso o nivel
y, en consecuencia, aprueba o reprueba.
Es necesario también establecer un adecuado balance entre la implementación de pruebas nacionales y
la participación en pruebas internacionales
Las pruebas nacionales pueden ofrecer una mirada más apropiada acerca de qué aprenden los
estudiantes de aquello que se les está enseñando, mientras que las pruebas internacionales pueden servir
para ubicar la situación del país en relación a lo que saben y son capaces de hacer los estudiantes en
otras sociedades y enriquecer el debate sobre el currículo nacional y el enfoque de la enseñanza. Los
países deberían analizar cuidadosamente en qué pruebas internacionales participar, teniendo en cuenta
lo que cada una pretende evaluar y su pertinencia en relación a los objetivos nacionales. Parece
recomendable participar periódicamente en al menos una evaluación regional o internacional, en el
marco de la política de prioridades que cada país defina.
Evaluaciones para la certificación de los aprendizajes de los estudiantes
Un sistema de evaluación para certificar los aprendizajes de los estudiantes a través de exámenes
nacionales de alta calidad técnica tiene ventajas asociadas a la transparencia y responsabilidad por los
resultados
Hoy es común que dos estudiantes que han aprobado un mismo nivel educativo en dos regiones distintas
de un país, posean en realidad niveles de conocimiento muy diferentes. Los sistemas de evaluación para
la certificación dan transparencia al valor de los certificados educativos ante la sociedad. Además, dichos
sistemas hacen responsables tanto a los docentes como a los propios estudiantes por alcanzar los
conocimientos y capacidades que evalúa el examen, lo cual tiene impactos positivos sobre el aprendizaje.
En todo caso, la evaluación externa con propósitos de certificación es más apropiada para los ciclos
superiores del sistema educativo, sobre todo hacia el final de la educación media.
Un sistema de evaluación para la certificación implica algunos requerimientos que son costosos
Por una parte, las pruebas deben ser de carácter censal y cada estudiante debe tener más de una
oportunidad para rendirla, lo cual requiere implementar varios operativos de evaluación cada año. Por
otra parte, las pruebas deben tener una amplia cobertura curricular, lo cual requiere que sean extensas,
en lo posible con preguntas de respuesta construida (que tienen un importante costo de codificación) y
deben abarcar varias asignaturas o disciplinas.
Un sistema de evaluación para la certificación puede generar tensiones importantes que es necesario
anticipar
Si las pruebas son exigentes, ello puede conducir a niveles de reprobación muy altos, que afectarían
principalmente a los sectores sociales más vulnerables y podrían agudizar problemas como la deserción y
el desempleo juvenil, lo cual las haría insostenibles desde el punto de vista social y político. Por ello, es
preciso acompañar este tipo de evaluaciones (en realidad todo tipo de evaluaciones, pero estas en
particular) con acciones pedagógicas de carácter complementario y compensatorio. Proponer estándares
altos implica asumir responsabilidad sistémica por proporcionar todas las oportunidades para aprender:
textos, materiales, instalaciones y preparación de maestros, entre otros. Existen diversos caminos para
enfrentar este problema:
39
52
Establecer que la evaluación estandarizada constituya solo una parte del proceso de certificación
de aprendizajes de los estudiantes (por ejemplo, el 40% de su calificación final). El resto de la
nota correspondería a las evaluaciones que realizan los docentes a cargo de los estudiantes. Si
bien en este caso se mantiene el problema respecto a la heterogeneidad de los criterios de
evaluación empleados por los docentes, es una forma de combinar la evaluación externa y la
interna, e incluso de aportar a los docentes una mirada externa que les permita reflexionar sobre
sus propios criterios.
Establecer un periodo de transición hacia estándares únicos y universalmente aplicables. Durante
dicho período, el foco principal se centra en la mejoría o progreso de los estudiantes de cada
escuela respecto a su situación anterior, y no únicamente en el cumplimiento del estándar
absoluto de certificación.
La peor respuesta que podría darse a este problema sería establecer un porcentaje fijo de reprobación,
por ejemplo, no debe reprobar más del 10% de los estudiantes. Ello implica utilizar pruebas más fáciles y,
por lo tanto, enviar a estudiantes, familias y educadores una señal equivocada respecto a las expectativas
de aprendizaje.
Evaluaciones de carácter diagnóstico y formativo
Un sistema de evaluación de tipo formativo y sin consecuencias directas para los estudiantes tiene
ventajas en términos de costos, posibilidades de diseño y de establecimiento de estándares altos, y
aporte a una cultura de evaluación
Los costos de aplicación de estas pruebas pueden ser menores, dado que pueden hacerse en base a
muestras y aplicarse solo en algunos grados claves y cada cierto número de años. Por otra parte, las
pruebas pueden diseñarse con carácter matricial, en que no todos los estudiantes responden a las mismas
preguntas sino a bloques de las mismas, lo cual permite trabajar con una cantidad muy grande de
preguntas y obtener un análisis más detallado de los distintos aspectos del currículo. Estos sistemas
permiten definir estándares o niveles de expectativa exigentes sin que ello produzca un fracaso
generalizado. Asimismo, ayudan a construir una cultura de la evaluación y a acumular capacidad técnica,
de modo que, cuando se analice la posibilidad de establecer un sistema con consecuencias, existan las
condiciones para hacerlo apropiadamente. Una de las alternativas a considerar entre los usos de carácter
formativo es la de “liberar” una prueba completa para que sea aplicada en forma autónoma por parte de
los maestros, con el fin de ayudarles a identificar dificultades de alumnos individuales y de enriquecer su
repertorio de instrumentos de evaluación.
El principal problema de estas evaluaciones es que pueden carecer de impacto si no se toman algunas
acciones complementarias
Las evaluaciones de carácter diagnóstico y formativo pueden resultar intrascendentes si no van
acompañadas de una estrategia precisa y de una inversión importante para asegurar la divulgación de los
resultados y su uso en acciones educativas posteriores, puesto que su efectividad se juega en que los
diferentes actores reciban, comprendan y utilicen los resultados. Por esto hay que tener presente que:
Para que los resultados de este tipo de evaluaciones tengan impacto sobre las políticas
educativas, se debe invertir tiempo en el análisis y discusión de los mismos por parte de diversas
áreas del Ministerio de Educación y otros actores relevantes, en la comprensión de los problemas
y deficiencias que los resultados ponen de manifiesto y en la concepción de acciones e
inversiones apropiadas para hacerles frente. Las autoridades deben estar dispuestas a someter
sus políticas y decisiones al escrutinio de la ciudadanía, para lo cual es necesario también invertir
en la comunicación apropiada y permanente de los resultados a la opinión pública.
40
53
Para que los resultados tengan impacto sobre las prácticas de enseñanza, es imprescindible
asimismo invertir tiempo en el análisis e interpretación de sus implicancias didácticas: si los
estudiantes no son capaces de resolver cierto tipo de situaciones, ¿qué es lo que se está
haciendo de manera insuficiente o inapropiada en las aulas y qué es lo que se debería hacer?
Este tipo de análisis debe ser realizado tanto por especialistas en la didáctica de las áreas
evaluadas como por los docentes, creando para este último efecto espacios permanentes y
sistemáticos de formación en servicio y de trabajo colectivo al interior de las escuelas. Es muy
importante que los maestros puedan analizar la mayor cantidad posible de ítemes para poder
identificar cuáles revelan un bloqueo importante para el desarrollo de nuevos conceptos o
capacidades. Sin embargo, siempre será necesario conservar el carácter confidencial de una parte
de los ítems para poder realizar mediciones comparables en el tiempo.
Para que los resultados tengan impacto sobre la motivación de los estudiantes y sobre la actitud
de las familias hacia el aprendizaje escolar, es necesario proveerles de información apropiada y
comprensible acerca de lo que se considera imprescindible haber aprendido en cada grado o
nivel educativo y de las acciones que pueden contribuir al logro de dichos aprendizajes.
EVALUAR CON UNA PERSPECTIVA AMPLIADA

Es muy importante que las pruebas no se limiten a evaluar los conocimientos y competencias correspondientes a un
único grado (aquel en que se aplica la evaluación), sino que incluyan una perspectiva más amplia de niveles de
desempeño –desde más básicos a más complejos– a lo largo de varios grados, de modo de identificar qué han
aprendido los estudiantes en grados anteriores y qué necesitan ahora. De este modo, los docentes podrán constatar y
subsanar las deficiencias en los aprendizajes de cursos previos, que impiden a los estudiantes continuar avanzando y los
resultados serán útiles no sólo para los docentes del grado evaluado, sino también para los de grados anteriores. El
énfasis no estará puesto en comunicar a los docentes que los estudiantes “aprueban” o “desaprueban”, sino en
comunicar que están en diferentes puntos de un continuo de aprendizaje, en el que todos pueden y necesitan progresar.
Las pruebas de tipo diagnóstico pueden tener carácter muestral o censal, dependiendo de la estrategia de
cambio educativo
El carácter censal o muestral tiene diversas implicancias, aunque también es posible combinar una
aplicación por muestras controlada con una distribución censal de las pruebas para su aplicación en
forma autónoma por parte de las escuelas, con fines formativos y de análisis de resultados e
identificación de estudiantes que necesitan apoyos complementarios.
Las pruebas a base de muestras sirven para tener un diagnóstico global del sistema. Requieren
de un cuidadoso diseño de la muestra, de modo de obtener información representativa para los
niveles de desagregación en los que se desee actuar y tomar decisiones (regional, provincial,
municipal; urbano y rural; escuelas indígenas, etc.). El impacto de los resultados de estas pruebas
depende principalmente de las medidas de política educativa que se tomen a nivel central y de
una estrategia de difusión apropiada que llegue a todas las escuelas.
Las pruebas censales sirven para obtener información de cada una de las escuelas e incluso de
los alumnos. El impacto de sus resultados depende de la devolución de la información a cada
comunidad educativa, con un enfoque y un formato adecuados para promover una mayor
participación y compromiso a nivel local. La información también puede resultar muy útil para
dirigir mejor las políticas hacia distritos o escuelas con mayores problemas, ya que se puede
contar con un “mapa” de resultados de todas las escuelas, zonas, provincias, tipos de escuela,
etc.
41
54
Uso de las evaluaciones para establecer incentivos

Además de las opciones examinadas, existen políticas de evaluación estandarizada dirigidas a establecer
incentivos económicos en función de los resultados o a propiciar un mercado competitivo entre las
escuelas
Tres son las principales modalidades en este tipo de políticas:
Utilizar los resultados para construir rankings de escuelas y hacerlos públicos, como forma de:
fomentar la responsabilidad de las escuelas por sus resultados; entregar a las familias
información para la toma de decisiones sobre la escuela a la cual enviar a sus hijos; promover la
competencia entre los centros educativos por obtener mejores resultados.
Utilizar los resultados para entregar incentivos económicos a las escuelas que obtienen mejores
resultados o mejoras en relación a sus resultados en evaluaciones anteriores.
Utilizar los resultados como indicador de la calidad del trabajo de cada docente y como criterio
para otorgar incentivos económicos.
Estos enfoques de uso de la evaluación a veces se constituyen, con o sin intención deliberada, en un
mecanismo por el cual el Estado renuncia a su responsabilidad por los resultados del sistema educativo
En ocasiones, el Estado limita su accionar a la realización de evaluaciones, la entrega de resultados y el
establecimiento de incentivos en función de estos resultados, transfiriendo la responsabilidad por los
resultados a la relación entre escuelas y familias, como si se tratase de un asunto entre actores privados,
en lugar de ocuparse de crear las condiciones para que la enseñanza resulte efectiva proveyendo los
recursos necesarios, constituyendo un elenco docente adecuadamente formado y estableciendo
mecanismos idóneos para la evaluación y la orientación de la labor de las escuelas. Este modo de operar
no considera la complejidad de la labor educativa, en especial en medios socialmente desfavorecidos, y la
necesidad de invertir en la creación de capacidades como herramienta principal para la mejora de la
enseñanza y el aprendizaje.
3.1. Criterios básicos para la divulgación y uso de los resultados
La responsabilidad por los resultados debe ser compartida por diversos actores
Debería evitarse todo uso de los resultados con el fin deliberado o implícito de culpabilizar o
responsabilizar de manera exclusiva a ciertos actores. La responsabilidad debe ser compartida entre las
autoridades nacionales y regionales, los cuerpos docentes, los estudiantes y sus familias.
La responsabilidad por los resultados requiere de una adecuada combinación entre las exigencias y los
apoyos a las escuelas y a los docentes
Por un lado, es necesario que escuelas y docentes asuman su responsabilidad respecto al objetivo de que
todos los estudiantes aprendan lo que se espera de ellos. Simultáneamente, es deber de las autoridades
establecer las políticas de apoyo necesarias para que escuelas y docentes puedan desarrollar su labor de
manera apropiada. Un esquema de exigencias altas sobre escuelas y docentes sin los correspondientes
apoyos solo puede generar malestar y desánimo. Un esquema de apoyos sin contrapartes y exigencias
puede generar autocomplacencia.
Es inapropiado utilizar los resultados de las pruebas estandarizadas como indicador principal de la
calidad del trabajo del docente o de la escuela
Esto es importante, en particular si no se ha controlado el efecto de otros factores internos y externos al
sistema educativo y si no se tiene en cuenta que el aprendizaje depende también de la motivación y
esfuerzo personal del estudiante. Además, dado que los resultados de pruebas estandarizadas no son el
42
55
único indicador de la calidad de la educación, es preciso considerarlos en conjunto con otros aspectos
relevantes como la retención, la pertinencia y relevancia de lo que se enseña, la formación de valores y
hábitos o la formación ciudadana. Debe evitarse la identificación del término “calidad” con resultados de
pruebas estandarizadas.
Para facilitar la comprensión y uso de los resultados, no basta con ofrecer resultados numéricos
Es fundamental ilustrar a los distintos actores acerca del tipo de tareas que los estudiantes debieron
resolver en las pruebas. Este criterio debe combinarse adecuadamente con la necesidad de mantener el
carácter confidencial de un conjunto de preguntas, que puedan emplearse en futuras evaluaciones para
establecer mediciones comparables en el tiempo. Si bien no se pretende que los docentes utilicen pruebas
estandarizadas para evaluar a sus estudiantes, el conocimiento y la comprensión de las mismas pueden
contribuir a mejorar sus modos de evaluar y a desarrollar una cultura de la evaluación.
Al reportar las diferencias de resultados en función de la composición sociocultural del alumnado de las
escuelas, se debe cuidar de no crear un sistema de expectativas de logro diferenciado por grupos sociales
En todo caso, las diferencias deberían producirse en las políticas para crear condiciones apropiadas para
enseñar a los grupos más desfavorecidos. Se debería descartar también cualquier tipo de uso de los
resultados que, directa o indirectamente, propicie la selección de estudiantes por parte de las escuelas a
los efectos de mejorar sus resultados.
3.2. Advertencias sobre la comparación de resultados entre escuelas
Aunque los resultados de pruebas estandarizadas no dan cuenta en forma exhaustiva de la calidad
educativa de una escuela, sí aportan información relevante de los niveles de desempeño alcanzados.
La información sobre resultados en dos pruebas estandarizadas –en general, lenguaje y matemática– no
constituye por sí misma una evaluación de la “calidad educativa” de las escuelas ni debería presentarse
al público como tal. La “calidad” de una escuela incluye otros aspectos relevantes y valorados por los
docentes, estudiantes y familias, tales como el desarrollo emocional, las relaciones interpersonales, la
formación cívica y en valores, entre otros. Aun así, la información comparativa acerca de los niveles de
desempeño alcanzados por los estudiantes en una diversidad de escuelas puede ser relevante para los
equipos docentes de las escuelas, en la medida en que enriquece la percepción de la propia labor,
permitiéndoles ubicar los logros de sus estudiantes en el contexto de los alcanzados por los estudiantes
en otras escuelas.
Para que la comparación entre los niveles de desempeño de los estudiantes sea apropiada, se deben
considerar sus condiciones sociales de origen
Los resultados académicos de las escuelas deberían poder compararse con los de escuelas de similar
composición social, dado que los retos y dificultades que implica enseñar a estudiantes de origen
desfavorecido (o de lengua materna indígena) son muy diferentes que en el caso de estudiantes de
familias con educación secundaria completa y/o terciaria. También hay que tener en cuenta las tasas de
deserción de las escuelas y sus políticas de selección de estudiantes, dado que una escuela puede mejorar
sus resultados a través de la exclusión de estudiantes con dificultades.
Las comparaciones entre escuelas deben considerar la diferencia entre medir el “logro educativo” y
medir el “aprendizaje”
En rigor, si el propósito es entregar a las escuelas, familias y/o autoridades, información acerca de la
capacidad de enseñar de los docentes y las escuelas, es necesario medir el progreso de los estudiantes a
lo largo de un período lectivo (“aprendizaje”) y no únicamente el resultado final (“logro”). Las
diferencias entre estos dos términos se expresan en que:
43
56
El aprendizaje puede ser definido como el cambio ocurrido en los conocimientos y capacidades
de cada estudiante a lo largo del año lectivo. Su medición requiere la aplicación de dos pruebas,
una al inicio y otra al final. De este modo es posible constatar el progreso realizado por cada
alumno.
El “logro educativo” en cambio, se mide con una única prueba y refleja la acumulación de
conocimientos y capacidades a lo largo de toda la vida del estudiante, lo cual incluye el capital
cultural familiar y sus experiencias en otras escuelas o con otros docentes.
Debe tenerse siempre presente que el aprendizaje y el logro educativo de los estudiantes dependen tanto
de lo que hacen las escuelas y docentes, como del esfuerzo de los propios estudiantes, del apoyo de las
familias a la tarea escolar, del contexto comunitario y cultural y de las políticas educativas. Los problemas
educativos no pueden ser resueltos apelando exclusiva ni principalmente a mecanismos de mercado.
Los resultados expresados en términos de rankings de escuelas deben ser mirados con precaución
La mayoría de rankings de escuelas transmiten una falsa imagen de ordenamiento. Una escuela puede
ocupar el primer lugar y otra el número 40 y, sin embargo, las diferencias entre sus promedios pueden no
ser estadísticamente significativos. Esto significa que no puede decirse si un promedio es realmente
superior al otro, porque las diferencias entran dentro de los márgenes de error de la medición. Pero aun
cuando las diferencias en los promedios sean estadísticamente significativas, pueden ser irrelevantes en
términos de las proporciones de alumnos que logran los niveles de desempeño esperados.
3.4. Itinerario para la toma de decisiones
Considerando las alternativas existentes para una política de evaluación, antes de poner en marcha un
sistema de evaluación (o de modificar uno existente) es indispensable seguir un itinerario de decisiones
para definir las características del sistema que incluya al menos las siguientes preguntas básicas:
¿Para qué se quiere evaluar? ¿Quiénes usarán los resultados y con qué propósitos? ¿Qué se
espera saber que no se sepa ya?
¿Cuáles serán las unidades de análisis para el reporte de resultados: estudiantes individuales,
grupo de clase/maestros, escuelas, tipos de escuela, entidades subnacionales, sistema educativo?
De acuerdo a los propósitos definidos, ¿qué es más apropiado evaluar –aprendizaje o logro
educativo– al egreso de determinados grados o ciclos?
¿Qué tipo de consecuencias tendrán los resultados y para quiénes?
De acuerdo a los propósitos definidos, ¿es necesario trabajar en forma censal o son suficientes
evaluaciones en base a muestras?
¿Qué grados y qué disciplinas es importante evaluar?
¿Cada cuánto tiempo es necesario y adecuado realizar las evaluaciones?
Las respuestas a estas preguntas deberían plasmarse en un plan de evaluación a corto, mediano y largo
plazo, claro y explícito. En la elaboración de dicho plan es muy importante considerar los costos en dinero
implicados en cada opción y los recursos humanos necesarios para su adecuada implementación. En
particular, se debe balancear la inversión a realizar en la recogida de información con la inversión en la
difusión y uso de los resultados. Muchos Ministerios de Educación destinan importantes sumas de dinero
a recoger una gran cantidad de información todos los años, que luego casi no se analiza, ni se difunde ni
se utiliza. Es absolutamente inconducente implementar un primer operativo de evaluación si no se ha
elaborado un plan de trabajo de largo plazo.
44
57
“MANDATOS” ÚTILES AL MOMENTO DE TOMAR DECISIONES POLÍTICAS RESPECTO AL SISTEMA DE EVALUACIÓN

“No harás daño”. Una de las primeras normas del juramento hipocrático señala que el médico se
abstendrá de todo aquello que pueda generar daño o perjuicio a sus pacientes. Del mismo modo, a la
hora de pensar en un sistema de evaluación es importante considerar los riesgos de efectos no
deseados y perjudiciales que la estrategia de evaluación diseñada podría tener sobre el propio sistema
educativo que se desea mejorar.
“El consumo excesivo de este producto puede resultar perjudicial para la salud”. La evaluación no
puede estar por encima de la educación. El exceso de evaluaciones puede producir perjuicios para la
salud del sistema educativo, en especial si solo hay evaluaciones pero no hay políticas para dar
respuesta a los problemas que estas ponen de manifiesto.
“El consumo exclusivo de este producto también puede resultar perjudicial para la salud”. La
evaluación no produce mejoras por sí misma. Debe estar alineada con otro conjunto de elementos
para que aquellas se produzcan. Se debe evitar la ingenuidad de pensar que evaluando mucho – y
poco más que eso – se va a mejorar la educación.
“No evaluarás en vano”. Se debe evitar recoger todos los años información que nunca será analizada
ni utilizada. Para que un sistema de evaluación tenga impacto, debe tener una periodicidad que
garantice que los datos puedan ser analizados, discutidos, comprendidos y utilizados. Incorporar la
nueva información y traducirla en decisiones y acciones lleva tiempo. Los cambios en el sistema
educativo requieren más tiempo aun.
“Vísteme despacio Sancho, que estoy apurado”. Es muy importante que quienes toman las decisiones
en los Ministerios de Educación desestimen la creencia ingenua en la existencia de caminos fáciles y
rápidos. No es posible montar un programa de evaluación serio en tres meses. No existe coyuntura ni
“ventana de oportunidad” que lo justifique: las consecuencias de la improvisación se harán sentir tarde
o temprano. La evaluación requiere reflexión cuidadosa acerca de sus fines y usos; discusión pública
sobre qué es lo fundamental a evaluar; diálogo e involucramiento de diferentes actores; conformación
de equipos técnicos competentes en diversos aspectos; e información previa para que los actores se
involucren con la evaluación.
4. LOS DESAFÍOS DE CALIDAD TÉCNICA DE LAS EVALUACIONES

Una vez definida la política de evaluación, es necesario implementarla de acuerdo con diversos
estándares apropiados de calidad técnica. Esto implica abordar los siguientes desafíos:
Elaborar un referente o marco conceptual que defina con precisión los conocimientos y desempeños que
son considerados apropiados al finalizar el grado o ciclo educativo que será evaluado
Si bien esta construcción exige antes que nada un debate y decisiones de carácter político, las
definiciones tomadas en dicho terreno deben luego ser adecuadamente traducidas en especificaciones y
estándares de carácter técnico. Asimismo, el debate político-educativo debe estar alimentado por
información sobre los avances conceptuales recientes en cuanto a la enseñanza y a los desempeños de
los estudiantes en las disciplinas consideradas.
Incluir en las pruebas actividades con diversos grados de complejidad
Se debe contemplar actividades cuya solución requiera de competencias cognitivas suficientemente
complejas, apropiadas a los desafíos de la sociedad del conocimiento, así como también actividades
sencillas que permitan informar sobre el punto en que se encuentran los estudiantes menos avanzados.
Las actividades deben poseer una serie de propiedades psicométricas que es necesario garantizar y cuyo
control requiere pruebas piloto y análisis cuidadoso. También es importante, en la medida de lo posible,
45
58
ampliar el uso de preguntas de respuesta construida, con el doble propósito de evaluar capacidades más
complejas y de mejorar la articulación entre la evaluación externa y la cultura docente y escolar.
Conformar las pruebas a partir de la apropiada integración de las actividades en bloques y cuadernillos
Este es un desafío técnico importante y complejo, que requiere de conocimientos especializados y
experiencia. Especial atención debe otorgarse a la decisión de utilizar la Teoría Clásica o la Teoría de la
Respuesta al Ítem para la construcción y el análisis de las pruebas, lo cual requiere de programas de
procesamiento modernos, analistas bien entrenados, análisis rigurosos y asesoramiento de alto nivel.
Definir los “puntos de corte” que establecen los límites entre niveles de desempeño en una prueba
Vinculado con esto, se debe definir la metodología a seguir para establecer cuál de los niveles debe ser
considerado como aceptable para un estudiante al finalizar el grado o ciclo educativo evaluado. Un
rendimiento aceptable no puede ser establecido automáticamente como equivalente al 51% o más del
máximo posible en una prueba.
Diseñar muestras apropiadas a los propósitos de la evaluación
Esto tiene por objeto evitar operaciones más grandes y costosas de las estrictamente necesarias y que, al
mismo tiempo, tengan un nivel de precisión adecuado. En relación a este último aspecto debe incluirse,
además, la estimación y reporte de los márgenes de error de las mediciones.
Definir cómo se equipararán las evaluaciones
La equiparación de las evaluaciones se refiere a la metodología mediante la cual los resultados de
pruebas aplicadas en distintos años se hacen comparables. Este es uno de los desafíos técnicos más
importantes que los sistemas de evaluación deben afrontar si uno de sus propósitos es informar sobre los
avances o retrocesos en los logros educativos a lo largo del tiempo. Este proceso es indispensable para
poder afirmar que los eventuales cambios que se constaten responden a cambios en la realidad educativa
y no meramente a cambios en el instrumento de medición. Requiere tomar recaudos tanto desde el punto
de vista estadístico, como desde el punto de vista de la continuidad de los conocimientos y competencias
evaluadas, y la estabilidad en la longitud y la estructura de la prueba.
Construir datos longitudinales que permitan apreciar la evolución en el tiempo de los aprendizajes de un
mismo conjunto de estudiantes
Este tipo de datos, que exigen más de una medición en el tiempo, es el que evalúa el “aprendizaje”
entendido como cambio y el que mejor permite establecer cuáles son los procesos propiamente escolares
que tienen influencia sobre el mismo. Este enfoque es el que permitiría obtener información más
relevante para la política educativa y para la investigación.
Establecer mecanismos de control del cumplimiento de las condiciones estandarizadas que deben regir
durante la aplicación de las pruebas
El cumplimiento de las condiciones de aplicación de las pruebas involucra aspectos técnicos complejos y
muchas veces descuidados. Sin embargo, son fundamentales para que la información sea confiable y
comparable. Esto apunta a temas como:
La calidad de la capacitación de los aplicadores.
el establecimiento de controles de calidad durante la aplicación de las pruebas.
La motivación a los estudiantes para realizar las pruebas.
La logística de la distribución.
El retorno seguro de los materiales.
46
59
Combinar las evaluaciones con estudios cualitativos

Es importante combinar las evaluaciones nacionales estandarizadas, que ofrecen una mirada sobre el
conjunto del sistema, con la realización de estudios cualitativos que permitan profundizar en los procesos
escolares y los procesos que ocurren en las aulas. Esta combinación de enfoques es el mejor modo de
aportar información rica y compleja para pensar en las políticas educativas y en las prácticas de
enseñanza.
LA NECESARIA TRANSPARENCIA
Sobre todos los procesos técnicos debe existir información transparente y accesible. Es necesario dar un
especial énfasis a la documentación de los procedimientos técnicos seguidos en:
La construcción de los instrumentos.
La estimación de la precisión de las mediciones (y, por consiguiente, su margen de error).
El diseño de las muestras y la cobertura alcanzada.
La aplicación y control de calidad de la misma.
La definición de niveles de desempeño y puntos de corte.
La equiparación y comparabilidad de los resultados con mediciones anteriores.
5. SOBRE LA CONSTITUCIÓN DE LAS UNIDADES DE EVALUACIÓN

Para llevar adelante una política de evaluación de logros educativos o aprendizajes apropiada, es
necesario contar con Unidades de Evaluación con las capacidades y los recursos adecuados que implica
este complejo emprendimiento.
La puesta en marcha de un sistema de evaluación serio requiere de un tiempo mínimo de entre dos y tres
años
Este periodo es necesario para llevar adelante los siguientes procesos fundamentales:
Discusión, definición y difusión pública de los propósitos del sistema de evaluación, del tipo de
consecuencias, de los usos esperados y de qué debe ser evaluado.
Diseño del plan de evaluación a largo plazo.
Conformación de equipos técnicos con la diversidad de capacidades requeridas (elaboración de
pruebas; elaboración de cuestionarios; conocimiento de las disciplinas a evaluar y de su
didáctica; currículo y estándares; muestreo; logística de la aplicación y control de calidad de la
misma; captura y limpieza de datos; procesamiento y análisis; construcción de escalas;
contextualización sociocultural de los resultados y análisis de factores asociados; interpretación
de los datos en términos de políticas educativas, de didáctica y de prácticas de enseñanza).
Elaboración de instrumentos, pilotaje y supervisión externa de los mismos.
Las Unidades de Evaluación necesitan tener una cierta estabilidad en el tiempo de sus elencos técnicos
El desarrollo de un sistema de evaluación requiere de una planificación a 10 ó 15 años. Si los equipos
técnicos cambian con frecuencia, se desperdicia el conocimiento y la experiencia acumulada en un área
compleja y se desacreditan los procesos de evaluación ante la sociedad y los educadores.
Las Unidades de Evaluación necesitan tener independencia para reportar los resultados de su trabajo
Al igual que en el caso de las Unidades de Estadísticas sociales y económicas, las unidades que realizan
las acciones de evaluación y la divulgación de los correspondientes resultados no deben depender de los
47
60
tiempos e intereses político-partidarios. Se ha discutido mucho respecto a si las Unidades de Evaluación

deberían estar dentro o fuera de los Ministerios de Educación. El argumento principal para esta última
opción es justamente la necesaria independencia y transparencia. Sin embargo, la experiencia en la
región muestra casos de países con unidades estables e independientes dentro de los Ministerios de
Educación y otros con unidades inestables que no han logrado consolidar su trabajo aun estando en una
institución externa. La respuesta a esta disyuntiva es que no importa tanto el lugar institucional como la
cultura de continuidad y transparencia que se cree en torno a la evaluación. Esto se logra cuando existe
un mandato claro y una institucionalidad sólida en relación a la evaluación, lo cual implica algún tipo de
estatuto jurídico para el sistema de evaluación. Establecer esto por Ley es uno de los caminos a
considerar, dado que exige un acuerdo amplio, en lo posible supra-partidario, que permita establecer un
plan de evaluación de la educación de largo plazo. En este terreno, al igual que en el económico, se
requiere de cierta estabilidad en las reglas de juego. Si la política de evaluación cambia
permanentemente, se genera desconfianza y se pierde credibilidad.
Una institucionalidad sólida requiere de órganos de gobierno y de asesoría técnica independientes y
plurales, y de un presupuesto apropiado y plazas de trabajo que garanticen la operación de la unidad con
la calidad técnica requerida
La independencia de la Unidad de Evaluación no debe dar lugar a su desvinculación de la política
educativa. Por el contrario, la evaluación debe responder a un proyecto político-educativo con amplio
respaldo y debe mantener una estrecha relación con otras áreas claves de la política educativa como la
formación docente, el desarrollo curricular, el planeamiento y formulación de proyectos, la evaluación de
programas y la investigación.
Para que las evaluaciones estandarizadas tengan impacto sobre las políticas y las prácticas educativas, es
necesario generar nuevas interfases y modalidades de trabajo que aseguren el alineamiento de los
distintos actores y ámbitos de decisión
Las Unidades de Evaluación deben asumir que su tarea va más allá de producir datos. Si su misión es
producir información para otros actores, se requiere de personas preparadas y con tiempo para establecer
líneas de diálogo con instancias y actores responsables de:
Análisis de política educativa, con el fin de mejorar tanto los diseños de las evaluaciones como
los planes de procesamiento y los reportes de resultados, teniendo en cuenta preguntas
relevantes para la política educativa (por ejemplo, la muestra puede ser diseñada de modo que
permita evaluar el impacto de políticas o programas específicos en ciertos grupos de escuelas).
Análisis didáctico, con el fin de interpretar los resultados y los problemas de aprendizaje de los
estudiantes desde la perspectiva de la enseñanza y la didáctica de la disciplina evaluada,
elaborar reportes con significado didáctico para los docentes, diseñar programas de formación en
servicio a partir de los resultados, pensar la articulación de las evaluaciones estandarizadas con
la evaluación en el aula.
Comunicación, con el fin de elaborar una diversidad de reportes de resultados, con diversos
formatos y lenguajes, que sean apropiados y comprensibles para diversas audiencias.
Evaluar bien requiere inversión
Más vale no hacer ninguna evaluación que hacer una evaluación mala o deficiente. Esto debe ser tenido
en cuenta al tomar las decisiones acerca del Plan de Evaluación. Asimismo, más vale un sistema de
evaluación modesto pero con costos asequibles y sostenibles en el tiempo, que una gran evaluación,
amplia y sofisticada, que sólo podrá realizarse una vez y que luego no podrá replicarse.
48
61
La inversión en evaluación debe ser valorada en función del uso que se hace de sus resultados, más que a
partir de otros indicadores como el costo por alumno
Los costos de las evaluaciones son relativamente bajos cuando se los compara con los presupuestos
nacionales y con las inversiones alternativas. Pero cualquier inversión en evaluación, alta o baja, es inútil
si no se hace uso de los resultados.
6. DIEZ RECOMENDACIONES ACERCA DE LAS EVALUACIONES QUE LA REGIÓN NECESITA

La evaluación debe concebirse como un elemento articulado en un conjunto más amplio de acciones y
políticas educativas. La evaluación por sí misma no produce mejoras. Deben existir articulaciones estables
entre el área de evaluación y las áreas de desarrollo curricular, formación docente, investigación, diseño
de políticas, comunicación y prensa, entre otros.
La evaluación debe contemplar un proceso de reflexión colectiva sobre el estado de la educación y los
caminos para mejorarla. El primer paso para ello es la consulta y el debate públicos acerca de qué deben
aprender los estudiantes y acerca de los propósitos y consecuencias de la evaluación. Del mismo modo, es
fundamental la discusión pública constructiva a partir de los resultados, con el fin de encarar las
insuficiencias e inequidades en el acceso al conocimiento por parte de los y las estudiantes. Para ello es
necesario invertir en comunicación y difusión tantos o más recursos que en la propia evaluación, antes,
durante y después de la misma.
La evaluación debe estar al servicio del desarrollo de un sentido de responsabilidad compartida por la
educación como bien público. Debe promover el compromiso con la educación de todos los actores, cada
uno según su lugar y ámbito de acción. Por este motivo, debe evitarse utilizar la evaluación para
culpabilizar a actores específicos por los problemas detectados.
Los sistemas de evaluación de la región necesitan ampliar progresivamente el abanico de fines educativos
que son objeto de evaluación. Es importante en este sentido incluir a la formación ciudadana, otras
disciplinas además de Lenguaje y Matemática, así como un espectro más amplio de competencias y
capacidades.
Los sistemas de evaluación de la región deberían progresivamente diseñar evaluaciones de progreso de
los estudiantes, dado que son las que pueden aportar mayor información acerca del impacto de las
políticas educativas, de las acciones de las escuelas y de las prácticas de enseñanza, en los aprendizajes
de los y las estudiantes.
Un sistema de evaluación es un proyecto de largo plazo, por lo que requiere de un compromiso del
Estado y de una planificación cuidadosa del diseño del sistema. Ello exige tomar decisiones acerca de los
fines, las consecuencias, los aspectos a evaluar, las áreas y los grados, y la periodicidad de las
evaluaciones, entre otras cosas. Todo ello exige tiempo, por lo que no es conveniente pretender la
implementación de sistemas de evaluación en plazos reducidos.
Un buen sistema de evaluación requiere inversión, principalmente en la conformación de equipos
humanos calificados, así como recursos económicos suficientes para una adecuada implementación de
todos los procesos implicados.
El sistema de evaluación debe sustentarse en una actitud firme de transparencia en relación a los
resultados y de rendición de cuentas a la sociedad.
Los Ministerios de Educación deben asumir un compromiso serio y consistente con los resultados de la
evaluación, lo cual implica promover el diálogo acerca de los problemas detectados y los modos de
49
62
enfrentarlos, diseñar líneas de acción apropiadas para resolver los problemas e invertir los recursos
necesarios para llevarlas adelante.
Los sistemas de evaluación deben ser objeto de evaluación periódica, con el fin de analizar la calidad
técnica de la información que producen y su relevancia para diversos actores educativos y sociales.
50
63
“Investigación evaluativa en Metaevaluación de necesidades educativas: Hacia
un sistema de normas”
51
UNIVERSIDAD COMPLUTENSE DE MADRID
FACULTAD DE FILOSOFIA Y CIENCIAS DE LA EDUCACION
DEPARTAMENTO DE METODOS DE INVESTIGACION Y DIAGNOSTICO

EN EDUCACION
ME-I-AEVALUACION DE NECESIDADES
EDUCATIVAS: HACIA UN SISTEMA
DE NORMAS
Tesis Doctoral presentada por
Maria Josefa Martínez de Toda Fernãndez
y dirigida por el Dr. Arturo de la Orden Hoz
Madrid, mayo de 1991
52
k~ investigación educativa
El trabajo de Glass y Worthen (1974), original 1972,

es el primer esfuerzo por diferenciar la investigación
educativa de la evaluación educativa, paso previo a
cualquier trabajo conceptual sobre evaluación.
La investigación es la actividad que pretende obtener
un conocimiento generalizado, ideando y probando lo que se
desprende de las relaciones entre las variables, descri-
biendo los fenómenos generalizados. Este conocimiento, que
puede convartirse en modelos teóricos, en relaciones fun-
cionales o descripciones, puede obtenerse por métodos
empíricos u otros sistemas y puede no tener aplicación
inmediata. (p. 182)
Así como la definición de investigación ofrecida, no
difiere de la concepción más generalizada (Kerllnger
1973), no ocurre lo mismo con las definiciones de evalua-
ción como veremos más adelante.
Tanto la investigación corno la evaluación pueden divi—
dirse en dos subactividades. La distinción entre investi-
gación básica y aplicada está muy mezclada en el léxico
educativo. Aunque estos constructos podrían interpretarse
más como extremos de un continuo que como una dicotomía,
es útil señalar las diferencias. La National Sc,ence
Foundation (1960), las define como: ‘La investigación
básica se dirige al aumento del conocimiento, esta
investigación se da cuando el primer objetivo del inves-
tigador es lograr una comprensión más completa de la mate-
ria de estudio más que una aplicación de ésta. La investi-
gación aplicada se dirige a la utilización práctica del
conocimiento.’ p. 5
Conceptuallzaclón ~ Ii eYAInSfln ~ijaUxn.,
Stufflebeam (1974> sugiere ocho cuestiones para anali-

zar el concepto de evaluación. Nevo (1983> las revisa y
53
.
amplia tratando de resumir la abundante bibliografía sobre
la evaluación educativa. Refiriéndonos a la definición del
término, cita en primer lugar la original de Tyler <1960)
de que la evaluación es el proceso de determinar hasta qué
punto los objetivos educativos han sido realmente alcanza-
dos. (p. 69>, Otro punto de vista ampliamente aceptado ha
sido el de la evaluación como suministradora de informa-
ción para la toma de decisiones (Cronbach, 1963; Stuffle—
beam et al., 1971; Alkin, 1969). En los últimos años ha
habido un considerable consenso entre los evaluadores
tratando de definir la evaluación como el establecimiento
del mérito o valor <Fisner, 1979; Glass, 1969; House,
1980; Seriven, 1967; Stufflebearul, 1974> o como una activi-
dad que abarca descripción y juicio (Guba y Lincoln, 1981;
Stake, 1978>. El Joint Com,nittee on Standards for Eduos—
tional Evaluation (1981>, formado por 17 miembros que
representan 12 organizaciones de evaluación, la define
corno la investigación sistemática del valor o mérito de
algún objeto, (p. 31)
Para Bisquerra (¶989>, la distinción entre estimar el
mérito o el valor coaporta diferencias importantes a la
hora de elegir los criterios de evaluación. Estimar el
mérito de algo se relaciona con las características
intrínsecas de lo que se evalúa: es decir, el programa en
si mismo. Cuando se estima el valor de algo, los criterios
que se utilizan se refieren a los efectos del programa en
cuanto a la satisfacción de necesidades, expectativas de
los destinatarios y otras características más bien extrín-
secas, donde la audiencia cobra un papel relevante.
(p. 1431
Hay muchas definiciones de evaluación; difieren en el

nivel de abstracción y frecuentemente reflejan las preocu-
paciones especificas de quienes las formulan. Aunque la
mayoría de ellas son relevantes, suelen poner especial
énfasis en algún aspecto concreto. Wolf (1987>, cita la
54
definición de Sesby <1977) como la que contiene todos los
elementos claves de la evaluación. Esta es, la sistemá-
tica recogida e interpretación de evidencia, dirigida como
parte de un proceso para juzgar el valor, con vistas a la
acción Los cuatro elementos clave a que se refiere Wolf
(1987) corresponden a;
El término sistemático implica Que la información
necesaria sea definida con precisión y que los esfuer-
zos para recogerla estén bien planificados.
2) Interpretación de evidencia. La nera recogida de
información no es evaluación.
3) Juicio de valor. La función valorativa es la que
distingue a la evaluación de otras investigaciones no
evaluativas.
4) Con vistas a la acción. Los estudios de evaluación
se realizan con la intención de emprender alguna
acción como resultado de ellos.
A. de la Orden <1985) la define como ‘el proceso o

conjunto de procesos para la obtención y análisis de le
información relevante en que apoyar un juicio de valor
sobre un objeto, fenómeno, proceso o acontecimiento, copio
soporte de una eventual decisión sobre el mismo’ (p. 133)
que incluye también los puntos clave señalados anterior-
mente por Wolf.
Investlqadión evaluatiy4,
La expresión investigación evaluativa es reciente en

la literatura pedagógica. No aflarece hasta 1967 (utilizada
por Suchman) y hasta 1374 no es citada en el Educational
tndex dentro del ámbito educativo de la evaluación de pro-
gramas. Sin embargo, en los últimos quince años ha cono-
cido un desarrollo espectacular por la necesidad de cono-
cer la eficacia de programas lo que constituye el objetivo
fundamental de este nuevo ámbito de investigación y de
55
práctica pedagógica. <De la Orden, 1985)
La idea de evaluación de programas es muy amplia y
tendremos que partir de los conceptos previos de evalua-
ción y de programa.
Un programa se identifica con cualquier curso sistemá-
tico de acción para el logro de un objetivo o conjunto de
objetivos.
El Joint Committee on Standards for Educational
Evaluation (1988) define la evaluación de programas como
las evaluaciones que valoran las actividades educativas
que proporcionan servicios de manera continua. (p. 166>
A. de la Orden <1985> describe la evaluación de
programas como el proceso sistemático de recogida y análi-
sis de información fiable y válida para tomar decisiones
sobre un programa educativo. Este proceso que es riguroso,
controlado y sistemático constituye un modo de investiga-
ción que se conoce con el nombre de investigación evalua-
tiva.
se trata de una forma de investigación pedagógica
aplicada, que intenta determinar el valor de programas
educativos de acuerdo con determinados criterios. La it~—
vestigación evaluativa exige el mismo grado de control y
rigor que la investigación básica. La diferencia esencial
entre ambas es de orientación; la investigación evaluativa
se dirige a valorar una situación concreta y tomar deci-
siones alternativas. La investigación evaluativa se carac-
teriza no sólo por la inraediatez de su utilidad práctica.
propia de toda investigación aplicada, sino esencialmente
por ser un proceso impregnado por cuestiones de valor.
Para Fox (1981> la investigaación evaluativa es una inves’
tigación descriptiva en la que, al menos, se tiene el
criterio de medida de modo que, además de la descripción,
se puede hacer algún juicio valorativo de la situación de
investigación. Las diferencias pormenorizadas establecidas
para los dos procesos de investigación pueden verse en De
la Orden <1985), p, 135)
56
Alvira <1985) habla de la investigación evaluativa o
evaluación de programas como la acumulación de información
sobre una intervención, - programa —, sobre su funciona-
miento y sobre sus efectos y consecuencias, Introduce como
más formal la definición de Ruthman (1977>; “La investiga-
ción evmluativa es, ante todo, el proceso de aplicar pro-
cedimientos científicos para acumular evidencia válida y
fiable sobre la manera y grado en que un conjunto de acti-
vidades específicas produce resultados o efectoo concre-
tos’ (p. Ial
Pérez Juste y García Ramos (>989) afirman que la in-
vestigación evaluativa es una manera de aumentar la racio-
nalidad de las decisiones. Al contar con información obie’-
tiva acerca de los resultados de los programas, es pos,’
ble tomar decisiones atinadas en materia de asignación de
presupuestos y de planificación de los mismos. En palabras
de Weis (19751, los datos sustituirán a los favores y
otras neqocieciones.
Suchman (1967) considera que la evaluación es un pro-

ceso científico y por ello no cree que la especialidad
evaluativa tenga una netodologia distinta de la del método
científico. La investigación evaluativa es investigación
aplicada y su propósito es deter,ninar hasta qué punto un
programa especifico ha conseguido el resultado deseado.
Suchman (1967) distingue entre evaluación e investigación
evaluativa y ésta seria un camino concreto, la utilización
específica del método científico, para alcanzar, como
neta, la evaluación. La diferencia con la investigacón
básica radica en que su meta está en Ja valoración del
conocimiento obtenido.
Aunque hay un total acuerdo a la hora da diferenciar
la evaluación de la investigación educativa, aun recono-
ciendo su intima relación <Ver lista de características
diferenciadoras en Glass y Worthen, l9T4; Escudero Escor—
za, ISeO; que ofrece un resumen de los anteriores, o
57
Worthen y Sanders, 1987, que incluyen alguna precisión
más>, no ocurre lo mismo al considerar la evaluación como
una investigación aplicada manteniendo su diferenciación
con la básica. Así, hay autores como Scriven <1983) que
afirma que toda la ciencia social es un hecho basado en el
valor y que averiguar el valor de algo es lo más análogo a
investigar la realidad de algo. Alvarez Méndez <1986)
también equipara, desde una perspectiva cualitativa, la
investigación con la evaluación, y afirma que cuando se
investigan los asuntos educativos, cualquier investigación
es simultáneamente evaluación. Y como tal debe incidir en
la práctica. <p.19)
Otros autores, <Glass y Worthen, 1974: Worthen y
Sandera, 1987> ni siquiera admiten la consideración de la
evaluación como una forma de investigación aplicada, Para
ellos, esta perspectiva ignora una diferencia entre ambas
cono es el nivel de generalización del conocimiento produ-
cido. La investigación aplicada como opuesta a la básica,
tiene orientación concreta y apunta a la producción de un
conocimiento relevante para lograr una solución a un pro-
blema general. La evaluación se centra en recoger informa-
ción especifica relevante sobre un problema, programa o
producto especifico. (Glass y Worthen, 1974, p. 183>. Aun
en el caso de utilización de los más rigurosos métodos de
investigación, la finalidad será diferente al evaluar;
juzgar el mérito o valor de un programa educativo. Por
utilizar la misma metodología no podemos equiparar las
funciones. (Worthen y Sanders, ígal, p. 28
wolf <1987) parece establecer un punto medio y no
estando de acuerdo con los autores que rechazan la utili-
zación de los métodos de investigación en la evaluación,
opina que en ocasiones seguirlos puede resultar costoso o
impracticable. La evaluación no es investigación y los
métodos de ésta no tienen por qué dictar las actividades
de la otra. <p.12)
Wolf (1g87) quiere resaltar que puede producirse un
58
valioso trabajo en evaluación sin seguir los usos de la
investigación.
La metodología evaluativa
La metodología evaluativa se apoya en los principios

de diseño de investigación en las ciencias sociales, en le
teoría de la medida y en la estadística aplicada. Constl-
tuye una síntesis al mismo tiempo que una extensión de ‘a
amplia gama de métodos científicos. (De la Orden, 1985>.
Pero, como afirma Talmage <1982), los problemas espe-
cuicos de la evaluación de programas plantean cuestiones
metodológicas específicas entre las que destaca; la natu-
raleza de la evidencia para establecer la certeza, la
necesidad de alternativas a los métodos experimentales y
1a práctica real en
cuasi-experimentales y el impacto de
la configuración de los estudios evaluativos, (De la
Orden, 1986, fi. 135>.
Como consecuencia de las criticas sobre la utilidad de
determinados métodos de investigación para los estudios de
evaluación <Guba, 1969; Stufflebeam et al., 1971), en los
últimos arlos se han introducido otros nuevos. A los tradi-
cionales diseños experimentales y cuasi—experimentales
(Campbell, 1969; Stanley, 1972; Cook y Campbell. 1979) se
han sumado métodos naturalistas (cuba y Lincoln, 1987;
Patton, 1985), pruebas de jurado <Wolf, 1979), estudIo de
casos (Stake, 1978>, criticismo (Eisner, 1979), métodos
periodísticos, (cuba, 1918), el método ‘modus operandi’
(Scriven, 1g74a) y muchos otros.
Algunos metodólogos todavía abogan por la superio-
ridad de ciertos métodos como el experimental (Boruch y
Cordray, 1980; Rossi et al. 1989) por un lado y los méto-
dos naturalistas <Guba y Lincoln, 1981; House, 1980;
Patton, 1985) por otro. Pero parece cierto que en una com-
plicada tarea como la de realizar una evaluación se noca—
59
.
sitan aproximaciones que busquen la elección del mejor
método posible para dar respuesta a una cuestión particu-
lar, que asumir que una metodología es la mejor para todos
los propósitos. (Nevo, 1983). No se pretende sustituir
unos métodos por otros sino que ambos se puedan integrar
en el análisis de la realidad. <Pérez Serrano, 1990)
Husén (1988) afirma que el objetivo de la investiga-
ción será el que determine la metodología a utilizar y no
al revés. Además, destaca la complementariedad de los
paradigmas cualitativo y cuantitativo, opinión no compar-
tida por autores como Smith y Heshusius <1986) que afirman
que la reclamación de una compatibilidad y la llamada para
una cooperación entre ambos paradigmas de investigación no
puede mantenerse. <p.C
Sin embargo, parece que el clima actual de la investi-
gación evaluativa ha superado ya la estéril polémica entre
paradigmas, Ya Kuhn (1975> afirmaba que cada paradigma
explica un volumen limitado de la realidad. La evaluación
de programas puede resultar fortalecida cuando ambos enfo-
ques se hallan integrados en un diseño de evaluación. La
investigación evaluativa y las ciencias del comportamiento
en general padecen una excesiva preocupación por la cuan-
tificación. Se requiere un mejor equilibrio entre la base
de significados en la acción social y la generalización de
esos significados en un contexto más amplio. (Cook y
neichardt, 1906, p.76)
El campo de la investigación educativa se halla en
pleno desarrollo y, aunque no es fácil encontrar respues-
tas definitivas a todos los problemas evaluativos, el pro-
greso metodológico facilitará al evaluador una mayor fle-
xibiiidad para adaptarse a las exigencias de una actividad
científica fuertemente condicionada por múltiples factores
sociales y políticos. <De la Orden. 1985, p 136)
García Ramos <1989) en Pérez Juste y García Ramos
(1989>, señala tres posiciones o posturas epistenológicas
que utilizan distintos caminos metodológicos para abordar
60
investigaciones evaluativas:
a> naturalista—cualitativo—fenomenológico;
b) experimental—cuantitativo—racional;
ci ecléctico,
Los primeros, parten de una base filosófica fenomeno-
lógica, toman como base disciplinar la sociología y la
antropología y definen sus objetivos de investigación en
términos de descripción general del programa y siempre
desde la perspectiva de los participantes. Proponen una
evaluación de programas y centros educativos en sus
contextos naturales, utilizando recursos tnetodológicos de
observación y descripción (etnoqraffa, estudio de casos,
observación participante, triangulación, etc>.
Los segundos, toman como base disciplinar la Psicolo-
gía Experimental y la Pedagogía Experimental y definen sus
objetivos de investigación en términos de búsqueda e iden-
tificación de relaciones causales entre variables. Las
técnicas de análisis suelen ser métodos estadísticos rigu-
rosos.
Las dos posiciones anteriores representan los extremos
de un continuo. La tercera posición, los eclécticos,
defienden la utilización del enfoque experimentalista,
pero modificado hacia el pragmatismo con elementos del
enfoque descriptívonaturalista. Sus objetivos metodoló—
gicos van en la línea de aumentar la evidencia a través de
la búsqueda de relaciones causales, estudio de proceso y
de datos de contexto, etc. De ahí que utilicen todo tipo
de recursos metodológicos útiles, desde diseños cuasi-
experimentales hasta estudios de casos, estudios descrip-’
tivos y observación participante. Ip. 370)
61
Modelos de evalu&cS~n.
La clasificación de los métodos evaluativos ha produ-

cido abundante literatura sobre los modelos de evaluación,
considerados cono narco de referencia para el diseño de
los estudios. El análisis de estas tipologías revela en
palabras de A. de la Orden (1981> que, aunque puedan ser
útiles al señalar algunas distinciones y tendencias en el
campo de la evaluación, estamos lejos de lograr un mínimo
consenso. El problema de los esquemas de clasificación
radica en su interpretación y aolícación. Los distintos
modelos que en realidad son el resultado de variar el én-
tasis en los propósitos, métodos y componentes del proceso
evaluativo, en la práctica se convierten en fuente de con-
fusión y conflicto entre posiciones distintas.
Los problemas en la utilización de los llamados mode-
los evaluativos derivan de la tendencía a considerarlos
corno instrumentos poderosos. Se identifican como metodo—
logias para realizar evaluaciones concretas en vez de
asignarles la función propia de marcos de referencia.
Alkin y Ellet <1985) dan dos significados diferentes
al término modelo; el modelo prescriptivo, el tipo más
usual, consiste en Una serie de reglas y prohibiciones que
guían los estudios, con especificación de lo que es una
buena y correcta evaluación. El modelo descriptivo consis-
te en una serie de generalizaciones que describen o expli-
can actividades de evaluación. Los modelos prescriptivos
proporcionan marcos de referencia para desarrollar la eva-
luación. Los modelos descriptivos un rango de posibili-
dades val idadas para conducir evaluaciones. Estos autores
creen que la práctica avaluativa se ha beneficiado con el
desarrollo de los modelos porque su estudio proporciona
nuevas perspectivas y estructuras para conducir las eva-
luaciones de manera más adecuada.
Desde 1970, los teóricos de la educación han incremen-
tado la necesidad de sistematizar y de defender sus fines
10
62
y métodos. Esto ha llevado a un aumento de la literatura
tratando de articular, contrastar y clasificar los dife-
rentes modelos. Estas clasificaciones se han llevado a
cabo en términos de la finalidad última del modelo y de
os procedimientos y métodos empleados. (Worthen y Sanders
1973, Isa?; House 1978; Brinkksrhoff et al,, 1985;
Stufflebeam y Sinkfield, íSBi)
Incluimos el análisis comparativo de los diferentes

modelos de evaluación realizado a partir del de Worthen y
Sanders <1987> que nos parece el más comprehenaivo de
todos los señalados, agrupando los modelos con caracte-
risticas comunes en marcos más amplios y analizando éstos
a través de ocho categorías descriptivas. Incluimos esta
clasificación para disponer de un marco general pero sólo
nos referiremos a los modelos que hacen especial énfasis
en la importancia de estudiar el contexto y de evaluar las
necesidades de la comunidad donde se aplica el programa.
~9ge194~p ~xn±ji~iÁn aplicables 4 14 tniMfl9~Thn 4Ú

contexto
Modelo C,,Lk,EJ 4~ ¶~MItIflnm.
El propósito más importante de la evaluación, dicen

Stufflebeam et al. (1971), no es demostrar sino perfeccio-
nar, No podemos estar seguros de que nuestras metas son
valiosas si no las comparamos con las necesidades de la
gente a las que presuntamente sirven.
Como alternativa a la definición tyleriana de evalua-
ción, propone una nueva, basada en propocionar información
útil para la toma de decisiones <Stufflebeam, 1966).
Para solucionar el problema de la inadecuación de
netas de los programas se empezó a hablar de utilizar la
evaluación del contexto al servicio de las decisiones de
planificación. La toma de decisiones es de capital impor-
11
63
.
tancia en el proceso evaluativo, y asi~ en función del tipo
de decisiones a que pretende responder se corresponden los
cuatro tipos de evaluación. La estructura básica del mode-
lo CIPP quedó determinada así; la evaluación del contexto
como ayuda para la designación de metas, la evaluación de
entrada como ayuda para dar forma a las propuestas, la
evaluación del proceso como guía de su realización y la
evaluación del producto al servicio ce las decisiones de
rec i cl aje.
La definición formal que resume los conceptos claves
del modelo CI?? es : “La evaluación es el proceso de iden-
tificar, obtener y proporcionar información útil y des-
criptiva acerca del valor y el mérito de las metas, la
planificación, la realización y el impacto de un objeto
determinado, con el fin de servir de guía para la toma de
decisiones, solucionar los problemas de responsabilidad y
promover la comprensión de los fenómenos implicados.
(Stufflebean y Shinkfield, 1921, fi. 183)
La evaluación del contexto nos proporcionará infor-
mación sobre las necesidades que han sido planteadas, su
transcendencia e importancia y hasta qué punto los objeti-
vos del proyecto reflejan las necesidades valoradas.
La utilización del modelo CZPP está concebida, según
su autor para promover el desarrollo y ayudar a obtener
información sistemática con el fin de satisfacer las nece-
sidades más importantes o, al nenes, hacer lo posible con
los recursos que se dispongan.
La tabla 1.1 nos presenta los cuatro tipos de evalua—
•¿itn del modelo definidos en relación a sus objetivos, sus
rn4todos y sus utilizaciones.
Se destaca, en esta conceptualización de la evaluación
de Stufflebeam, su proyección sobre el proceso y no sólo
en el resultado, su intención de servir de fundamento para
la toma de decisiones de perfeccionamiento y la elección
corno criterios de valor la respuesta a las necesidades y
la mejora de la calidad. Imosales, 1990>
12
64
Scriven (1970) advierte que en el modelo CIPP las
evaluaciones son especialmente descriptivas y por ello no
deben ser llamadas con propiedad actividades evaluativas.
Worthen <1987> afirma que es útil para programas de largo
alcance, con muchos recursos y con perfección técnica.
~n A1UA~
Es paralelo al modelo de Stufflebeam. Alkin <1969),

define la evaluación como el proceso de averiguar las
áreas de decisión, seleccionar la información apropiada y
recogerla y analizarla en orden a suministrar datos Otiles
a quienes toman las decisiones para seleccionar alternati-
vas. <fi. 2). Incluye los siguientes 5 tIpos de evaluación
y cada una de ellas se identiflca con una fase particular
del desarrollo del programa.
El primer tipo ‘system assessment se asocia con la
fase de preplanificación también llamada evaluación de
necesidades y contesta a cuestiones como si hay necesidad
de un nuevo programa, qué tipo de programa, cómo será
recibido, etc.
Las siguientes fases se refieren a la planificación.
desarrollo, mejora y certificación del programa.
La esencia de estos modelos es según Gardner <1977) un
mecanismo de retroacción <feed—bac~< que asegura una
permanente determinación de las necesidades de información
para la toma de decisiones. (cit. De la Orden, 1981>
Modej,g evaluativo orientado si c~ ~ Soriven
Scriven (1984) ha sido muy critico con las ideologías

evaluativas que se centran en alcanzar los objetivos de
los participantes en lugar de satisfacer las necesidades
de los consumidores. Por ello, ha propuesto ciertos
conceptos y métodos para desplazar los intereses de la
evaluación hacia las necesidades.
13
65
.
Ha definido la evaluación como la valoración sistemá-
tica del valor o mérito de las cosas y ha subrayado que
los evaluadores deben ser capaces de llegar a juicios de
valor justificables más que medir o determinar si las
metas han sido alcanzadas. Su método evaluativo consiste
en identificar y ordenar los programas y productos dispo-
nibles para los consumidores, basándose en su coste rela-
tivo y en la consideración de las necesidades de los con-
s un ido res
Para Scriven (1957>, la valoración de las necesidades
es un proceso para descubrir hechos acerca de si no pro-
porcionar ciertas cosas puede tener consecuencias negati-
vas, basándose en normas razonables de lo que es bueno y
malo. Dados los resultados de una valoración de necesida-
des puede juzgar los resultados de un programa concreto
como buenos, malos o indiferentes.
En au lista de control de indicadores de evaluación,
incluye la comprobación de si las metas han sido valoradas
como apropiadas a partir de las necesidades y valores de
los afectados por el programa.
Modelos de evaluación naturalista
Los evaluadores que usan las aproxin~aoiones natura-

listas incluyen descripciones muy completas no sólo del
onjeto a evaluar sino del pleno contexto en que funciona.
Los modelos que incluye esta categoría, generalmente
poseen las siguientes caracteristicas;
i. utilizan un razonamiento inductivo.
2. usan Variedad de métodos.
3. No siguen un plan prefijado.
4. Recogen variadas perspectivas.
La evaluación iluminativa de Parlett y Hamilton (1976)
señala la importancia del estudio del contexto donde se
desarrolla el programa. La tarea del evaluador consiste en
14
66
.
proporcionar una comprensión de la compleja realidad donde
se inserte aquél. El evaluador iluminativo no hace
juicios, más bien intenta descubrir y documentar lo que el
programa abarca.
Para la evaluación naturalista, siguiendo a Guba y
Lincoln <1981> el principal papel de la evaluación es el
de responder a los requerimientos de las audiencias para
tener en cuenta las diferentes perspectivas de sus miem-
bros. Un aspecto clave de información será la referencia
al objeto de la evaluación y su contexto.
Estos modelos de evaluación englobados en el paradigma
naturalista han enfatizado el papel humano de la evalua-
ción. Dirigen su atención a las necesidades de los ‘¡sus-
nos y dan importancia a la variedad de perspectivas.
Otras ventajas de estos modelos radican en su flexibili-
dad, atención a las variables contextuales y la variedad
de técnicas de recogida de datos. Las criticas se centran
en la subjetividad y en el coste de tiempo de la labor ce
campo profunda que limita el número de casos que pueden
estudiarse intens,vamente.
Como vemos, la evaluación de contexto se señala cono

importante foco de atención en estos modelos, aunque con
diferentes propósitos, con diferentes significados y sin
establecimiento de una clara metodología (si exceptuamos
las tímidas referencias a la utilización de “needs
assessment’ ) y parece que de una forma preparatoria de la
verdadera evaluación. Es por lo que en el siguiente apar~
Lado trataremos de conceptualizar la evaluación del con-
texto cono una actividad con interés y finalidad proflia.
15
67
Tabla 1.1.— Cuatro tipos de evaluación. <Stufflebeam y
Shinkfield, >987, p. 194—195)
Evaluación P91 contexto
Obietivo.— Definir el contexto institucional, identificar

la población objeto de estudio y valorar sus necesidades,
identificar las oportunidades de satisfacer las necesi-
dades, diagnosticar los problemas que subyacen en las
necesidades y juzgar si los objetivos propuestos son lo
suficientemente coherentes con las necesidades valoradas.
Método.— Utilización de métodos como el análisis de siste-

mas, la inspección, la revisión de documentos, las audi-
ciones, las entrevistas, los test diagnósticos y la técni-
ca Delphi.
Relación con la tema de decisiones en el proceso ~ cam-

bio.— Decidir el marco que debe ser abarcado, las metas
relacionadas con la satisfacción de las necesidades o la
utilización de las oportunidades y los objetivos relacio-
nados con la solución de los problemas, por ejemplo, la
planificación de los cambios necesarios. Y proporcionar
una base para juzgar los resultados.
Evaluación de entrada
ObÁ,etivo.— Identificar y valorar la capacidad del sistema,

las estrategias de programa alternativas, la planificación
de procedimientos para llevar a cabo las estrategias, los
presupuestos y los programas.
Método.- Inventariar y analizar los recursos humanos y

materiales disponibles, las estrategias de solución y las
estrategias de procedimiento referentes a su aplicabili-
dad, viabilidad y economía. Y utilizar métodos como la
búsqueda de bibliografía, las visitas a programas ejempla-
res, los grupos asesores y ensayos piloto.
Relación con la toma de decisiones en el proceso de
cambio.— Seleccionar los recursos de apoyo, las estrate—
gias de solución y las planificaciones de procedimientos,
esto es, estructurar las actividades de cambio. Y propor-
cionar una base para juzgar la realización.
16
68
.
ivWn ~si ~
Obietivo.- Identificar o pronosticar, durante el proceso,
los defectos de la planificación del procedimiento o de su
realización, proporcionar información para las decisiones
preprogramadas y describir y juzgar las actividades y
aspectos del procedimiento.
Método.— Controlar las limitaciones potenciales del pro-
cedimiento y permanecer alerta ante las que no se espera-
ban, mediante la obtención de información específica de
las decisiones programadas, la descripción del proceso
real, la continua interacción con el personal del proyecto
y la observación de sus actividades.
Relación con 14 toma de decisiones en el Oroceso de

canbio.z Llevar a cabo y perfeccionar la planificación y
los procedimientos del programa, esto ea, efectuar un
control del proceso. Y proporcionar ur~ esbozo del proceso
real para utilizarlo más tarde en la interpretación de los
resultados.
Obietivo.— Recopilar descripciones y juicios acerca de los

resultados y relacionarlos con los objetivos y la informa-
ción proporcionada por el contexto, por la entrada de
datos y por el proceso, e interpretar su valor y su méri-
to.
Método.— Definir operacionalmente y valorar los criterios

de los
1os resultados, mediante
clientes y la la recopilación
realización de análisis de cualitativos
los juicios
de
y cuantitativos.
Relación con la toma de decisiones en el proceso de

cambio.- Decidir la continuación, finalización, modifi-
cación o readaptación de la actividad del cambio. Y pre-
sentar un informe claro de los efectos (deseados y no
deseados, positivos y negativos).
17
69
Anilitin ggmnrfljy~ d~ m9~Sj9n alternativos ~n 9Yt11a-
clOn. <Worthen y Sanders, 1987>
1.— Algunos proponentes.

2.— Propósito de la evaluación.
3.— CaracterístIcas distintivas.
4.— Utilizaciones en el pasado.
5.- Contribuciones a la conceptualización de la
evaluación.
6.— Criterio para juzgar las evajuaciones.
i.— Ventajas.
8.— Limitaciones.
Modelos orientados al loqro de objetivos
1.— Tyler <1950); Provus <1971); Metfessel y Michael

(1967); Hammond <1973); Popham <1975); Taba (1962) flloom
(1966, 1971>; Taln3aqe <¶98?).
2.— Determinación del grado de consecución de los objeti-

vos.
3.— Especificación de objetivos medibles, utilización de

instrumentos objetivos para la recogida de datos, buscando
las discrepancias entre objetivos y realizac~ones.
4.-’ Desarrollo del currlculum, seguimiento de los logros

del estudiante, evaluación de necesidades.
5.— Medida pre y post de las realizaciones, clarificación

de metas, uso de test objetivos, y mediciones técnicamente
robustas.
6.— Mensurabilidad de objetivos, validez y fiabilidad de

las mediciones.
7.— Facilidad de uso, se centra en resultados, alta aceo—

Labilidad, fuerzas establecer objetivos.
8.— Excesiva simplificación de la evaluación y de la

educación, orientación reduccionista en los resultados,
lineal y sobreenfatización de los test de los alumnos.
Modelos orientados a La tIna de decisiones.
1.— Stufflebeam 11974, 1953>; 41km (1969); Provus (1971).
2.— Suministrar información útil para ayudar a la torna de

decisiones.
3.— Ayuda a una toma de decisiones racional, evaluando

todas las etapas del desarrollo del programa.
4.— Desarrollo de programa, sistemas de administración
institucional, planifícación de programas, contabilidad.
lo
70
.
5.— Necesidad de: identificar y evaluar necesidades y
objetivos; considerar diseños de programas alternativos,
evaluarlos; vigilar el desarrolle de un programa, explicar
resultados; ver si las necesidades han sido reducidas o
eliminadas; metaevaluación; guias para institucionalizar
la evaluación.
6.- Utilidad, viabilidad, corrección y precisión.
7.- Comprehensividad, sensibilidad a las necesidades de

información de los decisores, procedimiento sistemático de
evaluación, uso de la evaluación a través del proceso de
desarrollo del programa, buena operacionalización con
gulas detalladas de puesta en marcha, uso de una amplia
variedad de información.
8.— Enfasis en la eficiencia organizativa y en el modelo

de producción, puede resultar caro de administrar y
mantener, enfoque estrecho en los intereses de los
líderes.
Modelos basados en el consumidor
1,— Scriven (1967>
2.- Suministrar información acerca de los productos educa-

tivos para ayudar a las decisiones sobre adquisiciones o
adopciones educativas.
3.- Usando listas de criterios, analizar y probar produc-

tos para informar a los consumidores,
4,- Informes para el consumidor, desarrollo de productos y

selección para su difusión.
5.- Relación de criterios para evaluar productos y activi-

dades educativas, roles formativea y sumativos de la
evaluación.
6.— Se utilizan criterios defendibles para señalar las

conclusiones y hacer recomendaciones; se requiere la
evidencia de necesidad y efectividad.
7.— Etlfasis en las necesidades de información del consu-

midor, influencia sobre desarrolladores de productos,
relación coste—efectividad y utilidad, disponibilidad de
listas de control.
8.- El coste y la falta patrocinador puede sofocar la

creatividad o innovación, no está abierto al debate o al
examen pormenorizado,
19
71
.
Modelos basados en el juicio de expertos
1.— Eisner (1975), Grupos de acreditación.
2.— Proporcionar juicios profesionales de calidad.
3.— Juicios basados en el conocimiento individual y la

experiencia, uso de estándares de consenso.
4.— Autoestudio, acreditación, exámenes por tribunal,
crítica.
5,— Legitimación de la crítica subjetiva, autoanálisis con
verificación externa, estándares.
6.— Uso de estándares reconocidos; cualificación de

expertos.
7.- Amplia cobertura; eficiencia (fácil de desarrollar,
temporalidad) importancia del juicio humano.
8.— Replicabilidad, vulnerabilidad a los sesgos persona-

les, escasez de documentación que apoye las conclusiones,
abierto al conflicto de intereses, estudio superficial del
contexto, sobreempleo de la intuición, confianza en la
cualificación de los expertos.
Modelos or,entados al adversar,o,
1.— Wolf (1975>; Owens (1971); Levine (1974>; Kourilsky

(1973).
2.— Suministrar un examen equilibrado desde todas las
perspectivas de aspectos controvertidos señalando los
puntos fuertes y débiles de un programa.
a.— Uso de audiencias públicas, puntos de vista opuestos,

decisiones basadas en debates durante el proceso.
4.— Examen de programas o aspectos controvertidos, audien-

cias políticas.
5.- Uso de formas forenses y judiciales de audiencias

públicas; examen a través de la evidencia; por medio de
presentación de pespectivas múltiples; centrado en clari-
ficación de tesas.
6.— Equilibrio, justicia, publicidad, oportunidad para

examen transversal
7.- Amplia cobertura, examen de peticiones, iluminación de
diferentes perspectivas de los temas, impacto en la
audiencia, empleo de variedad de información,
20
72
.
8.- Árbitros o jueces falibles, potenciales altos costos y
consumo de tiempo, confianza en las habilidades investiga-
doras y de comunicación de los presentadores, posibilidad
de irrelevancias o polarizaciones artificiales, limitado a
la informacion que se presente.
Modelos de pvaluación Naturalista
1.- Stake <1967); Patton (1978); Guba y Lincoln (1981);

Rippey (1973>; f4acDonald (¶976); Parlett y Hamilton (1976>
2.— comprensión y reflejo de la complejidad de una

actividad educativa respondiendo a los requerimientos de
información de una audiencia.
3.- Reflejo de múltiples realidades, uso de razonamiento y

descubrimiento inductivo, experiencia de primera nano ir¡
si tu.
4.— Examen de innovaciones o cambios poco conocidos,

etnografías de programas funcionando.
5.- Uso del razonamiento inductivo, reconocimiento de

realidades múltiples, importancia del estudio del contex-
te, Criterios para juzgar el rigor de la investigación
naturalista.
6.- Credibilidad, adaptación, confirmabilidad.
1.— Centrado en la descripción y el juicio, se interesa

por el contexto, pluralista, uso del razonamiento induc-
tivo, utilización de amplia variedad de información,
énfasis en la comprensión,
8.— Nodirectivo, tendencia a resultar atraído por lo raro

o atipico, potencialmente puede resultar laborioso y
costoso, posibilidad de fracaso para alcanzar el final.
21
73
.
“Concepto y análisis de necesidades en Metaevaluación de necesidades
educativas: Hacia un sistema de normas”
74
UNIVERSIDAD COMPLUTENSE DE MADRID
FACULTAD DE FILOSOFIA Y CIENCIAS DE LA EDUCACION
DEPARTAMENTO DE METODOS DE INVESTIGACION Y DIAGNOSTICO

EN EDUCACION
ME-I-AEVALUACION DE NECESIDADES
EDUCATIVAS: HACIA UN SISTEMA
DE NORMAS
Tesis Doctoral presentada por
Maria Josefa Martínez de Toda Fernãndez
y dirigida por el Dr. Arturo de la Orden Hoz
Madrid, mayo de 1991
75
LA NECESIDAD GOfIO OBJETIVO DEL ANALISIS DE NECESIDADES
Un área en que la evaluación de necesidades ha reci-

bido muchas críticas es precisamente en su fracaso para
especificar con precisión qué se entiende por el término
‘necesidad’. <Kaufman y English, 1979; Roth, >978)
Rectificar esta situación implica el incluir en los
diseños de análisis de necesidades;
a) una definición del concepto de necesidad en que se
basa el estudio.
bí la especificación de qué necesidades serán de
interés.
cl una pormenorización de los tipos de necesidad que
serán identificados.
Para comprender un proceso de evaluación de necesi-

dades (E.N.> es necesario conocer el concepto de nece-
sidad en el que se basa.
En la discusión y la práctica del análisis de necesi-
dades se usan gran variedad de conceptos del término nece-
sidad. La controversia en su definición unido a la prolí—
feración de estudios usando diferentes concepciones ha
limitado el desarrollo de Un marco conceptual y teórico
del proceso de E.N. (Suárez, igal, 1990).
Muchas concepciones que se han expresado en la litera-
tura son, a menudo, vagas y poco especificas. La mayoría
de los modelos de E.N. han usado una definición de discre-
pancia, pero, como señalan Coffing y Hutchinson (1974>,
esta definición es muy limitada en su enfoque. Scriven
(1977) señala el problema en estos términos; La E.N. ha
sido durante mucho tiempo el espectáculo más cómico en
evaluación. Los modelos usuales son burlescos y las
decisiones basadas en ellos están construidas en arenas
movedizas, un signo de la extensión del problema es el
fracaso en encontrar una definición aceptable de nece-
sidad. < Cit. en Lenning, 1978)
92
76
Siendo la cuestión prioritaria en EN, el conceptua—
lizar adecuadamente el término necesidad, revisaremos lo
que la literatura nos ofrece.
Concepto fl
Los conceptos para definir el término necesidad han

sido tomados de otros campos como la filosofía, psicolo-
gla, sociología o economía. Se ha definido la necesidad
abarcando variados aspectos de conductas y procesos huma-
nos. organizativos y sociales que se han señalado como
objetivos de la evaluación de necesidades.
Como señalan Burton y Merrilí <1977), el concepto de
necesidad adopta distintas acepciones según quién lo
utilice; educadores, sociológos, economistas, trabajadores
sociales, etc.
Por ejemplo, en los campos de la biología, fisiología
y medicina las necesidades son intepretadas en términos de
lo que contribuye al buen funcionamiento y a la supervi-
vencia y desarrollo del organismo humano. En psicología,
las necesidades son vistas como un constructo de apren-
nizaje usado para indicar un desequilibrio o condición
insatisfactoria debido sí cual la necesidad existe para
corregir la situación. Así, la necesidad es una tensión
personal apropiada para la satisfacción de un fin o con-
dición deseable, percibida como tal por un individuo. Los
sociólogos se centran en los grupos y en la sociedad.
Ellos ven las necesidades como indicadores de problemas a
resolver.
Todos son tipos legítimos de necesidad que es preci-
so incluir en cualquier definición genérica de ella.
La necesidad se define generalmente como la falta ce
algún requisito deseable o útil (Mccaslin y Lave, 1976) o
como un vacio en conocimiento, destrezas, actitudes,
competencias o logros <Pennington, 1980; Snutz st al.,
1981)
93
77
Analizando el concepto de necesidad educativa, Monette
(1977>, identifica un número de definiciones diferentes.
Las agrupa en cuatro grandes categorías: 1) necesidades
humanas básicas, 2> necesidades sentidas y expresadas,
3) necesidades normativas, y 4) necesidades comparativas,
1> Necesidades humanas básicas.

Maslow <>970> identifica cinco tipos de necesidades
dentro de este grupo. En orden de prioridad se incluyen
las fisiológicas, de seguridad, amor, estima y autorrealí-
zación. Maslow <1970> afirma que la emergencia de una
nueva necesidad depende, normalmente, de la satisfacción
de una necesidad más básica. La satisfacción de ésta, pone
las condiciones para la aparición de otras de más alto
nivel.
2) Necesidades sentidas y expresadas.

Este concepto de necesidad es el más común, y se
consideran como deseos. Una necesidad sentida es algo
percibido como necesario por el individuo interesado.
Aunque existan necesidades sentidas pueden no ser reales.
Las necesidades reales pueden no ser reconocidas o senti-
das por los individuos que las tienen. McMahOn (4970>
critica los desarrollos de programas basados en el descu-
brimiento de necesidades sentidas. Por supuesto que una
necesidad sentida puede corresponder a una necesidad real.
3> Necesidades normativas.

Una necesidad puede ser llamada normativa cuando cons-
tituye una deficiencia o vacio entre un nivel deseado y el
que existe realmente. El individuo o grupo que baja del
nivel deseado se encuentra en estado de necesidad.
(McMahon, 1970). (Análisis posteriores determinarán la
razón o causa de la necesidad.)
94
78
4) Necesidades comparativas.
Este concepto de necesidad consiste en comparar los
grupos que reciben un servicio con los que no. Si poseen
las mismas características y no reciben el servicio,
podemos considerar que existe una necesidad comparativa.
Al analizar cada uno de estos cuatro conceptos de

necesidad, parece que ninguno es adecuado por si sólo. Las
necesidades humanas básicas o innatas son bastante Incier-
tas y generales. Las sentidas, proporcionan sólo la
percepción de los individuos que pueden estar limitadas en
sus propias serie de valores. Las normativas se basan en
juicios de valor que pueden ser conflictivos. Ello nos
sugiere la obligación de considerar todos los tipos de
necesidad para hacer análisis efectivos de la situación.
El concepto de necesidad como un vacio puede ser más útil
si los otros tres conceptos se utilizan para determinar el
tipo de vacio que existe.
Esta Interpretación de necesidad se deriva, según
afirma Boyle <1981>, de la teoría de la motivación de Kurt
Lewin. Dentro de esta teoría la tensión es una idea diná—
míca. Dice Weiner (>972>, el concepto de tensión es corre-
lativo al de necesidad; una necesidad se representa como
un sistema en estado de tensión” (p 110>. El punto clave
de esta concepción es la aceptación de la teoría psicoló-
gica de la homeostasis o equilibrio. A> considerar la
necesidad como una alteración del equilibrio, existirá la
tendencia de volver al equilibrio satisfaciendo la nece-
si dad.
$lcKillip (1987> define la necesidad como el juicio de
valor que algún grupo tiene de un problema que puede ser
resuelto <P lO>. Hay cuatro aspectos a considerar en esta
def i ni ci ón:
1. El reconocimiento de que la necesidad incluye valo-
res. La gente con diferentes valores reconoce diferentes
necesidades.
95
79
2. Una necesidad la posee un grupo de personas parti-
cular en una serie concreta de circustancias.
3. Un problema es un logro inadecuado, un logro que
viola las expectativas, Hay muchas fuentes de expectati-
vas, reflejando los diferentes valores.
4. El reconocimiento de una necesidad incluye un
juicio de que existe una solución para ese problema. Un
problema puede tener muchas soluciones potenciales, solu-
ciones que varian en la probabilidad de aliviar el proble-
ma, y en el costo y la posibilidad de puesta en marcha.
Las necesidades son reconocidas por comparación con

las expectativas de lo que puede o podría ser. Bradshaw
<1972) identifica cuatro tipos de expectativas que sus-
tentan los juicios de la necesidad. La primera es la nece-
sidad normativa, una expectativa basada en una definición
experta de los niveles adecuados de logros de sevicios. A
causa de su experiencia y conocimiento, los expertos pue-
den suministrar consejos sobre los resultados que pueden
esperarse y acerca de los niveles de servicios requeridos
para conseguir estos resultados. Las expectativas normati-
vas son particularmente útiles en la planificación de
áreas en que hay poca experiencia previa. Sin embargo, al
depender de los expertos, las expectativas normativas
pueden ser elitistas y llevar a programar lo que la
población objeto no utilice.
El segundo tipo de expectativas de Bradshaw (1972) son
las necesidades sentidas. Hay expectativas Que los miem-
bros de un grupo tienen de sus resultados. Las necesidades
sentidas dependen de la intuición que la persona tiene de
sus problemas. Si la necesidad de un servicio no es senti-
da por la población probablemente éste no se use. Al
mismo tiempo, muchas de las necesidades sentidas de pro-
gramación de servicipos sociales y educativos son poco
realistas, pero se asume que es un importante derecho de
los individuos suministrar definición de sus propias nece—
95
80
sidades. <Pacl%wood y Whitaker, 1986>
Las expectativas pueden basarse en la conducta de la
población de estudio, esto nos dará las llamadas necesi-
dades expresadas o demandadas. La última perspectiva que
Bradshaw (1972> describe es la necesidad comparativa.
Esta perspectiva de necesidad se basa en las realizaciones
de un grupo parecido al de la población propuesta. Sí un
grupo o un individuo usa un servicio menos que otro o
queda por debajo de la media en una determinada medida,
manifiesta un problema.
Hay dificultades particulares con estas categoriza—
ciones cuando se aplican a la investigación de la necesi-
dad. Clayton (1983) afirma que los datos derivados de cada
clasificación no son necesariamente comparables. Aunque
Sradshaw (1972> trata cada definición como separada es
evidente que hay relación entre las diferentes categorías.
Por ejemplo, una necesidad comparativa es en parte conse-
cuencia de una normativa. Muchos de los datos recogidos
a través de estas definiciones se refieren a datos del
pasado y actuales y pueden dificultar la estimación de
necesidades futuras. (Packwood y Withaker, 1988>. Además
cada definición ofrece algunos problemas; con las necesi-
dades sentidas es metodológicamente difícil no influir en
los respondientes a través de las cuestiones formuladas.
Las expresadas están condicionadas por el conocimiento de
servicios existentes. Las comparativas tienen el peligro
de ofrecer el servicio de algo que no se necesita verdade-
ramente. En el caso de las normativas la dificultad
estriba en asegurar la validez del criterio fijado. La
clasificación de Bradshaw <1972> tiene valor heurístico,
de ayuda a los decisores.
cada una de las perspectivas descritas por Bradshaw

(1972> tiene puntos fuertes y débiles. Ninguna es apro-
piada para todas las situaciones. Las técnicas de identi-
ficación de necesidades enfatizan alguna de ellas, por
97
81
ello una combinación de técnicas parece la mejor manera de
identificar la necesidades de una población.
(McKillip, 1987>
Por último, señalamos la necesidad prospectiva.
añadida por varios autores, que es aquélla que se cree se
presentará en el futuro en función de la situación y
tendencias presentes. <Wade, 1999>
Kowals~i (1988> distingue algún tipo más de necesidad;

las adscritas, son las determinadas por observadores
externos; las necesidades sintomáticas, que son manifes-
taciones de necesidades (ej. analfabetismo funcional);
necesidades sociales, cuando son comunes a un número
significativo de ciudadanos; necesidades organizativas,
referidas a una institUción, etc.
Dice Klevans <1987) que las necesidades pueden clasi-
ficarse por la objetividad con que han sido determinadas.
Necesidades reales, necesidades genuinas o necesidades
evaluadas se llaman cuando las deficiencias han sido esta-
blecidas objetivamente en contraste con las necesidades
autodetermi nadas.
cuando evaluamos necesidades el enfoque puede ser
amplio o general, o puede ser detallado y especifico. Así
ocurre con las categorizaciones de necesidades, algunas de
amplio espectro como la jerarquización de necesidades de
Maslow (1968), las categorías de Parsons (1951) y la taxo-
nomía de necesidades sociales de Bradshaw (1972>, mientras
que otras tienen un marco más estrecho; la categoría de
necesidades latentes y manifiestas de Slurray (1978), o la
taxonomía de necesidades de información de Kinnick (1975>.
Muchas de las categorizaciones de necesidad se han desa-
rrollado como un continuo de una dimensión particular,
así, básicas versus derivadas, personales vs sociales,
etc. Estas dimensiones pueden ayudar a fijar los limites
deseados y apropiados a la hora de planificar una £.N. y a
marcar prioridades dentro de esos limites.
82
d~ fl9g~fff~44 educativa,
En educación, el concepto de necesidad nos llega desde

Rousseau. Durante los ai~os treinta se desarrolló la idea
de necesidad, los contenidos del curriculum y todos los
métodos de enseñanza se predicaban en relación al análisis
de necesidades de los educandos. Ya Bede en 1938 señaló la
dificultad para distinguir entre auténticas necesidades,
necesidades sentidas y meros deseos. Además, las necesi-
dadas son posiblemente infinitas y no pueden ser identi-
ficadas todas, pueden estar en conflicto entre si y no ser
reconocidas por los individuos que las tienen.
El concepto de necesidad es amplio y con diferentes
acepciones. Dejando otros campos de Intervención social,
en educación, el tema de las necesidades adquiere una
importancia fundamental. De hecho, dice Zabalza (1987),
podríamos afirmar que los diversos modeloe educativos que
han ido surgiendo a lo largo de la historia de la peda-
gogia no han sido sino diferentes interpretaciones de lo
que en cada momento se entendió que constituían las nece-
sidades a afrontar a través de la educación.
<Zabalza, 1987, p. 64)
Siguiendo la clasificación de Bradshaw (1972), ¿abalza
hace una traslación al mundo educativo; vemos que la más
obvia es la necesidad normativa. Los programas obligato-’
nos, reflejan esos niveles de maduración, conocimientos,
experiencias que se plantean como necesarios para un mismo
grupo de edad. Necesidad y exigencia se funden en un marco
de referencia general que ha de orientar obligatoriamente
la acción educativa. Es en la generalidad de esas necesi-
dades normativas donde radica su principal problema.
La necesidad sentida presenta otra problemática
particular. El manejo social y cultural de los deseos es
tan fuerte que los sujetos dirán desear tan sólo aquello
que creen poder lograr o aquello que conocen por expe—
99
83
.
riencia. La educación debe ser capaz de alumbrar nuevos
deseos y nuevas necesidades.
La problemática de la necesidad expresada está bas-
tante relacionada con el punto anterior. No se puede
demandar lo que no se conoce.
La necesidad comparativa es de importancia fundamental
en educación. En una sociedad plural y democrática todos
los sujetos han de tener garantizadas su participación en
condiciones de igualdad en el beneficio social de la edu—
cao i ón.
La necesidad prospectiva afecta también en gran manera
al mundo educativo. La educación tiene que estar pensada
indefectiblemente con vistas al mañana.
se podría llegar así a una idea global de necesidad
aplicable al terreno educativo. En esa idea de necesidad
se tendrían que incluir según Zabalza (1987);
Todo aquel conjunto de componentes del desarrollo
intelectual, afectivo, social, psicomotor, etc, que las
divesas ciencias humanas identifican como aspectos funda-
mentales en el desarrollo de una persona. Son necesidades
prescriptivas o exigencias.
2. Todo aquel conjunto de componentes del desarrollo
que constituye lo que los sujetos o grupos querrían ser o
saber porque se sienten interesados por ello. Son necesl—
dades individual izadoras, idiosincráticas.
3. El tercer orden de necesidades lo constituyen las
que se refieren a la noción de progreso y de mejora. Son
necesidades de índole cultural, técnico o de ocio y tiempo
libre.
4. Y la cuarta dimensión se refiere a las necesidades
sociales del medio ambiente.
En definitiva, concluye Zabalza (1987>, una necesidad

viene constituida por esa diferencia o discrepancia que se
produce entre la forma en que las cosas deberían ser (exí-
genciag>, podrían ser (necesidades de desarrollo> o nos
loo
84
gustarían que fueran (necesidades individualizadas> y la
forma en que esas cosas son de hecho, la diferencia entre
el estado actual y ese marco de referencia tridimensional
al que hemos aludido. (p. 67>
kowalsky (>968) incluye la diferenciación entre nece-
sidades y deseos que en ocasiones se confunden en la lite-
ratura profesional. En realidad, los deseos aislados no
reflejan necesidades pero incluyen una motivación o pre-
disposición individual a mejorar, una predisposición a
eliminar las necesidades ya seleccionadas.
Long (>983> describe el trabajo de Scisson (1982>
(cit. en Klevans >987> que suministra una definición
multidimensional de necesidad educativa que tiene tres
componentes: competencie, relevancia y motivación. En esta
tipología, la competencia se refiere a la habilidad para
ejecutar una serie de destrezas, la relevancia se refiere
a (a utilidad de estas destrezas para las personas. La
motivación se refiere a la predisposición de una persona
para mejorar su competencia. Los deseos los describe como
una combinación de motivación más competencia o relevan—
cía. Usando su definición, las personas pueden ser
incompetentes pero no estar motivadas porque no vean
relevante incrementar su competencia.
Conviene tener en cuenta el comentario de Pennington
VieSe) de que sólo las personas pueden tener necesidades
educativas, aprender y aplicar lo aprendido. En este
sentido, los grupos, las organizaciones y comunidades no
tienen necesidades educativas. Sin embargo, esto no quiere
decir que sólo se pueda atender a los particulares en un
proceso de EA. De hecho, Campbell (1980) sugiere que un
estudio de EN. se justifica cuando se extiende desde las
personas para incluir grupos, organizaciones o comunida-
des.
101
85
Necesidades básicas de aorendizaie
La carta Mundial sobre la Educación para Todos, que se

presentó en Tailandia en marzo de 1990 define así las
necesidades básicas de aprendizaje;
Articulo 1. Definición de las necesidades básicas de
aprendizaje.
Las necesidades básicas de aprendizaje se refieren
a los conocimientos, las técnicas, los valores y las
aptitudes necesarias para que las personas sobrevivan,
vivan con dignidad, sigan aprendiendo y mejoren la
calidad de sus propias vidas, sus comunidades y sus
naciones. Cuando se satisfacen las necesidades básicas
de aprendizaje se faculta a las personas para adoptar
decisiones bienfundadas, responder a las oportunida-
des, adaptarse al cambio y tomar iniciativas benefi-
ciosas para ellos mismos o para otros.
2. El alcance de las necesidades básicas de aprendiza-

je y la forma en que deben satisfacerse depende de los
paises y las culturas y varia a lo largo del tiempo
para las personas y para la sociedad (pág 89>
Es posible identificar las necesidades básicas de

aprendizaje para una sociedad en términos generales. Las
necesidades básicas de aprendizaje se refieren a los
conocimientos, destrezas, actitudes y valores sobre los
que las personas puedan construir sus vidas aun cuando no
reciban futura educación formal, cuando estas necesidades
básicas se satisfacen, las personas adquieren la habilidad
de leer, escribir, trabajar con números y comprometerse en
futuros aprendizajes, a responder a las oportunidades,
adaptarse al cambio, y a participar en la vida cultural,
social y económica de su comunidad, su nación y del mundo.
La educación básica facilita la habilidad para satis-
facer otras necesidades básicas, nutrición adecuada,
102
86
.
vestido y acceso a los serviciOs de salud. Todas estas
necesidades humanas son independientes, pero la educación
básica promuevo su cumplimiento e incrementa las posibi-
lidades de satisfacer otras necesidades.
La posesión de los aprendizajes básicos también es un
perrequisito y un complemento de otras fuentes de desa-
rrollo social y económico. Los efectos de satisfacer las
necesidades de aprendizaje tienen dimensiones personales y
sociales.
Las necesidades básicas de apendizaje varian en los

grupos de edad y difieren en términos de que representan
necesidades individuales intrínsecas, facilitan la satis-
facción de otras necesidades básicas, o son instrumentos
para conseguir grandes intereses sociales. El nivel y
campo de las necesidades básicas de aprendizaje es espe-
cifico de cada país ( y especifico de cada cultura dentro
del país) y evolucionan con el tiempo. Sin embargo, a la
vista de la gran interdependencia del mundo, es esencial
que todos los individuos adquieran una comprensión de esta
interdependencia, un respeto por las culturas de los
otros, y una apreciación de la necesidad y las posibi-
lidades de la paz, prrotección del medio ambiente, coope-
ración internacional y desarrollo continuado. (WOEFA,
>989, píO>
Definiciones ~ necesidad ~ 4] proceso ~4 evaluación de

neces,dades
La mayoría de las EN. se basan en una de estas tres

definiciones del término necesidad:
La más usada es la de discrepancia. Esta definición
introducida por Kaufman (19721 propone que las necesidades
son áreas en que el nivel real es más bajo que el nivel
propuesto. Este nivel abarca ideales, normas, preferen—
103
87
.
cias, expectativas y percepciones de lo que debería ser.
Otra definición de necesidad usada comúnmente es la de
deseo o preferencia. La identificación de las necesidades
no requiere la determinación de un discrepancia, sin
embargo, requiere determinar la percepción de necesidades
de individuos o grupos seleccionados. Aunque hay autores
que se oponen al uso de esta definición muchas E.N. se
basan en ella, particularmente en las situaciones en que
las opiniones del público y de profesionales son
utilizadas como bases para establecer fines educativos o
normas.
Un concepto más rígido de necesidad y menos usado en
los estudios de E.N. es el de déficit. Se dice que existe
una necesidad si la ausencia o la deficiencia en el área
de interés produce perjuicio. Scriven <1977) ha difundido
esta definición al describir una necesidad como un estadio
en el que un nivel mínimo satisfactorio no se ha conse-
guido o no puede mantenerse. Pocos estudios de SAi. se han
desarrollado usando esta definición debido a la dificultad
que entraña el determinar el momento en que este déficit
se produce. <Suárez, 1990)
La definición más difundida de necesidad para la eva-
luación de necesidades fue introducida por Kaufman (>972).
En un trabajo más actual (Kaufman y Fnglish, 1979) el
término es definido como la medida de la distancia o
discrepancia ente los resultados reales y los deseados o
requeridos. No la distancia durante el proceso o 105
medios, sino entre los fines.”
Aunque no todo el mundo está de acuerdo con el énfa-
sis de Kaufmán en los fines, la definición de necesidad
como una discrepancia, sigue siendo la más usada en EN.
Roth <1977, 78> en su revisión de la literatura sobre
el tema identifica cuatro definicIones más precisas de
necesidad como discrepancia. Partiendo de la definición de
necesidad como;
objetivo establecido — nivel real = necesidad.
1 04
88
Sintetiza 1a variedad de definiciones en;
nivel ideal - nivel real = discreDancia de metas.
norma — nivel real = discrepancia social.
nivel mínimo — nivel real = discrepancia esencial.
nivel deseado — nivel real = discrepancia deseada.
nivel esperado — nivel real = discrepancia esperada.
En su análisís de 408 E.N. , encontró que al menos la

mitad de ellos no tenfan especificada una definición de
necesidad. Los que la ofrecían, lo hacian como un modelo
de discrepancia.
Stufflebeam (1977), identifica cuatro definiciones
comunes del término necesidad en su revisión de estudios
de evaluación de necesidades:
Punto ~ yj~~ 4e la discreoancia.— Una necesidad es una

discrepancia entre la ejecución deseada y la observada.
Ventajas: Es muy manejable para usarla en test de refe-

rencia a una norma y de referencia a criterio, así como en
certificación. Se acepta generalmente en distritos esco-
lares y departamentos de educación.
Desventajas: Tiende a concentrar estudios de E.N. sobre

las variables para las que hay test y normas disponibles.
Simplifica el problema de los criterios atribuyendo más
validez que la merecida a las normas, estándares y a lo
establecido por las agencias de acreditación. Tendencia a
reducir la E.N. a un proceso mecánico y simplista.
Punto de vista democrático.- Una necesidad es un cambio

deseado para la mayoría de algún grupo de referencia.
ventajas: Tiene gran valor de relaciones públicas. Es

equilibrado al considerar las diversas perspectivas.
los
89
Tiende a considerar un rango amplio de variables.
Involucra a mucha gente en el proceso de establecimiento
de objetivos, Suministra información útil para determinar
la importancia relativa de las necesidades potenciales.
Resulta fácil de aplicar.
Desventajas: Confunde necesidades con preferencias. Depen-

de demasiado del grado en que se informa al grupo de refe-
rencia. Tiende a confundir la determinación de necesidades
con consideraciones de costo y confort. Permite el esta-
blecimiento de objetivos no válidos.
Punto d vista diaqnóstico.— Una necesidad es algo cuya

ausencia o deficiencia produce perjuicio.
Ventajas: Asegura que las necesidades de supervivencia no

serán descuidadas. Proporciona identificación de las
necesidades satisfechas y no satisfechas. Revisa la
investigación disponible para asegurar qué deficiencias
serán más perjudiciales.
Desventajas: Se concentra en las necesidades básicas de

supervivencia con la exclusión de otras necesidades de más
alto nivel. Se esfuerza en eliminar los efectos dañinos de
la deprivación más que en mejorar la práctica y los resul-
tabos que ya son bastante satisfactorios. Es bastante
subjetivo en la práctica, dado que la investigación en
educación proporciona poca evidencia acerca de los efectos
de ciertos tipos de privación educativa. Se basa en la
creencia cuestionable de que algunas necesidades son
absolutas.
Punto de vista analítico.— Una necesidad es la dirección

en que puede predecirse que va a ocurrir una mejora toman-
do información acerca de la situación real.
1 06
90
ventajas: Potencia juicios informados y la sistemática
resolución de problemas. Busca descripciones completas. Se
centra en la mejora en oposición al remedio. No depende de
estándares establecidos a priori.
Desventajas: Es una abstracción que puede ser difícil de

operacionalizar. Requiere personal altamente cualificado.
(Stufflebeam et al, 1985, PP 6—7>
A pesar de sus diferentes perspectivas pueden obser—

varee similitudes en las clasificaciones de Roth (1978) y
Stufflebeam (1977>. En ambas revisiones se encuentran
definiciones de necesidad como; a) una discrepancia entre
el nivel real y al propuesto, b) o el deseado, c) o
necesitado, o de un logro anticipado o expresado.
Otros autores han presentado nuevas definiciones del
término necesidad para la E.N.
Stufflebeam (¶977) define una necesidad como ‘algo que
puede mostrarse necesario o útil para el logro de algún
propósito defendible.
Los principios operativos de esta definición son la
identificación de propósitos defendibles y la demostración
de la necesidad en cumplimentar el propósito.
Algo que es útil, ayuda, pero puede no ser esencial
para alcanzar un objetivo. Algo necesario, es lo que se
requiere para alcanzar el objetivo. Un propósito defen-
dible es el que satisface ciertos criterios evaluativos.
La definición propuesta, dicen Stufflebeam et al. (1985>,
es intencionadamente flexible para ser útil en los dife-
rentes propósitos y áreas de contenido en que la EN. so
desarrolla. También unifica los diversos conceptos de
necesidad que se encuentran en la literatura de la E.N.
Esta definición se basa en la creencia de que las
necesidades no existen de por sí, sino, por el contrario,
son el resultado de juicios humanos, valores e interaccio-
nes dentro de un contexto dado. La necesidad es tratada
107
91
como un concepto relativo y abstracto dependiente del
objetivo a que sirve y a la situación real y del conoci-
miento existente sobre lo que se requiere o desea en
relación al propósito dado.
La naturaleza relativa de las necesidades es algo
especialmente pertinente en educación, porque es un campo
de trabajo que recoge valores de diversas comunidades,
y diversidad de teoría y prácticas.
Un concepto clave en la definición propuesta por
Stufflebeam <1977> es el de propósito defendible. A través
de este concepto los valores y creencias, los fundamentos
de la necesidad se hacen operativos. Al igual que la
necesidad, el concepto de propósito defendible necesita
ser flexible. Para la defensibilidad del propósito
Stufflebeani et al. (1985), ofrecen cuatro tipos de
criterios: (Ver criterios del J.C,, páginas 47 y ss)
1.— Criterios de legitimidad.— Los derechos de las

personas no son vulnerados, no se perturba el ambiente,
los propósitos son éticos.
=.— criterios de utilidad.— Hay un beneficio identificable
para la sociedad, se relaciona con algún aspecto de mejora
de la condición humana.
s.— criterios de viabilidad.— El propósito es alcanzable
en el mundo real dada su naturaleza, costo y viabilidad
política.
4.- criterios de excelencia.— Hay una perspectiva de
desarrollo de conocimiento, interés creativo o destrezas
técnicas avanzadas en un área de actividad humana.
Estos criterios pueden resultar conflictivos y necesi-
tan ser sopesados en relación unos con otros. (Pp. 12—13>
Scriven (Scriven y Roth, 1978) ofrece un punto de

vista diferente; ‘A necesita x’ significa que A es o
debería ser una condición insatisfactoria sin X en un
aspecto particular, y obtendría un beneficio significativo
loe
92
de X en ese aspecto, encaminado hacia el logro pero no
sobrepasando una determinada condición satisfactoria.
(p.3>
Para Scriven (Scriven y Roth, lg7fl, una necesidad no

es una discrepancia sino más bien un estado en el que el
nivel mínimo no ha sido alcanzado o no puede mantenerse.
Scríven (1977> señala el que los deseos o preferencias
no son necesidades. Estas, pueden estar presentes sin que
la gente las reconozca por falta de conocimiento, o porque
están enmascaradas por otras que exigen más atención. De
la mIsma forma, una persona puede querer algo sólo porque
nO 10 tiene, porque le atrae o porque otros lo tienen. Un
deseo puede ser la expresión de una necesidad pero no se
pueden transformar en necesidades la expresión de deseos.
Para Soriven las necesidades expresadas no son las necesi-
dades reales, Por lo mismo, afirma, muchos esfuerzos en
E.N. educativas son incorrectos cuando demandan opiniones
y deseos. No niega la utilidad de esos datos como informa-
ción pues pueden suministrar Indicadores de las necesida-
des reales, pero igualar las expectativas a las necesida-
des hace que no se busque otro tipo de información para
confirmar que esas expectativas son válidas y realmente
indican una necesidad. (Lenning, 1970)
Para Scriven (1977) las necesidades no pueden equi-
parase a los deseos del consumidor, son descubiertas
mediante análisis externos y objetivos.
Scriven <1976> afirma que los valores son universal—
mente demostrables y no relativos a las preferencias
subjetivas de las distintas audiencias. El perfil ce
necesidades que elabora, es un perfil racionalmente demos-
trado de necesidades objetivas aunque no se correspondan
con los deseos o sentimientos reales del consumidor. Una
posición peligrosa por cuanto, contrariamente al pensa-
miento social contemporáneo, implica que los hechos y los
valores pueden separarse adecuadamente para permitir un
109
93
conocimiento objetivo que es independiente del interés
humano. Las necesidades, intereses, pensamientos y aspi-
raciones de los individuos son relegados ante la defini-
ción externa y objetiva de sus auténticas necesidades.
(Pérez Gómez, >983>
Lenning <¶979) propone una definición amplia y

genérica que incluya todos los tipos de necesidad y los
relacione;
una necesidad es una condición, estado o situación,
juzgada necesaria o deseable, por una persona o grupo
relevante usando múltiples criterios objetivos tendentes
al acuerdo. <p.6)
Esta definición parece contener los conceptos de
Scriven y Roth (1978) de deficiencia y mantenimiento en la
identificación de necesidades sin marcar, sin embargo, un
mínimo nivel satisfactorio.
Otras características de la definición incluyen el
desarrollo de criterios múltiples, consenso en la se-
lección de criterios y énfasis en el uso de individuos o
grupos relevantes en determinar las necesidades.
La definición, dice Lenning (1979), es pertinente con
los diferentes tipos de necesidad. De acuerdo con ella es
legitimo usar los deseos y expectativas como indicadores
de necesidades, pero deben escogerse con objetividad, y
utilizando otros criterios de evidencia. Sin embargo,
presenta un problema potencial, Y es que no específica
cuándo el deseo empieza a ser significativo corno para
clasificarlo cono necesidad, o cuándo la discrepancia
significa que hay una necesidad parcialmente satisfecha.
Por otra parte, la definición indica que se necesita la
utilización de juicios de personas o grupos relevantes
(quién será relevante dependerá de cada situación), usando
criterios múltiples y objetivos para conseguir consenso.
La definición de discrepancia ha guiado hasta ahora
lío
94
casi todos los modelos y estudios de E.N.
Sin embargo, Scriven y Roth <1977> afirman que esa
definición no es admisible aunque fracasan al dar las
razones para justificarlo> excepto cuando señalan; E.N ha
sido el espectáculo mas cómico en evaluación. Un signo de
ello es el fracaso en encontrar una definición aceptable
de necesidad. (p 25).
como alternativa, proponen que una necesidad debe
satisfacer dos condiciones; a) con ella el sujeto <indi-
viduo, familia, grupo) obtiene un beneficio no realizable
de otra forma y b> sin ella el sujeto permanece en un
estado insatisfactorio.
En otras palabras, A necesita X, A es dependiente de
X, los efectos de X en A son beneficiosos y la ausencia de
X lleva a A a una condición no satisfactoria. Esta defini-
ción tiene la ventaja de ser más explícita que otras.
<Witkin, 1984>
~a segunda condición se establece para estar seguros
de que se responde a verdaderas realidades y no a lujos.
(Una persona puede beneficiarse si obtiene un premio
importante, pero no se encuentra en situación insatis’-
factoría sin él>
En su siguiente estudio Roth (1977) señala que la
definición clásica de discrepancia, de fijar los dos nive-
les. el deseado y el real, no es suficiente para definir
las necesidades pero es un paso necesario. La definición
de discrepancia suministra un medio para identificar
posibles necesidades pero serán clasificadas como genuinas
necesidades si cumplen los dos criterios establecidos. La
definición clásica de Kaufman (1972) genera necesidades
potenciales y la nueva de Scriven—Roth (1977) sirve de
testificación para comprobar si una necesidad propuesta es
una auténtica necesidad. (cuba y Lincoln, 1982).
Siguiendo estos planteamientos, Suba y Lincoln (1982)

ofrecen esta definición de necesidad: “una necesidad es un
111
95
requisito o deseo generado como una discrepancia entre un
nivel propuesto y el nivel real, si y sólo si la presencia
de la condición definida por el nivel propuesto puede ser
demostrada como significativamente beneficiosa y la ausen-
cia de esta condición puede mostrar un perjuicio signifi-
cativo. <p.313)
Una necesidad puede verse como una serie de problemas
percibidos por los que reciben el servicio o por los que
lo suministran <Rossi et al >979>. Esta definición implica
una discrepancia pero no la incluye directamente.
En la práctica hay una considerable ambigaedad en el
uso del término necesidad. Se usan diferentes términos
referidos a los mismos conceptos, y a idénticos términos
se dan diferentes definiciones. En educación se ha usado
para describir un problema un síntoma, un recurso o una
solución a un problema. De hecho, los informes de EN.
ofrecen unas listas de deseos y anhelos más que una serie
de necesidades de acuerdo con la definición de
discrepancia. <Witkin 1984).
Algunos autores han señalado que el término necesidad
educativa ha estado tan sobrecargado que ha perdido su
significado preciso. Misanchuck (19821 encuentra en la
literatura sobre identificación de necesidades “demasiados
adjetivos”. Las necesidades se describen como básicas,
sentidas, expresadas, normativas, comparativas, reales,
sintomáticas, universales, de discrepancias de objetivos,
de discrepancia social, entre otras. (pl)
Kimmel <1977) insiste en que el término necesidad está
básicamente vacío. Para que el término tenga un signifi-
cado operativo es preciso definirlo en un contexto espe-
cifico, con el uso de estándares comparativos. De hecho,
muchos autores sustentan esta opinión. Suárez, 1951, 1985;
Seatty, 1982; Witkin, 1984). Myers y Koenigs (>979>
declaran que una necesidad existe en función del tipo de
EN. desarrollado y hasta que éste se ha definido, la
necesidad no puede hacerlo. La ambigua naturaleza del
>12
96
concepto de necesidad puede verse en el hecho de que no
hay normas comúnmente aceptadas sobre las necesidades
humanas básicas, excepto para la de alimento; la llamada
linee de pobreza, fluctúa constantemente y está sujeta a
múltiples debates. (Kimmel, >977>.
rrisbie <1981) argumenta que muchas de las presenta-
ciones del concepto de necesidad con el fin de hacerlo más
operativo no representan la complejidad del proceso de
evaluación de necesidades. Combinando las formulaciones de
Roth (1978>, Scriven y Roth (1977); Gubo y Lincoln (1982>,
construye este test para verificar si una necesidad es
verdadera;
1. Nc = Dt - Da <donde Ncc una necesidad potencial,
Dt un nivel propuesto dentro de un aspecto especifico , Da
el nivel real dentro del aspecto tratado) y
2. con Nc un sujeto recibe algún beneficio no
realizable de otra forma, y
3. sin Nc el sujeto está en un nivel insatisfactorio.
En realidad, no aporta nada que no esté incluido en

las definiciones de Soriven y Roth (1978> o Suba y Lincoln
1982)
como vemos, el concepto de necesidad para la evalua-

ción de necesidades está sujeto a un gran criticismo sin
que de estas criticas surjan demasiadas aportaciones. En
definitiva, parece que la clásica definición de Kaufman
(1972> de discrepancia se ve modificada por algunas mati-
zaciones aunque, casi siempre, partiendo de ella. Las
definiciones que incluyen como aspecto central el de
déficit o nivel insatisfactorio no tienen en cuenta las
necesidades de mejora y prospectivas, tan importantes en
el mundo de la educación, y cada vez en mayor medida al
irse cubriendo las necesidades más básicas.
Pero, en lo que parece haber más acuerdo es en que no
tiene sentido hablar de necesidades aisladamente, sino ce
lis
97
las necesidades que van interesar en un proceso concreto
de evaluación y una vez contextualizado es cuando podemos
hablar de cómo entendemos la necesidad y de cuáles de
ellas van a ser objeto de nuestro estudio.
Tioos ~ necesidades identificadas
Para conceptualizar mejor qué es una necesidad en una

EN., parece necesario especificar qué necesidades son las
que interesan.
Roth (¶9781 sugiere la siguiente clasificación;
a> necesidades de los participantes en una
institución.
b> necesidades de los ejecutores.
c> necesidades de la institución.
d) necesidades de la sociedad.
(De los estudios revisados por ella, 63% se han centrado

en la identificación de necesidades de los participantes,
25% en necesidades sociales y de la comunidad, 9 % de la
institución y el 3% de los ejecutores)
Roth (1977) en su clasificación de tipos de discre-

pancia ofrece también una posible clasificación convir-
tiendo sus discrepancias en tipos de necesidades, podria—
mos hablar de necesidades ideales, necesidades normales,
necesidades mínimas, deseadas o esperadas.
Otra distinción es la hecha por Scriven y Roth ($977>
entre básicas y de mejora. Las necesidades básicas son
definidas como aquellas que se satisfacen pero que nece-
sitan ser mantenidas. Las de mejora por el contrario, son
nuevas.
Stufflebeam <1977) distingue entre necesidades prima-
rías y secundarias.
Las necesidades primarias son consideradas las
¶14
98
.
condiciones humanas que necesitan satisfacerse en orden a
poder alcanzar un propósito defendible. Si el propósito es
desarrollar una alfabetización funcional de todos los
estudiantes en una escuela, entonces las necesidades
primarias pueden incluir las habilidades de leer, escribir
y calcular al menos en el nivel de habilidad requerido
para funcionar satisfactoriamente en el ambiente social
local. La fijación de las necesidades primarias se deriva
básicamente de los propósitos y de la teoría e investi-
gación que explique el objeto. (Normalmente incluye jui-
cios acerca de los niveles de ejecución son aceptables o
deseables>.
Las necesidades secundarias son las que posibilitan la
satisfacción de las necesidades primarias. Para Stuffle—
bea,n et al <1985), las necesidades primarias son la
variable dependiente mientras que las secundarias son la
independiente.
Por ejemplo, la habilidad para leer periódicos puede
ser la necesidad primaria o variable dependiente y una
buena visión y una eficaz instrucción lectora pueden
identificarse coreo necesidades secundarias cruciales o
26)
variables independientes. (Stufflebeam et al, 1985, p.1
(Hacemos notar que otros autores conio Witkin (1984) y
Seatty (1982) emplean el término de necesidades secun-
darias con otro sentido, ver página 250)
Además de clarificar la definición de necesidad que se

usa es también necesario conocer las que van a ser identi-
ficadas. Las necesidades de los participantes (individuos,
subgrupos o grupos), las necesidades de las instituciones
o de la sociedad pueden se objetivos de un estudio de EN.
También pueden ser determinadas en relación con algún
aspecto del proceso educativo como el desarrollo de un
programa o la localización de recursos. Todos los tipos de
necesidades pueden ser objetivo de E.N..
Si se van a identificar y evaluar necesidades es
115
99
preciso clarificar cuáles son las que interesan. El
enfoque de un estudio sobre necesidades puede estar dentro
de la institución < por ejemplo, cursos, programas,
departamentos, estudiantes, profesorado, directores,) o
fuera de la institución ( por ejemplo, prospectiva de
estudiantes, grupos o organizaciones de la comunidad local
o la sociedad en general>. Es importante determinar en las
primeras fases del estudio qué necesidades son las que
interesa investigar. < y en ese qué, podemos incluir
entidades complejas como organizaciones>.
Muchas de las categorizaciones de necesidad se han
desarrollado como un continuo de una particular dimensión,
Así;
general vs especificas,
personales v5 sociales,
de mantenimiento vs de mejora,
conscientes Vs inconscientes,
actuales vs proyectadas,
instructivas vs no instructivas,
(Lenning 1875, pS>
Igual que las definiciones del término necesidad, hay
muchos tipos de necesidades a identificar. La especifi-
cación de los tipos de necesidad que se van a identificar
es muy importante para comprender y guiar un proceso de
494)
evaluación concreto. (Suarez ígSl, p.
Frecuentemente se habla de necesidades educativas
referidas a los alumnos en la escuela. Pero el campo puede
definirse más ampliamente en relación con otras áreas
educativas. Stufflebeam (1977> sugiere Que puede incluir:
programas, personal, administración, recursos,transpOrtes,
finanzas, evaluación, servicios especiales, relaciones
públicas.
115
100
BALDIVIESO Hernández María Silvia
“Lineamientos estructurales e indicadores en Indicadores para la
autoevaluación de instituciones de formación profesional inicial, en el marco de
la nueva relación educación–trabajo”
Universidad Autónoma de Barcelona
101
UNIVERSITAT AUTONOMA DE BARCELONA
FACULTAT DE CIENCIES DE LA EDUCACIO
DEPARTAMENT DE PEDAGOGIA APLICADA
PROGRAMA DE DOCTORAT :
QUALITAT I PROCESSOS D´INNOVACIO EDUCATIVA
TESIS DOCTORAL
INDICADORES PARA LA AUTOEVALUACION DE INSTITUCIONES DE

FORMACION PROFESIONAL INICIAL, EN EL MARCO DE LA NUEVA
RELACION EDUCACION TRABAJO
MARIA SILVIA BALDIVIESO HERNANDEZ
Abril de 2002
102
“Lo socio de negociación y pactos (Ball 1993)
político”
Ecológico La visión integrada “El contexto organizativo incardinado en su entorno

de la realidad. inmediato, y este a su ves en contextos remotos, es
Interrelaciones asumido por cada centro desde su propia realidad. Y por
intra e inter lo tanto con resultados diversos. (condicionantes del
escolares. trabajo docente”. Uría 1998:26)
La escuela como
comunidad.
“Lo contextual”
Cuadro 8 (Cont.) Ejes de análisis que los diferentes enfoques paradigmáticos de la organización podrían aportar
para analizar la formación profesional inicial.
2.7 Lineamientos estructurales para la organización y gestión de los centros de

formación
2.7.1 Tendencias actuales dominantes
Tal como dijimos en el capítulo anterior, las constantes y profundas

transformaciones acaecidas durante los últimos años en el sector socioeconómico
laboral han desencadenado una serie de reformas educativas, que si bien responden
a las necesidades específicas de cada nación y región, comparten múltiples de los
rasgos fundamentales que determinan su estructuración y organización.
Rasgos que a los que según la caracterización que realiza CEDEFOP (1997)
se distinguen por encarnar el desplazamiento de una cultura popular de enseñanza
uniforme, hacia una orientación al cliente.
Tal desplazamiento conduce a la incorporación de principios de calidad en las

organizaciones, ya que se interpreta que, a la exigencia de profesionalidad que los
ciudadanos de forma natural y creciente realizan a los ofertores de educación en
general, y al sistema escolar y de formación profesional en particular; se atiende
fundamentalmente con la estandarización de principios de organización y gestión.
En tal sentido, las escuelas para garantizar su efectividad deben incorporar

técnicas exitosas del sector empresarial. Técnicas que les exigirán determinadas
normas de actuación y gestión destinadas a propiciar y garantizar un servicio de
calidad, caracterizado por el intento de “optimizar” la organización y los procesos
educativos.
103
María Silvia Baldivieso Hernández - 2002 - 102
Esta generalizada preocupación de los organismos nacionales e
internacionales por la mejora constante de la calidad de la formación, desemboca en
el diseño de modelos de calidad y la aplicación de sistemas de garantía de la misma
que, seguidamente desarrollamos.
2.7.1.1 El Modelo Europeo de la Calidad
Con la idea de estimular y ayudar a las organizaciones europeas en la

instauración de estrategias de gestión orientadas hacia la calidad; la Fundación
Europea para la Gestión de Calidad (EFQM) , generó un modelo no normativo que
guía fundamentalmente el examen global, sistemático y regular de las actividades y
resultados de diferentes organizaciones.
Esta fundación creada en 1988, bajo los auspicios de la Comisión Europea,

por importantes compañías de la región, reflejó claramente en dicho modelo su
tendencia a estimular a las organizaciones a participar en actividades de mejora que
las lleven, en última instancia, a la excelencia en la satisfacción de sus clientes y de
sus empleados, en su impacto social y en sus resultados empresariales.
Así, el mismo se compone de un conjunto de criterios de excelencia

empresarial que abarcan todas las áreas del funcionamiento de la organización, y un
conjunto de reglas para evaluar el comportamiento de la organización en cada
criterio.
Tales criterios y reglas, independientemente o integrados a otras estrategias

de mejora de la calidad, que complementariamente se pueden desarrollar desde la
perspectiva de la gestión de la calidad total, permiten el establecimiento de
estándares basados en hechos objetivos y la consecución de una visión común
sobre las metas a alcanzar y las herramientas a utilizar.
Los criterios de excelencia empresarial, al tiempo que abarcan todas las áreas
de funcionamiento de la organización, (ver figura Nro. 2), se organizan en dos
grupos: el de los resultados y el de los agentes.
Los primeros, se refieren a lo que la organización ha alcanzado o está

alcanzando para cada uno de sus actores (clientes, empleados, sociedad e
inversores). Y los segundos, constituyen aspectos del sistema de gestión de la
organización y representan la forma en que se consiguen determinados resultados.
En otras palabras, podríamos decir que, básicamente el modelo nos indica

que la "Satisfacción del cliente", la "Satisfacción del personal " y el "Impacto en la
sociedad" se consiguen a través del "Liderazgo" que conduce la "Estrategia y
planificación", la "Gestión del personal" y la gestión de los "Recursos" y de los
104
"Sistemas de la Calidad y Procesos", llevando finalmente a la excelencia en los
"Resultados financieros y no financieros" de la empresa.
Para que ello sea así, propone un examen global, sistemático y regular de la
organización, basado en procesos de autoevaluación tendentes a valorar lo que en
la misma se realiza y logra.
A cada criterio se le asignará un puntaje, que luego se analizará

comparativamente con los porcentajes previamente estipulados (ver figura Nro. 2),
que indican la importancia relativa de cada criterio.
GESTIÓN DE SATISFACCIÓN
PERSONAL DEL PERSONAL
(9%) (9%)
LIDERAZGO PROCESOS RESULTADO

(10%) PLANIFICACIÓ (14%) SATISFACCIÓN
NY DEL CLIENTE S
ESTRATÈGIA (20%) (15%)
(8%)
IMPACTO EN LA
RECURSOS SOCIEDAD
(9%) (6%)
AGENTES FACILITADORES (50%) RESULTADOS (50%)
Figura 2. Modelo Europeo de Gestión de la Calidad
Veamos a continuación sucintamente lo que significan los diferentes

criterios:
Liderazgo
Usualmente en el marco del modelo de gestión de la calidad, se considera que

uno de los principales factores que determinan el éxitos o el fracaso de una
organización se vincula directamente al papel que asumen los miembros directivos;
en tal sentido el liderazgo es visto como es uno de los elementos basales de la
calidad; y entendido como el compromiso del equipo directivo con la excelencia.
Desde ésta perspectiva, son los directivos los líderes quienes con su clara
visión de negocio, articulando los aspectos externos e internos de la organización,
podrán poner en práctica estrategias tendentes a lograr los objetivos de la empresa y
la incorporación de nuevos valores o adquisición de una nueva cultura organizativa
centrada en la calidad.
Como si se tratara de una pirámide invertida, nos dice Lopéz Ruperez (1994),
105
la gestión de la calidad total reposa sobre lo que desde una perspectiva jerárquica,
constituye su vértice superior, es decir en la dirección; de allí que esta se constituye
en la condición sine qua non para la mejora de la organización.
Dicha mejora refleja entonces la capacidad de éstos de conformar una visión

de calidad, de comprometerse con ella, de materializarla en acciones que por un lado
promuevan el desarrollo y la instauración de una cultura de la calidad, y por otro,
apoye los esfuerzos de los equipos de trabajo y facilite los recursos necesarios; sin
descuidar por supuesto a los clientes y proveedores externos.
Política y Estrategia
Aunque política y estrategia, constituyen dos elementos inseparables en el

funcionamiento de una organización, ya que conjuntamente en una perfecta
articulación o mutua determinación, son las que materializan una determinada visión,
cabe establecer una diferenciación. La política empresarial, constituye el paquete de
orientaciones prioritarias y lineamientos de acción que la organización se propone
seguir para lograr su misión. Y la estrategia, el modo específico en que se
concretizan dichos lineamientos de acción.
Ambas, suponen el compromiso efectivo con la instauración de la calidad, es

decir no solo su declaración, sino también la puesta en acción. De allí que exige una
cuidadosa planificación de ésta en todos y cada uno de los niveles de la
organización; de modo que se convierta en una práctica natural de la institución, y
no en una norma externa o imposición.
Serán los procesos enfocados hacia los actores, los que posibiliten la
satisfacción de sus necesidades y expectativas, los que los movilicen para que
aporten a la organización y los que conduzcan a la apropiación de las metas y los
principios mas adecuados para su instrumentalización.
Por ello, la decisión política principal se relaciona con la adopción de los

principio de la gestión de la calidad total y la estrategia fundamental, es la
incorporación de éstos a la cultura de la organización.
Como ya hemos dicho, algunos de dichos principios son: satisfacción del

cliente, trabajo en equipo, colaboración con la institución, la mejora continua, la
prevención antes que la corrección, etc.
Personal
Entendiendo que de nada sirven las declaraciones de principios y

determinaciones de pautas de acción, si no se cuenta con personas preparadas al
106
servicio de la organización, el nuevo modelo de gestión, revaloriza
significativamente el papel de los trabajadores en el logro de los objetivos de la
organización.
Por sobre los recursos materiales y tecnológico, los trabajadores, con su

conocimientos y buena disposición, son los que posibilitan el adecuado
funcionamiento de la institución, de allí que en el marco de las políticas de la calidad,
la gestión de los recursos humanos, constituye otro de los pilares de su
consecución.
Dicha gestión, supone trabajar no solo para reclutar personal adecuado a

cada función, sino también para desarrollar los conocimientos de las personas que
constituyen la organización, para liberar todo el potencial individual y colectivo y
prever instancias de motivación y formación.
López Ruperez (1994) destaca tres aspectos fundamentales que, desde su

perspectiva, reflejan una cuidadosa planificación de esta dimensión de la
organización de calidad:
- La comunicación y participación: como elementos que posibilitarán la adhesión

de los miembros a la institución, y la cohesión en torno al proyecto empresarial.
- El reconocimiento y las recompensas: como estímulo para mantener la franca

implicación de los empleados en el proyecto de la empresa, (comprendiendo
recompensas extrínsecas, de carácter retributivo, e intrínsecas, de carácter
personal y social).
- La definición de una carrera personal: como medio de articulación de los

procesos de motivación y formación con el desarrollo del proyecto de la
empresa.
Colaboradores y recursos
La instrumentalización de una determinada política y estrategia de acción,

requiere también una planificación y gestión de colaboradores externos y recursos
internos. En tal sentido, el modelo de la calidad, alcanza también a los medios
materiales y tecnológicos y los orienta permanentemente hacia la optimización del
funcionamiento eficaz de la institución.
Tales medios comprenden no solo materiales tangibles como las finanzas, los
edificios, la tecnología, etc., sino también aquellos vinculados al conocimiento y la
información.
107
Procesos
Como elementos básicos constitutivos de toda planificación y acción, los

procesos adquieren en el contexto del modelo una importante significación, ya que
es por medio de ellos que se viabilizan los objetivos de la institución.
En tal sentido, mejorar una organización, supone incidir sobre sus procesos
operativos y de gestión, supone diseñarlos, gestionarlos y mejorarlos. Supone
identificar las necesidades o aspectos críticos que requieran atención, definir los
procesos pertinentes para atender esa situación, evaluarlos sistemáticamente y
apelar si es necesario a la innovación.
Resultados en los Clientes
En tanto primera y principal meta de la organización y la gestión, a cuyo

servicio se orienta todo el andamiaje institucional, supone la indagación del grado
de satisfacción de los clientes en relación al producto o servicio demandado y
proporcionado.
En tal indagación cobra especial relevancia la percepción y el aporte de los

destinatarios de la acción, tanto para valorar lo realizado, como para identificar
expectativas futuras y potenciales áreas de mejora e innovación.
Resultados en el Personal
Se refiere a lo que consigue la organización en relación con su personal. Es

decir, supone la indagación no solo de su producción, sino también del grado de
satisfacción con la producción; ya que solo controlando el grado en que sus
necesidades y expectativas razonables están cubiertas, la empresa podrá continuar
contando con su aporte y colaboración.
Esta dimensión opera con idéntica lógica que la anterior, solo que centrada en
lo que desde el modelo se ha acordado en llamar clientes internos de la organización.
Resultados en la Sociedad
Comprende la evaluación del impacto de los resultados sobre la sociedad en

general. Lo que consigue la organización en relación con su entorno social: local,
nacional e internacional.
Lógicamente este tipo de resultados supone relaciones indirectas e im-

personales de evaluación en la que se visualiza la influencia que la empresa ejerce en el
entorno social y la percepción de dicha influencia por parte de la sociedad en general.
108
Resultados económicos o rendimiento final de la organización
Teniendo en cuenta que el fin último de toda empresa es generar beneficios,

una gestión de calidad debe reflejarse también el los rendimientos finales de la
misma.
Por ello, como dice López Ruperez (1994), la consecución de los objetivos
financieros y de negocio, constituye la culminación del proceso de la calidad total.
Aunque también señala que el logro de esta meta reporta otros dividendos a
personas y organismos vinculados a la institución
2.7.1.2 Sistemas de garantía de la calidad:
Tal como la definen las mismas normas de calidad36 la garantía de la calidad

“es toda actividad planificada y metódica puesta en práctica dentro del sistema de
calidad y de probada necesidad, que proporcione la suficiente evidencia de que una
entidad cumplirá requisitos de calidad”.
Es decir, un sistema que garantice que:
- Se definen normas de calidad
- Se dispone de procedimientos adecuados
- Tales procedimientos son supervisados para su conformidad
- Se analizan las causas de no conformidad
- Se erradican las causas de los problemas mediante las acciones correctivas

adecuadas.
Siguiendo los planteamientos realizados en documentos del Centro Europeo

de Formación Profesional -CEDEFOP- (1997), podemos decir que en los sistemas
europeos, se observan dos enfoques principales para garantizar la calidad de la
formación profesional inicial y continua, uno basado en las iniciativas de las
autoridades públicas y otro en las estrategias del mercado.
Y si bien, inicialmente el primero era privativo del sistema de formación

profesional inicial y el segundo del de formación profesional continua, poco a poco,
tanto administración como mercado van ampliando e interrelacionando el espacio
de acción, con lo cual se observa un sistema combinado: “las autoridades públicas
dejan su huella en al menos parte del sector de formación continua, mientras que los
enfoques y principios del mercado se están adentrando en el mundo de la enseñanza
36
ISO 8402
109
y formación profesional” (CEDEFOP, 1997: 21) Veamos a continuación cada uno de
ellos:
2.7.1.2.1 El enfoque legal
Se refiere al conjunto de normas y disposiciones en general provenientes de

los órganos de gobierno central destinadas a reglamentar aspectos del
funcionamiento de la formación profesional.
Las mismas presentadas de múltiples maneras, en el sentido de que pueden

ser incluidas en la legislación a escala nacional o regional, son formuladas como
criterios para la subvención o detalladas como condición para impartir formación.
Generalmente refieren a:
- El reconocimiento del contenido y de los certificados de los programas de la

enseñanza y la formación profesional; fundamentalmente los que dan acceso a
otros programas y puestos en los servicios públicos o profesiones reguladas.
- Normas oficiales para programas y ofertores que en general afectan a programas

de inversión
- Requisitos regulados de acceso para los alumnos
- Sistemas de inspección
- Requisitos de cualificación de formadores y profesores.
2.7.1.2.2 El enfoque del mercado
Se refiere a una serie de mecanismos de garantía de la calidad que van unidos

a las evoluciones del libre mercado. Generalmente incluyen:
- Los sistemas de garantía de calidad de los ofertores orientados al proceso

presumiblemente certificados bajo ISO 9001 O 9002.
- Calificación de ofertores y programas basada en determinados criterios o normas
- Los mecanismos de garantía de la calidad internos en las empresas (en general

grandes empresas con secciones de formación independiente).
- La disponibilidad de base de datos en la oferta de formación profesional con

vistas a la mejora de la transparencia del mercado.
110
- Criterios de protección del cliente y conducta ética de los ofertores.
- Garantías de calidad basada en criterios de autoevaluación.
Mecanismos, en general factibles de ser aplicados tanto a nivel macro

estructural como institucional, de allí que una de las preocupaciones fundamentales
gira en torno a la conciliación de la descentralización con las normas de calidad
centrales.
La preocupación deriva del hecho de que si las normas se expresan en

términos generales, no pueden aplicarse o utilizarse fácilmente como criterios de
evaluación de la calidad, ya que es factible el surgimiento de problemas de
interpretación. Mientras que si se formulan de forma específica, puede ocurrir que: o
bien las normas nacionales no sean capaces de hacer frente a circunstancias locales,
variables; o bien que las normas centrales sean demasiado específicas como para
tratar los diferentes tipos de formación y enseñanza.
Pero, si bien esto es interpretado por los mismos propiciadores del

movimiento de la calidad, como una contradicción subyacente al proceso de
determinación de las misma, en lugar de inhibir su aplicación, reta a una mayor
atención al proceso de formulación.
Mientras que desde nuestra perspectiva, como podrá apreciarse en el

siguiente apartado, en el que abordamos uno de los principales mecanismos de
control de la calidad, tal contradicción no solo que no constituye un problema
menor, sino que pone en evidencia como la aparente descentralización y
flexibilización de la institución no hace más que comprometer a esta misma en el
control de la aplicación de disposiciones externas.
Descentralización vs. orientación al cliente no son mas que los dos extremos
de un ambivalente discurso que solapa en la participación, viejas técnicas de
control. Pero como sobre esto volveremos en numerosos puntos del próximo
apartado, pasemos ahora a caracterizar los sistema de garantía de la calidad más
reconocidos y de creciente expansión a nivel de institución: la gestión de la calidad
total y las normas ISO 9000.
2.7.1.2.2.1 Gestión de la calidad total
La búsqueda de alternativas de trabajo que mejoren y refuercen estructuras

de gestión eficaces para la mejora de la garantía de la calidad y la calidad continua,
ha conducido a la adopción parcial o total en el ámbito educativo de un método de
gestión ampliamente conocido en el sector empresarial37, denominado gestión de la
37
Este método proveniente de las industrias japonesas, durante la década de los 80 se expandió a empresas
111
calidad total.
Tal como Van Den Berghe (1997) lo dice, este método se basa en una
tipología clásica de un ofertor de formación que imparte determinados cursos y
programas; lo que facilita la analogía con la producción industrial de bienes y
servicios, y la consecuente regulación de los mismos a partir de las experiencias y
logros obtenidos en estos sectores.
Como su nombre lo indica, se trata de un método que entroniza a la calidad

como pilar fundamental de la vida de la institución, y en tal sentido parte de
considerar a ésta y su oferta de formación profesional, como un sistema en si
mismo, capaz de controlar la calidad de sus servicios y consecuentemente de la
organización y gestión interna.
La lógica que subyace a su adopción es la de la competitividad y la

satisfacción al cliente; en tal sentido, considera que: una mayor competencia
requiere una mejora continua de la competitividad y de la calidad. Los clientes
deciden sus opciones de compra a partir de su percepción de la calidad
determinando con ello la posición competitiva de los proveedores; y
consecuentemente, que una organización debe adoptar una filosofía de gestión de la
calidad total para instaurar esta orientación hacia el cliente y ser capaz de generar
alta calidad en todo momento.
López Ruperez38 (1994) nos dice que, la gestión de la calidad, es el resultado

de la interacción de tres procesos:
- La planificación de la calidad (identificación de los clientes, la definición de sus

necesidades y el diseño de productos y servicios que satisfagan a esas
necesidades).
- El control de la calidad, (medición, comparación y eventual corrección).
- Y la mejora de calidad, (eliminación de prácticas antieconómicas y aumentar la

satisfacción del cliente – eficiencia).
Una caracterización más precisa de la misma, la encontramos en Roure (citado

por el autor de referencia), quien la visualiza como un proceso de gestión integral de
todas las actividades de una empresa, al objeto de satisfacer con eficiencia
económica las expectativas del cliente, sea este interno o externo.
estadounidenses y europeas, y aunque privativo originariamente del sector privado; rápidamente ha extendido sus
principios y procedimientos hacia otros sectores, incluyendo los servicios públicos y las empresas no lucrativas.
38
Siguiendo la caracterización de la Shell International Petroleum
112
En ella observamos claramente como, la nueva idea de calidad trasciende
ampliamente la tradicional asociación de ésta a un sector determinado de la
organización, e involucra a todos los implicados en el funcionamiento de la misma.
Este sistema dinámico e integral de gestión empresarial, según expresa Van

Den Berghe (1998) en Documentos CEDEFOP, es una organización factible de
caracterizarse por la identificación de cuatro polos distintivos: ideas básicas,
principios operativos, características de aplicación y resultados típicos.
Entre la ideas básicas, podemos mencionar a los cinco elementos claves a los
que el autor anteriormente citado analógicamente denomina dogmas de fe:
- Una clara orientación al cliente (interno y externo), en tanto que interpreta que la
principal prioridad de una organización y su personal debe ser comprender y
satisfacer las necesidades y expectativas de los clientes y el grupo destinatario
elegido.
- Una mejora permanente de todo lo que hace una organización, ya que se

fundamenta en una filosofía según la cual la calidad puede identificarse más
como una actitud general de superación en relación a los objetivos, que con un
método de trabajo específico.
- Una garantía de la calidad de los procesos internos, lo cual supone la creación de

normas y la definición de procedimientos orientados hacia la mejora continua.
- Una orientación al proceso en el sentido de que la calidad final de un producto o

servicio depende de todos los proceso precedentes.
- Una acción orientada a la prevención mas que a la supervisión y la corrección; es

decir, especialmente centrada en el diseño, la planificación, la formación
selectiva, la comunicación eficaz, etc.
La puesta en práctica de estas ideas básicas supone a su vez, la

instrumentalización de 5 principios operativos, como son:
- La dirección y el compromiso de los cuadros directivos; en el sentido de que la

fuerza impulsora del método depende de la visión de los cuadros superiores, de
su capacidad de comunicarla, de comprometerse y de consensuar con el resto
de la organización.
- El trabajo en equipo y la participación de todos los miembros de la organización

en ellos. Cabe señalar que el mismo es considerado tanto una estrategia ante una
necesidad, como el resultado de una adecuada gestión.
113
- La participación de todos en la procura de la calidad; ya que como antes
indicábamos no se la considera una responsabilidad privativa de un sector, sino
de todos los involucrados, en todos los niveles y todos los departamentos.
- La fundamentación en hechos, en el sentido de que consideran importante

apoyar todos los análisis y decisiones en informaciones fiables y relevantes.
- La resolución sistemática de problemas, o lo que equivale a decir, el trabajo

continuo sobre aquello que puede mejorarse a partir de la identificación de sus
puntos débiles y potencialidades.
Respecto a las características de aplicación de las ideas o principios

operativos, el autor de referencia nos dice que es fundamental desarrollar el trabajo
conforme a :
- Una declaración de misión y posición que permita el anclaje de toda la política de

calidad e identifique claramente a los clientes para los cales trabajan.
- La creación de un manual de calidad, que describa la organización, la política, los

procesos esenciales y la responsabilidad o autoridad del personal.
- La formación sistemática del personal en toda la organización, a fin de garantizar

que todos los empleados estén cualificados para las actividades que llevan a
cabo, y para las posiciones y responsabilidades que puedan asumir en el futuro,
formación que se acompaña de política de gestión de recursos humanos
orientada al reconocimiento y la recompensa.
- El incremento de autoridad y capacidad de decisión de los empleados, a fin de

incrementar con ellas, su compromiso, motivación, confianza y apoyo a la
institución.
- La incorporación de la perspectiva del cliente para comprobar su nivel de

satisfacción y detectar nuevas tendencias.
Por último, una organización que actúa de acuerdo a estas ideas, principios
operativos y procedimientos de implementación; desde la óptica de la gestión de la
calidad total, se orientará al logro de los siguientes resultados típicos:
En General:
- Una calidad mejor y más sólida de los diferentes productos ofrecidos.
- Una disminución de defectos, problemas, reclamaciones, retrasos, etc.
114
- Innovaciones regulares y oportunas en productos y servicios.
- Procesos eficaces y de bajo coste en toda la organización.
- Una fuerza de trabajo motivada, cualificada y con confianza en si misma.
En el ámbito educativo formativo en particular:
- Una mejor percepción e imagen exterior de la calidad.
- Una organización interna más eficaz, con cuadros más eficientes, personal más
motivado y mejor comunicación interna.
- Una mayor profesionalidad en los servicios no educativos, es decir, aquellos que

funcionan dentro de la institución diferentes a los cursos programados, como
matriculación, administración, etc.
- Un incremento de la calidad de los propios servicios y productos educativos y

formativos.
Hasta aquí hemos caracterizado los aspectos fundamentales de lo que
constituye la gestión de la calidad total, como así también lo que implica la
implantación de los mismos en una determinada organización; veremos en adelante
(punto siguiente y próximo capítulo) dos de los mecanismos que desde este marco,
mayor aceptación tienen en el sector de la educación, tanto para garantizar la calidad
de los servicios educativos como para controlarlos: Las normas ISO 9000 y los
indicadores educativos.
2.7.1.2.2.2 Las ISO 900039
Dado que las normas de calidad, también son originarias del sector
empresarial y tributarias de su filosofía, en el presente apartado nos interesa
fundamentalmente rescatar la interpretación que de ella realizan quienes la
consideran apropiadas para evaluar y controlar aspectos vinculados a la
“producción escolar”, aunque iniciamos vertiendo algunas ideas generales sobre lo
que subyace a esta reciente y creciente práctica de evaluación y control en
educación.
Como acabamos de decir, constituyen un conjunto de normas concebidas

inicialmente para utilizarse exclusivamente en relaciones contractuales proveedor
cliente y predominantemente en el sector productivo, que gradualmente fueron
39
desarrollamos este punto tomando como base las informaciones emitidas por CEDEFOP en los siguientes
documentos :Aplicación de las normas ISO 9000 a la enseñanza y la formación: interpretación y orientaciones
desde una perspectiva europea (1999). La calidad de la enseñanza y formación profesional en Europa, cuestiones y
tendencias (1997). Evaluación de programas europeos de formación, empleo y recursos humanos (1997).
115
extendiéndose a los mas variados tipos de organizaciones, incluso las no lucrativas;
de modo tal que las ISO 9000, se han convertido de facto, en la norma industrial de
garantía de la calidad para cualquier tipo de organización.
Su origen se remonta a los años 1950, cuando la industria militar

norteamericana, ante un incremento de la productividad y la necesidad de garantizar
condiciones de seguridad, generó un sistema de normas que posibilitaron a los
clientes controlar la calidad de los proveedores. Dicha estrategia de control no solo
que se propagó rápidamente (años 50 – 60) entre diferentes industrias y países, sino
que también evolucionó de tal manera que se hizo necesario avanzar en la
unificación y especificación de las diversas normas que se pusieron en movimiento.
Así, después de una primera experiencia de norma general (BS 5750),

elaborada en el Reino Unido en 1979, la Organización Internacional de Normas
(International Satandars Organizations) a partir de lo estipulado en la norma
británica, elaboró un conjunto de normas a los que denominó ISO 9000. Conjunto
que en los años subsiguiente se ha ido ampliando y completando con directrices
adicionales y revisiones internacionales.
De este modo, se llego a un grupo de normas orientadas a viabilizar los

procesos de gestión de calidad total, al tiempo que garantizarlos; ya que si bien las
mismas se entienden como uno de los conceptos básicos de la garantía de la calidad
y la gestión de la calidad total, se hayan estrechamente vinculadas a otros elementos
de la gestión de la calidad, como la orientación al cliente, la mejora permanente, la
orientación al proceso y la actitud preventiva.
Dicho grupo, se haya estructurado en subgrupos internos, de entre los que

destacamos aquellos que se vinculan más directamente al tema que nos ocupa; es
decir las ISO 9000-1, ISO 9001, ISO 9OO2, ISO 9003, ISO 9004-1 (versiones 1994);
referidas a normas para la gestión de la calidad y el aseguramiento de esta; modelos
para el aseguramiento de la calidad en el diseño, el desarrollo, la producción, la
instalación y el servicio post venta; modelo para el aseguramiento de la calidad para
la producción, la instalación y los servicios; modelo de aseguramiento de la calidad
para inspecciones y comprobaciones finales; elementos de gestión de la calidad y
de sistemas de la calidad., respectivamente. Normas en general que como podemos
apreciar no se formulan con especificaciones de productos, sino de aspectos de
organización, gestión y proceso.
Después de lo analizado, en orden a intentar definirlas, podemos decir que

las normas ISO 9000 constituyen un grupo de especificaciones generales de
aseguramiento de la calidad, con elementos adicionales tomados de la gestión de la
calidad total. Especificaciones orientadas a señalar lo que una determinada
organización requiere para garantizar la calidad .
116
En tal sentido, están pensadas para recordar que una organización debe
definir y planificar sus procesos, documentarlos correctamente, comprobar su
exactitud y garantizar el control y revisión de los mismos.
Por lo cual, la puesta en marcha de un sistema de esta naturaleza implica el

cumplimiento de diferentes fases de implementación. Fases que se inician con la
elección de la norma conforme a la cual se desea funcionar (9001, 9002, 9003, etc.) y
la o las actividades o partes de la organización que se desean someter a ésta, y
terminan con la certificación externa del cumplimiento de dicha norma.
Entre estos extremos obviamente se desarrollan una serie de procesos

mediante los cuales las organizaciones redactan los manuales de la calidad y de
procedimientos, analizan y estandarizan los procesos, e inician los requisitos
sistemáticos de las ISO, es decir, auditorias internas, control de documentos,
revisión de gestión, introducción de medidas correctoras y preventivas. Requisitos
que finalmente les permitirán obtener un sistema global de la calidad lo
suficientemente operativo como para contactarse con un organismo reconocido
independiente de esta y los eventuales consultores, y obtener al cabo de tres años
aproximadamente una certificación de calidad.
Las ISO 9000, en la educación y la formación
Si tomamos en consideración la opinión de quienes defienden la postura de

traspasar esta metodología de calidad propia del sector empresarial al ámbito
educativo, tenemos que decir que son múltiples los argumentos que se esgrimen a
favor de su absoluta y directa aplicación, y que dichos argumentos trascienden el
discurso de la mera mejora de o mantenimiento de la calidad de la oferta educativa;
pero que no difieren de los sostenidos por otras organizaciones desvinculadas de la
formación.
Tales justificativos, como en otros casos, son factibles de organizarse en

cuatro categorías de respuestas, que aluden tanto a razones institucionales como
contextuales.
Así, haciendo referencia a la oportunidad que brindan para lograr la

promoción de una “imagen de alta calidad” y la comunicabilidad de la misma a un
mercado altamente competitivo, encontramos un conjunto de argumentos que
procuran posicionar a los centros de modo diferencial en el medio y asegurar la
rentabilidad y pervivencia de estos a partir de un aumento de la proporción de
mercado.
Alegando a que existen diversos factores externos que condicionan el

funcionamiento de la institución, otro grupo de respuestas, justifican la tendencia a
117
lo que llaman una “organización cliente”, que además de satisfacer a sus
consumidores; les posibilita exigir a los proveedores y contar con requisitos
necesarios para hacer eventualmente de proveedores, o simplemente, encontrarse en
condiciones de ser parte reconocida en grupos selectos o certificados como.
Y finalmente, las que justifican la aplicación de estas normas en la formación

como una garantía para la calidad y organización interna de la institución, que
posibilita mejorar funciones y actividades específicas desde el punto de vista lógico
y operativo.
No obstante estas razones, e independientemente de nuestra visión

particular, no podemos dejar de señalar que incluso desde la perspectiva de sus
promotores, las misma al no ser oriundas del ámbito de la educación, ni haber sido
optimizadas desde esta perspectiva, presentan una serie de dificultades que
obstaculizan su aplicación, requiriendo especial atención.
Asimismo, también hay que decir que, a pesar de los problemas e

inconvenientes que en ellas reconocen, vinculados a la interpretación; a la
impropiedad del vocabulario; a las dificultades para adecuar la estandarización a las
problemáticas de la formación; al elevado coste de su implementación; a la
incompletud de su formulación y consecuente necesidad de complementarlas con
visiones desde los contenidos de la educación; etc.; las consideran marcos
adecuados para garantizar la calidad de la enseñanza y la formación; sobre todo las
que mayor énfasis colocan en el control de procesos de planificación y
documentación, como las ISO 9001 y las 9003.
Asimismo, dado que el contexto de surgimiento de éstas se vincula

directamente al ámbito de la producción, en ocasiones su comprensión, requiere no
solo una adecuación del lenguaje, sino también un reordenamiento desde la lógica
de la formación, (ver a modo de ejemplo cuadros Nro. 9 y 10)
2.7.2 Otras tendencias menos representativas
Producto de una mirada mas interpretativista y crítica de la organización, y

no tan técnica como la que se inscribe bajo los anteriores sistemas de garantía de la
calidad, en ocasiones se desarrollan formas de evaluación que desembocan en
procesos de organización que encarnan los significados y “voluntades” de los
miembros que la componen.
Fundamentalmente, porque la evaluación desde una perspectiva culturalista,

se caracteriza por posibilitar el intercambio y contrastación de perspectivas,
facilitando de este modo el conocimiento y moldeamiento de determinadas
realidades educativas.
118
Y porque la evaluación de una perspectiva sociocrítica se caracteriza por
poner de manifiesto los conflictos y problemas de la institución y por implicar a sus
miembros en procesos de transformación que dan nuevo valor y sentido a las
organizaciones.
Aunque como el mismo Gairín (2002 :25) lo comenta las realizaciones

existentes desde estas perspectivas son escasas y no siempre encuadran
perfectamente con los enfoques teóricos que estamos analizando, seguidamente, a
fin de ejemplificar algunas acciones que se desarrollan, comentamos el modelo de
autoevaluación institucional (desarrollado por Gairín) y lo que podría constituir una
practica de autoevaluación desde la perspectiva sociocrítica.
2.7.2.1 Modelo de autoevaluación orientado a la mejora institucional
Se trata de una propuesta de autoevaluación orientada a arbitrar mecanismos

que faciliten el intercambio de experiencias y la implicación de todo el personal en la
mejora de la institución.
Para ello, como el mismo autor lo comenta, se propone básicamente
determinar fortalezas y debilidades de la institución, fomentar la creación de una
cultura común, comprometida con la mejora, y facilitar el intercambio de ideas y
el desarrollo institucional.
Reordenamiento de los requisitos de las ISO 9001

Para un sistema de enseñanza o formación
Principios generales del sistema de calidad
4.2.1 Sistema de la calidad-generalidades Cláusulas referidas a los requisitos generales de un

4.1.1 Política de la calidad sistema de calidad, que incluyen aspectos básicos
4.1.2.3 Representante de la dirección indispensables para iniciar el proceso de control.
4.1.2.2 Recursos
4.1.2.1 Responsabilidad y autoridad
Principios generales del control de procesos
4.9 Control de los procesos Requisitos generales de garantía de calidad,

4.10 Inspección y comprobaciones válidos fundamentalmente para todos los
4.20 Técnicas estadísticas procesos críticos. De ellos eventualmente se
4.7 Control de productos suministrados derivan especificaciones.
por clientes
4.8 Identificación y trazabilidad de
productos
4.12 Estatus de la inspección y las
pruebas
Requisitos específicos para contratos y actividades particulares
4.3 Revisión de contratos Dado su carácter específico, la viabilidad de sus
119
4.4 Control de diseño apartados varía considerablemente en cada
4.6 Compra ocasión.
4.11 Control de los equipos de
inspección, medición y
comprobaciones
4.15 Manipulación, almacenamiento,
embalaje, conservación y entrega
4.1 Servicios post venta
Mantenimiento y mejora del sistema de la calidad
4.13 Control de los productos no Cláusulas reordenadas para crear un flujo de

conforme retorno que posibilite resolver problemas, a partir
4.14 Intervenciones correctoras y de la eliminación de causas y aplicación de
preventivas procedimientos constantes de mejora.
4.17 Controles internos de la calidad
4.1.3 Revisión por la dirección
Cuadro 9 Reordenamiento de los requisitos de las ISO 9001 para un sistema de enseñanza o formación (Fuente:
Elaboración propia en base al documento de aplicación de las
ISO 9000 a la enseñanza y la formación. CEDEFOP 1998)
Término de las
ISO 9000 Interpretación para una organización
educativa o formativa
Proveedor Diseñador o impartidor de la enseñanza o la formación
Clientes Estudiantes / alumnos, en el caso de la enseñanza; empresarios o

formados en el caso de la formación.
Producto Curso, programa educativo o formativo.
Cuadros ejecutivos Director general, director del centro de enseñanza, rector, comité de
directores, etc.
Contrato Todos los tipos de acuerdo con los clientes, incluso los implícitos, desde
la matriculación de estudiantes para un curso, hasta los acuerdos
negociados de formación específica para un cliente.
Diseño Definición de especificaciones formativas educativas; diseño de

programas de cursos y currículos; especificación del contenido del
material educativo / formativo; diseño de instrumentos de examen y
evaluación para estudiantes, alumnos formados.
Compras Adquisición de las mercaderías y servicios necesarios, incluyendo el uso

de profesores, formadores adjuntos, temporales, independientes o
externos.
Procesos Se refieren al desarrollo, la planificación y la impartición de enseñanza

o formación, incluyendo todo examen de los estudiantes, alumnos
formados.
Inspección y pruebas El examen y la evaluación de los cursos / programas / materiales por los
estudiantes / alumnos / formados / empresarios que lo contratan.
120
Calibración Se refiere fundamentalmente al examen de la validez de los
instrumentos de examen y evaluación utilizados.
No conformidades Todo problema que surja durante el desarrollo y la impartición de

enseñanza o formación.
Formación Formación y desarrollo profesional del personal de la organización

educativa o fromativa.
Cuadro 10. Interpretación de las ISO 9000 para una organización educativa o formativa
( Fuente: CEDEFOP 1998. Aplicación de las ISO 9000 a la enseñanza y la formación)
Así, mediante estrategias de trabajo diversas, adecuadas a la situación de la

institución en que se actúa, se promueve un análisis de funcionamiento general y
específico de la misma.
La secuencia aproximada de actuaciones, inicia con la negociación de un plan
de actuación específico para cada institución, en el que se define el ámbito de la
evaluación, las características de la misma, el periodo de actuación, los instrumentos
a utilizar, el proceso a desarrollar, etc. Continua con el análisis de funcionamiento,
es decir, la recolección de información, la definición de problemas, el contraste de
esta información, etc. ; y finaliza con la elaboración de informes. (ver cuadro Nro. 11)
Actuaciones Implicados
Negociación del proyecto de autoevaluación Junta representativa de la
institución y equipo de eva-
luación
Presentación del Proyecto
Aplicación del autoanálisis (1ª fase: delimitación de
problamáticas) Plantel de técnicos
Presentación del proyecto Plantel de técnicos
Aplicación del autoanálisis (2ª fase: causas y 3ª fase: Plantel de técnicos
soluciones)
Aplicación de la Historia Institucional.
Delimitación de puntos débiles y puntos fuertes. Técnicos concretos
Aplicación del cuestionario Todos los técnicos
Presentación del Proyecto Delegación de usuarios
Aplicación del Autoanálisis. Grupos de usuarios
Delimitación de puntos débiles y puntos fuertes. Usuarios concretos
Aplicación de la escala de evaluación. 2 grupos de usuarios
Presentación del proyecto Equipo directivo
Aplicación de la telaraña (instrumento de diagnóstico) Equipo directivo
Delimitación de puntos débiles y puntos fuertes. Directivos concretos.
Presentación del proyecto Empresarios
Aplicación del autoanálisis Grupos de empresarios
Delimitación de puntos débiles y puntos fuertes Empresarios concretos
Aplicación de la escala de evaluación 2 grupos de empresarios
121
Realización del primer informe de síntesis Equipo de evaluación
Entrevista de contraste. Presentación de propuestas de Equipo directivo
mejora
Entrevista de contraste. Presentación de propuestas de Equipos de usuarios
mejora
Entrevista de contraste. Presentación de propuestas de Plantel de técnicos
mejora
Entrevista de contraste. Presentación de propuestas de Empresarios
mejora
Entrevista de contraste. Presentación de propuestas de Equipo de evaluación
mejora
Realización del segundo informe de síntesis
Propuesta de mejora Equipo de evaluación
Presentación y debate del informe Técnicos, usuarios, empresarios y
directivos
Presentación y debate del informe Junta representativa de la institución
Realización del informe final Equipo de evaluación
Tramitación del informe Institución educativa
Cuadro 11. Ejemplo de un plan de actuación para el análisis del funcionamiento general de una institución.
(Fuente: Gairín 2002 )
Cabe destacar que el desarrollo de este modelo, prevé la utilización de una

amplia gama de estrategias de trabajo, cuya aplicación dependerá de la realidad del
centro en el que se actúa; y que la evaluación puede centrarse en el funcionamiento
general de la institución o en el análisis de un ámbito específico de la misma.
2.7.2.2 Autoevaluación orientada a la transformación
Nos resta comentar que con mucha menos representatividad aun, podemos
encontrar formas de evaluación y consecuente organización de la institución que
devienen de la aplicación de los principios de la investigación acción.
Esta modalidad supone la implicación de los profesionales en el análisis de

sus propias prácticas, en un proceso continuo de planificación, la actuación, la
observación y la reflexión.
Pero, como sobre los principios de esta estrategia investigativa evaluativa

volveremos al abordar la noción de indicadores desde la prespectiva sociocrítica,
en este punto nos limitamos a presentar el cuadro en el que se representan los
momentos de la investigación acción de Kemmis, aplicables a los de la
autoevaluación.
Reconstructiva Constructiva
Discurso: entre parti- 4 Replanificar 1 Planear

cipantes Retrospectiva sobre obser- Prospectiva para la acción
vación
122
Práctica: en el contexto 3 Observar 2 Actuar
social Prospectiva para la relfexi- Retrospectiva guiada por
ón planificación
Cuadro 12: Los momentos de la investigación – acción ( Kemmis: 1984)

Fuente: Gairín (2002)
2.7.3 La situación en España y Catalunya
Tal como López Ruperez (1998) lo expresa mediante un conjunto amplio de

actuaciones evolutivas, el Ministerio de Educación y Cultura viene impulsando la
mejora de la calidad en la gestión de los centros docentes como una herramienta
fundamental para el logro de los objetivos generales formulados en la Ley Orgánica
de Ordenación del Sistema Educativo (1/90 LOGSE)
Así, teniendo en cuenta que la reciente legislación educativa, sitúa en su

preámbulo mismo el logro de la calidad de la enseñanza como uno de los objetivos
de primer orden de la reforma; y en tal sentido, apoyándose en otras legislaciones
complementarias, facilita la evaluación interna de los centros; desde la Dirección
General de Centros Educativos, se han dictado instrucciones para la implantación
con carácter experimental, del Modelo Europeo de Gestión de calidad en los centros
docentes. (B.O.E. nº 131, de 2 de junio de 1998).
De este modo, considerando que los procesos de enseñanza y de

aprendizaje, aunque específicos de las instituciones educativas, no se dan de forma
aislada, sino que tienen lugar en un contexto organizacional; se propone
integrarlos dentro de una visión global de la gestión que incluye las personas, los
recursos, los procesos en general, los resultados y sus relaciones mutuas.
De ahí que diversos centros vienen implementando, desde 1997, el Modelo

Europeo de Gestión de Calidad como instrumento de autoevaluación orientado a la
mejora continua de los centros docentes, de sus procesos y de sus resultados.
En términos generales, podemos decir que dicho modelo, adaptado a los

centros públicos, se implementa a través de un proceso cíclico de mejora continua,
integrado por las fases genéricas de autoevaluación de conformidad con el Modelo,
identificación de áreas de mejora y ejecución del plan o planes de mejora
correspondientes.
Todo, a partir de un plan de actuación y la designación de un equipo

facilitador de la implantación, a nivel administrativo y de un equipo de calidad
adecuadamente formado y preparado a nivel de centro.
123
FROEMEL Juan
“La efectividad y la eficacia de las mediciones estandarizadas y de las
evaluaciones en educación”
124
ISSN: 1989-0397
LA EFECTIVIDAD Y LA EFICACIA DE LAS MEDICIONES

ESTANDARIZADAS Y DE LAS EVALUACIONES EN
EDUCACIÓN
Juan Enrique Froemel
Fecha de recepción: 15 de marzo de 2009

Fecha de comunicación de dictamen: 20 de abril de 2009
Fecha de aceptación: 20 de abril de 2009
125
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
1. INTRODUCCIÓN: EL AUGE ACTUAL DE LA MEDICIÓN Y DE LA EVALUACIÓN DEL RENDIMIENTO

ESCOLAR
E
ntre los elementos más difundidos a la vez que debatidos, en la educación formal de niños y jóvenes, en
los últimos veinte años, en el mundo, se cuentan la evaluación del aprendizaje escolar y asimismo uno de
sus instrumentos fundamentales, la medición estandarizada. Si bien la mayoría de los investigadores y
actores en el tema les reconocen su gravitación, no todos están de acuerdo en la real dimensión de su
aporte al proceso educativo y lo que es más, variadas percepciones se han construido respecto de ambos,
no siempre basadas en bases reales ni menos científicas, generando así mitos y prejuicios.
En este sentido lo que señalara Bloom (1972) acerca de la educación en general, en uno de sus
emblemáticos artículos, es aplicable hoy en día a la evaluación y a la medición estandarizada, en cuanto
a que “…seguimos siendo seducidos por el equivalente de los remedios de curanderos, las falsas curas
del cáncer, la invención del movimiento perpetuo y las supersticiones…”. Es así como junto al creciente
uso de la medición estandarizada, han surgido legiones de “expertos” en el tema que prometen, por
medio de enfoques de medición y evaluación más “humanistas” y “educativos”, ir mucho más allá de lo
que los métodos basados en la teoría psicométrica son capaces de lograr, desacreditando de paso a estos
últimos por ser supuestamente rígidos y estrechos. Lo anterior pese a que existe una masa importante de
investigación y de desarrollo teórico, ambos rigurosos, sobre el tema.
El daño real y potencial a la educación y a sus sujetos, los alumnos, es por ello, de tal magnitud, que
para colaborar en su prevención, uno de los propósitos centrales de este artículo es intentar precisar y
explorar el valor real que, para el proceso educativo formal, tienen la medición y la evaluación de raíz
científica. Esto ha implicado centrar la mirada en unos aspectos que no constituyendo una visión
exhaustiva, sí tocan aspectos críticos del tema en cuestión. Es así como este trabajo no pretende
convertirse en una visión integral acerca de la situación actual de la medición estandarizada en
educación, sino que más bien aportar algunas pistas para señalar dónde fijar la mirada.
Aunque mucho se habla hoy en día acerca de medición estandarizada en educación, se ha estimado
conveniente precisar aquí, primeramente, qué es lo que hace a un instrumento que sea considerado o no
estandarizado.
Esta condición implica el cumplimiento de varias características, entre las cuales se cuentan, en primer
lugar, el hecho de que los ítems deban ser los mismos y aplicados en un formato equivalente a todos los
examinados; en segundo lugar, que las condiciones de administración deban ser también comunes y que,
por ende, las instrucciones de aplicación deban ser exactamente a la letra, las mismas, excepto en el caso
de las llamadas “acomodaciones” usadas para estudiantes con limitaciones visuales, auditivas o
motoras; en tercer lugar, que el procedimiento y proceso de revisión y asignación de puntajes sea
también uniforme, no existiendo posibilidad de discrecionalidad en los criterios a aplicar; y finalmente,
que la forma en que los resultados son informados también haya de ser común y uniforme. Como es
posible apreciar, las condiciones que hacen a un instrumento estandarizado, por una parte, proveen una
condición necesaria, aunque no suficiente, para que los resultados sean comparables y por la otra,
excluyen de la pertenencia a esta categoría a muchos instrumentos, como es el caso de las pruebas
construidas por el profesor o hacen bastante más difícil la estructuración de otros, como ser los
portafolios si se espera que sus resultados sean comparables.
126
11
Una buena forma de visualizar la gravitación de la evaluación y la medición estandarizada es refiriéndose

a los estudios internacionales del rendimiento escolar, dado que estos constituyen una de las expresiones
actuales más representativas de las dimensiones y evolución de aquellas.
Aunque desde sus orígenes la medición en educación ha estado marcada por una procura incesante de la
posibilidad de comparar validamente sus resultados entre sujetos, escuelas y países, la que se ha
plasmado en el desarrollo de la condición estandarizada de los mismos, el auge mundial de esta forma de
medición es asunto de no más de veinte años. Sus expresiones previas, aun las más antiguas con casi un
siglo de existencia, estuvieron restringidas casi exclusivamente a los Estados Unidos, surgiendo
inicialmente en el campo de la psicología y trasladándose luego al de la educación.
Las primeras acciones para internacionalizar la evaluación estandarizada surgieron en la década del
setenta con el primer estudio realizado por la Asociación Internacional para la Evaluación del
Rendimiento Educacional (IEA) 1 siendo ésta entidad la que llevó a cabo la primera serie de estudios
internacionales formales en la áreas de ciencia, literatura, comprensión lectora, Inglés y Francés como
lenguas extranjeras y educación cívica, involucrando, en ese entonces, a diecinueve (19) países de todo el
mundo (Comber y Keeves 1973).
FIGURA 1. NÚMERO DE PAÍSES PARTICIPANTES EN TRES ESTUDIOS INTERNACIONALES DEL RENDIMIENTO ESCOLAR, AGRUPADOS POR AÑOS
80
70
67
60 PISA TOTAL (15 AÑOS)

NÚMERO DE PAÍSES
57
54
50 48
43
40 41 41 41
TIMSS TOTAL (4º, 8º Y
36 35 ÚLTIMO GRADO DE
30 SECUNDARIA)
20 19 PIRLS TOTAL (4º

GRADO)
10
0
1970 1995 1999 2000 2001 2003 2006 2007 2009
AÑO
Como es posible apreciar en la Figura 1, la evolución en la participación de los países en algunos de los
principales estudios internacionales de evaluación del rendimiento escolar ha crecido de manera
apreciable desde la primera experiencia antes mencionada. En el caso del Programa Internacional de
Rendimiento Estudiantil (PISA) 2 , coordinado por la OCDE 3 , en un lapso de nueve años se observa un
incremento en el número de países participantes cercano al sesenta por ciento. En la serie del programa
1
International Association for the Evaluation of Educational Achievement.
2
Programme for International Student Achievement.
3
Organización de Cooperación y Desarrollo Económico.
127
12
denominado Estudio de Tendencias en Matemática y Ciencias (TIMSS) 4 , desarrollado por la IEA y que se
inició en 1970 con el denominado Primer Estudio de la IEA, antes mencionado, se aprecia un crecimiento
en el número de países participantes de un ciento ochenta por ciento, en treinta y siete años. Finalmente,
en el caso del Estudio Internacional de Progreso en Lectura (PIRLS), también a cargo de la IEA, el número
de países participantes ha crecido en casi un veinte por ciento, en sólo cinco años.
Sin embargo como no siempre la demanda por un producto y su eficacia van juntas, cabe en este caso la
pregunta: ¿puede el aumento en la participación nacional en estos estudios interpretarse como un aporte
concreto al avance del aprendizaje de los alumnos -fin último de todo proceso que se concibe como
educativo-? La respuesta a la pregunta recién planteada pasa antes por la de esta otra interrogante: ¿es
la evaluación estandarizada en educación, en primer lugar, efectiva, -ello es cumple con los requisitos
para lograr lo que se supone debe lograr- y, en segundo, de ser así, es ella eficaz, -lo logra en la realidad?
2. ¿POR QUÉ EFICACIA Y EFECTIVIDAD?

Dos de los principales requisitos que establecen el valor de cualquier acción son, en primer lugar, el que
ella sea lo que dice ser, en otras palabras si es o no efectiva y si acaso como tal cumple con su propósito,
en otros términos si es o no eficaz. De paso, es importante señalar que de hecho, la efectividad
condiciona la eficacia.
Sin embargo, hay pocos términos en el campo de la educación cuyo sentido sea confundido con mayor
frecuencia que el de estos dos. Se habla, por ejemplo, de “escuelas efectivas” cuando se quiere hacer
referencia a “escuelas eficaces” y todo ello debido a una errónea traducción desde el idioma Inglés, del
cual nos llegan la mayoría de las expresiones técnicas en educación. En efecto, tendemos a confundir los
términos, ya que por una parte, la traducción correcta del término inglés “effectiveness” al castellano es
eficacia -lo distintivo de aquello que cumple con su propósito- y por la otra, el término “efectivo” en
castellano describe a aquello que es real.
3. EFECTIVIDAD Y EFICACIA VERSUS VALIDEZ Y CONFIABILIDAD

Son precisamente la efectividad y la eficacia los elementos que se ubican en la raíz misma de gran parte
del debate acerca de la medición y la evaluación estandarizadas. Avanzando en este razonamiento si
transferimos estos términos, provenientes del campo de la planificación al de la psicometría, nos
encontramos con que la efectividad se relaciona mayoritariamente con la validez, condición que “grosso-
modo” califica si un instrumento mide lo que pretende medir y eficacia se traduce primordialmente en
confiabilidad, ello es define el grado en que tal instrumento mide adecuadamente. De forma equivalente
a lo señalado anteriormente, en psicometría la validez condiciona la confiabilidad.
De los dos conceptos señalados, aquel al que este artículo pretende dedicar mayor atención es al de la
validez. Existe hoy un debate acerca de si la definición originaria y más propia de esta cualidad de los
instrumentos en educación, se enfocaba en un solo ámbito (validez de contenido) (Lissitz y Samuelsen,
2007) o si esa definición implicaba alcances más amplios (validez de constructo y validez concurrente)
4
Trends in Mathematics and Science Study.
128
13
(Moss, 2007). En términos concretos, si acaso al hablar de validez se aludía primariamente a la

consistencia entre el instrumento y el mapa de los contenidos y/o competencias por medir que se
hubiesen identificado como relevantes o si ella también incluía con igual importancia, entre otras, a la
concordancia entre lo que esa herramienta mide y una estructura teórica pre-definida y/o con lo que
miden otros instrumentos.
Es preciso señalar, primeramente, que más allá de las diferencias antes señaladas, no existen límites
absolutos entre los diferentes ámbitos de la validez y que estos en la realidad se superponen. En segundo
lugar, es importante dejar claro que la validez es una variable continua e incluso, las más de las veces
imposible de cuantificar con precisión a diferencia de la confiabilidad y en tercero que no existen
instrumentos totalmente válidos o inválidos, sino que estos pueden alcanzar diversos grados de validez
no siempre nítidos. Finalmente, como lo señala una publicación conjunta de tres entidades profesionales
norteamericanas (AERA 5 , APA 6 y NCME 7 , 1989) citada por Moss (2007), es más propio hablar de roles de
los variados tipos de evidencia de la validez o de formas de validación, que de tipos de validez
propiamente tal.
Sin perjuicio de lo recién señalado y más allá de propugnar aquí la adhesión a una concepción unitaria y
focalizada o desagregada y abierta de la validez, aunque éste autor se pronuncia más bien por la primera
de ellas, se plantea a continuación un intento, de definición de los posibles tipos más básicos de
evidencia en este sentido. Es así como en este aspecto es posible reconocer los siguientes ámbitos:
La validación por “constructo” 8 tiene lugar “…cuando un investigador sustenta que un
instrumento refleja una particular estructura teórica o “constructo”, a los cuales se atribuyen
ciertos significados. La interpretación propuesta genera hipótesis verificables, las que constituyen
medios de confirmar o rechazar el planteamiento (contenido en el “constructo”)…” (Cronbach
y Meehl, 1955, citado por Moss, 2007). Un ejemplo concreto corresponde al caso en que se
pretende evaluar conocimiento de matemática con pruebas de lápiz y papel, en niveles de grado
o curso donde la comprensión lectora está aún en estado de consolidación y por ello es válido
sustentar que el “constructo” que mide la prueba no es el conocimiento de matemática sino que
una mezcla de éste con la comprensión lectora.
La validación por contenidos es aquella que se lleva a cabo verificando la medida en que una
prueba “…constituye una muestra representativa de la clase de situaciones o materias acerca de
las cuales se deben extraer conclusiones…” (American Psychological Association, 1966, citado
por Moss, 2007). Ejemplo específico, también negativo y típico, es aquel en que los contenidos
curriculares del instrumento no corresponden a la tabla de especificaciones y la prueba ya sea,
mide lo que no está en la tabla o no mide lo que sí está.
La validación por concurrencia verifica la medida en que hay coincidencia “cuando se comparan
los resultados de una prueba con una o más variables externas que se considera que proveen
una medida directa de la característica o conducta en cuestión” (American Psychological
Association, 1954, citado por Moss, 2007).
5
American Educational Research Association (Asociación [Norte] Americana de Investigación Educacional.
6
American Psychological Association (Asociación [Norte] Americana de Psicología.
7
National Council on Measurement in Education (Consejo Nacional [de EEUU] para la Medición en Educación).
8
El término inglés “construct” no tiene una traducción precisa en castellano, siendo la que más se acercaría a su sentido conceptual la de
“estructura teórica”, por lo cual en este artículo se ha optado por utilizar el anglicismo “constructo” puesto entre comillas.
129
14
A estas definiciones primigenias, hay que agregar lo expresado en una versión de los estándares para la
medición en psicología y educación de AERA, APA y NCME (1999), en la cual se menciona que, al fin de
cuentas, “…existen cinco categorías de evidencia acerca de la validez, a ser consideradas al construir un
argumento …” “el contenido del instrumento, los procesos de respuesta, la estructura interna, las
relaciones con otras variables y las consecuencias de la (aplicación de la) prueba”. Es posible sustentar
que éste planteamiento coincide con lo señalado por Messick (1989) acerca de que “La validez es un
juicio integrado acerca del grado en el cual la evidencia empírica y las concepciones teóricas respaldan a
las inferencias y acciones basadas en los resultados de las pruebas y otros modos de medición, en cuanto
que (aquellas) sean adecuadas y apropiadas (cursivas en el texto original).
Estos últimos dos alcances tienen gran importancia ya que extienden significativamente la gama de
evidencias que son necesarias para respaldar la validez, incluyendo aspectos externos tales como las
consecuencias de la aplicación de los resultados de los instrumentos. Un reciente artículo de Nichols y
Williams (2009) explora este tema en mayor profundidad aún, discutiendo temas tales como la atribución
de responsabilidad a los distintos actores involucrados en la medición, por de los distintos tipos de
evidencia relacionados con las pruebas en educación.
Una consecuencia práctica muy importante de destacar acerca de la validez, de acuerdo a lo indicado en
el párrafo anterior, es que hoy en día se considera que ésta cruza una muy amplia gama de aspectos
relacionados con la prueba a la que califica, los que van desde la fidelidad de la misma al mapa de
contenidos o competencias que la originó, hasta los efectos que sus resultados pueden generar, pasando
por combinaciones de ellos. Un buen ejemplo es el caso de las pruebas de base curricular, como las del
estudio TIMSS que, aún cuando su estructura pueda mostrar una alta relación promedio con los
currículos de la mayoría de los países, ésta suscitará cuestionamientos en términos de su validez para
medir los rendimientos en países en los cuales no existe un currículo único, sino que la docencia se basa
en estándares más ligados con competencias. En casos como éste la conveniencia de adherir a un
estudio como PISA, basado en estándares de validez universal, aparecería como más plausible.
4. INTENTANDO DESCRIBIR EL “ICEBERG” DE LA MEDICIÓN EN EDUCACIÓN

Seguidamente, la exploración en mayor profundidad del tema de la validez de los instrumentos nos lleva
a constatar una realidad que por más que pueda no ser del agrado de los especialistas en medición, no
tiene mayor posibilidad de ser desmentida y más aún, es preferible que sea reconocida y explicada para
contribuir a desvirtuar críticas en contra de la medición estandarizada en educación. Tales críticas son
producto, por una parte, de que los especialistas, a veces, en nuestro entusiasmo por los avances
psicométricos perdemos de vista las limitaciones de nuestro oficio y le atribuimos mayores capacidades
de las que realmente tiene y por la otra, por cuanto muchos sujetos afectados por resultados adversos en
estas mediciones tratan de desvirtuar tales resultados desacreditando las herramientas que los
originaron.
El caso es que las mediciones estandarizadas en educación están limitadas por diversos factores, siendo
uno muy gravitante el que surge precisamente de su restringida validez relativa, producto de su
naturaleza intrínseca de constituir un intento indirecto para detectar características internas de los sujetos
a través de una muestra de evidencias externas. Es importante señalar que si bien este efecto es posible
de atenuarse no logra, como podría pensarse, ser totalmente corregido por medio de un uso más intenso
130
15
de la tecnología, como podría ser el caso del CA 9 y del CAT 10 , dado que su limitación es fundamental y
reside, como se dijo antes, en que es un mecanismo indirecto y externo para detectar rasgos internos. Sin
embargo, pese a sus limitaciones, hasta hoy no existen métodos científicamente aceptables que hagan un
mejor trabajo, para estos efectos, que la medición estandarizada.
Es por esta razón que la proporción del total del aprendizaje, que realmente es posible medir con las
evaluaciones estandarizadas corresponde sólo a la cima del “iceberg”, que es aquella parte que se ubica
por sobre el límite que separa a las características mensurables de forma estandarizada de las que no lo
son, que al igual que en el caso de los témpanos que flotan en los mares fríos, corresponde sólo a una
parte menor de su volumen total. Esto equivale, en el caso de la educación, también a una expresión
minoritaria de lo que realmente ella debió haber logrado en los estudiantes.
Un análisis descriptivo relativamente simple permitirá apreciar esto más claramente si se toma como
ejemplo la medición estandarizada de los aprendizajes en Lenguaje. Si se considera la educación formal,
ésta abarca al menos tres dominios de competencias, mostrados en el nivel de la base de la Figura 2, por
lo cual todo aprendizaje, realmente educativo, debe incluir a estos tres dominios aunque en proporciones
variables. Es por ello que al utilizar la medición estandarizada se está capturando información de los
dominios (cuando es posible hacerlo) de manera artificialmente segregada. Esto implica que en el
ejemplo del Lenguaje, la medición estandarizada habitualmente sólo captura los aprendizajes cognitivos.
FIGURA2. EL “ICEBERG” DE LA MEDICIÓN EN EDUCACIÓN. AQUELLO QUE ES REALMENTE POSIBLE DE SER MEDIDO EN LENGUAJE, POR
MEDIO DE PRUEBAS ESTANDARIZADAS ORDINARIAS
COMPETENCIAS
ESPECÍFICAS
MEDIBLES
Expresión escrita-
Comprensión oral-
Comprensión
LÍMITE DE LO MEDIBLE
escrita
COMPETENCIAS LINGÜÍSTICAS
GENERALES
Comprensión-Expresión
ASIGNATURAS DEL CURRÍCULO FORMAL

Lenguaje-Matemática-Ciencias-etc.
DOMINIOS
Cognitivo-Afectivo-Psicomotriz
9
CA. Computerized testing (prueba computarizada). Situación en que la prueba es administrada a través de un computador, la que permite el uso
de una mayor variedad de estímulos y por ello la medición de competencias más complejas, fundamentalmente usando técnicas de simulación.
10
CAT. Computerized adaptive testing (prueba adaptativa computarizada). Situación que incluye todas las ventajas del CA, pero que además
posibilita adaptar las preguntas subsiguientes en base de las respuestas a las previas de cada sujeto que responde, logrando así una mayor
coincidencia entre la prueba y las habilidades del examinado y con ello una medición más precisa.
131
16
Ascendiendo un nivel desde la base se aprecia que dentro del espectro cognitivo el aprendizaje involucra
a varias asignaturas las cuales, si bien como todo aprendizaje humano también interactúan, son las más
de las veces abordadas de manera también separada, por lo cual el Lenguaje como asignatura representa
también sólo una fracción, esta vez del aprendizaje cognitivo formal total.
Yendo a un nivel adicional más arriba y entrando en el área curricular del Lenguaje se aprecia que existen
al menos dos tipos de competencias generales que debieran ser parte de cualquier diseño curricular en la
asignatura: la comprensión y la expresión. Y ambos debieran medirse si la intención es verificar los
aprendizajes en esta área curricular.
Sin embargo, al abordar estas dos competencias básicas es posible comprobar que las competencias
específicas posibles de medir de forma estandarizada son solamente las siguientes: la expresión escrita, a
través de preguntas de respuesta abierta; la comprensión oral, por medio de ítems cerrados o abiertos; y
la comprensión escrita, por estos mismos medios. Aunque algunos autores (Rodriguez, 2002) hacen
depender la elección del tipo de ítem de aspectos tales como las recomendaciones de la comunidad de
especialistas, el costo e incluso de las repercusiones del uso de un tipo u otro en términos de la política
educacional, ella siempre dependerá antes que nada del nivel de complejidad de las competencias que se
busque medir. Las más de las veces se opta, debido a razones de costo, por escoger sólo ítems cerrados,
con la consiguiente reducción en la validez. Similarmente, la expresión oral se deja fuera debido a la
complejidad y costo, si es se quiere garantizar su objetividad, de medirla en forma estandarizada.
En conclusión, de tres dominios se mide uno, sucediendo lo mismo con el espectro de asignaturas
incluidas y dentro de la única abordada, de sus dos competencias generales se logra medir parcialmente
una y de forma relativamente integral la otra.
Si bien es posible complementar la medición estandarizada con otros enfoques como la observación y los
portafolios, estos presentan limitaciones a la hora de tratar de comparar sus resultados entre alumnos de
distintas escuelas y aulas, ya que no constituyen, de suyo, métodos estandarizados y si bien es posible
aproximarlos a tal condición, ello implica, una vez más, un aumento sustancial del tiempo y del costo
involucrados.
5. MEDICIÓN Y EVALUACIÓN ¿DISTINTOS TÉRMINOS PARA UN SOLO CONCEPTO?

Para contribuir a develar la complejidad del tema abordado, otro aspecto que es importante precisar es
que dos términos que en su ámbito se usan regularmente de manera indistinta no son, en rigor,
sinónimos. Se trata de medición y evaluación.
Si bien existen múltiples definiciones de ambos, una forma directa de percibir sus diferencias es
considerando que la medición consiste en el acto de establecer la posición de un sujeto en la escala de
una variable determinada y por lo tanto constituye una visión instantánea y, por ello, estática, de su
situación respecto de esa variable. Evaluación, por su parte, implica determinar la trayectoria que, en el
tiempo, muestran las posiciones de un sujeto en la escala de una misma variable, por lo cual implica una
visión dinámica del comportamiento que tal sujeto ha tenido en esa variable, obtenida por medio de la
comparación de los resultados de dos o más mediciones de ese mismo sujeto.
Por lo recién señalado, de acuerdo a esta visión de ambos procesos, la medición constituye un insumo de
la evaluación y su calidad determina en gran medida la de ésta. En este último sentido aunque los
132
17
métodos de comparación de las varias mediciones sean óptimos, si la precisión, objetividad, validez y
confiabilidad de éstas no satisfacen estándares aceptables, el valor de la evaluación será cuestionable.
6. HERRAMIENTAS PARA DIFERENTES FINES: REFERENCIA A NORMAS O A CRITERIOS

Los primeros instrumentos de medición estandarizada surgieron de la necesidad de clasificar u ordenar
sujetos entre sí y se denominan pruebas referidas a normas. Una forma simple de visualizar el mecanismo
a través del cual éstas operan es considerar que lo que hacen es estructurar la distribución de los
resultados obtenidos por los sujetos en un instrumento, de forma relativa y luego establecer el
ordenamiento de estos últimos de manera acorde. Es importante precisar que en este enfoque la
distribución de los resultados necesariamente mostrará proporciones de sujetos en las distintas categorías
de resultados coincidentes con una distribución típica, como es la normal, ello es que porcentajes
menores de los resultados corresponderán a sujetos con muy altos o muy bajos puntajes y que la mayor
proporción de los resultados de los examinados se ubicarán en las áreas de puntajes intermedios. Un
ejemplo de este tipo de instrumentos son las pruebas de selección para el ingreso a la educación superior,
conocidas, en los Estados Unidos, como Scholastic Aptitude Test (SAT) 11 .
El segundo enfoque, de desarrollo posterior al anterior, incluye instrumentos cuyo propósito es
determinar la posición de los sujetos respecto de un referente externo, absoluto y pre-establecido, no
considerando especialmente relevante la posición relativa de los mismos. En esencia lo que interesa
establecer, en este caso, es cuáles sujetos pasan una determinada valla, criterio o puntaje, para
establecer si son o no competentes de manera absoluta en un aspecto determinado. Este tipo de
instrumentos se denominan referidos a criterios y en su desarrollo e interpretación ha contribuido
significativamente la denominada Teoría de Repuesta al Ítem (TRI) 12 . Las pruebas de rendimiento
corresponden a este tipo de instrumentos y un buen ejemplo lo constituyen las usadas por los estudios
internacionales mencionados al comienzo de este artículo. Es importante señalar que la distribución de
los resultados de este tipo de pruebas no tiene por qué corresponder a la normal y más aún, es esperable
que no lo haga, ya que si se considera que la educación es un proceso de crecimiento equitativo para
todos los estudiantes, sería esperable que su aprendizaje no se distribuyera normalmente.
7. ¿PUEDEN LOS MISMOS INSTRUMENTOS CUMPLIR UNA DIVERSIDAD DE ROLES?

La necesidad que existe, en muchos países, de reducir los costos de procesos de suyo onerosos y de
grandes dimensiones, como son los de medición y evaluación, como asimismo la conveniencia de
disminuir la frecuencia con que los estudiantes son sometidos a mediciones -baste considerar que al
menos tienen que enfrentar las del docente, las del sistema nacional y las internacionales- ha llevado a
intentar en algunos casos la utilización de los mismos instrumentos para ordenar a los sujetos y para
determinar su nivel de aprendizaje. Un ejemplo fue el Sistema de Ingreso a la Educación Superior (SIES),
en Chile, diferido en su aplicación desde hace algunos años.
11
En castellano Prueba de Aptitud Académica.
12
La sigla TRI en castellano deriva de la inglesa “IRT”, la que corresponde a Item Response Theory.
133
18
Como señalara Kaplan (1963) “el puntaje de una prueba puede entregar interpretaciones relativas o
absolutas.” Por su parte, abordando el tema desde una perspectiva sutilmente diferente de la utilizada en
la sección anterior, Haladyna (2002), agrega que “la interpretación absoluta es denominada usualmente
referida a criterios (RC) debido a que nos indica cuánto de una habilidad o conocimiento ha adquirido
una persona”. “La interpretación relativa es llamada referida a normas (RN), por cuanto esta
interpretación permite la comparación de un puntaje con otros puntajes en la escala de una prueba
determinada. Las interpretaciones RN nos indican cuan diferentes unos de otros son los puntajes.”
Citando nuevamente a Haladyna (2002), es posible señalar “que aunque RC y RN corresponden a tipos
de interpretaciones de los puntajes de una prueba, en sentido estricto no tenemos pruebas RC y RN. Sin
embargo, los términos RC y RN se asocian a menudo con pruebas que permiten tales interpretaciones.”
Y agrega que “Irónicamente cualquier prueba puede aportar interpretaciones NR, pero las
interpretaciones CR provienen (sólo) de pruebas diseñadas para informarnos cuánto ha aprendido un
estudiante.”
Si bien ésta es, como se dijo antes, una forma leve pero fundamentalmente distinta para la
conceptualización de las diferencias entre los enfoques referidos a normas y a criterios, en esencia la
conclusión es la misma en cuanto a que ambos tipos tienen propósitos distintos. El punto siguiente
abordar es la aclaración de si acaso tal diferencia descalifica a un tipo para cumplir el rol del otro, o si es
posible pensar en una figura híbrida.
Por una parte, la afirmación antes citada acerca de que sólo las pruebas CR pueden aportar información
acerca del aprendizaje real de los estudiantes ya indica que, por definición y construcción, éstas son
capaces de aportar elementos que las NR no son, por lo cual éste ya constituye un elemento de juicio a
considerar en cuanto a que las pruebas NR no están en condiciones de aportar a la medición de los
aprendizajes respecto de criterios absolutos.
Por otra parte, cada uno de estos tipos de interpretaciones enfatiza ciertas características que hacen que
en la construcción de las pruebas mismas se privilegien ciertos aspectos en desmedro de otros. Tal es el
caso de que las pruebas CR tienden a poner el acento en la validez y las NR en la discriminación.
El caso es que, además, los dos tipos de herramientas descritas en la sección anterior se basan en
modelos de interpretación diferentes, descansan en supuestos estadísticos distintos (como es el de la
normalidad de la distribución de los puntajes en el caso de las NR y no necesariamente en el de las CR) y
finalmente entregan información diferente.
En conclusión y en una comparación que puede ser considerada trivial, la utilización indistinta de
cualquier de los tipos para cumplir ambos propósitos -jerarquización y verificación del aprendizajes de los
sujetos, medidos- puede tener el mismo efecto que emplear un coche de ciudad a campo traviesa, caso
en el cual es posible que éste logre efectuar el recorrido, pero con serios riesgo para su integridad y la de
sus tripulantes.
134
19
8. FORMAS DE EXPRESAR PUNTAJES Y FACILITAR SU COMPARABILIDAD

El aspecto que se busca explorar en esta sección es la facilidad relativa que implica la comparación de
resultados expresados, ya sea de forma cuantitativa o cualitativa, sin entrar aún al tema de la
comparabilidad estadística de los mismos.
Como se ha mencionado repetidamente en este artículo uno de los aspectos que más ha preocupado y
sigue preocupando hoy en día, tanto a los especialistas en medición como a los educadores en general, es
la posibilidad de comparar los resultados de las mediciones estandarizadas, posibilitando de esta forma
una verdadera evaluación de sujetos, aulas, escuelas o países.
Estas comparaciones, las más de las veces basadas en el cálculo de diferencias entre los resultados de
dos o más mediciones, pueden ubicarse a distintos niveles de agregación. La forma de comparación
puede ser longitudinal, implicando que los resultados de los mismos sujetos son contrastados en
distintos momentos. En otros casos las comparaciones pueden ser transversales, lo que significa que se
busca comparar a distintos sujetos, en los mismos niveles de grado, en distintos momentos. Existe
también la posibilidad de comparar sujetos en distintos niveles de grado, aunque ello requiere del
cumplimiento de determinadas condiciones psicométricas. Finalmente, el método del Valor Agregado,
consistente en la comparación de un valor de rendimiento predicho y uno efectivo, puede también
aplicarse en estas contrastaciones.
La forma cuantitativa más ortodoxa de presentación de puntajes es en escala IRT para las pruebas
referidas a criterios y para estas mismas pruebas la forma aceptada de presentar resultados en forma
cualitativa es por medio de niveles de desempeño, lo cual implica la previa determinación de estos por
medio de cualesquiera de los métodos universalmente aceptados, tales como el Angoff, el de
Marcadores, el de Juicio Analítico u otros (Cizek, 2001).
FIGURA 3. COMPARACIÓN LONGITUDINAL DE RESULTADOS ENTRE LOS AÑOS 2005, 2006 Y 2007, EXPRESADOS EN ESCALA
CUANTITATIVA, EN MATEMÁTICA, POR NIVELES DE GRADO, COMO PARTE DEL SISTEMA DE MEDICIÓN EDUCACIONAL DEL ESTADO DE
QATAR (QCEA). (SEC, 2007)
135
20
La posibilidad de comparación de resultados numéricos, sea ésta vertical u horizontal, está condicionada
por la equivalencia psicométrica de los instrumentos. En cambio la comparación de resultados expresados
en clave cualitativa es mucho más flexible. A continuación se muestran dos ejemplos: uno
correspondiente a resultados expresados de forma cuantitativa (Figura 3) y el otro en forma cualitativa
(Figura 4). Ambos ejemplos corresponden al programa denominado Medición Integral en Educación, en el
Estado de Qatar 13 , en la Península Arábiga.
FIGURA 4. COMPARACIÓN DE RESULTADOS ENTRE GRADOS PARA EL AÑO 2007, EXPRESADOS EN ESCALA CUALITATIVA (NIVELES DE
DESEMPEÑO), EN LENGUAJE (ÁRABE), COMO PARTE DEL SISTEMA DE MEDICIÓN EDUCACIONAL DEL ESTADO DE QATAR (QCEA)
Como es posible apreciar, las escalas cualitativas permiten una mayor flexibilidad de comparaciones y
una mucha mayor riqueza de información, sin requerir el cumplimiento de condiciones tan estrictas como
en el caso de las escalas cuantitativas, aunque lógicamente no logran una precisión comparable con el
nivel posible de alcanzar al usar escalas cuantitativas. Sin embargo, incluso es posible, aunque no
necesariamente aconsejable, utilizar la información acerca de porcentajes de alumnos en cada nivel para
comparar el rendimiento entre distintas asignaturas, lo que constituye un anatema siquiera intentarlo a
partir de resultados cuantitativos.
9. DESDE LAS CIFRAS A LOS CONCEPTOS

Como se desprende de la sección anterior, existen razones y muy poderosas, para que se justifique un
mayor desarrollo y énfasis en el uso de resultados en escala cualitativa, a la hora de diseminar y analizar
los resultados de las mediciones estandarizadas en educación.
13
Qatar Comprehensive Educational Assessment (QCEA)program
136
21
Sin embargo, es necesario señalar claramente que ello no implica licencia para concesión alguna en el
rigor de la generación de resultados o para la prescindencia de las escalas cuantitativas, sino que significa
tomar ventaja de la mayor flexibilidad de posibilidades de comparación planteada por los resultados
expresados en forma de niveles de desempeño, generados por medio de la determinación de puntajes de
corte, a partir de resultados cuantitativos, idealmente en escala IRT.
Los procesos de determinación de niveles de desempeño están, hoy en día, definidos y estandarizados en
tal medida, que es preciso seguir pasos muy claros para el establecimiento de los niveles y
posteriormente de sus límites, a través de la determinación de puntajes de corte. Aunque estos procesos
descansan en procedimientos de juicio y no necesariamente en unos de raíz estadística, sí implican un
rigor tanto o mayor que el propio de estos últimos.
La posibilidad de contar con información cualitativa acerca de los resultados de las mediciones
estandarizadas en educación permite alcanzar tres fines. El primero, como se señaló antes, consiste en la
ampliación del ámbito de los tipos de comparaciones posibles de realizar a partir de los resultados de las
mediciones estandarizadas. El segundo es la asignación, a tales comparaciones, de un grado mayor de
inteligibilidad para los destinatarios de la información, tales como directores, maestros, padres y
alumnos, despejando la habitual duda acerca de cuál es el sentido que, en términos educativos, tiene un
puntaje numérico determinado. Finalmente, establece un puente entre los resultados de las mediciones y
la docencia de aula, en el sentido de que al establecer cuáles son las competencias concretas que los
alumnos logran y cuáles las que no alcanzan, se genera una herramienta efectiva de retro-información y
por ende de mejoramiento del aprendizaje.
La integración, actualmente posible, de resultados cuantitativos, generados con todo el rigor psicométrico
propio de ellos, con esquemas de interpretación cualitativos generados también a partir de procesos
igualmente rigurosos, plantea una línea de explotación de los resultados de las mediciones
estandarizadas, ausente hasta ahora en el ámbito educacional, pero que promete nuevas y grandes
posibilidades en beneficio de los estudiantes.
10. PREDICCIÓN, ALINEAMIENTO Y “ECUALIZACIÓN” DE PUNTAJES

Como se adelantara dos secciones más atrás en este artículo, la respuesta a la necesidad de comparar
resultados generados por las mediciones estandarizadas en educación, ha constituido y constituye
actualmente, una necesidad que hace posible el cumplimiento de un propósito fundamental de la
medición, cual es la evaluación.
La principal razón de esta necesidad surge del hecho que, las más de las veces, lo que se intenta
contrastar son distintos elementos (sujetos) en un mismo o distinto momento (comparaciones
transversales) o los mismos elementos (sujetos) en diferentes momentos (comparaciones longitudinales).
En ambos casos surge como condicionante la necesidad de que los instrumentos usados sean
comparables y para ello se utilizan procedimientos psicométricos denominados de “vinculación 14 ”.
14
En inglés “linkage”.
137
22
No son pocos los casos en que erróneamente se han generado conclusiones alentadoras o negativas
respecto de la situación de sistemas escolares, producto de que se ha intentado comparar puntajes que
no son comparables, dado que estos provenían de instrumentos que no eran equivalentes.
La denominada “vinculación” de pruebas hace su aparición a comienzos del siglo veinte, con los
trabajos de varios autores, entre ellos, Starch, Weiss y Kelley, citados por Holland (2005).
La vinculación de puntajes de pruebas, de acuerdo al mismo autor recién citado, comprende tres grandes
sub-categorías, a saber:
Predicción. Lo que se obtiene es la “mejor predicción” 15 de un puntaje Y a partir de un puntaje
X, utilizando procedimientos de regresión.
Alineación de escalas 16 . Es un proceso más complejo que la predicción y consiste en la ubicación
conjunta de los puntajes X e Y en una escala común, en vez de asignar a X un puntaje en la
escala de Y. Los métodos más comunes son la alineación de batería, la alineación respecto de un
ancla 17 , la alineación respecto de una población hipotética, la calibración, la alineación vertical y
la concordancia.
“Ecualización” 18 . Es el proceso más complejo de todos y se lleva a cabo cuando los diferentes
sujetos rinden diferentes formas o versiones de la misma prueba y sus resultados en ellas
requieren ser comparados. Este proceso es posible abordarlo también con Teoría Clásica, IRT,
ecualización por post-estratificación, ecualización en cadena, método de puntajes observados de
Levine y método IRT de puntajes observados.
Para finalizar esta breve revisión acerca del origen y de la práctica de los métodos que permiten la
comparación válida de puntajes de instrumentos de medición del rendimiento, es preciso mencionar que
una de las modalidades comprendidas dentro de los métodos de alineamiento, debe destacarse un
método que recientemente ha ganado en popularidad, cual es la alineación vertical.
Su mayor mérito radica en que hace posible la estimación del crecimiento o progreso del aprendizaje de
los alumnos en el tiempo, entregando información, por ejemplo, de cuál ha sido la trayectoria de un
alumno en matemática desde tercero a cuarto de educación básica. Un método alternativo y menos
exigente en términos psicométricos es el cálculo de valor agregado, aunque sí lleva aparejadas otras
exigencias, esta vez operacionales. En ambos casos la limitación mayor es la “distancia” en el tiempo
que pueda existir entre ambas mediciones, la que se expresa en el número de niveles de grado en el caso
de la alineación vertical y en el tiempo transcurrido entre la mediciones en el del valor agregado.
11. CONDICIONES PARA QUE UNA EVALUACIÓN CONSTITUYA UNA HERRAMIENTA DE POLÍTICA EN
EDUCACIÓN
Uno de los aspectos más controversiales de la medición en educación es su utilización para la toma de
decisiones en materias de política educacional, dado que el volumen de datos y de información que se
acumula en los anaqueles de los ministerios y otras entidades de los sistemas educacionales es enorme,
15
En inglés “best prediction”.
16
En inglés “scale alignment” o “scaling”.
17
En inglés “anchor test”.
18
En inglés “equating”.
138
23
como asimismo lo son los bancos de datos que rebosan de resultados de operaciones de medición. Es
también muy grande la carga que se impone sobre profesores y alumnos a raíz de someter a estos
últimos a evaluaciones, generadas al nivel escuela, municipio, provincia o estado y/ país y no devolverles
mayores beneficios.
Sin embargo, el número de ocasiones en que las decisiones en materia de política educacional son
basadas en la información dura, generada por la medición estandarizada, es inversamente proporcional al
crecimiento del volumen de información generada. Si bien autores como Gladwell (2005) abogan por el
valor de las decisiones producto de la inspiración súbita, cabe la duda de si acaso aquellas en educación
puedan y sea aconsejable que sean adoptadas de tal modo.
Lamentablemente las razones por las que la información generada a partir de los procesos de medición
estandarizada no es utilizada en favor de decisiones mejor fundadas en educación es, en gran medida,
responsabilidad de quienes estamos involucrados en tales procesos. Un análisis, a la vez sistemático y
descarnado, de la situación imperante en este sentido, nos permitirá aislar las causas principales y por
ese medio intentar subsanarlas.
La primera condición, que no siempre se cumple, es la que constituye la raíz del tema de este trabajo, la
medida en que la información generada por la medición estandarizada es válida. En otras palabras,
mientras las pruebas sólo se enfoquen en las competencias más simples de la escala de complejidad de
los aprendizajes, su relevancia será discutible y por ende el estímulo implícito para la utilización de sus
resultados será también limitado. Es imprescindible que los sistemas de medición desplieguen esfuerzos
por ampliar el ámbito de validez de sus instrumentos, aún en tiempos en que los presupuestos no son del
todo abundantes.
Una segunda condición se relaciona con la necesidad de que la información proveniente de las
mediciones estandarizadas esté disponible para los diferentes actores de manera oportuna y sea
inteligible para ellos. Son muchos los casos en que los informes de las mediciones toman años en ver la
luz, cuando la ven, y lo que es más, suelen estar escritos en código de especialistas, siendo por ello
incomprensibles para docentes, padres y alumnos y consecuentemente no concitan su interés.
Las más de las veces se invierte un enorme esfuerzo en la elaboración y análisis de los instrumentos de
una medición, lo cual es sin duda lo pertinente de hacer, sin embargo no se asigna a la elaboración y
producción de los informes el mismo esfuerzo e interés. Las Figuras 5 y 6 muestran un ejemplo de un
informe para profesores que, desde hace dos años, está siendo provisto a los docentes en el Estado de
Qatar, basándose en los resultados del sistema de medición del rendimiento, en ese país. Tal informe,
junto con el correspondiente para padres y alumnos, el informe para los tomadores de decisiones a nivel
superior y el informe técnico para especialistas, se procura que esté en sus manos no después de seis
meses de aplicadas las pruebas, los cual no si bien no es un plazo breve, sí implica una voluntad de hacer
llegar la información en la forma lo más oportuna y útil posible.
139
24
FIGURA 5. PORTADA Y CONTRAPORTADA DEL INFORME PARA DOCENTES DE LENGUAJE (ÁRABE), UTILIZADO POR EL SISTEMA DE
MEDICIÓN DEL RENDIMIENTO DEL ESTADO DE QATAR, PARA EL PERÍODO 2005-2006. (SEC QATAR, 2007)
Otra condición limitante en la utilización de los resultados de las mediciones estandarizadas es la falta de
desarrollo de la capacidad y voluntad para utilizar la información de quienes toman las decisiones en
educación. De hecho, quienes deciden en este ámbito, desde padres hasta ministros, no están, las más de
las veces, capacitados para utilizar información dura para sustentar sus juicios. Contra esta capacidad
conspira también lo que se manifestara antes, en esta misma sección, en cuanto a que no siempre el
lenguaje de los informes resulta adecuado para los actores en cada nivel que lo recibe.
Pero habiendo subsanado lo anterior deben hacerse esfuerzos para generar acciones concretas en pro de
que estos actores, por una parte reciban capacitación para utilizar los informes basados en la medición
estandarizada como base para sus decisiones, como asimismo para motivarlos a que lo hagan.
Lo más habitual hoy en día es que los padres tomen decisiones respecto de la educación de sus hijos
basados en rumores y comentarios de sus conocidos. En el caso de quienes deciden en los niveles altos de
los sistemas el caso es que las presiones de grupos relacionados con la educación tienen más efecto en lo
que se resuelve que la información proveniente de fuentes objetivas y empíricas. Mientras esto siga
ocurriendo, como lo señalara Bloom, en la cita al comienzo de este trabajo, seguiremos “…siendo
seducidos por el equivalente de los remedios de curanderos, las falsas curas del cáncer, la invención del
movimiento perpetuo y las supersticiones…”.
140
25
FIGURA 6. PÁGINAS INTERIORES DEL INFORME PARA DOCENTES DE LENGUAJE (ÁRABE,) UTILIZADO POR EL SISTEMA DE MEDICIÓN DEL
RENDIMIENTO DEL ESTADO DE QATAR, PARA EL PERÍODO 2005-2006. (SEC QATAR, 2007)
12. MITOS Y ELABORACIONES RETÓRICAS: ¿LA “APARICIÓN” DE LA EVALUACIÓN FORMATIVA?

¿LA MEDICIÓN DEL APRENDIZAJE VERSUS LA MEDICIÓN PARA EL APRENDIZAJE?
Uno de los aspectos que se mencionó antes como problemático respecto de la medición estandarizada de
los resultados de la educación, en la actualidad, es la mítica aparición de “nuevas” tendencias y enfoques
en este campo. Si bien los ejemplos son numerosos, un caso emblemático es el de la evaluación
formativa. Es sorprendente como para muchos “especialistas” en evaluación y actores en educación, hoy
en día, éste es un término que llegó muy recientemente a este campo por primera vez. O bien no
estuvieron presentes cuando estos términos vieron la luz por primera vez, o estaban distraídos en ese
entonces o simplemente no han hecho sus deberes para la casa.
Lo concreto es que, como señala una autora (Dwyer, 2008) “En 1967, Michael Scriven propuso el uso de
los términos “formativo” y “sumativo” (comillas en el original) para distinguir entre los diferentes roles
que puede jugar la evaluación. Por una parte, él señaló que la evaluación “puede tener un rol en el
mejoramiento continuo del currículo” (p.41), mientras que por la otra, la evaluación “puede servir para
habilitar a los administradores para decidir si el currículo completo y terminado, refinado por el uso del
proceso evaluativo en el primero de sus roles, representa un avance suficientemente significativo entre
las alternativas disponibles, para justificar su adopción por un sistema escolar (determinado) (pp. 41-42).
Luego propuso “utilizar los términos evaluación "formativa” y ¨sumativa” para calificar a los roles de de
la evaluación”.
141
26
“Dos años más tarde, Benjamin Bloom (1969) aplicó la misma distinción a las pruebas usadas en el
aula.”
Como quedó demostrado, la evaluación formativa fue definida por Scriven, desde una perspectiva
sistémica, como la herramienta para el mejoramiento continuo del currículo y, por Bloom, desde un punto
de vista pedagógico del aula, como un elemento vital para mejorar el aprendizaje de los alumnos, en
ambos casos hace más de cuatro décadas.
Hoy se intenta utilizar este concepto para desacreditar a la medición estandarizada, como asimismo a la
evaluación que se basa en ella, ya que se las considera como opuestas a lo “formativo”. Baste decir que,
por un lado, la idea de lo formativo califica las acciones evaluativas, por lo cual ellas no son más o
menos formativas en su esencia, sino que en su uso. Sería como decir que un bisturí es esencialmente
malo por cuanto puede usarse para matar, además de ser una herramienta curativa. Por otro lado, uno de
los artífices más distinguidos de la introducción del rigor en la medición en al aula fue, precisamente,
Benjamin Bloom. Mal pudo él propugnar que la medición estandarizada pudiese percibirse como
antagónica del rol formativo de la evaluación.
Entrando, ahora, al ámbito de la manipulación retórica de los términos en este campo, segundo
fenómeno de reciente aparición, el caso más destacado es el de la distinción artificial y artificiosa entre
evaluación del aprendizaje y evaluación para el aprendizaje, las que se hacen aparecer como antagónicas.
Un simple análisis lógico baste para desvirtuar este intento sofista. En primer lugar, cualquier
procedimiento y entre ellos, uno evaluativo, antes que nada debe poseer un objeto sobre el que se lleva a
cabo, el que en este caso es el aprendizaje. Por lo tanto, no es posible que exista una acción evaluativa
“in abstracto”, sino que esta debe evaluar algo en concreto.
En segundo lugar, esa misma acción debe tener un propósito, en este caso la mejora del aprendizaje
posterior y éste propósito no tiene razón para ser considerado opuesto al objeto antes definido. Por lo
señalado, es perfectamente aceptable que la evaluación del aprendizaje en un cierto momento, vaya en
pro del aprendizaje posterior.
A lo señalado, se agrega que una revisión mínima de la historia de la medición estandarizada y de la
evaluación ligada a ella, permitirá comprobar que, desde al menos los años sesenta del Siglo XX, en que
surge en la educación la idea de retro-información, la evaluación ha sido definida como una herramienta
de mejoramiento del aprendizaje. Cualquier otra elaboración retórica no es más que eso, ya que revela
desconocimiento del campo de la disciplina o bien una falacia en el razonamiento, que va a parejas con
lo negativo de la intención.
Al finalizar este trabajo, sólo resta señalar que se ha procurado mostrar aquí que, si bien la medición
estandarizada y su consecuente, la evaluación, distan mucho de ser exhaustivas e irreprochables en su
validez y precisión, no existe, hoy por hoy, un enfoque científicamente sustentado que permita plantear
una alternativa válida.
La conclusión última es entonces que lo sabio y prudente de hacer es trabajar para mejorar estas dos
herramientas de la educación y ser, a la vez, extremadamente cuidadosos en que al aplicarlas se evite, a
toda costa, asignarles mayores cualidades que las que realista y científicamente demuestren poseer.
142
27
REFERENCIAS BIBLIOGRÁFICAS
American Educational Research Association, American Psychological Association y National Council on
Measurement in Education. (1985). Standards for educational and psychological testing. Washington:
American Educational Research Association.
American Psychological Association (1966). Standards for educational and psychological tests and
manuals. Washington: APA.
American Psychological Association (1954). Technical recommendations for psychological tests and
diagnostic techniques. Psychological Bulletin [Supplement], 51 (2, part 2).
Bloom, B.S. (1972). Innocence in Education. School Review, 80, pp.333-352.
Bloom, B. S. (1969). Some theoretical issues relating to educational evaluation. En R.W. Tyler (Ed.),
Educational Evaluation: new roles, new means. The 63rd yearbook of the National Society for the Study
of Education, 69, pp. 26-50.
Cizek, J.G. (2001). Setting performance standards. Concepts, methods, and perspectives. Mahwah
Erlbaum.
Comber, L.C. y Keeves J.P. (1973). Science education in nineteen countries. Stockholm: Almqvist &
Wiksell.
Cronbach, L.J. y Meehl, P.E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52,
pp. 281-302.
Dwyer, C.A. (2008). The future of assessment. Shaping teaching and learning. New York: Erlbaum.
Gladwell, M. (2005). Blink. The power of thinking without thinking. London: Penguin.
Haladyna, T.H. (2002). Supporting documentation: assuring more valid test interpretations and uses. En
Tindal y T.M. Haladyna (Eds.), Large scale assessment programs for all students. Mahwah: Erlbaum.
Holland, P.W. (2005). Linking scores and scales: some history and organizing ideas. En Linking and
aligning scores and scales. A conference in honor of Ledyard R. Tuckers´s approach to theory and
practice. Princeton: Educational Testing Service.
Kaplan, A. (1963). The conduct of inquiry: Methodology for behavioral science. New York: Harper & Row.
Lissitz, R.W y Samuelsen K. (2207). A suggested change in terminology and emphasis regarding validity
an education. Educational Researcher, 36, pp. 437-448.
Messick, S. (1989). Validity. En R.L. Linn (Ed.), Educational Measurement. New York: Macmillan.
Moss, P.A. Reconstructing validity. (2207). Educational Researcher, (36, pp. 470-476)
Nichols, P.D. y Williams, N. (2009). Consequences of test score use as validity evidence: roles and
responsibilities. Educational Measurement: Issues and Practice, (Spring, pp. 3-9).
Rodriguez, M.C. (2002). Choosing an item format. En G. Tindal y T. M. Haladyna (Eds.), Large-scale
assessment programs for all students. (pp. 213-231). Mahwah: Erlbaum.
Scriven, M. (1967). The methodology of evaluation (Vol. 1). Washington: AERA.
Supreme Education Council. (2007). Qatar Comprehensive Educational Assessment (QCEA). QCEA 2007
Results. Disponible en: http://www.english.education.gov.qa/section/sec/evaluation_institute/sao/_qcea
143
28
VILCHES Amparo y Gil Pérez Daniel
“El Programa Pisa: Instrumento para la mejora del proceso de enseñanza-
aprendizaje”
144
EL PROGRAMA PISA:
UN INSTRUMENTO PARA LA MEJORA
DEL PROCESO DE ENSEÑANZA-APRENDIZAJE
Amparo Vilches *
Daniel Gil Pérez **
SÍNTESIS: En el presente artículo se refutan opiniones basadas en

lecturas superfluas y deformadas, extensamente divulgadas, de la
información que proporciona el Programa para la Evaluación Internacio-
nal de Alumnos (PISA por sus siglas en inglés: Programme for International
Student Assessment). Se trata de un objetivo esencial porque dichas
lecturas desvían la atención de lo que constituye el propósito del proyecto:
la necesaria y factible mejora de la educación. En el trabajo se muestran
ejemplos que permiten apreciar esta finalidad, en particular la de cómo
influir en la enseñanza a través de un profundo replanteo de la
evaluación, que incorpora las dimensiones procedimental y axiológica a 121
121
la conceptual y rompe con la memorización de conceptos para plantear
la aplicación de los conocimientos en situaciones problemáticas abiertas
de interés. La consideración de aquello que debe ser evaluado resulta
esencial para evitar reduccionismos empobrecedores, y ha de enfrentarse
a tradiciones que sistemáticamente han limitado la evaluación a los
aspectos más fácilmente cuantificables. Se trata de algo absolutamente
necesario para la formación de ciudadanos capaces de participar, con
espíritu crítico, en la toma de decisiones acerca de los problemas que
afectan a la humanidad y contribuir a la construcción de un futuro
sostenible.
Palabras clave: programa PISA; evaluación formativa; evaluación como
instrumento de mejora del proceso de enseñanza-aprendizaje; supera-
ción del reduccionismo conceptual; interacciones ciencia, tecnología,
sociedad y ambiente (CTSA); educación para la sostenibilidad.
* Profesora asociada del Departamento de Didáctica de las Ciencias

Experimentales y Sociales de la Universidad de Valencia, y catedrática de Física y Química
de Bachillerato en el Instituto de Enseñanza Secundaria Sorolla, ambas instituciones
educativas en la ciudad de Valencia, España.
** Catedrático de Didáctica de las Ciencias en la Universidad de Valencia,
España, en situación de jubilado en activo.
145
Artículo recibido: 13/12/09; evaluado: 09/02/10- 08/03/10; aceptado: 09/03/10
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154 (ISSN: 1022-6508)
El programa PISA: un instrumento para la mejora...
O PROGRAMA PISA: UM INSTRUMENTO PARA A MELHORIA DO PROCESSO

DE ENSINO-APRENDIZAGEM
SÍNTESE: No presente artigo questionam-se opiniões baseadas em
leituras supérfluas e deformadas, extensamente divulgadas, sobre a
informação que o Programa para a Avaliação Internacional de Alunos
(PISA, por suas siglas em inglês: Programme for International Student
Assessment) proporciona. Trata-se de um objetivo essencial porque estas
leituras desviam a atenção do que constitui o propósito do projeto: a
necessária e factível melhoria da educação. No trabalho, mostram-se
exemplos que permitem apreciar este objetivo, particularmente, como
influir no ensino através de um profundo repensar da avaliação, que
incorpora as duas dimensões – procedimental e axiológica – à conceptual
e rompe com a memorização de conceitos a fim de suscitar a aplicação
dos conhecimentos em situações problemáticas abertas de interesse. A
consideração daquilo que deve ser avaliado resulta essencial para evitar
reducionismos empobrecedores, e haverá de enfrentar tradições que
sistematicamente limitaram a avaliação aos aspectos mais facilmente
quantificáveis. Trata-se de algo absolutamente necessário para a for-
mação de cidadãos capazes de participar, com espírito crítico, na tomada
de decisões sobre os problemas que afetam a humanidade, e contribuir
à construção de um futuro sustentável.
Palavras-chave: programa PISA; avaliação formativa; avaliação como
instrumento de melhoria do processo de ensino-aprendizagem; superação
122
122 do reducionismo conceptual; interações ciência, tecnologia, sociedade e
ambiente (CTSA); educação para a sustentabilidade.
PISA: AN INSTRUMENT FOR THE IMPROVEMENT OF THE TEACHING-
LEARNING PROCESS
ABSTRACT: In this paper, we will refute a series of points of view based on
widely spread superficial and distorted readings of the outcome produced by
the Program for International Student Assessment (PISA). This is a core goal,
since these readings divert our attention from what constitutes the purpose
of the project: a feasible and necessary improvement in education. Throug-
hout the paper, we will present several examples that illustrate this purpose,
specially the goal of how to have an influence on teaching through a deep
questioning of assessment that incorporates procedural and axiological
spheres to the conceptual sphere, and that breaks off with memorizing
concepts in order to propose a practical application of knowledge in
problematic situations of open interest. Reflecting on that that has to be
assessed becomes essential in order to avoid impoverishing reductionisms,
and it is mandatory to fight those traditions that have systematically
circumscribed assessment to quantifiable aspects. It is something absolutely
necessary in order to educate citizens capable of participating with a critical
spirit in the decision making process regarding the problems that affect
human kind and of contributing to the creation of a sustainable future.
Keywords: PISA, formative assessment, assessment as a tool for the
improvement of the learning-teaching process, overcoming conceptual
reductionism, interaction between science, technology, society and
environment; educating for sustainability.
146
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
1. INTRODUCCIÓN
El trabajo que aquí presentamos pretende salir al paso de

lecturas superficiales y distorsionadas, ampliamente difundidas, de la
información que proporciona el programa PISA de la Organización para
la Cooperación y el Desarrollo Económicos (OCDE). Se trata de un objetivo
esencial porque esas lecturas distorsionadas están desviando la atención
de lo que constituye el propósito del proyecto: la necesaria y posible
mejora de la educación.
Comenzaremos nuestra contribución refiriéndonos, precisa-

mente, a la necesidad y posibilidad de mejora de la educación y, más
concretamente, de la educación científica. Debemos aclarar a este
respecto que, aunque utilizaremos información correspondiente a la
enseñanza de las ciencias, que constituye nuestro campo de trabajo,
buena parte de lo que expondremos es aplicable a las demás áreas del
conocimiento.
Intentaremos mostrar que existe un amplio consenso, fruto

convergente de numerosas investigaciones y «buenas prácticas» debida-
mente controladas, acerca de la existencia de estrategias susceptibles de 123
123
despertar el interés de los estudiantes y lograr aprendizajes significativos
(Gabel, 1994; National Academy of Sciences, 1995; Fraser y Tobin,
1998; Gil Pérez y otros, 2005a; Rocard y otros, 2007).
La pregunta acerca de por qué dichas estrategias no se han

generalizado dirige la atención a distintos aspectos clave del proceso de
enseñanza-aprendizaje, entre los que destaca el papel de la evaluación,
en el que se centra el interés de este artículo. Dedicaremos, por ello, un
amplio apartado al análisis crítico de las concepciones y prácticas
evaluativas que pueden estar dificultando la mejora de la enseñanza, e
intentaremos mostrar que PISA constituye un programa que responde a
la concepción de la evaluación como instrumento de aprendizaje y de
mejora de la enseñanza.
Analizaremos seguidamente las razones por las que dicho

programa no ha contribuido, al menos hasta ahora, en la mejora de la
educación para la que ha sido concebido y expondremos, por último, las
medidas necesarias para aprovechar sus potencialidades.
147
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
2. LA NECESIDAD Y POSIBILIDAD DE MEJORA DE LA EDUCACIÓN
En un reciente estudio promovido por la Comisión Europea

(Rocard y otros, 2007) se reconoce que, en estos últimos años, numero-
sas investigaciones han mostrado un alarmante descenso del interés de
los jóvenes por los estudios científicos. En el informe Rocard se afirma
que esto constituye una de las mayores amenazas para el futuro de
Europa dada la necesidad tanto de un número creciente de científicos y
tecnólogos, como de una alfabetización científica básica de toda la
ciudadanía para hacer posible su participación en la toma fundamentada
de decisiones.
Consideraciones similares acerca de la necesidad de renovar la

enseñanza las encontramos en el ámbito iberoamericano (Maiztegui y
otros, 2000, pp. 163-187). En respuesta a dicha necesidad, en mayo de
2008, los ministros de educación del área reunidos en El Salvador
asumieron un ambicioso proyecto que convierte a la educación en
herramienta fundamental para el desarrollo de la región y que puede
tener notables repercusiones en Iberoamérica: acoger la propuesta Metas
Educativas 2021. La educación que queremos para la generación de los
124
124 Bicentenarios, valioso documento hecho público por la Organización de
Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI).
Cabe señalar que esta creciente preocupación por la renovación

de la educación, y muy particularmente, de la educación científica, no
supone que todo continúe igual o peor que hace dos décadas. En realidad,
las propuestas actuales se apoyan en un avance fundamental: los
responsables de los diseños curriculares han asumido mayoritariamente
los resultados de la investigación educativa en lo que respecta a las
estrategias de trabajo en el aula susceptibles de favorecer actitudes
de interés hacia las ciencias y un mejor aprendizaje. La necesidad de
sustituir las estrategias de transmisión-recepción por otras que orienten
el aprendizaje como una tarea de indagación o investigación, favorecedo-
ra de la participación de los estudiantes en la (re)construcción de los
conocimientos, concita hoy un consenso general entre los expertos. Esa
es la tesis básica del ya mencionado informe encargado por la Comisión
Europea (Rocard y otros, 2007). Sabemos que es necesario introducir en
los centros orientaciones basadas en la indagación (Inquiry-based Science
Education [IBSE]), desplazando el tradicional chalk and talk; la investi-
gación y los numerosos ejemplos de experiencias controladas con éxito así
lo prueban (Abd-El-Khalick y otros, 2004, pp. 397-419; Rudolph,
148
A. VILCHES, D. GIL
2005, pp. 803-821; Trumbull, Bonney y Grudens-Schuck, 2005, pp.

879-900; Lee y otros, 2006, pp. 607-636).
Asimismo, tesis similares fueron, hace ya más de diez años, el

punto de partida de los National Science Education Standards en los
Estados Unidos (National Academy of Sciences, 1995), un documento
también de fácil acceso que merece ser estudiado, y cuyo cuarto capítulo
está destinado al desarrollo profesional de los profesores para posibilitar
la introducción en el aula de las nuevas estrategias de aprendizaje como
por ejemplo, la investigación.
En definitiva, hay consenso acerca de qué estrategias promover

en el aula para despertar el interés de los estudiantes y lograr aprendi-
zajes significativos; y un amplio número de «buenas prácticas» están
mostrando la viabilidad y eficacia de aquellas (Rocard y otros, 2007)
aunque las mismas –como reconoce el reporte Rocard–, y aquí estriba el
problema, no se están aplicando. Las razones de este hecho son comple-
jas y afectan incluso a las condiciones laborales del profesorado (Vilches
y Gil Pérez, 2007, pp. 67-85). Pero entre ellas destaca el papel que está
jugando una evaluación que, en general, sigue estando incorrectamente
planteada (Gil Pérez y Martínez Torregrosa, 2005, pp. 159-182). Es 125
125
este aspecto el que desarrollaremos aquí por ser el que conecta más
directamente con el análisis del programa PISA, objeto central de este
artículo.
3. LA NECESARIA SUPERACIÓN DE LAS CONCEPCIONES ESPONTÁNEAS

SOBRE LA EVALUACIÓN
Difícilmente podremos comprender y aprovechar lo que supone

el proyecto PISA si no superamos las concepciones y prácticas espontá-
neas acerca de la evaluación, ampliamente difundidas y compartidas
socialmente, incluso por los docentes y los responsables políticos de la
educación. Intentaremos, pues, sintetizar los argumentos que cuestio-
nan dichas prácticas y fundamentan otra orientación de la evaluación.
Evaluar es visto de forma habitual, tanto por profesores como

por estudiantes y la ciudadanía en general, casi como sinónimo de
calificar. Así lo han puesto de relieve los estudios sobre las concepciones
docentes espontáneas (Alonso, Gil Pérez y Martínez Torregrosa, 1995a, pp.
6-15), o los análisis de la práctica evaluativa (Hodson, 1986, pp. 7-17;
149
Colombo, Pesa y Salinas, 1986, pp. 122-128; Lorsbach y otros, 1992,

pp. 305-317). Dichos estudios muestran que, para la mayor parte del
profesorado, la función esencial de la evaluación es medir la capacidad
y el aprovechamiento de los estudiantes, asignándoles una puntuación
que sirva de base objetiva para las promociones y selecciones.
Esta visión se apoya en otras concepciones íntimamente rela-

cionadas, como el convencimiento de que resulta fácil evaluar las
materias científicas con objetividad y precisión debido a la naturaleza
misma de los conocimientos evaluados, o que el fracaso de un porcentaje
significativo de estudiantes es inevitable en materias de alto nivel
cognitivo, como son las ciencias, «que no están al alcance de todo el
mundo».
Estas concepciones son asumidas acríticamente, incluso por

aquellos profesores que han realizado innovaciones en otros aspectos del
proceso de enseñanza-aprendizaje de las ciencias. Todo parece indicar,
en efecto, que la evaluación constituye uno de los dominios en los que las
ideas y comportamientos docentes «de sentido común» se muestran más
persistentes y constituyen un serio obstáculo, en la medida en que son
126
126 aceptadas sin cuestionamiento como «lo natural».
Es preciso señalar, sin embargo, que basta favorecer una

reflexión colectiva con un mínimo de profundidad para que los docentes
realicen análisis y elaboren propuestas coincidentes, en buena medida,
con los resultados de la investigación educativa y, más concretamente,
con las tesis del modelo de orientación constructivista emergente. Estas
intuiciones, fruto del distanciamiento crítico que supone adoptar una
actitud investigadora, pueden ser reforzadas con la realización efectiva
de pequeñas investigaciones y con el análisis de los resultados obtenidos
por una ya abundante investigación educativa en este campo. Se pueden
dar a conocer, a este respecto, los estudios de docimología que han
mostrado notables diferencias en las puntuaciones dadas por distintos
profesores a un mismo ejercicio de Física o Matemáticas; y también que
las notas dadas por un mismo profesor a los mismos ejercicios en
momentos diferentes (tras un intervalo de, por ejemplo, tres meses)
pueden sufrir grandes oscilaciones (Hoyat, 1962).
Mayor importancia tiene aún el análisis de la enorme influencia

de las expectativas del profesorado: podemos recordar a este respecto la
investigación realizada por Spear (1984, pp. 369-377) en la que mostró
que un mismo ejercicio de Física era valorado con notas significativamente
150
A. VILCHES, D. GIL
más bajas cuando era atribuido a una alumna que cuando se suponía
obra de un alumno. Se ha mostrado también, de forma reiterada, que los
ejercicios atribuidos a estudiantes «brillantes» reciben calificaciones
notablemente más altas que los mismos ejercicios cuando se atribuyen
a estudiantes «mediocres» (Alonso, Gil Pérez y Martínez Torregrosa,
1995a, pp. 6-15).
Todos estos resultados cuestionan la supuesta precisión y

objetividad de la evaluación en un doble sentido: por una parte muestran
hasta qué punto las valoraciones están sometidas a amplísimos márgenes
de incertidumbre y, por otra, hacen ver que la evaluación constituye un
instrumento que afecta muy decisivamente a aquello que pretende
medir. Dicho de otro modo, los profesores no solo nos equivocamos al
calificar (dando, por ejemplo, puntuaciones más bajas en materias como
la Física a ejercicios que creemos hechos por chicas), sino que contribui-
mos a que nuestros prejuicios –en definitiva los de toda la sociedad– se
conviertan en realidad: las chicas acaban teniendo logros inferiores y
actitudes más negativas hacia el aprendizaje de la asignatura que los
chicos; y los alumnos considerados mediocres terminan, efectivamente,
siéndolo. La evaluación resulta ser, más que la medida objetiva y precisa
de unos logros, la expresión de unas expectativas en gran medida 127
127
subjetivas pero con una gran influencia sobre el comportamiento de los
estudiantes y de los mismos profesores.
Podemos comprender también que la búsqueda de objetividad

tiene otra consecuencia negativa, pues con objeto de garantizar dicha
objetividad se limita la evaluación a lo más fácilmente medible, evitando
todo lo que pueda dar lugar a respuestas imprecisas. Ello supone, claro
está, dejar de lado aspectos fundamentales del trabajo científico tales
como los planteamientos cualitativos –necesariamente imprecisos– con
que se abordan las situaciones problemáticas, la invención de hipótesis,
etc., que por no ser evaluados dejan de tener importancia para los
estudiantes.
Un segundo bloque de preconcepciones subyace, en realidad,

tras esa búsqueda de «objetividad»: la idea de que solo una parte de los
alumnos está realmente capacitada para seguir con éxito estudios
científicos. Esa es la razón, por ejemplo, de que una determinada prueba
sea considerada tanto mejor diseñada cuanto más se ajustan los resul-
tados a una campana de Gauss con el 5 en el centro (lo que supone que
el 50% de los alumnos no puede alcanzar, por definición, el mínimo
exigido). Y esa es también la razón de que un profesor que apruebe a la
151
mayoría de sus alumnos en una materia científica no sea considerado

serio. Son estas expectativas negativas las que determinan en gran
medida, lejos de toda objetividad, el fracaso de un elevado porcentaje de
estudiantes.
4. LA EVALUACIÓN COMO INSTRUMENTO DE INTERVENCIÓN

EN EL PROCESO DE ENSEÑANZA-APRENDIZAJE
El análisis crítico de todas estas concepciones abre el camino

a un replanteamiento global de la evaluación, que pasa a ser considerada
un instrumento de intervención y no de simple constatación.
Desde la concepción del aprendizaje como una investigación

dirigida carece de sentido una evaluación consistente en el enjuiciamien-
to «objetivo» y terminal de la labor realizada por cada alumno. Por el
contrario, como formador de investigadores noveles, el profesor ha de
considerarse corresponsable de los resultados que estos obtengan: no
puede situarse frente a ellos, sino con ellos; su pregunta no puede estar
referida a quién merece una valoración positiva y quién no, sino a qué
128
128
ayudas precisa cada cual para seguir avanzando y alcanzar los logros
deseados. Para ello son necesarios un seguimiento atento y una retroa-
limentación constante que reoriente e impulse la tarea. Eso es lo que
ocurre en los equipos de investigación que funcionan correctamente y eso
es lo que tiene sentido también, en nuestra opinión, en una situación de
aprendizaje orientada a la construcción de conocimientos, a la investiga-
ción. Los estudiantes han de poder cotejar sus producciones con las de
otros equipos y –a través del profesor/director de investigaciones– con el
resto de la comunidad científica; y han de ver valorado su trabajo y recibir
la ayuda necesaria para seguir avanzando, o para rectificar de ser
necesario.
La evaluación se convierte así en un instrumento de aprendiza-

je, es decir, en una evaluación formativa, sustituyendo a los juicios
terminales sobre los logros y capacidades de los estudiantes. Pero,
aunque ello representa un indudable progreso, este resulta insuficiente
si no se contempla también como un instrumento de mejora de la
enseñanza. En efecto, las disfunciones en el proceso de enseñanza-
aprendizaje no pueden atribuirse exclusivamente a dificultades de los
estudiantes y resultará difícil que ellos no vean en la evaluación un
152
A. VILCHES, D. GIL
ejercicio de poder externo, y por lo tanto difícilmente aceptable, si solo

se cuestiona su actividad.
Si realmente se pretende hacer de la evaluación un instrumen-

to de seguimiento y mejora es preciso no olvidar que se trata de una
actividad colectiva, de un proceso de enseñanza-aprendizaje en el que el
papel del profesor y el funcionamiento del centro constituyen factores
determinantes. La evaluación ha de permitir, pues, incidir en los com-
portamientos y actitudes del profesorado. Ello supone que los estudian-
tes tengan ocasión de discutir aspectos como el ritmo que el profesor
imprime al trabajo o la manera de dirigirse a ellos. Y también es preciso
evaluar el currículo para ajustarlo a lo que puede ser trabajado con
interés y provecho por los alumnos, quienes de esta forma aceptarán
mucho mejor la necesidad de la evaluación, que aparecerá realmente
como un instrumento de mejora de la actividad colectiva. Las funciones
de la evaluación pueden resumirse, pues, en:
• Incidir en el aprendizaje para favorecerlo.
• Incidir en la enseñanza para contribuir a su mejora.
• Incidir en el currículo para ajustarlo a lo que puede ser 129

129
trabajado con interés y provecho por los estudiantes.
Nos centraremos aquí, por razones de espacio, en el papel de

la evaluación como instrumento de aprendizaje, aunque insistimos en la
necesidad de romper con los reduccionismos habituales extendiéndola
a la actividad del profesorado y al currículo mismo (Imbernón, 1993, pp.
4-7; Porlán, 1993; Santos, 1993, pp. 23-38; Alonso, Gil Pérez y
Martínez Torregrosa, 1996, pp. 15-26).
Conseguir que la evaluación constituya un instrumento de

aprendizaje y se convierta en una evaluación formativa supone dotarla de
unas características que rompan con las concepciones de sentido común
que hemos analizado someramente hasta aquí. Resumiremos a conti-
nuación dichas características.
Una primera característica que ha de poseer la evaluación para

desempeñar un papel orientador e impulsador del trabajo de los estu-
diantes es que pueda ser percibida por estos como ayuda real, generadora
de expectativas positivas. El profesor ha de lograr transmitir su interés
por el progreso de los alumnos y su convencimiento de que un trabajo
adecuado terminará produciendo los logros deseados, incluso si inicial-
153
mente aparecen dificultades. Conviene para ello una planificación muy

cuidadosa de los inicios del curso, comenzando con un ritmo pausado,
revisando los prerrequisitos (para que no se conviertan, como a menudo
ocurre, en obstáculo), planteando tareas simples, etc. Algunos profesores
pueden pensar que ello ha de traducirse en pérdidas de tiempo que
perjudicarán a los estudiantes bien preparados, cuyo derecho a avanzar
no debe ser ignorado. Pero, en realidad, lo que sucede es todo lo contrario:
esta aparente pérdida de tiempo inicial permite romper con la rémora
que supone a lo largo del curso la existencia de un núcleo importante de
alumnos que «no siguen». Se produce así un progreso global, favorable
también para los alumnos mejor preparados. Todo esto, por supuesto,
debe ser explicitado para evitar inquietudes y tensiones innecesarias y
transmitir, en definitiva, expectativas positivas a todos los alumnos.
Una segunda característica que ha de poseer la evaluación para

que pueda desempeñar su función de instrumento de aprendizaje es su
extensión a todos los aspectos –conceptuales, procedimentales y
actitudinales– del aprendizaje de las ciencias, rompiendo con su habitual
reducción a aquello que permite una medida más fácil y rápida: la
rememoración repetitiva de los conocimientos teóricos y su aplicación
130
130 igualmente repetitiva a ejercicios de lápiz y papel. Se trata de ajustar la
evaluación –es decir, el seguimiento y la retroalimentación– a las
finalidades y prioridades establecidas para el aprendizaje de las ciencias.
La evaluación se ajusta, así, a unos criterios explícitos de logros a alcanzar
por los estudiantes (Satterly y Swann, 1988, pp. 278-284), al contrario
de lo que ocurre con la evaluación atendiendo a la «norma» (basada en
la comparación de los ejercicios para establecer los «mejores», los
«peores» y el «término medio») a la que habitualmente se ajusta, más o
menos conscientemente, gran parte del profesorado.
Por otra parte, no hay que olvidar a la hora de fijar los criterios,
que solo aquello que es evaluado es percibido por los estudiantes como
realmente importante (Linn, 1987, pp. 191-216; Hodson, 1992, pp.
115-144). Es preciso, pues, evaluar todo lo que los estudiantes hacen:
desde un póster confeccionado en equipo hasta los dossiers personales
del trabajo realizado. Duschl (1995, pp. 3-14) ha resaltado, en particu-
lar, la importancia de estos dossiers o «portafolios», en los que cada
estudiante ha de recoger y organizar el conocimiento construido y que
puede convertirse –si el profesor se implica en su revisión y mejora– en
un producto fundamental, capaz de reforzar, globalizar y sedimentar el
aprendizaje, evitando adquisiciones dispersas.
154
A. VILCHES, D. GIL
Si aceptamos que la cuestión esencial no es averiguar quiénes

son capaces de hacer las cosas bien y quiénes no, sino lograr que la gran
mayoría consiga hacerlas bien, es decir, si aceptamos que el papel
fundamental de la evaluación es incidir positivamente en el proceso de
aprendizaje, es preciso concluir que ha de tratarse de una evaluación a
lo largo de todo el proceso y no de valoraciones terminales. Ello no supone
–como a menudo interpretamos los profesores y los propios alumnos–
parcializar la evaluación realizando pruebas tras períodos más breves de
aprendizaje para terminar obteniendo una nota por acumulación sino,
insistimos, integrar las actividades evaluadoras a lo largo del proceso con
el fin de incidir positivamente en el mismo, dando la retroalimentación
adecuada y adoptando las medidas correctoras necesarias en el momento
conveniente (Colombo, Pesa y Salinas, 1986, pp. 122-128). Es cierto
que cinco pruebas, aunque tengan un carácter terminal –tras la enseñan-
za de unos determinados temas– es mejor que una sola al final del curso;
al menos habrán contribuido a impulsar un estudio más regular evitando
que se pierdan todavía más alumnos; pero su incidencia en el aprendizaje
sigue siendo mínima, o, peor aún, puede producir efectos deformantes.
En efecto, a menudo la materia evaluada ya no vuelve a ser tratada, por
lo que los alumnos que superaron las pruebas pueden llegar al final del
curso habiendo olvidado prácticamente todo lo que estudiaron los 131
131
primeros meses, teniendo conocimientos incluso más escasos que quie-
nes fracasaron inicialmente y se vieron obligados a revisar por su cuenta.
Se acentúa así, además, la impresión de que no se estudian las

cosas para adquirir unos conocimientos útiles e interesantes, sino para
pasar unas pruebas. Es importante a este respecto ser conscientes de las
leyes del olvido (Kempa, 1991, pp. 119-128) y planificar revisiones y/
o profundizaciones de aquello que se considere realmente importante
para que los alumnos afiancen esos conocimientos, aunque ello obligue
a reducir el currículo eliminando aspectos que, de todas formas, serían
mal aprendidos y olvidados muy rápidamente.
Por último, pero no menos importante, hemos de referirnos a la

necesidad de que los estudiantes participen en la regulación de su propio
proceso de aprendizaje (Linn, 1987, pp. 191-216; Baird, 1986, pp.
263-282; Jorba y Sanmartí, 1993, pp. 20-30 y 1995, pp. 59-77;
Alonso, 1994) dándoles oportunidad de reconocer y valorar sus avances,
de rectificar sus ideas iniciales, de aceptar el error como parte del
proceso de construcción de conocimientos. Pero esto nos remite a las
formas de la evaluación, que abordaremos brevemente a continuación.
155
Cabe decir, en primer lugar, que una orientación constructivista

del aprendizaje permite que cada actividad realizada en clase por los
alumnos constituya una ocasión para el seguimiento de su trabajo, la
detección de las dificultades que se presentan, los progresos realizados,
etc. Es esta una forma de evaluación extraordinariamente eficaz para
incidir sobre la marcha en el proceso de aprendizaje, que se produce
además en un contexto de trabajo colectivo, sin la distorsión de la
ansiedad que produce una prueba individual. Ello no elimina, sin
embargo, la necesidad de actividades de evaluación personales que
permitan constatar el resultado de la acción educativa en cada uno de los
estudiantes y obtener información para reorientar convenientemente su
aprendizaje. A tal efecto consideramos muy conveniente la realización de
alguna pequeña prueba en la mayoría de las clases sobre algún aspecto
clave de lo que se ha venido trabajando. Ello permite:
• Impulsar al trabajo diario y comunicar seguridad en el propio

esfuerzo.
• Dar información al profesor y a los alumnos sobre los

conocimientos que se poseen, sobre las deficiencias que se
hayan producido –haciendo posible la incidencia inmediata
132
132
sobre las mismas– y sobre los progresos realizados, contribu-
yendo a crear expectativas positivas.
• Reunir un número elevado de resultados de cada alumno

reduciendo sensiblemente la aleatoriedad de una valoración
única.
Conviene discutir inmediatamente las posibles respuestas a la

actividad planteada, lo que permitirá conocer si la clase está o no
preparada para seguir adelante con posibilidades de éxito. Se favorece así
la participación de los alumnos en la valoración de sus propios ejercicios
y en su autorregulación (Alonso, Gil Pérez y Martínez Torregrosa, 1995b,
pp. 5-20). Se puede aprovechar también esta discusión –si se realiza al
comienzo de una clase– como introducción al trabajo del día, lo que
ayuda a centrar la atención de los estudiantes de una forma particular-
mente efectiva.
Pese al interés y efectividad de estas pequeñas pruebas, consi-

deramos que los exámenes o evaluaciones más extensos siguen siendo
necesarios. Es cierto que el examen es visto a menudo como simple
instrumento de calificación siendo criticado a justo título por lo que
156
A. VILCHES, D. GIL
supone de aleatoriedad, tensión bloqueadora, etc. (Gould, 1982); sin

embargo, un examen, o mejor dicho, una sesión de globalización, es
también ocasión para que el alumno se enfrente con una tarea compleja
y ponga en acción todos sus conocimientos. Por nuestra parte, asumien-
do la crítica que lo considera como instrumento exclusivo de calificación,
queremos referirnos al papel de las sesiones de globalización como
ocasión privilegiada de aprendizaje si se cumplen algunas condiciones.
En primer lugar es necesario que la sesión suponga la culmina-

ción de una revisión global de la materia considerada, incluyendo
actividades coherentes con un aprendizaje por construcción de conoci-
mientos: desde análisis cualitativos de situaciones abiertas al tratamien-
to de las relaciones ciencia-técnica-sociedad-ambiente; desde la cons-
trucción y fundamentación de hipótesis –más allá de las evidencias de
sentido común– a la interpretación de los resultados de un experimento,
etcétera.
Asimismo, es necesario que las condiciones de realización de

estas actividades globalizadoras sean compatibles con lo que supone una
construcción de conocimientos –que conlleva tentativas, rectificacio-
nes, etc.– y, en particular, que los estudiantes no se vean constreñidos 133
133
por limitaciones de tiempo que solo se compadecen con la simple
regurgitación de conocimientos memorizados.
En segundo lugar, es muy conveniente que el producto elabo-

rado por cada alumno en estas sesiones sea devuelto comentado lo antes
posible y que se discutan, cuestión por cuestión, las posibles respuestas,
las contribuciones positivas y los errores aparecidos, la persistencia de
preconcepciones, etc. Los estudiantes, con su producto delante, se
mantienen abiertos y participativos como nunca durante estas revisio-
nes, que constituyen actividades de autorregulación muy eficaces. Y es
también conveniente, tras esta discusión, solicitarles que rehagan la
tarea en su casa con todo cuidado y vuelvan a entregarla. Ello contribuye
a afianzar lo aprendido, como puede constatarse en los días siguientes
con la realización de pequeños ejercicios sobre los aspectos que hubieran
planteado más dificultades.
No podemos detenernos aquí en una descripción detallada de

cada uno de los momentos de evaluación a que nos acabamos de referir,
ni entrar siquiera a tocar otros aspectos de importancia como, por
ejemplo, el tipo de instrumentos destinados a la recogida de información
(Geli, 1995, pp. 25-32). Insistiremos tan sólo, para terminar, en que los
157
alumnos han de ver debidamente valoradas todas sus realizaciones, todos

sus productos colectivos o individuales –desde la construcción de un
instrumento hasta, muy en particular, su cuaderno o dossier de clase– y
no solamente aquellas planteadas como pruebas. Se incrementa así la
información disponible para valorar y orientar adecuadamente el apren-
dizaje de los estudiantes y se contribuye a que estos vean reconocidos
todos sus esfuerzos con el consiguiente efecto motivador. Se trata, en
definitiva, de lograr una total confluencia entre las situaciones de
aprendizaje y de evaluación (Pozo, 1992), explotando el potencial
evaluador de las primeras y diseñando las segundas como verdaderas
situaciones de aprendizaje.
Nos asomaremos ahora al programa PISA con objeto de mostrar

su adecuación a esta nueva orientación de la evaluación como instrumen-
to de aprendizaje, así como las limitaciones que ello encuentra debido a
la forma en que se presentan sus resultados.
5. PISA: UN PROGRAMA CONCEBIDO COMO INSTRUMENTO DE MEJORA

DE LA EDUCACIÓN
134
134
Conviene comenzar señalando que el proyecto PISA no constitu-
ye un simple instrumento de constatación, sino que ha sido explícitamen-
te concebido para contribuir a la mejora de la enseñanza, con orientacio-
nes que se apoyan en los resultados convergentes de la investigación
educativa de las últimas décadas. Así, para el caso particular de las
ciencias, sus documentos señalan:
El programa PISA considera que la formación científica es un

objetivo clave de la educación y debe lograrse durante el período
obligatorio de enseñanza, independientemente de que el alumnado
continúe sus estudios científicos o no lo haga ya que la preparación
básica en ciencias se relaciona con la capacidad de pensar en un
mundo en el que la ciencia y la tecnología influyen en nuestras
vidas. Considera, por tanto, que la formación básica en ciencias es
una competencia general necesaria en la vida actual.
Y se precisa seguidamente que la aptitud para las ciencias se

define como:
La capacidad para emplear el conocimiento científico para

identificar preguntas y obtener conclusiones basadas en pruebas,
con el fin de comprender y poder tomar decisiones sobre el mundo
158
A. VILCHES, D. GIL
natural y sobre los cambios que la actividad humana produce en él

(MEC, 2005).
De acuerdo con ello, el proyecto PISA evalúa el conocimiento

científico a través de tres grandes dimensiones, superando –lo que
constituye un primer e importante mérito– el habitual reduccionismo
conceptual de las actividades de evaluación ordinarias (Alonso, Gil Pérez
y Martínez Torregrosa, 1992, pp. 127-138; Tamir, 1998; Goñi, 2005,
pp. 28-31):
• Los procesos o destrezas científicas.
• Los conceptos y contenidos científicos.
• El contexto en el que se aplica el conocimiento científico.
Transcribiremos brevemente cómo se conciben estas tres di-

mensiones en el programa, lo que permite comprender su orientación.
5.1 LOS PROCESOS O DESTREZAS CIENTÍFICAS
Por lo que se refiere a los procesos o destrezas científicas, el

135
135
proyecto PISA identifica cinco procesos científicos y señala, como ele-
mento fundamental, que la evaluación de cada uno de ellos ayuda a
entender hasta qué punto la educación científica prepara a los futuros
ciudadanos para tomar decisiones sobre los cambios que la actividad
humana produce en el mundo natural. Dichos procesos son:
• Reconocer cuestiones científicamente investigables. Este

proceso implica identificar los tipos de preguntas que la
ciencia intenta responder, o bien reconocer una cuestión
que es, o puede ser, comprobada en una determinada
situación.
• Identificar las evidencias necesarias en una investigación

científica. Conlleva la identificación de las pruebas que se
precisan para contestar a los interrogantes que pueden
plantearse en una investigación científica. Asimismo, impli-
ca identificar o definir los procedimientos necesarios para la
recogida de datos.
• Extraer o evaluar conclusiones. Este proceso implica rela-

cionar las conclusiones con las pruebas en las que se basan
159
o deberían basarse. Por ejemplo, presentar a los estudiantes

el informe de una investigación dada para que deduzcan una
o varias conclusiones alternativas.
• Comunicar conclusiones válidas. Este proceso valora si la

expresión de las conclusiones que se deducen a partir de una
prueba es apropiada a una audiencia determinada. Lo que se
valora en este procedimiento es la claridad de la comunica-
ción más que la conclusión.
• Demostrar la comprensión de conceptos científicos. Se trata

de demostrar si existe la comprensión necesaria para utilizar
los conceptos en situaciones distintas de aquellas en las que
se aprendieron. Esto supone no solo recordar el conocimien-
to sino también saber exponer la importancia del mismo, o
utilizarlo para hacer predicciones o dar explicaciones.
5.2 LOS CONCEPTOS Y CONTENIDOS CIENTÍFICOS
Por lo que respecta a los conceptos y contenidos se señala que

136
136 el programa PISA no pretende identificar todos los conceptos que podrían
estar asociados a los grandes temas científicos para ser objeto de
evaluación, sino que define una serie de temas principales de la ciencia,
a partir de los cuales se hace un muestreo seleccionando los contenidos
a incluir, según cuatro criterios de relevancia:
• Que aparezcan en situaciones cotidianas y tengan un alto

grado de utilidad en la vida diaria.
• Que se relacionen con aspectos relevantes de la ciencia,

seleccionando aquellos que con más probabilidad manten-
gan su importancia científica en el futuro.
• Que sean aptos y relevantes para detectar la formación

científica del alumnado.
• Que sean idóneos para ser utilizados en procesos científicos

y no que solo correspondan a definiciones o clasificaciones
que únicamente deben ser recordadas.
160
A. VILCHES, D. GIL
5.3 EL CONTEXTO EN EL QUE SE APLICA EL CONOCIMIENTO CIENTÍFICO
Conviene destacar, por último, la importancia concedida por el

proyecto PISA al contexto, tan a menudo ausente en las evaluaciones pero
esencial para que la educación científica contribuya a formar ciudada-
nos preparados para participar en las necesarias tomas de decisiones
frente a la actual situación de emergencia planetaria (Comisión Mundial
del Medio Ambiente y del Desarrollo, 1988; Tilbury, 1995, pp. 195-
212; Vilches y Gil Pérez, 2003 y 2009, pp. 101-122.). El proyecto se
refiere aquí a las situaciones y áreas en las que el alumnado tiene que
aplicar sus conocimientos científicos, resaltando los contextos donde se
aplican y dando prioridad a los que se relacionan con problemas y temas
que tienen repercusión en el bienestar humano y precisan la toma de
decisiones.
Los espacios de aplicación de las ciencias en el proyecto

aparecen agrupados en tres grandes áreas:
• Las ciencias de la vida y la salud.
• Las ciencias de la Tierra y del medio ambiente.

137
137
• Las ciencias y el desarrollo tecno-científico.
Atendiendo a todo lo que acabamos de resaltar como elementos

básicos de la forma en que el proyecto evalúa el conocimiento científico,
podemos afirmar que el tener en cuenta estas tres dimensiones favorece
la inmersión en la cultura científica, saliendo al paso de visiones
deformadas y empobrecidas de la ciencia y la tecnología (McComas,
1998; Gil Pérez y otros, 2005b, pp. 309-320). Ejemplos de las
actividades de evaluación utilizadas en la edición de 2006 siguiendo los
criterios enunciados pueden consultarse en OCDE (2006).
Una idea central del proyecto PISA es que con el enfoque de la

evaluación propuesta –que considera la aplicación del conocimiento
científico en vez de la memorización de conceptos– se puede favorecer
el desarrollo de una didáctica coherente con los logros a conseguir, por
ejemplo resolver problemas que se plantean en la vida real tales como
situaciones de viaje, compra, domésticas, económicas, etc., y, en última
instancia, mejorar el rendimiento de los estudiantes.
Conviene resaltar que esta estrecha relación entre innova-

ción educativa y evaluación, como aparece en el programa, ha sido
161
reiteradamente puesta de relieve por la investigación (Tamir, 1998; Gil

Pérez y Martínez Torregrosa, 2005, pp. 159-182). Muy en particular, los
investigadores han llamado la atención sobre la necesidad de acompañar
las innovaciones curriculares de transformaciones similares en la evalua-
ción, para contribuir a consolidar el necesario cambio de modelo didác-
tico (Linn, 1987, pp. 191-216). Porque si la evaluación sigue consis-
tiendo en ejercicios para constatar el grado de retención de algunos
conocimientos conceptuales, este será para los alumnos, y gran parte del
profesorado, el verdadero objetivo del aprendizaje. Como señala Acevedo
(2005, pp. 282-301), las evaluaciones externas, bien planteadas,
pueden servir de acicate para orientar la enseñanza de las ciencias hacia
las innovaciones de los currículos, reformados en consonancia con las
aportaciones de la investigación en didáctica de las ciencias.
El propósito del proyecto PISA es, precisamente, influir en la

enseñanza mediante un replanteamiento de la evaluación, favoreciendo
al propio tiempo una reflexión sobre los problemas de la educación en una
escala internacional y el intercambio de planteamientos, rompiendo el
aislamiento de sistemas educativos estancos e impulsando de ese modo
las nuevas propuestas didácticas.
138
138
Un proyecto como el que nos ocupa se revela, pues, como un
instrumento de gran potencialidad para contribuir a la necesaria renova-
ción de la enseñanza de las ciencias y otras áreas de conocimiento. Ahora
bien, ¿hasta qué punto un programa de estas características está
cumpliendo esta función? Como intentaremos mostrar justificadamente
en el siguiente apartado, hasta aquí no ha desempeñado el papel para el
que ha sido concebido y debe llegar a desempeñar. Ofreceremos datos
correspondientes a España, pero nos consta que la situación es similar en
Portugal y todo el ámbito iberoamericano.
6. UN INSTRUMENTO DE MEJORA DE LA EDUCACIÓN DESAPROVECHADO
Una primera condición para que un sistema de evaluación

influya sobre la enseñanza es que sea conocido por el profesorado. Cabe,
pues, preguntarse, si el profesorado del nivel al que se aplican las pruebas
diseñadas por el programa PISA conoce las orientaciones del mismo, las
características de las pruebas, lo que se pretende medir con ellas,
etcétera.
162
A. VILCHES, D. GIL
Un amplio estudio de campo consistente en entrevistar a

profesores de ciencias de más de dos docenas de centros de la Comuni-
dad Autónoma de Valencia, y de otro tanto de otras comunidades
(Andalucía, Asturias, Canarias, Cataluña, Extremadura, Madrid y País
Vasco) nos ha permitido constatar el prácticamente nulo conocimiento
que el profesorado tiene sobre los contenidos y las orientaciones de las
pruebas utilizadas por el proyecto PISA (Gil Pérez y Vilches, 2006, pp.
295-311). Ello resulta lógico porque, como señalan los entrevistados, ni
ha llegado información oficial a los centros, ni se les ha impulsado a
acceder a las páginas web que incluyen ejemplos de las pruebas y su
fundamentación –que desconocían. Tampoco los medios de comunica-
ción, que se han hecho amplio eco de los resultados de dichas pruebas,
han contribuido a dar a conocer su contenido y orientaciones. Y lo mismo
puede decirse de la generalidad de los artículos de las revistas especia-
lizadas que, con raras y recientes excepciones (Acevedo, 2005, pp. 282-
301; Goñi, 2005, pp. 28-31), se han ocupado, en general, de discutir
los informes (centrados en el análisis estadístico de los resultados).
En consecuencia, cabe concluir que se está desaprovechando

el papel orientador que las evaluaciones trienales –la llevada a cabo el
año 2006 concedió una especial atención a los conocimientos cientí- 139
139
ficos– realizadas y proyectadas pudieran y debieran tener sobre el tipo de
actividades que se realizan en el aula (Jiménez Aleixandre y otros, 2009).
Peor aún, podemos hablar de desorientación provocada por los informes
dados a conocer y, muy en particular, por la abundante atención que los
medios de comunicación les han prestado.
En efecto, la publicación del informe PISA 2006 ha dado lugar

a las mismas abundantes críticas y lamentaciones acerca del fracaso de
nuestro sistema educativo –y, en particular, de la educación científica–
que provocó el informe de 2003, a causa del lugar que ocupa España en
el conjunto de países de la OCDE. Nos remitimos, pues, a las considera-
ciones que entonces hicimos para ayudar a una reflexión reposada y
evitar la obnubilación que producen las apariencias (Gil Pérez y Vilches,
2005, pp. 16-19).
Supongamos que en un centro educativo se comparan las notas

medias de matemáticas obtenidas en tres grupos-clase distintos y que
dichas notas son, respectivamente 4,9; 5,0 y 5,5. ¿Cuál sería nuestra
valoración de dichos resultados? ¿Lamentaríamos escandalizados los
resultados obtenidos en el primer grupo por quedar detrás de los otros
dos? Seguro que no, claro está; nadie con una mínima sensatez diría que
163
dichas notas medias son significativamente distintas. Nadie alabaría la

brillantez del tercer grupo ni se escandalizaría por los mediocres resul-
tados del primero (los tres recibirían un simple aprobado). Sin embargo,
eso es exactamente lo que estamos haciendo al interpretar los datos
ofrecidos por el informe PISA.
En efecto, en la edición de PISA 2003 en lo que se refiere, por

ejemplo, a la cultura científica, España obtiene 487 puntos y queda
por debajo de la media (500), mientras los países mejor clasificados,
Japón y Finlandia, obtienen 548 puntos. Unas sencillas proporciones nos
permiten calcular que, si asignamos a la media de la OCDE una clasifica-
ción de 5 a España le corresponde un 4,9 y a Finlandia o Japón, un 5,5.
Igualmente pequeñas son las diferencias en comprensión de la escritura
y en matemáticas: también en estos casos España obtiene una nota de
4,9 con relación al 5 correspondiente a la media.
Nada justifica, pues, el alarmismo con que han sido valorados

los resultados del informe PISA, ni en esa edición de 2003 ni en ninguna
de ellas para el caso de España o Portugal, puesto que en él no se muestra
otra cosa que una homogeneidad de resultados en el conjunto de los
140
140 países de la OCDE y la necesidad de mejoras en todos ellos (Carabaña,
2008, pp. 26-29; Tiana, 2008, pp. 48-51; Vilches y Gil Pérez, 2008,
pp. 84-88).
Merece la pena reflexionar sobre la forma en que se proporcio-

nan dichos resultados «secuela, sin duda –comenta con acierto De Pro
(2005, p. 32)– del arraigo que tienen las aficiones deportivas en nuestro
contexto». Si presentamos un listado ordenado según la puntuación
obtenida por cada país, es obvio que siempre habrá países por arriba y por
debajo de la media. Y si nos fijamos primordialmente en el orden, países
con resultados prácticamente idénticos recibirán alabanzas o críticas.
Pero, ¿aceptaríamos que se hiciera lo mismo con la valoración del trabajo
de cada alumno y se enviara a sus padres un boletín de notas en el que
se indicara, por ejemplo, que el alumno ha obtenido un pobre resultado
porque ocupa el lugar 23 (de 30), aunque su nota no difiriera de la de
quien ocupa el primer lugar más que en alguna décima? Eso es lo que
ocurre con el informe PISA.
Debemos insistir en que, en contra de las interpretaciones

distorsionadas que se están realizando, la aplicación de las reformas
educativas no se ha visto traducida en peores resultados sino que ha
mantenido el nivel medio, pese a la incorporación de nuevos sectores de
164
A. VILCHES, D. GIL
población derivada de la ampliación de la escolarización obligatoria

(Goñi, 2005, pp. 28-31).
No son, pues, las lecturas «deportivas» de los ranking que

muestran los informes PISA las que pueden ayudarnos a mejorar el
sistema educativo. Otro tipo de análisis y otro tipo de medidas pueden y
deben ayudarnos a aprovechar las potencialidades transformadoras del
proyecto en cuestión (Gil Pérez y Vilches, 2006, pp. 295-311).
7. ¿CÓMO APROVECHAR LAS POTENCIALIDADES DEL PROGRAMA PISA?
Una primera medida que se debería adoptar con urgencia, si

nuestras autoridades académicas conceden importancia a los informes
del proyecto analizado y están preocupadas por los resultados que
muestran, es la de proceder a dar la máxima difusión a las orientaciones
y fundamentación del proyecto, proporcionando suficientes ejemplos
para ayudar a reorientar la enseñanza en la dirección que este marca. Una
orientación que viene apoyada por una amplia investigación educativa y
responde a los planteamientos de las reformas curriculares que están
produciéndose en los países de la Unión Europea, incluido el nuestro. 141
141
Precisamente, esta coherencia básica entre la orientación del programa
PISA y las propuestas curriculares de la actual Ley Orgánica de Educación
(LOE), lo convierte en un instrumento privilegiado para hacer avanzar
dichas reformas. Pero para ello debería procederse a una petición
explícita y fundamentada a los departamentos de los centros para que
analizaran cuidadosamente los materiales del proyecto y consideraran la
conveniencia de utilizarlos como instrumento de evaluación y de ense-
ñanza.
En segundo lugar, sería necesario presentar los resultados de

una forma muy diferente a como se viene haciendo. Lo que importa no
es si las medias obtenidas por los estudiantes de un país están unas
centésimas por debajo o por arriba de las de otro. Lo que realmente
interesa es conocer en qué medida los estudiantes alcanzan los logros
deseados, cuáles son las deficiencias y los obstáculos detectados, y
utilizar dicha información para reorientar la acción educativa con vistas
a mejorar el aprendizaje, la enseñanza y el propio currículo (Tamir,
1998) sin olvidar la mejora de las pruebas de evaluación utilizadas. Esto
último es de la mayor importancia: las propuestas del proyecto PISA no
deben considerarse como algo intocable y deben someterse al escrutinio
165
de su coherencia con los resultados de la investigación educativa y, por

tanto, a su reorientación, si fuera necesario, para que contribuyan al logro
de los objetivos planteados. Para el caso de educación científica, en
particular, queremos señalar que, en coherencia con los resultados de la
investigación en didáctica de las ciencias, es preciso enriquecer aún más
el contenido de las pruebas.
La toma en consideración de la naturaleza de la actividad

científica y tecnológica (McComas, 1998; Gil Pérez y otros, 2005b, pp.
309-320), así como el desarrollo del modelo de aprendizaje como
investigación orientada, fruto convergente de numerosas investigaciones
(Gabel, 1994; National Academy of Sciences, 1995; Fraser y Tobin,
1998; Rocard y otros, 2007) permite romper con dichas tradiciones e
incluir toda una pluralidad de aspectos como los que recogemos en el
cuadro 1, planteado como una red para el análisis del contenido de las
pruebas de evaluación (Gil Pérez y Martínez Torregrosa, 2005).
CUADRO 1
Análisis de la presencia de actividades de evaluación coherentes
con las estrategias de construcción de conocimientos científicos
142
142
1. ¿Se incluyen situaciones problemáticas abiertas que permitan a
los estudiantes formular preguntas, plantear problemas?
2. ¿Se piden comentarios sobre el posible interés de las situaciones

propuestas (considerando las posibles implicaciones CTSA, la
toma de decisiones, la relación con el resto del programa, etc.)?
3. ¿Se piden análisis cualitativos, significativos, que eviten el mero

operativismo y ayuden a comprender y acotar las situaciones
planteadas?
4. ¿Se pide la emisión de hipótesis, fundamentadas en los conoci-

mientos disponibles, susceptibles de orientar el tratamiento de las
situaciones y de hacer explícitas, funcionalmente, las
preconcepciones?
—¿Se plantea, al menos, el manejo o el análisis crítico de
alguna hipótesis?
— ¿Se incluyen actividades que supongan atención a las
preconcepciones (contempladas como hipótesis)?
5. ¿Se plantea la elaboración de estrategias (en plural), incluyendo,
en su caso, diseños experimentales?
— ¿Se pide, al menos, la evaluación crítica de algún diseño?
166
A. VILCHES, D. GIL
— ¿Se presta atención a la actividad práctica en sí misma

(montajes, medidas, etc.) dándole a la dimensión tecnoló-
gica el papel que le corresponde en este proceso?
— ¿Se presta atención, en particular, al manejo de la tecnolo-
gía actual (ordenadores, electrónica, automatización, etc.)
con objeto de favorecer una visión más correcta de la
actividad científico-técnica contemporánea?
6. ¿Se piden análisis detenidos de los resultados (su interpretación
física, fiabilidad, etc.), a la luz del cuerpo de conocimientos
disponible, de las hipótesis manejadas y/o de otros resultados?
— ¿Se pide, en particular, el análisis de los posibles conflictos
cognitivos entre algunos resultados y las concepciones
iniciales?
— ¿Se favorece la «autorregulación» del trabajo de los alum-
nos (proporcionando, por ejemplo, indicadores que les
permitan comprobar si van o no en una dirección correcta)?
— ¿Se incluyen actividades para que los estudiantes cotejen su
evolución conceptual y metodológica con la experimentada
históricamente por la comunidad científica?
7. ¿Se piden esfuerzos de integración que consideren la contribución
de los estudios realizados a la construcción de un cuerpo coheren-
te de conocimientos (al afianzamiento o reforzamiento del mismo, 143
143
a la superación de supuestas barreras, etc.), las posibles
implicaciones en otros campos de conocimientos, etc.?
— ¿Se pide algún trabajo de construcción de síntesis, mapas
conceptuales, etc., que ponga en relación conocimientos
diversos?
8. ¿Se pide la consideración de posibles perspectivas (replantea-
miento del estudio a otro nivel de complejidad, problemas deriva-
dos, etc.)?
— ¿Se incluyen, en particular, actividades relativas a las
implicaciones CTSA del estudio realizado (posibles aplicacio-
nes, transformaciones sociales, repercusiones negativas,
etc.), a la toma de decisiones, en particular, frente a los
graves problemas que afectan a la humanidad y la necesidad
de contribuir a un futuro sostenible, saliendo al paso de la
concepción que reduce la tecnología a mera aplicación de
la ciencia?
— ¿Se incorporan actividades que presten atención a la educa-
ción no formal (museos, prensa, etc.)?
— ¿Se valoran los «productos» elaborados por los estudiantes
(prototipos, colecciones de objetos, carteles, etc.) expre-
sión de las estrechas relaciones ciencia-tecnología?
167
9. ¿Se valora la comunicación como aspecto esencial de la actividad

científica?
— ¿Se plantea la elaboración de memorias científicas del trabajo
realizado?
— ¿Se pide la lectura y comentario crítico de textos científicos?
— ¿Se pone en contacto a los estudiantes con la historia de la
ciencia?
— ¿Se presta atención a la verbalización y argumentación,
solicitando comentarios significativos que eviten el
«operativismo mudo»?
— ¿Se hace un seguimiento cuidadoso del dossier de los
alumnos como memoria ordenada del trabajo realizado?
10. ¿Se potencia en la evaluación la dimensión colectiva del trabajo
científico valorando los trabajos realizados en equipo, prestando
atención al funcionamiento de los grupos de trabajo, etc.?
— ¿Se favorece la interregulación de los equipos?
— ¿Se potencia el manejo funcional del cuerpo de conocimien-
tos aceptado por la comunidad científica (sin exigir memo-
rizaciones irracionales)?
— ¿Se presta atención, en ese sentido, a que los prerrequisitos
no se conviertan en obstáculo para las tareas propuestas?
144
144
Si analizamos con dicha red los ejemplos de pruebas del

proyecto PISA dados a conocer, así como sus presupuestos teóricos,
encontraremos una aceptable similitud entre ambas propuestas, aunque
es preciso llamar la atención acerca de olvidos fundamentales como es
el de la emisión de hipótesis, que encontramos escasamente presente en
lo que se ha hecho público del proyecto hasta el momento. Se trata de
carencias que deben ser señaladas y corregidas y que afectan también,
sin duda, a otras áreas y competencias básicas (Gimeno Sacristán, 2008,
pp. 52-55), pero ello no obsta para reconocer el avance que el mismo
supone. Para ilustrar sus virtualidades, incluiremos a continuación
algunos ejemplos de las pruebas utilizadas en su edición de 2006
(Vilches y Gil Pérez, 2008, pp. 84-88).
8. EJEMPLOS ILUSTRATIVOS DE LAS CARACTERÍSTICAS

DE LAS PRUEBAS PISA
Las pruebas que incluimos en este apartado pueden ser consul-

tadas, como ya hemos indicado anteriormente, en OCDE (2006) junto a
168
A. VILCHES, D. GIL
muchas otras correspondientes a la edición de 2003. Veamos un primer

ejemplo:
Para beber durante el día, Pedro tiene una taza con café caliente a una
temperatura aproximada de 90º centígrados y una taza con agua
mineral fría a una temperatura aproximada de 5º centígrados. El tipo
y el tamaño de las dos tazas son idénticos y el volumen de cada una
de las bebidas también es el mismo. Pedro deja las tazas en una
habitación donde la temperatura es de unos 20º centígrados.
¿Cuáles serán probablemente las temperaturas del café y del agua

mineral al cabo de 10 minutos?
A. 70º centígrados y 10º centígrados.

B. 90º centígrados y 5º centígrados.
C. 70º centígrados y 25º centígrados.
D. 20º centígrados y 20º centígrados.
Como puede constatarse, la correcta realización de un ejercicio

como el anterior demanda, sobre todo, razonamiento lógico y tomar en
consideración vivencias cotidianas. Sin necesidad ni posibilidad de
recurrir a un operativismo ciego, o a conocimientos memorizados acerca
del equilibrio térmico, el estudiante puede razonar que no es posible, por
145
145
ejemplo, que el agua fría alcance una temperatura superior a la del
ambiente (lo que excluye la respuesta C); tampoco es verosímil que el
café y el agua se mantengan en su temperatura inicial (respuesta B).
Quedan como posibles las respuestas A y D, pero la D (igualación con la
temperatura ambiente) exigiría bastante más tiempo que los 10 minutos
transcurridos. Así, pues, queda la respuesta A como la que mejor indica
la temperatura probable del café y el agua mineral.
Que un porcentaje elevado de adolescentes de 15 años no

resuelva adecuadamente este ejercicio pone en evidencia, sobre todo,
que nuestros estudiantes no están familiarizados con este tipo de
actividad, que exige razonamiento en vez de memorización de cono-
cimientos.
La consulta de los ejemplos consignados en PISA muestra otras

diferencias con los ejercicios habitualmente propuestos: así, la cuestión
anterior acerca de la variación de la temperatura del café y del agua fría,
forma parte de un conjunto de tres preguntas correspondientes a una
misma situación («Pedro está haciendo obras de reparación en un
edificio antiguo…»). No se trata, pues, de preguntas sueltas y descon-
169
textualizadas. Podemos apreciar esto en las tres cuestiones siguientes,

relacionadas con la acción de fumar, planteadas también en 2006:
El humo del tabaco que se inhala va a parar a los pulmones. El

alquitrán presente en el humo se deposita en los pulmones, impidiendo
su buen funcionamiento.
¿Cuál de las siguientes funciones es propia de los pulmones?
A. Bombear sangre oxigenada a todas las partes del cuerpo.

B. Transferir una parte del oxígeno que se respira a la sangre.
C. Purificar la sangre reduciendo a cero el contenido en dióxido de carbono.
D. Transformar las moléculas de dióxido de carbono en moléculas de oxígeno.
Algunas personas usan parches de nicotina para dejar de fumar. Los

parches se pegan a la piel y liberan nicotina en la sangre. De este modo
se reducen la ansiedad y el síndrome de abstinencia de la gente que
ha dejado de fumar. Para estudiar la efectividad de los parches de
nicotina se escoge al azar un grupo de 100 fumadores que quieran
dejar de fumar. Este grupo será sometido a un estudio durante seis
meses. La efectividad de los parches de nicotina se medirá compro-
146
146 bando cuántas personas del grupo no han conseguido dejar de fumar
a la conclusión del estudio.
¿Cuál de los siguientes modelos será el mejor para llevar a cabo el

experimento?
A. Todas las personas del grupo llevan parches.

B. Todos llevan parches menos una persona que trata de dejar de fumar sin
recurrir a ellos.
C. Las personas deciden si utilizarán o no parches para dejar de fumar.
D. Se escoge al azar a la mitad del grupo para que lleven parches, mientras
que la otra mitad no los llevará.
Existen varios métodos para inducir a la gente a que deje de fumar. ¿Se
basa en la tecnología alguna de las siguientes formas de abordar este
problema?
Rodea con un círculo «Sí» o «No» para cada caso.
— Prohibir fumar en lugares públicos. Sí No

— Incrementar el precio de los cigarrillos. Sí No
— Fabricar parches de nicotina que ayuden a la gente
a dejar de fumar cigarrillos. Sí No
170
A. VILCHES, D. GIL
Como vemos, se trata de cuestiones que obligan a razonar en

torno a una situación de indudable interés –la acción de fumar o dejar
de hacerlo– abordando por un lado cómo hacerle frente y, por otro, sus
consecuencias. Estas tres cuestiones se completan con otra, explícita-
mente orientada a conocer, y en alguna medida, provocar, el interés de
los estudiantes por profundizar en esta problemática:
Interesado
¿Cómo estás de interesado en la siguiente información?
Muy Algo Poco Nada
a) Conocer de qué manera el alquitrán del tabaco

reduce la eficacia de los pulmones.
b) Comprender por qué la nicotina crea adicción.
c) Aprender cómo se recupera el cuerpo tras haber

dejado de fumar.
Cada una de estas situaciones es comentada con algún detalle

dando a conocer lo que se consideran respuestas aceptables, etc.
Veremos esto en un último ejemplo particularmente interesante, puesto
que plantea las consecuencias ambientales y para la salud de un
determinado desarrollo tecnocientífico. Se contribuye así a la formación
147
147
de los futuros ciudadanos para participar en la toma de decisiones en
torno a los problemas socioambientales a los que se enfrenta hoy la
humanidad, tal como lo ha solicitado Naciones Unidas a los educadores
de todas las áreas y niveles, instituyendo la Década de Educación para el
Desarrollo Sostenible para el período 2005-20141.
¿Un riesgo para la salud?

Imagina que vives cerca de una gran planta química que produce
fertilizantes agrícolas. En los últimos años se han dado en la zona
varios casos de personas aquejadas de problemas respiratorios cróni-
cos. Mucha gente de la zona cree que esos síntomas son producidos
por los gases tóxicos que emite la planta de fertilizantes químicos
situada en el vecindario. Se ha convocado una reunión pública para
debatir los peligros potenciales que puede representar la planta
química para los residentes en la zona. A la reunión asistieron unos
científicos que realizaron las siguientes declaraciones.
1
Proclamación de la Década de las Naciones Unidas de la Educación para el
Desarrollo Sostenible. Resolución 57/254 aprobada por la Asamblea General de las
Naciones Unidas el 20 de diciembre de 2002. Disponible en: <http://www.oei.es/decada/
resonu.htm>.
171
Declaración de los científicos contratados por la empresa química

«Hemos realizado un estudio de la toxicidad del suelo en la zona. En
las muestras que hemos tomado no hemos hallado ninguna prueba que
indique la presencia de agentes químicos tóxicos.»
Declaración de los científicos contratados por los residentes preocupados

por la situación
«Hemos estudiado el número de casos de problemas respiratorios
crónicos en la zona y lo hemos comparado con el número de casos en
una zona que se encuentra bastante más alejada de la planta química.
El número de casos en la zona próxima a la planta química es mucho
mayor.»
Pregunta 1
El propietario de la planta química se basó en la declaración de los
científicos contratados por la empresa para argumentar que «la
emisión de gases de la planta no constituye una amenaza para la salud
de las personas que residen en la zona». Da una razón, que no sea la
expuesta por los científicos contratados por los residentes, que
permita poner en duda que la declaración de los científicos contrata-
148
148 dos por la empresa respalde la argumentación del propietario.
En los comentarios a esta pregunta se indica que ha de

considerarse válida «cualquier razón adecuada que permita poner en
duda que la declaración respalde la argumentación del propietario»:
— Puede no haberse identificado el carácter tóxico de las sustancias

que provocan los problemas respiratorios.
— Puede que los problemas respiratorios hayan sido causados cuan-
do las sustancias químicas se encontraban en el aire en lugar de
en la tierra.
— Las sustancias tóxicas pueden cambiar/descomponerse con el
paso del tiempo, de tal modo que no presenten rasgos tóxicos en
el suelo.
— No sabemos si se tomó un volumen de muestras suficientemente
representativo de la zona.
— Porque los científicos trabajan para la empresa.
— Los científicos tenían miedo de perder su empleo.
Y lo mismo se hace con otras preguntas de esta interesante

situación, que plantea a los estudiantes el reto de participar en la toma
de decisiones fundamentadas:
172
A. VILCHES, D. GIL
Describe una ventaja y una desventaja concretas del empleo del viento
para generar energía eléctrica en comparación con el empleo de
combustibles fósiles, como por ejemplo el carbón y el petróleo.
Ventaja:
Desventaja:
La cuestión va acompañada de una serie de ejemplos de

ventajas y desventajas que pueden ser mencionadas:
Ventajas. No libera dióxido de carbono (CO2). No consume combustibles

fósiles. El viento es un recurso natural que no se agota. Una vez
instalado el aerogenerador, el coste de la producción de energía
eléctrico es bajo. No se emiten residuos ni sustancias tóxicas. Usa
fuerzas naturales o energía limpia. Es respetuoso con el medio
ambiente y durará mucho tiempo.
Desventajas. No se puede generar electricidad según la demanda

(porque no se puede controlar la velocidad del viento). El número de
emplazamientos adecuados para los aerogeneradores es limitado. Un
viento fuerte puede dañar los aerogeneradores. La cantidad de energía
producida por cada aerogenerador no es muy grande. En algunos casos
dan lugar a contaminación acústica. En ocasiones los pájaros mueren 149
149
al estrellarse contra los rotores. Afean el paisaje (contaminación
visual). Son caros de instalar.
9. ¿QUÉ PODEMOS HACER CON PISA?
Los ejemplos que acabamos de comentar permiten apreciar

que, como ya hemos señalado, un propósito fundamental del proyecto
PISA es influir en la enseñanza a través de un profundo replanteamiento
de la evaluación. Un replanteamiento que incorpora las dimensiones
procedimental y axiológica a la conceptual y rompe con la memorización
de conceptos para plantear la aplicación de los conocimientos en
situaciones abiertas de interés.
La cuidadosa consideración de aquello que debe ser evaluado

resulta esencial, insistimos, para evitar reduccionismos empobrecedores
y ha de enfrentarse a tradiciones que sistemáticamente han limitado la
evaluación a los aspectos más fáciles de medir. Se trata de algo
absolutamente necesario para contribuir a la formación de ciudadanos
capaces de participar, con espíritu crítico, en la toma de decisiones
173
acerca de los problemas relacionados con el desarrollo tecnocientífico y

para sentir la emoción que provocan los apasionantes desafíos a los que
se ha enfrentado, y sigue enfrentándose, la comunidad científica (Bybee,
1997; Gil Pérez y Vilches, 2004, pp. 259-272).
Queremos finalizar insistiendo en la necesidad de dar a conocer

los materiales del proyecto PISA al conjunto del profesorado, con la
petición explícita y fundamentada de que se analicen cuidadosamente y
se considere la conveniencia de utilizarlos como instrumento de evalua-
ción y de enseñanza. Si esto no se produce, no debería extrañarnos que
los resultados de las próximas evaluaciones PISA sean semejantes a los
obtenidos hasta ahora. El mejor uso que podemos dar al proyecto es,
precisamente, facilitar su conocimiento para que desempeñe su papel
orientador en la renovación de la enseñanza.
BIBLIOGRAFÍA
150
150
ABD-EL-KHALICK, Fouad y OTROS (2004). «Inquiry in Science Education: International
Perspectives», en Science Education, vol. 88, n.º 3.
ACEVEDO, José Antonio (2005). «TIMSS y PISA. Dos proyectos internacionales de evaluación
del aprendizaje escolar en ciencias», en Revista Eureka sobre Enseñanza y
Divulgación de las Ciencias, vol. 2, n.º 3. Disponible en: <http://www.apac-
eureka.org/revista/Volumen2/Numero_2_3/Acevedo__2005.pdf>, consulta
diciembre de 2009.
ALONSO, Manuel (1994). La evaluación en la enseñanza de la Física como instrumento de

aprendizaje. Tesis doctoral, Universidad de Valencia. Resumen en ALONSO,
Manuel (1996). Resúmenes de Premios Nacionales a la Investigación e
Innovación Educativas, 1994. CIDE, MEC.
— GIL PÉREZ, Daniel y MARTÍNEZ TORREGROSA, Joaquín (1992). «Los exámenes de Física
en la enseñanza por transmisión y en la enseñanza por investigación», en
Enseñanza de las Ciencias. Revista de Investigación y Experiencias Didácticas,
vol. 10, n.º 2.
— (1995a). «Concepciones docentes sobre la evaluación en la enseñanza de las ciencias»,

en revista Alambique, n.º 4.
— (1995b). «Actividades de evaluación coherentes con una propuesta de enseñanza de

la Física y la Química como investigación: actividades de autorregulación e
interregulación», en Revista de Enseñanza de la Física, vol. 8, n.º 2.
— (1996). «Evaluar no es calificar. La evaluación y la calificación en una enseñanza

constructivista de las ciencias», en Investigación en la Escuela, n.º 30.
174
A. VILCHES, D. GIL
BAIRD, John R. (1986). «Improving Learning through Enhanced Metacognition: A Classroom

Study», en International Journal of Science Education, vol. 8, n.º 3.
BYBEE, Roger (1997). «Towards an Understanding of Scientific Literacy», en GRÄBER,

Wolfgang y BOLTE, Claus (eds.) Scientific Literacy: Anb International Symposium.
Kiel: IPN-Institute for Science Education at the University of Kiel.
CARABAÑA, Julio (2008). «Europeos», en Cuadernos de Pedagogía, n.º 381.
COLOMBO, Leonor, PESA, Marta y SALINAS, Julia (1986). «La realimentación en la

evaluación en un curso de laboratorio de Física», en Enseñanza de las Ciencias.
Revista de Investigación y Experiencias Didácticas, vol. 4, n.º 2.
COMISIÓN MUNDIAL DEL MEDIO AMBIENTE Y DEL DESARROLLO (1988). Nuestro futuro
común. Madrid: Alianza.
DE PRO, Antonio (2005). «Muchos interrogantes ante los resultados obtenidos en ciencias
en el proyecto PISA», en revista Aula de Innovación Educativa, n.º 139.
DUSCHL, Richard A. (1995). «Más allá del conocimiento: los desafíos epistemológicos y
sociales de la enseñanza mediante el cambio conceptual», en Enseñanza de
las Ciencias. Revista de Investigación y Experiencias Didácticas, vol. 13, n.º 1.
FRASER, Barry J. y TOBIN, Kenneth G. (eds.) (1998). International Handbook of Science

Education. Londres: Kluwer Academic Publishers.
GABEL, Dorothy L. (ed.) (1994). Handbook of Research on Science Teaching and Learning.
Nueva York: McMillan. 151
151
GELI, Anna Maria (1995). «La evaluación de los trabajos prácticos», en revista Alambique,
n.º 4.
GIL PÉREZ, Daniel y VILCHES, Amparo (2004). «La contribución de la ciencia a la cultura
ciudadana», en C&E. Cultura y Educación, vol. 16, n.º 3.
— (2005). «El “escándalo” del Informe PISA», en revista Aula de Innovación Educativa,
n.º 139.
GIL PÉREZ, Daniel y MARTÍNEZ TORREGROSA, Joaquín (2005). «¿Para qué y cómo evaluar?
La evaluación como instrumento de regulación y mejora del proceso de
enseñanza-aprendizaje», en Daniel GIL PÉREZ y OTROS (eds.). ¿Cómo promover
el interés por la cultura científica? Una propuesta didáctica fundamentada
para la educación científica de jóvenes de 15 a 18 años. Santiago de Chile:
Oficina Regional de Educación para América Latina y el Caribe (OREALC) /
UNESCO. Disponible en: <http://www.oei.es/decada/libro.htm>.
GIL PÉREZ, Daniel y OTROS (eds.) (2005a). ¿Cómo promover el interés por la cultura
científica? Una propuesta didáctica fundamentada para la educación científica
de jóvenes de 15 a 18 años. Santiago de Chile: OREALC / UNESCO. Disponible
en: <http://www.oei.es/decada/libro.htm>.
— (2005b). «Technology as “Applied Science”: A Serious Misconception that Reinforces

Distorted and Impoverished Views of Science», en Science & Education, vol.
14, n.os 3-5.
175
GIL PÉREZ, Daniel y VILCHES, Amparo (2006). «¿Cómo puede contribuir el proyecto PISA
a la mejora de la enseñanza de las ciencias (y de otras áreas de conocimiento)?»,
en Revista de Educación, número extraordinario 1. Disponible en: <http://
www.revistaeducacion.mec.es/re2006/re2006_17.pdf>.
GIMENO SACRISTÁN, José (2008). «El poder de un tipo de literatura en educación», en

revista Cuadernos de Pedagogía, n.º 381.
GOÑI, Jesús M. (2005). «El proyecto PISA: mucho ruido. ¿Dónde están las nueces?», en
revista Aula de Innovación Educativa, n.º 139.
GOULD, Stephen Jay (1982). La falsa medida del hombre. Barcelona: Bosch.
HODSON, Derek (1986). «The Role of Assessment in the “Curriculum Cycle”: A Survey of
Science Department Practice», en Research in Science and Technological
Education, vol. 4, n.º 1.
— (1992). «Assessment of Practical Work: Some Considerations in Philosophy of Science»,

en Science and Education, vol. 1, n.º 2.
HOYAT, Frédéric (1962). Les Examens. París: Institut de l’Unesco pour l’Éducation /
Bourrelier.
IMBERNÓN, Francisco (1993). «Reflexiones sobre la evaluación en el proceso de enseñanza-

aprendizaje: de la medida a la evaluación», en revista Aula de Innovación
Educativa, n.º 20.
152
152 JIMÉNEZ ALEIXANDRE, María Pilar y OTROS (2009). Actividades para trabajar el uso de
pruebas y la argumentación en ciencias. Santiago de Compostela: Danú.
JORBA, Jaume y SANMARTÍ, Neus (1993). «La función pedagógica de la evaluación», en

revista Aula de Innovación Educativa, n.º 20.
— (1995). «Autorregulación de los procesos de aprendizaje y construcción de

conocimientos», en revista Alambique, n.º 4.
KEMPA, Richard F. (1991). «Students’ Learning Difficulties in Science. Causes and Possible
Remedies», en Enseñanza de las Ciencias. Revista de Investigación y Experiencias
Didácticas, vol. 9, n.º 2.
LEE, Okhee y OTROS (2006). «Science Inquiry and Student Diversity: Enhanced Abilities
and Continuing Difficulties after an Instructional Intervention», en Journal of
Research in Science Teaching, vol. 43, n.º 7.
LINN, Marcia (1987). «Establishing a Research Base for Science Education: Challenges,
Trends, and Recommendations», en Journal of Research in Science Teaching,
vol. 24, n.º 3.
LORSBACH, Anthony y OTROS (1992). «An Interpretation of Assessment Methods in Middle

School Science», en International Journal of Science Education, vol. 14, n.º 3.
MAIZTEGUI, Alberto y OTROS (2000). «La formación de los profesores de ciencias en

Iberoamérica», en Revista Iberoamericana de Educación, n.º 24.
MCCOMAS, William F. (ed.) (1998). The Nature of Science in Science Education. Rationales
and Strategies. Dordrecht: Kluwer Academic Publishers.
176
A. VILCHES, D. GIL
MINISTERIO DE EDUCACIÓN Y CIENCIA (2005). Programa PISA. Ejemplos de ítems de

conocimiento científico. Disponible en: <http://www.ince.mec.es/pub/
index.htm>.
NATIONAL ACADEMY OF SCIENCES (1995). National Science Education Standards.

Washington, DC: National Academy Press. Disponible en: <http://www.nap.edu/
readingroom/books/nses/>.
OCDE (2006). PISA 2006. Marco de la evaluación. Conocimientos y habilidades en ciencias,

matemáticas y lectura. Disponible en: <http://www.oecd.org/dataoecd/59/2/
39732471.pdf>.
OEI (2008). Metas educativas 2021. La educación que queremos para la generación de
los Bicentenarios. Disponible en:<www.oei.es/metas2021/indice.htm>.
PORLÁN, Rafael (1993). Constructivismo y escuela. Investigación y Enseñanza; Serie

Fundamentos. Sevilla: Díada.
POZO, Juan Ignacio (1992). «El aprendizaje y la enseñanza de hechos y conceptos», en

César COLL y OTROS. Los contenidos en la Reforma. Enseñanza y aprendizaje
de conceptos, procedimientos y actitudes. Madrid: Santillana.
ROCARD, Michel y OTROS (2007). Science Education Now: A Renewed Pedagogy for the
Future of Europe. European Commission. Community Research. Disponible en:
<http://ec.europa.eu/research/science-society/document_library/pdf_06/
report-rocard-on-science-education_en.pdf>.
RUDOLPH, John L. (2005). «Inquiry, Instrumentality, and the Public Understanding of 153
153
Science», en Science Education, vol. 89, n.º 5.
SANTOS, Miguel Ángel (1993). «La evaluación: un proceso de diálogo, comprensión y

mejora», en Investigación en la Escuela, n.º 20.
SATTERLY, David y SWANN, Nancy (1988). «Los exámenes referidos al criterio y al concepto
en ciencias: un nuevo sistema de evaluación», en Enseñanza de las Ciencias.
Revista de Investigación y Experiencias Didácticas, vol. 6, n.º 3.
SPEAR, Margaret Goddard (1984). «Sex Bias in Science Teachers’ Ratings of Work and
Pupil Characteristics», en European Journal of Science Education, vol. 6, n.º 4.
TAMIR, Pinchas (1998). «Assessment and Evaluation in Science Education: Opportunities

to Learn and Outcomes», en Barry J. FRASER y Kenneth G. TOBIN (eds.)
International Handbook of Science Education. Londres: Kluwer Academic
Publishers.
TIANA, Alejandro (2008). «Indicadores sobre equidad: una lectura comparativa», en revista
Cuadernos de Pedagogía, n.º 381.
TILBURY, Daniella (1995). «Environmental Education for Sustainability: Defining the New
Focus of Environmental Education in the 1990s», en Environmental Education
Research, vol. 1, n.º 2.
TRUMBULL, Deborah, BONNEY, Rick y GRUDENS-SCHUCK, Nancy (2005). «Developing

Materials to Promote Inquiry: Lessons Learned», en Science Education, vol.
89, n.º 6.
177
VILCHES, Amparo y GIL PÉREZ, Daniel (2003). Construyamos un futuro sostenible. Diálogos
de supervivencia. Madrid: Cambridge University Press.
— (2007). «La necesaria renovación de la formación del profesorado para una educación
científica de calidad», en Revista Tecne, Episteme y Didaxis, n.º 22.
— (2008). «PISA y la enseñanza de las ciencias», en Cuadernos de Pedagogía, n.º 381.
— (2009). «Una situación de emergencia planetaria a la que debemos y “podemos” hacer

frente», en Revista de Educación, número extraordinario. Disponible en: <http:/
/www.revistaeducacion.mec.es/re2009.htm>.
RECURSOS WEB
Proclamación de la Década de las Naciones Unidas de la Educación para el Desarrollo
Sostenible. Resolución 57/254 aprobada por la Asamblea General de las
Naciones Unidas el 20 de diciembre de 2002. Disponible en: <http://www.oei.es/
decada/resonu.htm>.
154
154
178
GONZÁLEZ López Ignacio y López Cobo Isabel
“Validación y propuesta de un modelo de indicadores de evaluación de la
calidad en la Universidad”
179
Validación y propuesta de un modelo de indicadores
de evaluación de la calidad en el la universidad 1
IGNACIO GONZÁLEZ LÓPEZ

ISABEL LÓPEZ COBO
Universidad de Córdoba, España
1. Modelos de evaluación orientados a la mejora de la calidad

de la educación superior
Incorporando en nuestro discurso las ideas de De la Orden (1999), la generación de modelos de

evaluación orientados a la mejora de las instituciones educativas supone hacer operativa la calidad de la
universidad, de la institución y de la enseñanza que imparte. Estos modelos se basan en los conceptos de
eficacia, eficiencia y funcionalidad como dimensiones básicas de la calidad, que se entiende
fundamentalmente como coherencia entre los elementos que la definen.
Bajo estos supuestos, Garduño (1999), identifica dos dimensiones de la evaluación de la calidad:
una absoluta o descriptiva y otra relacional o explicativa. La primera es aquella cuyos juicios de valor se
expresan sobre cualquiera de los componentes (entradas, procesos y productos) de manera aislada. Sin
embargo, la contribución más importante que la evaluación puede hacer a la calidad de la educación es
aquella que tiene como propósito determinar su relevancia, eficacia, efectividad, congruencia y eficiencia,
que son las dimensiones explicativas-relacionales de la calidad.
En definitiva, la evaluación de la calidad está sujeta a múltiples interpretaciones acerca de su

contenido y sus propósitos y, también, en relación con los métodos y técnicas a utilizar. Aunque los
propósitos de la evaluación son muy variados, en la mayoría se persigue, tal y como citan Barrenetxea,
Cardona y Echebarría (2006), un triple objetivo: la mejora, la rendición de cuentas y la información, pero
atribuyendo un peso distinto a cada uno de ellos.
Estas propuestas parten de la clasificación de Stufflebeam y Webster (1991), de los estudios de

evaluación, basada en la orientación que poseen, que los divide en tres grandes bloques, en los que a su
vez incluyen distintos tipos de estudios:
Evaluaciones orientadas políticamente, que favorecen una visión positiva o negativa de un

objeto.
1
Los resultados que se presentan en este artículo forman parte del proyecto titulado Indicadores de evaluación de la calidad en el
Espacio Europeo de Educación Superior: análisis y aplicación del modelo MIECEEES financiado al auspicio de la siguiente convocatoria:
Acciones destinadas a la mejora de la calidad de la enseñanza superior y de la actividad del profesorado universitario 2006 (Ministerio
de Educación y Ciencia, Dirección General de Universidades). Código: EA2006-0116
Revista Iberoamericana de Educación / Revista Ibero-americana de Educação

ISSN: 1681-5653
n.º 53/6 – 25/09/10
Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI)
Organização dos Estados Iberoa-americanos para a Educação, a Ciência e a Cultura (OEI) 180
I. González e I. López
Evaluaciones orientadas a resolver cuestiones específicas, cuyas respuestas pueden o no

valorar la valía de un objeto.
Evaluaciones que están designadas fundamentalmente a valorar o mejorar la valía de un

objeto.
Exponemos en la siguiente figura (ver figura 1) un resumen comparativo de todos estos modelos de
valoración de la calidad educativa, susceptibles de formar parte de los procesos de institucionalización de la
evaluación universitaria a incorporar en el Espacio Europeo de Educación Superior.
FIGURA 1
Modelos de evaluación de la calidad de la Educación Superior
(resumido de Barrenetxea, Cardona y Echebarría, 2006)
TIPOS DE
OBJETIVOS VENTAJAS INCONVENIENTES
EVALUACIÓN
A. Evaluaciones orientadas políticamente (pseudos-evaluación)
A.1. Estudios El objetivo es aumentar o La información se puede dar de forma
controlados mantener su esfera de selectiva para crear una imagen
políticamente influencia distorsionada de la valía de un objeto
A.2. Estudios El propósito es ayudar a crear Hay una tendencia a sesgar la
inspirados en una imagen positiva de la información para obtener una buena
relaciones públicas institución imagen del objeto de evaluación
B. Evaluaciones orientadas a resolver cuestiones específicas
B.1. Estudios La intención es determinar si se Con objetivos, claramente El establecimiento de objetivos
basados en han cumplido los objetivos cuantificables, la evaluación difícilmente medibles o poco
objetivos es sencilla de realizar significativos
B.2. Estudios de La intención es proveer a los Son populares entre los Produce malestar y asperezas entre
rendición de gobiernos de una contabilidad poderes públicos los profesionales de la educación y los
cuentas precisa de los resultados que encargan estos estudios. Peligro
obtenidos y asegurar que sean de ofrecer una información sesgada
positivos por parte de las instituciones
B.3. Estudios de La intención es determinar las Ofrecen métodos robustos par Tienden a ofrecer información
investigación relaciones causales entre establecer relaciones causales Terminal que no sirven para guiar el
experimental variables dependientes e inequívocas ente las variables proceso de desarrollo
independientes
B.4.Programas de La intención es comparar el Son eficientes para saber el Acostumbra al alumnado a realizar
tests resultado del test entre nivel de conocimiento de los tests de múltiples opciones
estandarizados individuos y grupos estudiantes
B.5. Sistemas de El propósito es ofrecer la Ofrece información a los Dificultad de definir el producto de la
gestión de la información que los gestores gestores para planificar, educación para poder obtener
información necesitan para planificar, dirigir monitorizar y controlar información sobre el mismo
y controlar los programas operaciones complejas
C. Evaluaciones orientadas a valorar o mejorar
C.1. Estudios de Establecer si las instituciones Permiten emitir un juicio sobre Las instituciones no participan en el
acreditación / cumplen unos estándares la calidad de las instituciones, establecimiento de las cuestiones a
certificación mínimos y cómo pueden ser del personal o del programa analizar
mejorados
C.2. Estudios La finalidad es identificar y Son esenciales para guiar a Facilidad de caer en la corrupción
políticos valorar los costes y beneficios las instituciones y a la
potenciales de políticas sociedad
alternativas
C.3. Estudios Su finalidad es proveer Anima a los educadores y La colaboración entre el evaluador/a y
orientados a la conocimiento para la toma de educadoras a usar la quien ha de tomar las decisiones
toma de decisiones decisiones evaluación continua introduce oportunidades para sesgar
los resultados
C.4. Estudios El propósito es juzgar los Es una evaluación Puede ser tan independiente de los
centrados en el méritos relativos de bienes y independiente que intenta oferentes del servicio que puede no
consumidor servicios educativos alternativos proteger los productos de baja ayudarles a mejorar el servicio
para ayudar al consumidor a calidad a los educadores y ofertado a los consumidores. Es un
llevar a cabo una buena consumidores enfoque costoso
compra de los mismos
C.5. Estudios Toman en cuenta la visión de la Es un enfoque orientado a la Falta de credibilidad externa y su
centrados en el autonomía local y ayudan a la acción en el que la gente susceptibilidad de sesgo por los
cliente gente involucrada en un implicada en los programas agentes locales

(ISSN: 1681-5653)
•2• 181
Validación y propuesta de un modelo de indicadores...
programa a evaluarlo y a usar es ayudada a llevar a cabo su

la evaluación para mejorarlo propia evaluación
C.6. Estudios El propósito es describir La utilización de la experiencia Depende de la cualificación y buen
basados en la críticamente, valorar el iluminar de los expertos hacer de los expertos
opinión del experto los méritos particulares de un
objeto
2. Características básicas del estudio
Este trabajo pone el énfasis en la validación de una propuesta de indicadores (Modelo de

Indicadores de Evaluación en el Espacio Europeo de Educación Superior, MIECEEES, generado bajo el
auspicio del Ministerio de Educación y Ciencia – EA2006-0116), como respuesta a la incorporación de las
universidades españolas al proceso de convergencia europea, que ha de ser completada con la puesta en
marcha de los mecanismos necesarios que clasifiquen, validen y ponderen los diferentes indicadores
construidos, de manera que sean generalizables para su empleo en propuestas de evaluación institucional
universitaria y en la búsqueda efectiva de la calidad de las instituciones de educación superior. Para ello, los
objetivos que nos planteamos fueron:
a) Estimar el nivel de validez del Modelo MIECEEES (aceptación, ponderación, concreción y

mensurabilidad) así como su importancia en cada una de las dimensiones establecidas
(competencias, información universitaria, rol del estudiante universitario, sistemas de
orientación y tutoría, metodología, evaluación del rendimiento académico, satisfacción del
alumnado).
b) Clasificar los indicadores obtenidos en función de la información que ofrecen y de las

repercusiones posteriores (informativos, predictivos y orientados a problemas) así como a través
de la estructura desarrollada por Cuenin (1987): naturaleza (simples, de rendimiento y
generales), ámbito de estudio (enseñanza, investigación y servicios), obtención de datos
(externos e internos), momento del proceso productivo (entrada, proceso y resultado),
componentes del centro (alumnado, profesorado e institución), relevancia de la información
(baja inferencia, alta inferencia e individuales) y tipo de medida (cualitativos y cuantitativos).
c) Determinar las recomendaciones para un uso adecuado de los indicadores del modelo
MIECEEES, a partir de los presupuestos marcados por Hammond (1991): insuficiencia con los
datos numéricos, necesidad de diseñar múltiples indicadores para entender una situación
determinada, revisión continua del sistema, motivos de cambio y respuestas aportadas y
provecho de los indicadores para posteriores evaluaciones.
El diseño de investigación, seleccionado en base a las metas del proyecto, es de tipo no

experimental, pudiendo ser englobado dentro de las metodologías ex post facto. Por lo tanto, las hipótesis
experimentales no tienen sentido en esta fase del estudio, ya que no se trata de comprobar o abordar el
estudio de cambios intencionales, sino de determinar o explicar una situación que desconocemos de
partida.
Los instrumentos de recogida de datos han sido, por una parte de naturaleza cuantitativa, en su
mayor parte escalas de tipo Likert y, por otra, se diseñó un proceso de recogida de información a través de la
aplicación de la técnica Delphi.

(ISSN: 1681-5653)
•3• 182
Se ha trabajado con dos grupos muestrales diferenciados. Por una parte se ha seleccionado un
grupo de expertos en el tema objeto de esta acción que han constituido el grupo monitor de la técnica Delphi
para validar el modelo MIECEEES, compuesto por un total de diez profesionales pertenecientes a las
universidades de Córdoba, Salamanca y Nacional de Educación a Distancia. Todos ellos son reconocidos
expertos en el tema en cuestión y pertenecen a diferentes áreas de investigación como son: la política
educativa, la educación comparada, la evaluación institucional, la investigación evaluativa y la gestión
universitaria. Por otro, se ha contado con un grupo de estudiantes que han servido de base para llevar a
cabo el estudio psicométrico del modelo derivado de la aplicación del método anterior. Han sido un total de
153 estudiantes de la Facultad de Ciencias de la Educación de la Universidad de Córdoba quienes han
participado en esta fase, seleccionados de forma aleatoria estratificada atendiendo a criterio de clasificación
como el sexo y el ciclo al que pertenece la titulación que están cursando, siendo equitativa su distribución a
lo largo de los diferentes cursos académicos que las conforman. El grupo se caracterizó por pertenecer a
titulaciones de primer y segundo ciclo, como Magisterio (f=100, 66.7%) y Psicopedagogía (f=50, 33.3%). Su
distribución por sexos ha sido homogénea (44.4% de hombres y 55.6% de mujeres).
3. El objeto de valoración: el modelo MIECEEES
El Modelo de Indicadores de Evaluación del Espacio Europeo de Educación Superior (MIECEEES) se

constituye como un conjunto de estándares y referencias construido a partir de la opinión de los estudiantes
sobre lo que para ellos supone una universidad de calidad en la perspectiva planteada por la construcción
del Espacio Europeo de Educación Superior, cuáles son las dimensiones más importantes sobre las que
centrar esta calidad, en qué grado están implicados o quieren estar implicados en la Institución, qué grado
de información tienen sobre ella y cuál es su nivel de satisfacción actual sobre todos los procesos que se
desarrollan en la Universidad. Trabajamos con un grupo representativo de estudiantes de las Universidades
de Salamanca y Córdoba quienes, gracias a la ayuda de instrumentos tales como protocolos
estandarizados de valoración escalar y grupos de discusión, especificaron los elementos constitutivos de
este modelo. La base informativa general fue aportada por los siguientes procedimientos de análisis de la
información: a) la realización de un análisis factorial aportó las dimensiones sobre las cuáles establecer los
diferentes indicadores que definen una Universidad de calidad; b) el estudio descriptivo e inferencial de las
variables del estudio permitió extraer aquellos elementos sobre los que construir tales dimensiones; c) un
estudio de regresión múltiple permitió priorizar los elementos sobre los que los alumnos se posicionan a la
hora de definir una Universidad de calidad.
Por estas razones, se presentó un modelo con los indicadores más significativos que, desde el
punto de vista de los estudiantes, definen una institución de calidad (ver figura 2). Está formado por un total
de 8 dimensiones que han dado lugar a 20 indicadores, definidos operativamente a partir de 62 variables.
La particularidad de los mismos reside en su naturaleza eminentemente cualitativa, donde la fuente

de información ha de ser el alumno universitario y donde el instrumento adecuado para recoger la
información puede ser un protocolo estandarizado de evaluación compuesto por ítems de valoración
escalar.

(ISSN: 1681-5653)
•4• 183
FIGURA 2
Modelo de indicadores de evaluación de la calidad de la Universidad en el EEES (MIECEEES)
Dimensión Indicador
Académicas Desarrollo de estrategias y habilidades para el desarrollo personal y social
Competencias Formación teórico-práctica
Profesionales
Cualidades necesarias para acceder a un empleo
Información universitaria Información sobre la oferta docente y el funcionamiento interno de la Universidad
Rol del estudiante universitario Integración del alumnado en la comunidad universitaria
Valoración del sistema de tutorías
Sistemas de orientación y tutoría
Demandas en la acción tutorial
Metodología docente
Metodología
Trabajo del alumnado
Evaluación del rendimiento Recepción de información sobre el rendimiento académico
académico Criterios de evaluación empleados para valorar el rendimiento académico
Satisfacción del alumnado con el clima institucional
Satisfacción del alumnado hacia la docencia recibida
Satisfacción del alumnado hacia el sistema de tutorías
Satisfacción del alumno con la evaluación de su rendimiento académico
Satisfacción del alumnado Satisfacción del alumnado con los servicios y actividades
Satisfacción del alumnado con los recursos e instalaciones
Satisfacción del alumnado con los materiales curriculares
Satisfacción del alumnado con los organismos de gestión
Índice de satisfacción general del alumnado
4. Validación del modelo por parte de expertos. Aplicación de la técnica

Delphi
Para llevar a cabo un proceso de recogida de opiniones reales y consensuadas acerca de la

evaluación de la calidad universitaria en el Espacio Europeo de Educación Superior, el soporte metodológico
más idóneo es el método Delphi, definido por Linston y Turoff (2002), como un método de estructuración de
un proceso de comunicación grupal que es efectivo a la hora de permitir a un grupo de individuos, como un
todo, tratar un problema complejo.
El proceso seguido para validar el modelo MIECEEES por parte de expertos por medio de esta
técnica ha sido el siguiente:
4.1. Definición de objetivos
El primer paso consiste en definir claramente los objetivos que se persiguen con la realización del
Delphi. En este caso, el propósito final ha sido: ponderar un sistema de indicadores de evaluación de la
calidad de la Universidad, en el marco del Espacio Europeo de Educación Superior, desde la perspectiva del
alumnado
4.2. Estudio del tema y búsqueda de información
A continuación, es preciso definir el objeto de estudio en cada ejercicio particular. Definido éste, se
debe proceder a especificar detalladamente el tema que se quiere investigar. Es necesario acotar la
investigación hasta el punto de dejar claramente especificadas las variables que presentan el mayor interés
para el grupo investigador. Básicamente, resumimos el tema en los siguientes términos: la aplicación de la
técnica Delphi tiene por objetivo determinar de forma consensuada la asignación de pesos a los diferentes
elementos que definen un problema de cara a establecer prioridades, en nuestro caso, un sistema de

(ISSN: 1681-5653)
•5• 184
indicadores de evaluación cuyo eje central de estudio es la valoración, por parte del alumnado universitario,
de la calidad percibida en la institución universitaria en el proceso latente de incorporación del sistema
universitario español al Espacio Europeo de Educación Superior
4.3. Programación del grupo monitor
Uno de los primeros y más importantes momentos en la realización de un estudio Delphi es la

constitución del grupo encargado del estudio, que en la literatura se denomina grupo monitor, cuyas
características son:
Que los componentes de este grupo conozcan la metodología Delphi. El desconocimiento del
método en cualquiera de sus aspectos puede llevar a errores, ya sea en el diseño, en la
conducción o en la evaluación de resultados.
Es deseable que un cierto número de personas del grupo sean investigadores académicos que
tengan alguna relación con el tema que se quiere estudiar.
Las personas que integran el equipo monitor deben poseer una gran imaginación y creatividad.
El estudio de temas acerca del futuro exige desvincularse de antiguos patrones que impiden ver
lo nuevo.
Número de Monitores. Es posible encontrar un número óptimo de integrantes de este grupo

monitor, que estará condicionado por los siguientes factores: complejidad de la información a
obtener para la realización del estudio en la etapa exploratoria y, funciones a realizar, que
están condicionadas al método usado para el procesamiento de información.
4.4. Elaboración de cuestionarios
Una de las etapas más importantes en el ejercicio Delphi es el diseño, elaboración y envío de los
cuestionarios que contienen las preguntas y la información en relación al tema de evaluación. La confección
de las preguntas y formas de seleccionar y representar la información son aspectos determinantes, entre
otros, de los resultados del ejercicio, razón por la cual requieren de un estudio y discusión más detallados.
Para recoger la información referente a los indicadores del modelo y su definición operativa se ha
diseñado un primer cuestionario, formado por un protocolo de ítems de valoración escalar y una serie de
preguntas abiertas donde el grupo tenga libertad de expresión. El instrumento está definido por las
siguientes características:
Tipo de instrumento: escala de estimación (valoración de la importancia otorgada a los ítems).
Extensión del cuestionario: 62 preguntas
Organización interna: estructura dimensional que combina la valoración cuantitativa de los

diferentes ítems y la valoración cualitativa de las dimensiones (6 dimensiones y 20 indicadores)
(estructura inicial del modelo MIECEES presentado en la figura 1).
Documentación complementaria: carta de presentación (objetivos del estudio e instrucciones

sobre las tareas a realizar).

(ISSN: 1681-5653)
•6• 185
4.5. Evaluación de los cuestionarios
Diseñado el primero de los instrumentos a evaluar por parte del grupo de expertos, que responde al
modelo MIECEEES objeto de evaluación, se solicitó al citado grupo la realización de dos tareas principales:
Valorar la importancia de cada ítem asignándole una puntuación del 1 (nada importante) al 5
(muy importante). No se trata de responder al cuestionario sino de establecer la importancia
que el indicador de referencia de cada ítem tiene para el conjunto del modelo que tratamos de
ponderar.
Reflejar en el apartado de observaciones, si fuese preciso, la necesidad de prescindir, modificar

o añadir algún ítem.
Hay que destacar que todos los ítems planteados han sido valorados como bastante o muy
importantes para la conformación de un modelo que evalúe la calidad de la formación universitaria recibida
por el alumnado en el Espacio Europeo de Educación Superior. Son destacables las observaciones que, en
su amplia mayoría, aportan referencias para la reformulación de indicadores, así como la inclusión en los
mismos de definiciones operacionales ausentes en sentidos tales como: redefiniciones, integraciones de
unos elementos en otros, apreciaciones subjetivas de algunos de ellos e inclusión de nuevos indicadores.
Analizadas las aportaciones ofrecidas por el grupo de expertos en la segunda aplicación del
cuestionario Delphi, el modelo definitivo ha quedado constituido como un instrumento formado por un total
de 6 dimensiones, 19 indicadores y 85 ítems que definen operativamente los indicadores del modelo de
evaluación de la calidad en el Espacio Europeo de Educación Superior. Todos los elementos que conforman
cada uno de los indicadores cobran similar importancia (bajas desviaciones típicas) para todos los jueces.
Asimismo, fueron escasos los comentarios aportados por el grupo de expertos al modelo presentado en el
segundo instrumento, contribuyendo con limitadas referencias significativas a la confección del modelo final.
5. Valoración del modelo desde la perspectiva del alumnado
Una vez elaborado el modelo y validado por medio de la técnica Delphi por un grupo de expertos,
hemos creído conveniente que los usuarios del mismo lo valoren haciendo un juicio personalizado de la
importancia otorgada a las diferentes variables que lo definen y aportando cuantas sugerencias estimen
oportunas para confeccionar el modelo final.
El objetivo de este segundo estudio consiste en valorar el grado de consistencia del instrumento de
medida a emplear (propiedades de la escala y de sus elementos constitutivos) y su adecuación al objeto de
la medición.
En definitiva, para el estudio de la fiabilidad y validez del cuestionario referente al Modelo MIECEEES,
hemos realizado un análisis de consistencia interna con el fin de dotar de significación a los ítems de la
prueba por medio del coeficiente Alfa de Cronbach y un estudio factorial con el objetivo de explorar el
instrumento y averiguar si existe una estructura dimensional en el mismo que pueda servir de base para la
interpretación de los resultados.

(ISSN: 1681-5653)
•7• 186
5.1. Análisis de consistencia interna y comportamiento de los ítems
La fiabilidad del modelo se ha estimado a partir del coeficiente Alfa de Cronbach, basado en la
correlación ínter elementos promedio. Realizando una primera aproximación al estudio de la consistencia
interna, se advirtió que los valores correspondientes a cada una de las dimensiones del modelo (valores por
encima de 0.9) indican que las relaciones entre los diferentes elementos de esta escala son muy elevadas
(ver tabla 1). Por su parte, el valor total de Alfa en la escala (0.944) indicó una correlación alta, un nivel
elevado de estabilidad en las respuestas, por lo que el modelo presentado a los estudiantes presenta
indicios de garantías de fiabilidad.
TABLA 1
Coeficiente Alfa en las dimensiones y el total del modelo
Dimensión Coeficiente Alfa N
1. Competencias 0.926 153
2. Información universitaria 0.937 153
3. Rol del estudiante universitario 0.903 153
4. Sistemas de orientación y tutoría 0.925 153
5. Metodología 0.908 153
6. Satisfacción del alumnado 0.921 153
Total 0.944 153
5.2. Análisis de la estructura dimensional del modelo
Lo que buscamos a continuación es que todas las variables entre las que existe una relación se
agrupen o saturen en un mismo factor, advirtiendo de este modo la existencia de una estructura
dimensional entre los diferentes indicadores que se ajuste al modelo inicialmente establecido (González,
2003). Por este motivo, se aplicó la técnica del análisis factorial con los datos procedentes de los 153
alumnos encuestados.
Los factores conseguidos, con su denominación y su aportación a la explicación del modelo, se

muestran en la tabla 2. Los mismos reflejan la existencia de una estructura dimensional en el modelo a
validar, coherente con la construcción y el contenido del mismo, formado por un total de 19 componentes
que explican el 67,259% de la varianza.
TABLA 2
Factores obtenidos, elementos constitutivos y aportación al modelo
% de la
Factor Denominación
varianza
1 Competencias académicas 8,525
2 Competencias profesionales (formación) 7,633
3 Competencias profesionales (habilidades de empleabilidad)) 4,973
4 Información universitaria 4,503
5 Rol del estudiante universitario 4,073
6 Valoración del sistema de tutorías 3,929
7 Demandas a la acción tutorial 3,382
8 Metodología docente (adecuación horaria de las actividades) 3,355
9 Metodología docente (recursos para la docencia) 3,036
10 Metodología docente (adecuación personalizada de las actividades 2,881
11 Trabajo del alumnado 2,745

(ISSN: 1681-5653)
•8• 187
12 Información sobre el rendimiento académico 2,679

13 Criterios de evaluación del rendimiento académico 2,599
14 Satisfacción del alumnado (clima institucional) 2,431
15 Satisfacción del alumnado (gestión) 2,388
16 Satisfacción del alumnado (docencia) 2,236
17 Satisfacción del alumnado (tutorías) 2,210
18 Satisfacción del alumnado (materiales curriculares) 2,009
19 Satisfacción del alumnado (índice general) 1,672
6. El modelo definitivo
El Modelo de Indicadores de Evaluación de la Calidad en el Espacio Europeo de Educación Superior

(Modelo MIECEEES) sometido a criterios de fiabilidad y validez por medio de un grupo de expertos gracias a
la técnica Delphi y por medio del alumnado mediante el análisis de consistencia interna y análisis factorial
de la importancia que otorgan al mismo, se define como un sistema de indicadores genérico y con un grado
de apertura considerable. Está formado por un total de 6 dimensiones, 19 indicadores y 85 variables (ver
anexo) que definen los estándares que sirven para valorar la formación universitaria del alumnado,
considerado en la dimensión europea como ciudadanos formados para vivir en sociedad (Guichot, 2007).
Una descripción de cada una de las dimensiones de este modelo es la que se presenta a
continuación:
Dimensión 1: Competencias: Esta primera dimensión tiene por objetivo establecer cuáles son las
competencias académico-profesionales que un estudiante universitario ha de adquirir para
desenvolverse en su entorno personal, social y profesional. La formación basada en
competencias académicas, es decir, aquellas adquisiciones que el alumno ha de conseguir
tras su paso por la institución universitaria, ha de estar caracterizada por una formación integral
basada en habilidades como la del trabajo en equipo, la capacidad de reflexión y la crítica.
Igualmente se hace necesaria la capacidad del autoaprendizaje. Se trata de los enfoques
básicos que se derivan del proceso de convergencia europea. Por su parte, aquellas
competencias necesarias para el desarrollo de la profesión para la que se están formando han
de estar caracterizadas, entre otras cosas, por la aplicación práctica de los contenidos
trabajados en entornos reales, dando especial importancia al empleo de las nuevas
tecnologías. Las cualidades que se precisan, por lo tanto, para acceder a un empleo y que han
de ser trabajadas en las aulas universitarias son, básicamente, la responsabilidad, el
compromiso, la capacidad para tomar decisiones y las habilidades de comunicación.
Dimensión 2: Información universitaria: Este segundo bloque hace referencia a los aportes
informacionales que la universidad ha de otorgar a los estudiantes durante su etapa formativa.
Se precisan, entre otras, las informaciones relacionadas con los programas de las asignaturas,
la oferta formativa y el funcionamiento interno de la universidad.
Dimensión 3: Rol del estudiante universitario: Es preciso que los estudiantes se identifiquen con
su posición de alumnos universitarios, con capacidad para ejercer sus derechos y cumplir con
sus deberes. Es precisa, por lo tanto, su participación en las actividades extracurriculares

(ISSN: 1681-5653)
•9• 188
organizadas por la Universidad (deportivas, culturales, sociales, etc.), así como su incorporación
en los puestos de gobierno y representación.
Dimensión 4: Sistemas de orientación y tutoría: La acción tutorial se convierte, a partir de la

Declaración de Bolonia, en uno de los pilares para la consecución de una formación
universitaria de calidad. En este sentido, es importante realizar una valoración de dichos
sistemas, su funcionamiento, el horario y los niveles generales de satisfacción. Por su parte, los
objetivos de estos sistemas de tutoría han de estar centrados en la información y orientación
académica y laboral, ya que son una contribución significativa a la formación del alumnado.
Dimensión 5: Metodología: Un indicador de referencia para valorar la calidad de la institución

universitaria en el nuevo marco europeo es la metodología docente empleada por el
profesorado en las aulas, que ha de estar caracterizada por actividades de grupo, donde el
docente fomente su participación y sea un mediador entre los nuevos conocimientos y las
capacidades del alumnado. Ha de fomentar, entre otras, la autonomía del alumnado. Se trata
de objetivos marcados de forma directa por la Declaración de Bolonia (1999). De este modo, el
alumnado ha de asistir regularmente a las sesiones presenciales y aprovechar las horas
semanales dedicadas a la realización de tareas prácticas. Es importante que los estudiantes
posean información sobre su rendimiento académico y sobre los criterios que para ello emplea
el profesorado, los cuales han de estar en concordancia con los esfuerzos realizados y las
competencias a valorar. Se precisa de una evaluación continua.
Dimensión 6: Satisfacción del alumnado: La satisfacción del alumnado es el índice de calidad

prioritario en todas las políticas de gestión de calidad de las instituciones educativas, tanto
nacionales como internacionales. Los aspectos que han de definir a esta dimensión son: el
clima institucional (donde cobran importancia las relaciones mantenidas con sus compañeros y
con el profesorado), la actividad docente (la capacidad que el profesorado tiene para transmitir
los conocimientos), las tutorías (en la medida en que responden a sus demandas), la evaluación
de su rendimiento académico, de las actividades ofertadas y de los recursos de la institución y
los materiales curriculares de apoyo a la docencia.
Podemos afirmar, según la clasificación de modelos de evaluación de la calidad de la educación

superior realizada por Barrenetxea, Cardona y Echebarría (2006), que el modelo que aquí se presenta se
conforma como una evaluación orientada a la mejora, un estudio orientado a la toma de decisiones. La
finalidad del mismo es proveer conocimiento a la institución y a los integrantes de toda la comunidad
universitaria para la posterior toma de decisiones para la mejora continua. Una de las ventajas más
relevantes del mismo es la presencia de un tipo de evaluación hasta el momento a penas empleado en la
educación superior, la evaluación continua, también denominada de seguimiento o de proceso, que se
realiza durante la aplicación de un determinado programa o modelo y su objetivo se dirige a la mejora y
optimización del mismo. Sin embargo, este tipo de modelo corre el riesgo de que la colaboración entre el
grupo evaluador y las personas responsables de la toma de decisiones introduzca oportunidades para
sesgar los resultados.
Según la clasificación de indicadores aportada por Cuenin (1987), este modelo se caracteriza porque
sus elementos constitutivos son:
En función de la información que ofrecen: orientados a problemas.

(ISSN: 1681-5653)
• 10 • 189
En función de su naturaleza: de rendimiento.
En función de su ámbito de estudio: de enseñanza, de investigación y de gestión.
En función de los datos ofrecidos: internos y externos.
En función de los componentes de la institución: dirigidos al alumnado.
En función de la relevancia de la información obtenida: de alta inferencia.
En función del tipo de medida: cuantitativos.
Finalmente, señalar que consideramos que se han cubierto con garantías los objetivos propuestos
para esta acción de mejora, pero la insuficiencia temporal y la diversidad de profesionales que han actuado
en la misma han podido ser un obstáculo para el correcto desarrollo de las diferentes tareas propuestas.
Consideramos relevante seguir trabajando en esta línea colaborativa donde profesionales de la docencia
universitaria, gestores y destinatarios de las acciones formativas lleven a término las demandas interpuestas
por un modelo educativo interinstitucional como es la propuesta derivada de la Declaración de Bolonia. El
trabajo, el entusiasmo, la dedicación y la paciencia son competencias que el grupo de trabajo ha generado
y que considera relevantes para su inclusión en la gestación de nuevos modelos de evaluación de la calidad
de procesos institucionales.
Bibliografía
BARRENETXEA, M., CARDONA, A. y ECHEBARRÍA, C. (2006) Una revisión crítica de los modelos de la calidad en la
educación superior. VI Congreso Internacional Virtual de Educación. Palma de Mallorca, 6-26 febrero (CD-ROM).
CUENIN, S. (1987) The Uses of Performance Indicators in Universities: an International Survey, International Journal of
Institutional Managment in Higher Education, 11 (2), 149-162.
Declaración de Bolonia (1999) The European Higher Education Area. Bologna Declaration. Joint declaration of the
European Ministers of Education.
http://www.univ.mecd.es/univ/html/informes/bolonia/Declaracion_Bolonia.pdf (Consulta: 23 de junio de 2009).
DE LA ORDEN, A. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación.
Revista Electrónica de Investigación y Evaluación Educativa, 1-2-
http://www.uv.es/relieve/v3n1/RELIEVEv3n1_2.htm (Consulta: 23 de junio de 2009).
GARDUÑO, L.R. (1999). Hacia un modelo de evaluación de la calidad de instituciones de educación superior. Revista
Iberoamericana de Educación, 21. http://www.rieoei.org/rie21a06.htm (Consulta: 13 de marzo de 2010).
GONZÁLEZ, I. (2003). Determinación de los elementos que condicionan la calidad de la universidad: Aplicación práctica
de un análisis factorial. Relieve: Revista Electrónica de Investigación y Evaluación Educativa, 9 (1), 83-96.
http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_4.htm (Consulta: 30 de marzo de 2009).
GUICHOT, V. (2007). La construcción de la ciudadanía europea, un desafío para la educación en el siglo XXI. Revista de
Ciencias de la Educación, 203, 375-402.
HAMMOND, L. (1991). Creating Accountability in Big City School Systems. New York: ERIC Clearinghouse on Urban
Education.
LINSTON, A. y TUROFF, M. (2002) The Delphi Method: technique and applications. New Jersey: Institute of Technology.
MECD (2003) La integración del sistema universitario español en el Espacio Europeo de enseñanza Superior. Madrid:
MECD.
STUFFLEBEAM, D.L. y WEBSTER, W.J. (1991). An analysis of alternative approaches to evaluation. En G.F. Madaus, M. Scriven
y D.L. Stufflebeam (comps.), Evaluation Models (23-44). Boston: Kluwer.

(ISSN: 1681-5653)
• 11 • 190
ANEXO
Modelo de indicadores de evaluación de la calidad de la Universidad en el EEES
Dimensión Indicador Definición operativa
1. Capacidad de reflexión
2. Capacidad de autoaprendizaje
3. Capacidad para evaluar el propio trabajo.
4. Bases para establecer un aprendizaje permanente
1.1.1. Adquisición de
5. Técnicas de comunicación oral
1.1. Compet. competencias para
6. Técnicas de comunicación escrita
Académicas el desarrollo
7. Estrategias para la resolución de problemas
personal y social
8. Capacidad crítica
9. Capacidad de aprender a distancia
10. Estrategias de búsqueda de información
11. Trabajo en equipo
12. Desarrollo de contenidos específicos de la rama profesional

13. Aplicación práctica de los conocimientos en entornos reales
14. Conocimientos sobre nuevas tecnologías
1. Competencias
1.2.1. Formación
15. Conocimientos sobre lenguas extranjeras
teórico-práctica 16. Conocimientos básicos sobre las teorías más reconocidas y aceptadas
en torno a los estudios elegidos
17. Capacidad para razonar las acciones y actividades basándose en
teorías y métodos reconocidos
18. Capacidad de valorar la ética y la moral de la rama profesional.
19. Capacidad para tomar decisiones
20. Habilidades comunicativas
1.2. Compet.
profesionales
21. Adquisición de estrategias de organización y planificación
22. Capacidad para establecer relaciones interpersonales
23. Estrategias para adaptarse a diferentes situaciones de la realidad
profesional
1.2.2. Habilidades de 24. Habilidades para solucionar problemas reales.
empleabilidad 25. Capacidad de iniciativa en la realización de tareas prácticas
26. Capacidad de trabajar en equipos multidisciplinares y efectuar una
amplia variedad de funciones
27. Estrategias para al análisis de problemas y situaciones complejas
28. Capacidad de responsabilidad y compromiso
29. Autoconfianza
30. Actitud positiva hacia la realización de las tareas
31. Información sobre los programas de las asignaturas de la titulación en
2.1. Información curso
sobre la oferta
32. Información recibida sobre la oferta formativa de la Universidad
2. Información formativa y el
universitaria funcionamiento 33. Información recibida sobre el funcionamiento interno de la Universidad
interno de la 34. Información sobre convenios de colaboración entre la Universidad y
Universidad empresas y otros organismos para la realización de actividades prácticas,
deportivas, culturales y sociales
3.1. Integración del 35. Participación en los órganos de gobierno y representación
3. Rol del estudiante alumnado en la 36. Participación en el desarrollo óptimo de las actividades docentes
universitario comunidad 37. Participación en las actividades extracurriculares organizadas por la
universitaria Universidad
38. Nivel de asistencia a las tutorías
39. Adecuación del horario destinado a tutorías
4.1. Valoración del
sistema de tutorías
40. Utilidad de las tutorías individuales
41. Utilidad de las tutorías grupales
4. Sistemas de 42. Utilidad de las tutorías no presenciales
orientación y tutoría 43. Grado en el que las tutorías sirven para informar y orientar sobre
aspectos académicos
4.2. Demandas en la
acción tutorial 44. Grado en el que las tutorías sirven para informar y orientar sobre
aspectos profesionales (salidas profesionales, prácticas laborales, becas de
investigación, asesoramiento en la toma de decisiones, etc.)
45. Transmisión de los contenidos teóricos según lo programado
5.1. Metodología 46. Transmisión de los contenidos prácticos según lo programado
5. Metodología
docente 47. Adecuación del horario a las actividades propuestas
48. Adecuación de la distribución de las actividades teóricas y prácticas en

(ISSN: 1681-5653)
• 12 • 191
el horario
49. Utilización de recursos multimedia en el aula
50. Existencia de materiales curriculares disponibles en la red
51. Adecuación de los sistemas de docencia en red a las demandas
formativas
52. Fomento de la participación del alumnado en las sesiones de clase
53. Fomento de la autonomía del alumnado
54. Desarrollo de actividades grupales
55. Calidad del papel mediador del profesorado entre el nuevo
conocimiento y las capacidades del alumnado
56. Nivel de asistencia regular a sesiones presenciales
57. Nivel de participación/implicación en las sesiones presenciales
5.2. Trabajo del 58. Aprovechamiento de las horas semanales dedicadas al estudio y a la
alumnado preparación de exámenes
59. Aprovechamiento de las horas semanales dedicadas a la realización
de trabajos prácticos
60. Valoración de la información que proporciona el profesorado al
5.3. Información
alumnado acerca de los criterios a través de los cuáles se le va a evaluar
sobre el rendimiento
5. Metodología académico 61. Valoración de la información recibida por el alumnado de manera
continua respecta a su rendimiento académico
62. Existencia de sistemas de evaluación inicial
5.4. Criterio de 63. Grado de adecuación entre el tipo de prueba utilizada y la competencia
evaluación a evaluar
empleados para 64. Valoración de los diferentes procedimientos utilizados para valorar el
valorar el rendimiento académico del alumnado
rendimiento 65. Grado de concordancia entre las calificaciones obtenidas y los
académico esfuerzos realizados
66. Existencia de sistemas de evaluación continua
67. Valoración de las relaciones mantenidas con los compañeros de clase
68. Valoración del grado de atención del profesorado hacia el alumnado
6.1. Satisfacción con 69. Valoración de la atención recibida del Personal de Administración y
el clima institucional Servicios
70. Valoración de la atención recibida de los órganos de gobierno y
representación (equipo decanal, dirección de departamentos, consejo de
estudiantes, etc.)
71. Grado de interés por la docencia recibida
6.2. Satisfacción 72. Adecuación de los materiales curriculares a los contenidos impartidos
hacia la docencia 73. Adecuación de los contenidos al perfil profesional
recibida 74. Capacidad del profesorado para transmitir los conocimientos al
alumnado
75. Adecuación de las respuestas del profesorado a las demandas del
alumnado
6.3. Satisfacción
hacia el sistema de
76. Valoración del nivel de implicación del profesorado en el asesoramiento
académico-profesional del alumnado
tutorías
77. Valoración del grado de utilidad de las tutorías para el desarrollo
6. Satisfacción del académico-profesional del alumnado
alumnado 6.4. Satisfacción con
la evaluación de su 78. Nivel de satisfacción con los sistemas empleados para evaluar el
rendimiento rendimiento académico
académico
6.5. Satisfacción con
los servicios y 79. Nivel de satisfacción con los sistemas empleados para evaluar el
actividades ofrecidos rendimiento académico
por la Universidad
los recursos e
80. Nivel de satisfacción percibida hacia los recursos e instalaciones
habilitados para el desarrollo de las diferentes actividades
instalaciones
los materiales
81. Nivel de satisfacción percibida con los materiales de apoyo para la
docencia utilizados en el aula
curriculares
82. Grado de confianza en la Universidad
6.8. Satisfacción 83. Cumplimiento de las expectativas de formación
general con la 84. Valoración personal de la calidad de la enseñanza recibida
Universidad 85. Valoración de la adaptación de los planes de estudios al Espacio
Europeo de Educación Superior

(ISSN: 1681-5653)
• 13 • 192
RUÍZ Ruíz José Ma.
“La autoevaluación institucional en un centro de educación primaria”
Organización de Estados Iberoamericanos
193
Organización
de Estados
Iberoamericanos
Para la Educación,
la Ciencia
y la Cultura

Número 8
Educación y Democracia (1)
La autoevaluación institucional en un centro

de educación primaria
José María Ruíz Ruíz (*)
(*) José María Ruíz Ruíz es profesor titular de Didáctica y Organización Escolar de la Facultad
de Educación de la Universidad Complutense de Madrid. Licenciado por esta Universidad, se
doctoró posteriormente en la de Oviedo, luego de haber hecho cursos para ese mismo grado
en universidades de Chile, Argentina, Colombia y en otras de la propia España. Ha impartido
diferentes cursos y seminarios de doctorado y es autor de numerosos trabajos científicos, de
libros y de monografías.
«La evaluación de los centros educativos es uno de los aspectos de más difícil tratamiento por la
disparidad de posturas con las que se enfoca el proceso y la multiplicidad de aspectos que influyen
e intervienen en el funcionamiento y rendimiento del centro» (Escudero 1980, pág. 15).
En los catorce años transcurridos desde esta afirmación de Escudero el campo de la evaluación
educativa ha cambiado bastante. A medida que surgen innovaciones y proliferan programas de
acción, la necesidad de evaluarlos y de identificar sus méritos y limitaciones se hace mayor. Esto
supone la multiplicación y diversificación de las experiencias de evaluación.
Introducción
En la medida en que los resultados de la evaluación inciden en la toma de decisiones importantes
aumenta la probabilidad de que la evaluación sea cuestionada. En este sentido, adquiere mayor
relevancia el aumento de la preocupación por el rigor y la calidad de la evaluación.
Fruto de estas investigaciones es la elaboración de diferentes instrumentos, tanto para la 194

evaluación interna como externa de los centros educativos (Quafe 80, Plan EVA, MEPOA 90, etc.).
Con respecto al concepto, el término evaluación incluye varias acepciones que se suelen
identificar con fines muy diversos: valorar, enjuiciar, comparar, controlar, fiscalizar, etc.
Nos inclinamos a definir la evaluación de acuerdo con Babio Galán, et al., como el «proceso de
análisis estructurado y reflexivo, que permite comprender la naturaleza del objeto de estudio y
emitir juicios de valor sobre el mismo, proporcionando información para ayudar a mejorar y ajustar
la acción educativa» (Babio Galán 1992).
La complejidad de un centro educativo - y por consiguiente de su evaluación-, parte de la gran

cantidad de variables que intervienen, interaccionándose de múltiples formas entre ellas.
Para evaluar centros no podemos limitarnos únicamente al simple proceso de evaluación, sino que
ésta debe proporcionar bases para la corrección y la mejora. Se evalúa para mejorar o para
cambiar.
Precisamente este es el objeto de estudio de nuestro trabajo: la evaluación centrada en el cambio.
Desde el punto de vista del agente que realiza la evaluación podemos distinguir entre la
evaluación externa, cuando es llevada a cabo por personas ajenas al centro escolar, y la
evaluación interna, cuando son los propios implicados los que sienten la necesidad de la
evaluación y se encargan de realizarla.
En nuestro caso nos vamos a centrar en la evaluación interna y, más concretamente, en la

autoevaluación.
Aunando lo expuesto en los dos párrafos anteriores, nuestro trabajo se circunscribe al tema de la
«Autoevaluación Institucional centrada en el cambio».
1. Fundamentación teórica
1.1. Conceptualización del modelo
Como hemos dicho en la introducción, el modelo de evaluación que vamos a realizar es el de la
autoevaluación institucional centrada en el cambio.
Teniendo en cuenta que la evaluación es un instrumento de mejora y reflexión, acudimos a la

definición de evaluación que propone el Comité Mixto de Normas para la Evaluación Educativa:
«La evaluación es el enjuiciamiento sistemático de la valía o mérito de un objeto. Ahora bien, tal
enjuiciamiento o valoración se basa en una recogida sistemática de información que se recoge
para entender muy diversos objetivos, pero que pueden quedar englobados en la toma de
decisiones de mejora».
En esta línea Casanovas define dicha evaluación como:
«Un proceso sistemático de recogida de datos incorporado al sistema general de actuación

educativa, que permite obtener información válida y fiable para formar juicios de valor acerca de
una situación. Estos juicios, a su vez, se utilizarán en la toma de decisiones consecuente, con
objeto de mejorar la actividad educativa valorada». 195
En todo proceso educativo, la evaluación forma parte de éste. No se puede olvidar el marco social
y político que lo envuelve. Nuestro entorno democrático nos alerta al considerar que para alterar
cualquier situación educativa es preciso tener en cuenta la presencia de los factores que coexisten
en el sistema. Deben participar, entre otras razones, porque sin su colaboración, convicción y
motivación, resultaría estéril cualquier intento de cambio, que es lo mismo que decir un intento
evaluador.
De acuerdo con Mateo (1989), toda evaluación está inmersa en lo que se conoce como estrategia
de cambio. Según J. Elliot (1977), M.C. Donald (1978) y M. Simons (1981), hay un consenso
general en pensar que la evaluación es, probablemente, el mejor camino o al menos el primer
paso para promover cambios positivos en las personas o en las instituciones.
Los trabajos de W.G. Bennis, K.D. Benne y R. Chin (1969), plantearon ya que en los cambios hay
que considerar tres grandes categorías de estrategias:
a) Cuando intervienen aquellos que tienen autoridad legal para alterar las condiciones
(estrategias coercitivas).
b) Cuando presumimos que las personas cambiamos cuando existe una demostración como
resultado de una actividad investigadora, en razón de nuestra racionalidad (estrategias empírico-
racionales).
c) Cuando se presume que los patrones de acción son mantenidos por la natural acomodación
de los individuos a las normas socio-culturales (estrategias normativo-reeducativas).
En este trabajo vamos a utilizar el modelo denominado evaluación interna. Esta puede ser
promovida desde las instancias interiores o exteriores al centro educativo. Básicamente tales
dimensiones de evaluación interna están orientadas al desarrollo del personal y a la mejora
consiguiente del sistema.
En nuestro caso son los mismos interesados los que sienten la necesidad de conocer la realidad
de su centro, a fin de tomar las decisiones pertinentes.
Las ventajas de este enfoque interno tienen que ver sobre todo con la valía, la validez y la
fiabilidad de los datos aportados y con la superior implicación del personal en las condiciones de
mejora.
La calidad de los datos es, en efecto, superior. La fiabilidad se supone cuando las personas del
centro, por su propia voluntad, se comprometen en un proceso cuya viabilidad y utilidad dependen
de los datos recogidos. Por lo que respecta a la validez se puede afirmar algo similar, pues no se
trata de que personas ajenas «interpreten» comportamientos, induzcan actitudes o presuman
valores, sino que son los mismos autores quienes de modo voluntario los ofrecen. El superior
protagonismo de educadores y educandos nos hace pensar que podrán reconocer con mayor
claridad y precisión las necesidades existentes y seleccionar la información más pertinente e
importante para interpretarla con mayor riqueza de matices, por el mayor conocimiento del
contexto en el que surgen.
También conviene resaltar que este enfoque de evaluación interna tiene una más elevada
potencialidad de mejora como consecuencia de que su origen se da en el seno del grupo.
1.2. Características del modelo utilizado

196
Se trata de un nuevo modelo evaluador de centros educativos, denominado «Batería para una
Autoevaluación Institucional (B.A.D.I.)».
Los principios que constituyen dicho modelo se pueden resumir en los siguientes puntos:
1. Es un modelo de concepción esencialmente organicista, estamental, con definición ideológica.
2. Tiene un enfoque fundamentalmente rogeriano.
3. Participa de los enfoques conceptuales: social, abierto, dinámico, cultural y positivo. Comparte
la teoría moderna de la organización y sus indicadores pertenecen a las fases Criterial,
Presupuestaria, Metodológica e Informativa.
4. Se identifica con los modelos centrados en la evaluación de cambio, de forma especial en la

autoevaluación.
Este modelo intenta combinar una opción cuantitativa y una cualitativa en la evaluación del centro
escolar. Esto aporta múltiples beneficios, pues permite evaluar desde dos visiones paradigmáticas
diferentes. La utilización de los dos métodos enriquece notablemente la investigación evaluativa
institucional, ya que se atiende a los muchos propósitos que normalmente presenta una institución
educativa.
La utilización de una evaluación cuantitativa y cualitativa se justifica por las siguientes razones:
a) A nivel metodológico, no puede justificarse una dicotomía paradigmática.
b) Una evaluación de centros precisa de una muestra aleatoria, de encuestas por muestreo, de
técnicas de recogida de datos, todo ello con cierto nivel de estandarización y objetividad, es decir,
con una evaluación cuantitativa.
c) La dimensión social y humana de un centro educativo hace difícil la cuantificación de ciertos

aspectos, por lo que se necesita una evaluación cualitativa que complete la objetividad y la
estandarización de la evaluación cuantitativa.
El B.A.D.I. es una batería diseñada para evaluar aquellas áreas de identificación que permiten
conocer si un centro reúne las condiciones mínimas que requiere la aplicación de la Reforma.
Los elementos que lo constituyen son los que a continuación exponemos y que responden a estas
preguntas:
¿Qué queremos evaluar? ---> Áreas de identificación:
- Definición ideológica.
- Definición pedagógica.
- Estructura organizativa.
- Coordinación.
- Clima de centro.
- Innovación pedagógica. 197

- Infraestructura, servicios, financiación.
¿Dónde nos informamos? ---> Fuentes de información:
- Equipo directivo.
- Profesores.
- Alumnos.
- Asociación de padres de alumnos (A.P.A.).
- Personal de Administración y Servicios (P.A.S.).
¿Qué criterios utilizamos? ---> Criterios:
- Presencia.
- Utilidad.
- Opinión.
- Intervención.
- Evaluación.
¿Cómo evaluamos las áreas? ---> Indicadores:
a) Definición ideológica.
- Educación democrática.
- Comunidad educativa.
- Carácter propio del centro.
b) Definición pedagógica.
- Proyecto educativo.
- Programación anual del centro.
c) Estructura organizativa.
- Reglamento de Régimen Interno.
- Organigrama.
- Órganos de gobierno unipersonales.
- Órganos de gobierno colegiados.
d) Coordinación.
198
- Ciclos y niveles.
- Equipos docentes.
- Orientación.
e) Clima de centro.
- Participación.
- Condiciones laborales.
- Condiciones económicas.
- Comisión de conflictos.
f) Innovación pedagógica.
- Formación permanente.
- Experimentación (actividades).
- Evaluación.
g) Infraestructura, servicios y financiación.
- Edificios.
- Patios.
- Bus.
- Comedor.
- Financiación.
Las características de la batería B.A.D.I. son las siguientes:
- Es un instrumento para la evaluación modular.
- Cada módulo es independiente y puede plantearse desde dos aspectos: como instrumento
modular de área y como instrumento modular de criterio.
- Ofrece una doble posibilidad, cuantitativa y cualitativa.
- Permite recoger la opinión de todos los estamentos implicados en la comunidad educativa.
La batería consta de unos protocolos de carácter cuantitativo (cuestionario) y de otros de carácter

cualitativo (entrevista).
En cuanto a los cuestionarios, existen seis: uno para cada una de las áreas de identificación. Cada
uno de los mismos se aplica a los diferentes estamentos implicados.
199
Por lo que respecta a las entrevistas, existen tres formularios estructurados que atienden a los
siguientes criterios:
- Formulario 1 ---> criterio presencia.
- Formulario 2 ---> criterio intervención.
- Formulario 3 ---> criterio utilidad, opinión y evaluación.
1.3. Situaciones institucionales en las que se aconseja su utilización
La Autoevaluación Institucional
La evaluación institucional es una necesidad no muy sentida y ejercitada. Cada profesor actúa en
su aula y se preocupa fundamentalmente de la evaluación de sus alumnos.
No se concibe el trabajo colectivo del centro como una estructura en su funcionamiento.
La autoevaluación puede ser total (de todos los aspectos del centro) o limitarse a algunas parcelas
concretas según las exigencias temáticas, la disponibilidad de tiempo y la urgencia en la solución
de problemas. Puede analizar resultados de los estudiantes, de cómo se organizan los horarios,
de cómo son las relaciones, de cómo se distribuye el espacio, de cómo se trabaja con distintos
métodos, etc.
Es frecuente que los centros, como cualquier organización, presenten fallos, errores de
planteamiento, procesos inadecuados, niveles de logro manifiestamente insuficientes, que
requieren cambios difíciles de lograr si no se modifican determinadas actitudes y concepciones
desfasadas o erróneas sobre la enseñanza, la educación, la organización o la participación.
En ocasiones, los cambios implican la resolución de conflictos: los intereses contrapuestos, las
diferentes formas de ver una realidad, los objetivos institucionales no aceptados o no asumidos
personalmente por el personal, las formas autocráticas de gobierno o la dirección anárquica,
pueden conducir a situaciones de desgobierno, de descoordinación, de luchas internas que se
oponen de raíz al buen funcionamiento del centro.
También es posible que los cambios sean necesarios sólo porque, en determinadas dimensiones,
la evolución del saber va aportando nuevos conocimientos cuya incorporación a la vida del centro
y del aula producen de por sí unos efectos positivos.
Con la evaluación institucional es posible detectar los niveles, las funciones, las actitudes, las
relaciones o comportamientos que ponen de manifiesto dificultades, problemas, conflictos e
irregularidades. El estudio de los mismos permite, tras decidir un orden de prioridades, la toma de
decisiones de mejora y la posterior evaluación parcial, localizada en tales aspectos, más detallada
y profunda que la anterior.
Por lo tanto, es conveniente utilizar este instrumento evaluador en situaciones institucionales con
la intención de mejora, para la recogida de información o la indicación de las diferencias y
problemas detectados, para el diseño de intervenciones específicas y el seguimiento de un
desarrollo a fin de asegurar su éxito, para la potenciación de aspectos considerados satisfactorios
en función de una nueva situación, así como la incorporación de innovaciones, lo que supone una
renovación y un crecimiento de la institución. 200
2. Radiografía del centro
IDENTIFICACIÓN
C. P. Fuenlabrada. Madrid.
Tipo de centro
Es un centro público de Educación General Básica (E.G.B.) en el que se realiza la integración de

los alumnos con necesidades educativas especiales.
El alumnado de integración presenta deficiencias psíquicas, motoras y sensoriales (hipoacúsicos).
Contexto
Características generales del centro
ETAPAS IMPARTIDAS: Ed. Infantil, 1er y 2º ciclo de Primaria, 5º, 6º, 7º Y 8º de E.G.B.
UNIDADES: Existen 24 unidades creadas, de las que están en funcionamiento 22:
1 aula de P3
1 « de P4
1 « de P5
1 « de 1º
2 « de 2º
1 « de 3º
2 « de 4º
2 « de 5º
3 « de 6º
4 « de 7º
4 « de 8º
1 « de 3º
Nº DE ALUMNOS: 400
Nº DE PROFESORES: 33, de los cuales:
20 Definitivos
201
8 Provisionales
4 Interinos
1 Comisión de Servicios
1 Profesora de Religión
ADSCRIPCIÓN DEL PROFESORADO
Ed. Infantil: 3
1er y 2º ciclo de Primaria: 5
Ciclo medio de E.G.B.: 2
Matemáticas: 4
Sociales: 3
Lengua: 3
Inglés: 3
Ed. Física: 2
Pedagogía Terapéutica: 4
Audición y Lenguaje: 1
P.I.P.O.E.: 1
Religión: 1
EDIFICIO Y EQUIPAMIENTO
El centro se compone de tres edificios: uno central y dos destinados originalmente a la educación
infantil.
Actualmente están edificando un cuarto edificio destinado a gimnasio.
En cuanto al equipamiento contamos con:
2 pistas polideportivas.
1 patio de recreo.
1 laboratorio escasamente dotado.
1 sala de pretecnología.
1 sala de medios audiovisuales.

202
1 sala de Atenea con cuatro ordenadores.
1 biblioteca.
1 sala de profesores.
1 comedor escolar, que aún no está en funcionamiento.
1 huerto escolar.
No existen espacios para tutorías, departamentos, sala de reuniones, salón de actos, etc.
Socioeconómico
El centro está situado en el barrio de «El arroyo» de Fuenlabrada, población del cinturón industrial
de la zona sur de Madrid.
Se trata de una barriada no estable, formada en sus dos terceras partes por familias inmigrantes
que han llegado a la zona hace aproximadamente diez años.
El barrio se caracteriza por el bajo nivel económico y cultural de sus habitantes, que son en su
mayoría relativamente jóvenes, situándose la edad media entre los 30 y los 40 años.
A esta situación contribuye el escaso número de servicios culturales y de ocio y tiempo libre que
posee el barrio, donde sólo se cuenta con una biblioteca municipal y con un polideportivo.
El nivel económico y cultural de las familias repercute sobre la vida escolar y sobre el rendimiento
del alumnado de forma negativa, ya que las expectativas de las familias con respecto a la escuela,
así como su grado de participación en la vida escolar, son bastante reducidos.
Todo esto hace que el nivel académico del alumnado sea bastante bajo. Los principales defectos
detectados se refieren al ámbito de la expresión oral.
3. Aplicación práctica
3.1. Propuesta de la necesidad de la evaluación. Enfoque y opción
metodológica
3.1.1. Propuesta
La propuesta de la necesidad de evaluación surge en el propio centro, y más concretamente en el

Equipo Directivo, que quiere conocer si se encuentra en buena situación para afrontar con
posibilidades de éxito la reforma educativa propugnada por la LOGSE, con la intención de actuar
posteriormente sobre aquellos aspectos que se muestren deficitarios.
3.1.2. Enfoque y opción metodológica
Como vemos, se trata de una evaluación institucional interna y más específicamente centrada
en el cambio, ya que se pretende conocer si el centro está preparado para acometerlo.
203
Como metodología se opta por la autoevaluación modular, ya que este tipo permite conocer la
situación en que se encuentran los diferentes módulos que intervienen en la vida educativa del
centro, haciéndolo más o menos eficaz.
Se decide utilizar la batería B.A.D.I. porque auna en un mismo instrumento la evaluación

cuantitativa por medio del cuestionario y la cualitativa por medio de la entrevista.
Así mismo, esta batería permite recoger información de todos los estamentos que componen la
comunidad educativa.
3.2. Metodología y temporalización

En el seno de una reunión formal del claustro el director del centro plantea al profesorado la
propuesta de autoevaluación, que debe ser aceptada de forma consensuada.
Posteriormente el director, como presidente del centro escolar, lo plantea en el mismo, explicando
las razones que justifican la necesidad de esta evaluación, el objetivo que se pretende y la forma
en que habrá de realizarse. Por último, el Consejo Escolar aprueba la propuesta.
Se decide, entonces, realizar la autoevaluación en el centro.
La responsabilidad de llevar a la práctica esta labor recae sobre el equipo directivo, en el que el
director es el coordinador de la autoevaluación. El jefe de estudios y el secretario colaboran con él
en la aplicación de la batería y en el vaciado de los datos reflejados en la misma.
En cuanto a la temporalización, debe realizarse durante el tercer trimestre, comprometiéndose a

entregar el informe de la autoevaluación al claustro y al Consejo Escolar a finales de mayo, para
que los datos puedan ser incluidos en la memoria del curso y tenidos en cuenta en la planificación
del curso siguiente.
3.3. Aplicación de los instrumentos de evaluación

El cuestionario se pasó a los siguientes estamentos:
Equipo directivo.
Claustro de profesores.
A.P.A.
Alumnos de 8º curso.
P.A.S.
La entrevista fue efectuada a las siguientes personas:
Director.
Presidente del A.P.A.
Representantes en el Consejo Escolar de profesores.

204
Padres.
Alumnos.
P.A.S.
Cada uno de los estamentos se reunió separadamente en la biblioteca del centro, explicándosele a
continuación las normas de cumplimentación del cuestionario que se le iba a pasar. La sesión
transcurrió con normalidad, sin que surgieran dificultades dignas de mención.
Con respecto a las entrevistas, se llevaron a cabo en el despacho del Director de forma
individualizada, contando con la máxima colaboración de cada uno de los entrevistados. Tampoco
hubo incidencias significativas a lo largo de dichas entrevistas.
3.4. Tratamiento de la información

La información recogida con la aplicación de los instrumentos (cuestionario y entrevista) fue
analizada detenidamente, de manera individual, para ser reunida después en una única tabla que
nos ofreció una panorámica general de todas las puntuaciones obtenidas para cada estamento
individual. De esta forma se obtuvo una comprensión más exacta de las relaciones existentes
entre elementos, criterios y módulos.
Como había cinco estamentos diferentes, logramos cinco tablas de puntuaciones generales.
Además, en un momento posterior, dicha información se trasladó a una segunda tabla en la que
estuvieron presentes todos los estamentos y, como en la anterior, cada una de las áreas de
identificación.
Así vimos reflejada de forma clara y precisa toda la información perteneciente a cada uno de los
módulos por estamentos.
Esta tabla de puntuaciones modulares aportó una visión global de los resultados, al agrupar
puntuaciones de todos y cada uno de los estamentos con respecto a cada una de las áreas de
identificación.
A continuación presentamos las tablas explicadas anteriormente.
PUNTUACIONES DE LOS CUESTIONARIOS Y DE LAS ENTREVISTAS
EQUIPO DIRECTIVO
ÁREAS DE IDENTIFICACIÓN INDICADORES P I U O E

1.a.- Educación democrática. 5 5 5 5 5
1. Definición ideológica. 1.b.- Comunidad educativa. 4 3 5 4 4
1.c.- Carácter Propio del Centro. 3 4 3 2 3
2.a.- Proyecto Educativo. 4 3 3 2 3
2. Definición pedagógica.
2.b.- Programa Anual del Centro. 3 2 3 4 3
3.a.- Manual de Régimen Interno. 3 5 4 4 3
205
3. Estructura Organizativa. 3.b.- Organigrama. 5 5 5 5 5
3.c.- Órganos de gobierno unipersonales. 3 4 3 3 2
3.d.- Órganos de gobierno colegiados. 4 3 5 4 4
4.a.- Ciclos. Niveles. 4 4 2 2 2
4.b.- Equipos docentes (departamentos,
4. Coordinación. 5 4 5 4 4,5
seminarios,...).
4.c.- Orientación. 3 4 3 2 3
5.a.- Participación. 5 5 5 5 5
5.b.- Condiciones laborales. 5 5 5 5 5
5. Clima institucional.
5.c.- Condiciones económicas. 5 5 5 5 5
5.d.- Comisión de conflictos. 5 5 5 5 5
6.a.- Formación permanente. 3 3 3 2 4
6. Innovación. 6.b.- Experiencias (actividades). 5 5 5 5 5
6.c.- Evaluación (sesiones, criterios,...). 3 4 5 5 3
7.a.- Edificios. 3 4 2 3 3
7.b.- Patios. 4 5 3 3 5
7. Infraestructura Servicios.
7.c.- Bus. 3 3 2 4 3
Financiación.
7.d.- Comedor. 3 2 4 3 3
7.e.- Financiación. 2 2 2 2 2
PROFESORES

3.b.- Organigrama. 2 2 2 2 2
3. Estructura Organizativa.
4. Coordinación. 4 3 4 5 4
seminarios,...).
5.c.- Condiciones económicas. 5 5206
5 5 5
7.a.- Edificios. 3 4 2 3 3
7.b.- Patios. 2 3 2 1 2
7.c.- Bus. 4 3 5 4 4
Financiación.
7.d.- Comedor. 3 3 3 3 3
A.P.A.

seminarios,...).
7.a.- Edificios. 3 2 3 4 3
7.b.- Patios. 2 1 3 2 2
7.c.- Bus. 2 3 3 4 3
Financiación.
7.d.- Comedor. 4 3 5 4 4
207
P.A.S.

seminarios,...).
6.c.- Evaluación (sesiones, criterios,...). 4 4 3 3 3,5
7.a.- Edificios. 2 2 2 2 2
7.b.- Patios. 3 2 4 3 3
7.c.- Bus. 4 3 3 2 3
Financiación.
7.d.- Comedor. 2 1 2 3 2
7.e.- Financiación. 2 3 2 3,5 2,5
ALUMNOS

3.b.- Organigrama. 5 5 208
5 5 5
3. Estructura Organizativa. 3.c.- Órganos de gobierno unipersonales. 3 4 5 4 4
seminarios,...).
7.a.- Edificios. 3 4 5 4 4
7.b.- Patios. 3 2 3 4 3
7.c.- Bus. 4 3 5 4 4
Financiación.
7.d.- Comedor. 2 3 3 4 3
7.e.- Financiación. 3 4 4 3 3,5
PUNTUACIÓN MODULAR

4. Coordinación. 4,5 4 4 5 5
seminarios,...).
5. Clima institucional. 5.c.- Condiciones económicas. 5 5 4 5 5
209
6.c.- Evaluación (sesiones, criterios,...). 4 3 2 3,5 3
7.a.- Edificios. 3 3 3 2 4
7.b.- Patios. 4 2 2 3 3
7.c.- Bus. 3 4 3 3 4
Financiación.
7.d.- Comedor. 3 3 4 2 3
7.e.- Financiación. 2 3 3 2,5 2,5
PUNTUACIÓN GLOBAL DE LOS MÓDULOS EVALUADOS
EQUIPO
MÓDULO PROFESORES A.P.A. P.A.S. ALUMNOS MEDIA
DIRECTIVO
Definición Ideológica 4 4 3 3 3 3,4
Definición Pedagógica 3 3,5 4 4 3 3,5
Estructura Organizativa 4 3 4 4 4 3,8
Coordinación 3,5 4 3 4 4 3,7
Clima Institucional 5 4 4 4,5 5 4,5
Infraestructura Servicios.
3 3 3 2 2 3,7
Financiación
3.5. Informe final

Una vez analizados los resultados que reflejan las tablas y gráficos que aparecen en el apartado
anterior, podemos llegar a las siguientes conclusiones:
a) Del análisis independiente de cada una de las áreas de identificación podemos inferir estos
resultados:
- Área de Definición Ideológica
Este módulo indica si existe en el centro una línea clara y definida de actuación con respecto al
tipo de hombre que se está educando.
La puntuación obtenida en el módulo es 3,4; por lo tanto, es satisfactoria.
Se observa que la valoración por parte del Equipo Directivo, de los profesores y de los alumnos es
satisfactoria, en tanto que para el A.P.A. y el P.A.S. es «indecisa». Posiblemente ello es debido a
que se trata de estamentos menos informados con respecto a este aspecto.
- Área de Definición Pedagógica
Este módulo indica la definición pedagógica de la escuela de acuerdo con la igualdad de

oportunidades (enseñanza comprensiva) y con la diversidad (enseñanza diversificada).
210
La media obtenida es 3,5, por lo que se considera satisfactoria.
La puntuación más alta es la del P.A.S. y la del A.P.A., siendo algo más baja la del resto de los
estamentos. Tal circunstancia puede sugerir un mayor grado de exigencia por parte de éstos.
- Área de Estructura Organizativa
Este módulo indica si existe en el centro una clara organización estructural.
La puntuación media obtenida es de 3,8: satisfactoria.
Es de destacar que la puntuación más baja corresponde al profesorado (3) que se encuentra en
una situación de «indeciso» con respecto a la estructura organizativa del centro.
Ello sin duda puede ser debido a que los profesores son los más directos implicados en los
resultados y consecuencias del centro, repercutiendo éstos menos sobre los alumnos, sobre el
P.A.S. y sobre el A.P.A.
La diferencia entre el Equipo Directivo y los profesores puede indicar una divergencia entre ellos
con respecto al buen funcionamiento organizativo.
- Área de Coordinación
Mide el grado de acción conjunta y coordinada de todos los elementos estructurados del centro,
fundamentales para conseguir una óptima implantación de la Reforma Educativa.
La media obtenida es 3,7, que se considera satisfactoria.
Se observa que existe un acuerdo entre Equipo Directivo, Profesores, P.A.S. y alumnos, que
puntúan entre 3,5 y 4, en tanto que se refleja una pequeña discrepancia con el A.P.A., que puntúa
3.
La explicación podría ser, como en el área de Definición Ideológica, falta de información entre el
A.P.A. con respecto al grado de coordinación que hay en el centro.
- Área de Clima Institucional
Indica si existe en el centro el clima institucional y de participación que requiere la nueva

concepción del trabajo escolar.
La media obtenida es 4,5 y, por lo tanto, el clima institucional es muy satisfactorio.
Esta refleja una buena organización del Equipo Directivo, que determina una buena coordinación y
participación de los demás estamentos, teniendo por eso una concepción satisfactoria del trabajo
escolar.
- Área de Innovación
Indica si existe en el centro una actitud innovadora.
La puntuación media del módulo es 3,7, que se define como satisfactoria.
211
Observamos que existe bastante grado de acuerdo respecto a este módulo entre los distintos
estamentos, correspondiendo uno más bajo al A.P.A. y al P.A.S. La discrepancia puede deberse a
que ambos estamentos disponen de información sobre este aspecto.
- Área de Infraestructura, servicios y financiación
Indica si la institución escolar dispone de unas condiciones mínimas de espacio, de servicios y de

recursos económicos que le permitan llevar a cabo la Reforma.
Observando el cuadro de puntuaciones globales en el que se halla recogida la media de este

módulo, vemos que ha obtenido una puntuación de 3, lo que significa que esta área se encuentra
en una situación aceptable.
Analizando las medias de los diferentes estamentos, en este módulo llegamos a la conclusión de
que se da una coincidencia de opiniones al respecto, sin que existan diferencias significativas en
cuanto a puntuaciones medias entre unos estamentos y otros. Así hemos de señalar que, si bien el
centro dispone de los servicios mínimos necesarios para su correcto funcionamiento, no se
encuentra en una situación especialmente favorable.
b) Analizando los resultados de forma global y a la vista de la Tabla de Puntuación general de los
módulos evaluados y del perfil del centro, se observan los siguientes datos:
Todas las áreas de identificación obtienen una puntuación superior a la media, a excepción del
área de Infraestructura, servicios y financiación, que tiene exactamente 3.
Destaca el área de clima institucional, que obtiene la máxima puntuación media otorgada (4,5).
Esto significa que el centro se encuentra en una situación satisfactoria para afrontar la reforma
educativa propugnada por la LOGSE por lo que respecta a las áreas de Definición Ideológica,
Definición Pedagógica, Estructura Organizativa, Coordinación e Innovación; en una situación muy
satisfactoria en el área de clima institucional y en una situación aceptable en cuanto a
Infraestructura, servicios y financiación.
Dado que la calificación general del centro es de satisfactoria, no parece urgente realizar
actuaciones con vistas a la continuación de la reforma educativa, ya que se encuentra en una
situación favorable para ello.
No obstante, como el fin último de la evaluación es mejorar los resultados para conseguir una
escuela eficaz que pueda responder con solvencia a las exigencias que la sociedad actual
demanda, proponemos algunas ideas tendentes a la optimización de la calidad educativa en este
centro.
- En vista de que el área de Infraestructura, servicios y financiación se encuentra en una situación

sólo aceptable en opinión de todos los estamentos, el Consejo Escolar podría remitir un escrito a
los organismos competentes para paliar esta situación. Tales escritos deberían dirigirse:
- al Ministerio de Educación y Ciencia (M.E.C.), solicitando mayor dotación en cuanto a recursos

humanos y materiales.
- al Ayuntamiento, solicitando la mejora de las instalaciones.
Además, se podría solicitar al CEP de la zona la organización de algún tipo de curso para formar al
profesorado en la mejor manera de aprovechar los recursos existentes. 212
- Como existe en el centro una actividad innovadora que aparece reflejada sobre todo en el Equipo
Directivo, en el profesorado y en los alumnos, se podrían solicitar cursos de formación para todo el
profesorado del centro sobre aquellos aspectos que el claustro considere más importantes,
acogiéndose a la convocatoria del M.E.C. Aunque es el claustro el que debe de elegir, nos
atrevemos a sugerir, como temas de formación, la elaboración del P.C.C. y las adaptaciones
curriculares.
- Puesto que se cuenta con una actividad innovadora en el centro, éste podría participar en las
convocatorias realizadas por el M.E.C. y por la Comunidad Autónoma de Madrid sobre proyectos
de innovación que supongan la participación de profesores, de alumnos y de padres, y que lleven
consigo dotaciones materiales y económicas.
A este respecto sugerimos como posibles proyectos la inclusión de las áreas transversales dentro
del proyecto curricular.
- Como ya señalamos al realizar el análisis de las áreas de identificación de forma independiente,

el A.P.A. parece estar poco informado en algunos aspectos. Sobre el particular y para aumentar la
información entre los padres con respecto a las actividades del centro proponemos estas medidas:
- Realizar reuniones de padres por clases, niveles o ciclos, según las necesidades, para
informales sobre todos los aspectos que se trabajan en el centro, con el fin de que tengan una
visión más global de los factores que intervienen en la actividad educativa y su interrelacción.
- El Equipo Directivo podría encargarse de coordinar, en colaboración con el A.P.A., unas

jornadas de información y sensibilización para todos los padres sobre la Reforma Educativa.
- Se podría organizar una escuela de padres en el centro con la colaboración del A.P.A. y del
profesorado, bajo la coordinación del equipo directivo, para tratar aspectos pedagógicos y temas
de interés solicitados por los padres.
El buen clima institucional que queda reflejado en el perfil del centro hace prever que lleguen a
buen término las actuaciones que se planifiquen con vistas a la mejora de su situación para
abordar la reforma educativa.
4. El modelo que proponemos: la autoevaluación

Si se pretende llegar a una aplicación creativa del conocimiento y a una autonomía intelectual, el
docente debe intentar desarrollar el pensamiento crítico con preponderancia sobre la eficacia de lo
inmediato, lo cual tendrá que reflejarse ineludiblemente en el tipo de evaluación a realizar; una
evaluación entendida como actividad crítica de aprendizaje (ÁLVAREZ MÉNDEZ, 1993b), en la
cual el error deje de ser un elemento de castigo o de penalización para convertirse en factor de
aprendizaje.
En la corrección de exámenes, trabajos, tareas.... (acción que es indispensable para comprender

el aprendizaje del alumno y poder evaluarlo), el profesor no debe reducirse a la función de simple
calificador, sino ser un crítico (crítica que como actividad intelectual siempre ha de ser positiva y
constructiva, basada en argumentos).
Se trata de entender el error como fuente de aprendizaje y no en términos de éxito/fracaso

(escolar, académico....), de luchar por romper la idea que une la corrección a una peor calificación
y el error a una peor nota. 213
Y así, la corrección no se hace sobre el alumno sino PARA el alumno; su finalidad es facilitar
información PARA la formación del alumno.
Con el fin de lograr que la evaluación se convierta en la enseñanza de la autoevaluación hay que
buscar (y por tanto promover) un análisis crítico por parte de los estudiantes respecto del trabajo
realizado, esto es, la autocrítica.
Finalmente, existen una serie de razones que justifican la necesidad de la autoevaluación como
una constante en el sistema educativo:
1. Una persona correctamente formada es aquella capaz de dirigir su propio aprendizaje; en esta
línea, la principal tarea del profesor es hacerse innecesario lo antes posible y, por tanto, habrá que
preparar al alumno para transmitir la función de la evaluación lo antes posible.
2. Existe un mayor dominio del contenido.
3. Si el principal valor educativo de un sistema o institución es educar para la honradez, y los

propios implicados en ella niegan la autoevaluación del alumno por temor a que se ponga más
«nota» de lo que se merece.
5. Resumen del documento

La realización de una Autoevaluación Institucional requiere una clarificación previa y negociada
sobre la finalidad, los requisitos y consecuencias de la actividad que se va a realizar en el centro.
El modelo aplicado en un centro público ha sido la Autoevaluación Institucional, que ha implicado

una actividad colectiva. En este caso ha resultado ser una clave fundamental para reestructurar
alguno de los módulos evaluados en el centro, sustituyendo el control burocrático y unidireccional
por la autorregulación y el autocontrol. El modelo aplicado ha sido la Batería para una
Autoevaluación Institucional (B.A.D.I.).
Este modelo pretende analizar si un centro está en condiciones de introducir cambios en los
diferentes módulos que plantea el instrumento.
Con dicho modelo ha sido posible detectar los niveles, funciones, actitudes, conflictos... etc., con
cierta irregularidad. Parece conveniente administrar este instrumento evaluador con la intención de
mejora y perfeccionamiento en la vida del centro. La Autoevaluación exige, más allá de la
recopilación de información, una valoración de las discrepancias, una identificación de obstáculos
y una elaboración de alternativas.
Bibliografía
ALVIRA MARTÍN, F. (1991). «Metodología de la evaluación de programas». CSIC. Madrid.
BEARE, H. y otros (1992). «Cómo conseguir centros de calidad. Nuevas técnicas de dirección».
Muralla, Madrid.
BRIONES, G. (1991). «Evaluación de programas sociales». Trillas. México.
DE LA ORDEN, A. y MARTÍNEZ, M.J. (1992). «Metaevaluación educativa». Revista Bordón, 43

214
(4). pp. 517-526.
CABRERA, F. (1987). «Investigación evaluativa en educación», en Gelpi, E. y cols: Técnicas de

evaluación y seguimiento de programas de formación profesional. pp. 97-133. Largo Caballero.
Madrid.
CARBALLO SANTAOLALLA, R. (1992). «El impacto de los estudios evaluativos». Revista Bordón,
43 (4). pp. 509-514.
COLÁS BRAVO, M.P. (1993). «Evaluación de programas: una guía práctica». Kronos. Sevilla.
DAVIS, G.A. y THOMAS, M.A. (1992). «Escuelas eficaces y maestros eficientes». La Muralla,
Madrid.
ESCOTET, M.A. (1990). «La Evaluación Institucional Universitaria». Losada. Argentina.
FEASLEY, C.E. (1980). «Program evaluation». American Association for Higher Education.
Washington.
FERNÁNDEZ ENGUITA, M. (1993). «La profesión docente y la comunidad escolar: crónica de un

desencuentro». Morata. Paideia. Madrid.
GAERIN SALLAN, J. (1993). «Organización Escolar: nuevas aportaciones». PPU. Universitas.

Barcelona.
GAERIN SALLAN, J. (1989). «L’avaluació educativa». Guix 141-142.
GARANTO ALÓS, J. (1989). «Modelos de evaluación de programas educativos». En Reunión

Científica AEDES, pp. 43-78. Escuela Española. Madrid.
GARCÍA RAMOS, J.M. (1992). «Recursos metodológicos en la evaluación de programas». Revista

Bordón, 43 (4). pp. 461-474.
JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION (1988). «Normas de

evaluación para programas, proyectos y material educativo». México. Madrid.
MESTRES, J. (1990). «Model díndicadores per a lávaluació i gestió de qualitat de centres i

Districtes». SAPOREI. Tesis Doctoral. Universidad de Barcelona.
LÁZARO, A. (1991). «La formalización de indicadores de evaluación». Bordón, 43 (4), pp. 477-494.
M.E.C. (1994). «Centros Educativos y Calidad de la Enseñanza». Madrid.
MUNICIO FERNÁNDEZ, P. (1993). «Evaluación de programas, indicadores y cultura en las

instituciones escolares»; Revista de Ciencias de la Educación, 153, enero-marzo, pp. 7-23.
PÉREZ JUSTE, R. (1993). «Evaluación de las adaptaciones curriculares»; Revista de Ciencias de

la Educación, 153, enero-marzo, pp. 51-69.
SANTOS GUERRA, M.A. (1993): «La evaluación: un proceso de diálogo, comprensión y mejora».
Ediciones Aljibe. Málaga.
WOLF, R.M. (1990): «Evaluation in Education: Foundations of Competency Assessment».215

PALLÁN Figueroa Carlos
“Los procesos de evaluación y acreditación de las instituciones de educación
superior en México en los últimos años”
ANUIES
216
LOS PROCESOS DE EVALUACIÓN Y ACREDITACIÓN DE LAS INSTITUCIONES DE
EDUCACIÓN SUPERIOR EN MÉXICO EN LOS ULTIMOS AÑOS
CARLOS PALLAN FIGUEROA
Carlos Pallán Figueroa es el Secretario General Ejecutivo de las ANUIES.
Contenido del Artículo:
PRESENTACIÓN.
I. EXPERIENCIAS EN MATERIA DE EVALUACIÓN DE LA EDUCACIÓN
SUPERIOR EN MÉXICO
II. EXPERIENCIA EN MATERIA DE ACREDITACIÓN
III. CONSIDERACIONES GENERALES Y PERSPECTIVAS A FUTURO
BIBLIOGRAFÍA
ANEXOS
PRESENTACIÓN: Contenido
El presente trabajo tiene por objeto describir, en términos generales, algunas de las
acciones más significativas que en materia de evaluación y acreditación de la
educación superior se han emprendido en México, en los últimos cinco años.
En los dos primeros apartados se exponen los rasgos fundamentales que han
caracterizado las acciones desarrolladas para sustentar e impulsar la puesta en
marcha de ambos procesos, así como algunos elementos analíticos que permitan
fundamentar un balance preliminar de su impacto en el contexto de desarrollo de la
educación superior mexicana. En el tercer apartado se plantean algunas hipótesis y
consideraciones generales sobre las perspectivas de estos procesos, en un futuro
próximo.
I. EXPERIENCIAS EN MATERIA DE EVALUACIÓN DE LA EDUCACIÓN SUPERIOR EN MÉXICO

Contenido
1. Antecedentes
En la década de los años ochenta, se generalizó entre los encargados de orientar el

desarrollo de la política educativa, la preocupación sobre la eficacia y la eficiencia
con las que las instituciones educativas cumplían con sus objetivos. Así, el
Programa Nacional de Educación, Cultura, Recreación y Deporte, aplicado durante
el periodo 1984-1988, y el Programa Nacional de Modernización Educativa (PNME),
que está vigente desde 1988, plantean la realización de acciones dirigidas a evaluar
las tareas involucradas en el proceso educativo y los productos resultantes. Esta
preocupación hizo patente no sólo la exigencia de dar a conocer a la sociedad, de la
manera más objetiva posible, el grado de cumplimiento de los fines educativos de
las instituciones públicas, sino que reveló la necesidad de establecer criterios de
racionalidad para orientar el desarrollo de las instituciones, así como para canalizar
recursos para su financiamiento, por parte del Estado.
217
De hecho, a partir de los planteamientos que en materia de evaluación hace el
programa de modernización mencionado, se instrumentaron dos grandes líneas
prioritarias de evaluación: una en el nivel de la educación básica, que se proponía
evaluar y supervisar el proceso de enseñanza-aprendizaje y otra que, en el caso
concreto de la educación superior, se proponía establecer la evaluación sobre el
grado de eficiencia de las instituciones y sobre la calidad de sus servicios. Todo
esto como una de las condicionantes principales paraincrementar sustancialmenteel
financiamiento del nivel de educación superior, por parte del Estado. Esta tarea se
emprendió a través del establecimiento de un sistema de criterios para valorar la y
una serie de normas para calificar su funcionamiento (SEP, 1989: 83).
El Programa Nacional de Modernización Educativa (PNME) pone especial énfasis

en la necesidad de iniciar un proceso de evaluación de las acciones del sistema
educativo, considerando como partes fundamentales de este proceso a todas
aquellas actividades referidas a la certificación de estudios, a la acreditación de
instituciones y programas de estudios, a la calificación del aprendizaje, a la
evaluación del desempeño escolar, a la evaluación del proceso escolar, al
desempeño de las funciones de las instituciones educativas, a la evaluación del
impacto social de los productos y servicios educativos, entre las dimensiones más
importantes a destacar (SEP, 1984: 180 y ss.). En este contexto, el PNME
estableció entre sus principales lineamientos para impulsar el desarrollo del sistema
educativo, la necesidad de valorar la productividad de las instituciones educativa y
el desempeño de docentes y alumnos.
2. Evaluación institucional
Las acciones de evaluación en las universidades públicas mexicanas han registrado

avances importantes, los cuales pueden describirse en el marco de tres diferentes
etapas:
Primera etapa: Exploración inicial.
Los primeros antecedentes de la evaluación, corresponden a diagnósticos de la

educación superior, realizados por algunas IES públicas a partir de los años setenta.
El aporte más significativo en este campo, se materializó en 1984 en la ponencia
que presentó el Grupo Técnico Interinstitucional: "La evaluación de la educación
superior en México", que fue aprobada en la Asamblea General de la ANUIES, en
Culiacán. En este documento se definen algunos elementos para el marco teórico y
se precisan las categorías, los criterios e indicadores para la evaluación. Este
documento contribuyó, en gran medida, a la definición de la propuesta metodológica
para realizar la evaluación de la educación superior, elaborada en 1990 por el
Grupo Técnico de la Comisión Nacional de Evaluación de la Educación Superior
(CONAEVA); comisión integrada ex-profeso en 1989, para atender este ámbito de
acciones, en el contexto de la puesta en marcha del Programa Nacional de
Modernización de la Educación Superior (PNMES).
Segunda etapa: Definición de los fundamentos teóricos, de las características y de

los instrumentos de la evaluación.
En esta segunda etapa se distinguen tres momentos: a) Elaboración, por parte de la

CONAEVA, de un anteproyecto, en marzo de 1990, llamado: "Lineamientos
218
generales y estrategia para evaluar la educación superior", en el que se definió un
marco conceptual, se señalaba una propuesta metodológica para la evaluación, y se
presentaron criterios, indicadores y parámetros generales. En este documento
predomina un enfoque cuantitativista. Una observación importante a destacar, es
que los parámetros propuestos para cada indicador, se aplicaron de manera
invariable a todas las instituciones sin tomar en cuenta la heterogeneidad de las
instituciones y sus particularidades, y al aplicarse, tendieron a uniformar las
funciones de las casas de estudios superiores.
b) Complementación de la propuesta metodológica inicial por parte de la Secretaría

General Ejecutiva de la ANUIES: en un documento titulado: "Observaciones y
sugerencias para la evaluación de la educación superior", la ANUIES planteó la
necesidad de incorporar información de tipo cualitativo; de establecer parámetros
institucionales autoreferidos y no generales; y de simplificar el número de
indicadores integrados en la propuesta inicial. Asimismo las instituciones agrupadas
en esta Asociación, presentaron observaciones y sugerencias muy importantes para
complementar la propuesta metodológica inicial para emprender el proceso de
evaluación.
c) Con base en el documento elaborado por la Secretaría General de la ANUIES y

las sugerencias presentadas por las instituciones, se elaboró la "Propuesta de
lineamientos para la evaluación de la educación superior", que fue aprobada por la
Asamblea General de la ANUIES, en julio de 1990. En este documento se retomó el
marco conceptual desarrollado en la propuesta inicial de la CONAEVA, se
replantearon los criterios, se reformularon los indicadores, y se establecieron
aspectos relevantes de información cualitativa.
Tercera etapa: Aplicación de los instrumentos de evaluación en las universidades

públicas.
Durante los años de 1990, 1991 y 1992, las universidades públicas aplicaron los
instrumentos de evaluación, a instancias del Grupo Técnico de la CONAEVA. Los
criterios fundamentales para desarrollar las tareas de evaluación se citan en el
Anexo 1.
La última de las propuesta metodológicas desarrollada para orientar el proceso de

evaluación institucional, en el año de 1992, redujo significativamente el número de
indicadores para realizar el análisis pertinente y añadió un elemento de análisis
innovador que consistió en el planteamiento de algunas "líneas de reflexión" sobre
la temática a desarrollar en los criterios establecidos.
Logros y avances de la evaluación institucional durante 1990 y 1991.
En las evaluaciones institucionales correspondientes a los años de 1990, 1991 y

1992, se advierten diversos grados de experiencias en lo que respecta a las labores
de evaluación, en las diferentes universidades públicas.
- La temática de la evaluación se permeabilizó en los distintos niveles y campos

institucionales (facultades, escuelas, institutos, centros, y órganos administrativos y
de apoyo académico).
219
- Surgió la necesidad de realizar, con urgencia, investigaciones sobre la
problemática institucional más relevante, sobre el desarrollo de la universidad y
sobre el impacto de sus funciones en la sociedad.
- Se estableció la urgencia de generar condiciones favorables en el proceso de

capacitación de la información y del análisis, que pudieran permitir pasar del dato
estadístico a su significación valorativa.
- Se logró mejor acopio y sistematización de la información recopilada, en cada una

de las instituciones.
- Con relación al proceso promovido por la CONEVA, se advierte: la urgencia de

diferenciar los aspectos evaluativos, de los propiamente informativos, y la necesidad
de continuar con reajustes metodológicos que permitan afinar los instrumentos de
evaluación.
Durante el periodo que va de 1990 a 1992, el Grupo Técnico de la CONEVA

impulsó acciones en el campo de la evaluación institucional que permitieron
acrecentar la experiencia de las universidades públicas. Esto contribuyó a lograr
una redimensionalidad de la evaluación mediante la cual se abrieron nuevas
perspectivas, se generaron elementos metodológicos innovadores y se despertó un
mayor interés por la evaluación, en los diferentes aspectos de la comunidad
universitaria. Aún cuando los ejercicios autoevaluatorios han favorecido un
importante avance en lo que se refiere a planteamientos metodológicos y a
obtención de resultados, este proceso debe considerarse una tarea de construcción
epistemológica permanente que haga factible la incorporación de nuevos
aprendizajes derivados de experiencias anteriores, su readecuación continua al
contexto y, con ello, a la búsqueda de su perfeccionamiento.
Estos avances en materia de evaluación institucional han permitido generar

actitudes de mayor apertura hacia la valoración de las funciones universitarias y
abren perspectivas en materia de acreditación institucional.
Los esfuerzos invertidos en los ejercicios de evaluación institucional por parte de las
IES públicas mexicanas, en los últimos tres años, constituyen un elemento clave de
referencia para conocer su realidad y establecer estrategias adecuadas para elevar
el nivel de calidad de la educación superior en nuestro país. Esto es una exigencia
trascendental en el contexto de cambios vertiginosos que vive el mundo actual.
3. Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES)
Como una de las partes esenciales de la estrategia de evaluación propuesta por la

CONPES, se acordó desarrollar un proceso de evaluación interinstitucional sobre
programas y proyectos académicos, por área de conocimiento y por función, así
como sobre los servicios de apoyo. Los CIEES están integrados por ocho comités:
Ciencias Naturales y Exactas, Ciencias Agropecuarias, Ingeniería y Tecnológica,
Administración, Ciencias Socialesy Administrativas, Educación y Humanidades,
Ciencias de la Salud, Difusión y Extensión. Cada comité es una instancia colegiada
formada por nueve miembros del personal académico ("pares") y un experto en el
área respectiva proveniente del sector social o productivo. Cada comité está dirigido
por un vocal, y el conjunto de comités por un Coordinador General.
220
Las funciones básicas de los CIEES son:
- Evaluación diagnóstica
- Acreditación y reconocimiento
- Dictaminación puntual
- Asesoría.
El esquema de evaluación utiliza cuatro referentes metodológicos que se

complementan entre sí. Estos son:
1º. Evaluación de la normatividad y de la planeación académica del programa
2º. Evaluación del desarrollo y de los resultados del programa
3º. Evaluación del proceso académico y de sus insumos
4º. Evaluación de la administración académica.
Los comités han establecido marcos de referencia para la evaluación y han fijado
criterios para realizar sus tareas. Cada comité tiene indicadores particulares, pero
casi todos ellos coinciden en el establecimiento de grandes categorías. Estas se
enuncian en el Anexo 2.
Desde la instalación de los CIEES, y a partir del inicio de sus trabajos, en junio de
1991 y hasta enero de 1994, se elaboraron 48 reportes de evaluación; están por
editarse 41 evaluaciones concluidas y 61 en proceso de elaboración. Lo que hace
un total de 150 trabajos de evaluación.
30 Instituciones de Educación Superior se han beneficiado con evaluaciones de

programas hasta enero de 1994; de éstas, 18 son universidades públicas; ocho son
Instituciones de Educación Superior Tecnológica, y cuatro son instituciones de otra
naturaleza.
Estos trabajos de los CIEES, en la línea de la evaluación diagnóstica son un paso

importante que contribuye a aportar criterios para la acreditación institucional y para
la acreditación de programas.
4. Creación del Centro Nacional de Evaluación de la Educación Superior (CNEES)
Dentro del marco de acciones emprendidas en esta materia por el PNME, durante
los últimos años se ha planteado la necesidad de crear un organismo dedicado a
promover acciones de evaluación de la educación superior, que se denominará
Centro Nacional de Evaluación de la Educación Superior (CNEES). En su proyecto
de creación se establecen como algunas de sus principales tareas: la definición de
perfiles de desempeño o niveles de logro académico de los egresados de las IES, la
calificación de tales logros, y la promoción de programas de evaluación institucional.
Esta labor implica producir información lo más "objetiva " posible, sobre el
desempeño de las IES y de sus estudiantes.
El proceso de evaluación que este organismo pretende instrumentar se apoya en

los resolutivos de la XXV Asamblea General de la ANUIES (abril de 1993), en la que
se destacó la necesidad de aplicar un examen nacional de ingreso, previo a los221
estudios de licenciatura (ENIPL), y un examen nacional de carácter externo, de
egreso, a aquellos estudiantes que hayan concluido los requisitos de formación en
este nivel (EGCP). Este último trata de evaluar los resultados del proceso educativo.
Ambos exámenes son de carácter individual y, por tanto, no evalúan propiamente a
la institución; sin embargo, de crearse este organismo, su labor contribuirá, muy
probablemente, a diseñar una sólida estrategia de acreditación institucional.
5. Evaluación de docentes
Las acciones de evaluación de los docentes del nivel de enseñanza superior no se

habían realizado de manera sistemática y generalizada en las IES públicas, a pesar
de que, desde los años setenta, la ANUIES realizó esfuerzos por promover el
desarrollo de acciones de formación de profesores a través de programas
nacionales de cobertura regional, en la mayoría de las universidades públicas.
Hasta 1990, poco se sabía de experiencias que reporten resultados de evaluación
del impacto de tales esfuerzos (Arredondo: 1988).
La instrumentación de las propuestas de formación de profesores por parte de las

universidades públicas, auspiciadas por la ANUIES y por la Subsecretaría de
Educación Superior e Investigación Científica (SESIC) representó, para muchas de
estas instituciones, la posibilidad de desarrollar estrategias de actualización de sus
profesores, que más tarde aprovecharon para diseñar estrategias de evaluación de
su personal docente, de acuerdo con las exigencias que, en esta materia, se
perfilaban en la propuesta de la ANUIES sobre "Evaluación de la Educación
Superior en México", presentada en la VII Reunión Extraordinaria de la Asamblea
General de esta asociación, que tuvo lugar en la ciudad de Culiacán. Los resultados
de algunas de estas experiencias apoyaron los procesos de establecimiento de
requisitos para la contratación, promoción y permanencia del personal académico,
definidos por varias universidades públicas (Carrión, et. al.: 1993).
La puesta en marcha del PNME, aprobado en 1989, que entre los objetivos de la
evaluación dio especial énfasis al desempeño de los docentes, impulsó la definición
de acciones específicas que atendieran a dos objetivos fundamentales: valorar la
acción de los profesionales de la enseñanza, como una forma de ponderar los
esfuerzos institucionales en la formación de los estudiantes; y, a través de este
proceso, justificar la necesidad de incrementar su retribución.
Durante el año de 1992, de manera consecuente con los lineamientos referidos por
el PNME, y a instancias del gobierno federal, algunas de las principales
Instituciones de Educación Superior públicas desarrollaron proyectos de asignación
de estímulos económicos para sus profesores, con el fin de contrarrestar los
negativos efectos del acelerado proceso de deterioro del poder adquisitivo de los
salarios del personal docente, en la calidad de la educación superior.
En 1993, varias universidades públicas empezaron a aplicar los programas

correspondientes, con base en una evaluación del desempeño académico del
profesor, cuyos criterios son definidos por cada institución. Una de las exigencias
que el gobierno federal estableció para otorgar el presupuesto correspondiente al
Programa de Estímulos al Desempeño Docente en cada institución, fue que estos
criterios se hagan explícitos en un reglamento interno.
222
II. EXPERIENCIA EN MATERIA DE ACREDITACIÓN Contenido
La acreditación, en su connotación tanto institucional como individual, implica una

búsqueda de reconocimiento social y de prestigio por parte de los individuos que
transitan por las instituciones educativas y por estas mismas para lograr dicho
reconocimiento. En este sentido, los procesos de acreditación se han constituido en
un requerimiento imperativo en nuestros días.
En México, la importancia de abordar la problemática inherente a dichos procesos

ha promovido el desarrollo de reflexiones de interés y, en algunos casos, se ha
traducido en políticas educativas para el desarrollo de este nivel, particularmente en
los últimos planes propuestos para este fin. Sin embargo, este tema no ha sido
estudiado sistemáticamente, ya que los trabajos concernientes han desarrollado
solamente reflexiones generales que no llegan a precisar el concepto y los alcances
de la acreditación (Arredondo, 1989: 53).
La ANUIES, a partir de su XIV Asamblea General celebrada en Tepic, en 1972,

recomendó dar atención al tema de la acreditación, definida como "un sistema de
créditos". En este sentido, el crédito se concibió inicialmente como una unidad de
valor conferida a una asignatura dentro de un plan de estudios. Con un alcance
conceptual semejante, la acreditación representó, en las modalidades abiertas del
sistema de educación básica y superior, un procedimiento encaminado a otorgar
reconocimiento a las habilidades y destrezas adquiridas.
Actualmente, este significado de la acreditación persiste como reconocimiento de

grados de estudio y se define como un conjunto de "mecanismos y formas mediante
las cuales se obtiene evidencia de que un sujeto posee un saber en determinado
campo del conocimiento" (Chapela, 1993: 159). Sin embargo, en los últimos años, la
acreditación fue adquiriendo mayor relevancia y precisión debido a la creciente
preocupación por elevar la calidad académica de las instituciones educativas.
Posteriormente, la necesidad de ampliar esta concepción a otras dimensiones del

proceso educativo en el nivel de enseñanza superior promovió su evolución hasta
identificar a la acreditación como un proceso por medio del cual se identifican
elementos para elaborar un juicio sobre programas de estudio, estudiantes,
profesionales en desempeño o instituciones educativas, de acuerdo con criterios de
calidad del desarrollo de sus funciones, establecidos por reconocidos expertos,
empleadores, instituciones sociales o por la comunidad en general, con el fin de que
estas dimensiones de la formación de los individuos y de los servicios que ofrecen a
la sociedad, puedan contar con indicadores diferenciales que permitan valorar su
aportación al desarrollo de la sociedad. Algunos de estos elementos han sido
incorporados en algunas disposiciones internas, reglamentarias de las
universidades públicas o de algunas instituciones o asociaciones de profesionales
con el fin de obtener reconocimiento y prestigio.
De esta manera, se ha emprendido una serie de esfuerzos, entre los que cabe
destacar los siguientes: además de los ya mencionados, los Comités
Interinstitucionales para la Evaluación de la Educación Superior (CIEES), y de las
acciones de evaluación institucional, el establecimiento de criterios de clasificación
de los programas de posgrado por parte del CONACyT; y los criterios para otorgar
223
recursos a través del Fondo para la Modernización de la Educación Superior
(FOMES). Todos estos esfuerzos parecen indicar que el sistema de educación
superior nacional pretende alcanzar una mayor calidad, utilizando procedimientos
de acreditación.
Los esfuerzos mencionados y las reflexiones expuestas sobre esta temática en

algunos documentos de reciente publicación, han promovido una mayor
especificidad conceptual. Así, aún cuando se sigue aceptando el término
"acreditación" como un proceso de certificación de destrezas individuales, se ha
llegado a considerar también como un proceso de reconocimiento de planes y
programas educativos, y de instituciones.
En México, el término "acreditación ha sido empleado con múltiples significados. Se

ha referido a procesos de evaluación y regulación institucional, así como también a
la certificación, revalidación o convalidación de estudios, cuando se relaciona a
planes de estudio o a programas educativos. En cambio, en los países anglosajones
este término es unívoco y se emplea para dar reconocimiento a instituciones o
programas. Por ejemplo, en Estados Unidos, en la reglamentación del College
Board, este término es utilizado para la acreditación de instituciones, así como de
planes y programas. En México, probablemente, la preocupación por precisar tanto
la concepción del término como los procedimientos implicados en éste, se ha
acentuado en función de la necesidad, cada vez más imperiosa, de legitimar
externamente los resultados de las tareas institucionales, con el fin de garantizar a
la sociedad un alto nivel de calidad de sus servicios.
Con objeto de precisar los alcances conceptuales de la "acreditación" y de la

"evaluación", es necesario aclarar lo siguiente:
a) La evaluación es un proceso que, partiendo de un diagnóstico de situación, busca

la optimización de la acción; analiza los datos para resolver problemas de una
situación dada, con el fin de manejar la funcionalidad de lo que se evalúa. En
cambio, la acreditación es un procedimiento cuyo objetivo es registrar el grado de
conformidad del objeto analizado, con un conjunto de normas convencionalmente
definidas y aceptadas por las contrapartes involucradas: el acreditador y el
acreditado.
b) La meta de la acreditación se efectúa en función de los resultados de los diversos

procedimientos de verificación utilizados. La evaluación es un proceso que puede
ser endógeno o exógeno; en cambio, la acreditación siempre se realiza ante un
organismo especializado y depende, en última instancia, de un juicio externo.
c) La evaluación se asemeja más a un diagnóstico; la acreditación constituye una

constancia de credibilidad.
d) De manera semejante, la acreditación se diferencia de la certificación, de la

revalidación o de la convalidación, porque no pretende construir equivalencias con
base en similitudes, sino registrar la conformidad de una institución o de un
programa, en relación con estándares generales de excelencia.
Considerando lo anterior, se puede decir que la evaluación, la certificación y la

convalidación se basan en un examen de procesos y contenidos, por una parte; y
224
por otra, se sitúan en el terreno de lo operativo, es decir, de lo que se ha hecho o se
podría hacer. La acreditación resulta de un conjunto de parámetros predefinidos,
como un requisito de aceptación y búsqueda de prestigio, y utiliza dispositivos
específicos para apreciarla. No busca prioritariamente incidir en la acción, sino
establecer una clasificación con base en el grado de adecuación de lo que pretende
ser reconocido en función de las exigencias institucionales y sociales, con referencia
a un conjunto de criterios predefinidos o reglas de funcionamiento.
1. Los procesos de acreditación institucional en México
En México, hasta hace algunos años, no se habían desarrollado de manera

sistemática procedimientos específicos para sustentar los procesos de acreditación
institucional. No existían organismos especializados que cumplieran, de manera
formal, con estas tareas.
Se pueden considerar como esfuerzos iniciales de acreditación institucional, las

labores de los consejos universitarios, los cuales se reconocen como los únicos
órganos facultados para crear, modificar o rechazar planes de estudio. Esta facultad
está expresada en la Ley Orgánica de cada institución.
En el marco de estas experiencias, se puede mencionar también la participación de

algunos organismos nacionales, de carácter profesional, en acciones orientadas a la
acreditación de programas institucionales; pero es preciso considerar que, en la
mayoría de los casos, sus recomendaciones tienen un carácter informal, ya que
estos organismos carecen de la capacidad legal para acreditar, externamente, los
planes y programas de las universidades autónomas.
En los Estados Unidos, el problema de la acreditación institucional ("reconocimiento

social" de las instituciones), se generó a partir de la necesidad de definir estándares
de desarrollo académico que no podían ser fijados por el Estado, ya que gran
número de las IES norteamericanas son privadas. Así, se crearon algunas
asociaciones ad hoc para dictaminar sobre el nivel de eficacia y eficiencia con el
que las instituciones educativas cumplían sus propósitos. El proceso de acreditación
se ha generalizado entre las instituciones educativas norteamericanas con el fin de
mejorar la relación entre los niveles educativos antecedentes y el nivel superior, y
de esta manera, poder reforzar la calidad del sistema educativo. Las agencias
acreditadoras norteamericanas son de tres tipos: organismos nacionales, a cargo de
la acreditación institucional; las asociaciones regionales y, los organismos de
acreditación especializada de programas académicos específicos.
Algunas asociaciones norteamericanas, como la Southern Association of Colleges

and Schools (SACS), han ampliado sus acciones, ofreciendo sus servicios de
evaluación y de acreditación institucional, hacia algunas instituciones mexicanas,
centroamericanas y sudamericanas, principalmente de carácter privado. (Los
requisitos y el procedimiento de desarrollo de este servicio se detallan en el Anexo
5).
1.1 La acreditación de las IES mexicanas, ante organismos extranjeros
Las IES mexicanas acreditadas ante organismos extranjeros son esencialmente

instituciones privadas consolidadas. Algunas, como las Universidad de Las
225
Américas, en Puebla y en la Ciudad de México, y el Instituto Tecnológico y de
Estudios Superiores de Monterrey (ITESM), están acreditados ante la SACS, desde
hace tiempo . Por otra parte, el campus Monterrey del ITESM, inició desde 1991, un
bachillerato internacional, que organizó con la asesoría de instituciones nacionales y
norteamericanas para acreditación internacional (Barahona, 1993: 6).
Algunas universidades nacionales han manifestado su interés por acreditarse ante

organismos europeos. Sin embargo, los avances, en estos casos, son menores que
los correspondientes a las solicitudes de acreditación ante organismos
norteamericanos.
Las universidades públicas mexicanas, hasta hace poco, no habían manifestado

mucho interés en acreditarse ante un organismo internacional. En el nuevo contexto
de desarrollo mundial en el que se vislumbra la extensión de convenios de
intercambio económico, comercial y cultural, a nivel regional, algunas IES públicas
mexicanas como la Universidad Autónoma de Puebla (UAP), la Universidad
Autónoma de Yucatán y el Colegio de Bachilleres, están emprendiendo acciones
consecuentes con este objetivo. Varias universidades mexicanas ya están aplicando
pruebas de aptitud académica, de acuerdo con las normas de la institución
norteamericana College Board; y están desarrollando con base a dichas pruebas,
sus propios mecanismos de valoración.
1.2 La acreditación de planes de programas académicos por los organismos

profesionales
Los organismos profesionales acreditan a las facultades y escuelas de estudios

superiores en México, en función de normas específicas, según las exigencias de su
campo de trabajo. Estas exigencias son diferentes en cada organismo, de acuerdo
con los requerimientos de la especialidad.
En el área de la salud, por ejemplo la Academia Nacional de Medicina y lo Consejos

Profesionales de las distintas especialidades médicas, realizan actividades de
certificación de la capacidad profesional y están trabajando en este sentido también,
los contadores, arquitectos e ingenieros.
La certificación de los egresados de las escuelas de medicina, así como la

actualización y validación de licencias, en México, es voluntaria y puede realizarse a
nivel nacional.
1.3 Acreditación de instituciones de educación superior en asociaciones nacionales
Algunas asociaciones nacionales han establecido determinados requisitos para la

incorporación de IES, en sus grupos de miembros.
Este conjunto de requisitos puede asimilarse como un procedimiento general de

reconocimiento social como institución de calidad, dentro de un concepto amplio de
acreditación, entendido en los términos que se explicitan en la primera parte de este
documento. A continuación, se exponen dos experiencias.
Criterios para el ingreso de instituciones a la Asociación Nacional de Universidades

e Instituciones de Educación Superior (ANUIES).
226
El nuevo Estatuto de la ANUIES, aprobado en noviembre de 1991, abre la
posibilidad de ingreso, de nuevas IES, a este organismo. Para su incorporación se
proyectaron algunos criterios que pudieran dar respuesta a los requisitos de nivel de
"calidad, desarrollo y consolidación académica", establecidos en el artículo 8º del
mencionado Estatuto. El primero, a través de seis indicadores básicos que denotan
cierto grado de desarrollo institucional y de recursos académicos disponibles. El
segundo, consiste en la realización de un reporte evaluatorio efectuado por un
grupo técnico que visitaría la institución.
Los seis indicadores propuestos coinciden con categorías e indicadores sugeridos

por la CONEVA. Estos son: a) tasa de eficiencia; b) tasa que denota la carga
académica de los docentes; c) tasa que denota la proporción de recursos
académicos destinados a la investigación; d) tasa que denota la distribución de la
matrícula en las áreas de conocimiento; y e) tasa de atención prioritaria a
licenciatura y posgrado, en relación al nivel de preparatoria. (Veáse: Coordinación
de Estudios para la Planeación de la ANUIES, 1993).
A cada indicador se le da un peso específico. El conjunto de indicadores representa

el 40% de la evaluación; el 60% restante, corresponde a la evaluación efectuada por
el Grupo Técnico.
Sólo las instituciones que obtuvieran más del 60% de la suma de ambas
evaluaciones, reunirían las condiciones estipuladas por el Estatuto.
Criterios para el ingreso de instituciones a la Federación de Instituciones Mexicanas

Particulares de Educación Superior (FIMPES).
La FIMPES ha fijado, entre sus principales objetivos los siguientes: a) estudiar

problemas educativos y proponer soluciones para mejorar la calidad de las
instituciones que la conforman; b) desarrollar sistemas de evaluación que permitan
a las universidades detectar sus avances y sus limitaciones para mejorar sus
servicios y lograr un alto nivel de calidad; c) fomentar la calidad de los servicios
educativos de sus afiliadas; d) garantizar las condiciones de calidad en el
subsistema de instituciones particulares de educación superior, asociadas.
Para el ingreso y permanencia de instituciones a la FIMPES, se establece un

proceso de evaluación, basado en once categorías de análisis. Estas son:
I. Filosofía institucional
II. Propósitos, planeación y efectividad
III. Normatividad, gobierno y administración
IV. Programas educativos
V. Personal académico
VI. Estudiantes
VII. Personal administrativo, de servicio, técnico y de apoyo
VIII. Apoyos académicos
IX. Servicios estudiantiles
X. Recursos físicos
XI. Recursos financieros.
Cada una de estas categorías tiene un determinado número de indicadores, algunos

227
de carácter cuantitativo y otros de carácter cualitativo, que permiten derivar juicios
de valor sobre la situación institucional, en relación a los parámetros establecidos
por esta asociación.
El proceso de evaluación que involucra el análisis de estas categorías implica la

realización de un autoestudio, bajo la responsabilidad de cada institución, con el
apoyo de la FIMPES. Por sus características y naturaleza, es conveniente que esta
evaluación sea aplicada de modo permanente en cada institución. Los resultados de
la evaluación institucional pueden constituir un valioso insumo para retroalimentar el
mejoramiento de la calidad de los servicios educativos y, de este modo, mantener
los requisitos de membresía en la FIMPES.
Como puede observarse, el establecimiento de requisitos de ingreso a estas

asociaciones representa una forma de evaluación institucional, y la pertenencia a la
asociación significa, para las instituciones aceptadas, cierto reconocimiento y
prestigio.
2. Evaluación institucional con objeto de asignación de recursos
Existe también un procedimiento de evaluación de proyectos y programas

institucionales que tienen como finalidad otorgar recursos extraordinarios para el
mejoramiento de la calidad de ciertas acciones académicas. Este procedimiento se
aplica en organismos gubernamentales, como SEP y CONACyT, que impulsan la
transformación académica de las IES.
a) El Consejo Nacional de Ciencia y Tecnología (CONACyT) El CONACyT ha

establecido criterios específicos para clasificar los programas de posgrado que se
imparten en las IES, y establecer criterios de reconocimiento como programas de
estudios de excelencia. Esta clasificación se hace con el fin de brindar apoyo
económico a los programas que cubran las exigencias establecida en dichos
criterios.
Para este propósito, el CONACyT establece la valoración de cinco criterios básicos,

algunos de los cuales se dividen a su vez en indicadores específicos. Estos criterios
son:
a) Situación de la planta académica
b) Situación del posgrado
c) Existencia de líneas de investigación y desarrollo de proyectos
d) Características del posgrado
e) Vinculación con el sector productivo (Ver anexo 3).
La calificación que el CONACyT otorga a los programas de posgrado tiene una

connotación de acreditación de los mismos como programas de estudio de
excelencia, e indirectamente, de reconocimiento social y concesión de cierto nivel
de prestigio a las instituciones que los imparten.
b) Fondo para la Modernización de la Educación Superior (FOMES) 228

De acuerdo a lo expuesto por la Subsecretaría de Educación Superior e
Investigación Científica, el mencionado Fondo constituye una modalidad alternativa
de financiamiento público. A diferencia del subsidio ordinario cuya asignación se ha
basado en lo otorgado a cada universidad el año anterior más las correspondientes
compensaciones derivadas de los índices de inflación anual, de los incrementos
salariales y de apoyos puntuales para el crecimiento institucional, los recursos
extraordinarios provenientes de FOMES no son regularizables. Esto es, la
asignación de recursos FOMES en un año dado no determina o influye per se en la
cantidad a ser otorgada en años subsecuentes.
El propósito fundamental del Fondo es inducir, apoyar y estimular aquellas

estrategias y proyectos que por su naturaleza y objetivos tienden a transformar la
estructura y los procesos de desarrollo de las universidades, con el fin de que
respondan con mayor nivel de calidad a los grandes retos del país, en materia de
formación de recursos humanos calificados y de desarrollo científico, tecnológico y
humanístico. El beneficio social que persigue el Estado a través de este Fondo, es
contar con instituciones educativas modernas, de alta calidad académica y de
mayor pertinencia social.
Una condición esencial para que las Instituciones de Educación Superior puedan
llevar a cabo procesos de transformación institucional, es que tengan claridad sobre
su situación prevalecente, sobre lo que aspiran ser, así como interés genuino y
capacidad organizativa para el cambio. Por tanto, la asignación de recursos FOMES
se orientó a apoyar proyectos que estuvieran sólidamente sustentados, que fueran
factibles y que implicaran compromisos concretos de reordenamiento. Para evaluar
los proyectos de desarrollo académico propuesto por las IES, desde 1991 y hasta
1993, la SESIC consideró cinco criterios generales, con sus respectivos indicadores:
a) Búsqueda de la excelencia académica
b) Fortalecimiento de la pertinencia social
c) Orientación evidente hacia el mejoramiento institucional
d) Alto nivel de calidad en el desempeño institucional
e) Factibilidad técnica de los proyectos (Los indicadores figuran en el Anexo 4).
Los proyectos deben ser presentados dentro de 10 grandes líneas prioritarias que
fueron asumidos por la CONPES en el Programa Nacional de Modernización:
a) Actualización curricular y mejoramiento de la formación de profesionales.
b) Formación de personal académico (profesores e investigadores).
c) Revisión y readecuación de la oferta educativa (licenciaturas y posgrados).
d) Fortalecimiento de la identidad institucional mediante programas de prestigio

nacional e internacional.
e) Actualización de la infraestructura para la docencia y la investigación.

229
f) Reordenación y simplificación de la administración y la normatividad.
g) Mejoramiento del sistema institucional de información y evaluación y planeación.
h) Diversificación de las fuentes de financiamiento.
i) Impulso a la vinculación con los sectores social y productivo.
Cada uno de los proyectos es presentado por las IES públicas en un formato
especial, para ser considerado por la Subsecretaría de Educación Superior e
Investigación Científica de la SEP. Un grupo externo de evaluadores realiza la tarea
de análisis y evaluación de los proyectos, siguiendo los criterios e indicadores
señalados anteriormente.
Como puede observarse, esta tarea, si bien correspondió a una evaluación de

proyectos específicos con el fin de otorgar financiamiento adicional al presupuesto
que el Estado asigna a las universidades públicas, de manera indirecta constituye
un procedimiento de acreditación institucional, que se sustenta en el reconocimiento
de los esfuerzos emprendidos por las universidades públicas para promover su
desarrollo.
De 1990 a 1993 se otorgó a las Instituciones de Educación Superior

aproximadamente 587 millones de nuevos pesos, constantes de 1990 (177 millones
de dólares). La línea que absorbió más recursos fue la de actualización de la
infraestructura para la docencia y la investigación: 53%, es decir, 308 millones de
nuevos pesos (93 millones de dólares).
III. CONSIDERACIONES GENERALES Y PERSPECTIVAS A FUTURO Contenido
El papel esencial de los procesos de evaluación de la educación superior y de la

acreditación institucional en México, es establecer "estándares académicos" que
garanticen la alta calidad de los servicios del sistema educativo; para lograrlo, la
determinación de los estándares deberá considerar las necesidades de desarrollo
de conocimientos, habilidades y destrezas requeridas para la formación profesional-
integral de los sujetos, a fin de que éstos puedan se capaces de satisfacer las
exigencias de transformación del contexto.
Consecuentemente, consideramos que la conformación de los sistemas de

evaluación de la educación superior y de acreditación institucional, con carácter
nacional, deberá responder a las exigencias impuestas por las circunstancias de
desarrollo del sistema educativo mexicano. en esta contexto, los criterios
fundamentales de evaluación y de "acreditación institucional" deberán desprenderse
de los lineamientos generales de la política educativa nacional y de los objetivos
particulares de desarrollo de cada una de las IES públicas.
De esta forma, convendrá que los procesos de evaluación y acreditación de las

Instituciones de Educación Superior en México, se establezcan mediante un
esquema de criterios y de elementos de juicio que determinen estándares y niveles
de calidad adecuados a la realidad del país y a sus metas, en materia de formación
de recursos humanos altamente calificados y en lo que respecta a desarrollo 230
científico y tecnológico.
En el caso concreto del proceso de la acreditación de las IES públicas y de sus

programas en el contexto mexicano, sería deseable que este proceso se integre a
partir del reconocimiento de un conjunto de políticas y de acciones congruentes con
las necesidades de desarrollo del país; acciones que respondan a una estrategia
realista para el mejoramiento de la calidad de la educación superior en México.
Tanto diferentes características y objetivos de los subsistemas de educación
superior del país, y las particularidades de desarrollo de cada una de las
instituciones.
Es importante destacar que la acreditación "mecánica", aplicada con estándares de

alta exigencia, en la que se pretenden implantar modelos ajenos a la realidad
nacional, marginaría a una gran mayoría de IES en el país; las cuales no
presentarían las condiciones idóneas para obtener el correspondiente
reconocimiento que avalara su acreditación como instituciones de consolidado
desarrollo. Por eso, será importante que la acreditación esté precedida por una
estrategia que contemple un sinnúmero de acciones para elevar el nivel académico,
particularmente de las instituciones que reportan bajos niveles de desarrollo. El
proceso de acreditación de las IES mexicanas, dentro del sistema propuesto,
deberá sustentarse en múltiples trabajos de investigación que analicen la realidad
contextual e institucional. Al mismo tiempo, este proceso deberá apoyarse en un
vasto sistema de información computarizada, que pueda ser compartido por las
instituciones y organismos interesados en conocer la situación de las casas de
estudios superiores.
Un factor que deberá tomarse en cuenta en el proceso de acreditación institucional

es la vinculación de las IES con el sector social y productivo y su contribución a la
satisfacción de las necesidades sociales. De este modo, se daría mayor importancia
a la naturaleza de servicio social de las funciones institucionales (eficacia externa),
en lugar de privilegiar la aplicación de criterios para valorar la eficiencia interna de la
IES.
Por otra parte, considerando las perspectivas a futuro que son previsibles en el
contexto de un nuevo marco de relaciones de intercambio comercial y cultural como
se proyecta con la puesta en marcha del Tratado de Libre Comercio (TLC) entre
Estados Unidos, Canadá y México, los procesos de evaluación y acreditación de la
calidad de la educación superior mexicana y de sus instituciones cobran gran
importancia. Esta importancia se reconoce no sólo por el hecho de que los procesos
de formación de profesionales y de impulso al desarrollo de la ciencia y la
tecnología promovidos por Instituciones de Educación Superior mexicanas deban
mostrar, ante otros países e instituciones extranjeras, garantías de los continuos
esfuerzos de superación y logro de más altos niveles de calidad de las acciones
realizadas para contribuir al desarrollo económico, social y cultural del país; sino
también como ejercicios a través de los cuales se obtendrán elementos de juicio
que contribuyan a reconstruir las estrategias de superación académica en las IES.
Tales estrategias tendrán que estar orientadas a desarrollar competencias
equiparables, o complementarias, a las que presentan los profesionales de los otros
países involucrados en este nuevo contexto de intercambio.
Las diferencias en términos de tamaño de territorio, de población, de los grados de

231
desarrollo de las economías y de las culturas en cada uno de los países signatarios
de este tratado, serán elementos de peso que limiten el proceso de cambio y la
participación de los beneficios del mismo en términos igualitarios, para cada una de
las naciones involucradas. Un elemento que permite comparar los grados de
desarrollo entre los países participantes en el TLC es el nivel de la actividad
económica de cada país en un año (PNB). Así, tendremos que "la economía
mexicana es inferior, en casi dos veces y media, que la de Canadá y 27 veces
menor que la norteamericana" (Pallán, 1992: 73). Otro elemento de comparación
importante es la distribución de la población que constituye la fuerza laboral, según
su nivel de escolaridad, en los tres países. Mientras que en los Estados Unidos el
35.6% de la fuerza laboral cuenta con estudios superiores y en Canadá esta
proporción es del 35.9%, México solo cuenta con el 5.2% de su fuerza laboral con
este nivel de estudios. Mientras que en los dos primeros países no se registra
fuerza laboral sin estudios, en México esta población representa el 27% (Op. Cit.:
76-77). Otro dato interesante a comparar es que en Estados Unidos y Canadá la
proporción del PIB destinada al gasto educativo se aproxima al 8%, en México se ha
destinado menos del 4%, en los últimos años (Op. Cit.:78).
Ante condiciones tan desventajosas para México, como las descritas, se ha

analizado la necesidad de que el sistema educativo en su conjunto impulse
transformaciones sustanciales que le permitan enfrentar la compleja problemática
de las nuevas condiciones que impone la suscripción de este tratado, en particular,
y el proceso de globalización de la economía, en general. En este sentido, las IES
mexicanas tienen una responsabilidad y un papel preponderante que cumplir, ya
que éstas se encargan de especializar y dar la más alta calificación a la fuerza de
trabajo profesional. Esta tarea implica la asunción del compromiso, por parte de las
IES, de garantizar mayor capacitación, y mayor especialización y superación
profesional, para ofrecer amplias oportunidades de participación efectiva de la
población, de los beneficios que prometen estrategias de desarrollo como la que se
instrumentará a corto plazo entre los mencionados países. En este sentido, la
experiencia que en materia de evaluación y acreditación acumulen las IES
mexicanas, podrá constituir un importante precedente que contribuya a aportar
elementos críticos e innovadores en la aplicación de procesos semejantes en las
IES latinoamericanas.
BIBLIOGRAFÍA Contenido
Allen, Jack, "Acreditación de Instituciones de Educación Superior. Sistema de

Acreditación Institucional en Estados Unidos de América", en Evaluación, promoción
de la calidad y financiamiento de la Educación Superior. Experiencias en distintos
países, México, SEP, 1992.
Arredondo, Martiniano, "La función docencia en las IES", en Memoria del Foro
Nacional sobre Opciones de Innovación en Educación Superior, México, ANUIES-
SEP-UANL, 1988.
-"Evaluación y acreditación en los programas de posgrado" en Revista de la

Educación Superior, México, ANUIES, Vol. XVIII, No. 71, jul-sept. 1989, pp. 53-68.
232
Asociación Nacional de Facultades y Escuelas de Ingeniería (ANFEI), la
Acreditación Internacional: un reto para la educación en ingeniería. XX Conferencia
Nacional de Ingeniería, Puebla, Universidad de las Américas, 1993.
Carrión Carranza, Carmen, "Evaluación de la Educación" en La Investigación

Educativa en los ochenta, Perspectiva para los noventa. 2o. Congreso Nacional de
Investigación Educativa, México, 1993. ( Cuaderno No. 17)
Barahona, R., ¿Qué es el bachillerato internacional?, México, Panorama AMPEI,

1993.
Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES):
Comité de Ingeniería y Tecnología, Marco de referencia para la evaluación, México,

1993.
Comité de Administración, Guía Metodológica para la evaluación interinstitucional

de la función administrativa en las IES, 1991.
Comité de Ciencias Agropecuarias y Comité de Ciencias Naturales y Exactas,

Marco de referencia para la evaluación. s/f.
Coordinación General de Estudios de Planeación de la ANUIES, Sugerencias para

precisar la calidad, el desarrollo y la consolidación académica, establecidos en el
Apartado 111 del Art. 8o. del Estatuto de la ANUIES. Documento interno de trabajo,
Abril, 1993.
Chapela, Gustavo, Notas sobre el proceso de creación de un sistema de

acreditación en las instituciones de educación superior en México, CINDA, 1992.
De la Fuente, Ramón, "La Medicina mexicana ante el Tratado de Libre Comercio",

en Revista Mexicana de Educación Médica, México, Vol. 3, Núm. 2, 1992: pp. 62-
68.
Esquivel Junco, F., "El Instituto Tecnológico y de Estudios Superiores de Monterrey

y su acreditación por la Southern Association of colleges and Schools", en
Evaluación, Promoción de la Calidad y Financiamiento de la Educación Superior.
Experiencias en distintos países, México, SEP, pp. 109-115.
Federación de Instituciones Mexicanas Particulares de Educación Superior

(FMPES), Sistema para el ingreso y la permanencia: Comisión de docencia y
supervisión académica. Subcomisión de indicadores, México, Universidad del Valle
de México, Mimeo, s/f.
Harderoad, Fred, Acreditation: history, process and problems, AAHEERIC, Higher

Education Research Report No. 6 U.S.A., 1980, pp. 53.
Morales, L. y S. Martínez, "La acreditación educativa en el nivel superior: Problemas

y soluciones", en Revista de la Educación Superior, México, ANUIES, No. 72, oct-
dic. 1989, pp. 107-127.
Northwest Association of School an Colleges, Accreditation Handbook, Seattle,233

Washington, 1988.
Pallán Figueroa, Carlos, "Escolaridad, fuerza de trabajo y universidad, frente al

Tratado de Libre Comercio", en G. Guevara Niebla y N. García Canclini, La
educación y la cultura ante el Tratado de Libre Comercio, México, Nueva Imagen,
1992, pp. 72-94.
Secretaría de Educación Pública, Manual de Procedimientos para otorgar y

mantener el reconocimiento de validez oficial de estudios de tipo superior, México,
SEP, 1988.
Secretaría de Educación Pública, Programa Nacional de Modernización Educativa,

1989-1994.
SEP-CONAEVA, Evaluación, promoción de la calidad y financiamiento de la

educación superior, México, SEP, 1992.
SEP-SESIC Unidad de Educación Media Superior, Currículum: marco para el

sistema de Colegios de Bachilleres, México, 1993.
Simmons, H. y E. Ríos Betancourt, La acreditación en los Estados Unidos, CINDA,

1992.
Southern Association of Colleges and Schools, Criteria for Accreditation, 7th. edition,
Atlanta, 1991.
Toral Azuela, A., "La normatividad en materia de acreditación de estudios en la

educación superior" en Revista de la Educación Superior, México, ANUIES, No. 72,
oct-dic 1989, pp. 127-146.
Universidad Iberoamericana, Study Abroad, México, 1992.
Universidad Autónoma de Puebla, Prueba de Aptitud Académica, México, UAP/

College Board, 1993.
Viñas, J., "La universidad norteamericana, el autoestudio y la acreditación: un

modelo de mejoramiento académico", en Revista de la Educación Superior, México,
ANUIES, No. 79, jul-sept 1991, pp. 21-35.
ANEXOS Contenido
ANEXO 1
Indicadores globales de la propuesta metodológica de

evaluación institucional de la Comisión Nacional de
Evaluación de la Educación Superior
1. Docencia en licenciatura y posgrado:
1.1 Oferta educativa

234
1.2 Planes de estudio
1.3 Estudiantes
1.4 Personal académico
1.5 Procesos de enseñanza-aprendizaje.
2. Investigación:
2.1 Líneas de investigación

2.2 Proyectos de investigación
2.3 Planta de investigadores
2.4 Resultados de la investigación
2.5 Vinculación docencia-investigación.
3. Difusión y extensión:
3.1 Normatividad de la difusión y extensión

3.2 Oferta en difusión y extensión
3.3 Programas de difusión y extensión
3.4 Personal de difusión y extensión
3.5 Publicaciones y medios de comunicación.
4. Normatividad y gobierno:
4.1 Instrumentos jurídicos

4.2 Organos normativos y de gobierno
4.3 Participación de la comunidad institucional.
5. Organización:
5.1 Estructura académico-administrativa

5.2 Sistemas y procedimientos de organización
5 3 Servicios estudiantiles
5.4 Servicios académicos
5.5 Servicios administrativos.
6. Planeación y evaluación:
6.1 Planes y programas

6.2 Sistemas de información
6.3 Instancias de planeación y evaluación.
7. Financiamiento
7.1 Patrimonio
7.2 Ingresos
7.3 Ejercicio presupuestal
7.4 Control presupuestal.
8. Relación educación superior-sociedad:

235
8.1 Normatividad técnica
8.2 Instancias de vinculación.
9. Política educativa:
9 1 En materia de crecimiento
9.2 En materia de financiamiento
9 3 En materia salarial
9.4 En materia de calidad académica.
ANEXO 2
Categorías de evaluación establecidas por los Comités Interinstitucionales de

Evaluación de la Educación Superior
Insumos o factores: personal académico, alumnos, infraestructura, aspectos

financieros.
Procesos académicos: plan de estudios, proceso de enseñanza- aprendizaje,

normatividad y planeación académica, administración académica.
Resultados e impacto: egresados, áreas del conocimiento, difusión del

conocimiento, servicios a la comunidad.
Personal académico: competencia, calificación, número de profesores

adscritos al programa, tiempo de dedicación, grados académicos, pertenencia
a sociedades científicas o profesionales, premios y distinciones, número de
años de experiencia docente, número de publicaciones en revistas de
prestigio, pertenencia al SNI, antigüedad, producción de material didáctico,
políticas de ingreso, permanencia, promoción y actualización, mecanismos de
evaluación del desempeño y de otorgamiento de estímulos.
Alumnos: requerimientos de selección, desempeño durante el programa,

características al egresar, niveles de calidad desarrollados en el proceso de
enseñanza-aprendizaje.
Infraestructura: la infraestructura deberá tener las siguientes características:

suficiencia, actualidad, participación del alumnado y mantenimiento adecuado.
Aspectos financieros: suficiencia en el monto del financiamiento para cubrir

nóminas e inversiones y gastos de operación, equilibrio en las partidas y las
fuentes de donde
provienen. Contar con una sólida planeación financiera.
Plan de estudios: características, extensión y profundidad con el conocimiento

que se trasmite al alumno; así como los niveles de comportamiento
esperados, materiales de apoyo,
estrategias, valores y habilidades que el alumno debe desarrollar.
Proceso de enseñanza-aprendizaje: tipo de metodologías de enseñanza

empleadas; mecanismos de evaluación del nivel de aprendizaje de los 236
alumnos.
Normatividad y planeación académica: suficiencia de reglamentación y

establecimiento de un plan de desarrollo académico.
Administración académica: que prevalezca lo académico sobre lo

administrativo; contar con una organización definida y adecuada.
Egresados: reglamentación del proceso de titulación, índice de deserción,

descripción del perfil del egresado, número de egresados y de titulados, así
como seguimiento de egresados.
Difusión del conocimiento: participación externa en las instancias de

planeación, desarrollo y revisión de planes y programas de estudio.
Servicios a la comunidad: mecanismos, personas y organismos de vinculación

con los sectores científicos, educativo, social y productivo; así como, el
seguimiento y la valoración
de los resultados.
ANEXO 3
Criterios establecidos por el Consejo Nacional de Ciencia y Tecnología para

acreditar programas de estudios a nivel de posgrado, como programas de
excelencia
a) Situación de la planta académica:
- Grados académicos (preferentemente posgrados)
- Proporción de personal académico perteneciente al SNI
- Planta académica de tiempo completo, dedicada a atender programas de

posgrado (mayoría)
- Producción científica del personal académico (reflejada en publicaciones con

arbitraje internacional).
b) Situación del posgrado: Requisitos de:
- ingreso
- permanencia
- egreso de los estudiantes de posgrado.
c) Existencia de líneas de investigación y desarrollo de proyectos (que de

preferencia involucren a alumnos de
posgrado).
d) Características generales de posgrado:

237
- Desarrollo histórico
- Infraestructura física
- Tasa de graduación de los programas en los tiempos regularmente previstos
- Políticas y recursos de la institución que apoyen los programas de posgrado
- Situación (académica y laboral) de los egresados del programa.
e) Vinculación con el sector productivo (sobre todo para el área de ingeniería y

tecnología):
- Formación de recursos humanos que respondan a la demanda actual y potencial

de la planta productiva
- Relación de la planta académica con el sector productivo
- Vinculación de líneas de investigación del programa, con problemas del sector

productivo.
ANEXO 4
Criterios para la asignación de recursos para la realización de proyectos

institucionales a través del Fondo para la Modernización de la Educación Superior
(FOMES)
a) Búsqueda de la excelencia académica:
- solidez y estabilidad del personal académico responsable de los proyectos;
- grado de dedicación, interés y productividad del personal académico involucrado

en el proyecto;
- potencial de los proyectos para lograr la excelencia académica;
- perspectivas para producir efectos en la institución, y en otros ámbitos, como

resultado de procesos de innovación académica planteados en los proyectos.
b) Fortalecimiento de la pertinencia social:
- grado en que los objetivos de los proyectos reflejan un conocimiento sobre los
requerimientos sociales relacionados con el contenido de los proyectos;
- nivel de congruencia entre el contenido de los proyectos y las necesidades

evidentes del entorno institucional; grado de participación de sectores externos a la
institución en el
desarrollo de la misma;
- nivel de compromiso que ha asumido la universidad y los sectores externo

238
involucrados en la operación o financiamiento de los proyectos.
c) Orientación evidente hacia el mejoramiento institucional:
- nivel de autocrítica en la identificación de los problemas institucionales y de sus

causas, tanto estructurales como de funcionamiento interno;
- nivel de correspondencia entre la naturaleza de los problemas detectados en la

autoevaluación anual; la evaluación de programas por los "comités de pares"
académicos; la evaluación externa y, los objetivos y contenidos de los proyectos;
- capacidad de organización institucional y nivel de participación de los órganos

colegiados para emprender acciones de mejoramiento;
- nivel de compromiso asumido por parte de las autoridades y demás sectores de la

comunidad institucional para emprender acciones necesarias de reordenamiento
interno.
d) Alto nivel de calidad en el desempeño institucional: avances concretos logrados

en materia de innovación educativa, en los últimos años;
- medida en que los proyectos se relacionan con los procesos de autoevaluación y

planeación institucional, de manera que las acciones de mejoramiento propuestas
sean congruentes con
los resultados de dichos procesos;
- grado de cumplimiento, en años anteriores, de los objetivos de los proyectos

financiados con recursos del Fondo para la Modernización de la Educación Superior
(FOMES), así como de
la calidad de sus resultados e impacto en la estructura, la administración y la
operación de la institución;
- calidad y suficiencia de los reportes técnicos y financieros institucionales sobre los

proyectos apoyados por el "FOMES" en daños anteriores, así como la transparencia
en
el uso de los recursos asignados;
- esfuerzo de las IES por contribuir con recursos propios, estatales y privados para
el desarrollo de los proyectos.
e) Factibilidad técnica de los proyectos:
- claridad de las acciones y metas propuestas (secuencia, duración, interrelación);
- relación entre las acciones y las metas propuestas, así como entre éstas y el
propósito fundamental del proyecto;
- viabilidad de las acciones y las metas propuestas, en relación al calendario, a los

recursos disponibles y solicitados;
- veracidad y precisión del análisis de costos realizado; 239

- relación entre la prioridad asignada por la universidad al proyecto, y la prioridad
identificada en procesos previos de evaluación (autoevaluación, "comités de pares",
evaluación
externa, etc.);
- grado de suficiencia de la infraestructura y capacidad organizativa requeridas para

asegurar la operación adecuada del proyecto;
- formación y capacidad de los recurso humanos que intervienen en la operación del

proyecto.
Anexo 5
Requisitos que establece la "Southern Association of Colleges and Schools" para la

acreditación de instituciones educativas. La "Southern Association of Colleges and
Schoools" establece los siguientes requisitos para acreditar a las instituciones
educativas:
- aceptar las condiciones de la SACS y proporcionar la información que ella requiere

para realizar el procedimiento;
- tener autorización para expedir títulos;
- tener un "board" de por lo menos cinco miembros, un rector o representante oficial;
- tener estudiantes en forma regular en planes y programas;
- cumplir con cierto tiempo de funcionamiento, previo a la evaluación hecha por la

SACS, en los niveles de preparatoria y licenciatura;
- haber publicado los fines y propósitos institucionales;
- contar con un plan de crecimiento y financiamiento planificado;
- haber tenido recientemente una auditoría fiscal y financiera.
Procedimiento:
Una vez cumplidos esos requisitos básicos, y solicitada formalmente la acreditación

ante la SACS, el procedimiento para la acreditación se inicia con un proceso de
autoestudio
institucional. Este versa sobre el cuerpo docente, sobre su misión y estructura,
organización, planes y programas de licenciatura y posgrado, servicios de apoyo a
la docencia,
servicios estudiantiles, administración, investigación y extensión, espacios físicos, y
capacitación de profesores.
El reporte del autoestudio se entrega a un comité evaluador, compuesto por pares

académicos. La siguiente etapa del proceso es la realización de visitas de comités
240
de académicos norteamericanos para corroborar la veracidad de las informaciones y
realizar inspecciones. Estos comités presentan posteriormente, a la SACS un
reporte de "exoevaluación", con recomendaciones preliminares acerca de los
aspectos sobre los cuales la institución debe decidir si realmente quiere obtener la
acreditación.
En caso de que se hagan estas recomendaciones, la acreditación está condicionada

a la visita ulterior de un comité de la Comisión de Acreditación de la SACS,
encargado
de revisar las recomendaciones del reporte y las acciones emprendidas por la
universidad para concretarlas. De la decisión de esta Comisión, depende la
acreditación. La acreditación nunca es definitiva. Se otorga por un plazo de diez
años. Tanto el proceso de acreditación institucional como de la reafirmación de la
misma, suele instrumentarse en un tiempo prolongado.
241
GARCÍA López Teresa
¿Qué pasa con la evaluación institucional”
I.E.E.S.C.A. Universidad Veracruzana
242
¿QUÉ PASA CON LA EVALUACIÓN INSTITUCIONAL?
Teresa García López∗
I. INTRODUCCIÓN
La educación es el elemento fundamental para el desarrollo de los países; es por

ello que las instituciones de educación en general y las de educación pública
superior en particular, deben estar preparadas para realizar con calidad las
funciones de docencia, investigación, difusión y extensión que les son inherentes,
ya que en mayor o menor medida, éstas determinan tanto su estructura orgánica -
especialmente en el aspecto académico-, como la oferta de sus servicios. El
supuesto fundamental es que tales instituciones deben dar una respuesta
coherente y positiva a las demandas de su entorno social donde están inmersas,
por lo que están obligadas a sufrir cambios y transformaciones permanentes para
estar acorde con ellas.
Para lograr adaptarse a los cambios que exigen la sociedad y sus
instituciones, las organizaciones educativas necesitan contar con sistemas de
evaluación que les permitan valorar permanentemente tanto los procesos
académicos y de investigación como sus resultados. En este sentido, creo
interesante mencionar la opinión de Manuel Pérez Rocha con relación a los
programas de la educación pública: “todo programa sostenido con recursos
públicos debe ser permanentemente evaluado tanto para sustentar acciones de
mejoramiento, como para dar a la sociedad debida cuenta de su operación”1.
Los antecedentes del movimiento de evaluación de la educación superior
en México, tiene sus orígenes en 1978, al crearse, por parte de la Secretaría de
Educación Pública, la Coordinación Nacional para la Planeación de la Educación
Superior (CONPES), instancia de concertación en la que participan tanto
representantes de las Instituciones de Educación Superior como del Gobierno
Federal2 , la cual, en noviembre de 1989 instaló la Comisión Nacional de
Evaluación de la Educación Superior (CONAEVA) organismo en el que participan
de manera colegiada las autoridades gubernamentales y las de las instituciones
de educación superior, la cual fue constituida como instancia rectora de las
actividades de evaluación; ésta, tiene como grandes propósitos y directrices:
impulsar un proceso de evaluación en todas las instituciones, formular
lineamientos generales para dar continuidad y permanencia a este proceso,
proponer criterios y estándares de calidad para las funciones y tareas de este nivel
educativo, apoyar a diversas instancias responsables de la evaluación para que la
∗
Investigadora del Instituto de Investigaciones y Estudios Superiores de las Ciencias Administrativas de la Universidad
Veracruzana
1
Pérez Rocha, Manuel. Evaluación y autoevaluación. Materiales de apoyo a la evaluación educativa, número 27, CIEES, CONAEVA,
ANUIES, SEP.
2
Comités Interinstitucionales para la Evaluación de la Educación Superior, La evaluación interinstitucional de la educación
superior en México, México, CIEES, 15 de enero de 1993.
96
243
I.I.E.S.C.A. Ensayos
lleven a cabo mediante los mecanismos más apropiados y proponer políticas y

acciones tendientes a mejorar las condiciones actuales de la educación superior3.
Estos organismos han realizado diversas acciones para lograr sus
objetivos, a pesar de ello, su trabajo no es fácil de realizar ya que la evaluación en
las Instituciones de Educación Superior, por lo general representa un proceso
complejo de análisis y medición, en el que deben estar involucrados un conjunto
de elementos técnicos y humanos relacionados e interactuantes entre si, que por
lo general hace difícil determinar la forma de evaluarlos. No existe una forma única
de evaluación, ni criterios uniformes para hacerla, debido principalmente a las
percepciones y los enfoques de quienes las realizan. En mi opinión, la complejidad
de lo que se desea evaluar ha provocado en la mayoría de los casos,
apreciaciones parciales bajo diferentes perspectivas metodológicas cuya prioridad
parece ser la cantidad y no la calidad del objeto de la evaluación.
Alexander Astin4 comenta, cinco perspectivas tradicionales para evaluar la
calidad de una Institución de Educación Superior, las cuales rotula como: el
enfoque Nihilista, la estimación del prestigio, la ponderación de recursos, la
estimación de resultados y la medición del valor agregado (él pertenece a este
postulado).
A cada una de ellas, el autor les atribuye problemas como por ejemplo, el
enfoque Nihilista que niega la posibilidad de evaluar la calidad de la educación
ignorando la realidad de evaluaciones efectuadas a través del juicio de los
interesados en el hecho a evaluar; la estimación del prestigio que considera que la
calidad se debe evaluar considerando los recursos con los que cuenta una
organización educativa especialmente, profesores con gran capacitación y
prestigio, estudiantes brillantes e instalaciones importantes; la estimación de
resultados, cuyos criterios se basan en la proporción de egresados que figuran
fuera del contexto educativo, sus remuneraciones y tasas de becados; la medición
del valor agregado, que pretende establecer los criterios de acuerdo con el
desarrollo intelectual y personal, es decir es mejor el que agrega al estudiante
mayores conocimientos, personalidad y desarrollo profesional.
En su documento, Astin señala y argumenta que es necesario incrementar
el tiempo que los estudiantes dedican al estudio y suministrar buena información
retroalimentadora a alumnos, docentes y administradores, como los elementos
esenciales para mantener programas de alta calidad. Este trabajo confirma que se
han dado diversidad de formas de llevar a cabo la evaluación institucional en las
Instituciones de Educación Superior no sólo de México sino de otros países como
los Estados Unidos de Norteamérica.
Por lo antes expuesto, en este documento, me interesa reflexionar acerca
de la evaluación institucional de la Universidad Veracruzana por lo que inicié con
una pequeña introducción acerca de la importancia de la evaluación en México,
para posteriormente, presentar una opinión acerca de la situación de la evaluación
3
Arredondo, Víctor, ¿A dónde debe conducir la evaluación de la educación superior?, núm. 79, julio-septiembre de 1991,
México, ANUIES.
4
Astin, Alexander W., ¿Por qué no intentar otras formas de medir la calidad?, Traducción de Carlos Marís de Allende,
artículo presentado en la Revista de Educación Superior No. 78, 1991, ANUIES y reproducido por Materiales de apoyo a la
Evaluación Educativa. Número 4,CIEES, CONAEVA, ANUIES, SEP.
97 244
¿Qué pasa con la evaluación institucional?
institucional en la Universidad Veracruzana y terminar con algunas conclusiones

personales acerca del tema.
II. LA EVALUACIÓN INSTITUCIONAL EN LA UNIVERSIDAD VERACRUZANA:

UNA OPINIÓN
En el documento Consolidación y Proyección en el Siglo XXI: HACIA UN

PARADIGMA UNIVERSITARIO ALTERNATIVO. Propuesta de Programa de
Trabajo 2001-20055 del Dr. Víctor Arredondo, Rector de la Universidad
Veracruzana, una de las estrategias generales que señala es el Aseguramiento de
la calidad y los resultados de los programas académicos que en sus párrafos
descriptivos menciona:
“México ya cuenta con un sistema nacional de certificación de
competencias para el trabajo y de acreditación de programas académicos,
así como con mecanismos para acreditar competencias profesionales
adquiridas de manera autodidacta o a través del empleo. Las exigencias
internacionales en materia de movilidad de profesionistas y las políticas
nacionales para asegurar la calidad de la educación superior configuran
un marco de referencia del que no podemos ni debemos sustraernos, si la
Universidad Veracruzana quiere contar con todos los elementos
necesarios para establecer su posición de vanguardia y alto desempeño,
a fin de dotar de oportunidades a sus egresados y éstos puedan laborar
exitosamente tanto en nuestro país como en el mundo. Por ello, es de la
mayor importancia continuar y reforzar las acciones institucionales
encaminadas a lograr:
- La acreditación nacional de todos los programas de nivel técnico,
licenciatura y posgrado para los que existan organismos acreditadores
reconocidos por el Consejo Nacional para la Acreditación de la Educación
Superior (COPAES)6 y otras instancias de acreditación del Gobierno
Federal, incluyendo al CONACYT;
- La incorporación en el quehacer universitario de los criterios de flexibilidad
y calidad asociados al sistema de certificación y acreditación de
competencias profesionales;
- La acreditación internacional de los programas académicos de excelencia;
- La acreditación técnica internacional de los programas de educación a
distancia, de manera tal que estos cumplan con la normatividad establecida
para autorizar su disponibilidad y uso en los sistemas globales de
telecomunicación;
- La incorporación del componente internacional en la totalidad de los
programas de estudio;
- La consolidación del sistema institucional de evaluación de resultados
académicos, mediante el establecimiento de mecanismos de evaluación
5
http://www.uv.mx
6
COPAES: Consejo para la Acreditación de la Educación Superior A.C.; (2001) Marco General para los Procesos de
Acreditación de Programas Académicos de Nivel Superior; México.
98 245
diagnóstica, así como la incorporación y generalización de programas de

evaluación departamental y de seguimiento de trayectorias escolares.
- La generalización del proceso de certificación externa de competencia
profesional de los egresados mediante los mecanismos e instrumentos
aplicables, como los Exámenes Generales de Egreso de Licenciatura
(EGEL) del CENEVAL;
- La acreditación de competencias profesionales adquiridas de manera
autodidacta o a través de la experiencia laboral, en coordinación con la
SEP y el CENEVAL, y bajo los criterios establecidos por la ley
correspondiente.
Este apartado del documento es muy claro al indicar a la comunidad
universitaria una de las principales preocupaciones de la actual administración del
Dr. Víctor Arredondo, cuyo interés es lograr calificar a la Universidad Veracruzana
como una institución de excelencia a través de los diversos procesos de
acreditación y certificación nacionales e internacionales, que implican
necesariamente preocuparnos por la evaluación tanto de la institución en general,
como de las dependencias académicas que la conforman, de aquí, la importancia
de reflexionar acerca de la situación actual tanto de los procesos antes
mencionados, como de la situación que guardan en el tema, las dependencias que
conforman la Universidad Veracruzana.
A pesar de que los procesos de autoevaluación permiten a cada
organización educativa preparar el terreno para ser evaluada externamente por
instituciones como la SEP, la ANUIES o el CONACYT, los criterios de calificación
y los juicios que emiten dichos organismos, están basados en procesos
estandarizados que no son adaptables a todas las instituciones de educación
pública, debido especialmente a las diferencias estructurales y a que si bien es
cierto que los estándares sirven como punto de referencia, resulta un tanto injusto
que los resultados obtenidos de las evaluaciones descalifiquen a los que tienen
menos recursos, y califiquen a los que más los tienen. Los criterios de evaluación
utilizados deben servir para motivar a la superación, y no para desmotivar debido
a las desigualdades, el cual es uno de los problemas que debemos afrontar y
resolver como universitarios responsables de participar aportando propuestas de
solución.
Aunado a ello, en mi opinión, las calificaciones y los juicios son parciales, al
centrarse únicamente en el objeto de su valoración y no en el sistema educativo
en general, dado que éste no es su objetivo; así por ejemplo, los Exámenes
Generales de Egreso de Licenciatura (EGEL), evalúan solamente la competencia
profesional de nuestros egresados ya que éste es su objeto de valoración.
Por otra parte, los criterios señalados por este tipo de programas, son,
principalmente cuantitativos con lo que no aseguran las cualidades contextuales
que pueda tener el objeto de lo que se evalúa. Adicionalmente, y como
consecuencia de la importancia que se da a dichos programas, los dirigentes de
las instituciones tienen como una de sus principales preocupaciones participar en
los programas de acreditación, dejando a un lado lo que debería ser una actividad
permanente e integral: la planeación institucional, que permitiría llevarla a mejorar
permanente y sistemáticamente sus funciones sustantivas, motivo de su creación.
99 246
En este sentido, he observado, que algunos de los procesos de evaluación

no consideran ni la opinión ni el sentir de la comunidad involucrada en ellos; es de
pensar que sus integrantes tienen la capacidad para opinar acerca de los
problemas y aspectos positivos o negativos del organismo evaluado en cualquiera
de sus niveles porque los viven y los conocen. En todo caso, es deseable que los
métodos de evaluación sean conocidos al menos por el personal que será
evaluado, antes de ponerlos en práctica, implicando el conocimiento de resultados
con un efecto retroalimentador, cuestiones que parecen pasar inadvertidas en
algunos casos.
En lo que se refiere a la Universidad Veracruzana, actualmente se realizan
en el interior de su estructura organizativa, procesos de evaluación que tienen
finalidades particulares, tales como: la evaluación del desarrollo del proceso de
enseñanza-aprendizaje en las experiencias educativas (evaluaciones de cursos),
la valoración de académicos y la evaluación de los aspirantes a ingresar a nuestra
máxima casa de estudios, entre otros; sin embargo, se carece de un proceso
integral que evalúe los resultados esperados en sus funciones sustantivas:
investigación, docencia y difusión y extensión, a pesar de algunos ejercicios que
se llevan a cabo anualmente por los funcionarios universitarios para determinar
desde su perspectiva la situación de la institución.
Como un ejemplo de lo antes señalado, la Universidad Veracruzana ha
desarrollado un modelo de evaluación de los resultados de la actividad académica
denominado Programa de Productividad del cual habrá que hacerse una serie de
cuestionamiento como por ejemplo: ¿los resultados del programa han dado lugar a
mejoras en los resultados del trabajo académico? ¿se ha incrementado la calidad
de los procesos enseñanza-aprendizaje, investigación y, difusión y extensión?
¿los académicos evaluados participan en el seguimiento y evaluación del
programa?. Por otra parte, en relación con los alumnos, el examen (EGEL) del
CENEVAL es la herramienta de evaluación usada en estos momentos para
calificar la competencia profesional de los egresados, pero me hago nuevamente
una serie de preguntas al respecto, ¿el CENEVAL considera la formación integral
que pretende implantar el Nuevo Modelo Educativo de la Universidad
Veracruzana? ¿cómo se podrían evaluar los elementos del Nuevo Modelo
Educativo centrado en el aprendizaje? ¿es posible evaluar el aprendizaje
significativo y en particular el eje axiológico del modelo?.
En cuanto a las funciones de investigación, difusión, extensión (y dentro de
estos vinculación) de la Universidad Veracruzana, desconozco si existen
programas de evaluación para las mismas, a excepción hecha del Programa de
Productividad que trata de apreciarlas a través de la evaluación de los resultados
obtenidos por los académicos en cada área en particular y algunos métodos
establecidos internamente por las instituciones del área de investigación (Consejo
Técnico o Academias de Líneas de investigación).
En la figura No. 1 esquematizo la forma en que visualizo la situación actual
de la evaluación institucional en la Universidad Veracruzana cuya característica es
que se realiza de manera parcial sin considerar los lineamientos de carácter
institucional señalados por el Rector de la Universidad Veracruzana ni los del Plan
de Desarrollo de cada una de la dependencias Académicas.
100 247
Figura No. 1
Esquema de la situación actual de la evaluación institucional
en la Universidad Veracruzana
Productividad CENEVAL Productividad Organismos

internos
Docencia Investigación
Investigadores Proyectos de
Alumnos investigación
Maestros
Conocimiento
Planes y
Programas de Extensión
Difusión
est dio (vinculación)
Evaluación
interna???
Analizando la Institución de Educación Superior en la que presto mis

servicios, el Instituto de Investigaciones y Estudios Superiores de las Ciencias
Administrativas (I.I.E.S.C.A.U.V.), fundado hace más de veintiséis años con el
objetivo de desarrollar proyectos de investigación y programas de posgrado en el
campo de las ciencias administrativas, puedo constatar que éste cuenta con
algunos procesos internos de evaluación propios como son: el de ingreso, egreso,
proyectos de investigación, entre otros, los cuales también valoran aspectos
parciales del trabajo académico, pero que contrastan con la carencia de un
sistema formal de autoevaluación institucional.
Cumplir con las políticas universitarias de prepararse para ser evaluado
externamente, preocupa verdaderamente a los dirigentes del I.I.E.S.C.A., dada la
incapacidad de responder, en la mayoría de los casos, a los indicadores que
exigen las acreditaciones y certificaciones oficiales, frecuentemente cambiantes y
que parecen obedecer a criterios poco objetivos en lo general, pero que norman la
conducta de quienes realizan las evaluaciones externas, por lo general
organismos fuera de la universidad como el Consejo Nacional de Ciencia y
Tecnología, que impone cumplir con los criterios cuantitativos y cuantitativos
101 248
señalados en su normatividad y establecidos como requisitos previos para el

ingreso al Padrón Nacional de Programas de Posgrado, que tiene como objetivos:
dar certidumbre a la sociedad de la existencia de posgrados de excelencia,
impulsar la oferta de programas nacionales de calidad y orientar a los aspirantes
en la elección de programas formativos rigurosos, con un alto nivel académico7.
El Padrón antes mencionado, resulta importante para cualquier institución
de estudios de posgrado, como el I.I.E.S.C.A.U.V., si quiere ser reconocido como
institución de excelencia por los organismos considerados como los exponentes
máximos de la ciencia y la tecnología en nuestro país. Debo reconocer sin
embargo, que en la valoración de los mismos, el objeto central y la prioridad del
Instituto se centra en el posgrado, quedando la investigación y la difusión y
extensión fuera de su alcance o sólo parcialmente evaluadas.
Lo que he observado en el I.I.E.S.C.A. y pienso es recurrente en otras
dependencias universitarias y en la misma Universidad Veracruzana, es la
ausencia de sistemas de evaluación integrales (que consideren las funciones
sustantivas) que se desarrollen e implementen con la participación de sus
miembros. Este fenómeno da lugar a que se desconozca la situación real de las
entidades y por tanto, no se puedan tomar decisiones pertinentes acerca de sus
posibilidades de desarrollo o mejora o bien, las medidas correctivas a sus
problemas.
Para terminar, pienso que el problema de la evaluación institucional, puede
resumirse en los siguientes puntos:
1. La diversidad de métodos de evaluación disponibles.
2. La parcialidad de los factores y subfactores de valoración externos.
3. La evaluación concebida prioritariamente para efectuarse por
instituciones externas.
4. La ausencia de una evaluación integral basada en el proceso de
planeación institucional.
5. La falta de retroalimentación a los participantes de la institución
evaluada del proceso de evaluación y de sus resultados.
En la figura No. 2 presento una propuesta de proceso para la creación de
un modelo de evaluación institucional que inicie a partir del proceso de planeación
institucional y considere factores tanto exógenos como endógenos para su
conformación, creando un soporte de información administrativa que lo facilite.
III. CONCLUSIONES
A pesar de que los organismos que efectúan la evaluación externa de las

Instituciones de Educación Superior parecen tener un interés verdadero en el
mejoramiento de la Educación Superior en nuestro país, hay que hacer profundas
reflexiones y algunos cuestionamientos respecto a los resultados y el impacto que
pueden tener las mismas en la actual perspectiva, preguntándonos por ejemplo:
¿los procesos de certificación y acreditación, valoran lo que es relevante o lo que
se puede evaluar? ¿los indicadores cuantitativos de medición ofrecen verdaderos
criterios de medición de la calidad?, ¿llevar a cabo los procesos de certificación
7
CONACYT. Padrón Nacional de Programas de Posgrado, versión 17 de junio del año 2000. http://www.conacyt.mx.
102 249
y/o acreditación asegura la excelencia de las Instituciones de Educación

Superior?, ¿ser reconocida por los programas de acreditación y certificación
permite el mejoramiento de las Instituciones de Educación Superior? ¿cuál es la
mejor manera para evaluar las actividades de una Institución de Educación
Superior? ¿los factores o variables considerados actualmente son la mejor
alternativa para evaluarlas? ¿cómo puede estar preparada una Institución de
Educación Superior para que a través del manejo de sistemas de información
administrativos verdaderamente puedan ser evaluadas? ¿podrán proponerse
mejores esquemas de evaluación que los existentes hasta ahora?.
Estoy convencida que en las Instituciones de Educación Superior deberían
existir (aunque no es sencillo) sistemas integrales de evaluación, que valoren las
funciones sustantivas que les corresponden, que sean esencialmente
participativos (que permitan la intervención de la comunidad en la que se lleven a
cabo), cualitativos (que valoren la calidad del objeto a evaluar), cuantitativos (que
tomen en cuenta la cantidad para los indicadores que sean medibles),
permanentes (que se realicen de manera continua durante la vida de la institución)
y cuyo método sistémico (concibiendo a la institución como un sistema), considere
el ambiente, el valor agregado durante el proceso de transformación, así como los
resultados generados, los cuales deben proporcionar información que facilite la
gestión de la acreditación y la certificación como factores de calidad, e igual para
valorar internamente los logros y deficiencias institucionales.
103 250
I.I.E.S.CA. Ensayo
Figura No. 2
Propuesta de proceso para la creación de un modelo de evaluación institucional
Definir durante el Definir el objeto de Identificar las áreas y

Conocer el marco de
proceso de planeación evaluación macrovariables
la planeación
las metas institucionales
institucional
(medibles)
Crear un sistema de Crear la metodología Creación del sistema Definir los criterios de
información que permita medición considerando
de trabajo de indicadores
generar la información factores exógenos y
necesaria acerca de los
factores de medición endógenos.
Elaboración del plan Realizar la Difundir los

de evaluación evaluación resultados de la
evaluación
104
251
I.I.E.S.CA.
También, estoy convencida que el proceso de planeación debe ser el punto

de partida para que la evaluación institucional sea exitosa, ya que del
planteamiento de objetivos y metas, deberían desprenderse los criterios de
medición del trabajo académico los cuales, necesitarían del soporte de sistemas
de información que permitan dar seguimiento y control de los resultados
esperados, por tanto, creo necesaria la creación e implementación de un modelo
de evaluación institucional, que además de los elementos exigidos por el Sistema
de Evaluación de la Educación Superior en México, considere otros elementos
estructurales de la evaluación que incorporan el aspecto participativo, así como
una metodología que incluya criterios propios orientados a la realización integral
de los procesos evaluativos, enfatizando la mecánica de planeación, que debe
incidir en el desarrollo de los mismos.
Por último, el trabajo de evaluación institucional no es una tarea fácil ni es
posible realizarla en forma individual, sin embargo; es necesario comenzar a crear
las condiciones para que los participantes, incluyendo al evaluador o evaluadores,
mejoren su comprensión sobre la realidad institucional. Por tanto, debe trabajarse
en forma permanente y participativa, creando un sistema de información que
retroalimente en forma continua los procesos evaluativos. No deben considerarse
solamente los aspectos cuantitativos sino también los cualitativos de forma tal, que
constituyan verdaderamente un soporte para la planeación institucional, con el
objetivo de mejorar la calidad de las funciones de la universidad en su contexto
social sin olvidar que la evaluación debe ser un proceso abierto, flexible y sobre
todo perfectible.
252
105

Antología Evaluación Institucional

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Antología Evaluación Institucional

Cargado por

Copyright:

Formatos disponibles

XALAPA –ENRÍQUEZ 2013

RAVELA Pedro y otros

MARTÍNEZ de Toda Fernández Ma. Josefa

MARTÍNEZ de Toda Fernández Ma. Josefa

Hacer click para accesar directamente al documento seleccionado

VILCHES Amparo y Gil Pérez Daniel

GONZÁLEZ López Ignacio y López Cobo Isabel

RUÍZ Ruíz José Ma.

PALLÁN Figueroa Carlos

Hacer click para accesar directamente al documento seleccionado

Hacer click para accesar directamente al documento seleccionado

Contenido del Artículo:

Lo que se da en llamar evaluación universitaria o evaluación institucional

La concepción que tenemos de la evaluación institucional ha evolucionado sin

Evaluar la universidad quiere decir emitir un juicio de valor a propósito de la

Tampoco existe consenso en lo que respecta a la jerarquía de valores educativos y

Como organización, la universidad es una mezcla particular de burocracia

Los profesores, el administrador, el profesional de apoyo o el estudiante se forman

La enseñanza y la investigación son actividades creadoras, muy complejas, cuyos

No obstante y a pesar de todo ello, la evaluación institucional no sólo se realiza

Algunas veces es su falta de profundidad, otras es la simplicidad de sus métodos,

. Evolución de las prácticas de evaluación Contenido

¿La desconfianza o la resistencia que provoca en los universitarios la idea de la

La evaluación institucional remonta a finales del sigo XIX y se identificó

La idea de la acreditación encontró en la universidad de la época un terreno fértil de

Después de la primera Guerra Mundial aparecieron en los Estados Unidos de

Según la literatura especializada, la filosofía y los métodos de acreditación no han

El modelo de acreditación que existe actualmente -con toda la importancia que le

Fue en esa misma época que las universidades norteamericanas experimentaron

En esa época, la planificación se generaliza a nivel de todo el Estado, las

A finales de los años 70, la educación post-secundaria norteamericana entra en una

La filosofía que sustenta el "outcome assessment" o "evaluación de resultados" no

Los criterios corrientes de acreditación, según él y muchos otros expertos de la

. Teorías y métodos de evaluación Contenido

Hemos dicho que la evaluación universitaria se desarrolló mucho bajo la presión de

La evaluación institucional se interesa en principio en todos los aspectos del

La evaluación toma sus teorías y sus métodos de un gran número de disciplinas:7

Elaborar un cuadro simple y comprensivo de este inmenso campo de actividad

.PARAMETROS CLAVES Contenido

En la introducción de un libro reciente de OCDE sobre la evaluación de la educación

La primera: ¿Quién determina los objetivos y los criterios de la evaluación? (¿La

Otra pregunta importante es la siguiente: ¿Nos apoyamos en hipótesis y en un

Dependiendo entonces de la forma en que se combinen todos esos rasgos

LOS FACTORES DEL EXITO Y DEL FRACASO Contenido

Considerando entonces las posibilidades de resistencia, es extremadamente

Al momento de la pre-evaluación, las personas que poseen la mejor percepción del

Una cuarta condición de éxito: reunir recursos humanos y materiales en cantidad y

LOS MECANISMOS APROPIADOS DE COORDINACION Y DIRECCION

Otras condiciones que son mencionadas con frecuencia en la literatura: una

Algunos otros preceptos son igualmente citados con regularidad: en un medio

Aún concebido y conducido impecablemente, la evaluación tendrá siempre sus

Sin embargo, muchas evaluaciones tienen consecuencias felices, aún desde el

(1) Ver el texto de James March de la Universidad de Stanford, en teoría de las

Ernesto Schiefelbein y Paulina Schiefelbein

Revista Iberoamericana de Evaluación Educativa 2008 - Volumen 1, Número 1

1. PASAR DESDE LAS BRECHAS DE COBERTURA A LAS BRECHAS DE CALIDAD

2. DEL ACREDITAR CONOCIMIENTOS (CLASIFICAR ALUMNOS) AL OPTIMIZAR APRENDIZAJES

3. DEL EVALUAR CONOCIMIENTOS (INSTRUIR) A FORMAR PERSONAS (EDUCAR)

EVALUACIÓN: ELEMENTOS DEL DEBATE INTERNACIONAL

EVALUATION: ELEMENTS OF INTERNATIONAL DEBATE.

Revista Iberoamericana de Evaluación Educativa 2010 - Volumen 3, Número 1e

escrutinio sobre su distribución, automáticamente condujeron a preguntar sobre la calidad de los

1. BANCO MUNDIAL Y UNESCO