Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Antología Evaluación Institucional
Antología Evaluación Institucional
UNIVERSIDAD POPULAR
AUTÓNOMA DE VERACRUZ
MAESTRÍA EN EDUCACIÓN
ANTOLOGÍA
ASIGNATURA
EVALUACIÓN INSTITUCIONAL
EVALUACIÓN INSTITUCIONAL
ANTOLOGÍA
Asesor:
Marco Antonio Vega Estrada
2013
ÍNDICE
SIMONEAU Richard
“La evaluación institucional: conceptos teóricos“ Pág. 1
ANUIES
SCHIEFELBEIN Ernesto
“Evaluación de los procesos de evaluación del sistema Pág. 12
educativo 1950-2008”
Revista Iberoamericana de Evaluación Educativa
CANALES Alejandro
“Evaluación, elementos del debate internacional” Pág. 19
Revista Iberoamericana de Evaluación Educativa
FROEMEL Juan
“La efectividad y la eficacia de las mediciones Pág. 124
estandarizadas y de las evaluaciones en educación”
Revista Iberoamericana de Evaluación Educativa
1
LA EVALUACION INSTITUCIONAL:
CONCEPTOS TEORICOS
Richard Simoneau
Asesor del Consejo de Universidades de Quebec.
INTRODUCCION.
Evolución de las prácticas de evaluación.
Teorías y métodos de evaluación.
Parámetros Claves.
Los Factores del Éxito y el Fracaso.
Los Mecanismos Apropiados de Coordinación y Dirección.
NOTAS.
INTRODUCCION Contenido
En América del Norte, en todo caso, fueron primeramente las profesiones y luego
los gobiernos y grupos sociales - los empleados o los consumidores de servicios -
los que más han compartido la idea de la evaluación institucional (una interpretación
más cuidadosa debe hacerse en lo que respecta al caso particular de la
investigación subvencionada, la que desde hace mucho tiempo es evaluada por
3
investigadores del mismo nivel que los que solicitan la subvención, llamados los
pares). Con frecuencia, la evaluación ha ingresado a la universidad como una
técnica, no siempre bien adaptada, con muchas dificultades para justificarse en el
marco de una teoría rigurosa.
Si en teoría todo ello es válido, en la realidad las cosas son muy diferentes, los
planes de desarrollo universitario de los años 60 en América del Norte fueron
únicamente grandes catálogos de nuevos proyectos que no evaluaron lo que ya
existía, o grandes obras teóricas, con orientaciones de largo alcance que tenían
muy poco impacto en los programas o en el presupuesto universitario. Para
remediar estos vacíos, gobiernos y universidades desarrollan, con frecuencia, en
paralelo al "plan maestro" lo que se llamó "los ingresos de los programas". En
ciertos casos, dichos ingresos se elaboran teniendo en cuenta los informes de
acreditación; en otros, era necesaria la producción de trabajos de evaluación según
formatos, procedimientos y plazos específicos. Así mismo, se agregan a los criterios
usuales de acreditación otros como el de complementariedad y pertinencia
institucional de los programas y proyectos, las necesidades socioeconómicas, la
eficacia y los costos de funcionamiento.
Corriendo el riesgo de ser muy esquemático, por la necesidad de ser breves, puede
decirse que hacia los años 80 se produce otro gran cambio de rumbo en la filosofía
y en la práctica de la evaluación universitaria, derivándose la problemática que está
en vías de predominar actualmente en América del Norte.
Sin embargo, y como si todo esto fuera poco, los problemas económicos,
principalmente en los Estados Unidos, colocan al sistema de educación y a las
universidades como una de las principales responsables de la caída de la
competencia de las empresas y de su falta de innovación. De acuerdo con la
opinión de los empleadores y los resultados de análisis nacionales las habilidades
5
de los graduados universitarios disminuyen. Por otra parte, si bien las inscripciones
universitarias aumentan, uno de cada dos estudiantes abandona sus estudios; los
buenos estudiantes ya no tienen interés en hacer carrera como profesores y de
hecho no lo hacen, lo que acentúa los problemas del sistema escolar. Las
universidades han sido entonces invitadas a evaluar de forma más rigurosa los
resultados concretos en los que desembocan sus actividades de formación. Es la
hora de "outcome assessment", la corriente dominante en los años 80.
La filosofía que fundamenta la corriente del "outcome assessment" que fue durante
mucho tiempo menospreciada por los universitarios, dado que marca un retorno
hacia ciertos valores fundamentales, es en general ineludible. La evaluación
científica de la pedagogía y de las cualidades tropieza sin embargo con una
cuestión fundamental. La mayoría de los especialistas están de acuerdo en afirmar
que gran parte de la evolución de los estudiantes, de sus éxitos y fracasos es
imputable a factores exógenos a los programas universitarios propiamente dichos
(experiencias informales o complementarias de formación, de socialización,
antecedentes familiares y sociales, etc.). Precisar la contribución propia de los
establecimientos, de los programas o de los profesores es entonces una tarea bien
compleja. Ello exige estrategias de evaluación complejas, costosas y largas, tanto
mas difíciles cuanto más tenga interés en operar a gran escala. Por tales motivos es
adecuado pensar que esta limitación por si solas justifica el recurso a otros
procedimientos de evaluación universitaria paralelos, menos "científicos", mas 6
tradicionales.
Para complementar esta parte histórica, subrayemos que hay otro factor que ha
influenciado enormemente la evolución de las prácticas de evaluación institucional
durante los años 80, a saber, la generalización en las universidades
norteamericanas de los métodos de planificación y de gestión llamados
estratégicos. Con la introducción del enfoque estratégico, el énfasis ya no recae
tanto sobre la producción de un plan de desarrollo como en su aplicación, sobre los
efectos concretos del plan en la gestión universitaria. Un buen plan estratégico es
ante todo una guía para la acción; el plan es entonces más sucinto que voluminoso,
selectivo y apoyado en las prioridades más que en la planificación exhaustiva, más
operativo que teórico o analítico. Un buen plan estratégico incluye mecanismos de
seguimiento y reformulación actualizada de las recomendaciones; el mismo es
concebido para influenciar las decisiones presupuestarias, etc... La concepción de la
evaluación institucional evolucionó mucho bajo la influencia del enfoque estratégico.
Lo mas importante, se piensa cada vez mas, no reside en la elaboración del informe
de evaluación, sino sobre todo en prepararlo de tal forma que se maximicen sus
probabilidades de producir efectos concretos; su objetivo no es el de ser lo más
completo posible, sino más bien el de ser selectivo en la determinación de los
sujetos, identificar los problemas prioritarios que es realmente posible analizar y que
tienen mayores posibilidades de ser solucionados. Se considera así mismo que la
evaluación debe integrarse lo más posible a los ciclos regulares de planificación y
de gestión de los establecimientos: ello impone evidentemente todo tipo de
limitaciones, pero los efectos benéficos de esta manera de proceder son mucho
mayores.
Por otra parte, ¿Que es lo que se desea evaluar principalmente? (¿ los recursos, las
actividades y procesos, los resultados, los impactos?) Hemos visto que el enfoque
de la acreditación, en el sentido más tradicional hace mucho énfasis en la
disponibilidad y la calidad de los recursos (profesores, presupuestos, bibliotecas,
espacios) los que son considerados como garantes de la calidad de los programas
de servicios. Tenemos aquí una perspectiva que calza con las creencias de la
mayoría de los universitarios. Hemos visto que el enfoque centrado en los
resultados (competencias adquiridas, o aún más, diplomas otorgados, citaciones,
publicaciones realizadas) es el enfoque privilegiado tanto por los partidarios de una
evaluación más "científica" de la universidad como por otros grupos. Los financieros
externos, o los administradores universitarios se interesan cada vez más en la
evaluación del impacto o la razón de ser de los programas. Cada uno de los
métodos propuestos supone métodos, indicadores y habilidades muy diferentes.
Otra pregunta vecina de la anterior: ¿Qué fuentes de información y que datos serán
utilizados en la evaluación? ¿Se intentara definir verdaderos indicadores? ¿Podrá
8
contarse con bases de datos confiables y accesibles? ¿Si no, trataremos de validar
las informaciones utilizadas, de verificar su grado de confianza?
Por otra parte, ¿se trata de una evaluación puntual o ad hoc o de un estudio
realizado de acuerdo con procedimientos bien definidos para responder a una
política, o para inscribirse en un ciclo regular de actividades? ¿El análisis
comprende toda la población o solamente una muestra de ella? Los especialistas
distinguen también generalmente entre las evaluaciones de tipo formativo, que
tienen por finalidad mejorar la comprensión y funcionamiento de las cosas, y las
evaluaciones de tipo obligatorio o estatutarias, destinadas a apoyar la toma de
decisiones. Finalmente hablan de la evaluación instrumental -cuando se trata de
trabajos ampliamente controlados por expertos- y de evaluación interactiva o
participativa, cuando dichos trabajos reciben, ampliamente, la influencia de los
sectores directamente implicados.
Todo lo anterior no quiere decir que todos los modelos y todas las estrategias son
válidas. Así, conviene señalar la existencia de una enorme literatura especializada
sobre las cosas que pueden y no pueden hacerse, sobre los factores del éxito y del
fracaso en evaluación.
Uno de los que se interesan en dicho sujeto desde hace mucho es Richard I. Miller,
quien sostiene que la evaluación sólo produce buenos resultados en una
organización verdaderamente abierta a la innovación y al cambio, y en el que una
mayoría de los interesados comparten la idea de que una perspectiva crítica puede
ser la fuente del mejoramiento y del progreso. Aunque las ideas conservadoras son
todavía numerosas en el medio universitario, por lo que la evaluación puede ser
percibida algunas veces, o con frecuencia, como una molestia, con respecto a las
maneras normales de funcionar, o como una amenaza de algunos intereses ya
instalados, ya sean éstos burocráticos, socio políticos o sindicales, disciplinarios,
departamentales o individuales.
La tercera condición del éxito: los problemas discutidos, los métodos empleados
deben ser objeto de un cierto consenso. Ello nos conduce a hablar de la concepción
del estudio, lo de la pre evaluación, la que es considerada por muchos como etapa
crucial de los trabajos, y desgraciadamente, como la etapa menos tomada en
consideración.
NOTAS Contenido
(2) Astin A. Undergraduate Achievement and Institutional Excellence, No. 166. 1968,
p. 661 a 668.
11
SCHIEFELBEIN Ernesto
“Evaluación de los procesos de evaluación del sistema educativo 1950-2008”
Revista Iberoamericana de Evaluación Educativa
12
EVALUACIÓN DE LOS PROCESOS DE EVALUACIÓN
DEL SISTEMA EDUCATIVO 1950-2008
http://www.rinace.net/riee/numeros/vol1-num1/art3.pdf
13
Evaluación de los Procesos de Evaluación del Sistema Educativo
1950-2008 ……………….. de de
Ernesto Schiefelbein y Paulina Schiefelbein
E
l crecimiento de los sistemas educativos, en las últimas seis décadas, ha estado asociado a profundas
revisiones (y significativas mejoras) en la manera de evaluarlos. Tiene especial importancia revisar los
cambios producidos en tres dimensiones diferentes (pero complementarias), ya que si bien su impacto
final parece ser modesto (McKinsey, 2007:5), permite sugerir nuevas formas de mirar la dinámica
instruccional (Ball y Forzani, 2007:530) y, eventualmente, la educacional.
El principal cambio consistió, quizá, en pasar de “contar alumnos en cada nivel” a estimar “niveles de
aprendizaje” de contenidos y habilidades o aptitudes. Mientras que hace treinta años cualquier
evaluación era considerada como un tabú, en la actualidad la mayoría de países someten a los
estudiantes a pruebas desde los primeros años de la escolaridad hasta el final de los estudios
universitarios (Schiefelbein y Schiefelbein, 2004). Es importante, además, el haber pasado del “clasificar”
a los alumnos (entre los que podían avanzar al siguiente nivel y los que debían repetir), a lograr que cada
alumno aprenda al menos el mínimo necesario para avanzar (si tiene la capacidad necesaria, aunque sus
conocimientos previos sean limitados). Finalmente, se debe destacar el creciente interés por evaluar no
solamente el nivel de “instrucción” (en contenidos y habilidades), sino que también la “formación”
(propiamente tal) de la capacidad de tomar decisiones responsables conforme a criterios aceptados.
En este artículo se examina los cambios en cada una de estas tres dimensiones y se comenta la manera
en que cada uno de estos cambios ha repercutido en la operación de los sistemas y en los objetivos que
privilegian los maestros en el aula. Se examina, además, las brechas que estos cambios han generado
entre la formación inicial de los maestros y las demandas sociales de calidad de la educación.
14
46
Evaluación de los Procesos de Evaluación del Sistema Educativo
1950-2008 xxxxxxxxxxxx de
Ernesto Schiefelbein y Paulina Schiefelbein
grado estaban cercanas al 50% (Schiefelbein, 1975). Estos indicadores sugerían la necesidad de estimular
el aprendizaje de los niños antes de ingresar a la educación primaria (Schiefelbein et al., 2000).
El desarrollo de los lectores ópticos y programas de computación permitió procesar, a fines de los 50,
pruebas objetivas administradas a miles de alumnos. Los investigadores y administradores de la
educación de doce países desarrollados acordaron en 1958 hacer comparaciones internacionales masivas
(Suter, 2001). Estas comparaciones permitieron estimar las brechas en los niveles de instrucción
alcanzados en los países. El momento era oportuno porque muchos países de menor desarrollo estaban
completando su capacidad de atender a los alumnos de familias con menos recursos de las zonas
urbanas. Estos niños tenían problemas para ser promovidos y se acumulaban los alumnos con extra-edad
en los primeros grados del sistema.
15
47
Evaluación de los Procesos de Evaluación del Sistema Educativo
1950-2008 ……………….. de de
Ernesto Schiefelbein y Paulina Schiefelbein
seleccionar a los alumnos— a jóvenes de talento excepcional, que por falta de una instrucción adecuada
(en el nivel anterior) quedarían marginados de continuar estudiando en el nivel superior.
Pero los resultados de las pruebas no permiten avances significativos en los aprendizajes, ya que los
usuarios enfrentan numerosos obstáculos. Algunos ejemplos permiten ilustrar los tipos de obstáculos: (i)
distinguir entre acertar respuestas y saber las respuestas; (ii) diferenciar las probables “causas” de un
cambio en una variable independiente, de las asociaciones o correlaciones espurias o (iii) estar alertas
frente a procesos de “desorientación” en los medios de prensa, por ejemplo, distinguir entre los aportes
positivos y negativos de las Tecnologías de la Información y la Comunicación (TIC). Muchas veces los
resultados solo permiten suponer soluciones alternativas (Schiefelbein, 2005a, 2004a).
Los que toman decisiones (que no son expertos en el tema) no reciben el mensaje que menos de la mitad
de los alumnos de cuarto grado entienden lo que leen y muchos quedan con la sensación que “unos dos
tercios” comprende lo que lee. Esto se genera porque los resultados (para el nivel primario) se suelen
difundir en términos de porcentajes “brutos” de respuestas correctas. Si en un grupo de 100 alumnos hay
52 que responden correctamente (tasa “neta” de 52% que refleja los que “saben” la respuesta), los 48
restantes (en promedio, cuando hay 4 alternativas) acertarán doce veces, por lo que la tasa bruta llegará
al 64% de aciertos. En el SIMCE 2006 el 61,4% acertó con la idea principal del texto de dificultad
“intermedia”, pero sólo el 48,7% “sabía” cual era la idea principal (SIMCE, 2007b). Este resultado dista
mucho de “un buen rendimiento” donde cada uno de los niños tiene éxito (McKinsey, 2007,37).
También la difusión de resultados suele “desinformar o alejar a la opinión publica de los verdaderos
problemas” (Brunner, 2007). Esto ocurre, por ejemplo, cuando los titulares de los medios de prensa dicen
que “la educación privada logra 60 puntos más que la educación municipal lo que refleja su mejor
calidad”. Lo que no mencionan los medios de prensa es que cuando los resultados se controlan por el
nivel socioeconómico de la familia no hay diferencias en los puntajes (el nivel alto logra unos 300 puntos,
el medio obtiene 250 y el bajo entre 220 y 230). La conclusión es inversa (a lo afirmado en la prensa): no
hay diferencia de calidad entre los establecimientos (privados y públicos) y, en cambio, los profesores no
están preparados para compensar las diferencias en los niveles iniciales de educación (0 a 6 años).
Los mensajes sobre las TIC suelen desorientar al lector desprevenido. Se señala, por ejemplo, que los
nuevos audífonos o los mensajes de texto y fotografía de los teléfonos celulares han elevado la cantidad
de “copia” o fraude en las pruebas. El mensaje es que el problema estaría generado por la tecnología. Sin
embargo, el verdadero problema está generado por el énfasis en que los alumnos memoricen información
en vez de que aprendan a utilizarla. En este caso la tecnología ayuda a encontrar la verdadera solución:
que las preguntas impliquen un mejor nivel de aprendizaje (por ejemplo, aplicación, comparación,
inferencia o juicio crítico, según la taxonomía de Bloom) que no es posible copiar de un libro o un
mensaje de texto. En realidad la mayor parte de las pruebas se podrían hacer con derecho a consultar los
libros y apuntes (pruebas con libro abierto).
Finalmente, el uso de la información que proporcionan las evaluaciones, para mejorar la educación,
implica un uso profesional del conocimiento acumulado hasta ahora, tomando en cuenta sus diversos
niveles de confiabilidad (Ravela, 2005; Chapman y Mahlck, 1993). Por ejemplo, si el problema
fundamental es el bajo nivel de comprensión de lectura, será necesario examinar las revisiones de las
investigaciones pertinentes (Show et al., 1998; Abadzi, 2006; Oliveira, 2006; Bloom, 1976). En muchos
casos usar la información que proporcionan las evaluaciones implicará reanalizar los datos con teoría o
modelos más adecuados (por ejemplo, puntajes de un grupo de ítems de comprensión de lectura o nivel
de vocabulario) o realizar estudios complementarios de los alumnos (por ejemplo medición de aptitudes y
personalidad) o de otros aspectos, por ejemplo, examinar características de los profesores o de sus
formadores como maestros (Schiefelbein et al., 2007; Schiefelbein, 2004b; Schiefelbein, 1994). En
muchos casos se trata de entender el contexto en que ocurren los procesos y las interacciones entre los
16
48
Evaluación de los Procesos de Evaluación del Sistema Educativo
1950-2008 xxxxxxxxxxxx de
Ernesto Schiefelbein y Paulina Schiefelbein
diferentes elementos mediante una o varias visitas de un grupo de especialistas a una escuela específica
cada cierto número de meses o años, que puede ser menor para las escuelas con mejores indicadores de
rendimiento Esto ha permitido reducir a la mitad el tiempo que se dedica a evaluar en Inglaterra
(McKinsey, 2007:37).
Este considerable aumento de los instrumentos disponibles para evaluar y de información acumulada
sobre procesos de enseñanza y aprendizaje no debe hacernos olvidar que: (i) evaluamos en función de
ciertos objetivos que se consideran importantes y (ii) no siempre es posible medir con precisión los
objetivos importantes. Es por esto que se evalúa, fundamentalmente, la instrucción, y pone menos
atención a la “educación propiamente tal” (porque no podemos medir con facilidad actitudes y procesos
de decisión).
Por ahora todavía es útil la evaluación de niveles de instrucción (tal como antes fue la declaración en los
censos o la cobertura), pero no hay duda que se necesita más precisión para medir procesos de formación
de personas (Schiefelbein, 2003a). Es por esto que se debe revisar qué es lo que realmente queremos
obtener cuando evaluamos. ¿Nos interesa saber más, mejorar el mundo (ciencia o técnica) o
desarrollarnos como personas?
17
49
Evaluación de los Procesos de Evaluación del Sistema Educativo
1950-2008 ……………….. de de
Ernesto Schiefelbein y Paulina Schiefelbein
¿Qué indicadores usar para saber cuál es el nivel actual o el cambio en el uso de la libertad? ¿Queremos
medir con precisión o saber la magnitud del problema? ¿Cuál es el costo de usar los indicadores de
formación? ¿Es posible grabar clases, discusiones o dramatizaciones --en las cuales los participantes
representan teatralmente, el papel del ocupante de un determinado rol en la clase-- y luego re-analizar la
actuación de los participantes (un psicólogo puede colaborar en analizar el desempeño de cada
participante)? ¿Sería posible usar pruebas psicométricas para evaluar aptitudes o rasgos innatos de los
participantes a fin de tratarlos y transformarlos en habilidades o capacidades personales para tomar
decisiones razonadas, conforme a la conciencia moral? ¿Hay elementos de selectividad en los
instrumentos (que generen nuevos problemas de inequidad)? En todo caso es posible visitar las clases y
obtener indicadores de los procesos de enseñanza relacionados con formación (Schiefelbein, 2005b).
Por ahora, cuando la mitad de los niños de cuarto grado de Chile no logra comprender textos simples, las
alternativas de evaluación son más simples y se analizan en la última sección de este artículo.
4. CÓMO USAR HOY EN CHILE LOS RESULTADOS DE LAS EVALUACIONES: ¿CASTIGAR O AYUDAR?
Desde fines de los 60 se ha medido el nivel de aprendizaje de los alumnos para elevarlo, pero no ha sido
evidente la forma de hacerlo y, de hecho, no ha aumentado. La prueba de 8° grado (1967-1971) se limitó
a mostrar a los profesores los tipos de habilidades que debían estimular en sus alumnos. La PER, creada a
principios de los '80, buscó determinar el nivel del servicio educativo que se ofrecía y "monitorearlo" con
ayuda de los padres, que tratarían de seleccionar las mejores escuelas para sus hijos. El SIMCE midió, a
partir de 1988, los rendimientos de las escuelas y trató de identificar factores que pudieran explicar las
diferencias y evaluar el impacto de los programas de los municipios y del MINEDUC.
Sin embargo, no hay avances y conviene repensar este poderoso instrumento, que es el SIMCE, si se
quiere mejorar los aprendizajes. Un rol alternativo del SIMCE sería, según algunos expertos, ayudar a los
profesores a enseñar mejor y revisar cuáles son los temas importantes del currículo, más que el
"clasificar" rendimientos. Este segundo rol plantea diferencias nítidas con respecto al primero:
¿Seleccionar o desarrollar? ¿Poner nota o medir logro de meta? ¿Conocer el ranking o el aprendizaje de
objetivos específicos (criterio)? ¿Castigar o ayudar? “Son dos funciones diferentes (los especialistas
hablan de Evaluación Sumativa y Formativa, respectivamente). Si la primera no elevó hasta ahora los
rendimientos, convendría probar la segunda (Schiefelbein, 2003b).
Esto implica fuertes cambios en el SIMCE. En efecto, para "seleccionar" o "castigar" basta calcular un
puntaje total que "discrimine entre buenos y malos" y difundirlo públicamente. En este rol es
fundamental no divulgar los ítems utilizados para que mantengan su poder de discriminación (no ser
conocidos por los profesores y evitar que preparen a sus alumnos para contestarlos mecánicamente).
Basta calcular el puntaje de cada escuela para que los padres seleccionen entre escuelas o preparar datos
e indicadores globales para que los funcionarios del MINEDUC modifiquen las estrategias.
En la segunda función, en cambio, el usuario de la información del SIMCE es el profesor en su sala de
clases. En efecto, para "desarrollar" o "ayudar a mejorar" se necesita entregar información detallada a
cada profesor sobre los aspectos en que cada uno de sus alumnos logró los niveles adecuados y aquellas
habilidades o conocimientos que todavía no posee o no domina suficientemente. El profesor debe saber
lo que contestó cada alumno en la prueba y revisar con cada uno los errores que cometió, hasta que el
alumno internalice las deficiencias y reforme adecuadamente sus procesos de pensamiento. Sin
información detallada el profesor no puede identificar los aspectos de su enseñanza que debe cambiar o
cómo ayudar a cada estudiante... “En resumen, una redefinición clara del objetivo de la prueba nacional
de medición de la calidad de la educación debe orientar la reflexión del grupo de expertos sobre los
cambios que debe tener el SIMCE...”
18
50
CANALES Alejandro
“Evaluación, elementos del debate internacional”
Revista Iberoamericana de Evaluación Educativa
19
ISSN: 1989-0397
Alejandro Canales
http://www.rinace.net/riee/numeros/vol3-num1_e/art1.pdf
20
Evaluación: Elementos del debate internacional
Alejandro Canales
H
ace alrededor de dos décadas que, con sus variantes, se inició en la región un amplio proceso de
evaluación en el sistema educativo (y en general en toda la sociedad), fue parte de lo que se denominó el
ascenso del Estado evaluador (Neave, 1988). Un amplio movimiento de control y vigilancia estatal de la
esfera pública y que, como eje analítico, colocó al Estado como actor con capacidad de iniciativa, factor
de explicación de los fenómenos políticos y apreciado en diferentes regiones (Skocpol, 1989).1 En el
campo educativo, una de sus expresiones más evidentes fue la distribución selectiva de recursos
financieros y la reorientación de actividades. Todos, prácticamente todos los actores y niveles del sistema
(docentes, alumnos y funcionarios) fueron sometidos a escrutinio y a una rendición de cuentas. Los
términos de calidad, eficiencia y competitividad, dominaron el discurso programático y los debates
académicos.
Si en un principio, frente a los problemas económicos de la década perdida de los años ochenta y la
posterior recuperación, pareció que las iniciativas de evaluación por entonces instauradas, serían algo
temporal para remediar los apremios derivados de la crisis, hoy, después de dos décadas de
experimentación, lo evidente es que se convirtieron en medidas permanentes, estratégicas, que
reorientaron los sistemas y cambiaron las coordenadas en las que se movilizan los actores del sistema
educativo.
Las causas que se han indicado sobre la aparición de este amplio proceso de evaluación son variadas,
aunque generalmente convergen en al menos tres aspectos:
Uno fue el crecimiento exponencial de los sistemas educativos en todo el mundo y particularmente los del
superior, cuya expansión a partir de los años sesenta fue mayor que en los niveles previos (UNESCO, 2000).
Efectivamente, si se consideran todos los niveles, la matrícula mundial casi se duplicó entre 1960 y 1990
(pasó de 437 millones a 990 millones en 1991), pero si solamente se considera a la educación superior, el
crecimiento fue más pronunciado, porque la matrícula se quintuplicó: pasó de 13 millones a 65 millones
en el mismo periodo (UNESCO, 1995). Más aún, el crecimiento todavía fue más importante en los países en
desarrollo, el número de estudiantes varió de 3 millones a 30 millones entre 1960 y 1991; aunque debe
advertirse que la base de la que partió era sumamente reducida.
El rápido crecimiento de la matrícula en el nivel superior, fue impulsada por la dinámica demográfica y la
ampliación de la cobertura en los niveles previos, lo cual facilitó que un mayor número de jóvenes
aspiraran a ingresar a la universidad; el énfasis fue mayor en la región africana, asiática y
latinoamericana, en comparación con Europa y América del Norte (UNESCO, 2000). El aumento de la
matrícula, provocó también un incremento en el número de los campos de estudio, en los departamentos,
en las instituciones y, en definitiva, en la expansión de los respectivos sistemas. En el contexto de
crecimiento cuantitativo, relativamente explosivo y prolongado, se decía, había que establecer cierto
control y regulación mediante procesos de evaluación.
Otro factor vinculado, o incluso independiente del anterior, se refiere al flujo de recursos financieros
canalizados a la educación superior, especialmente bajo el argumento de que el gasto público para el
sector ya había alcanzado su límite y en un escenario de fragilidad económica, como el que se vivió en los
años ochenta, había que ajustar y cuidar el uso de los recursos públicos. Recortes al presupuesto y un
1
Aunque, también está la opinión de que el retorno del Estado al primer plano, como nuevo “paradigma orientador para las ciencias sociales, no llegó
a establecerse propiamente en la región (latinoamericana)”. Cfr. Martín Tanaka (2005).
21
11
Evaluación: Elementos del debate internacional
Alejandro Canales
22
12
Evaluación: Elementos del debate internacional
Alejandro Canales
las tensiones entre el Estado y la comunidad universitaria” (UNESCO, 1995: 8). No obstante, también
sugería que las instituciones de educación superior debían mejorar su gestión, ser más eficaces y
encontrar nuevas fuentes de financiamiento, sin menoscabo del indispensable apoyo público.
Después del eventual diagnóstico negativo de la educación superior, con ritmos y formas diferentes, en la
región latinoamericana y en todas la regiones, se fue instaurando un complejo entramado de
organizaciones y procedimientos para evaluar a todos los sectores y todos los actores del sistema de
educación superior; proliferó la creación de los llamados organismos intermedios, instancias con
diferentes figuras jurídicas (estatales, descentralizadas, autónomas) en quienes se delegó la tarea de
coordinar o efectuar directamente la actividad de evaluación. A continuación se destacan, de forma
sintética, algunos elementos de debate en el plano internacional, con el fin de ilustrar implicaciones para
la región latinoamericana y especialmente para la evaluación de la actividad docente.
23
13
Evaluación: Elementos del debate internacional
Alejandro Canales
UNESCO, en buena medida en respuesta al debate que propuso el documento del Banco Mundial, también
planteó sus propios lineamientos para el cambio y desarrollo de la educación superior (UNESCO, 1995). En
general, proponía tres elementos clave para determinar la situación estratégica de este nivel: pertinencia,
calidad e internacionalización. El primer concepto, en referencia al papel que desempeñan las
universidades y los centros de educación superior en la sociedad y lo que ésta espera de estas
instituciones, sugería el cumplimiento de sus funciones sustantivas en permanente conexión con las
necesidades de la sociedad. El concepto de pertinencia pasó a formar parte de los planes y programas de
las agendas nacionales. En cuanto a la calidad, tema presente en el debate sobre la educación superior
desde fines de los años ochenta y también manifiesto en la preocupación del Banco Mundial, la UNESCO
proponía, en principio, reconocer que se trataba de un concepto multidimensional, en el que se incluían
las funciones esenciales de las instituciones de enseñanza superior y, por tanto, del personal, los
programas y el aprendizaje; no restringido a los aspectos financieros, a la función docente en los
diferentes programas, ni tampoco basada en el funcionamiento global de las instituciones que se
prestaban mejor a la medición de indicadores cuantitativos. En el caso del personal, señalaba el
organismo internacional, que la evaluación a través de pares, externa o autoevaluación, era el
mecanismo esencial en la política global de perfeccionamiento del personal. Una evaluación para permitir
la distribución adecuada de recursos y tareas, el reconocimiento financiero y no financiero de las
actividades del personal y la contratación, promoción y perfeccionamiento del profesorado.
A pesar de que UNESCO indicaba que en la búsqueda de la calidad y en la aplicación de la evaluación
debían respetarse los principios de libertad de enseñanza y autonomía institucional, también señalaba
con claridad que: “no hay que invocar estos principios fundamentales para luchar contra cambios
necesarios o como pretexto para defender con estrechez de miras los intereses profesionales o para el
abuso de privilegios” (p.40). En lo que se refiere a los alumnos, el problema de la calidad estaba referido,
principalmente, a cómo mantenerla en un escenario de crecimiento relevante de la matrícula y bajo un
claro principio de equidad, así como en la valoración de aptitudes en los diferentes segmentos de la
educación superior y en el perfeccionamiento de los programas de estudio y atención ofrecida por la
institución. Tal vez lo más importante es que el organismo internacional planteó, con claridad, que
[…] el principal criterio de evaluación del funcionamiento de la educación superior es la calidad de la
enseñanza, la formación, la investigación y los servicios prestados a la comunidad. Por consiguiente, es
importante que no se confundan la liberalización de las relaciones económicas y la necesidad de fomentar
un ‘espíritu de empresa’ con la ausencia de políticas sociales públicas, en particular en relación con la
financiación de la educación superior (UNESCO,1995:34).
Esto es, un objetivo centrado en la mejora del sistema de enseñanza superior, una evaluación amplia y
bajo distintos procedimientos y con el reconocimiento de las diferencias entre disciplinas y grupos de
disciplinas.
Las perspectivas y sugerencias de ambos organismos eran diferentes, aunque en los dos casos se
reconocía el punto crítico que había alcanzado el sistema de educación superior. La UNESCO, enfatizaba la
posibilidad y la capacidad del nivel superior para responder a su entorno, tanto en lo concerniente a la
equidad educativa como en su contribución al desarrollo sustentable. Por su parte, el Banco Mundial,
también sugería una vinculación con la sociedad, pero planteaba, fundamentalmente, su adaptación a un
escenario de mercado competitivo. Sobre la calidad educativa, como se pudo advertir, el Banco la
restringía a la vertiente instrumentalista y de beneficio económico. En tanto, UNESCO, la consideraba
24
14
Evaluación: Elementos del debate internacional
Alejandro Canales
2
Cfr. Banco Mundial (2000).
25
15
Evaluación: Elementos del debate internacional
Alejandro Canales
El documento del grupo de expertos, entre otros aspectos, rectificó el supuesto de menores tasas de
retorno de la educación superior, pues indicó que los cálculos se habían basado en una posición errónea.
Al respecto señalaron: “El grupo de trabajo apoya totalmente la continuidad de mayor inversión en
educación primaria y secundaria, pero cree que los argumentos económicos tradicionales están basados
en una concepción limitada de lo que las instituciones de educación superior contribuyen” (Banco
Mundial, 2000:39). Esto es, solamente consideraba que las personas con mayor educación tenían
mayores ingresos y eran mayores contrayentes fiscales, pero no tomaba en cuenta muchos otros efectos
de las personas educadas sobre la sociedad, como su papel como emprendedores económicos y sociales,
su contribución para crear ambientes en los que el desarrollo económico es posible, el funcionamiento
institucional que posibilitan o los beneficios de la investigación universitaria en la economía. En fin, en su
parte de conclusiones destacaba la responsabilidad del Estado para garantizar el financiamiento de largo
plazo para las instituciones públicas.
Sobre el tema de la calidad educativa, el documento de los expertos lo remitió fundamentalmente al
asunto de la gobernanza de las instituciones, al personal académico y a las formas de evaluación. En el
primer caso, fue enfático al señalar que la buena gobernanza, la forma en que se toman las decisiones en
las instituciones y se ponen en marcha, era condición necesaria aunque no suficiente para lograr una alta
calidad. Por la misma razón, también acordaba en que la calidad del profesorado era el factor más
decisivo para determinar la calidad total de una institución de educación superior. En tal circunstancia,
resaltó la importancia de la evaluación de pares externa como el mecanismo para el ingreso y promoción
del personal, aunque admitía que había ocurrido en las universidades de investigación y era necesario:
“desarrollar equivalentes funcionales para instituciones con diferentes misiones. Las instituciones deben
desarrollar indicadores claros para evaluar la calidad de sus objetivos organizacionales” (Banco Mundial,
2000:65).
A la par de los documentos de los organismos internacionales, diferentes países, al final de los años
noventa y con el emblemático cambio de siglo, se dieron a la tarea de elaborar reportes nacionales para
orientar la reforma de sus respectivos sistemas de educación superior. Por ejemplo, así funcionaron
diversas comisiones como la Attali en Francia; la Dearing en el Reino Unido; la Comisión Boyer en Estados
Unidos o el de Bricall en España.3 Obviamente, la preocupación central en el conjunto de reportes no
estaba dirigida al tema de la evaluación educativa sino a la reforma y papel que le correspondía a la
educación superior para impulsar el bienestar social y la competitividad de las respectivas naciones, pero
la calidad educativa sí formaba parte de los problemas a enfrentar. En los diferentes países y regiones, al
final del siglo pasado y en la primera década del actual, se impulsaron diversas iniciativas en la búsqueda
de la calidad y con la evaluación como su principal instrumento.
Es ilustrativo el balance regional de América Latina y el Caribe de 2008 sobre la evaluación y la
acreditación, realizado previamente a la Conferencia Mundial de Educación Superior de 2009. Ubicó a la
evaluación como paso previo al aseguramiento de la calidad y en la perspectiva de un mecanismo de
integración regional del Espacio de Encuentro Latinoamericano y Caribeño de Educación Superior
(ENLACES). La idea es, como ha ocurrido en la región europea, fortalecer el proceso de convergencia de los
sistemas de evaluación y acreditación nacionales y subregionales, para disponer de estándares y
procedimientos propios de aseguramiento de la calidad de la educación superior y de la investigación.
3
Una síntesis de los principales planteamientos de los diferentes reportes se puede consultar en: Roberto Rodríguez Gómez (2001: 339-356).
26
16
Evaluación: Elementos del debate internacional
Alejandro Canales
Aunque también se advierte que los procesos de acreditación deben estar legitimados por la participación
de las comunidades académicas, contar con la contribución de todos los sectores sociales y reivindicar
que calidad es un concepto inseparable de la equidad y la pertinencia. Algunas de sus conclusiones
preliminares son que:
Se ha avanzado en relación con la “cultura de la evaluación” en la educación superior en la mayoría de los
países latinoamericanos, superándose las tensiones de los primeros años de la década de los noventa,
respecto a la autonomía universitaria, en relación con la evaluación y acreditación (De la Garza, 2008:207).
Tal conclusión genérica se basa en el tránsito paulatino que han experimentado, la mayoría de países
latinoamericanos, de la evaluación a la acreditación de los programas e instituciones universitarias
(ANUIES, 1993). Según el balance regional de América Latina, los procesos de acreditación de posgrados
tienen una amplia trayectoria en Brasil, se han aplicado masivamente en Argentina y, en general, han
posibilitado el control de nuevas instituciones universitarias y homogeneizar el nivel de calidad de las
mismas.
El reporte también aprecia que existe una tendencia a regular con mayor énfasis los programas de
ciencias de la salud (medicina, odontología y enfermería), ciencias aplicadas como la agronomía e
ingeniería y en menor medida carreras como derecho, educación y psicología.
Sin embargo, algunas tensiones se aprecian en el reporte de tendencias en la educación superior global,
preparado para segunda Conferencia Mundial sobre la Educación Superior de 2009. En el documento se
señala que las naciones se ven impelidas a diseñar esquemas de aseguramiento de la calidad que reflejan
prácticas internacionales, aunque preservan objetivos y prácticas que únicamente toman en cuenta
necesidades y limitaciones locales (Altabach; Reisberg y Rumbley, 2009). Igualmente, se hace notar que
la preocupación por la calidad de la educación superior ahora es universal, sin embargo, juega un papel
diferente en varias regiones y países, o bien que se ha ampliado y vuelto complejo el concepto. Esto es, si
en la primera conferencia se había reconocido que se trataba de un concepto multidimensional que
incluía todas sus funciones y actividades, actualmente se considera que la calidad de la educación
superior es un concepto dinámico, multidimensional y multinivel, relativo al contexto de un modelo
educativo, a diferentes misiones y objetivos institucionales. Tal vez una de las advertencias que vale la
pena retener del reporte es que:
Existen tanto riesgos como beneficios en el creciente movimiento por la calidad. Las prácticas
internacionales (frecuentemente desarrolladas en América del Norte y Europa) influyen el desarrollo de
esquemas de aseguramiento en todas partes, pero pueden no ser las más útiles para evaluar la educación
superior en los países en desarrollo. Los procesos se deben enfocar sobre objetivos reales y metas
apropiadas para cada ambiente local. Si no, el aseguramiento de la calidad rápidamente se convertirá en
un proceso político o burocrático con valor limitado (Altabach; Reisberg y Rumbley, 2009:64).
Por su parte, el comunicado final de la Conferencia de 2009 reitera el desafío de ampliar las
oportunidades y sostener la calidad educativa. Por tanto, se indica que el aseguramiento de la calidad es
una función vital de la educación superior contemporánea y debe involucrar a todos los interesados, por
lo cual se deben instaurar sistemas de aseguramiento, patrones de evaluación y promover una cultura de
la calidad en las instituciones (UNESCO, 2009). Nada se mencionó sobre las dificultades o los resultados de
la aplicación de los sistemas de evaluación que, desde hace dos décadas, están en operación; tampoco de
algunas de las advertencias del reporte de Altbach y colaboradores sobre las tendencias actuales.
27
17
Evaluación: Elementos del debate internacional
Alejandro Canales
3. EL BALANCE
Después de más de dos décadas de experimentación, con variaciones en los distintos países, ¿cuál es el
saldo que ha producido la evaluación en la región latinoamericana?
Las posiciones en este terreno son variadas. Unos sostienen que, para bien, los sistemas de educación
superior de la región se han transformado, masificado y vuelto aún más diferenciados y complejos.
También que han diversificado sus fuentes de ingreso, se han internacionalizado, han cambiado sus
formas de gestión y que hoy, a diferencia del pasado, la evaluación y la rendición de cuentas son parte de
sus prácticas diarias y de su funcionamiento.
Otros también acuerdan en que los sistemas de educación superior se transformaron. Tanto por la
intervención estatal como por los mecanismos de gestión empresarial que se introdujeron, pero añaden
que el cambio de reglas no ha propiciado una verdadera mejora en las funciones sustantivas de las
instituciones que son las de enseñar e investigar. Por el contrario, dicen, se han deteriorado, pues aunque
los números se incrementaron exponencialmente (cantidad de instituciones, matrícula, titulados, textos
publicados, programas acreditados, etcétera), la calidad de los mismos no mejoró ni podrá hacerlo
porque el acento está puesto en la cantidad y solamente se han generado procesos de simulación.
Otros más sostienen, que los cambios en los sistemas de educación superior están en la ruta correcta,
pero que hace falta profundizarlos y mejorar la asociación entre recursos financieros y resultados. Señalan
que en el lenguaje administrativo de las instituciones educativas hoy ya es común el uso de términos
como calidad, indicadores de desempeño, revisión de pares, sistemas de información, medidas de
impacto, logro de metas y otros tantos, pero que en buena medida son más una declaración de
intenciones que una realidad y más una aspiración que un hecho.
Seguramente, en el espectro heterogéneo de los sistemas de educación superior en la región, las
generalizaciones son de poca utilidad y no ilustran a cabalidad la situación de cada uno, pero sin duda
que han ocurrido transformaciones importantes. El problema es que no está claro, o está debate, el
sentido de esas transformaciones.
El asunto tiene relevancia para la evaluación de la actividad docente porque la actividad como tal no ha
sido fuente de las preocupaciones de la transformación ni ha estado en la agenda de las iniciativas. En
general, como parte del mecanismo de asociar recursos al desempeño, se han tomado como principal
medida los programas de incentivo a la actividad docente, pero estos presentan serias deficiencias en su
aplicación y graves distorsiones, como mecanismos erróneos de dictaminación, un énfasis creciente en
criterios cuantitativos de desempeño individual, formas expeditas de resolver la valoración, cuando no un
desdén por las actividades docentes mismas, o un peso excesivo en las percepciones salariales.
Tal vez el problema más grave es que el sistema de incentivos en su conjunto no tiene como referente la
actividad docente, quizás puede tener el cumplimiento de la norma, como los horarios de rutina, la
actualización de expedientes, el programa de estudios e incluso características más cercanas a la
actividad de investigación, pero no el aliento para ser un buen docente.
En general, han sido dos las principales iniciativas para el personal académico que se han desarrollado en
el conjunto de sistemas de educación superior. Una se refiere al nivel de escolaridad de la planta
académica, sobre todo por la heterogeneidad de su situación y el supuesto de que un mayor grado de
escolaridad lo convertirá en un mejor profesor. Por esta razón, si uno ve las cifras del cambio del nivel de
28
18
Evaluación: Elementos del debate internacional
Alejandro Canales
escolaridad del personal advertirá que principalmente es en la última década cuando se ha incrementado
el nivel de posgrado de la planta académica en buena parte de los países de la región.
La otra medida, cuando los presupuestos públicos lo han permitido, ha sido tratar de mejorar la
infraestructura y condiciones en las que se desarrolla la actividad docente. Lo que en algunos casos ha
implicado tratar de modificar el tiempo de dedicación y una mejora de la infraestructura de las
instituciones educativas.
Desafortunadamente, poco o nada se ha hecho por tratar de mejorar la actividad docente misma. El
ejercicio sigue, más o menos, las mismas pautas de actividad de siempre. O tal vez peor, bajo un
esquema de incentivos que multiplica los requerimientos o lo aleja de la docencia misma para obtener
compensaciones y no procura su desarrollo. Colocar a la actividad docente en el centro de las
preocupaciones para elevar la calidad de las instituciones y enfocarse en el aprendizaje es el gran desafío
que en los hechos ha sido diferido.
Seguramente nadie en su sano juicio estaría en contra de la calidad o de asegurar que la actividad
docente es y debe cumplir con sus propósitos fundamentales. Sin embargo, como dice Neave:
[…] hay algo deshonroso en el espectáculo de gobiernos que insisten en conseguir una enseñanza superior
de ‘calidad’ pero al mismo tiempo están resueltamente empeñados en modificar la condiciones bajo las
que funciona esta enseñanza. Piden calidad a la vez que no quieren o no pueden mantener su parte en el
trato (2001:183).
Una buena parte de lo que se dice y se escribe sobre la evaluación se refiere a la dimensión técnica de la
misma. A las formas y modelos, a las consecuencias de su aplicación, a su utilidad o inutilidad para
orientar ciertos perfiles o no. Pero tal vez no hemos reparado o re-examinado lo suficiente en el sustrato
que la anima y en sus consecuencias estructurales. Probablemente, después de dos décadas, nos
convendría hacerlo.
REFERENCIAS BIBLIOGRÁFICAS
Altbach, Philip; Reisberg, Liz y Rumbley, Laura E. (2009). Trenes in Global Higher Education: Tracking an
Academia Revolution. A Report Prepared for the UNESCO 2009 World Conference on Higher Education.
UNESC
ANUIES (1993) Acreditación universitaria en América Latina. Antecedentes y experiencias, México. México:
ANUIES.
Banco Mundial (1995). La enseñanza superior. Las lecciones derivadas de la experiencia. Col. El desarrollo
en la práctica. Washington, D.C.:Banco Mundial.
Banco Mundial (2000). Higher Education in Developing Countries. Peril and Promise. Washington D.C.:
Banco Mundial
De la Garza Aguilar, Javier (2008). “Evaluación y acreditación de la educación superior en América Latina
y el Caribe”, en: Carlos Tünnermann Bernheim (editor) La educación superior en América Latina y el
Caribe: diez años después de la Conferencia Mundial de 1998. Bogotá, Colombia: IESALC/UNESCO.
Neave, G. (1998). “The evaluative state reconsdiered”, European Journal of Education, vol. 33, núm. 3,
pp. 265-284.
29
19
Evaluación: Elementos del debate internacional
Alejandro Canales
Neave, G (2001). Educación superior: historia y política. Estudios comparativos sobre la universidad
contemporánea. México: Gedisa.
Rodríguez Gómez, Roberto (2000). “La reforma de la educación superior. Señas del debate internacional
a fin de siglo”, Revista Electrónica de Investigación Educativa, vol. 2, núm. 1, pp. 68-86, UABC, México.
Rodríguez Gómez, Roberto (2001). “El debate internacional sobre la reforma de la educación superior.
Perspectivas nacionales”, Revista Española de Educación Comparada, núm. 7. pp. 339-356.
Skocpol, Theda (1989). “El Estado regresa al primer plano”, Zona Abierta, núm. 50. Enero-marzo.
Tanaka, Martín (2005). “El regreso del Estado y los desafíos de la democracia”, en El Estado está de
vuelta: desigualdad, diversidad y democracia. Perú: Instituto de Estudios Peruanos, 9972-51-129-4.
UNESCO (1995). Documento de política para el cambio y el desarrollo en la educación superior. UNESCO
UNESCO (1998). Conferencia Mundial sobre la Educación Superior. La Educación superior en el siglo XXI.
Visión y acción. Tomo I. Informe final. París. 5-9 de octubre.
UNESCO (2000). World Education Report. The Right to Education. Towards Education for All Throughout
life. UNESCO
UNESCO (2009). World Conference on Higher Education: The New Dynamics of Higher Education and
Research For Societal Change and Development. Comunique. París 8 de julio.
Van Vught, F. y D. F. Westerheijden (1994). “Towards a general model of quality assessment in higher
education”, Higher Education, vol. 28, núm. 3, pp. 355-371.
30
20
RAVELA Pedro y otros
“Las evaluaciones educativas que América Latina necesita”
Revista Iberoamericana de Evaluación Educativa
31
LAS EVALUACIONES EDUCATIVAS QUE
AMÉRICA LATINA NECESITA
http://www.rinace.net/riee/numeros/vol1-num1/art4.pdf
Referencia original:
Ravela, P., Arregui, P., Valverde, G., Wolfe, R., Ferrer, G., Martínez, F., Aylwin, M. y Wolff, L. (2008). Las Evaluaciones
Educativas que América Latina Necesita. Documento de Trabajo N. 40. Santiago de Chile: PREAL.
1
Los autores de este documento son los miembros del Comité Gestor del Grupo de Trabajo sobre Estándares y Evaluación del PREAL.
32
Las Evaluaciónes Educativas que America Latina Necesita
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
L
a realización de evaluaciones estandarizadas como forma de conocer mejor la dinámica de procesos y
resultados en los sistemas educativos es cada vez más frecuente a nivel regional y mundial, en países de
muy diversas culturas y orientaciones ideológicas de gobierno. Prueba de ello es la creciente participación
de los países en las evaluaciones internacionales como PISA, TIMSS y PIRLS, y regionales como SERCE (en
América Latina) y SACMEQ (en África), así como el desarrollo de diferentes tipos de sistemas nacionales y
subnacionales de evaluación.
En algunos casos, la evaluación está motivada por una preocupación por la formación ciudadana y la
consolidación de una sociedad democrática; en otros, por la productividad de la fuerza de trabajo y la
competitividad de la economía nacional, por las oportunidades para el desarrollo integral de las personas
y sus posibilidades de participación en la sociedad del conocimiento, o por la equidad y la visión de la
educación como uno de los caminos para superar la pobreza. Muchos sistemas de evaluación parten de
una combinación de los intereses anteriores. En casi todos los casos se asume que la evaluación puede
servir:
como base para adoptar políticas educativas mejor fundamentadas;
para mejorar la gestión de los sistemas educativos;
como instrumento para la colaboración y el aprendizaje continuo al interior de los mismos.
A continuación se destacan los aportes principales de este tipo de evaluaciones.
La evaluación estandarizada ayuda a visualizar los resultados educativos del conjunto de estudiantes
La educación es una actividad “opaca”, en el sentido de que sus resultados no son directa ni
inmediatamente observables. Un buen docente puede apreciar si sus estudiantes están aprendiendo o no
y cómo, pero no todos los docentes tienen los mismos criterios de valoración, los cuales están
fuertemente vinculados a su experiencia profesional: su formación general y específica, su conocimiento
de la disciplina que enseña, su capacidad para percibir los procesos y dificultades de los estudiantes, su
familiarización con diversos tipos de alumnos, etc. Dada la heterogeneidad del cuerpo docente de un
país, no es posible obtener una visión de la situación del conjunto por la mera agregación de los puntos
de vista individuales. La evaluación estandarizada apunta a lograrlo.
Las evaluaciones entregan información sobre el real acceso al conocimiento y a las capacidades que
alcanzan los alumnos, más allá de la cantidad de años de estudio que tengan
En décadas pasadas, la equivalencia entre permanencia en el sistema educativo y acceso al conocimiento
y a las capacidades simbólicas se daba por descontada y los indicadores para valorar a los sistemas
educativos estaban relacionados con el acceso (matrícula, cobertura, retención, etc.). En esos tiempos, las
mayorías más pobres y con menor capital cultural no accedían al sistema educativo o apenas cursaban
unos pocos años de educación básica. Con la progresiva universalización del acceso al sistema educativo,
hoy muchos estudiantes procedentes de los sectores sociales más desfavorecidos llegan en desventaja en
términos de manejo del lenguaje oral (oficial) y escrito, con lo cual la equivalencia entre años de estudio y
acceso al conocimiento y a las capacidades simbólicas ya no es tal. Por otra parte, el crecimiento del
acceso a la profesión docente no fue acompañado por garantías de calidad en su formación, lo cual
también cuestiona la mencionada equivalencia. Así, más años en el sistema educativo no necesariamente
significa que todos los niños y jóvenes estén incorporando los conocimientos, actitudes y capacidades
necesarias para la vida personal y social, los que son cada vez más sofisticados y complejos. Las
evaluaciones buscan dar luces sobre lo que está ocurriendo al respecto.
33
46
Las Evaluaciónes Educativas que America Latina Necesita x
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
Las evaluaciones estandarizadas ayudan a hacer visibles un conjunto de aspectos centrales de la labor
educativa
Entre otras cosas, las evaluaciones estandarizadas aportan información sobre:
en qué medida los alumnos están aprendiendo lo que se espera de ellos al finalizar ciertos grados o
niveles;
cuál es el grado de equidad o inequidad en el logro de dichos aprendizajes;
cómo evolucionan a lo largo de los años, tanto los niveles de logro como la equidad en el acceso
al conocimiento por parte de los diversos grupos sociales;
en qué medida y cómo las desigualdades sociales y culturales inciden sobre las oportunidades de
aprendizajes de los estudiantes;
cuál es la diversidad de prácticas educativas existentes en escuelas y maestros y cómo las
mismas se relacionan con los aprendizajes de los estudiantes en diversos contextos sociales;
cómo influyen las condiciones de la enseñanza (situación de los maestros, recursos disponibles,
tiempos de estudio, etc.) en los progresos de los alumnos;
qué efecto tienen en los logros educativos las inversiones en programas educativos, los cambios en la
estructura del sistema, los cambios curriculares, los programas de formación, la adquisición de material
educativo, etc.
Un sistema de evaluación de aprendizajes y/o logros educativos puede aportar información importante
diversos actores sociales
En la medida en que el sistema produzca y comunique adecuadamente información sobre los aspectos
antes indicados, puede ser un instrumento clave de mejora, enriqueciendo la comprensión de la situación
educativa y la toma de decisiones en diversos ámbitos:
Las autoridades y los encargados de formular políticas educativas pueden comprender mejor los
problemas de la enseñanza y del aprendizaje; hacerse cargo de las carencias en que se desarrolla
la labor docente y desarrollar políticas pertinentes para apoyar el trabajo de las escuelas. Las
evaluaciones también les permiten valorar, sobre una base de evidencia empírica sólida, el
impacto de las políticas y programas que han impulsado y los probables efectos de las que se
proponen impulsar.
Los directivos y docentes pueden, a partir de una mirada externa sobre los logros educativos en
el conjunto del sistema, comprender mejor lo que están logrando y lo que no están logrando sus
propios estudiantes, cómo están aprendiendo y qué dificultades tienen. Pueden aprender de las
experiencias de otros docentes y escuelas que trabajan con estudiantes de características tanto
similares como diferentes a los propios. Pueden tomar decisiones más apropiadas acerca de qué
aspectos del currículo enfatizar y enriquecer sus propios modos de evaluar el aprendizaje de sus
estudiantes.
Los supervisores y encargados de la formación de docentes pueden apoyarse en la información
sobre los logros y dificultades educativas en el conjunto del sistema para estudiar en profundidad
las debilidades en el enfoque o en la práctica de la enseñanza que probablemente generan
algunas de las insuficiencias constatadas en los aprendizajes. Desde esa nueva perspectiva,
pueden mejorar su labor tanto de orientación a los docentes como de formación de los mismos.
En particular, los supervisores pueden beneficiarse de contar, como instrumento de apoyo para
34
47
Las Evaluaciónes Educativas que America Latina Necesita
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
su labor, con un mapa de las escuelas que las caracterice tanto en términos de la composición
sociocultural de su alumnado como de sus logros educativos.
Los padres y madres de estudiantes, adecuadamente informados, pueden comprender mejor qué
se espera que sus hijos aprendan, qué es lo que están logrando y qué pueden hacer para
colaborar con la escuela y con el aprendizaje de sus hijos.
La ciudadanía en general estará mejor informada sobre lo que acontece al interior del sistema
educativo y, por tanto, estará más atenta a los temas y problemas de la educación. Estará,
además, en mejores condiciones para exigir, tanto a los poderes públicos como a los
profesionales de la docencia, la mejora continua de la educación que se brinda a los niños, niñas
y jóvenes, y el uso responsable de los recursos que se destinan a la educación.
El desarrollo de un sistema nacional de evaluación estandarizada puede obligar a realizar una discusión
informada sobre qué aspectos del currículo formal son exigibles a todos los estudiantes y a definir con
claridad qué es lo que todos los estudiantes deberían haber aprendido al final de cada ciclo educativo.
La mayoría de los currículos en la región están constituidos por largas listas de objetivos y temas, todos
deseables pero no todos realizables. La elaboración de pruebas nacionales obliga a definir qué es lo que
debe ser considerado como fundamental y, por tanto, lo que todos los estudiantes deben saber y ser
capaces de hacer. Se pueden usar distintos términos para designar a estas definiciones: estándares,
competencias fundamentales, indicadores de logro, niveles de desempeño, metas de aprendizaje, criterios
de suficiencia, entre otros.
PARA NO CONFUNDIR...
Al desarrollar estos sistemas nacionales de evaluación, es necesario explicitar tanto el rol que estos cumplen así como las
funciones que no cumplen y cuáles son sus limitaciones, para evitar así los riesgos de mala interpretación respecto a lo que
son y la información que recogen y difunden.
Una evaluación estandarizada aporta información fundamental e indispensable sobre la “calidad educativa”, aunque
no es un indicador completo de la misma. No todos los objetivos valiosos de la educación están incluidos en este tipo
de evaluaciones. Hay una gran cantidad de saberes, actitudes, valores y aprendizajes relevantes que no pueden – por la
dificultad de medirlos de esta manera – o no deben – porque son propios de cada entorno local y, por tanto, no son
exigibles a todos los estudiantes del país – formar parte de una evaluación estandarizada.
La evaluación estandarizada de aprendizajes y/o logros educativos es un componente esencial de un sistema integral
de evaluación educativa, pero no es el único tipo de evaluación relevante. También tienen importancia la evaluación
realizada en el aula por los docentes, la evaluación del desempeño docente, la evaluación de los centros educativos, la
evaluación de las políticas educativas, la evaluación del uso de los recursos, la evaluación de la relevancia del currículo,
etc.
La evaluación es condición necesaria, pero no suficiente, para mejorar la educación. Si bien existe alguna evidencia de
que la mera existencia y difusión de información tiene algún impacto sobre ciertos actores, es necesorio recordar que la
evaluación es apenas uno de varios elementos clave de la política educativa que debe procurarse estén
adecuadamente alineados: la formación docente inicial y en servicio, la carrera y condiciones para el trabajo docente, la
gestión escolar, la supervisión, los diseños curriculares, los libros y materiales educativos, una inversión de recursos
proporcional a las necesidades de las diversas poblaciones y una acción decidida por parte de los responsables
educativos para resolver los problemas detectados, entre otros.
La evaluación estandarizada externa solo tendrá efectos positivos sobre la educación si es concebida, percibida y
empleada como un mecanismo de responsabilización pública de todos los actores vinculados al quehacer educativo.
Existe siempre el riesgo de que la política educativa se concentre en la implementación de evaluaciones, pero que luego
no se tomen acciones concretas para enfrentar y resolver los problemas que las mismas ponen de manifiesto. Muchas
veces las autoridades se limitan a informar de los resultados y transferir toda la responsabilidad por la solución de los
problemas detectados a las escuelas y familias, como si se tratase de un asunto privado entre ambas. Otras veces, toda
la responsabilidad se atribuye a los docentes, quienes, por su parte, tienden a transferir toda la responsabilidad a los
padres o al contexto. Lo importante es evitar ingresar en una dinámica de culpabilización y, por el contrario, intentar
construir una lógica de responsabilidad compartida en torno a la educación.
35
48
Las Evaluaciónes Educativas que America Latina Necesita x
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
36
49
Las Evaluaciónes Educativas que America Latina Necesita
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
Mayor preocupación por la investigación de los factores que inciden sobre los aprendizajes. Si
bien falta mucho por hacer en términos metodológicos e interpretativos para producir buenos
trabajos de investigación, en la mayoría de los países hay conciencia de que es preciso avanzar
en la investigación y la construcción de hipótesis sobre cómo las dinámicas de la gestión de los
sistemas educativos, los procesos escolares, las prácticas de enseñanza y las decisiones de
política educativa influyen en las oportunidades de aprendizaje de los niños y niñas.
Creciente participación de los países evaluaciones internacionales. Esto ha tenido consecuencias
positivas en las Unidades de Evaluación y en la calidad de su trabajo: ha contribuido a la
construcción y acumulación de capacidad técnica en evaluación, ha facilitado el intercambio y el
desarrollo de un lenguaje común entre países y ha ayudado a mejorar la calidad de diversos
procesos técnicos (elaboración de pruebas, incorporación de preguntas de respuesta abierta,
muestreo, control de las aplicaciones, análisis de datos, modos de difusión, entre otros).
Las principales debilidades presentes en los sistemas de evaluación estandarizada en la región se
observan en la estrategia de difusión, en el uso de los resultados y en la calidad técnica de las
evaluaciones
A pesar de las mejoras previamente mencionadas, persiste un conjunto importante de debilidades que es
preciso abordar:
Es frecuente que desde el nivel político se demande la implementación de grandes operativos de
evaluación sin propósitos claramente definidos y en tiempos y con recursos absolutamente
insuficientes para hacerlo técnicamente bien.
Aún no se tiene claro que no cualquier evaluación sirve para cualquier propósito y que es
necesario diseñar cuidadosamente el sistema de evaluación para el largo plazo, en función de
propósitos y usos claramente establecidos. Esto es determinante para las decisiones relativas a la
utilización de censos o muestras, a los grados y disciplinas que serán evaluados, la periodicidad
de las evaluaciones, el tipo de pruebas y escalas de reporte, entre otras.
Falta una mayor discusión pública sobre qué debe ser evaluado y qué aspectos del currículo
deben haber sido enseñados a todos los estudiantes al concluir determinados niveles educativos.
Como resultado de ello, las metas y/o estándares de aprendizaje no son claros. Mientras no
exista claridad al respecto, tampoco existirá claridad ni para la enseñanza ni para la evaluación.
Esta tarea requiere de un amplio debate social y de un trabajo técnico coordinado entre las
unidades de currículo y de evaluación.
Para mejorar la investigación sobre los factores que explican los resultados, falta mejorar mucho
los instrumentos complementarios que se aplican junto con las pruebas y concebir diseños de
investigación más ambiciosos: estudios longitudinales, estudios de “valor agregado” y estudios
cualitativos, entre otros.
Los Ministerios de Educación han tenido, por lo general, una limitada capacidad para concebir,
formular e implementar políticas que den respuesta a los problemas identificados en las
evaluaciones. Falta para ello mayor articulación entre las Unidades de Evaluación y otros actores
educativos relevantes, dentro y fuera de los Ministerios de Educación, y mayor articulación entre
la evaluación, el desarrollo curricular, la formación inicial y el desarrollo profesional de los
docentes.
Las acciones para la divulgación y uso de los resultados de las evaluaciones aún son
insuficientes, en particular para lograr que los docentes los comprendan y utilicen y para que los
resultados se incorporen a la cultura escolar.
37
50
Las Evaluaciónes Educativas que America Latina Necesita x
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
38
51
Las Evaluaciónes Educativas que America Latina Necesita
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
39
52
Las Evaluaciónes Educativas que America Latina Necesita x
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
Establecer que la evaluación estandarizada constituya solo una parte del proceso de certificación
de aprendizajes de los estudiantes (por ejemplo, el 40% de su calificación final). El resto de la
nota correspondería a las evaluaciones que realizan los docentes a cargo de los estudiantes. Si
bien en este caso se mantiene el problema respecto a la heterogeneidad de los criterios de
evaluación empleados por los docentes, es una forma de combinar la evaluación externa y la
interna, e incluso de aportar a los docentes una mirada externa que les permita reflexionar sobre
sus propios criterios.
Establecer un periodo de transición hacia estándares únicos y universalmente aplicables. Durante
dicho período, el foco principal se centra en la mejoría o progreso de los estudiantes de cada
escuela respecto a su situación anterior, y no únicamente en el cumplimiento del estándar
absoluto de certificación.
La peor respuesta que podría darse a este problema sería establecer un porcentaje fijo de reprobación,
por ejemplo, no debe reprobar más del 10% de los estudiantes. Ello implica utilizar pruebas más fáciles y,
por lo tanto, enviar a estudiantes, familias y educadores una señal equivocada respecto a las expectativas
de aprendizaje.
Evaluaciones de carácter diagnóstico y formativo
Un sistema de evaluación de tipo formativo y sin consecuencias directas para los estudiantes tiene
ventajas en términos de costos, posibilidades de diseño y de establecimiento de estándares altos, y
aporte a una cultura de evaluación
Los costos de aplicación de estas pruebas pueden ser menores, dado que pueden hacerse en base a
muestras y aplicarse solo en algunos grados claves y cada cierto número de años. Por otra parte, las
pruebas pueden diseñarse con carácter matricial, en que no todos los estudiantes responden a las mismas
preguntas sino a bloques de las mismas, lo cual permite trabajar con una cantidad muy grande de
preguntas y obtener un análisis más detallado de los distintos aspectos del currículo. Estos sistemas
permiten definir estándares o niveles de expectativa exigentes sin que ello produzca un fracaso
generalizado. Asimismo, ayudan a construir una cultura de la evaluación y a acumular capacidad técnica,
de modo que, cuando se analice la posibilidad de establecer un sistema con consecuencias, existan las
condiciones para hacerlo apropiadamente. Una de las alternativas a considerar entre los usos de carácter
formativo es la de “liberar” una prueba completa para que sea aplicada en forma autónoma por parte de
los maestros, con el fin de ayudarles a identificar dificultades de alumnos individuales y de enriquecer su
repertorio de instrumentos de evaluación.
El principal problema de estas evaluaciones es que pueden carecer de impacto si no se toman algunas
acciones complementarias
Las evaluaciones de carácter diagnóstico y formativo pueden resultar intrascendentes si no van
acompañadas de una estrategia precisa y de una inversión importante para asegurar la divulgación de los
resultados y su uso en acciones educativas posteriores, puesto que su efectividad se juega en que los
diferentes actores reciban, comprendan y utilicen los resultados. Por esto hay que tener presente que:
Para que los resultados de este tipo de evaluaciones tengan impacto sobre las políticas
educativas, se debe invertir tiempo en el análisis y discusión de los mismos por parte de diversas
áreas del Ministerio de Educación y otros actores relevantes, en la comprensión de los problemas
y deficiencias que los resultados ponen de manifiesto y en la concepción de acciones e
inversiones apropiadas para hacerles frente. Las autoridades deben estar dispuestas a someter
sus políticas y decisiones al escrutinio de la ciudadanía, para lo cual es necesario también invertir
en la comunicación apropiada y permanente de los resultados a la opinión pública.
40
53
Las Evaluaciónes Educativas que America Latina Necesita
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
Para que los resultados tengan impacto sobre las prácticas de enseñanza, es imprescindible
asimismo invertir tiempo en el análisis e interpretación de sus implicancias didácticas: si los
estudiantes no son capaces de resolver cierto tipo de situaciones, ¿qué es lo que se está
haciendo de manera insuficiente o inapropiada en las aulas y qué es lo que se debería hacer?
Este tipo de análisis debe ser realizado tanto por especialistas en la didáctica de las áreas
evaluadas como por los docentes, creando para este último efecto espacios permanentes y
sistemáticos de formación en servicio y de trabajo colectivo al interior de las escuelas. Es muy
importante que los maestros puedan analizar la mayor cantidad posible de ítemes para poder
identificar cuáles revelan un bloqueo importante para el desarrollo de nuevos conceptos o
capacidades. Sin embargo, siempre será necesario conservar el carácter confidencial de una parte
de los ítems para poder realizar mediciones comparables en el tiempo.
Para que los resultados tengan impacto sobre la motivación de los estudiantes y sobre la actitud
de las familias hacia el aprendizaje escolar, es necesario proveerles de información apropiada y
comprensible acerca de lo que se considera imprescindible haber aprendido en cada grado o
nivel educativo y de las acciones que pueden contribuir al logro de dichos aprendizajes.
Las pruebas de tipo diagnóstico pueden tener carácter muestral o censal, dependiendo de la estrategia de
cambio educativo
El carácter censal o muestral tiene diversas implicancias, aunque también es posible combinar una
aplicación por muestras controlada con una distribución censal de las pruebas para su aplicación en
forma autónoma por parte de las escuelas, con fines formativos y de análisis de resultados e
identificación de estudiantes que necesitan apoyos complementarios.
Las pruebas a base de muestras sirven para tener un diagnóstico global del sistema. Requieren
de un cuidadoso diseño de la muestra, de modo de obtener información representativa para los
niveles de desagregación en los que se desee actuar y tomar decisiones (regional, provincial,
municipal; urbano y rural; escuelas indígenas, etc.). El impacto de los resultados de estas pruebas
depende principalmente de las medidas de política educativa que se tomen a nivel central y de
una estrategia de difusión apropiada que llegue a todas las escuelas.
Las pruebas censales sirven para obtener información de cada una de las escuelas e incluso de
los alumnos. El impacto de sus resultados depende de la devolución de la información a cada
comunidad educativa, con un enfoque y un formato adecuados para promover una mayor
participación y compromiso a nivel local. La información también puede resultar muy útil para
dirigir mejor las políticas hacia distritos o escuelas con mayores problemas, ya que se puede
contar con un “mapa” de resultados de todas las escuelas, zonas, provincias, tipos de escuela,
etc.
41
54
Las Evaluaciónes Educativas que America Latina Necesita x
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
42
55
Las Evaluaciónes Educativas que America Latina Necesita
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
único indicador de la calidad de la educación, es preciso considerarlos en conjunto con otros aspectos
relevantes como la retención, la pertinencia y relevancia de lo que se enseña, la formación de valores y
hábitos o la formación ciudadana. Debe evitarse la identificación del término “calidad” con resultados de
pruebas estandarizadas.
Para facilitar la comprensión y uso de los resultados, no basta con ofrecer resultados numéricos
Es fundamental ilustrar a los distintos actores acerca del tipo de tareas que los estudiantes debieron
resolver en las pruebas. Este criterio debe combinarse adecuadamente con la necesidad de mantener el
carácter confidencial de un conjunto de preguntas, que puedan emplearse en futuras evaluaciones para
establecer mediciones comparables en el tiempo. Si bien no se pretende que los docentes utilicen pruebas
estandarizadas para evaluar a sus estudiantes, el conocimiento y la comprensión de las mismas pueden
contribuir a mejorar sus modos de evaluar y a desarrollar una cultura de la evaluación.
Al reportar las diferencias de resultados en función de la composición sociocultural del alumnado de las
escuelas, se debe cuidar de no crear un sistema de expectativas de logro diferenciado por grupos sociales
En todo caso, las diferencias deberían producirse en las políticas para crear condiciones apropiadas para
enseñar a los grupos más desfavorecidos. Se debería descartar también cualquier tipo de uso de los
resultados que, directa o indirectamente, propicie la selección de estudiantes por parte de las escuelas a
los efectos de mejorar sus resultados.
3.2. Advertencias sobre la comparación de resultados entre escuelas
Aunque los resultados de pruebas estandarizadas no dan cuenta en forma exhaustiva de la calidad
educativa de una escuela, sí aportan información relevante de los niveles de desempeño alcanzados.
La información sobre resultados en dos pruebas estandarizadas –en general, lenguaje y matemática– no
constituye por sí misma una evaluación de la “calidad educativa” de las escuelas ni debería presentarse
al público como tal. La “calidad” de una escuela incluye otros aspectos relevantes y valorados por los
docentes, estudiantes y familias, tales como el desarrollo emocional, las relaciones interpersonales, la
formación cívica y en valores, entre otros. Aun así, la información comparativa acerca de los niveles de
desempeño alcanzados por los estudiantes en una diversidad de escuelas puede ser relevante para los
equipos docentes de las escuelas, en la medida en que enriquece la percepción de la propia labor,
permitiéndoles ubicar los logros de sus estudiantes en el contexto de los alcanzados por los estudiantes
en otras escuelas.
Para que la comparación entre los niveles de desempeño de los estudiantes sea apropiada, se deben
considerar sus condiciones sociales de origen
Los resultados académicos de las escuelas deberían poder compararse con los de escuelas de similar
composición social, dado que los retos y dificultades que implica enseñar a estudiantes de origen
desfavorecido (o de lengua materna indígena) son muy diferentes que en el caso de estudiantes de
familias con educación secundaria completa y/o terciaria. También hay que tener en cuenta las tasas de
deserción de las escuelas y sus políticas de selección de estudiantes, dado que una escuela puede mejorar
sus resultados a través de la exclusión de estudiantes con dificultades.
Las comparaciones entre escuelas deben considerar la diferencia entre medir el “logro educativo” y
medir el “aprendizaje”
En rigor, si el propósito es entregar a las escuelas, familias y/o autoridades, información acerca de la
capacidad de enseñar de los docentes y las escuelas, es necesario medir el progreso de los estudiantes a
lo largo de un período lectivo (“aprendizaje”) y no únicamente el resultado final (“logro”). Las
diferencias entre estos dos términos se expresan en que:
43
56
Las Evaluaciónes Educativas que America Latina Necesita x
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
El aprendizaje puede ser definido como el cambio ocurrido en los conocimientos y capacidades
de cada estudiante a lo largo del año lectivo. Su medición requiere la aplicación de dos pruebas,
una al inicio y otra al final. De este modo es posible constatar el progreso realizado por cada
alumno.
El “logro educativo” en cambio, se mide con una única prueba y refleja la acumulación de
conocimientos y capacidades a lo largo de toda la vida del estudiante, lo cual incluye el capital
cultural familiar y sus experiencias en otras escuelas o con otros docentes.
Debe tenerse siempre presente que el aprendizaje y el logro educativo de los estudiantes dependen tanto
de lo que hacen las escuelas y docentes, como del esfuerzo de los propios estudiantes, del apoyo de las
familias a la tarea escolar, del contexto comunitario y cultural y de las políticas educativas. Los problemas
educativos no pueden ser resueltos apelando exclusiva ni principalmente a mecanismos de mercado.
Los resultados expresados en términos de rankings de escuelas deben ser mirados con precaución
La mayoría de rankings de escuelas transmiten una falsa imagen de ordenamiento. Una escuela puede
ocupar el primer lugar y otra el número 40 y, sin embargo, las diferencias entre sus promedios pueden no
ser estadísticamente significativos. Esto significa que no puede decirse si un promedio es realmente
superior al otro, porque las diferencias entran dentro de los márgenes de error de la medición. Pero aun
cuando las diferencias en los promedios sean estadísticamente significativas, pueden ser irrelevantes en
términos de las proporciones de alumnos que logran los niveles de desempeño esperados.
3.4. Itinerario para la toma de decisiones
Considerando las alternativas existentes para una política de evaluación, antes de poner en marcha un
sistema de evaluación (o de modificar uno existente) es indispensable seguir un itinerario de decisiones
para definir las características del sistema que incluya al menos las siguientes preguntas básicas:
¿Para qué se quiere evaluar? ¿Quiénes usarán los resultados y con qué propósitos? ¿Qué se
espera saber que no se sepa ya?
¿Cuáles serán las unidades de análisis para el reporte de resultados: estudiantes individuales,
grupo de clase/maestros, escuelas, tipos de escuela, entidades subnacionales, sistema educativo?
De acuerdo a los propósitos definidos, ¿qué es más apropiado evaluar –aprendizaje o logro
educativo– al egreso de determinados grados o ciclos?
¿Qué tipo de consecuencias tendrán los resultados y para quiénes?
De acuerdo a los propósitos definidos, ¿es necesario trabajar en forma censal o son suficientes
evaluaciones en base a muestras?
¿Qué grados y qué disciplinas es importante evaluar?
¿Cada cuánto tiempo es necesario y adecuado realizar las evaluaciones?
Las respuestas a estas preguntas deberían plasmarse en un plan de evaluación a corto, mediano y largo
plazo, claro y explícito. En la elaboración de dicho plan es muy importante considerar los costos en dinero
implicados en cada opción y los recursos humanos necesarios para su adecuada implementación. En
particular, se debe balancear la inversión a realizar en la recogida de información con la inversión en la
difusión y uso de los resultados. Muchos Ministerios de Educación destinan importantes sumas de dinero
a recoger una gran cantidad de información todos los años, que luego casi no se analiza, ni se difunde ni
se utiliza. Es absolutamente inconducente implementar un primer operativo de evaluación si no se ha
elaborado un plan de trabajo de largo plazo.
44
57
Las Evaluaciónes Educativas que America Latina Necesita
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
ampliar el uso de preguntas de respuesta construida, con el doble propósito de evaluar capacidades más
complejas y de mejorar la articulación entre la evaluación externa y la cultura docente y escolar.
Conformar las pruebas a partir de la apropiada integración de las actividades en bloques y cuadernillos
Este es un desafío técnico importante y complejo, que requiere de conocimientos especializados y
experiencia. Especial atención debe otorgarse a la decisión de utilizar la Teoría Clásica o la Teoría de la
Respuesta al Ítem para la construcción y el análisis de las pruebas, lo cual requiere de programas de
procesamiento modernos, analistas bien entrenados, análisis rigurosos y asesoramiento de alto nivel.
Definir los “puntos de corte” que establecen los límites entre niveles de desempeño en una prueba
Vinculado con esto, se debe definir la metodología a seguir para establecer cuál de los niveles debe ser
considerado como aceptable para un estudiante al finalizar el grado o ciclo educativo evaluado. Un
rendimiento aceptable no puede ser establecido automáticamente como equivalente al 51% o más del
máximo posible en una prueba.
Diseñar muestras apropiadas a los propósitos de la evaluación
Esto tiene por objeto evitar operaciones más grandes y costosas de las estrictamente necesarias y que, al
mismo tiempo, tengan un nivel de precisión adecuado. En relación a este último aspecto debe incluirse,
además, la estimación y reporte de los márgenes de error de las mediciones.
Definir cómo se equipararán las evaluaciones
La equiparación de las evaluaciones se refiere a la metodología mediante la cual los resultados de
pruebas aplicadas en distintos años se hacen comparables. Este es uno de los desafíos técnicos más
importantes que los sistemas de evaluación deben afrontar si uno de sus propósitos es informar sobre los
avances o retrocesos en los logros educativos a lo largo del tiempo. Este proceso es indispensable para
poder afirmar que los eventuales cambios que se constaten responden a cambios en la realidad educativa
y no meramente a cambios en el instrumento de medición. Requiere tomar recaudos tanto desde el punto
de vista estadístico, como desde el punto de vista de la continuidad de los conocimientos y competencias
evaluadas, y la estabilidad en la longitud y la estructura de la prueba.
Construir datos longitudinales que permitan apreciar la evolución en el tiempo de los aprendizajes de un
mismo conjunto de estudiantes
Este tipo de datos, que exigen más de una medición en el tiempo, es el que evalúa el “aprendizaje”
entendido como cambio y el que mejor permite establecer cuáles son los procesos propiamente escolares
que tienen influencia sobre el mismo. Este enfoque es el que permitiría obtener información más
relevante para la política educativa y para la investigación.
Establecer mecanismos de control del cumplimiento de las condiciones estandarizadas que deben regir
durante la aplicación de las pruebas
El cumplimiento de las condiciones de aplicación de las pruebas involucra aspectos técnicos complejos y
muchas veces descuidados. Sin embargo, son fundamentales para que la información sea confiable y
comparable. Esto apunta a temas como:
La calidad de la capacitación de los aplicadores.
el establecimiento de controles de calidad durante la aplicación de las pruebas.
La motivación a los estudiantes para realizar las pruebas.
La logística de la distribución.
El retorno seguro de los materiales.
46
59
Las Evaluaciónes Educativas que America Latina Necesita
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
LA NECESARIA TRANSPARENCIA
Sobre todos los procesos técnicos debe existir información transparente y accesible. Es necesario dar un
especial énfasis a la documentación de los procedimientos técnicos seguidos en:
La construcción de los instrumentos.
La estimación de la precisión de las mediciones (y, por consiguiente, su margen de error).
El diseño de las muestras y la cobertura alcanzada.
La aplicación y control de calidad de la misma.
La definición de niveles de desempeño y puntos de corte.
La equiparación y comparabilidad de los resultados con mediciones anteriores.
48
61
Las Evaluaciónes Educativas que America Latina Necesita
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
La inversión en evaluación debe ser valorada en función del uso que se hace de sus resultados, más que a
partir de otros indicadores como el costo por alumno
Los costos de las evaluaciones son relativamente bajos cuando se los compara con los presupuestos
nacionales y con las inversiones alternativas. Pero cualquier inversión en evaluación, alta o baja, es inútil
si no se hace uso de los resultados.
49
62
Las Evaluaciónes Educativas que America Latina Necesita x
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe,
Guillermo Ferrer,Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
enfrentarlos, diseñar líneas de acción apropiadas para resolver los problemas e invertir los recursos
necesarios para llevarlas adelante.
Los sistemas de evaluación deben ser objeto de evaluación periódica, con el fin de analizar la calidad
técnica de la información que producen y su relevancia para diversos actores educativos y sociales.
50
63
MARTÍNEZ de Toda Fernández Ma. Josefa
“Investigación evaluativa en Metaevaluación de necesidades educativas: Hacia
un sistema de normas”
Universidad Complutense de Madrid
51
UNIVERSIDAD COMPLUTENSE DE MADRID
ME-I-AEVALUACION DE NECESIDADES
DE NORMAS
52
k~ investigación educativa
53
.
amplia tratando de resumir la abundante bibliografía sobre
la evaluación educativa. Refiriéndonos a la definición del
término, cita en primer lugar la original de Tyler <1960)
de que la evaluación es el proceso de determinar hasta qué
punto los objetivos educativos han sido realmente alcanza-
dos. (p. 69>, Otro punto de vista ampliamente aceptado ha
sido el de la evaluación como suministradora de informa-
ción para la toma de decisiones (Cronbach, 1963; Stuffle—
beam et al., 1971; Alkin, 1969). En los últimos años ha
habido un considerable consenso entre los evaluadores
tratando de definir la evaluación como el establecimiento
del mérito o valor <Fisner, 1979; Glass, 1969; House,
1980; Seriven, 1967; Stufflebearul, 1974> o como una activi-
dad que abarca descripción y juicio (Guba y Lincoln, 1981;
Stake, 1978>. El Joint Com,nittee on Standards for Eduos—
tional Evaluation (1981>, formado por 17 miembros que
representan 12 organizaciones de evaluación, la define
corno la investigación sistemática del valor o mérito de
algún objeto, (p. 31)
Para Bisquerra (¶989>, la distinción entre estimar el
mérito o el valor coaporta diferencias importantes a la
hora de elegir los criterios de evaluación. Estimar el
mérito de algo se relaciona con las características
intrínsecas de lo que se evalúa: es decir, el programa en
si mismo. Cuando se estima el valor de algo, los criterios
que se utilizan se refieren a los efectos del programa en
cuanto a la satisfacción de necesidades, expectativas de
los destinatarios y otras características más bien extrín-
secas, donde la audiencia cobra un papel relevante.
(p. 1431
54
definición de Sesby <1977) como la que contiene todos los
elementos claves de la evaluación. Esta es, la sistemá-
tica recogida e interpretación de evidencia, dirigida como
parte de un proceso para juzgar el valor, con vistas a la
acción Los cuatro elementos clave a que se refiere Wolf
(1987) corresponden a;
El término sistemático implica Que la información
necesaria sea definida con precisión y que los esfuer-
zos para recogerla estén bien planificados.
2) Interpretación de evidencia. La nera recogida de
información no es evaluación.
3) Juicio de valor. La función valorativa es la que
distingue a la evaluación de otras investigaciones no
evaluativas.
4) Con vistas a la acción. Los estudios de evaluación
se realizan con la intención de emprender alguna
acción como resultado de ellos.
Investlqadión evaluatiy4,
55
práctica pedagógica. <De la Orden, 1985)
La idea de evaluación de programas es muy amplia y
tendremos que partir de los conceptos previos de evalua-
ción y de programa.
Un programa se identifica con cualquier curso sistemá-
tico de acción para el logro de un objetivo o conjunto de
objetivos.
El Joint Committee on Standards for Educational
Evaluation (1988) define la evaluación de programas como
las evaluaciones que valoran las actividades educativas
que proporcionan servicios de manera continua. (p. 166>
A. de la Orden <1985> describe la evaluación de
programas como el proceso sistemático de recogida y análi-
sis de información fiable y válida para tomar decisiones
sobre un programa educativo. Este proceso que es riguroso,
controlado y sistemático constituye un modo de investiga-
ción que se conoce con el nombre de investigación evalua-
tiva.
se trata de una forma de investigación pedagógica
aplicada, que intenta determinar el valor de programas
educativos de acuerdo con determinados criterios. La it~—
vestigación evaluativa exige el mismo grado de control y
rigor que la investigación básica. La diferencia esencial
entre ambas es de orientación; la investigación evaluativa
se dirige a valorar una situación concreta y tomar deci-
siones alternativas. La investigación evaluativa se carac-
teriza no sólo por la inraediatez de su utilidad práctica.
propia de toda investigación aplicada, sino esencialmente
por ser un proceso impregnado por cuestiones de valor.
Para Fox (1981> la investigaación evaluativa es una inves’
tigación descriptiva en la que, al menos, se tiene el
criterio de medida de modo que, además de la descripción,
se puede hacer algún juicio valorativo de la situación de
investigación. Las diferencias pormenorizadas establecidas
para los dos procesos de investigación pueden verse en De
la Orden <1985), p, 135)
56
Alvira <1985) habla de la investigación evaluativa o
evaluación de programas como la acumulación de información
sobre una intervención, - programa —, sobre su funciona-
miento y sobre sus efectos y consecuencias, Introduce como
más formal la definición de Ruthman (1977>; “La investiga-
ción evmluativa es, ante todo, el proceso de aplicar pro-
cedimientos científicos para acumular evidencia válida y
fiable sobre la manera y grado en que un conjunto de acti-
vidades específicas produce resultados o efectoo concre-
tos’ (p. Ial
Pérez Juste y García Ramos (>989) afirman que la in-
vestigación evaluativa es una manera de aumentar la racio-
nalidad de las decisiones. Al contar con información obie’-
tiva acerca de los resultados de los programas, es pos,’
ble tomar decisiones atinadas en materia de asignación de
presupuestos y de planificación de los mismos. En palabras
de Weis (19751, los datos sustituirán a los favores y
otras neqocieciones.
57
Worthen y Sanders, 1987, que incluyen alguna precisión
más>, no ocurre lo mismo al considerar la evaluación como
una investigación aplicada manteniendo su diferenciación
con la básica. Así, hay autores como Scriven <1983) que
afirma que toda la ciencia social es un hecho basado en el
valor y que averiguar el valor de algo es lo más análogo a
investigar la realidad de algo. Alvarez Méndez <1986)
también equipara, desde una perspectiva cualitativa, la
investigación con la evaluación, y afirma que cuando se
investigan los asuntos educativos, cualquier investigación
es simultáneamente evaluación. Y como tal debe incidir en
la práctica. <p.19)
Otros autores, <Glass y Worthen, 1974: Worthen y
Sandera, 1987> ni siquiera admiten la consideración de la
evaluación como una forma de investigación aplicada, Para
ellos, esta perspectiva ignora una diferencia entre ambas
cono es el nivel de generalización del conocimiento produ-
cido. La investigación aplicada como opuesta a la básica,
tiene orientación concreta y apunta a la producción de un
conocimiento relevante para lograr una solución a un pro-
blema general. La evaluación se centra en recoger informa-
ción especifica relevante sobre un problema, programa o
producto especifico. (Glass y Worthen, 1974, p. 183>. Aun
en el caso de utilización de los más rigurosos métodos de
investigación, la finalidad será diferente al evaluar;
juzgar el mérito o valor de un programa educativo. Por
utilizar la misma metodología no podemos equiparar las
funciones. (Worthen y Sanders, ígal, p. 28
wolf <1987) parece establecer un punto medio y no
estando de acuerdo con los autores que rechazan la utili-
zación de los métodos de investigación en la evaluación,
opina que en ocasiones seguirlos puede resultar costoso o
impracticable. La evaluación no es investigación y los
métodos de ésta no tienen por qué dictar las actividades
de la otra. <p.12)
Wolf (1g87) quiere resaltar que puede producirse un
58
valioso trabajo en evaluación sin seguir los usos de la
investigación.
La metodología evaluativa
59
.
sitan aproximaciones que busquen la elección del mejor
método posible para dar respuesta a una cuestión particu-
lar, que asumir que una metodología es la mejor para todos
los propósitos. (Nevo, 1983). No se pretende sustituir
unos métodos por otros sino que ambos se puedan integrar
en el análisis de la realidad. <Pérez Serrano, 1990)
Husén (1988) afirma que el objetivo de la investiga-
ción será el que determine la metodología a utilizar y no
al revés. Además, destaca la complementariedad de los
paradigmas cualitativo y cuantitativo, opinión no compar-
tida por autores como Smith y Heshusius <1986) que afirman
que la reclamación de una compatibilidad y la llamada para
una cooperación entre ambos paradigmas de investigación no
puede mantenerse. <p.C
Sin embargo, parece que el clima actual de la investi-
gación evaluativa ha superado ya la estéril polémica entre
paradigmas, Ya Kuhn (1975> afirmaba que cada paradigma
explica un volumen limitado de la realidad. La evaluación
de programas puede resultar fortalecida cuando ambos enfo-
ques se hallan integrados en un diseño de evaluación. La
investigación evaluativa y las ciencias del comportamiento
en general padecen una excesiva preocupación por la cuan-
tificación. Se requiere un mejor equilibrio entre la base
de significados en la acción social y la generalización de
esos significados en un contexto más amplio. (Cook y
neichardt, 1906, p.76)
El campo de la investigación educativa se halla en
pleno desarrollo y, aunque no es fácil encontrar respues-
tas definitivas a todos los problemas evaluativos, el pro-
greso metodológico facilitará al evaluador una mayor fle-
xibiiidad para adaptarse a las exigencias de una actividad
científica fuertemente condicionada por múltiples factores
sociales y políticos. <De la Orden. 1985, p 136)
García Ramos <1989) en Pérez Juste y García Ramos
(1989>, señala tres posiciones o posturas epistenológicas
que utilizan distintos caminos metodológicos para abordar
60
investigaciones evaluativas:
a> naturalista—cualitativo—fenomenológico;
b) experimental—cuantitativo—racional;
ci ecléctico,
Los primeros, parten de una base filosófica fenomeno-
lógica, toman como base disciplinar la sociología y la
antropología y definen sus objetivos de investigación en
términos de descripción general del programa y siempre
desde la perspectiva de los participantes. Proponen una
evaluación de programas y centros educativos en sus
contextos naturales, utilizando recursos tnetodológicos de
observación y descripción (etnoqraffa, estudio de casos,
observación participante, triangulación, etc>.
Los segundos, toman como base disciplinar la Psicolo-
gía Experimental y la Pedagogía Experimental y definen sus
objetivos de investigación en términos de búsqueda e iden-
tificación de relaciones causales entre variables. Las
técnicas de análisis suelen ser métodos estadísticos rigu-
rosos.
Las dos posiciones anteriores representan los extremos
de un continuo. La tercera posición, los eclécticos,
defienden la utilización del enfoque experimentalista,
pero modificado hacia el pragmatismo con elementos del
enfoque descriptívonaturalista. Sus objetivos metodoló—
gicos van en la línea de aumentar la evidencia a través de
la búsqueda de relaciones causales, estudio de proceso y
de datos de contexto, etc. De ahí que utilicen todo tipo
de recursos metodológicos útiles, desde diseños cuasi-
experimentales hasta estudios de casos, estudios descrip-’
tivos y observación participante. Ip. 370)
61
Modelos de evalu&cS~n.
10
62
y métodos. Esto ha llevado a un aumento de la literatura
tratando de articular, contrastar y clasificar los dife-
rentes modelos. Estas clasificaciones se han llevado a
cabo en términos de la finalidad última del modelo y de
os procedimientos y métodos empleados. (Worthen y Sanders
1973, Isa?; House 1978; Brinkksrhoff et al,, 1985;
Stufflebeam y Sinkfield, íSBi)
11
63
.
tancia en el proceso evaluativo, y asi~ en función del tipo
de decisiones a que pretende responder se corresponden los
cuatro tipos de evaluación. La estructura básica del mode-
lo CIPP quedó determinada así; la evaluación del contexto
como ayuda para la designación de metas, la evaluación de
entrada como ayuda para dar forma a las propuestas, la
evaluación del proceso como guía de su realización y la
evaluación del producto al servicio ce las decisiones de
rec i cl aje.
La definición formal que resume los conceptos claves
del modelo CI?? es : “La evaluación es el proceso de iden-
tificar, obtener y proporcionar información útil y des-
criptiva acerca del valor y el mérito de las metas, la
planificación, la realización y el impacto de un objeto
determinado, con el fin de servir de guía para la toma de
decisiones, solucionar los problemas de responsabilidad y
promover la comprensión de los fenómenos implicados.
(Stufflebean y Shinkfield, 1921, fi. 183)
La evaluación del contexto nos proporcionará infor-
mación sobre las necesidades que han sido planteadas, su
transcendencia e importancia y hasta qué punto los objeti-
vos del proyecto reflejan las necesidades valoradas.
La utilización del modelo CZPP está concebida, según
su autor para promover el desarrollo y ayudar a obtener
información sistemática con el fin de satisfacer las nece-
sidades más importantes o, al nenes, hacer lo posible con
los recursos que se dispongan.
La tabla 1.1 nos presenta los cuatro tipos de evalua—
•¿itn del modelo definidos en relación a sus objetivos, sus
rn4todos y sus utilizaciones.
Se destaca, en esta conceptualización de la evaluación
de Stufflebeam, su proyección sobre el proceso y no sólo
en el resultado, su intención de servir de fundamento para
la toma de decisiones de perfeccionamiento y la elección
corno criterios de valor la respuesta a las necesidades y
la mejora de la calidad. Imosales, 1990>
12
64
Scriven (1970) advierte que en el modelo CIPP las
evaluaciones son especialmente descriptivas y por ello no
deben ser llamadas con propiedad actividades evaluativas.
Worthen <1987> afirma que es útil para programas de largo
alcance, con muchos recursos y con perfección técnica.
~n A1UA~
13
65
.
Ha definido la evaluación como la valoración sistemá-
tica del valor o mérito de las cosas y ha subrayado que
los evaluadores deben ser capaces de llegar a juicios de
valor justificables más que medir o determinar si las
metas han sido alcanzadas. Su método evaluativo consiste
en identificar y ordenar los programas y productos dispo-
nibles para los consumidores, basándose en su coste rela-
tivo y en la consideración de las necesidades de los con-
s un ido res
Para Scriven (1957>, la valoración de las necesidades
es un proceso para descubrir hechos acerca de si no pro-
porcionar ciertas cosas puede tener consecuencias negati-
vas, basándose en normas razonables de lo que es bueno y
malo. Dados los resultados de una valoración de necesida-
des puede juzgar los resultados de un programa concreto
como buenos, malos o indiferentes.
En au lista de control de indicadores de evaluación,
incluye la comprobación de si las metas han sido valoradas
como apropiadas a partir de las necesidades y valores de
los afectados por el programa.
14
66
.
proporcionar una comprensión de la compleja realidad donde
se inserte aquél. El evaluador iluminativo no hace
juicios, más bien intenta descubrir y documentar lo que el
programa abarca.
Para la evaluación naturalista, siguiendo a Guba y
Lincoln <1981> el principal papel de la evaluación es el
de responder a los requerimientos de las audiencias para
tener en cuenta las diferentes perspectivas de sus miem-
bros. Un aspecto clave de información será la referencia
al objeto de la evaluación y su contexto.
Estos modelos de evaluación englobados en el paradigma
naturalista han enfatizado el papel humano de la evalua-
ción. Dirigen su atención a las necesidades de los ‘¡sus-
nos y dan importancia a la variedad de perspectivas.
Otras ventajas de estos modelos radican en su flexibili-
dad, atención a las variables contextuales y la variedad
de técnicas de recogida de datos. Las criticas se centran
en la subjetividad y en el coste de tiempo de la labor ce
campo profunda que limita el número de casos que pueden
estudiarse intens,vamente.
15
67
Tabla 1.1.— Cuatro tipos de evaluación. <Stufflebeam y
Shinkfield, >987, p. 194—195)
Evaluación de entrada
16
68
.
ivWn ~si ~
Obietivo.- Identificar o pronosticar, durante el proceso,
los defectos de la planificación del procedimiento o de su
realización, proporcionar información para las decisiones
preprogramadas y describir y juzgar las actividades y
aspectos del procedimiento.
Método.— Controlar las limitaciones potenciales del pro-
cedimiento y permanecer alerta ante las que no se espera-
ban, mediante la obtención de información específica de
las decisiones programadas, la descripción del proceso
real, la continua interacción con el personal del proyecto
y la observación de sus actividades.
17
69
Anilitin ggmnrfljy~ d~ m9~Sj9n alternativos ~n 9Yt11a-
clOn. <Worthen y Sanders, 1987>
lo
70
.
5.— Necesidad de: identificar y evaluar necesidades y
objetivos; considerar diseños de programas alternativos,
evaluarlos; vigilar el desarrolle de un programa, explicar
resultados; ver si las necesidades han sido reducidas o
eliminadas; metaevaluación; guias para institucionalizar
la evaluación.
19
71
.
Modelos basados en el juicio de expertos
20
72
.
8.- Árbitros o jueces falibles, potenciales altos costos y
consumo de tiempo, confianza en las habilidades investiga-
doras y de comunicación de los presentadores, posibilidad
de irrelevancias o polarizaciones artificiales, limitado a
la informacion que se presente.
21
73
.
MARTÍNEZ de Toda Fernández Ma. Josefa
“Concepto y análisis de necesidades en Metaevaluación de necesidades
educativas: Hacia un sistema de normas”
Universidad Complutense de Madrid
74
UNIVERSIDAD COMPLUTENSE DE MADRID
ME-I-AEVALUACION DE NECESIDADES
DE NORMAS
75
LA NECESIDAD GOfIO OBJETIVO DEL ANALISIS DE NECESIDADES
92
76
Siendo la cuestión prioritaria en EN, el conceptua—
lizar adecuadamente el término necesidad, revisaremos lo
que la literatura nos ofrece.
Concepto fl
93
77
Analizando el concepto de necesidad educativa, Monette
(1977>, identifica un número de definiciones diferentes.
Las agrupa en cuatro grandes categorías: 1) necesidades
humanas básicas, 2> necesidades sentidas y expresadas,
3) necesidades normativas, y 4) necesidades comparativas,
94
78
4) Necesidades comparativas.
Este concepto de necesidad consiste en comparar los
grupos que reciben un servicio con los que no. Si poseen
las mismas características y no reciben el servicio,
podemos considerar que existe una necesidad comparativa.
95
79
2. Una necesidad la posee un grupo de personas parti-
cular en una serie concreta de circustancias.
3. Un problema es un logro inadecuado, un logro que
viola las expectativas, Hay muchas fuentes de expectati-
vas, reflejando los diferentes valores.
4. El reconocimiento de una necesidad incluye un
juicio de que existe una solución para ese problema. Un
problema puede tener muchas soluciones potenciales, solu-
ciones que varian en la probabilidad de aliviar el proble-
ma, y en el costo y la posibilidad de puesta en marcha.
95
80
sidades. <Pacl%wood y Whitaker, 1986>
Las expectativas pueden basarse en la conducta de la
población de estudio, esto nos dará las llamadas necesi-
dades expresadas o demandadas. La última perspectiva que
Bradshaw (1972> describe es la necesidad comparativa.
Esta perspectiva de necesidad se basa en las realizaciones
de un grupo parecido al de la población propuesta. Sí un
grupo o un individuo usa un servicio menos que otro o
queda por debajo de la media en una determinada medida,
manifiesta un problema.
Hay dificultades particulares con estas categoriza—
ciones cuando se aplican a la investigación de la necesi-
dad. Clayton (1983) afirma que los datos derivados de cada
clasificación no son necesariamente comparables. Aunque
Sradshaw (1972> trata cada definición como separada es
evidente que hay relación entre las diferentes categorías.
Por ejemplo, una necesidad comparativa es en parte conse-
cuencia de una normativa. Muchos de los datos recogidos
a través de estas definiciones se refieren a datos del
pasado y actuales y pueden dificultar la estimación de
necesidades futuras. (Packwood y Withaker, 1988>. Además
cada definición ofrece algunos problemas; con las necesi-
dades sentidas es metodológicamente difícil no influir en
los respondientes a través de las cuestiones formuladas.
Las expresadas están condicionadas por el conocimiento de
servicios existentes. Las comparativas tienen el peligro
de ofrecer el servicio de algo que no se necesita verdade-
ramente. En el caso de las normativas la dificultad
estriba en asegurar la validez del criterio fijado. La
clasificación de Bradshaw <1972> tiene valor heurístico,
de ayuda a los decisores.
97
81
ello una combinación de técnicas parece la mejor manera de
identificar la necesidades de una población.
(McKillip, 1987>
Por último, señalamos la necesidad prospectiva.
añadida por varios autores, que es aquélla que se cree se
presentará en el futuro en función de la situación y
tendencias presentes. <Wade, 1999>
82
d~ fl9g~fff~44 educativa,
99
83
.
riencia. La educación debe ser capaz de alumbrar nuevos
deseos y nuevas necesidades.
La problemática de la necesidad expresada está bas-
tante relacionada con el punto anterior. No se puede
demandar lo que no se conoce.
La necesidad comparativa es de importancia fundamental
en educación. En una sociedad plural y democrática todos
los sujetos han de tener garantizadas su participación en
condiciones de igualdad en el beneficio social de la edu—
cao i ón.
La necesidad prospectiva afecta también en gran manera
al mundo educativo. La educación tiene que estar pensada
indefectiblemente con vistas al mañana.
se podría llegar así a una idea global de necesidad
aplicable al terreno educativo. En esa idea de necesidad
se tendrían que incluir según Zabalza (1987);
Todo aquel conjunto de componentes del desarrollo
intelectual, afectivo, social, psicomotor, etc, que las
divesas ciencias humanas identifican como aspectos funda-
mentales en el desarrollo de una persona. Son necesidades
prescriptivas o exigencias.
2. Todo aquel conjunto de componentes del desarrollo
que constituye lo que los sujetos o grupos querrían ser o
saber porque se sienten interesados por ello. Son necesl—
dades individual izadoras, idiosincráticas.
3. El tercer orden de necesidades lo constituyen las
que se refieren a la noción de progreso y de mejora. Son
necesidades de índole cultural, técnico o de ocio y tiempo
libre.
4. Y la cuarta dimensión se refiere a las necesidades
sociales del medio ambiente.
loo
84
gustarían que fueran (necesidades individualizadas> y la
forma en que esas cosas son de hecho, la diferencia entre
el estado actual y ese marco de referencia tridimensional
al que hemos aludido. (p. 67>
kowalsky (>968) incluye la diferenciación entre nece-
sidades y deseos que en ocasiones se confunden en la lite-
ratura profesional. En realidad, los deseos aislados no
reflejan necesidades pero incluyen una motivación o pre-
disposición individual a mejorar, una predisposición a
eliminar las necesidades ya seleccionadas.
Long (>983> describe el trabajo de Scisson (1982>
(cit. en Klevans >987> que suministra una definición
multidimensional de necesidad educativa que tiene tres
componentes: competencie, relevancia y motivación. En esta
tipología, la competencia se refiere a la habilidad para
ejecutar una serie de destrezas, la relevancia se refiere
a (a utilidad de estas destrezas para las personas. La
motivación se refiere a la predisposición de una persona
para mejorar su competencia. Los deseos los describe como
una combinación de motivación más competencia o relevan—
cía. Usando su definición, las personas pueden ser
incompetentes pero no estar motivadas porque no vean
relevante incrementar su competencia.
Conviene tener en cuenta el comentario de Pennington
VieSe) de que sólo las personas pueden tener necesidades
educativas, aprender y aplicar lo aprendido. En este
sentido, los grupos, las organizaciones y comunidades no
tienen necesidades educativas. Sin embargo, esto no quiere
decir que sólo se pueda atender a los particulares en un
proceso de EA. De hecho, Campbell (1980) sugiere que un
estudio de EN. se justifica cuando se extiende desde las
personas para incluir grupos, organizaciones o comunida-
des.
101
85
Necesidades básicas de aorendizaie
102
86
.
vestido y acceso a los serviciOs de salud. Todas estas
necesidades humanas son independientes, pero la educación
básica promuevo su cumplimiento e incrementa las posibi-
lidades de satisfacer otras necesidades.
La posesión de los aprendizajes básicos también es un
perrequisito y un complemento de otras fuentes de desa-
rrollo social y económico. Los efectos de satisfacer las
necesidades de aprendizaje tienen dimensiones personales y
sociales.
103
87
.
cias, expectativas y percepciones de lo que debería ser.
Otra definición de necesidad usada comúnmente es la de
deseo o preferencia. La identificación de las necesidades
no requiere la determinación de un discrepancia, sin
embargo, requiere determinar la percepción de necesidades
de individuos o grupos seleccionados. Aunque hay autores
que se oponen al uso de esta definición muchas E.N. se
basan en ella, particularmente en las situaciones en que
las opiniones del público y de profesionales son
utilizadas como bases para establecer fines educativos o
normas.
Un concepto más rígido de necesidad y menos usado en
los estudios de E.N. es el de déficit. Se dice que existe
una necesidad si la ausencia o la deficiencia en el área
de interés produce perjuicio. Scriven <1977) ha difundido
esta definición al describir una necesidad como un estadio
en el que un nivel mínimo satisfactorio no se ha conse-
guido o no puede mantenerse. Pocos estudios de SAi. se han
desarrollado usando esta definición debido a la dificultad
que entraña el determinar el momento en que este déficit
se produce. <Suárez, 1990)
La definición más difundida de necesidad para la eva-
luación de necesidades fue introducida por Kaufman (>972).
En un trabajo más actual (Kaufman y Fnglish, 1979) el
término es definido como la medida de la distancia o
discrepancia ente los resultados reales y los deseados o
requeridos. No la distancia durante el proceso o 105
medios, sino entre los fines.”
Aunque no todo el mundo está de acuerdo con el énfa-
sis de Kaufmán en los fines, la definición de necesidad
como una discrepancia, sigue siendo la más usada en EN.
Roth <1977, 78> en su revisión de la literatura sobre
el tema identifica cuatro definicIones más precisas de
necesidad como discrepancia. Partiendo de la definición de
necesidad como;
objetivo establecido — nivel real = necesidad.
1 04
88
Sintetiza 1a variedad de definiciones en;
nivel ideal - nivel real = discreDancia de metas.
norma — nivel real = discrepancia social.
nivel mínimo — nivel real = discrepancia esencial.
nivel deseado — nivel real = discrepancia deseada.
nivel esperado — nivel real = discrepancia esperada.
los
89
Tiende a considerar un rango amplio de variables.
Involucra a mucha gente en el proceso de establecimiento
de objetivos, Suministra información útil para determinar
la importancia relativa de las necesidades potenciales.
Resulta fácil de aplicar.
1 06
90
ventajas: Potencia juicios informados y la sistemática
resolución de problemas. Busca descripciones completas. Se
centra en la mejora en oposición al remedio. No depende de
estándares establecidos a priori.
107
91
como un concepto relativo y abstracto dependiente del
objetivo a que sirve y a la situación real y del conoci-
miento existente sobre lo que se requiere o desea en
relación al propósito dado.
La naturaleza relativa de las necesidades es algo
especialmente pertinente en educación, porque es un campo
de trabajo que recoge valores de diversas comunidades,
y diversidad de teoría y prácticas.
Un concepto clave en la definición propuesta por
Stufflebeam <1977> es el de propósito defendible. A través
de este concepto los valores y creencias, los fundamentos
de la necesidad se hacen operativos. Al igual que la
necesidad, el concepto de propósito defendible necesita
ser flexible. Para la defensibilidad del propósito
Stufflebeani et al. (1985), ofrecen cuatro tipos de
criterios: (Ver criterios del J.C,, páginas 47 y ss)
loe
92
de X en ese aspecto, encaminado hacia el logro pero no
sobrepasando una determinada condición satisfactoria.
(p.3>
109
93
conocimiento objetivo que es independiente del interés
humano. Las necesidades, intereses, pensamientos y aspi-
raciones de los individuos son relegados ante la defini-
ción externa y objetiva de sus auténticas necesidades.
(Pérez Gómez, >983>
lío
94
casi todos los modelos y estudios de E.N.
Sin embargo, Scriven y Roth <1977> afirman que esa
definición no es admisible aunque fracasan al dar las
razones para justificarlo> excepto cuando señalan; E.N ha
sido el espectáculo mas cómico en evaluación. Un signo de
ello es el fracaso en encontrar una definición aceptable
de necesidad. (p 25).
como alternativa, proponen que una necesidad debe
satisfacer dos condiciones; a) con ella el sujeto <indi-
viduo, familia, grupo) obtiene un beneficio no realizable
de otra forma y b> sin ella el sujeto permanece en un
estado insatisfactorio.
En otras palabras, A necesita X, A es dependiente de
X, los efectos de X en A son beneficiosos y la ausencia de
X lleva a A a una condición no satisfactoria. Esta defini-
ción tiene la ventaja de ser más explícita que otras.
<Witkin, 1984>
~a segunda condición se establece para estar seguros
de que se responde a verdaderas realidades y no a lujos.
(Una persona puede beneficiarse si obtiene un premio
importante, pero no se encuentra en situación insatis’-
factoría sin él>
En su siguiente estudio Roth (1977) señala que la
definición clásica de discrepancia, de fijar los dos nive-
les. el deseado y el real, no es suficiente para definir
las necesidades pero es un paso necesario. La definición
de discrepancia suministra un medio para identificar
posibles necesidades pero serán clasificadas como genuinas
necesidades si cumplen los dos criterios establecidos. La
definición clásica de Kaufman (1972) genera necesidades
potenciales y la nueva de Scriven—Roth (1977) sirve de
testificación para comprobar si una necesidad propuesta es
una auténtica necesidad. (cuba y Lincoln, 1982).
111
95
requisito o deseo generado como una discrepancia entre un
nivel propuesto y el nivel real, si y sólo si la presencia
de la condición definida por el nivel propuesto puede ser
demostrada como significativamente beneficiosa y la ausen-
cia de esta condición puede mostrar un perjuicio signifi-
cativo. <p.313)
Una necesidad puede verse como una serie de problemas
percibidos por los que reciben el servicio o por los que
lo suministran <Rossi et al >979>. Esta definición implica
una discrepancia pero no la incluye directamente.
En la práctica hay una considerable ambigaedad en el
uso del término necesidad. Se usan diferentes términos
referidos a los mismos conceptos, y a idénticos términos
se dan diferentes definiciones. En educación se ha usado
para describir un problema un síntoma, un recurso o una
solución a un problema. De hecho, los informes de EN.
ofrecen unas listas de deseos y anhelos más que una serie
de necesidades de acuerdo con la definición de
discrepancia. <Witkin 1984).
Algunos autores han señalado que el término necesidad
educativa ha estado tan sobrecargado que ha perdido su
significado preciso. Misanchuck (19821 encuentra en la
literatura sobre identificación de necesidades “demasiados
adjetivos”. Las necesidades se describen como básicas,
sentidas, expresadas, normativas, comparativas, reales,
sintomáticas, universales, de discrepancias de objetivos,
de discrepancia social, entre otras. (pl)
Kimmel <1977) insiste en que el término necesidad está
básicamente vacío. Para que el término tenga un signifi-
cado operativo es preciso definirlo en un contexto espe-
cifico, con el uso de estándares comparativos. De hecho,
muchos autores sustentan esta opinión. Suárez, 1951, 1985;
Seatty, 1982; Witkin, 1984). Myers y Koenigs (>979>
declaran que una necesidad existe en función del tipo de
EN. desarrollado y hasta que éste se ha definido, la
necesidad no puede hacerlo. La ambigua naturaleza del
>12
96
concepto de necesidad puede verse en el hecho de que no
hay normas comúnmente aceptadas sobre las necesidades
humanas básicas, excepto para la de alimento; la llamada
linee de pobreza, fluctúa constantemente y está sujeta a
múltiples debates. (Kimmel, >977>.
rrisbie <1981) argumenta que muchas de las presenta-
ciones del concepto de necesidad con el fin de hacerlo más
operativo no representan la complejidad del proceso de
evaluación de necesidades. Combinando las formulaciones de
Roth (1978>, Scriven y Roth (1977); Gubo y Lincoln (1982>,
construye este test para verificar si una necesidad es
verdadera;
1. Nc = Dt - Da <donde Ncc una necesidad potencial,
Dt un nivel propuesto dentro de un aspecto especifico , Da
el nivel real dentro del aspecto tratado) y
2. con Nc un sujeto recibe algún beneficio no
realizable de otra forma, y
3. sin Nc el sujeto está en un nivel insatisfactorio.
lis
97
las necesidades que van interesar en un proceso concreto
de evaluación y una vez contextualizado es cuando podemos
hablar de cómo entendemos la necesidad y de cuáles de
ellas van a ser objeto de nuestro estudio.
¶14
98
.
condiciones humanas que necesitan satisfacerse en orden a
poder alcanzar un propósito defendible. Si el propósito es
desarrollar una alfabetización funcional de todos los
estudiantes en una escuela, entonces las necesidades
primarias pueden incluir las habilidades de leer, escribir
y calcular al menos en el nivel de habilidad requerido
para funcionar satisfactoriamente en el ambiente social
local. La fijación de las necesidades primarias se deriva
básicamente de los propósitos y de la teoría e investi-
gación que explique el objeto. (Normalmente incluye jui-
cios acerca de los niveles de ejecución son aceptables o
deseables>.
Las necesidades secundarias son las que posibilitan la
satisfacción de las necesidades primarias. Para Stuffle—
bea,n et al <1985), las necesidades primarias son la
variable dependiente mientras que las secundarias son la
independiente.
Por ejemplo, la habilidad para leer periódicos puede
ser la necesidad primaria o variable dependiente y una
buena visión y una eficaz instrucción lectora pueden
identificarse coreo necesidades secundarias cruciales o
26)
variables independientes. (Stufflebeam et al, 1985, p.1
(Hacemos notar que otros autores conio Witkin (1984) y
Seatty (1982) emplean el término de necesidades secun-
darias con otro sentido, ver página 250)
115
99
preciso clarificar cuáles son las que interesan. El
enfoque de un estudio sobre necesidades puede estar dentro
de la institución < por ejemplo, cursos, programas,
departamentos, estudiantes, profesorado, directores,) o
fuera de la institución ( por ejemplo, prospectiva de
estudiantes, grupos o organizaciones de la comunidad local
o la sociedad en general>. Es importante determinar en las
primeras fases del estudio qué necesidades son las que
interesa investigar. < y en ese qué, podemos incluir
entidades complejas como organizaciones>.
Muchas de las categorizaciones de necesidad se han
desarrollado como un continuo de una particular dimensión,
Así;
general vs especificas,
personales v5 sociales,
de mantenimiento vs de mejora,
conscientes Vs inconscientes,
actuales vs proyectadas,
instructivas vs no instructivas,
(Lenning 1875, pS>
Igual que las definiciones del término necesidad, hay
muchos tipos de necesidades a identificar. La especifi-
cación de los tipos de necesidad que se van a identificar
es muy importante para comprender y guiar un proceso de
494)
evaluación concreto. (Suarez ígSl, p.
Frecuentemente se habla de necesidades educativas
referidas a los alumnos en la escuela. Pero el campo puede
definirse más ampliamente en relación con otras áreas
educativas. Stufflebeam (1977> sugiere Que puede incluir:
programas, personal, administración, recursos,transpOrtes,
finanzas, evaluación, servicios especiales, relaciones
públicas.
115
100
BALDIVIESO Hernández María Silvia
“Lineamientos estructurales e indicadores en Indicadores para la
autoevaluación de instituciones de formación profesional inicial, en el marco de
la nueva relación educación–trabajo”
Universidad Autónoma de Barcelona
101
UNIVERSITAT AUTONOMA DE BARCELONA
FACULTAT DE CIENCIES DE LA EDUCACIO
DEPARTAMENT DE PEDAGOGIA APLICADA
PROGRAMA DE DOCTORAT :
QUALITAT I PROCESSOS D´INNOVACIO EDUCATIVA
TESIS DOCTORAL
Abril de 2002
102
“Lo socio de negociación y pactos (Ball 1993)
político”
Cuadro 8 (Cont.) Ejes de análisis que los diferentes enfoques paradigmáticos de la organización podrían aportar
para analizar la formación profesional inicial.
Rasgos que a los que según la caracterización que realiza CEDEFOP (1997)
se distinguen por encarnar el desplazamiento de una cultura popular de enseñanza
uniforme, hacia una orientación al cliente.
103
María Silvia Baldivieso Hernández - 2002 - 102
Esta generalizada preocupación de los organismos nacionales e
internacionales por la mejora constante de la calidad de la formación, desemboca en
el diseño de modelos de calidad y la aplicación de sistemas de garantía de la misma
que, seguidamente desarrollamos.
Los criterios de excelencia empresarial, al tiempo que abarcan todas las áreas
de funcionamiento de la organización, (ver figura Nro. 2), se organizan en dos
grupos: el de los resultados y el de los agentes.
104
María Silvia Baldivieso Hernández - 2002 - 103
"Sistemas de la Calidad y Procesos", llevando finalmente a la excelencia en los
"Resultados financieros y no financieros" de la empresa.
Para que ello sea así, propone un examen global, sistemático y regular de la
organización, basado en procesos de autoevaluación tendentes a valorar lo que en
la misma se realiza y logra.
GESTIÓN DE SATISFACCIÓN
PERSONAL DEL PERSONAL
(9%) (9%)
IMPACTO EN LA
RECURSOS SOCIEDAD
(9%) (6%)
AGENTES FACILITADORES (50%) RESULTADOS (50%)
Liderazgo
Desde ésta perspectiva, son los directivos los líderes quienes con su clara
visión de negocio, articulando los aspectos externos e internos de la organización,
podrán poner en práctica estrategias tendentes a lograr los objetivos de la empresa y
la incorporación de nuevos valores o adquisición de una nueva cultura organizativa
centrada en la calidad.
Como si se tratara de una pirámide invertida, nos dice Lopéz Ruperez (1994),
105
María Silvia Baldivieso Hernández - 2002 - 104
la gestión de la calidad total reposa sobre lo que desde una perspectiva jerárquica,
constituye su vértice superior, es decir en la dirección; de allí que esta se constituye
en la condición sine qua non para la mejora de la organización.
Política y Estrategia
Serán los procesos enfocados hacia los actores, los que posibiliten la
satisfacción de sus necesidades y expectativas, los que los movilicen para que
aporten a la organización y los que conduzcan a la apropiación de las metas y los
principios mas adecuados para su instrumentalización.
Personal
106
María Silvia Baldivieso Hernández - 2002 - 105
servicio de la organización, el nuevo modelo de gestión, revaloriza
significativamente el papel de los trabajadores en el logro de los objetivos de la
organización.
Colaboradores y recursos
Tales medios comprenden no solo materiales tangibles como las finanzas, los
edificios, la tecnología, etc., sino también aquellos vinculados al conocimiento y la
información.
107
María Silvia Baldivieso Hernández - 2002 - 106
Procesos
En tal sentido, mejorar una organización, supone incidir sobre sus procesos
operativos y de gestión, supone diseñarlos, gestionarlos y mejorarlos. Supone
identificar las necesidades o aspectos críticos que requieran atención, definir los
procesos pertinentes para atender esa situación, evaluarlos sistemáticamente y
apelar si es necesario a la innovación.
Resultados en el Personal
Esta dimensión opera con idéntica lógica que la anterior, solo que centrada en
lo que desde el modelo se ha acordado en llamar clientes internos de la organización.
Resultados en la Sociedad
108
María Silvia Baldivieso Hernández - 2002 - 107
Resultados económicos o rendimiento final de la organización
Por ello, como dice López Ruperez (1994), la consecución de los objetivos
financieros y de negocio, constituye la culminación del proceso de la calidad total.
Aunque también señala que el logro de esta meta reporta otros dividendos a
personas y organismos vinculados a la institución
109
María Silvia Baldivieso Hernández - 2002 - 108
y formación profesional” (CEDEFOP, 1997: 21) Veamos a continuación cada uno de
ellos:
- Sistemas de inspección
110
María Silvia Baldivieso Hernández - 2002 - 109
- Criterios de protección del cliente y conducta ética de los ofertores.
Descentralización vs. orientación al cliente no son mas que los dos extremos
de un ambivalente discurso que solapa en la participación, viejas técnicas de
control. Pero como sobre esto volveremos en numerosos puntos del próximo
apartado, pasemos ahora a caracterizar los sistema de garantía de la calidad más
reconocidos y de creciente expansión a nivel de institución: la gestión de la calidad
total y las normas ISO 9000.
111
María Silvia Baldivieso Hernández - 2002 - 110
calidad total.
Tal como Van Den Berghe (1997) lo dice, este método se basa en una
tipología clásica de un ofertor de formación que imparte determinados cursos y
programas; lo que facilita la analogía con la producción industrial de bienes y
servicios, y la consecuente regulación de los mismos a partir de las experiencias y
logros obtenidos en estos sectores.
estadounidenses y europeas, y aunque privativo originariamente del sector privado; rápidamente ha extendido sus
principios y procedimientos hacia otros sectores, incluyendo los servicios públicos y las empresas no lucrativas.
38
Siguiendo la caracterización de la Shell International Petroleum
112
María Silvia Baldivieso Hernández - 2002 - 111
En ella observamos claramente como, la nueva idea de calidad trasciende
ampliamente la tradicional asociación de ésta a un sector determinado de la
organización, e involucra a todos los implicados en el funcionamiento de la misma.
Entre la ideas básicas, podemos mencionar a los cinco elementos claves a los
que el autor anteriormente citado analógicamente denomina dogmas de fe:
- Una clara orientación al cliente (interno y externo), en tanto que interpreta que la
principal prioridad de una organización y su personal debe ser comprender y
satisfacer las necesidades y expectativas de los clientes y el grupo destinatario
elegido.
113
María Silvia Baldivieso Hernández - 2002 - 112
- La participación de todos en la procura de la calidad; ya que como antes
indicábamos no se la considera una responsabilidad privativa de un sector, sino
de todos los involucrados, en todos los niveles y todos los departamentos.
Por último, una organización que actúa de acuerdo a estas ideas, principios
operativos y procedimientos de implementación; desde la óptica de la gestión de la
calidad total, se orientará al logro de los siguientes resultados típicos:
En General:
114
María Silvia Baldivieso Hernández - 2002 - 113
- Innovaciones regulares y oportunas en productos y servicios.
- Una organización interna más eficaz, con cuadros más eficientes, personal más
motivado y mejor comunicación interna.
Dado que las normas de calidad, también son originarias del sector
empresarial y tributarias de su filosofía, en el presente apartado nos interesa
fundamentalmente rescatar la interpretación que de ella realizan quienes la
consideran apropiadas para evaluar y controlar aspectos vinculados a la
“producción escolar”, aunque iniciamos vertiendo algunas ideas generales sobre lo
que subyace a esta reciente y creciente práctica de evaluación y control en
educación.
115
María Silvia Baldivieso Hernández - 2002 - 114
extendiéndose a los mas variados tipos de organizaciones, incluso las no lucrativas;
de modo tal que las ISO 9000, se han convertido de facto, en la norma industrial de
garantía de la calidad para cualquier tipo de organización.
116
María Silvia Baldivieso Hernández - 2002 - 115
En tal sentido, están pensadas para recordar que una organización debe
definir y planificar sus procesos, documentarlos correctamente, comprobar su
exactitud y garantizar el control y revisión de los mismos.
117
María Silvia Baldivieso Hernández - 2002 - 116
lo que llaman una “organización cliente”, que además de satisfacer a sus
consumidores; les posibilita exigir a los proveedores y contar con requisitos
necesarios para hacer eventualmente de proveedores, o simplemente, encontrarse en
condiciones de ser parte reconocida en grupos selectos o certificados como.
118
María Silvia Baldivieso Hernández - 2002 - 117
Y porque la evaluación de una perspectiva sociocrítica se caracteriza por
poner de manifiesto los conflictos y problemas de la institución y por implicar a sus
miembros en procesos de transformación que dan nuevo valor y sentido a las
organizaciones.
119
María Silvia Baldivieso Hernández - 2002 - 118
4.4 Control de diseño apartados varía considerablemente en cada
4.6 Compra ocasión.
4.11 Control de los equipos de
inspección, medición y
comprobaciones
4.15 Manipulación, almacenamiento,
embalaje, conservación y entrega
4.1 Servicios post venta
Cuadro 9 Reordenamiento de los requisitos de las ISO 9001 para un sistema de enseñanza o formación (Fuente:
Elaboración propia en base al documento de aplicación de las
ISO 9000 a la enseñanza y la formación. CEDEFOP 1998)
Término de las
ISO 9000 Interpretación para una organización
educativa o formativa
Cuadros ejecutivos Director general, director del centro de enseñanza, rector, comité de
directores, etc.
Contrato Todos los tipos de acuerdo con los clientes, incluso los implícitos, desde
la matriculación de estudiantes para un curso, hasta los acuerdos
negociados de formación específica para un cliente.
Inspección y pruebas El examen y la evaluación de los cursos / programas / materiales por los
estudiantes / alumnos / formados / empresarios que lo contratan.
120
María Silvia Baldivieso Hernández - 2002 - 119
Calibración Se refiere fundamentalmente al examen de la validez de los
instrumentos de examen y evaluación utilizados.
Cuadro 10. Interpretación de las ISO 9000 para una organización educativa o formativa
( Fuente: CEDEFOP 1998. Aplicación de las ISO 9000 a la enseñanza y la formación)
Actuaciones Implicados
Negociación del proyecto de autoevaluación Junta representativa de la
institución y equipo de eva-
luación
Presentación del Proyecto
Aplicación del autoanálisis (1ª fase: delimitación de
problamáticas) Plantel de técnicos
Presentación del proyecto Plantel de técnicos
Aplicación del autoanálisis (2ª fase: causas y 3ª fase: Plantel de técnicos
soluciones)
Aplicación de la Historia Institucional.
Delimitación de puntos débiles y puntos fuertes. Técnicos concretos
Aplicación del cuestionario Todos los técnicos
Presentación del Proyecto Delegación de usuarios
Aplicación del Autoanálisis. Grupos de usuarios
Delimitación de puntos débiles y puntos fuertes. Usuarios concretos
Aplicación de la escala de evaluación. 2 grupos de usuarios
Presentación del proyecto Equipo directivo
Aplicación de la telaraña (instrumento de diagnóstico) Equipo directivo
Delimitación de puntos débiles y puntos fuertes. Directivos concretos.
Presentación del proyecto Empresarios
Aplicación del autoanálisis Grupos de empresarios
Delimitación de puntos débiles y puntos fuertes Empresarios concretos
Aplicación de la escala de evaluación 2 grupos de empresarios
121
María Silvia Baldivieso Hernández - 2002 - 120
Realización del primer informe de síntesis Equipo de evaluación
Entrevista de contraste. Presentación de propuestas de Equipo directivo
mejora
Entrevista de contraste. Presentación de propuestas de Equipos de usuarios
mejora
Entrevista de contraste. Presentación de propuestas de Plantel de técnicos
mejora
Entrevista de contraste. Presentación de propuestas de Empresarios
mejora
Entrevista de contraste. Presentación de propuestas de Equipo de evaluación
mejora
Realización del segundo informe de síntesis
Propuesta de mejora Equipo de evaluación
Presentación y debate del informe Técnicos, usuarios, empresarios y
directivos
Presentación y debate del informe Junta representativa de la institución
Realización del informe final Equipo de evaluación
Tramitación del informe Institución educativa
Cuadro 11. Ejemplo de un plan de actuación para el análisis del funcionamiento general de una institución.
(Fuente: Gairín 2002 )
Nos resta comentar que con mucha menos representatividad aun, podemos
encontrar formas de evaluación y consecuente organización de la institución que
devienen de la aplicación de los principios de la investigación acción.
Reconstructiva Constructiva
122
María Silvia Baldivieso Hernández - 2002 - 121
Práctica: en el contexto 3 Observar 2 Actuar
social Prospectiva para la relfexi- Retrospectiva guiada por
ón planificación
123
María Silvia Baldivieso Hernández - 2002 - 122
FROEMEL Juan
“La efectividad y la eficacia de las mediciones estandarizadas y de las
evaluaciones en educación”
Revista Iberoamericana de Evaluación Educativa
124
ISSN: 1989-0397
http://www.rinace.net/riee/numeros/vol2-num1/art1.pdf
125
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
E
ntre los elementos más difundidos a la vez que debatidos, en la educación formal de niños y jóvenes, en
los últimos veinte años, en el mundo, se cuentan la evaluación del aprendizaje escolar y asimismo uno de
sus instrumentos fundamentales, la medición estandarizada. Si bien la mayoría de los investigadores y
actores en el tema les reconocen su gravitación, no todos están de acuerdo en la real dimensión de su
aporte al proceso educativo y lo que es más, variadas percepciones se han construido respecto de ambos,
no siempre basadas en bases reales ni menos científicas, generando así mitos y prejuicios.
En este sentido lo que señalara Bloom (1972) acerca de la educación en general, en uno de sus
emblemáticos artículos, es aplicable hoy en día a la evaluación y a la medición estandarizada, en cuanto
a que “…seguimos siendo seducidos por el equivalente de los remedios de curanderos, las falsas curas
del cáncer, la invención del movimiento perpetuo y las supersticiones…”. Es así como junto al creciente
uso de la medición estandarizada, han surgido legiones de “expertos” en el tema que prometen, por
medio de enfoques de medición y evaluación más “humanistas” y “educativos”, ir mucho más allá de lo
que los métodos basados en la teoría psicométrica son capaces de lograr, desacreditando de paso a estos
últimos por ser supuestamente rígidos y estrechos. Lo anterior pese a que existe una masa importante de
investigación y de desarrollo teórico, ambos rigurosos, sobre el tema.
El daño real y potencial a la educación y a sus sujetos, los alumnos, es por ello, de tal magnitud, que
para colaborar en su prevención, uno de los propósitos centrales de este artículo es intentar precisar y
explorar el valor real que, para el proceso educativo formal, tienen la medición y la evaluación de raíz
científica. Esto ha implicado centrar la mirada en unos aspectos que no constituyendo una visión
exhaustiva, sí tocan aspectos críticos del tema en cuestión. Es así como este trabajo no pretende
convertirse en una visión integral acerca de la situación actual de la medición estandarizada en
educación, sino que más bien aportar algunas pistas para señalar dónde fijar la mirada.
Aunque mucho se habla hoy en día acerca de medición estandarizada en educación, se ha estimado
conveniente precisar aquí, primeramente, qué es lo que hace a un instrumento que sea considerado o no
estandarizado.
Esta condición implica el cumplimiento de varias características, entre las cuales se cuentan, en primer
lugar, el hecho de que los ítems deban ser los mismos y aplicados en un formato equivalente a todos los
examinados; en segundo lugar, que las condiciones de administración deban ser también comunes y que,
por ende, las instrucciones de aplicación deban ser exactamente a la letra, las mismas, excepto en el caso
de las llamadas “acomodaciones” usadas para estudiantes con limitaciones visuales, auditivas o
motoras; en tercer lugar, que el procedimiento y proceso de revisión y asignación de puntajes sea
también uniforme, no existiendo posibilidad de discrecionalidad en los criterios a aplicar; y finalmente,
que la forma en que los resultados son informados también haya de ser común y uniforme. Como es
posible apreciar, las condiciones que hacen a un instrumento estandarizado, por una parte, proveen una
condición necesaria, aunque no suficiente, para que los resultados sean comparables y por la otra,
excluyen de la pertenencia a esta categoría a muchos instrumentos, como es el caso de las pruebas
construidas por el profesor o hacen bastante más difícil la estructuración de otros, como ser los
portafolios si se espera que sus resultados sean comparables.
126
11
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
80
70
67
57
54
50 48
43
40 41 41 41
TIMSS TOTAL (4º, 8º Y
36 35 ÚLTIMO GRADO DE
30 SECUNDARIA)
0
1970 1995 1999 2000 2001 2003 2006 2007 2009
AÑO
Como es posible apreciar en la Figura 1, la evolución en la participación de los países en algunos de los
principales estudios internacionales de evaluación del rendimiento escolar ha crecido de manera
apreciable desde la primera experiencia antes mencionada. En el caso del Programa Internacional de
Rendimiento Estudiantil (PISA) 2 , coordinado por la OCDE 3 , en un lapso de nueve años se observa un
incremento en el número de países participantes cercano al sesenta por ciento. En la serie del programa
1
International Association for the Evaluation of Educational Achievement.
2
Programme for International Student Achievement.
3
Organización de Cooperación y Desarrollo Económico.
127
12
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
denominado Estudio de Tendencias en Matemática y Ciencias (TIMSS) 4 , desarrollado por la IEA y que se
inició en 1970 con el denominado Primer Estudio de la IEA, antes mencionado, se aprecia un crecimiento
en el número de países participantes de un ciento ochenta por ciento, en treinta y siete años. Finalmente,
en el caso del Estudio Internacional de Progreso en Lectura (PIRLS), también a cargo de la IEA, el número
de países participantes ha crecido en casi un veinte por ciento, en sólo cinco años.
Sin embargo como no siempre la demanda por un producto y su eficacia van juntas, cabe en este caso la
pregunta: ¿puede el aumento en la participación nacional en estos estudios interpretarse como un aporte
concreto al avance del aprendizaje de los alumnos -fin último de todo proceso que se concibe como
educativo-? La respuesta a la pregunta recién planteada pasa antes por la de esta otra interrogante: ¿es
la evaluación estandarizada en educación, en primer lugar, efectiva, -ello es cumple con los requisitos
para lograr lo que se supone debe lograr- y, en segundo, de ser así, es ella eficaz, -lo logra en la realidad?
4
Trends in Mathematics and Science Study.
128
13
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
5
American Educational Research Association (Asociación [Norte] Americana de Investigación Educacional.
6
American Psychological Association (Asociación [Norte] Americana de Psicología.
7
National Council on Measurement in Education (Consejo Nacional [de EEUU] para la Medición en Educación).
8
El término inglés “construct” no tiene una traducción precisa en castellano, siendo la que más se acercaría a su sentido conceptual la de
“estructura teórica”, por lo cual en este artículo se ha optado por utilizar el anglicismo “constructo” puesto entre comillas.
129
14
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
A estas definiciones primigenias, hay que agregar lo expresado en una versión de los estándares para la
medición en psicología y educación de AERA, APA y NCME (1999), en la cual se menciona que, al fin de
cuentas, “…existen cinco categorías de evidencia acerca de la validez, a ser consideradas al construir un
argumento …” “el contenido del instrumento, los procesos de respuesta, la estructura interna, las
relaciones con otras variables y las consecuencias de la (aplicación de la) prueba”. Es posible sustentar
que éste planteamiento coincide con lo señalado por Messick (1989) acerca de que “La validez es un
juicio integrado acerca del grado en el cual la evidencia empírica y las concepciones teóricas respaldan a
las inferencias y acciones basadas en los resultados de las pruebas y otros modos de medición, en cuanto
que (aquellas) sean adecuadas y apropiadas (cursivas en el texto original).
Estos últimos dos alcances tienen gran importancia ya que extienden significativamente la gama de
evidencias que son necesarias para respaldar la validez, incluyendo aspectos externos tales como las
consecuencias de la aplicación de los resultados de los instrumentos. Un reciente artículo de Nichols y
Williams (2009) explora este tema en mayor profundidad aún, discutiendo temas tales como la atribución
de responsabilidad a los distintos actores involucrados en la medición, por de los distintos tipos de
evidencia relacionados con las pruebas en educación.
Una consecuencia práctica muy importante de destacar acerca de la validez, de acuerdo a lo indicado en
el párrafo anterior, es que hoy en día se considera que ésta cruza una muy amplia gama de aspectos
relacionados con la prueba a la que califica, los que van desde la fidelidad de la misma al mapa de
contenidos o competencias que la originó, hasta los efectos que sus resultados pueden generar, pasando
por combinaciones de ellos. Un buen ejemplo es el caso de las pruebas de base curricular, como las del
estudio TIMSS que, aún cuando su estructura pueda mostrar una alta relación promedio con los
currículos de la mayoría de los países, ésta suscitará cuestionamientos en términos de su validez para
medir los rendimientos en países en los cuales no existe un currículo único, sino que la docencia se basa
en estándares más ligados con competencias. En casos como éste la conveniencia de adherir a un
estudio como PISA, basado en estándares de validez universal, aparecería como más plausible.
130
15
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
de la tecnología, como podría ser el caso del CA 9 y del CAT 10 , dado que su limitación es fundamental y
reside, como se dijo antes, en que es un mecanismo indirecto y externo para detectar rasgos internos. Sin
embargo, pese a sus limitaciones, hasta hoy no existen métodos científicamente aceptables que hagan un
mejor trabajo, para estos efectos, que la medición estandarizada.
Es por esta razón que la proporción del total del aprendizaje, que realmente es posible medir con las
evaluaciones estandarizadas corresponde sólo a la cima del “iceberg”, que es aquella parte que se ubica
por sobre el límite que separa a las características mensurables de forma estandarizada de las que no lo
son, que al igual que en el caso de los témpanos que flotan en los mares fríos, corresponde sólo a una
parte menor de su volumen total. Esto equivale, en el caso de la educación, también a una expresión
minoritaria de lo que realmente ella debió haber logrado en los estudiantes.
Un análisis descriptivo relativamente simple permitirá apreciar esto más claramente si se toma como
ejemplo la medición estandarizada de los aprendizajes en Lenguaje. Si se considera la educación formal,
ésta abarca al menos tres dominios de competencias, mostrados en el nivel de la base de la Figura 2, por
lo cual todo aprendizaje, realmente educativo, debe incluir a estos tres dominios aunque en proporciones
variables. Es por ello que al utilizar la medición estandarizada se está capturando información de los
dominios (cuando es posible hacerlo) de manera artificialmente segregada. Esto implica que en el
ejemplo del Lenguaje, la medición estandarizada habitualmente sólo captura los aprendizajes cognitivos.
FIGURA2. EL “ICEBERG” DE LA MEDICIÓN EN EDUCACIÓN. AQUELLO QUE ES REALMENTE POSIBLE DE SER MEDIDO EN LENGUAJE, POR
MEDIO DE PRUEBAS ESTANDARIZADAS ORDINARIAS
COMPETENCIAS
ESPECÍFICAS
MEDIBLES
Expresión escrita-
Comprensión oral-
Comprensión
LÍMITE DE LO MEDIBLE
escrita
COMPETENCIAS LINGÜÍSTICAS
GENERALES
Comprensión-Expresión
DOMINIOS
Cognitivo-Afectivo-Psicomotriz
9
CA. Computerized testing (prueba computarizada). Situación en que la prueba es administrada a través de un computador, la que permite el uso
de una mayor variedad de estímulos y por ello la medición de competencias más complejas, fundamentalmente usando técnicas de simulación.
10
CAT. Computerized adaptive testing (prueba adaptativa computarizada). Situación que incluye todas las ventajas del CA, pero que además
posibilita adaptar las preguntas subsiguientes en base de las respuestas a las previas de cada sujeto que responde, logrando así una mayor
coincidencia entre la prueba y las habilidades del examinado y con ello una medición más precisa.
131
16
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
Ascendiendo un nivel desde la base se aprecia que dentro del espectro cognitivo el aprendizaje involucra
a varias asignaturas las cuales, si bien como todo aprendizaje humano también interactúan, son las más
de las veces abordadas de manera también separada, por lo cual el Lenguaje como asignatura representa
también sólo una fracción, esta vez del aprendizaje cognitivo formal total.
Yendo a un nivel adicional más arriba y entrando en el área curricular del Lenguaje se aprecia que existen
al menos dos tipos de competencias generales que debieran ser parte de cualquier diseño curricular en la
asignatura: la comprensión y la expresión. Y ambos debieran medirse si la intención es verificar los
aprendizajes en esta área curricular.
Sin embargo, al abordar estas dos competencias básicas es posible comprobar que las competencias
específicas posibles de medir de forma estandarizada son solamente las siguientes: la expresión escrita, a
través de preguntas de respuesta abierta; la comprensión oral, por medio de ítems cerrados o abiertos; y
la comprensión escrita, por estos mismos medios. Aunque algunos autores (Rodriguez, 2002) hacen
depender la elección del tipo de ítem de aspectos tales como las recomendaciones de la comunidad de
especialistas, el costo e incluso de las repercusiones del uso de un tipo u otro en términos de la política
educacional, ella siempre dependerá antes que nada del nivel de complejidad de las competencias que se
busque medir. Las más de las veces se opta, debido a razones de costo, por escoger sólo ítems cerrados,
con la consiguiente reducción en la validez. Similarmente, la expresión oral se deja fuera debido a la
complejidad y costo, si es se quiere garantizar su objetividad, de medirla en forma estandarizada.
En conclusión, de tres dominios se mide uno, sucediendo lo mismo con el espectro de asignaturas
incluidas y dentro de la única abordada, de sus dos competencias generales se logra medir parcialmente
una y de forma relativamente integral la otra.
Si bien es posible complementar la medición estandarizada con otros enfoques como la observación y los
portafolios, estos presentan limitaciones a la hora de tratar de comparar sus resultados entre alumnos de
distintas escuelas y aulas, ya que no constituyen, de suyo, métodos estandarizados y si bien es posible
aproximarlos a tal condición, ello implica, una vez más, un aumento sustancial del tiempo y del costo
involucrados.
132
17
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
métodos de comparación de las varias mediciones sean óptimos, si la precisión, objetividad, validez y
confiabilidad de éstas no satisfacen estándares aceptables, el valor de la evaluación será cuestionable.
11
En castellano Prueba de Aptitud Académica.
12
La sigla TRI en castellano deriva de la inglesa “IRT”, la que corresponde a Item Response Theory.
133
18
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
Como señalara Kaplan (1963) “el puntaje de una prueba puede entregar interpretaciones relativas o
absolutas.” Por su parte, abordando el tema desde una perspectiva sutilmente diferente de la utilizada en
la sección anterior, Haladyna (2002), agrega que “la interpretación absoluta es denominada usualmente
referida a criterios (RC) debido a que nos indica cuánto de una habilidad o conocimiento ha adquirido
una persona”. “La interpretación relativa es llamada referida a normas (RN), por cuanto esta
interpretación permite la comparación de un puntaje con otros puntajes en la escala de una prueba
determinada. Las interpretaciones RN nos indican cuan diferentes unos de otros son los puntajes.”
Citando nuevamente a Haladyna (2002), es posible señalar “que aunque RC y RN corresponden a tipos
de interpretaciones de los puntajes de una prueba, en sentido estricto no tenemos pruebas RC y RN. Sin
embargo, los términos RC y RN se asocian a menudo con pruebas que permiten tales interpretaciones.”
Y agrega que “Irónicamente cualquier prueba puede aportar interpretaciones NR, pero las
interpretaciones CR provienen (sólo) de pruebas diseñadas para informarnos cuánto ha aprendido un
estudiante.”
Si bien ésta es, como se dijo antes, una forma leve pero fundamentalmente distinta para la
conceptualización de las diferencias entre los enfoques referidos a normas y a criterios, en esencia la
conclusión es la misma en cuanto a que ambos tipos tienen propósitos distintos. El punto siguiente
abordar es la aclaración de si acaso tal diferencia descalifica a un tipo para cumplir el rol del otro, o si es
posible pensar en una figura híbrida.
Por una parte, la afirmación antes citada acerca de que sólo las pruebas CR pueden aportar información
acerca del aprendizaje real de los estudiantes ya indica que, por definición y construcción, éstas son
capaces de aportar elementos que las NR no son, por lo cual éste ya constituye un elemento de juicio a
considerar en cuanto a que las pruebas NR no están en condiciones de aportar a la medición de los
aprendizajes respecto de criterios absolutos.
Por otra parte, cada uno de estos tipos de interpretaciones enfatiza ciertas características que hacen que
en la construcción de las pruebas mismas se privilegien ciertos aspectos en desmedro de otros. Tal es el
caso de que las pruebas CR tienden a poner el acento en la validez y las NR en la discriminación.
El caso es que, además, los dos tipos de herramientas descritas en la sección anterior se basan en
modelos de interpretación diferentes, descansan en supuestos estadísticos distintos (como es el de la
normalidad de la distribución de los puntajes en el caso de las NR y no necesariamente en el de las CR) y
finalmente entregan información diferente.
En conclusión y en una comparación que puede ser considerada trivial, la utilización indistinta de
cualquier de los tipos para cumplir ambos propósitos -jerarquización y verificación del aprendizajes de los
sujetos, medidos- puede tener el mismo efecto que emplear un coche de ciudad a campo traviesa, caso
en el cual es posible que éste logre efectuar el recorrido, pero con serios riesgo para su integridad y la de
sus tripulantes.
134
19
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
135
20
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
La posibilidad de comparación de resultados numéricos, sea ésta vertical u horizontal, está condicionada
por la equivalencia psicométrica de los instrumentos. En cambio la comparación de resultados expresados
en clave cualitativa es mucho más flexible. A continuación se muestran dos ejemplos: uno
correspondiente a resultados expresados de forma cuantitativa (Figura 3) y el otro en forma cualitativa
(Figura 4). Ambos ejemplos corresponden al programa denominado Medición Integral en Educación, en el
Estado de Qatar 13 , en la Península Arábiga.
FIGURA 4. COMPARACIÓN DE RESULTADOS ENTRE GRADOS PARA EL AÑO 2007, EXPRESADOS EN ESCALA CUALITATIVA (NIVELES DE
DESEMPEÑO), EN LENGUAJE (ÁRABE), COMO PARTE DEL SISTEMA DE MEDICIÓN EDUCACIONAL DEL ESTADO DE QATAR (QCEA)
Como es posible apreciar, las escalas cualitativas permiten una mayor flexibilidad de comparaciones y
una mucha mayor riqueza de información, sin requerir el cumplimiento de condiciones tan estrictas como
en el caso de las escalas cuantitativas, aunque lógicamente no logran una precisión comparable con el
nivel posible de alcanzar al usar escalas cuantitativas. Sin embargo, incluso es posible, aunque no
necesariamente aconsejable, utilizar la información acerca de porcentajes de alumnos en cada nivel para
comparar el rendimiento entre distintas asignaturas, lo que constituye un anatema siquiera intentarlo a
partir de resultados cuantitativos.
13
Qatar Comprehensive Educational Assessment (QCEA)program
136
21
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
Sin embargo, es necesario señalar claramente que ello no implica licencia para concesión alguna en el
rigor de la generación de resultados o para la prescindencia de las escalas cuantitativas, sino que significa
tomar ventaja de la mayor flexibilidad de posibilidades de comparación planteada por los resultados
expresados en forma de niveles de desempeño, generados por medio de la determinación de puntajes de
corte, a partir de resultados cuantitativos, idealmente en escala IRT.
Los procesos de determinación de niveles de desempeño están, hoy en día, definidos y estandarizados en
tal medida, que es preciso seguir pasos muy claros para el establecimiento de los niveles y
posteriormente de sus límites, a través de la determinación de puntajes de corte. Aunque estos procesos
descansan en procedimientos de juicio y no necesariamente en unos de raíz estadística, sí implican un
rigor tanto o mayor que el propio de estos últimos.
La posibilidad de contar con información cualitativa acerca de los resultados de las mediciones
estandarizadas en educación permite alcanzar tres fines. El primero, como se señaló antes, consiste en la
ampliación del ámbito de los tipos de comparaciones posibles de realizar a partir de los resultados de las
mediciones estandarizadas. El segundo es la asignación, a tales comparaciones, de un grado mayor de
inteligibilidad para los destinatarios de la información, tales como directores, maestros, padres y
alumnos, despejando la habitual duda acerca de cuál es el sentido que, en términos educativos, tiene un
puntaje numérico determinado. Finalmente, establece un puente entre los resultados de las mediciones y
la docencia de aula, en el sentido de que al establecer cuáles son las competencias concretas que los
alumnos logran y cuáles las que no alcanzan, se genera una herramienta efectiva de retro-información y
por ende de mejoramiento del aprendizaje.
La integración, actualmente posible, de resultados cuantitativos, generados con todo el rigor psicométrico
propio de ellos, con esquemas de interpretación cualitativos generados también a partir de procesos
igualmente rigurosos, plantea una línea de explotación de los resultados de las mediciones
estandarizadas, ausente hasta ahora en el ámbito educacional, pero que promete nuevas y grandes
posibilidades en beneficio de los estudiantes.
14
En inglés “linkage”.
137
22
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
No son pocos los casos en que erróneamente se han generado conclusiones alentadoras o negativas
respecto de la situación de sistemas escolares, producto de que se ha intentado comparar puntajes que
no son comparables, dado que estos provenían de instrumentos que no eran equivalentes.
La denominada “vinculación” de pruebas hace su aparición a comienzos del siglo veinte, con los
trabajos de varios autores, entre ellos, Starch, Weiss y Kelley, citados por Holland (2005).
La vinculación de puntajes de pruebas, de acuerdo al mismo autor recién citado, comprende tres grandes
sub-categorías, a saber:
Predicción. Lo que se obtiene es la “mejor predicción” 15 de un puntaje Y a partir de un puntaje
X, utilizando procedimientos de regresión.
Alineación de escalas 16 . Es un proceso más complejo que la predicción y consiste en la ubicación
conjunta de los puntajes X e Y en una escala común, en vez de asignar a X un puntaje en la
escala de Y. Los métodos más comunes son la alineación de batería, la alineación respecto de un
ancla 17 , la alineación respecto de una población hipotética, la calibración, la alineación vertical y
la concordancia.
“Ecualización” 18 . Es el proceso más complejo de todos y se lleva a cabo cuando los diferentes
sujetos rinden diferentes formas o versiones de la misma prueba y sus resultados en ellas
requieren ser comparados. Este proceso es posible abordarlo también con Teoría Clásica, IRT,
ecualización por post-estratificación, ecualización en cadena, método de puntajes observados de
Levine y método IRT de puntajes observados.
Para finalizar esta breve revisión acerca del origen y de la práctica de los métodos que permiten la
comparación válida de puntajes de instrumentos de medición del rendimiento, es preciso mencionar que
una de las modalidades comprendidas dentro de los métodos de alineamiento, debe destacarse un
método que recientemente ha ganado en popularidad, cual es la alineación vertical.
Su mayor mérito radica en que hace posible la estimación del crecimiento o progreso del aprendizaje de
los alumnos en el tiempo, entregando información, por ejemplo, de cuál ha sido la trayectoria de un
alumno en matemática desde tercero a cuarto de educación básica. Un método alternativo y menos
exigente en términos psicométricos es el cálculo de valor agregado, aunque sí lleva aparejadas otras
exigencias, esta vez operacionales. En ambos casos la limitación mayor es la “distancia” en el tiempo
que pueda existir entre ambas mediciones, la que se expresa en el número de niveles de grado en el caso
de la alineación vertical y en el tiempo transcurrido entre la mediciones en el del valor agregado.
11. CONDICIONES PARA QUE UNA EVALUACIÓN CONSTITUYA UNA HERRAMIENTA DE POLÍTICA EN
EDUCACIÓN
Uno de los aspectos más controversiales de la medición en educación es su utilización para la toma de
decisiones en materias de política educacional, dado que el volumen de datos y de información que se
acumula en los anaqueles de los ministerios y otras entidades de los sistemas educacionales es enorme,
15
En inglés “best prediction”.
16
En inglés “scale alignment” o “scaling”.
17
En inglés “anchor test”.
18
En inglés “equating”.
138
23
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
como asimismo lo son los bancos de datos que rebosan de resultados de operaciones de medición. Es
también muy grande la carga que se impone sobre profesores y alumnos a raíz de someter a estos
últimos a evaluaciones, generadas al nivel escuela, municipio, provincia o estado y/ país y no devolverles
mayores beneficios.
Sin embargo, el número de ocasiones en que las decisiones en materia de política educacional son
basadas en la información dura, generada por la medición estandarizada, es inversamente proporcional al
crecimiento del volumen de información generada. Si bien autores como Gladwell (2005) abogan por el
valor de las decisiones producto de la inspiración súbita, cabe la duda de si acaso aquellas en educación
puedan y sea aconsejable que sean adoptadas de tal modo.
Lamentablemente las razones por las que la información generada a partir de los procesos de medición
estandarizada no es utilizada en favor de decisiones mejor fundadas en educación es, en gran medida,
responsabilidad de quienes estamos involucrados en tales procesos. Un análisis, a la vez sistemático y
descarnado, de la situación imperante en este sentido, nos permitirá aislar las causas principales y por
ese medio intentar subsanarlas.
La primera condición, que no siempre se cumple, es la que constituye la raíz del tema de este trabajo, la
medida en que la información generada por la medición estandarizada es válida. En otras palabras,
mientras las pruebas sólo se enfoquen en las competencias más simples de la escala de complejidad de
los aprendizajes, su relevancia será discutible y por ende el estímulo implícito para la utilización de sus
resultados será también limitado. Es imprescindible que los sistemas de medición desplieguen esfuerzos
por ampliar el ámbito de validez de sus instrumentos, aún en tiempos en que los presupuestos no son del
todo abundantes.
Una segunda condición se relaciona con la necesidad de que la información proveniente de las
mediciones estandarizadas esté disponible para los diferentes actores de manera oportuna y sea
inteligible para ellos. Son muchos los casos en que los informes de las mediciones toman años en ver la
luz, cuando la ven, y lo que es más, suelen estar escritos en código de especialistas, siendo por ello
incomprensibles para docentes, padres y alumnos y consecuentemente no concitan su interés.
Las más de las veces se invierte un enorme esfuerzo en la elaboración y análisis de los instrumentos de
una medición, lo cual es sin duda lo pertinente de hacer, sin embargo no se asigna a la elaboración y
producción de los informes el mismo esfuerzo e interés. Las Figuras 5 y 6 muestran un ejemplo de un
informe para profesores que, desde hace dos años, está siendo provisto a los docentes en el Estado de
Qatar, basándose en los resultados del sistema de medición del rendimiento, en ese país. Tal informe,
junto con el correspondiente para padres y alumnos, el informe para los tomadores de decisiones a nivel
superior y el informe técnico para especialistas, se procura que esté en sus manos no después de seis
meses de aplicadas las pruebas, los cual no si bien no es un plazo breve, sí implica una voluntad de hacer
llegar la información en la forma lo más oportuna y útil posible.
139
24
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
FIGURA 5. PORTADA Y CONTRAPORTADA DEL INFORME PARA DOCENTES DE LENGUAJE (ÁRABE), UTILIZADO POR EL SISTEMA DE
MEDICIÓN DEL RENDIMIENTO DEL ESTADO DE QATAR, PARA EL PERÍODO 2005-2006. (SEC QATAR, 2007)
Otra condición limitante en la utilización de los resultados de las mediciones estandarizadas es la falta de
desarrollo de la capacidad y voluntad para utilizar la información de quienes toman las decisiones en
educación. De hecho, quienes deciden en este ámbito, desde padres hasta ministros, no están, las más de
las veces, capacitados para utilizar información dura para sustentar sus juicios. Contra esta capacidad
conspira también lo que se manifestara antes, en esta misma sección, en cuanto a que no siempre el
lenguaje de los informes resulta adecuado para los actores en cada nivel que lo recibe.
Pero habiendo subsanado lo anterior deben hacerse esfuerzos para generar acciones concretas en pro de
que estos actores, por una parte reciban capacitación para utilizar los informes basados en la medición
estandarizada como base para sus decisiones, como asimismo para motivarlos a que lo hagan.
Lo más habitual hoy en día es que los padres tomen decisiones respecto de la educación de sus hijos
basados en rumores y comentarios de sus conocidos. En el caso de quienes deciden en los niveles altos de
los sistemas el caso es que las presiones de grupos relacionados con la educación tienen más efecto en lo
que se resuelve que la información proveniente de fuentes objetivas y empíricas. Mientras esto siga
ocurriendo, como lo señalara Bloom, en la cita al comienzo de este trabajo, seguiremos “…siendo
seducidos por el equivalente de los remedios de curanderos, las falsas curas del cáncer, la invención del
movimiento perpetuo y las supersticiones…”.
140
25
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
FIGURA 6. PÁGINAS INTERIORES DEL INFORME PARA DOCENTES DE LENGUAJE (ÁRABE,) UTILIZADO POR EL SISTEMA DE MEDICIÓN DEL
RENDIMIENTO DEL ESTADO DE QATAR, PARA EL PERÍODO 2005-2006. (SEC QATAR, 2007)
141
26
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
“Dos años más tarde, Benjamin Bloom (1969) aplicó la misma distinción a las pruebas usadas en el
aula.”
Como quedó demostrado, la evaluación formativa fue definida por Scriven, desde una perspectiva
sistémica, como la herramienta para el mejoramiento continuo del currículo y, por Bloom, desde un punto
de vista pedagógico del aula, como un elemento vital para mejorar el aprendizaje de los alumnos, en
ambos casos hace más de cuatro décadas.
Hoy se intenta utilizar este concepto para desacreditar a la medición estandarizada, como asimismo a la
evaluación que se basa en ella, ya que se las considera como opuestas a lo “formativo”. Baste decir que,
por un lado, la idea de lo formativo califica las acciones evaluativas, por lo cual ellas no son más o
menos formativas en su esencia, sino que en su uso. Sería como decir que un bisturí es esencialmente
malo por cuanto puede usarse para matar, además de ser una herramienta curativa. Por otro lado, uno de
los artífices más distinguidos de la introducción del rigor en la medición en al aula fue, precisamente,
Benjamin Bloom. Mal pudo él propugnar que la medición estandarizada pudiese percibirse como
antagónica del rol formativo de la evaluación.
Entrando, ahora, al ámbito de la manipulación retórica de los términos en este campo, segundo
fenómeno de reciente aparición, el caso más destacado es el de la distinción artificial y artificiosa entre
evaluación del aprendizaje y evaluación para el aprendizaje, las que se hacen aparecer como antagónicas.
Un simple análisis lógico baste para desvirtuar este intento sofista. En primer lugar, cualquier
procedimiento y entre ellos, uno evaluativo, antes que nada debe poseer un objeto sobre el que se lleva a
cabo, el que en este caso es el aprendizaje. Por lo tanto, no es posible que exista una acción evaluativa
“in abstracto”, sino que esta debe evaluar algo en concreto.
En segundo lugar, esa misma acción debe tener un propósito, en este caso la mejora del aprendizaje
posterior y éste propósito no tiene razón para ser considerado opuesto al objeto antes definido. Por lo
señalado, es perfectamente aceptable que la evaluación del aprendizaje en un cierto momento, vaya en
pro del aprendizaje posterior.
A lo señalado, se agrega que una revisión mínima de la historia de la medición estandarizada y de la
evaluación ligada a ella, permitirá comprobar que, desde al menos los años sesenta del Siglo XX, en que
surge en la educación la idea de retro-información, la evaluación ha sido definida como una herramienta
de mejoramiento del aprendizaje. Cualquier otra elaboración retórica no es más que eso, ya que revela
desconocimiento del campo de la disciplina o bien una falacia en el razonamiento, que va a parejas con
lo negativo de la intención.
Al finalizar este trabajo, sólo resta señalar que se ha procurado mostrar aquí que, si bien la medición
estandarizada y su consecuente, la evaluación, distan mucho de ser exhaustivas e irreprochables en su
validez y precisión, no existe, hoy por hoy, un enfoque científicamente sustentado que permita plantear
una alternativa válida.
La conclusión última es entonces que lo sabio y prudente de hacer es trabajar para mejorar estas dos
herramientas de la educación y ser, a la vez, extremadamente cuidadosos en que al aplicarlas se evite, a
toda costa, asignarles mayores cualidades que las que realista y científicamente demuestren poseer.
142
27
La Efectividad y la Eficacia de las Mediciones Estandarizadas y de las
Evaluaciones en Educación
Juan Enrique Froemel
REFERENCIAS BIBLIOGRÁFICAS
American Educational Research Association, American Psychological Association y National Council on
Measurement in Education. (1985). Standards for educational and psychological testing. Washington:
American Educational Research Association.
American Psychological Association (1966). Standards for educational and psychological tests and
manuals. Washington: APA.
American Psychological Association (1954). Technical recommendations for psychological tests and
diagnostic techniques. Psychological Bulletin [Supplement], 51 (2, part 2).
Bloom, B.S. (1972). Innocence in Education. School Review, 80, pp.333-352.
Bloom, B. S. (1969). Some theoretical issues relating to educational evaluation. En R.W. Tyler (Ed.),
Educational Evaluation: new roles, new means. The 63rd yearbook of the National Society for the Study
of Education, 69, pp. 26-50.
Cizek, J.G. (2001). Setting performance standards. Concepts, methods, and perspectives. Mahwah
Erlbaum.
Comber, L.C. y Keeves J.P. (1973). Science education in nineteen countries. Stockholm: Almqvist &
Wiksell.
Cronbach, L.J. y Meehl, P.E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52,
pp. 281-302.
Dwyer, C.A. (2008). The future of assessment. Shaping teaching and learning. New York: Erlbaum.
Gladwell, M. (2005). Blink. The power of thinking without thinking. London: Penguin.
Haladyna, T.H. (2002). Supporting documentation: assuring more valid test interpretations and uses. En
Tindal y T.M. Haladyna (Eds.), Large scale assessment programs for all students. Mahwah: Erlbaum.
Holland, P.W. (2005). Linking scores and scales: some history and organizing ideas. En Linking and
aligning scores and scales. A conference in honor of Ledyard R. Tuckers´s approach to theory and
practice. Princeton: Educational Testing Service.
Kaplan, A. (1963). The conduct of inquiry: Methodology for behavioral science. New York: Harper & Row.
Lissitz, R.W y Samuelsen K. (2207). A suggested change in terminology and emphasis regarding validity
an education. Educational Researcher, 36, pp. 437-448.
Messick, S. (1989). Validity. En R.L. Linn (Ed.), Educational Measurement. New York: Macmillan.
Moss, P.A. Reconstructing validity. (2207). Educational Researcher, (36, pp. 470-476)
Nichols, P.D. y Williams, N. (2009). Consequences of test score use as validity evidence: roles and
responsibilities. Educational Measurement: Issues and Practice, (Spring, pp. 3-9).
Rodriguez, M.C. (2002). Choosing an item format. En G. Tindal y T. M. Haladyna (Eds.), Large-scale
assessment programs for all students. (pp. 213-231). Mahwah: Erlbaum.
Scriven, M. (1967). The methodology of evaluation (Vol. 1). Washington: AERA.
Supreme Education Council. (2007). Qatar Comprehensive Educational Assessment (QCEA). QCEA 2007
Results. Disponible en: http://www.english.education.gov.qa/section/sec/evaluation_institute/sao/_qcea
143
28
VILCHES Amparo y Gil Pérez Daniel
“El Programa Pisa: Instrumento para la mejora del proceso de enseñanza-
aprendizaje”
Revista Iberoamericana de Educación
144
EL PROGRAMA PISA:
UN INSTRUMENTO PARA LA MEJORA
DEL PROCESO DE ENSEÑANZA-APRENDIZAJE
Amparo Vilches *
Daniel Gil Pérez **
1. INTRODUCCIÓN
147
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
148
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
149
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
150
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
más bajas cuando era atribuido a una alumna que cuando se suponía
obra de un alumno. Se ha mostrado también, de forma reiterada, que los
ejercicios atribuidos a estudiantes «brillantes» reciben calificaciones
notablemente más altas que los mismos ejercicios cuando se atribuyen
a estudiantes «mediocres» (Alonso, Gil Pérez y Martínez Torregrosa,
1995a, pp. 6-15).
151
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
152
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
Por otra parte, no hay que olvidar a la hora de fijar los criterios,
que solo aquello que es evaluado es percibido por los estudiantes como
realmente importante (Linn, 1987, pp. 191-216; Hodson, 1992, pp.
115-144). Es preciso, pues, evaluar todo lo que los estudiantes hacen:
desde un póster confeccionado en equipo hasta los dossiers personales
del trabajo realizado. Duschl (1995, pp. 3-14) ha resaltado, en particu-
lar, la importancia de estos dossiers o «portafolios», en los que cada
estudiante ha de recoger y organizar el conocimiento construido y que
puede convertirse –si el profesor se implica en su revisión y mejora– en
un producto fundamental, capaz de reforzar, globalizar y sedimentar el
aprendizaje, evitando adquisiciones dispersas.
154
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
155
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
156
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
157
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
158
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
160
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
162
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
164
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
165
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
CUADRO 1
Análisis de la presencia de actividades de evaluación coherentes
con las estrategias de construcción de conocimientos científicos
142
142
1. ¿Se incluyen situaciones problemáticas abiertas que permitan a
los estudiantes formular preguntas, plantear problemas?
166
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
167
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
168
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
Para beber durante el día, Pedro tiene una taza con café caliente a una
temperatura aproximada de 90º centígrados y una taza con agua
mineral fría a una temperatura aproximada de 5º centígrados. El tipo
y el tamaño de las dos tazas son idénticos y el volumen de cada una
de las bebidas también es el mismo. Pedro deja las tazas en una
habitación donde la temperatura es de unos 20º centígrados.
169
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
Existen varios métodos para inducir a la gente a que deje de fumar. ¿Se
basa en la tecnología alguna de las siguientes formas de abordar este
problema?
170
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
Interesado
¿Cómo estás de interesado en la siguiente información?
Muy Algo Poco Nada
1
Proclamación de la Década de las Naciones Unidas de la Educación para el
Desarrollo Sostenible. Resolución 57/254 aprobada por la Asamblea General de las
Naciones Unidas el 20 de diciembre de 2002. Disponible en: <http://www.oei.es/decada/
resonu.htm>.
171
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
Pregunta 1
El propietario de la planta química se basó en la declaración de los
científicos contratados por la empresa para argumentar que «la
emisión de gases de la planta no constituye una amenaza para la salud
de las personas que residen en la zona». Da una razón, que no sea la
expuesta por los científicos contratados por los residentes, que
permita poner en duda que la declaración de los científicos contrata-
148
148 dos por la empresa respalde la argumentación del propietario.
172
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
Describe una ventaja y una desventaja concretas del empleo del viento
para generar energía eléctrica en comparación con el empleo de
combustibles fósiles, como por ejemplo el carbón y el petróleo.
Ventaja:
Desventaja:
173
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
BIBLIOGRAFÍA
150
150
ABD-EL-KHALICK, Fouad y OTROS (2004). «Inquiry in Science Education: International
Perspectives», en Science Education, vol. 88, n.º 3.
ACEVEDO, José Antonio (2005). «TIMSS y PISA. Dos proyectos internacionales de evaluación
del aprendizaje escolar en ciencias», en Revista Eureka sobre Enseñanza y
Divulgación de las Ciencias, vol. 2, n.º 3. Disponible en: <http://www.apac-
eureka.org/revista/Volumen2/Numero_2_3/Acevedo__2005.pdf>, consulta
diciembre de 2009.
— GIL PÉREZ, Daniel y MARTÍNEZ TORREGROSA, Joaquín (1992). «Los exámenes de Física
en la enseñanza por transmisión y en la enseñanza por investigación», en
Enseñanza de las Ciencias. Revista de Investigación y Experiencias Didácticas,
vol. 10, n.º 2.
174
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
COMISIÓN MUNDIAL DEL MEDIO AMBIENTE Y DEL DESARROLLO (1988). Nuestro futuro
común. Madrid: Alianza.
DE PRO, Antonio (2005). «Muchos interrogantes ante los resultados obtenidos en ciencias
en el proyecto PISA», en revista Aula de Innovación Educativa, n.º 139.
DUSCHL, Richard A. (1995). «Más allá del conocimiento: los desafíos epistemológicos y
sociales de la enseñanza mediante el cambio conceptual», en Enseñanza de
las Ciencias. Revista de Investigación y Experiencias Didácticas, vol. 13, n.º 1.
GABEL, Dorothy L. (ed.) (1994). Handbook of Research on Science Teaching and Learning.
Nueva York: McMillan. 151
151
GELI, Anna Maria (1995). «La evaluación de los trabajos prácticos», en revista Alambique,
n.º 4.
GIL PÉREZ, Daniel y VILCHES, Amparo (2004). «La contribución de la ciencia a la cultura
ciudadana», en C&E. Cultura y Educación, vol. 16, n.º 3.
— (2005). «El “escándalo” del Informe PISA», en revista Aula de Innovación Educativa,
n.º 139.
GIL PÉREZ, Daniel y MARTÍNEZ TORREGROSA, Joaquín (2005). «¿Para qué y cómo evaluar?
La evaluación como instrumento de regulación y mejora del proceso de
enseñanza-aprendizaje», en Daniel GIL PÉREZ y OTROS (eds.). ¿Cómo promover
el interés por la cultura científica? Una propuesta didáctica fundamentada
para la educación científica de jóvenes de 15 a 18 años. Santiago de Chile:
Oficina Regional de Educación para América Latina y el Caribe (OREALC) /
UNESCO. Disponible en: <http://www.oei.es/decada/libro.htm>.
GIL PÉREZ, Daniel y OTROS (eds.) (2005a). ¿Cómo promover el interés por la cultura
científica? Una propuesta didáctica fundamentada para la educación científica
de jóvenes de 15 a 18 años. Santiago de Chile: OREALC / UNESCO. Disponible
en: <http://www.oei.es/decada/libro.htm>.
175
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
GIL PÉREZ, Daniel y VILCHES, Amparo (2006). «¿Cómo puede contribuir el proyecto PISA
a la mejora de la enseñanza de las ciencias (y de otras áreas de conocimiento)?»,
en Revista de Educación, número extraordinario 1. Disponible en: <http://
www.revistaeducacion.mec.es/re2006/re2006_17.pdf>.
GOÑI, Jesús M. (2005). «El proyecto PISA: mucho ruido. ¿Dónde están las nueces?», en
revista Aula de Innovación Educativa, n.º 139.
GOULD, Stephen Jay (1982). La falsa medida del hombre. Barcelona: Bosch.
HODSON, Derek (1986). «The Role of Assessment in the “Curriculum Cycle”: A Survey of
Science Department Practice», en Research in Science and Technological
Education, vol. 4, n.º 1.
HOYAT, Frédéric (1962). Les Examens. París: Institut de l’Unesco pour l’Éducation /
Bourrelier.
152
152 JIMÉNEZ ALEIXANDRE, María Pilar y OTROS (2009). Actividades para trabajar el uso de
pruebas y la argumentación en ciencias. Santiago de Compostela: Danú.
KEMPA, Richard F. (1991). «Students’ Learning Difficulties in Science. Causes and Possible
Remedies», en Enseñanza de las Ciencias. Revista de Investigación y Experiencias
Didácticas, vol. 9, n.º 2.
LEE, Okhee y OTROS (2006). «Science Inquiry and Student Diversity: Enhanced Abilities
and Continuing Difficulties after an Instructional Intervention», en Journal of
Research in Science Teaching, vol. 43, n.º 7.
LINN, Marcia (1987). «Establishing a Research Base for Science Education: Challenges,
Trends, and Recommendations», en Journal of Research in Science Teaching,
vol. 24, n.º 3.
MCCOMAS, William F. (ed.) (1998). The Nature of Science in Science Education. Rationales
and Strategies. Dordrecht: Kluwer Academic Publishers.
176
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
A. VILCHES, D. GIL
OEI (2008). Metas educativas 2021. La educación que queremos para la generación de
los Bicentenarios. Disponible en:<www.oei.es/metas2021/indice.htm>.
ROCARD, Michel y OTROS (2007). Science Education Now: A Renewed Pedagogy for the
Future of Europe. European Commission. Community Research. Disponible en:
<http://ec.europa.eu/research/science-society/document_library/pdf_06/
report-rocard-on-science-education_en.pdf>.
RUDOLPH, John L. (2005). «Inquiry, Instrumentality, and the Public Understanding of 153
153
Science», en Science Education, vol. 89, n.º 5.
SATTERLY, David y SWANN, Nancy (1988). «Los exámenes referidos al criterio y al concepto
en ciencias: un nuevo sistema de evaluación», en Enseñanza de las Ciencias.
Revista de Investigación y Experiencias Didácticas, vol. 6, n.º 3.
SPEAR, Margaret Goddard (1984). «Sex Bias in Science Teachers’ Ratings of Work and
Pupil Characteristics», en European Journal of Science Education, vol. 6, n.º 4.
TIANA, Alejandro (2008). «Indicadores sobre equidad: una lectura comparativa», en revista
Cuadernos de Pedagogía, n.º 381.
TILBURY, Daniella (1995). «Environmental Education for Sustainability: Defining the New
Focus of Environmental Education in the 1990s», en Environmental Education
Research, vol. 1, n.º 2.
177
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 121-154
El programa PISA: un instrumento para la mejora...
VILCHES, Amparo y GIL PÉREZ, Daniel (2003). Construyamos un futuro sostenible. Diálogos
de supervivencia. Madrid: Cambridge University Press.
— (2007). «La necesaria renovación de la formación del profesorado para una educación
científica de calidad», en Revista Tecne, Episteme y Didaxis, n.º 22.
RECURSOS WEB
Proclamación de la Década de las Naciones Unidas de la Educación para el Desarrollo
Sostenible. Resolución 57/254 aprobada por la Asamblea General de las
Naciones Unidas el 20 de diciembre de 2002. Disponible en: <http://www.oei.es/
decada/resonu.htm>.
154
154
178
REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 53 (2010), pp. 121-154
GONZÁLEZ López Ignacio y López Cobo Isabel
“Validación y propuesta de un modelo de indicadores de evaluación de la
calidad en la Universidad”
Revista Iberoamericana de Educación
179
Validación y propuesta de un modelo de indicadores
de evaluación de la calidad en el la universidad 1
Bajo estos supuestos, Garduño (1999), identifica dos dimensiones de la evaluación de la calidad:
una absoluta o descriptiva y otra relacional o explicativa. La primera es aquella cuyos juicios de valor se
expresan sobre cualquiera de los componentes (entradas, procesos y productos) de manera aislada. Sin
embargo, la contribución más importante que la evaluación puede hacer a la calidad de la educación es
aquella que tiene como propósito determinar su relevancia, eficacia, efectividad, congruencia y eficiencia,
que son las dimensiones explicativas-relacionales de la calidad.
1
Los resultados que se presentan en este artículo forman parte del proyecto titulado Indicadores de evaluación de la calidad en el
Espacio Europeo de Educación Superior: análisis y aplicación del modelo MIECEEES financiado al auspicio de la siguiente convocatoria:
Acciones destinadas a la mejora de la calidad de la enseñanza superior y de la actividad del profesorado universitario 2006 (Ministerio
de Educación y Ciencia, Dirección General de Universidades). Código: EA2006-0116
Exponemos en la siguiente figura (ver figura 1) un resumen comparativo de todos estos modelos de
valoración de la calidad educativa, susceptibles de formar parte de los procesos de institucionalización de la
evaluación universitaria a incorporar en el Espacio Europeo de Educación Superior.
FIGURA 1
Modelos de evaluación de la calidad de la Educación Superior
(resumido de Barrenetxea, Cardona y Echebarría, 2006)
TIPOS DE
OBJETIVOS VENTAJAS INCONVENIENTES
EVALUACIÓN
A. Evaluaciones orientadas políticamente (pseudos-evaluación)
A.1. Estudios El objetivo es aumentar o La información se puede dar de forma
controlados mantener su esfera de selectiva para crear una imagen
políticamente influencia distorsionada de la valía de un objeto
A.2. Estudios El propósito es ayudar a crear Hay una tendencia a sesgar la
inspirados en una imagen positiva de la información para obtener una buena
relaciones públicas institución imagen del objeto de evaluación
B. Evaluaciones orientadas a resolver cuestiones específicas
B.1. Estudios La intención es determinar si se Con objetivos, claramente El establecimiento de objetivos
basados en han cumplido los objetivos cuantificables, la evaluación difícilmente medibles o poco
objetivos es sencilla de realizar significativos
B.2. Estudios de La intención es proveer a los Son populares entre los Produce malestar y asperezas entre
rendición de gobiernos de una contabilidad poderes públicos los profesionales de la educación y los
cuentas precisa de los resultados que encargan estos estudios. Peligro
obtenidos y asegurar que sean de ofrecer una información sesgada
positivos por parte de las instituciones
B.3. Estudios de La intención es determinar las Ofrecen métodos robustos par Tienden a ofrecer información
investigación relaciones causales entre establecer relaciones causales Terminal que no sirven para guiar el
experimental variables dependientes e inequívocas ente las variables proceso de desarrollo
independientes
B.4.Programas de La intención es comparar el Son eficientes para saber el Acostumbra al alumnado a realizar
tests resultado del test entre nivel de conocimiento de los tests de múltiples opciones
estandarizados individuos y grupos estudiantes
B.5. Sistemas de El propósito es ofrecer la Ofrece información a los Dificultad de definir el producto de la
gestión de la información que los gestores gestores para planificar, educación para poder obtener
información necesitan para planificar, dirigir monitorizar y controlar información sobre el mismo
y controlar los programas operaciones complejas
C. Evaluaciones orientadas a valorar o mejorar
C.1. Estudios de Establecer si las instituciones Permiten emitir un juicio sobre Las instituciones no participan en el
acreditación / cumplen unos estándares la calidad de las instituciones, establecimiento de las cuestiones a
certificación mínimos y cómo pueden ser del personal o del programa analizar
mejorados
C.2. Estudios La finalidad es identificar y Son esenciales para guiar a Facilidad de caer en la corrupción
políticos valorar los costes y beneficios las instituciones y a la
potenciales de políticas sociedad
alternativas
C.3. Estudios Su finalidad es proveer Anima a los educadores y La colaboración entre el evaluador/a y
orientados a la conocimiento para la toma de educadoras a usar la quien ha de tomar las decisiones
toma de decisiones decisiones evaluación continua introduce oportunidades para sesgar
los resultados
C.4. Estudios El propósito es juzgar los Es una evaluación Puede ser tan independiente de los
centrados en el méritos relativos de bienes y independiente que intenta oferentes del servicio que puede no
consumidor servicios educativos alternativos proteger los productos de baja ayudarles a mejorar el servicio
para ayudar al consumidor a calidad a los educadores y ofertado a los consumidores. Es un
llevar a cabo una buena consumidores enfoque costoso
compra de los mismos
C.5. Estudios Toman en cuenta la visión de la Es un enfoque orientado a la Falta de credibilidad externa y su
centrados en el autonomía local y ayudan a la acción en el que la gente susceptibilidad de sesgo por los
cliente gente involucrada en un implicada en los programas agentes locales
c) Determinar las recomendaciones para un uso adecuado de los indicadores del modelo
MIECEEES, a partir de los presupuestos marcados por Hammond (1991): insuficiencia con los
datos numéricos, necesidad de diseñar múltiples indicadores para entender una situación
determinada, revisión continua del sistema, motivos de cambio y respuestas aportadas y
provecho de los indicadores para posteriores evaluaciones.
Los instrumentos de recogida de datos han sido, por una parte de naturaleza cuantitativa, en su
mayor parte escalas de tipo Likert y, por otra, se diseñó un proceso de recogida de información a través de la
aplicación de la técnica Delphi.
Se ha trabajado con dos grupos muestrales diferenciados. Por una parte se ha seleccionado un
grupo de expertos en el tema objeto de esta acción que han constituido el grupo monitor de la técnica Delphi
para validar el modelo MIECEEES, compuesto por un total de diez profesionales pertenecientes a las
universidades de Córdoba, Salamanca y Nacional de Educación a Distancia. Todos ellos son reconocidos
expertos en el tema en cuestión y pertenecen a diferentes áreas de investigación como son: la política
educativa, la educación comparada, la evaluación institucional, la investigación evaluativa y la gestión
universitaria. Por otro, se ha contado con un grupo de estudiantes que han servido de base para llevar a
cabo el estudio psicométrico del modelo derivado de la aplicación del método anterior. Han sido un total de
153 estudiantes de la Facultad de Ciencias de la Educación de la Universidad de Córdoba quienes han
participado en esta fase, seleccionados de forma aleatoria estratificada atendiendo a criterio de clasificación
como el sexo y el ciclo al que pertenece la titulación que están cursando, siendo equitativa su distribución a
lo largo de los diferentes cursos académicos que las conforman. El grupo se caracterizó por pertenecer a
titulaciones de primer y segundo ciclo, como Magisterio (f=100, 66.7%) y Psicopedagogía (f=50, 33.3%). Su
distribución por sexos ha sido homogénea (44.4% de hombres y 55.6% de mujeres).
Por estas razones, se presentó un modelo con los indicadores más significativos que, desde el
punto de vista de los estudiantes, definen una institución de calidad (ver figura 2). Está formado por un total
de 8 dimensiones que han dado lugar a 20 indicadores, definidos operativamente a partir de 62 variables.
FIGURA 2
Modelo de indicadores de evaluación de la calidad de la Universidad en el EEES (MIECEEES)
Dimensión Indicador
Académicas Desarrollo de estrategias y habilidades para el desarrollo personal y social
Competencias Formación teórico-práctica
Profesionales
Cualidades necesarias para acceder a un empleo
Información universitaria Información sobre la oferta docente y el funcionamiento interno de la Universidad
Rol del estudiante universitario Integración del alumnado en la comunidad universitaria
Valoración del sistema de tutorías
Sistemas de orientación y tutoría
Demandas en la acción tutorial
Metodología docente
Metodología
Trabajo del alumnado
Evaluación del rendimiento Recepción de información sobre el rendimiento académico
académico Criterios de evaluación empleados para valorar el rendimiento académico
Satisfacción del alumnado con el clima institucional
Satisfacción del alumnado hacia la docencia recibida
Satisfacción del alumnado hacia el sistema de tutorías
Satisfacción del alumno con la evaluación de su rendimiento académico
Satisfacción del alumnado Satisfacción del alumnado con los servicios y actividades
Satisfacción del alumnado con los recursos e instalaciones
Satisfacción del alumnado con los materiales curriculares
Satisfacción del alumnado con los organismos de gestión
Índice de satisfacción general del alumnado
El proceso seguido para validar el modelo MIECEEES por parte de expertos por medio de esta
técnica ha sido el siguiente:
El primer paso consiste en definir claramente los objetivos que se persiguen con la realización del
Delphi. En este caso, el propósito final ha sido: ponderar un sistema de indicadores de evaluación de la
calidad de la Universidad, en el marco del Espacio Europeo de Educación Superior, desde la perspectiva del
alumnado
A continuación, es preciso definir el objeto de estudio en cada ejercicio particular. Definido éste, se
debe proceder a especificar detalladamente el tema que se quiere investigar. Es necesario acotar la
investigación hasta el punto de dejar claramente especificadas las variables que presentan el mayor interés
para el grupo investigador. Básicamente, resumimos el tema en los siguientes términos: la aplicación de la
técnica Delphi tiene por objetivo determinar de forma consensuada la asignación de pesos a los diferentes
elementos que definen un problema de cara a establecer prioridades, en nuestro caso, un sistema de
indicadores de evaluación cuyo eje central de estudio es la valoración, por parte del alumnado universitario,
de la calidad percibida en la institución universitaria en el proceso latente de incorporación del sistema
universitario español al Espacio Europeo de Educación Superior
Que los componentes de este grupo conozcan la metodología Delphi. El desconocimiento del
método en cualquiera de sus aspectos puede llevar a errores, ya sea en el diseño, en la
conducción o en la evaluación de resultados.
Es deseable que un cierto número de personas del grupo sean investigadores académicos que
tengan alguna relación con el tema que se quiere estudiar.
Las personas que integran el equipo monitor deben poseer una gran imaginación y creatividad.
El estudio de temas acerca del futuro exige desvincularse de antiguos patrones que impiden ver
lo nuevo.
Una de las etapas más importantes en el ejercicio Delphi es el diseño, elaboración y envío de los
cuestionarios que contienen las preguntas y la información en relación al tema de evaluación. La confección
de las preguntas y formas de seleccionar y representar la información son aspectos determinantes, entre
otros, de los resultados del ejercicio, razón por la cual requieren de un estudio y discusión más detallados.
Para recoger la información referente a los indicadores del modelo y su definición operativa se ha
diseñado un primer cuestionario, formado por un protocolo de ítems de valoración escalar y una serie de
preguntas abiertas donde el grupo tenga libertad de expresión. El instrumento está definido por las
siguientes características:
Diseñado el primero de los instrumentos a evaluar por parte del grupo de expertos, que responde al
modelo MIECEEES objeto de evaluación, se solicitó al citado grupo la realización de dos tareas principales:
Valorar la importancia de cada ítem asignándole una puntuación del 1 (nada importante) al 5
(muy importante). No se trata de responder al cuestionario sino de establecer la importancia
que el indicador de referencia de cada ítem tiene para el conjunto del modelo que tratamos de
ponderar.
Hay que destacar que todos los ítems planteados han sido valorados como bastante o muy
importantes para la conformación de un modelo que evalúe la calidad de la formación universitaria recibida
por el alumnado en el Espacio Europeo de Educación Superior. Son destacables las observaciones que, en
su amplia mayoría, aportan referencias para la reformulación de indicadores, así como la inclusión en los
mismos de definiciones operacionales ausentes en sentidos tales como: redefiniciones, integraciones de
unos elementos en otros, apreciaciones subjetivas de algunos de ellos e inclusión de nuevos indicadores.
Analizadas las aportaciones ofrecidas por el grupo de expertos en la segunda aplicación del
cuestionario Delphi, el modelo definitivo ha quedado constituido como un instrumento formado por un total
de 6 dimensiones, 19 indicadores y 85 ítems que definen operativamente los indicadores del modelo de
evaluación de la calidad en el Espacio Europeo de Educación Superior. Todos los elementos que conforman
cada uno de los indicadores cobran similar importancia (bajas desviaciones típicas) para todos los jueces.
Asimismo, fueron escasos los comentarios aportados por el grupo de expertos al modelo presentado en el
segundo instrumento, contribuyendo con limitadas referencias significativas a la confección del modelo final.
Una vez elaborado el modelo y validado por medio de la técnica Delphi por un grupo de expertos,
hemos creído conveniente que los usuarios del mismo lo valoren haciendo un juicio personalizado de la
importancia otorgada a las diferentes variables que lo definen y aportando cuantas sugerencias estimen
oportunas para confeccionar el modelo final.
El objetivo de este segundo estudio consiste en valorar el grado de consistencia del instrumento de
medida a emplear (propiedades de la escala y de sus elementos constitutivos) y su adecuación al objeto de
la medición.
En definitiva, para el estudio de la fiabilidad y validez del cuestionario referente al Modelo MIECEEES,
hemos realizado un análisis de consistencia interna con el fin de dotar de significación a los ítems de la
prueba por medio del coeficiente Alfa de Cronbach y un estudio factorial con el objetivo de explorar el
instrumento y averiguar si existe una estructura dimensional en el mismo que pueda servir de base para la
interpretación de los resultados.
La fiabilidad del modelo se ha estimado a partir del coeficiente Alfa de Cronbach, basado en la
correlación ínter elementos promedio. Realizando una primera aproximación al estudio de la consistencia
interna, se advirtió que los valores correspondientes a cada una de las dimensiones del modelo (valores por
encima de 0.9) indican que las relaciones entre los diferentes elementos de esta escala son muy elevadas
(ver tabla 1). Por su parte, el valor total de Alfa en la escala (0.944) indicó una correlación alta, un nivel
elevado de estabilidad en las respuestas, por lo que el modelo presentado a los estudiantes presenta
indicios de garantías de fiabilidad.
TABLA 1
Coeficiente Alfa en las dimensiones y el total del modelo
Dimensión Coeficiente Alfa N
1. Competencias 0.926 153
2. Información universitaria 0.937 153
3. Rol del estudiante universitario 0.903 153
4. Sistemas de orientación y tutoría 0.925 153
5. Metodología 0.908 153
6. Satisfacción del alumnado 0.921 153
Total 0.944 153
Lo que buscamos a continuación es que todas las variables entre las que existe una relación se
agrupen o saturen en un mismo factor, advirtiendo de este modo la existencia de una estructura
dimensional entre los diferentes indicadores que se ajuste al modelo inicialmente establecido (González,
2003). Por este motivo, se aplicó la técnica del análisis factorial con los datos procedentes de los 153
alumnos encuestados.
TABLA 2
Factores obtenidos, elementos constitutivos y aportación al modelo
% de la
Factor Denominación
varianza
1 Competencias académicas 8,525
2 Competencias profesionales (formación) 7,633
3 Competencias profesionales (habilidades de empleabilidad)) 4,973
4 Información universitaria 4,503
5 Rol del estudiante universitario 4,073
6 Valoración del sistema de tutorías 3,929
7 Demandas a la acción tutorial 3,382
8 Metodología docente (adecuación horaria de las actividades) 3,355
9 Metodología docente (recursos para la docencia) 3,036
10 Metodología docente (adecuación personalizada de las actividades 2,881
11 Trabajo del alumnado 2,745
6. El modelo definitivo
Una descripción de cada una de las dimensiones de este modelo es la que se presenta a
continuación:
Dimensión 1: Competencias: Esta primera dimensión tiene por objetivo establecer cuáles son las
competencias académico-profesionales que un estudiante universitario ha de adquirir para
desenvolverse en su entorno personal, social y profesional. La formación basada en
competencias académicas, es decir, aquellas adquisiciones que el alumno ha de conseguir
tras su paso por la institución universitaria, ha de estar caracterizada por una formación integral
basada en habilidades como la del trabajo en equipo, la capacidad de reflexión y la crítica.
Igualmente se hace necesaria la capacidad del autoaprendizaje. Se trata de los enfoques
básicos que se derivan del proceso de convergencia europea. Por su parte, aquellas
competencias necesarias para el desarrollo de la profesión para la que se están formando han
de estar caracterizadas, entre otras cosas, por la aplicación práctica de los contenidos
trabajados en entornos reales, dando especial importancia al empleo de las nuevas
tecnologías. Las cualidades que se precisan, por lo tanto, para acceder a un empleo y que han
de ser trabajadas en las aulas universitarias son, básicamente, la responsabilidad, el
compromiso, la capacidad para tomar decisiones y las habilidades de comunicación.
Dimensión 2: Información universitaria: Este segundo bloque hace referencia a los aportes
informacionales que la universidad ha de otorgar a los estudiantes durante su etapa formativa.
Se precisan, entre otras, las informaciones relacionadas con los programas de las asignaturas,
la oferta formativa y el funcionamiento interno de la universidad.
Dimensión 3: Rol del estudiante universitario: Es preciso que los estudiantes se identifiquen con
su posición de alumnos universitarios, con capacidad para ejercer sus derechos y cumplir con
sus deberes. Es precisa, por lo tanto, su participación en las actividades extracurriculares
organizadas por la Universidad (deportivas, culturales, sociales, etc.), así como su incorporación
en los puestos de gobierno y representación.
Según la clasificación de indicadores aportada por Cuenin (1987), este modelo se caracteriza porque
sus elementos constitutivos son:
Finalmente, señalar que consideramos que se han cubierto con garantías los objetivos propuestos
para esta acción de mejora, pero la insuficiencia temporal y la diversidad de profesionales que han actuado
en la misma han podido ser un obstáculo para el correcto desarrollo de las diferentes tareas propuestas.
Consideramos relevante seguir trabajando en esta línea colaborativa donde profesionales de la docencia
universitaria, gestores y destinatarios de las acciones formativas lleven a término las demandas interpuestas
por un modelo educativo interinstitucional como es la propuesta derivada de la Declaración de Bolonia. El
trabajo, el entusiasmo, la dedicación y la paciencia son competencias que el grupo de trabajo ha generado
y que considera relevantes para su inclusión en la gestación de nuevos modelos de evaluación de la calidad
de procesos institucionales.
Bibliografía
BARRENETXEA, M., CARDONA, A. y ECHEBARRÍA, C. (2006) Una revisión crítica de los modelos de la calidad en la
educación superior. VI Congreso Internacional Virtual de Educación. Palma de Mallorca, 6-26 febrero (CD-ROM).
CUENIN, S. (1987) The Uses of Performance Indicators in Universities: an International Survey, International Journal of
Institutional Managment in Higher Education, 11 (2), 149-162.
Declaración de Bolonia (1999) The European Higher Education Area. Bologna Declaration. Joint declaration of the
European Ministers of Education.
http://www.univ.mecd.es/univ/html/informes/bolonia/Declaracion_Bolonia.pdf (Consulta: 23 de junio de 2009).
DE LA ORDEN, A. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación.
Revista Electrónica de Investigación y Evaluación Educativa, 1-2-
http://www.uv.es/relieve/v3n1/RELIEVEv3n1_2.htm (Consulta: 23 de junio de 2009).
GARDUÑO, L.R. (1999). Hacia un modelo de evaluación de la calidad de instituciones de educación superior. Revista
Iberoamericana de Educación, 21. http://www.rieoei.org/rie21a06.htm (Consulta: 13 de marzo de 2010).
GONZÁLEZ, I. (2003). Determinación de los elementos que condicionan la calidad de la universidad: Aplicación práctica
de un análisis factorial. Relieve: Revista Electrónica de Investigación y Evaluación Educativa, 9 (1), 83-96.
http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_4.htm (Consulta: 30 de marzo de 2009).
GUICHOT, V. (2007). La construcción de la ciudadanía europea, un desafío para la educación en el siglo XXI. Revista de
Ciencias de la Educación, 203, 375-402.
HAMMOND, L. (1991). Creating Accountability in Big City School Systems. New York: ERIC Clearinghouse on Urban
Education.
LINSTON, A. y TUROFF, M. (2002) The Delphi Method: technique and applications. New Jersey: Institute of Technology.
MECD (2003) La integración del sistema universitario español en el Espacio Europeo de enseñanza Superior. Madrid:
MECD.
STUFFLEBEAM, D.L. y WEBSTER, W.J. (1991). An analysis of alternative approaches to evaluation. En G.F. Madaus, M. Scriven
y D.L. Stufflebeam (comps.), Evaluation Models (23-44). Boston: Kluwer.
ANEXO
Modelo de indicadores de evaluación de la calidad de la Universidad en el EEES
Dimensión Indicador Definición operativa
1. Capacidad de reflexión
2. Capacidad de autoaprendizaje
3. Capacidad para evaluar el propio trabajo.
4. Bases para establecer un aprendizaje permanente
1.1.1. Adquisición de
5. Técnicas de comunicación oral
1.1. Compet. competencias para
6. Técnicas de comunicación escrita
Académicas el desarrollo
7. Estrategias para la resolución de problemas
personal y social
8. Capacidad crítica
9. Capacidad de aprender a distancia
10. Estrategias de búsqueda de información
11. Trabajo en equipo
1.2.1. Formación
15. Conocimientos sobre lenguas extranjeras
teórico-práctica 16. Conocimientos básicos sobre las teorías más reconocidas y aceptadas
en torno a los estudios elegidos
17. Capacidad para razonar las acciones y actividades basándose en
teorías y métodos reconocidos
18. Capacidad de valorar la ética y la moral de la rama profesional.
19. Capacidad para tomar decisiones
20. Habilidades comunicativas
1.2. Compet.
profesionales
21. Adquisición de estrategias de organización y planificación
22. Capacidad para establecer relaciones interpersonales
23. Estrategias para adaptarse a diferentes situaciones de la realidad
profesional
1.2.2. Habilidades de 24. Habilidades para solucionar problemas reales.
empleabilidad 25. Capacidad de iniciativa en la realización de tareas prácticas
26. Capacidad de trabajar en equipos multidisciplinares y efectuar una
amplia variedad de funciones
27. Estrategias para al análisis de problemas y situaciones complejas
28. Capacidad de responsabilidad y compromiso
29. Autoconfianza
30. Actitud positiva hacia la realización de las tareas
31. Información sobre los programas de las asignaturas de la titulación en
2.1. Información curso
sobre la oferta
32. Información recibida sobre la oferta formativa de la Universidad
2. Información formativa y el
universitaria funcionamiento 33. Información recibida sobre el funcionamiento interno de la Universidad
interno de la 34. Información sobre convenios de colaboración entre la Universidad y
Universidad empresas y otros organismos para la realización de actividades prácticas,
deportivas, culturales y sociales
3.1. Integración del 35. Participación en los órganos de gobierno y representación
3. Rol del estudiante alumnado en la 36. Participación en el desarrollo óptimo de las actividades docentes
universitario comunidad 37. Participación en las actividades extracurriculares organizadas por la
universitaria Universidad
38. Nivel de asistencia a las tutorías
39. Adecuación del horario destinado a tutorías
4.1. Valoración del
sistema de tutorías
40. Utilidad de las tutorías individuales
41. Utilidad de las tutorías grupales
4. Sistemas de 42. Utilidad de las tutorías no presenciales
orientación y tutoría 43. Grado en el que las tutorías sirven para informar y orientar sobre
aspectos académicos
4.2. Demandas en la
acción tutorial 44. Grado en el que las tutorías sirven para informar y orientar sobre
aspectos profesionales (salidas profesionales, prácticas laborales, becas de
investigación, asesoramiento en la toma de decisiones, etc.)
45. Transmisión de los contenidos teóricos según lo programado
5.1. Metodología 46. Transmisión de los contenidos prácticos según lo programado
5. Metodología
docente 47. Adecuación del horario a las actividades propuestas
48. Adecuación de la distribución de las actividades teóricas y prácticas en
el horario
49. Utilización de recursos multimedia en el aula
50. Existencia de materiales curriculares disponibles en la red
51. Adecuación de los sistemas de docencia en red a las demandas
formativas
52. Fomento de la participación del alumnado en las sesiones de clase
53. Fomento de la autonomía del alumnado
54. Desarrollo de actividades grupales
55. Calidad del papel mediador del profesorado entre el nuevo
conocimiento y las capacidades del alumnado
56. Nivel de asistencia regular a sesiones presenciales
57. Nivel de participación/implicación en las sesiones presenciales
5.2. Trabajo del 58. Aprovechamiento de las horas semanales dedicadas al estudio y a la
alumnado preparación de exámenes
59. Aprovechamiento de las horas semanales dedicadas a la realización
de trabajos prácticos
60. Valoración de la información que proporciona el profesorado al
5.3. Información
alumnado acerca de los criterios a través de los cuáles se le va a evaluar
sobre el rendimiento
5. Metodología académico 61. Valoración de la información recibida por el alumnado de manera
continua respecta a su rendimiento académico
62. Existencia de sistemas de evaluación inicial
5.4. Criterio de 63. Grado de adecuación entre el tipo de prueba utilizada y la competencia
evaluación a evaluar
empleados para 64. Valoración de los diferentes procedimientos utilizados para valorar el
valorar el rendimiento académico del alumnado
rendimiento 65. Grado de concordancia entre las calificaciones obtenidas y los
académico esfuerzos realizados
66. Existencia de sistemas de evaluación continua
67. Valoración de las relaciones mantenidas con los compañeros de clase
68. Valoración del grado de atención del profesorado hacia el alumnado
6.1. Satisfacción con 69. Valoración de la atención recibida del Personal de Administración y
el clima institucional Servicios
70. Valoración de la atención recibida de los órganos de gobierno y
representación (equipo decanal, dirección de departamentos, consejo de
estudiantes, etc.)
71. Grado de interés por la docencia recibida
6.2. Satisfacción 72. Adecuación de los materiales curriculares a los contenidos impartidos
hacia la docencia 73. Adecuación de los contenidos al perfil profesional
recibida 74. Capacidad del profesorado para transmitir los conocimientos al
alumnado
75. Adecuación de las respuestas del profesorado a las demandas del
alumnado
6.3. Satisfacción
hacia el sistema de
76. Valoración del nivel de implicación del profesorado en el asesoramiento
académico-profesional del alumnado
tutorías
77. Valoración del grado de utilidad de las tutorías para el desarrollo
6. Satisfacción del académico-profesional del alumnado
alumnado 6.4. Satisfacción con
la evaluación de su 78. Nivel de satisfacción con los sistemas empleados para evaluar el
rendimiento rendimiento académico
académico
6.5. Satisfacción con
los servicios y 79. Nivel de satisfacción con los sistemas empleados para evaluar el
actividades ofrecidos rendimiento académico
por la Universidad
6.6. Satisfacción con
los recursos e
80. Nivel de satisfacción percibida hacia los recursos e instalaciones
habilitados para el desarrollo de las diferentes actividades
instalaciones
6.7. Satisfacción con
los materiales
81. Nivel de satisfacción percibida con los materiales de apoyo para la
docencia utilizados en el aula
curriculares
82. Grado de confianza en la Universidad
6.8. Satisfacción 83. Cumplimiento de las expectativas de formación
general con la 84. Valoración personal de la calidad de la enseñanza recibida
Universidad 85. Valoración de la adaptación de los planes de estudios al Espacio
Europeo de Educación Superior
193
Organización
de Estados
Iberoamericanos
Para la Educación,
la Ciencia
y la Cultura
(*) José María Ruíz Ruíz es profesor titular de Didáctica y Organización Escolar de la Facultad
de Educación de la Universidad Complutense de Madrid. Licenciado por esta Universidad, se
doctoró posteriormente en la de Oviedo, luego de haber hecho cursos para ese mismo grado
en universidades de Chile, Argentina, Colombia y en otras de la propia España. Ha impartido
diferentes cursos y seminarios de doctorado y es autor de numerosos trabajos científicos, de
libros y de monografías.
«La evaluación de los centros educativos es uno de los aspectos de más difícil tratamiento por la
disparidad de posturas con las que se enfoca el proceso y la multiplicidad de aspectos que influyen
e intervienen en el funcionamiento y rendimiento del centro» (Escudero 1980, pág. 15).
En los catorce años transcurridos desde esta afirmación de Escudero el campo de la evaluación
educativa ha cambiado bastante. A medida que surgen innovaciones y proliferan programas de
acción, la necesidad de evaluarlos y de identificar sus méritos y limitaciones se hace mayor. Esto
supone la multiplicación y diversificación de las experiencias de evaluación.
Introducción
En la medida en que los resultados de la evaluación inciden en la toma de decisiones importantes
aumenta la probabilidad de que la evaluación sea cuestionada. En este sentido, adquiere mayor
relevancia el aumento de la preocupación por el rigor y la calidad de la evaluación.
Con respecto al concepto, el término evaluación incluye varias acepciones que se suelen
identificar con fines muy diversos: valorar, enjuiciar, comparar, controlar, fiscalizar, etc.
Nos inclinamos a definir la evaluación de acuerdo con Babio Galán, et al., como el «proceso de
análisis estructurado y reflexivo, que permite comprender la naturaleza del objeto de estudio y
emitir juicios de valor sobre el mismo, proporcionando información para ayudar a mejorar y ajustar
la acción educativa» (Babio Galán 1992).
Para evaluar centros no podemos limitarnos únicamente al simple proceso de evaluación, sino que
ésta debe proporcionar bases para la corrección y la mejora. Se evalúa para mejorar o para
cambiar.
Desde el punto de vista del agente que realiza la evaluación podemos distinguir entre la
evaluación externa, cuando es llevada a cabo por personas ajenas al centro escolar, y la
evaluación interna, cuando son los propios implicados los que sienten la necesidad de la
evaluación y se encargan de realizarla.
Aunando lo expuesto en los dos párrafos anteriores, nuestro trabajo se circunscribe al tema de la
«Autoevaluación Institucional centrada en el cambio».
1. Fundamentación teórica
1.1. Conceptualización del modelo
Como hemos dicho en la introducción, el modelo de evaluación que vamos a realizar es el de la
autoevaluación institucional centrada en el cambio.
«La evaluación es el enjuiciamiento sistemático de la valía o mérito de un objeto. Ahora bien, tal
enjuiciamiento o valoración se basa en una recogida sistemática de información que se recoge
para entender muy diversos objetivos, pero que pueden quedar englobados en la toma de
decisiones de mejora».
De acuerdo con Mateo (1989), toda evaluación está inmersa en lo que se conoce como estrategia
de cambio. Según J. Elliot (1977), M.C. Donald (1978) y M. Simons (1981), hay un consenso
general en pensar que la evaluación es, probablemente, el mejor camino o al menos el primer
paso para promover cambios positivos en las personas o en las instituciones.
Los trabajos de W.G. Bennis, K.D. Benne y R. Chin (1969), plantearon ya que en los cambios hay
que considerar tres grandes categorías de estrategias:
a) Cuando intervienen aquellos que tienen autoridad legal para alterar las condiciones
(estrategias coercitivas).
b) Cuando presumimos que las personas cambiamos cuando existe una demostración como
resultado de una actividad investigadora, en razón de nuestra racionalidad (estrategias empírico-
racionales).
c) Cuando se presume que los patrones de acción son mantenidos por la natural acomodación
de los individuos a las normas socio-culturales (estrategias normativo-reeducativas).
En este trabajo vamos a utilizar el modelo denominado evaluación interna. Esta puede ser
promovida desde las instancias interiores o exteriores al centro educativo. Básicamente tales
dimensiones de evaluación interna están orientadas al desarrollo del personal y a la mejora
consiguiente del sistema.
En nuestro caso son los mismos interesados los que sienten la necesidad de conocer la realidad
de su centro, a fin de tomar las decisiones pertinentes.
Las ventajas de este enfoque interno tienen que ver sobre todo con la valía, la validez y la
fiabilidad de los datos aportados y con la superior implicación del personal en las condiciones de
mejora.
La calidad de los datos es, en efecto, superior. La fiabilidad se supone cuando las personas del
centro, por su propia voluntad, se comprometen en un proceso cuya viabilidad y utilidad dependen
de los datos recogidos. Por lo que respecta a la validez se puede afirmar algo similar, pues no se
trata de que personas ajenas «interpreten» comportamientos, induzcan actitudes o presuman
valores, sino que son los mismos autores quienes de modo voluntario los ofrecen. El superior
protagonismo de educadores y educandos nos hace pensar que podrán reconocer con mayor
claridad y precisión las necesidades existentes y seleccionar la información más pertinente e
importante para interpretarla con mayor riqueza de matices, por el mayor conocimiento del
contexto en el que surgen.
También conviene resaltar que este enfoque de evaluación interna tiene una más elevada
potencialidad de mejora como consecuencia de que su origen se da en el seno del grupo.
Los principios que constituyen dicho modelo se pueden resumir en los siguientes puntos:
3. Participa de los enfoques conceptuales: social, abierto, dinámico, cultural y positivo. Comparte
la teoría moderna de la organización y sus indicadores pertenecen a las fases Criterial,
Presupuestaria, Metodológica e Informativa.
Este modelo intenta combinar una opción cuantitativa y una cualitativa en la evaluación del centro
escolar. Esto aporta múltiples beneficios, pues permite evaluar desde dos visiones paradigmáticas
diferentes. La utilización de los dos métodos enriquece notablemente la investigación evaluativa
institucional, ya que se atiende a los muchos propósitos que normalmente presenta una institución
educativa.
La utilización de una evaluación cuantitativa y cualitativa se justifica por las siguientes razones:
b) Una evaluación de centros precisa de una muestra aleatoria, de encuestas por muestreo, de
técnicas de recogida de datos, todo ello con cierto nivel de estandarización y objetividad, es decir,
con una evaluación cuantitativa.
El B.A.D.I. es una batería diseñada para evaluar aquellas áreas de identificación que permiten
conocer si un centro reúne las condiciones mínimas que requiere la aplicación de la Reforma.
Los elementos que lo constituyen son los que a continuación exponemos y que responden a estas
preguntas:
- Definición ideológica.
- Definición pedagógica.
- Estructura organizativa.
- Coordinación.
- Clima de centro.
- Equipo directivo.
- Profesores.
- Alumnos.
- Presencia.
- Utilidad.
- Opinión.
- Intervención.
- Evaluación.
a) Definición ideológica.
- Educación democrática.
- Comunidad educativa.
b) Definición pedagógica.
- Proyecto educativo.
c) Estructura organizativa.
- Organigrama.
d) Coordinación.
198
- Ciclos y niveles.
- Equipos docentes.
- Orientación.
e) Clima de centro.
- Participación.
- Condiciones laborales.
- Condiciones económicas.
- Comisión de conflictos.
f) Innovación pedagógica.
- Formación permanente.
- Experimentación (actividades).
- Evaluación.
- Edificios.
- Patios.
- Bus.
- Comedor.
- Financiación.
- Cada módulo es independiente y puede plantearse desde dos aspectos: como instrumento
modular de área y como instrumento modular de criterio.
En cuanto a los cuestionarios, existen seis: uno para cada una de las áreas de identificación. Cada
uno de los mismos se aplica a los diferentes estamentos implicados.
199
Por lo que respecta a las entrevistas, existen tres formularios estructurados que atienden a los
siguientes criterios:
La Autoevaluación Institucional
La evaluación institucional es una necesidad no muy sentida y ejercitada. Cada profesor actúa en
su aula y se preocupa fundamentalmente de la evaluación de sus alumnos.
La autoevaluación puede ser total (de todos los aspectos del centro) o limitarse a algunas parcelas
concretas según las exigencias temáticas, la disponibilidad de tiempo y la urgencia en la solución
de problemas. Puede analizar resultados de los estudiantes, de cómo se organizan los horarios,
de cómo son las relaciones, de cómo se distribuye el espacio, de cómo se trabaja con distintos
métodos, etc.
Es frecuente que los centros, como cualquier organización, presenten fallos, errores de
planteamiento, procesos inadecuados, niveles de logro manifiestamente insuficientes, que
requieren cambios difíciles de lograr si no se modifican determinadas actitudes y concepciones
desfasadas o erróneas sobre la enseñanza, la educación, la organización o la participación.
En ocasiones, los cambios implican la resolución de conflictos: los intereses contrapuestos, las
diferentes formas de ver una realidad, los objetivos institucionales no aceptados o no asumidos
personalmente por el personal, las formas autocráticas de gobierno o la dirección anárquica,
pueden conducir a situaciones de desgobierno, de descoordinación, de luchas internas que se
oponen de raíz al buen funcionamiento del centro.
También es posible que los cambios sean necesarios sólo porque, en determinadas dimensiones,
la evolución del saber va aportando nuevos conocimientos cuya incorporación a la vida del centro
y del aula producen de por sí unos efectos positivos.
Con la evaluación institucional es posible detectar los niveles, las funciones, las actitudes, las
relaciones o comportamientos que ponen de manifiesto dificultades, problemas, conflictos e
irregularidades. El estudio de los mismos permite, tras decidir un orden de prioridades, la toma de
decisiones de mejora y la posterior evaluación parcial, localizada en tales aspectos, más detallada
y profunda que la anterior.
Por lo tanto, es conveniente utilizar este instrumento evaluador en situaciones institucionales con
la intención de mejora, para la recogida de información o la indicación de las diferencias y
problemas detectados, para el diseño de intervenciones específicas y el seguimiento de un
desarrollo a fin de asegurar su éxito, para la potenciación de aspectos considerados satisfactorios
en función de una nueva situación, así como la incorporación de innovaciones, lo que supone una
renovación y un crecimiento de la institución. 200
2. Radiografía del centro
IDENTIFICACIÓN
C. P. Fuenlabrada. Madrid.
Tipo de centro
Contexto
ETAPAS IMPARTIDAS: Ed. Infantil, 1er y 2º ciclo de Primaria, 5º, 6º, 7º Y 8º de E.G.B.
1 aula de P3
1 « de P4
1 « de P5
1 « de 1º
2 « de 2º
1 « de 3º
2 « de 4º
2 « de 5º
3 « de 6º
4 « de 7º
4 « de 8º
1 « de 3º
Nº DE ALUMNOS: 400
20 Definitivos
201
8 Provisionales
4 Interinos
1 Comisión de Servicios
1 Profesora de Religión
Ed. Infantil: 3
Matemáticas: 4
Sociales: 3
Lengua: 3
Inglés: 3
Ed. Física: 2
Pedagogía Terapéutica: 4
Audición y Lenguaje: 1
P.I.P.O.E.: 1
Religión: 1
EDIFICIO Y EQUIPAMIENTO
El centro se compone de tres edificios: uno central y dos destinados originalmente a la educación
infantil.
2 pistas polideportivas.
1 patio de recreo.
1 sala de pretecnología.
1 biblioteca.
1 sala de profesores.
1 huerto escolar.
No existen espacios para tutorías, departamentos, sala de reuniones, salón de actos, etc.
Socioeconómico
El centro está situado en el barrio de «El arroyo» de Fuenlabrada, población del cinturón industrial
de la zona sur de Madrid.
Se trata de una barriada no estable, formada en sus dos terceras partes por familias inmigrantes
que han llegado a la zona hace aproximadamente diez años.
El barrio se caracteriza por el bajo nivel económico y cultural de sus habitantes, que son en su
mayoría relativamente jóvenes, situándose la edad media entre los 30 y los 40 años.
A esta situación contribuye el escaso número de servicios culturales y de ocio y tiempo libre que
posee el barrio, donde sólo se cuenta con una biblioteca municipal y con un polideportivo.
El nivel económico y cultural de las familias repercute sobre la vida escolar y sobre el rendimiento
del alumnado de forma negativa, ya que las expectativas de las familias con respecto a la escuela,
así como su grado de participación en la vida escolar, son bastante reducidos.
Todo esto hace que el nivel académico del alumnado sea bastante bajo. Los principales defectos
detectados se refieren al ámbito de la expresión oral.
3. Aplicación práctica
3.1. Propuesta de la necesidad de la evaluación. Enfoque y opción
metodológica
3.1.1. Propuesta
Como vemos, se trata de una evaluación institucional interna y más específicamente centrada
en el cambio, ya que se pretende conocer si el centro está preparado para acometerlo.
203
Como metodología se opta por la autoevaluación modular, ya que este tipo permite conocer la
situación en que se encuentran los diferentes módulos que intervienen en la vida educativa del
centro, haciéndolo más o menos eficaz.
Así mismo, esta batería permite recoger información de todos los estamentos que componen la
comunidad educativa.
Posteriormente el director, como presidente del centro escolar, lo plantea en el mismo, explicando
las razones que justifican la necesidad de esta evaluación, el objetivo que se pretende y la forma
en que habrá de realizarse. Por último, el Consejo Escolar aprueba la propuesta.
La responsabilidad de llevar a la práctica esta labor recae sobre el equipo directivo, en el que el
director es el coordinador de la autoevaluación. El jefe de estudios y el secretario colaboran con él
en la aplicación de la batería y en el vaciado de los datos reflejados en la misma.
Equipo directivo.
Claustro de profesores.
A.P.A.
Alumnos de 8º curso.
P.A.S.
Director.
Alumnos.
P.A.S.
Cada uno de los estamentos se reunió separadamente en la biblioteca del centro, explicándosele a
continuación las normas de cumplimentación del cuestionario que se le iba a pasar. La sesión
transcurrió con normalidad, sin que surgieran dificultades dignas de mención.
Con respecto a las entrevistas, se llevaron a cabo en el despacho del Director de forma
individualizada, contando con la máxima colaboración de cada uno de los entrevistados. Tampoco
hubo incidencias significativas a lo largo de dichas entrevistas.
Como había cinco estamentos diferentes, logramos cinco tablas de puntuaciones generales.
Además, en un momento posterior, dicha información se trasladó a una segunda tabla en la que
estuvieron presentes todos los estamentos y, como en la anterior, cada una de las áreas de
identificación.
Así vimos reflejada de forma clara y precisa toda la información perteneciente a cada uno de los
módulos por estamentos.
Esta tabla de puntuaciones modulares aportó una visión global de los resultados, al agrupar
puntuaciones de todos y cada uno de los estamentos con respecto a cada una de las áreas de
identificación.
EQUIPO DIRECTIVO
PROFESORES
A.P.A.
ALUMNOS
PUNTUACIÓN MODULAR
EQUIPO
MÓDULO PROFESORES A.P.A. P.A.S. ALUMNOS MEDIA
DIRECTIVO
Definición Ideológica 4 4 3 3 3 3,4
Definición Pedagógica 3 3,5 4 4 3 3,5
Estructura Organizativa 4 3 4 4 4 3,8
Coordinación 3,5 4 3 4 4 3,7
Clima Institucional 5 4 4 4,5 5 4,5
Infraestructura Servicios.
3 3 3 2 2 3,7
Financiación
a) Del análisis independiente de cada una de las áreas de identificación podemos inferir estos
resultados:
Este módulo indica si existe en el centro una línea clara y definida de actuación con respecto al
tipo de hombre que se está educando.
Se observa que la valoración por parte del Equipo Directivo, de los profesores y de los alumnos es
satisfactoria, en tanto que para el A.P.A. y el P.A.S. es «indecisa». Posiblemente ello es debido a
que se trata de estamentos menos informados con respecto a este aspecto.
La puntuación más alta es la del P.A.S. y la del A.P.A., siendo algo más baja la del resto de los
estamentos. Tal circunstancia puede sugerir un mayor grado de exigencia por parte de éstos.
Es de destacar que la puntuación más baja corresponde al profesorado (3) que se encuentra en
una situación de «indeciso» con respecto a la estructura organizativa del centro.
Ello sin duda puede ser debido a que los profesores son los más directos implicados en los
resultados y consecuencias del centro, repercutiendo éstos menos sobre los alumnos, sobre el
P.A.S. y sobre el A.P.A.
La diferencia entre el Equipo Directivo y los profesores puede indicar una divergencia entre ellos
con respecto al buen funcionamiento organizativo.
- Área de Coordinación
Mide el grado de acción conjunta y coordinada de todos los elementos estructurados del centro,
fundamentales para conseguir una óptima implantación de la Reforma Educativa.
Se observa que existe un acuerdo entre Equipo Directivo, Profesores, P.A.S. y alumnos, que
puntúan entre 3,5 y 4, en tanto que se refleja una pequeña discrepancia con el A.P.A., que puntúa
3.
La explicación podría ser, como en el área de Definición Ideológica, falta de información entre el
A.P.A. con respecto al grado de coordinación que hay en el centro.
Esta refleja una buena organización del Equipo Directivo, que determina una buena coordinación y
participación de los demás estamentos, teniendo por eso una concepción satisfactoria del trabajo
escolar.
- Área de Innovación
211
Observamos que existe bastante grado de acuerdo respecto a este módulo entre los distintos
estamentos, correspondiendo uno más bajo al A.P.A. y al P.A.S. La discrepancia puede deberse a
que ambos estamentos disponen de información sobre este aspecto.
Analizando las medias de los diferentes estamentos, en este módulo llegamos a la conclusión de
que se da una coincidencia de opiniones al respecto, sin que existan diferencias significativas en
cuanto a puntuaciones medias entre unos estamentos y otros. Así hemos de señalar que, si bien el
centro dispone de los servicios mínimos necesarios para su correcto funcionamiento, no se
encuentra en una situación especialmente favorable.
b) Analizando los resultados de forma global y a la vista de la Tabla de Puntuación general de los
módulos evaluados y del perfil del centro, se observan los siguientes datos:
Todas las áreas de identificación obtienen una puntuación superior a la media, a excepción del
área de Infraestructura, servicios y financiación, que tiene exactamente 3.
Destaca el área de clima institucional, que obtiene la máxima puntuación media otorgada (4,5).
Esto significa que el centro se encuentra en una situación satisfactoria para afrontar la reforma
educativa propugnada por la LOGSE por lo que respecta a las áreas de Definición Ideológica,
Definición Pedagógica, Estructura Organizativa, Coordinación e Innovación; en una situación muy
satisfactoria en el área de clima institucional y en una situación aceptable en cuanto a
Infraestructura, servicios y financiación.
Dado que la calificación general del centro es de satisfactoria, no parece urgente realizar
actuaciones con vistas a la continuación de la reforma educativa, ya que se encuentra en una
situación favorable para ello.
No obstante, como el fin último de la evaluación es mejorar los resultados para conseguir una
escuela eficaz que pueda responder con solvencia a las exigencias que la sociedad actual
demanda, proponemos algunas ideas tendentes a la optimización de la calidad educativa en este
centro.
Además, se podría solicitar al CEP de la zona la organización de algún tipo de curso para formar al
profesorado en la mejor manera de aprovechar los recursos existentes. 212
- Como existe en el centro una actividad innovadora que aparece reflejada sobre todo en el Equipo
Directivo, en el profesorado y en los alumnos, se podrían solicitar cursos de formación para todo el
profesorado del centro sobre aquellos aspectos que el claustro considere más importantes,
acogiéndose a la convocatoria del M.E.C. Aunque es el claustro el que debe de elegir, nos
atrevemos a sugerir, como temas de formación, la elaboración del P.C.C. y las adaptaciones
curriculares.
- Puesto que se cuenta con una actividad innovadora en el centro, éste podría participar en las
convocatorias realizadas por el M.E.C. y por la Comunidad Autónoma de Madrid sobre proyectos
de innovación que supongan la participación de profesores, de alumnos y de padres, y que lleven
consigo dotaciones materiales y económicas.
A este respecto sugerimos como posibles proyectos la inclusión de las áreas transversales dentro
del proyecto curricular.
- Realizar reuniones de padres por clases, niveles o ciclos, según las necesidades, para
informales sobre todos los aspectos que se trabajan en el centro, con el fin de que tengan una
visión más global de los factores que intervienen en la actividad educativa y su interrelacción.
- Se podría organizar una escuela de padres en el centro con la colaboración del A.P.A. y del
profesorado, bajo la coordinación del equipo directivo, para tratar aspectos pedagógicos y temas
de interés solicitados por los padres.
El buen clima institucional que queda reflejado en el perfil del centro hace prever que lleguen a
buen término las actuaciones que se planifiquen con vistas a la mejora de su situación para
abordar la reforma educativa.
Con el fin de lograr que la evaluación se convierta en la enseñanza de la autoevaluación hay que
buscar (y por tanto promover) un análisis crítico por parte de los estudiantes respecto del trabajo
realizado, esto es, la autocrítica.
Finalmente, existen una serie de razones que justifican la necesidad de la autoevaluación como
una constante en el sistema educativo:
1. Una persona correctamente formada es aquella capaz de dirigir su propio aprendizaje; en esta
línea, la principal tarea del profesor es hacerse innecesario lo antes posible y, por tanto, habrá que
preparar al alumno para transmitir la función de la evaluación lo antes posible.
Este modelo pretende analizar si un centro está en condiciones de introducir cambios en los
diferentes módulos que plantea el instrumento.
Con dicho modelo ha sido posible detectar los niveles, funciones, actitudes, conflictos... etc., con
cierta irregularidad. Parece conveniente administrar este instrumento evaluador con la intención de
mejora y perfeccionamiento en la vida del centro. La Autoevaluación exige, más allá de la
recopilación de información, una valoración de las discrepancias, una identificación de obstáculos
y una elaboración de alternativas.
Bibliografía
ALVIRA MARTÍN, F. (1991). «Metodología de la evaluación de programas». CSIC. Madrid.
BEARE, H. y otros (1992). «Cómo conseguir centros de calidad. Nuevas técnicas de dirección».
Muralla, Madrid.
CARBALLO SANTAOLALLA, R. (1992). «El impacto de los estudios evaluativos». Revista Bordón,
43 (4). pp. 509-514.
COLÁS BRAVO, M.P. (1993). «Evaluación de programas: una guía práctica». Kronos. Sevilla.
DAVIS, G.A. y THOMAS, M.A. (1992). «Escuelas eficaces y maestros eficientes». La Muralla,
Madrid.
FEASLEY, C.E. (1980). «Program evaluation». American Association for Higher Education.
Washington.
LÁZARO, A. (1991). «La formalización de indicadores de evaluación». Bordón, 43 (4), pp. 477-494.
SANTOS GUERRA, M.A. (1993): «La evaluación: un proceso de diálogo, comprensión y mejora».
Ediciones Aljibe. Málaga.
216
LOS PROCESOS DE EVALUACIÓN Y ACREDITACIÓN DE LAS INSTITUCIONES DE
EDUCACIÓN SUPERIOR EN MÉXICO EN LOS ULTIMOS AÑOS
CARLOS PALLAN FIGUEROA
PRESENTACIÓN.
I. EXPERIENCIAS EN MATERIA DE EVALUACIÓN DE LA EDUCACIÓN
SUPERIOR EN MÉXICO
II. EXPERIENCIA EN MATERIA DE ACREDITACIÓN
III. CONSIDERACIONES GENERALES Y PERSPECTIVAS A FUTURO
BIBLIOGRAFÍA
ANEXOS
PRESENTACIÓN: Contenido
El presente trabajo tiene por objeto describir, en términos generales, algunas de las
acciones más significativas que en materia de evaluación y acreditación de la
educación superior se han emprendido en México, en los últimos cinco años.
En los dos primeros apartados se exponen los rasgos fundamentales que han
caracterizado las acciones desarrolladas para sustentar e impulsar la puesta en
marcha de ambos procesos, así como algunos elementos analíticos que permitan
fundamentar un balance preliminar de su impacto en el contexto de desarrollo de la
educación superior mexicana. En el tercer apartado se plantean algunas hipótesis y
consideraciones generales sobre las perspectivas de estos procesos, en un futuro
próximo.
1. Antecedentes
2. Evaluación institucional
Durante los años de 1990, 1991 y 1992, las universidades públicas aplicaron los
instrumentos de evaluación, a instancias del Grupo Técnico de la CONAEVA. Los
criterios fundamentales para desarrollar las tareas de evaluación se citan en el
Anexo 1.
Los esfuerzos invertidos en los ejercicios de evaluación institucional por parte de las
IES públicas mexicanas, en los últimos tres años, constituyen un elemento clave de
referencia para conocer su realidad y establecer estrategias adecuadas para elevar
el nivel de calidad de la educación superior en nuestro país. Esto es una exigencia
trascendental en el contexto de cambios vertiginosos que vive el mundo actual.
- Evaluación diagnóstica
- Acreditación y reconocimiento
- Dictaminación puntual
- Asesoría.
Los comités han establecido marcos de referencia para la evaluación y han fijado
criterios para realizar sus tareas. Cada comité tiene indicadores particulares, pero
casi todos ellos coinciden en el establecimiento de grandes categorías. Estas se
enuncian en el Anexo 2.
Desde la instalación de los CIEES, y a partir del inicio de sus trabajos, en junio de
1991 y hasta enero de 1994, se elaboraron 48 reportes de evaluación; están por
editarse 41 evaluaciones concluidas y 61 en proceso de elaboración. Lo que hace
un total de 150 trabajos de evaluación.
Dentro del marco de acciones emprendidas en esta materia por el PNME, durante
los últimos años se ha planteado la necesidad de crear un organismo dedicado a
promover acciones de evaluación de la educación superior, que se denominará
Centro Nacional de Evaluación de la Educación Superior (CNEES). En su proyecto
de creación se establecen como algunas de sus principales tareas: la definición de
perfiles de desempeño o niveles de logro académico de los egresados de las IES, la
calificación de tales logros, y la promoción de programas de evaluación institucional.
Esta labor implica producir información lo más "objetiva " posible, sobre el
desempeño de las IES y de sus estudiantes.
5. Evaluación de docentes
La puesta en marcha del PNME, aprobado en 1989, que entre los objetivos de la
evaluación dio especial énfasis al desempeño de los docentes, impulsó la definición
de acciones específicas que atendieran a dos objetivos fundamentales: valorar la
acción de los profesionales de la enseñanza, como una forma de ponderar los
esfuerzos institucionales en la formación de los estudiantes; y, a través de este
proceso, justificar la necesidad de incrementar su retribución.
Durante el año de 1992, de manera consecuente con los lineamientos referidos por
el PNME, y a instancias del gobierno federal, algunas de las principales
Instituciones de Educación Superior públicas desarrollaron proyectos de asignación
de estímulos económicos para sus profesores, con el fin de contrarrestar los
negativos efectos del acelerado proceso de deterioro del poder adquisitivo de los
salarios del personal docente, en la calidad de la educación superior.
De esta manera, se ha emprendido una serie de esfuerzos, entre los que cabe
destacar los siguientes: además de los ya mencionados, los Comités
Interinstitucionales para la Evaluación de la Educación Superior (CIEES), y de las
acciones de evaluación institucional, el establecimiento de criterios de clasificación
de los programas de posgrado por parte del CONACyT; y los criterios para otorgar
223
recursos a través del Fondo para la Modernización de la Educación Superior
(FOMES). Todos estos esfuerzos parecen indicar que el sistema de educación
superior nacional pretende alcanzar una mayor calidad, utilizando procedimientos
de acreditación.
Sólo las instituciones que obtuvieran más del 60% de la suma de ambas
evaluaciones, reunirían las condiciones estipuladas por el Estatuto.
I. Filosofía institucional
II. Propósitos, planeación y efectividad
III. Normatividad, gobierno y administración
IV. Programas educativos
V. Personal académico
VI. Estudiantes
VII. Personal administrativo, de servicio, técnico y de apoyo
VIII. Apoyos académicos
IX. Servicios estudiantiles
X. Recursos físicos
XI. Recursos financieros.
Una condición esencial para que las Instituciones de Educación Superior puedan
llevar a cabo procesos de transformación institucional, es que tengan claridad sobre
su situación prevalecente, sobre lo que aspiran ser, así como interés genuino y
capacidad organizativa para el cambio. Por tanto, la asignación de recursos FOMES
se orientó a apoyar proyectos que estuvieran sólidamente sustentados, que fueran
factibles y que implicaran compromisos concretos de reordenamiento. Para evaluar
los proyectos de desarrollo académico propuesto por las IES, desde 1991 y hasta
1993, la SESIC consideró cinco criterios generales, con sus respectivos indicadores:
Los proyectos deben ser presentados dentro de 10 grandes líneas prioritarias que
fueron asumidos por la CONPES en el Programa Nacional de Modernización:
Cada uno de los proyectos es presentado por las IES públicas en un formato
especial, para ser considerado por la Subsecretaría de Educación Superior e
Investigación Científica de la SEP. Un grupo externo de evaluadores realiza la tarea
de análisis y evaluación de los proyectos, siguiendo los criterios e indicadores
señalados anteriormente.
Por otra parte, considerando las perspectivas a futuro que son previsibles en el
contexto de un nuevo marco de relaciones de intercambio comercial y cultural como
se proyecta con la puesta en marcha del Tratado de Libre Comercio (TLC) entre
Estados Unidos, Canadá y México, los procesos de evaluación y acreditación de la
calidad de la educación superior mexicana y de sus instituciones cobran gran
importancia. Esta importancia se reconoce no sólo por el hecho de que los procesos
de formación de profesionales y de impulso al desarrollo de la ciencia y la
tecnología promovidos por Instituciones de Educación Superior mexicanas deban
mostrar, ante otros países e instituciones extranjeras, garantías de los continuos
esfuerzos de superación y logro de más altos niveles de calidad de las acciones
realizadas para contribuir al desarrollo económico, social y cultural del país; sino
también como ejercicios a través de los cuales se obtendrán elementos de juicio
que contribuyan a reconstruir las estrategias de superación académica en las IES.
Tales estrategias tendrán que estar orientadas a desarrollar competencias
equiparables, o complementarias, a las que presentan los profesionales de los otros
países involucrados en este nuevo contexto de intercambio.
BIBLIOGRAFÍA Contenido
Arredondo, Martiniano, "La función docencia en las IES", en Memoria del Foro
Nacional sobre Opciones de Innovación en Educación Superior, México, ANUIES-
SEP-UANL, 1988.
Southern Association of Colleges and Schools, Criteria for Accreditation, 7th. edition,
Atlanta, 1991.
ANEXOS Contenido
ANEXO 1
2. Investigación:
3. Difusión y extensión:
4. Normatividad y gobierno:
5. Organización:
6. Planeación y evaluación:
7. Financiamiento
7.1 Patrimonio
7.2 Ingresos
7.3 Ejercicio presupuestal
7.4 Control presupuestal.
9. Política educativa:
9 1 En materia de crecimiento
9.2 En materia de financiamiento
9 3 En materia salarial
9.4 En materia de calidad académica.
ANEXO 2
ANEXO 3
- ingreso
- permanencia
- egreso de los estudiantes de posgrado.
- Infraestructura física
ANEXO 4
- grado en que los objetivos de los proyectos reflejan un conocimiento sobre los
requerimientos sociales relacionados con el contenido de los proyectos;
- esfuerzo de las IES por contribuir con recursos propios, estatales y privados para
el desarrollo de los proyectos.
- relación entre las acciones y las metas propuestas, así como entre éstas y el
propósito fundamental del proyecto;
Anexo 5
Procedimiento:
241
GARCÍA López Teresa
¿Qué pasa con la evaluación institucional”
I.E.E.S.C.A. Universidad Veracruzana
242
¿QUÉ PASA CON LA EVALUACIÓN INSTITUCIONAL?
I. INTRODUCCIÓN
∗
Investigadora del Instituto de Investigaciones y Estudios Superiores de las Ciencias Administrativas de la Universidad
Veracruzana
1
Pérez Rocha, Manuel. Evaluación y autoevaluación. Materiales de apoyo a la evaluación educativa, número 27, CIEES, CONAEVA,
ANUIES, SEP.
2
Comités Interinstitucionales para la Evaluación de la Educación Superior, La evaluación interinstitucional de la educación
superior en México, México, CIEES, 15 de enero de 1993.
96
243
I.I.E.S.C.A. Ensayos
3
Arredondo, Víctor, ¿A dónde debe conducir la evaluación de la educación superior?, núm. 79, julio-septiembre de 1991,
México, ANUIES.
4
Astin, Alexander W., ¿Por qué no intentar otras formas de medir la calidad?, Traducción de Carlos Marís de Allende,
artículo presentado en la Revista de Educación Superior No. 78, 1991, ANUIES y reproducido por Materiales de apoyo a la
Evaluación Educativa. Número 4,CIEES, CONAEVA, ANUIES, SEP.
97 244
¿Qué pasa con la evaluación institucional?
5
http://www.uv.mx
6
COPAES: Consejo para la Acreditación de la Educación Superior A.C.; (2001) Marco General para los Procesos de
Acreditación de Programas Académicos de Nivel Superior; México.
98 245
I.I.E.S.C.A. Ensayos
99 246
¿Qué pasa con la evaluación institucional?
100 247
I.I.E.S.C.A. Ensayos
Figura No. 1
Esquema de la situación actual de la evaluación institucional
en la Universidad Veracruzana
Docencia Investigación
Investigadores Proyectos de
Alumnos investigación
Maestros
Conocimiento
Planes y
Programas de Extensión
Difusión
est dio (vinculación)
Evaluación
interna???
101 248
¿Qué pasa con la evaluación institucional?
III. CONCLUSIONES
7
CONACYT. Padrón Nacional de Programas de Posgrado, versión 17 de junio del año 2000. http://www.conacyt.mx.
102 249
I.I.E.S.C.A. Ensayos
103 250
I.I.E.S.CA. Ensayo
Figura No. 2
Propuesta de proceso para la creación de un modelo de evaluación institucional
Crear un sistema de Crear la metodología Creación del sistema Definir los criterios de
información que permita medición considerando
de trabajo de indicadores
generar la información factores exógenos y
necesaria acerca de los
factores de medición endógenos.
104
251
I.I.E.S.CA.
252
105