REPORTE:

LA UTILIDAD DE LAS EVALUACIONES DE SISTEMAS EDUCATIVOS: EL VALOR

DE LA CONSIDERACIÓN DEL CONTEXTO

Presenta:
Guzmán Paz Cristóbal

Información Escolar:
Universidad Interamericana Para El Desarrollo
Maestría en Educación
Cuatrimestre I
Modelo Educativo Y Prospectiva - 21923
Asesor:
Dra. Carolina Vargas Reyes

Lugar y Fecha:
Tapachula de Córdova y Ordoñez, Chiapas a 05 de agosto de 2021
 Introducción

La evaluación es uno de los temas con mayor protagonismo del ámbito educativo, y no
porque se trate de un tema nuevo, sino porque administradores, educadores, padres, alumnos y
toda la sociedad en su conjunto, son más conscientes de la importancia y las repercusiones del
hecho de evaluar o de ser evaluado.
Existe una mayor consciencia de la necesidad de alcanzar determinados estándares de
calidad educativa, de aprovechar adecuadamente los recursos, el tiempo y los esfuerzos, a fin de
responder al nivel de competencia entre los individuos y las instituciones.
Tradicionalmente, la evaluación se ha venido aplicando casi con exclusividad al
rendimiento de los alumnos, a los contenidos referidos a conceptos, hechos, principios, entre
otros, adquiridos por ellos en los procesos de enseñanza, más sin embargo, la actualidad muestra
que la evaluación se ha extendido a otros ámbitos educativos: actitudes, destrezas, competencias,
programas educativos, materiales curriculares , práctica docente, a los centros escolares y al
sistema educativo en su conjunto; así también a las instituciones y empresas que ven en la
evaluación una herramienta de vital valía para el desarrollo y mejora de sus procesos.
De la Orden (Citado en De la Orden, A. y Jornet, J, 2012) comenta que nos referíamos a
la evaluación como una característica inherente a toda actividad humana intencional que se
manifiesta tanto en la vida cotidiana, escasamente planificada, cuanto en la acción sistemática de
las empresas individuales o colectivas del hombre.
En este trabajo se hará un reporte del articulo “LA UTILIDAD DE LAS EVALUACIONES
DE SISTEMAS EDUCATIVOS: EL VALOR DE LA CONSIDERACIÓN DEL CONTEXTO” en el
cual se considerará el análisis de las evaluaciones, como el diseño de los cuestionarios de
contexto es deficiente y como su baja capacidad de explicación del rendimiento es la causa de la
baja utilidad de las evaluaciones de sistemas educativos; de igual forma se hará énfasis en los
aspectos positivos.
 Contenido

Antecedentes
Para empezar con la investigación es importante mencionar a aquellas propuestas e instituciones
que han dado paso al desarrollo de los enfoques en la actualidad.
En el plano internacional, probablemente, los dos organismos que mayor impacto han
tenido en el impulso de las evaluaciones de sistemas educativos han sido la International
Association for the Evaluation of Educational Achievement (IEA) y la Organización para la
Cooperación y el Desarrollo Económico (OCDE).
La IEA se constituye en 1958. Se trata de una organización independiente de las
instituciones naciones de investigación y agencias gubernamentales de evaluación. Su objetivo es
aportar información fiable y valida para poder valorar el efecto de las políticas y prácticas
educativas; Desde su creación, ha desarrollado más de treinta estudios comparados
internacionales, entre los que destacan la Encuesta internacional sobre matemáticas y ciencias
(TIMMS, 1995, 1999, 2003, 2007, 2008 —avanzadas— 2011), o el Estudio internacional sobre
competencia en lectura (PIRLS, 2001, 2006, 2011). Asimismo, ha llevado a cabo otros estudios
de gran trascendencia como, por ejemplo, TIMSS-R Vídeo estudio de prácticas en el aula,
Educación cívica (CIVED y CIEC), Tecnología de la información en la educación (SITIOS-M1,
M2-SITIOS, SITIOS 2006), sobre el uso de ordenadores en la educación (COMPED) y la
educación pre-primaria (PPP), o en educación superior: Maestros de educación para el
Desarrollo y Estudio en Matemáticas (TEDS-M)
Por otra parte, la OCDE, y promovido por el CERI (Centro para la Investigación e
Innovación Educativa) a partir de 1988 pone en marcha su proyecto INES para llegar a disponer
de un sistema de indicadores que coadyuven a los países de la OCDE a valorar y orientar sus
políticas educativas. En este marco, la OCDE entiende la educación como un instrumento
económico, que ayuda al desarrollo personal y social. Ello marca el estilo de indicadores que
incluye en sus estudios. En 1992, como evolución de este proyecto, comienza a publicarse de
forma anual el informe Panorama de la Educación (Education at a Glance). A partir de 1997 se
inicia el Proyecto Internacional de Evaluación de Estudiantes (PISA) dirigido a valorar en
diferentes materias (especialmente las instrumentales) las competencias que tienen adquiridas los
estudiantes de quince años en diferentes países. Se pretende con ello disponer de un indicador de
producto o resultado educativo que permita mejorar la información disponible que se había ido
desarrollando a partir de los proyectos anteriormente citados. En ese mismo año, se pone en
marcha el Proyecto DeSeCo (Design and Selection of Competencies), que se publicó en 2003 y
cuya finalidad es la identificación de las competencias clave para el desarrollo personal y social.
Además de los estudios internacionales, hay que destacar las aportaciones que se han ido
realizando desde diversas instancias nacionales, siendo Estados Unidos quien más ha aportado
con proyectos como la Primary and Secondary Education Act, el informe de Coleman y el
National Assessment of Educational Progress (NAEP) que permiten mejorar la calidad educativa
mediante evaluaciones.
De manera nacional, los países han ido desarrollando sus organismos de evaluación
dependientes del poder publico como los es en México el Instituto Nacional para la Evaluación
de la Educación de México (INEE).
Enfoques
Las informaciones que aportan la mayor parte de instituciones de evaluación, sean
nacionales o internacionales, se estructuran en dos grandes enfoques: indicadores y estudios.
Los enfoques basados en indicadores pretenden aportar datos o resultados que permitan
informar acerca de diversas características de los sistemas. Las fuentes de información suelen ser
las que proveen estadísticas nacionales o internacionales periódicas. Pueden integrar diversas
tipologías de indicadores: económicos, estructurales, y funcionales del sistema. Su utilidad, en
cualquier caso, y dado su carácter macro-analítico, debe circunscribirse en relación a la
orientación de políticas educativas.
Por otra parte, los enfoques basados en estudios han adoptado un modelo que
prácticamente se replica en todas las instituciones y agencias que realizan evaluaciones de
sistemas, sean nacionales o internacionales. Normalmente se trata de estudios muestrales. Sus
características principales pueden sintetizarse en las siguientes:
1. Se estructuran tomando como referencia el producto o resultado educativo que muestra el
alumnado en diferentes materias a través de pruebas estandarizadas. Normalmente, las
pruebas están bien construidas y están sujetas a fuertes controles métricos para asegurar
su fiabilidad y validez.
2. De este modo, se parte del desempeño educativo del alumnado, mostrado en pruebas
estandarizadas, como un indicador de resultado educativo del sistema y, en consecuencia,
 sobre el que informar acerca de la calidad de la educación en diferentes niveles de
organizaciones educativas.
3. Están normalmente estructurados como planes de evaluación de aplicación periódica, si
bien no suelen tener bien resuelta la comparabilidad o análisis longitudinal de los
resultados a través de los años, por lo que uno de sus déficits es la limitada posibilidad de
informar acerca de la evolución de los sistemas.
4. En todos los casos, se suelen incluir los denominados cuestionarios de contexto
5. Las características que suelen tener estos cuestionarios son, entre otras según Jornet
(citado en De la Orden, A. y Jornet, J., 2012):
o Incluyen datos (personales, familiares, sociales), indicadores simples (representados
por un ítem o reactivo), e indicadores complejos (representados por escalas referidas a
constructos.
o De esta forma deducimos que los cuestionarios de contexto recogen realmente
información de entrada, proceso y contexto.
o Suelen elaborarse de forma bastante deficiente, sin referencias a modelos explicativos
del aprendizaje, ni en relación a las posibles preguntas que deberían contestarse con la
evaluación, y que podrían interesar a las partes interesadas.
o Uno de los problemas no resueltos, que probablemente afecta en gran medida a su
desarrollo disciplinar, es la carencia de teorías bien fundamentadas acerca de los
fenómenos que estudian.
o En la recogida de información, se pueden controlar mejor los cuestionarios de
alumnos, profesores/tutores y equipos directivos que los correspondientes a las
familias, lo cual se traduce en una peor representación y mayor posibilidad de
incidencia de sesgos en los elementos contextuales y/o procesales que están fuera del
marco escolar.
Las mayores aportaciones serian:
• La buena definición de las medidas de producto o desempeño educativo, basada en
diseños en que se controla exhaustivamente los instrumentos utilizados.
• El control exhaustivo del muestreo y recogida de información (en los estudios
muestrales).
• La experiencia y conocimiento, que se aporta desde el enfoque investigador.
 • Y, normalmente, el alto impacto social que suelen tener ante la opinión pública y los
administradores educativos.
No obstante, también tienen importantes debilidades; entre ellas podemos señalar las
siguientes:
• A pesar de que las medidas de resultados de aprendizaje suelen estar bien elaboradas y
existen procedimientos útiles para realizar un seguimiento y valorar la evolución de los
sistemas o las consecuencias de programas de mejora o cambios legales, la falta real de
un análisis longitudinal implica una sensible disminución de su valor para la orientación
política en la educación.
• Por otra parte, el mayor problema que podemos señalar es la deficiente definición de las
medidas de contexto, efecto de la escasa atención a sus procesos de diseño, su falta de
referencias teóricas y sus bajos controles métricos.
• Asimismo, es curioso que, recogida la información en las evaluaciones habituales, esta se
aprovecha muy poco. Normalmente, tan solo se analizan las relaciones del desempeño
con algunas variables. Así, podemos afirmar que adolecen de la carencia de una adecuada
atención al análisis explicativo del producto basado en el contexto (sea en relación a
variables de entrada, proceso o contexto propiamente dicho).
• De este modo, aunque el objetivo que anima la realización de estas evaluaciones, tal
como hemos señalado anteriormente, sea principalmente facilitar información para
orientar las políticas públicas, lo cierto es que resultan de escasa utilidad para este
propósito.
• Finalmente, la desconexión con las necesidades de información de las partes interesadas
(equipos directivos, profesorado y familias) supone una gran dificultad para extraer
información de utilidad, es decir, que ayude a elaborar recomendaciones de mejora para
cada una de ellas.
La Utilidad en las Evaluaciones
¿Podríamos incrementar la utilidad de las evaluaciones de los sistemas educativos? Es
una pregunta compleja para responder en el reducido espacio de un trabajo de estas
características, pero se entiende que es posible. Se deben explorar posibilidades de mejora, de
manera que puedan aportarse, a través de la comprobación de sus potencialidades, orientaciones
precisas acerca del modo en que se pueda optimizar esta situación.
 Para ello, nos referiremos en este trabajo a tres posibles líneas de actuación que pueden
abrir el camino para el incremento de la utilidad de las evaluaciones:
• Definir un modelo de referencia para la selección de variables que considerar y
especificar las características conceptuales de la calidad que se pretende evaluar.
• La atención a las necesidades y expectativas de las partes interesadas.
• Los procedimientos o metodologías para la elaboración de los sistemas de cuestionarios
de contexto.
Las dimensiones que se evalúan en los sistemas educativos recorren una amplia variedad
de opciones, dado que su selección depende en gran medida del modelo de gestión política
prevalente y, en consecuencia, del enfoque que se dé a la evaluación. No obstante, se podrían
clasificar las dimensiones usualmente consideradas en los planes de evaluación de sistemas
educativos en cuatro categorías: variables de entrada, de proceso, de producto y de contexto.
Hay que señalar que en esta estrategia se deberían contemplar al menos dos grandes
procesos:
a) Validación de constructo del modelo de explicación, es decir, la definición del modelo
que permite orientar la selección de variables, y
b) La estrategia para poder incluir la medición de las mismas en los cuestionarios de
contexto, de forma que sea operativa para una evaluación de sistemas.
El primer aspecto que tenemos que definir para la elaboración de cuestionarios de
contexto es la identificación de un modelo que oriente de forma satisfactoria la selección de
variables que hay que considerar en los mismos. Este aspecto implica posiciones teóricas y
cuestiones de utilidad de información que están vinculadas a los fines establecidos para cada
evaluación particular.
El segundo elemento que tener en cuenta es el tipo de concepto de calidad que se requiere
evaluar.
De igual forma es importante tomar en cuenta los modelos que permiten la selección de
variables o indicadores y de terminar su rol como lo es el modelo sistema de De la Orden (citado
en De la Orden, A. y Jornet, J., 2012) que permite considerar la relación entre los diversos
componentes y elementos del sistema para las grandes dimensiones de la calidad como
funcionalidad, eficacia y eficiencia, esenciales para valorar el sistema educativo en términos de
la coherencia entre los elementos de entrada, procesos, productos, objetivos y contexto del
sistema educativo.
La evaluación, basada en un enfoque investigador, debe adecuarse para ofrecer respuesta
a las necesidades y expectativas que la sociedad en cada momento le demanda. Ello no implica
comprometer ni el rigor, ni la calidad de la evaluación, sino únicamente reconocer que se trata de
una actividad que está al servicio de una sociedad en un momento histórico determinado.
Por ello, sin descuidar los elementos que se puedan y deban considerar en cuanto a la
validez interna y externa de las evaluaciones, deben priorizarse como elementos constitutivos de
la validez la credibilidad y la utilidad. Difícilmente si una evaluación no resulta creíble para
todas las partes interesadas resultará útil. Y, a su vez, no será creíble aquella evaluación que no
aporte información para resolver los problemas que preocupan a cada una de las partes
interesadas.
A partir de un modelo explicativo que oriente de manera precisa el diseño global de la
evaluación, es necesario derivar e identificar las necesidades de información que se requieren:
a) Para la orientación de la política educativa.
b) Para la mejora de la gestión y administración de las instituciones educativas.
c) Para la innovación en el aula, con el fin de aportar elementos de mejora de los procesos
de enseñanza-aprendizaje y
d) Para la orientación de la sociedad, en especial de las familias, en su papel de
acompañamiento del trabajo escolar.
El tercer elemento sobre el que vamos a reflexionar acerca de las posibilidades de mejora
de la utilidad de las evaluaciones de sistemas es el relativo al diseño de los sistemas de
cuestionarios de contexto.
Una adecuada detección del producto o resultado del sistema —aunque sea limitado a
nivel cognoscitivo, y no considere otro tipo de posibles desarrollos (afectivo, social, emocional,
valores…)— si bien es sumamente necesaria e importante, no es más que la base para que los
planes de evaluación de sistemas educativos puedan aportar la utilidad que se espera de ellos:
detectar la situación del sistema, así como identificar los elementos que puedan dinamizarse para
la mejora del mismo. Ciertamente, esta falta de atención a los factores psico-socioafectivos es
una carencia grave, dado que en todos los sistemas educativos lo que se pretende es una
formación integral de los ciudadanos.
 La deficiente elaboración de los cuestionarios de contexto, se basa habitualmente en la
opinión de los responsables de los planes de evaluación; es decir, no suelen desarrollarse
siguiendo un plan de diseño de instrumentos adecuado, apoyado en la información que a este
respecto puede derivarse de la investigación educativa y, en especial, de las aportaciones de la
pedagogía diferencial. En esta línea, hay que señalar que son precisamente las informaciones
relativas al proceso (estilo de la enseñanza, estrategias y metodología didáctica, clima social en
el aula, violencia escolar, interculturalidad…) las peor resueltas en este tipo de evaluaciones. En
consecuencia, la utilidad final que pueden aportar estas evaluaciones al funcionamiento escolar
está muy limitada.
La mejora en esta práctica es posible, dado que las variables que habitualmente se miden
(sean de entrada, proceso o contexto) suelen ser variables sobre las que existe, en muchos casos:
a) conocimiento de su funcionalidad a través de la investigación educativa, b) soluciones
metodológicas adecuadas para su medición/ evaluación —aunque se hayan desarrollado
instrumentos con otros propósitos y c) experiencia en su funcionamiento en planes de evaluación
de sistemas.
 Conclusión y Observaciones

La evaluación no es una actividad neutral, es decir, no está libre de valores e ideologías,

pues la sola conceptualización implica una postura política e ideológica de los valores
educacionales. Asimismo, se requiere saber ubicar a la evaluación de acuerdo con el tipo de
racionalidad que la sustenta, de lo contrario, no se identificarán los fines que se persiguen.
Los tradicionales exámenes escritos sólo han servido, en su gran mayoría, para marcar un
sistema selectivo de individuos que sólo van a ser utilizados para la vida productiva, reduciendo
así, al sistema de evaluación, a un sistema selectivo de obreros calificados.
Al ser la evaluación una actividad sistemática integrada en el proceso educativo, para
mejorarlo, se necesita asumir una actitud investigadora, mostrar disposición para examinar con
sentido crítico, reflexivo y sistemático. No se puede perder de vista que la evaluación es el mejor
momento para que el profesor reflexione y analice su práctica pedagógica.
Una concepción diferente de evaluación debe orientarse a la libertad y la autonomía de
los estudiantes, es decir, promover una evaluación democrática, donde el profesor parta de las
necesidades de los alumnos.
Se puede obtener una mejora en el proceso evaluativo sin necesidad de alterar los
principios que lo conforman, esto se puede lograr planteando la idea de que la evaluación debe
ser justa, es decir, que los elementos de este proceso (maestros-alumnos) utilicen un contrato
equitativo respecto a sus propios intereses de tal forma que lleguen a ser personas libres, iguales,
racionales y autónomas. Con esto me refiero al hecho de que más allá de contextualizar una
educación en el que se busque que los alumnos memoricen los contenidos, se debe buscar
empatizar con las habilidades y saberes de los alumnos y a través de las herramientas evaluativas
existentes, dar paso a un mejor modelo educativo.
 Referencias

De la Orden, A. y Jornet, J. (2012). La utilidad de las evaluaciones de sistemas educativos: el

valor de la consideración del contexto. Bordón. Madrid, 2012, vol. 64, n. 2; p. 69-88.

https://redined.educacion.gob.es/xmlui/bitstream/handle/11162/38017/05%20LaUtilidad

DeLasEvaluacionesDeSistemasEducativos.pdf?sequence=1&isAllowed=y