PONENCIAS

13 y 14 de marzo de 2015
Gestión y evaluación:
de la resistencia al desarrollo próximo
13 de marzo de 2015
 Gestión y evaluación:
de la resistencia al desarrollo próximo

Miguel Angel Castillo Fuentes

Maestría en Educación Básica. UPN-096. México, D.F.
macasti_2000@yahoo.com

PALABRAS CLAVE: Gestión, Paradigma, Evaluación cualitativa, Resistencia docente, Zona de Desarrollo Próxima.
EJE TEMÁTICO: Modelos y políticas de evaluación de docentes y de directivos escolares.

Resumen
El presente trabajo plantea que la posibilidad de modificar la cultura de la evaluación entre los profesores, depen-
de mucho del cambio del modelo de gestión que la construye. De acuerdo a los antecedentes del concepto gestión
y su estrecha relación con la perspectiva técnica e instrumental se configuró un paradigma dominante desde el
management y la administración clásica escolar. De ello devino evaluación tecnócrata, estandarizada y con fuerte
tendencia hacia lo cuantitativo. Así desde el agotamiento del paradigma clásico que fue la racionalidad que sostu-
vo el modelo actual de gestión en el sistema educativo mexicano, se prefigura un cambio paradigmático. En esta
dinámica conceptual y de la praxis, el docente como agente central reacciona manifestando su actitud hacia las
políticas educativas y en específico hacia las formas de evaluar y sobre todo al ser evaluado. Se identifican ciertas
resistencias del magisterio y sus posibles fuentes que confirman la necesidad de repensar el modelo que subyace
a las prácticas docentes actuales. El trabajo propone recuperar las anomalías y defectos que el paradigma clásico
exhibe para construir nuevos horizontes de la evaluación que apuntan hacia la evaluación cualitativa, como una
vía para mejorar las prácticas educativas y por lo tanto la calidad educativa. Para transformar las resistencias, una
posibilidad es el ejercicio del concepto zona de desarrollo próximo en el salón de clases, para el aprendizaje del
propio docente, considerando el acompañamiento y retroalimentación de evaluadores-docentes. Convergen tanto
la evaluación cualitativa como la perspectiva sociocultural.

2
 INTRODUCCIÓN:
EL CONTEXTO DE LA GESTIÓN

El sistema educativo en México atraviesa como otros en el mundo, y en diferentes momentos de su historia reciente,
cuestionamientos hacia la calidad del sistema por los resultados obtenidos en los distintos niveles que lo componen en
las escuelas del país. Son resultados palpables en los actos pedagógicos donde interactúan en distintos niveles, alumnos,
docentes, directivos, padres de familia, diseñadores de política educativa, especialistas e investigadores en la materia y
desde luego quienes encabezan la Secretaría de Educación Pública (SEP).
El punto de reflexión conduce entre otras acciones a la suposición de que tal vez algo puede y debe hacerse mejor; que
requerimos incorporar elementos indeterminados y omitidos dentro del análisis del amplio y complejo sistema educati-
vo. Entre los supuestos que representan las afirmaciones anteriores, se identifican dos dimensiones. Una alude a lo peda-
gógico pues sabemos que seguimos con puntuaciones en el plano internacional y nacional, que nos colocan con notorias
diferencias en comparación a otros países y comunidades educativas del mundo.
La segunda dimensión abarca el terreno de lo social y cultural donde se expresa la emergencia de mejorar la habilidad
de los ciudadanos mexicanos para recomponer sus relaciones cotidianas, en la calle, en los trabajos, en los planteles es-
colares, en casa y con la familia: la indispensable convivencia entre personas que colaboren entre sí, que se correspondan
en respeto, tolerancia y diálogo. Son en sí mismos valores de la democracia que la escuela como institución social aspira
a construir de manera legítima como una forma de garantizar el derecho a la educación.
En este sentido reflexivo y a partir de ambas dimensiones, se extiende un discurso común en la literatura sobre los
asuntos de la educación y la enseñanza, que identifican ciertas tendencias hacia un cambio del paradigma vigente en las
sociedades mundiales. Por ello cabe mencionar en esta introducción, algunos antecedentes conceptuales y epistemológi-
cos en la construcción de la gestión como concepto emergente dentro del sistema educativo mexicano (Navarro, 2004).
Dicho concepto dirige el objetivo de este trabajo, en tanto se articula a dos componentes téorico-metodológicos:
El primero es la exploración de las actitudes y la resistencia docentes hacia la evaluación, que encuentra un nivel de
concreción muy específico en el salón de clases. La segunda articulación es con el concepto de Lev Vygotsky, la Zona de
Desarrollo Próximo (ZDP).
Mediante esta triple articulación teórico-metodológica y situada, entre gestión-actitud-zona de desarrollo próximo
se pretende reconocer a la evaluación cualitativa y en particular la auténtica, no sólo como elemento constitutivo del
currículum sino en especial como una estrategia para la mejora de las prácticas docentes y en consecuencia de la
calidad educativa. Por ello se pondrán a consideración algunas aportaciones teóricas sobre la gestión, diferentes al
concepto tradicional.

1. Del management a la gestión cultural y antropológica

Se dice tradicional porque la gestión nació vinculada a la noción que nos heredó Taylor y Fayol desde el managment y
el accountability. Fue una prescripción que dominó buena parte del siglo XX y que sin desaparecer sigue presente en
nuestros sistemas sociales, económicos y desde luego en las escuelas mexicanas. A finales del siglo XX se determinó que
la gestión era una herramienta y estrategia para que las organizaciones escolares lograran la tan anhelada calidad educa-
tiva, mediante la eficacia y la eficiencia.
En la actualidad contamos con visiones de la gestión desde miradas alternas que parecen responder mejor a la proble-
matización de las ciencias sociales y la educación. Diversos autores (Aktouf 1998, Chanlat, 1994 y 2006; Shepard, 2006,
Ravela, INEE 2014) señalan la búsqueda de rutas diferenciadas de la mirada gerencial con que se piensa la organización
de la escuela, visión ligada al culto a la empresa que se ha trasladado a los planteles educativos. Sugieren centrar los
procesos y estudios organizacionales hacia modelos del tipo cultural y antropológico que den voz al interaccionismo
simbólico como expresión humana que se expresa en cada salón de clase y en cada patio escolar.
En particular Ravela (INEE, 2014) sostiene que en ese traslado que se hizo del mandato empresarial hacia el mandato
pedagógico, radica uno de los orígenes de las resistencias del magisterio al enfrentarse a la diversificación de las prácticas
de evaluación.

3
 Agencias internacionales como la UNESCO (2000) se aproximan a estas miradas cuando presenta su análisis de cómo
la gestión nacida de la Administración Clásica Escolar se considera como un paradigma que debe renovarse y buscar
desde la prácticas educativas y la investigación, un cambio de paradigma hacia rutas emparentadas a las racionalidades
sociocríticas y antropológicas.
De esta manera y dadas las condiciones, resultados y tendencias dentro y fuera del sistema educativo, es posible una re-
flexión sobre la vigencia y pertinencia de prefigurar un cambio paradigmático sobre el modelo de gestión que rige a nuestro
sistema educativo y del que se derivan, entre otras prácticas, formas particulares y conservadoras de evaluar el aprendizaje.
En una obra clásica, Khun (2012) nos anunció que la revolución de la ciencia es posible en tanto sus defectos; rasgo
que coloca al digamos, viejo paradigma, en la tensión de transitar hacia uno nuevo desde sus propias anomalías. De ahí
que podamos confirmar el pensamiento de Zemelman (1992) quien nos invita a mirar los límites de la razón; de esa fron-
tera en la lógica de la administración clásica que en su agotamiento promueve una potenciación de nuevos horizontes
epistemológicos para la gestión de una evaluación cualitativa y de tipo auténtica.
En estos campos de transición se visualiza un espacio de deconstrucción y reconstrucción donde los agentes edu-
cativos se plantan de frente a los cambios que impone una reforma educativa; ante los efectos que por naturaleza trae
consigo una política educativa. En los agentes reside mucho la posibilidad de un pensamiento transformador del sistema
educativo, que demanda una evaluación exhaustiva de las condiciones en que desempeñan su función los docentes.

DESARROLLO:
EL DOCENTE ANTE LA EVALUACIÓN Y SER EVALUADO

Si partimos del hecho que el docente es uno de los agentes principales para hacer posible la transformación del sistema
educativo y de las actuales formas de evaluación, es justo poner a consideración su respuesta, favorable o no, y el grado
de disposición que expresa hacia el objeto socioeducativo en cuestión como es la evaluación.
Al respecto hay que reafirmar que, de acuerdo al estudio Talis (OCDE, 2009), una parte del magisterio manifiesta
actitudes positivas; es una muestra que habla bien de la disposición de los profesores mexicanos. Por lo menos existe
esa aceptación a ser evaluados y en relacionar la evaluación con la mejora de sus prácticas docentes, desde procesos de
capacitación y actualización. En una idea complementaria Ravela (INEE, 2014) afirma que si bien la cultura del docente
hacia la evaluación muestra ciertas resistencias, lo cierto es que no depende totalmente del profesor.
En el quehacer profesional e interacción con profesores de educación básica, se les escucha decir que si desean ser
evaluados y se les observa aplicar rúbricas y portafolios de evidencias, sin embargo el propio sistema de cumplimiento
con ciertos criterios normativos y el tiempo que se les exige para ello, limita mucho su innovación. Pretendo resaltar así
que, tanto por las tendencias teóricas como por la experiencia del convivir profesional con profesores, es posible afirmar
que hay disposición favorable entre el magisterio. Que su actitud conserva componentes que determinan una respuesta
positiva hacia los objetos socioeducativos que provienen de cierta reforma o política educativa, en particular hacia la
evaluación y el ser evaluados.

1. La resistencia docente ante la evaluación: confusiones y propuestas

Sobre las resistencias, Ravela (INEE, 2014) nos ofrece un interesante análisis desde la subjetividad que representa hablar
de la evaluación del docente. Luego hace una diferenciación sobre las posibles confusiones que él denomina: conceptua-
les, de incentivos y de la meritocracia. Explica que estas confusiones envuelven de forma negativa a la práctica de la evalua-
ción. En mi experiencia conozco a profesores y profesoras para quienes lo importante es saber para qué, con qué fines se
evaluará y cuáles serán las consecuencias de dicha evaluación.
En esta realidad confluyen tanto Talis (OCDE, 2009) como Ravela (INEE, 2014); en la importancia de definir primero
estas preguntas básicas y comenzar un trabajo gradual para cambiar esta cultura que tenemos en México quienes nos
dedicamos a la docencia, donde destaca la incorporación de códigos lingüísticos y prácticas procedentes del Managment.

4
 Lo interesante está en la coincidencia conceptual entre Talis (OCDE, 2009) y Ravela (INEE, 2014) en que el profesor
tiene, al menos cognitivamente, la apertura necesaria a este escabroso tema de ser observado. En la realidad cotidiana de
las aulas cuando uno observa la acción pedagógica del profesor durante su clase, se ratifica que conductualmente operan
con disposición. Luego, es posible que emocionalmente también lo sientan así. De ser cierto esto, entonces tendríamos
una visión integral de su actitud, pues se incorporarían los tres elementos que la conforman.
Así uno de los retos para el sistema educativo está en concretar un cuerpo profesional de docentes-evaluadores quie-
nes entre otras tareas gestionarán para que gradualmente se introduzcan estrategias (conceptuales, prácticas y actitu-
dinales)  que favorezcan el cambio hacia una zona de desarrollo próximo en el terreno de la evaluación cada vez más
auténtica, sin descuidar la medición y el uso de ciertos instrumentos necesarios. Desde luego que será un camino largo,
pues hay una fuerte tradición y creencia social de que evaluar es aprobar; de que evaluar es presentar un examen impreso
en papel.

2. ¿Cómo enfrentar la resistencia?

Uno de los puntos nodales para definir hacia dónde se orientará la actitud del docente ante el ejercicio de ser o no evalua-
do, es su temor y desconfianza. Son muchos años de creer que la evaluación los va a remover del puesto o que tal o cual
prueba les acarreará diversas sanciones u oficios de extrañamiento. El propio sistema educativo contribuyó en ello y fue
construyendo la cultura que hoy conocemos sobre las prácticas de evaluación.
El magisterio ha sido evaluado de manera explícita muchas veces y de manera constante. También es real que hay un
escrutinio social, muchas veces implícito, hacia la tarea docente, donde influyen mucho los medios masivos de comuni-
cación. En particular la televisión y la radio. Lo que debe difundirse también pero de manera veraz es sobre el uso y los
fines que se le han dado a esas pruebas. Así que la discusión sobre el tema de evaluar o no evaluar, no es el dilema... sino
los usos y costumbres; el temor y la desconfianza que se han construido socialmente en torno a la evaluación docente.
Algunas propuestas prácticas de afrontar la resistencia y recuperar de forma gradual la confianza es reducir las con-
fusiones entre lo que es evaluar y medir. Es necesario abandonar el uso de la evaluación como forma administrativa de
control, así como evitar que evaluación cumpla múltiples objetivos (“el que mucho abarca, poco aprieta”). Será impor-
tante desalentar que la evaluación sea un instrumento para sostener la meritocracia y por último, evitar evaluaciones
descontextualizadas que ofrecen poca o nula retroalimentación a la comunidad.
Para reconstruir la confianza será indispensable que los evaluadores definan con el colectivo docente, qué se puede
y cómo se debe evaluar; que potencien sus habilidades comunicativas y de gestión para dejar una clara noción sobre los
fines y objetivos de la evaluación, principalmente enfocada hacia la auténtica. Será muy recomendable utilizar no uno,
sino varios instrumentos que enriquezcan la obtención de datos de la realidad educativa, así como asociar su uso a la
obtención de incentivos de desarrollo social y de tipo cultural. Para concluir, se considera necesario promover prácticas
evaluativas realizadas en común acuerdo in situ; de manera que fortalezcan la retroalimentación en el mismo salón de cla-
ses, tendientes hacia la mejora de las prácticas docentes y la transferencia, que se entiende como esa capacidad de aplicar
y concretar en el aula los aspectos teóricos y metodológicos de la evaluación.
Hasta el momento se ha hecho alusión a una evaluación auténtica, que por su metodología puede ser hasta más ama-
ble para el evaluado pues se sustenta en prácticas de mediación y andamiaje que nos conducen al pensamiento de Lev
Vygotsky, específicamente cuando sugiere educar desde la zona de desarrollo próximo.

3. La Zona de Desarrollo Próximo: espacio para la mejora de la práctica docente

Sugiero ahora, después de señalar la actitud docente como un componente a orientar y que parece como un reto de
mediano o largo plazo, reflexionar en una propuesta que concretiza tanto en la teoría pero sobretodo en la práctica coti-
diana del salón de clases, como se ejemplificará al término de este apartado. Me refiero a la propuesta de Carles Monereo
(2011) quien nos invita de forma implícita a indagar diversos aspectos de nuestra praxis educativa, desde el concepto
de Zona de Desarrollo Próximo (ZDP): Por ejemplo, ¿cómo pensamos que un evaluador puede contribuir a la evaluación

5
 y a la retroalimentación realizada a un profesor, que se caracterice por su relevancia y proximidad? y luego ¿es posible
aplicar o transferir el concepto de ZDP, en la búsqueda de mejores prácticas de los docentes a partir de la evaluación?
Para responder la primera cuestión, es necesario incorporar la propuesta del propio Monereo (2011) sobre el uso
de un esquema de cuadrantes y ejes. Donde la tendencia cultural y profesional del evaluador estaría dirigida hacia ese
cuadrante donde precisamente se localiza a la evaluación auténtica, que abarca prácticas dentro del salón de clase, in-
corporando los problemas que enfrenta el profesor y potenciando la retroalimentación centrada en la práctica situada
del docente.
Entre más próximo y realista sea el método de evaluar, más aprendizaje podrá construirse en el proceso metacogniti-
vo del profesor. Pensemos, si un maestro que se enfrenta a un grupo donde hay un alumno con alguna discapacidad (sor-
dera), le sería recomendable auto-observarse (en común acuerdo con el evaluador), para conocer qué formas de evaluar
utiliza y cómo enfrentaría este reto. Para después recibir sugerencias y ejercicios primero simulados de cómo monitorear
al alumno sordo y cómo ayudarlo a acceder a la currícula (lenguaje de señas mexicana; el uso de imágenes para aproximar
la comprensión de textos). Si bien la retroalimentación ya ha empezado, se consolida en el momento en que se observa
in situ al profesor interactuar con el alumno e implementar algunas de las formas de evaluación sugeridas y reunirse de
nueva cuenta para retroalimentar. Se asume como una práctica de mejora constante y que como señala Monereo (2011)
siempre es perfectible.
Sobre la segunda pregunta relacionada con el concepto “zona de desarrollo próximo” que se retoma de la teoría de
Lev Vygotsky, puede verse desde la interacción entre dos momentos pedagógicos básicos: Uno de salida (real) y el otro de
llegada (potencial). De manera que para lograr la transferencia, el evaluador requiere conocer dónde está el profesor y
con base en la retroalimentación “estirar”, como dice Monereo (2011), junto con el docente el punto de salida de su praxis
hasta donde sea posible con el objetivo de aproximarse a lo potencial.

CONCLUSIONES:
¿CUÁNDO EMPEZAR ESTE PROCESO?

Hasta aquí hemos recuperado cierta evidencia científica de que un paradigma agotado que influye no sólo en la construc-
ción de políticas educativas sino también en las prácticas educativas de las que proceden las prácticas de evaluación que
persisten hasta el momento. Es el vértice en que confluyen tanto los elementos estructurales donde reposan las políticas
educativas y las prácticas docentes.
La perspectiva técnica arropa al pensamiento pedagógico derivado de la tecnocracia, con sus respectivas teorías y
modelos. Bajo esta forma de pensar y mirar la realidad, tanto la investigación como la realidad social nos devuelven una
problematización común: esta cultura y su paradigma técnico e instrumental de la Administración Clásica y Científica
Escolar se agotó.
Pero este agotamiento no se dio por decreto, es una enunciación que da voz a las anomalías y defectos de dicho
paradigma. Rasgos que dan luz a los posibles nuevos conceptos y propuestas teóricas surgidas de la investigación.
Que en ese devenir de la construcción y reconstrucción del conocimiento configuran prenociones y nociones de un
paradigma distinto.
Desde esa posible mirada alterna, se entiende que la resistencia del docente no sólo provenga del sujeto sino de
toda la estructura; esto no niega la posibilidad de cambio sino que en función de la resistencia se puede visualizar un
avance gradual y estratégico para poder lograr esa articulación, —tal vez lenta hacia sistema y sobre todo respetuosa
del sujeto— que conforman la cultura presente ante y para la evaluación. Este actuar gradual y respetuoso debe refle-
jarse en la capacitación y actualización docente.
Es un proceso largo y fundamental, pues las investigaciones nos indican que el cambio se tiene que dar hacia un pa-
radigma distinto. Primero en la perspectiva que se tiene de la gestión, en esa racionalidad y epistemología de las cuales
derivan no sólo la evaluación si no otras prácticas educativas y docentes.

6
 BIBLIOGRAFÍA

Aktouf, O. (1998). La administración entre la tradición y la renovación. Ed. Artes Gráficas Univalle. Cali, Colombia.
Chanlat, J.F. (1994). Hacia una antropología de la organización. Revista: Gestión y Política Pública, Vol. III, No.2, Segundo
semestre. CIDE
Chanlat, J.F. (2006). Ciencias Sociales y Administración. En defensa de una antropología general. Fondo Editorial Universi-
dad Eafit, Medellín.
Kuhn, T. (2012). La estructura de las revoluciones científicas. Fondo de Cultura Económica. México.
Monereo, C. (2011). Conferencia “La evaluación auténtica de competencias” https://www.youtube.com/watch?v=
nTGFI8K21CI, 6 de mayo de 2011 (obtenido el 20 octubre, 2014)
Navarro, M. (2004). La gestión escolar: Conceptualización y revisión crítica del estado de la literatura. En Torres, M. Com-
piladora (2004). La gestión educativa. Experiencias de formación y aportaciones a la investigación e intervención
(Memoria). Colección Los trabajos y los días. Universidad Pedagógica Nacional. México, D.F.
OCDE . (2009). Estudio Internacional sobre Docencia y Aprendizaje (Teaching and Learning International Survey. Talis.)
16 de junio. México.
Ravela, P. La evaluación del desempeño docente para el desarrollo de las competencias docente. Documento del Curso
de Formación Inicial para Evaluadores. INEE 2014.
Shepard, L. (2006). La evaluación en el aula. Instituto Nacional de Evaluación Educativa. México.
UNESCO-IIPE. (2000). Gestión educativa estratégica. Diez módulos destinados a los responsables de los procesos de trans-
formación educativa. Buenos Aires.
Zemelman, H. (1992). Los horizontes de la razón. Tomo II . Historia y necesidad de la utopía. Ed. Anthropos. ColMex.
Capítulo IV : El método como actitud ante la realidad.

7
¿Cómo operacionalizar el marco
de buen desempeño docente,
con pertinencia de género e interculturalidad?
Un análisis de las rutas del aprendizaje producidas para los docentes en Perú

13 de marzo de 2015
 ¿Cómo operacionalizar el marco
de buen desempeño docente,
con pertinencia de género e interculturalidad?
Un análisis de las rutas del aprendizaje producidas para los docentes en Perú

Magrith Mena Portocarrero*

Magíster en Ciencias Sociales, Bachiller en Economía, GRADE, Perú.
mmena@grade.org.pe
Martín Málaga
Bachiller en Humanidades con mención en Filosofía, GRADE, Perú.
martin.malaga.m@gmail.com

PALABRAS CLAVE: Buen desempeño docente; Instrumentos Curriculares; Género; Interculturalidad.

EJE TEMÁTICO: Modelos y políticas de evaluación de docentes y de directivos escolares.

Resumen
En el contexto de la operacionalización del Marco del Buen Desempeño Docente en Perú, el estudio analiza la per-
tinencia de la incorporación de los enfoques de género e interculturalidad en el principal instrumento curricular
puesto a disposición de los docentes: las Rutas del Aprendizaje. Dichas Rutas contienen diferentes estrategias de
enseñanza propuestas a los docentes para lograr el aprendizaje de los estudiantes.
En tanto, por un lado, las categorías de género e interculturalidad históricamente se han empleado en la legi-
timación y reproducción de las diferencias sociales, y por otro lado, los diferentes instrumentos que produce el
sector educativo deben apuntar a la construcción de una sociedad democrática, donde se erradique la exclusión,
discriminación y desigualdad de oportunidades, la potencialidad del estudio radica en su abordaje a desafíos
conceptuales, vinculados a cómo se concretizan u operacionalizan las relaciones de género e interculturalidad
en las Rutas.
El análisis identifica cuatro dispositivos de representación de las relaciones de género e interculturales: i. No
existe un solo discurso (sino varios) de género e interculturalidad en las Rutas, ii. Individualización de respon-
sabilidades en problemáticas de carácter social, iii. Grupos poblacionales presentados en categorías cerradas y
excluyentes, y iv. Invisibilización de sujetos (en especial mujeres e indígenas). De esta manera, se concluye que la
incorporación de los enfoques de género e interculturalidad como ejes transversales en los materiales estudiados
es parcial, fragmentado, de modo que existe un amplio espacio para mejoras en su diseño.

*Autor principal

2
 INTRODUCCIÓN

La publicación del Marco del Buen Desempeño Docente, a cargo del Ministerio de Educación (MED) en el año 2012, marcó
un hito importante en el establecimiento de estándares del trabajo docente. Este documento establece las competencias
y desempeños que caracterizan una buena docencia; entendiendo que ésta tiene como fin lograr el aprendizaje de todos
los estudiantes (MED, 2012:17).
En este contexto, se diseñaron instrumentos curriculares dirigidos a docentes y vinculados al referido Marco. Entre
estos materiales sobresalen las Rutas del Aprendizaje, pues ellas constituyen el principal instrumento curricular puesto
a disposición de los docentes del país –existe otro instrumento, cuya difusión ha sido bastante más reducida. Estas Rutas
buscan dar orientaciones a docentes, a manera de apoyo de su trabajo pedagógico; concretamente, contienen una serie
de estrategias de enseñanza.
Es importante subrayar que tanto el Marco como las Rutas hacen referencia a un horizonte-marco más amplio, que
apunta al Desarrollo Humano como objetivo de la educación en el país. Así, en la medida que éste se entiende como “un
proceso de expansión de las capacidades y derechos de las personas” (MED y CNE, 2007:24), que entre otras importantes
cuestiones busca la construcción de una sociedad democrática a través de “la erradicación de la exclusión, discriminación
y desigualdad de oportunidades” (MED y CNE, 2007:24), los instrumentos curriculares deben cumplir con características
(estándares) que apunten en esta dirección.
En tanto históricamente el género y la pertenencia a una determinada cultura constituyen categorías clave para le-
gitimar y reproducir las desigualdades sociales en el Perú y en el mundo, se espera que estos dos conceptos sean ejes
transversales en las Rutas. Así, dichos materiales deben ser pertinentes en materia de género e interculturalidad -de
hecho, existe todo un marco normativo que respalda esta afirmación. Pero, ¿qué quiere exactamente decir esto?, ¿qué
características específicas debe cumplir un material pertinente en estos dos campos?
Estas preguntas plantean desafíos conceptuales en el marco de la definición de estándares de desempeño docente,
y en particular, en la definición de estándares de materiales que el MED produce para ellos. Más aun, estas preguntas
resultan clave en tanto el género y la interculturalidad son conceptos que atraviesan el diseño de las políticas educativas
del país y la región, y sin embargo aun resultan polisémicos, considerados incluso como “nebulosos” o “difíciles de opera-
cionalizar”, por más de un funcionario del sector educativo en Perú (Muñoz y otros, 2006; Mena, 2014).

DESARROLLO

Objetivo

El estudio busca responder a la pregunta ¿Cómo son representadas las relaciones de género, así como las que se dan entre
diferentes culturas, en las Rutas del Aprendizaje producidas el año 2013? Así, el objetivo principal fue determinar cuáles
son los dispositivos de representación de hombres y mujeres, así como de personas indígenas y no indígenas; atendiendo
a la posible presencia de estereotipos de género y/o interculturales en las Rutas.

Metodología

El estudio desarrolla un análisis crítico del discurso (ACD) de las i) las imágenes y ii) estrategias de aprendizaje de las
Rutas del Aprendizaje publicadas en 2013. Las imágenes aluden a toda representación gráfica con al menos un personaje
humano; las estrategias, a una serie de actividades concretas propuestas a los docentes para el logro de aprendizajes con
sus estudiantes (contenidos en los capítulos 3º de cada Ruta).
Analizamos las Rutas correspondientes a los Ciclos de enseñanza II, V y VII -correspondientes a los niveles de inicial
(3 a 5 años), primaria (5to y 6to grado) y secundaria (3ro a 5to año); en las áreas de Comunicación Escrita, Comunicación

3
 Oral, Matemáticas y Ciudadanía. Las Rutas analizadas corresponden a la Educación Básica Regular (EBR) y a la Educación
Intercultural Bilingüe (EIB). El corpus de análisis abarca 13 Rutas, que contienen 813 imágenes y alrededor de 60 estra-
tegias de aprendizaje.
Empleamos técnicas cuantitativas y cualitativas de análisis. Se cuantificó personajes por sexo, indígena/no indígena,
espacio donde se ubican, emoción expresada, ocupación que ejercen, entre otros. Asimismo, se hizo una lectura crítica de
las características sistemáticamente atribuidas a hombres/mujeres, indígenas/no indígenas, y a las relaciones entre ellos.
En tanto este trabajo se enmarca en una discusión más amplia sobre estándares de los instrumentos curriculares
dirigidos a docentes, un desafío metodológico importante fue abordar la pregunta ¿cómo deben representarse las rela-
ciones de género e interculturalidad en los materiales analizados? Es decir, ¿cómo se debe dar contenido concreto a los
enfoques de igualdad de género e interculturalidad en los materiales? Para esto se revisó la normativa del sector, así como
los principales aportes realizados desde las Ciencias Sociales. Concretamente, bajo los parámetros de análisis empleados,
se espera que las Rutas: i) representen a personas de diferente sexo y de diferentes culturas; ii) eviten la representación
acrítica de estereotipos que refuercen prácticas discriminatorias y/o de (re)producción de jerarquías entre grupos po-
blacionales, iii) representen a los sujetos en un marco de convivencia democrática, apuntando a relaciones igualitarias.

Premisas teóricas

El género se entiende como las diferencias construidas socialmente entre mujeres y hombres, basada en sus diferencias
biológicas (Giddens, 2009); la interculturalidad, como un proyecto democrático orientado a la consecución de relaciones
igualitarias entre grupos culturales distintos. Adicionalmente, se tiene presente que existen interacciones entre las cultu-
ras, de modo que las fronteras de las mismas se consideran abiertas (Appadurai, 2004). Para ambos conceptos, con base
en Foucault, se tiene en cuenta su articulación con el poder -rechazando el entendimiento del mismo como unificado,
coherente y centralizado, dando así espacio para la agencia humana y el cambio social.
Adicionalmente, el lenguaje también es entendido como una construcción social, y por tanto, remitente a relaciones
de poder. En esta línea, el ACD se entiende como una disciplina que se propone investigar de forma crítica la desigualdad
social tal como viene expresada, constituida y legitimada por los usos del lenguaje – el discurso (Wodak, 2001).

Resultados

El análisis identificó cuatro dispositivos de representación de las relaciones de género e interculturales.

1. No existe un solo discurso de género e interculturalidad. En las Rutas es posible identificar más de una forma –in-
cluso contradictorias- de entender la igualdad de género y la interculturalidad. Estos dos conceptos no se abordan de
manera coherente; antes bien, se tiene múltiples voces hablando a la vez sobre ellos.
2. Individualización de responsabilidades sociales. Las diferencias de género e interculturales son vistas como no
deseables, pero ellas (en no pocos casos) son abordadas asignando responsabilidades a determinados sujetos, invisi-
bilizando el marco de relaciones de poder en las que la discriminación por género e intercultural se inscribe.
3. Grupos poblacionales presentados en categorías cerradas. Los juegos, las tareas de cuidado infantil y las ocupa-
ciones laborales de los personajes adultos, en general aluden a la tradicional división sexual del trabajo: con escasos
puntos de encuentro, las mujeres se ocupan de tareas domésticas y los hombres de aquellas de carácter público. Así,
que queda poco espacio para imaginar distintas formas de “ser hombre” y “ser mujer”. Por otra parte, no se subraya
la posibilidad de una identidad cultural múltiple o plural en un individuo, se acaba así por asignar una identidad
“unívoca”, casi “puramente indígena” en el caso de los sujetos estudiados. Adicionalmente, se encuentra una paulatina
exotización de los ámbitos rurales, hacia el final de la EBR acaban siendo vistos como aquello que se explora, que no
pertenece al mundo de la escuela.
4. Invisibilización de sujetos. Se habla de “los sabios” en comunidades indígenas, invisibilizándose a las mujeres que
ocupan estos roles; del trabajo campesino con referencias fundamentalmente masculinas; de esclavitud, sin mencio-

4
 nar a las esclavas mujeres traídas del África; al hablarse del boom de la comida peruana, no se hace una sola mención
a cómo esto deviene del conocimiento producido históricamente por diferentes mujeres.

Por razones de espacio, sólo profundizaremos el análisis de los dos primeros dispositivos.

1. No existe un solo discurso sobre género, ni sobre interculturalidad

La incorporación de los enfoques de género e interculturalidad como ejes transversales en los materiales estudiados es
parcial, fragmentada. Esto se basa en dos proposiciones.

a. Existen distintas nociones, incluso contradictorias, de representar las relaciones de género y entre culturas.

Existen remarcables avances en la representación de “lo femenino”/ “lo masculino”, así como de lo “culturalmente
diferente”:

»» Un igual número de personajes hombres y mujeres, a nivel de las imágenes y de personajes en los diálogos; y
niños y niñas se representan con igual tendencia a participar (1.2 y 1.4 intervenciones en promedio por diálogo).
Así, se ha evitado una sobre-representación masculina en los personajes; marcando una diferencia con materiales
anteriores (Anderson, 1987; Benavides y Córdova, 2003; Espinosa, 2006). Por otra parte, los personajes indígenas
se encuentran en el 10% del total de imágenes, lo que se aproxima al porcentaje de población indígena en el país
(15%) (Benavides y otros: 2010).
»» Una referencia explícita a la valoración y respeto de la diferencia, incluyendo las de género e interculturales. Algu-
nos ejemplos: empleo de Lenguaje Inclusivo (que visibiliza a las mujeres en referencias grupales tradicionalmente
redactadas en género masculino); se mencionan diferentes culturas originarias del país, incluso las relativamente
poco conocidas o pequeñas en términos de número de pobladores.
»» Existen referencias puntuales a la deconstrucción de los supuestos bajo los cuales se legitiman las diferencias socia-
les, incluyendo las de género e interculturales.
»» No se tiene un discurso sistemáticamente androcéntrico ni sistemáticamente racista. De hecho, existen personajes
cuyas acciones cuestionan viejos estereotipos en ambos enfoques. La siguiente imagen es ilustrativa.

EIB Asháninka (p11). Un hombre indígena ejerce el cuidado de un niño pequeño.

5
 Sin embargo, cada uno de los puntos anteriores encuentra serias limitaciones:

»» Al desagregar a los personajes por sexo y edad, se tiene que el mundo de los estudiantes conserva una mayoría mas-
culina (53%) —en especial para la EIB (58%)-; y el de los docentes, es predominantemente femenino (59%)— en
especial en el ciclo II (99%).
»» El valor de la diferencia resulta meramente enunciativo, superficial. A nivel gráfico, en el eje de interculturalidad, los
lugares de encuentro entre “lo indígena” y “lo no indígena” no sólo son escasos, sino que se encuentran revestidos
de un carácter extra-ordinario –como una festividad especial en la escuela (ver imagen), donde los personajes alu-
den a una convivencia más bien artificial.

Ciudadanía V y VII (p9) Niños de diferentes culturas se saludan, con expresiones sonrientes rígidas.

»» La deconstrucción de supuestos resulta relativamente aislada (en pocas estrategias), y no considera las interaccio-
nes entre las categorías género e interculturalidad. Adicionalmente, estas estrategias, a diferencia de las que abor-
dan otros temas, no contienen pautas más concretas sobre conducir la reflexión en estos temas.
»» Existen no pocas referencias que más bien reproducen viejos estereotipos de género e interculturales; sin la inclu-
sión de referencias en paralelo que permitan cuestionar dichas representaciones. Ver siguiente imagen.

Oralidad VII (p112) Una pareja asiste a una feria donde se compra en miniatura lo que uno desea alcanzar;
él muestra deseos de viajar, hacer dinero, manejar tecnología (computadora), estudiar; ella, casarse por la iglesia, hijos, un auto.

b. Los dos conceptos se encuentran ausentes en lugares donde su visualización resulta crucial.

El siguiente ejemplo resulta ilustrativo. La Ruta Oralidad VII inicia con una historieta, desarrollada en un salón de
clase de una región andina. Se busca ilustrar cómo las diferentes variaciones dialectales del castellano son igualmente
valiosas. Para esto, la profesora lee con los estudiantes un poema escrito en castellano andino, que da cuenta del caso

6
 de una mujer quechua-hablante abusada sexualmente durante el conflicto armado interno 1980-2000. Sin embargo,
en ningún momento se señala a las violaciones sexuales como un problema de género, ni de cómo esta situación no
fue un hecho aislado durante la época señalada, sino una práctica sistemática de las fuerzas militares y senderistas
(Theidon, 2004). Adicionalmente, no se subraya el carácter intercultural de esta injusticia –en tanto la mayor parte de
víctimas fueron mujeres quechua-hablantes.

2. Individualización de responsabilidades sociales

Si bien existen referencias a entender las diferencias sociales basadas en el género y la interculturalidad como socialmen-
te producidas, esto se hace a través de dos referencias aisladas. Éstas, además, entran en contradicción con la individuali-
zación de las responsabilidades de estos problemas sociales. Profundizaremos esto en base a dos ejemplos.
En la Ruta de Comunicación Escrita VII (p44), se presenta un afiche para ilustrar cómo las imágenes amplían y com-
plementan la información escrita. El afiche hace alusión al Día Internacional de la Eliminación de la Violencia contra la
Mujer, en él figuran tres personajes, que en realidad representan a la misma mujer, tapándose los ojos, los oídos y la boca
–de forma análoga a los tres monos sabios de la cultura China. El texto que sigue a esta imagen es el siguiente: “[Estas
imágenes] nos dicen que la mujer, víctima de la violencia verbal, física e institucional, no debe callarse ante el maltrato,
no debe ceder ante el abuso, tampoco dejar de escuchar a quienes le aconsejan que debe defender su derecho a una vida
sin violencia”.
El abordaje a las situaciones de violencia contra las mujeres, entonces, se centra en las responsabilidades de la mujer
víctima, en las cualidades que ella debe tener (no callar, no ceder, saber escuchar), representándolas como las únicas vías
para eliminar la violencia. En esta estrategia no se encuentra una referencia a la responsabilidad de las personas (usual-
mente hombres) que agreden a estas mujeres, así como a las instituciones que formalmente deben protegerlas. Esto abre
espacio para la pregunta, ¿Acaso la eliminación de la violencia contra la mujer únicamente requiere de que ellas sean más
valientes para denunciar el hecho, y más sabias para escuchar a quienes las aconsejan?
Por otra parte, en la Ruta Ciudadanía V (p.37) se tiene una estrategia que busca “Enfrentar la discriminación en el
aula”; en ella se dice a los docentes: “Pero sabemos que es un tema difícil de abordar, sobretodo porque los peruanos y las
peruanas no reflexionamos lo suficiente sobre nuestras identidades. No es un terreno en el que nos guste entrar, quizá
porque no tenemos una identidad bien afirmada. Muchos de nosotros mismos, los docentes, no nos atrevemos a mirarnos
al espejo y decir en voz alta cómo nos reconocemos. Pero es importante que afrontemos este tipo de indefiniciones con
relación a nuestra identidad. Alejándonos del problema o huyendo de él no vamos a resolver nada. Enmascarándonos
bajo una identidad que no es la nuestra, no nos vamos a sentir mejor (…)”.
De manera análoga al ejemplo anterior, en este caso se aborda una problemática social —la discriminación basada en
la pertenencia cultural— haciéndose énfasis en la responsabilidad individual de los docentes —quienes deben asumir su
identidad. Esto resulta problemático pues parte de la premisa que los docentes huyen o no quieren asumir su identidad—
lo que alude a un pre-juicio; y por otra parte, deja por fuera el marco de relaciones de poder que permean las relaciones
sociales en el país. En esta estrategia resultaría necesario subrayar que en nuestro país existen referentes culturales
hegemónicos, que corresponden a la llamada cultural occidental, y que lo que se entiende aquí como no asumir la propia
identidad, corresponde muchas veces a las viejas fracturas del país, en las que ser indígena se asocia a ser un ciudadano
inferior. Como sabemos, además, la escuela no ha sido ajena a este proceso de jerarquización de las culturas otras frente
a la occidental (Ames, 2002).

7
 CONCLUSIONES

La transversalización del enfoque de género e interculturalidad en las Rutas del Aprendizaje es parcial y fragmentada,
dejando un amplio espacio para la mejora del diseño de las mismas. Si bien existen ciertos avances en la representación
de “lo femenino”/ “lo masculino”, y de “lo indígena” / “lo no indígena”, tales como una ausencia de sobre-sobre-repre-
sentación masculina en los personajes, o la mención de diferentes culturas en un marco que valora la diversidad, aun se
encuentran serias limitaciones en la representación de estas cuatro categorías, y las relaciones entre ellas.
Estos resultados son importantes de socializar y tener en cuenta en el diseño de los siguientes materiales curricula-
res, en tanto las cuestiones de género e interculturalidad aun resultan claves para explicar las asimetrías en las relaciones
sociales. En otras palabras, ellas resultan fundamentales para explicar la imposibilidad de una convivencia democrática
genuina y de la construcción de ciudadanía, que es el objetivo principal de la educación peruana.

BIBLIOGRAFÍA

Appadurai, A. (2004) “The Capacity to Aspire: Culture and the Terms of Recognition”, En Rao, V. y M. Walton (eds.), Culture
and Public Action. California, Stanford University Press, pp. 59-84.
Ames, P. (2002). Para ser iguales, para ser distintos. Educación, escritura y poder en el Perú . Lima: IEP, Colección Mínima,
Nº 52.
Anderson, J. (1987). “Imágenes de la familia en los textos y vida escolares” En: Revista peruana de Ciencias Sociales.
Vol. 1 No. 1.
Benavides, M. y L. Córdova. (2003) “Hablan las imágenes: la construcción del género en los textos escolares”. Mimeo
Benavides, M., M. Mena y C. Ponce (2010) Estado de la Niñez Indígena en el Perú. Lima, Unicef
Espinosa, G. (2006) “El currículo y la equidad de género en la primaria: estudio de tres escuelas estatales de Lima”.
En P. Ames (ed).: Las Brechas Invisibles. Desafíos para una equidad de género en educación. Lima, IEP.
Giddens, A., (2009) Sociology. Cambridge, Polity Press
MED (2012) Marco del Buen Desempeño Docente, Lima.
MED y CNE (2007), Proyecto Educativo Nacional al 2021, Lima.
Mena, M. (2014) Estado de la cuestión en el Desarrollo de Políticas de Igualdad de Género en la Gestión Educativa. Lima:
Consultoría desarrollada para Grade. Mimeo.
Muñoz, F., P. Ruiz-Bravo y J. Rosales (2006) “El género y las políticas educativas en el Perú: 1990- 2003”. En P. Ames (ed).:
Las Brechas Invisibles. Desafíos para una equidad de género en educación. Lima, IEP.
Theidon, K. (2004) Entre prójimos. El conflicto armado interno y la política de la reconciliación en el Perú. Lima: IEP.
Wodak, R. y M. Meyer (2001), Methods of Critical Discourse Analysis. Barcelona, Gedisa.

8
Dilemas y retos del INEE
para la evaluación docente en México:
algunos temas para la agenda institucional
13 de marzo de 2015
 Dilemas y retos del INEE
para la evaluación docente en México:
algunos temas para la agenda institucional
Francisco Miranda López
Doctor en Sociología por el Colegio de México; Instituto Nacional para la Evaluación de la Educación, México.
fmiranda@inee.edu.mx
Arcelia Martínez Bordón
Doctora en Política por la Universidad de York, Reino Unido;
Instituto Nacional para la Evaluación de la Educación, México.
amartinezb@inee.edu.mx

PALABRAS CLAVE: E
 valuación docente, evaluación formativa, evaluación sumativa, evaluación contextualizada,
Servicio Profesional Docente, INEE, México, contexto.
EJE TEMÁTICO: Modelos y políticas de evaluación de docentes y de directivos escolares.

Resumen
Si bien la legislación señala que la evaluación docente debe ser justa y tomar en cuenta el contexto en donde traba-
jan los y las maestras, lo cierto es que evaluar el desempeño de los docentes es una tarea que implica un alto nivel
de complejidad, que está sujeta a una serie de dilemas y retos que será necesario afrontar en los meses por venir.
En este documento se analizan los principales dilemas y retos que enfrenta el INEE para la evaluación docente en
México. Entre estos, se destacan la difícil tarea de involucrar activamente a los sujetos evaluados en la planeación
y desarrollo de la evaluación, ampliar el espectro de la evaluación hacia dimensiones no cognitivas, desarrollar
evaluaciones integrales y sistémicas, así como combinar en una sola evaluación dos propósitos que, en principio,
parecen contraponerse: la función formativa y la sumativa. Lo anterior en razón de que uno está planteado con
miras al rediseño, retroalimentación y aprendizaje, a crear un clima de autorreflexión; y el otro tiene como fin
último la rendición de cuentas y, por tanto, la posibilidad de sancionar y de tener consecuencias de alto impacto.

2
 Recientemente participamos en el desarrollo y conducción de diálogos regionales con autoridades educativas de las en-
tidades federativas. El objetivo de dichos diálogos1, organizados por el Instituto Nacional para la Evaluación de la Edu-
cación, fue propiciar espacios de reflexión colectiva que ayuden a la construcción de la Política Nacional de Evaluación
Educativa (PNEE), por lo que se les pidió a los y las participantes proponer acciones para el diseño, implementación y
seguimiento de las principales atribuciones que la reforma constitucional le confirió al INEE autónomo.2 Los diálogos
también buscaron generar un espacio abierto de conversación en el que las autoridades reflexionaran sobre los alcances
y retos de la evaluación educativa y de la reforma educativa en curso.
En los diálogos hubieron muchas coincidencias respecto a las temáticas que les preocupan a las entidades federati-
vas, y particularmente respecto a la evaluación de los docentes. Los participantes coincidieron en que hay un desánimo
y una preocupación generalizada entre los y las maestras, porque en el centro de la reforma educativa se ha puesto a los
docentes, a quienes los medios de comunicación y la sociedad en su conjunto parecen responsabilizar de la mala calidad
de la educación y del bajo logro educativo de los alumnos. Al respecto, las autoridades educativas señalaron que la eva-
luación que se haga a los docentes, particularmente para medir su desempeño, deberá tomar en cuenta el contexto en el
que ocurre el proceso de enseñanza-aprendizaje, porque este no es neutral e impone retos importantes a quienes, por
ejemplo, trabajan en escuelas multigrado, con pocos docentes y muchos niños a su cargo, o a quienes trabajan con niños
con necesidades educativas especiales o procedentes de contextos indígenas, sin haber recibido para ello una capacita-
ción específica.
En paralelo a estos diálogos, se realizaron también grupos focales con docentes de educación básica y media superior
con el objetivo de conocer sus opiniones y perspectivas sobre qué significa ser un buen docente y qué es una buena en-
señanza, así como qué factores de la escuela y del contexto afectan su práctica y su desempeño en el aula.3 La mayoría de
ellos, sin importar el nivel educativo en el que laboran –preescolar, primaria, secundaria y media superior- coincidió en
que la evaluación docente que propone la reforma no parece tomar en cuenta que muchos docentes trabajan en condicio-
nes muy precarias, sin los recursos y/o preparación necesarias.
Con base en estos insumos de información, y frente a una de las mayores inquietudes de los docentes: que no se les
evalúe de manera justa y, en consecuencia, se tomen decisiones de alto impacto si no califican como idóneos, en este artí-
culo se analizan los principales dilemas y retos que enfrenta (y enfrentará) la evaluación del desempeño docente.
Nuestras reflexiones toman en cuenta el trabajo que viene realizando el INEE desde comienzos de 2014, un año de
cambios y proyectos encaminados a dar cumplimiento a las nuevas atribuciones que la reforma constitucional le ha
conferido al Instituto, así como el trabajo que hemos realizado desde la Unidad de Normatividad y Política Educativa, la
que además de organizar los diálogos regionales y los grupos focales en comento, ha emitido lineamientos para la eva-
luación de ingreso al Servicio Profesional Docente en educación básica y media superior, y para la promoción a cargos de
dirección; ha esbozado una ruta de trabajo para la emisión de directrices para la mejora de la educación; y, ha diseñado
el Programa de Formación Inicial de Evaluadores del Desempeño Docente, que participarán, en 2015, en la evaluación de
desempeño docente.
A continuación se plantean los principales dilemas y retos, que en nuestra perspectiva, enfrenta la evaluación de los
docentes en México, y sobre los que habrá que trabajar en los meses por venir, para lograr que la evaluación de su desem-
peño sea justa y aceptada por los que se consideran los principales artífices del cambio educativo.

1
Los diálogos se llevaron a cabo en el mes de octubre de 2014, en Mazatlán, Sinaloa, Puerto Vallarta, Jalisco, e Ixtapa-Zihuatanejo, Guerrero. Al finalizar
estos encuentros, hubo un cuarto diálogo con autoridades educativas de la federación, a quienes se les expusieron las conclusiones de los diálogos
regionales y se les pidió plantear también su perspectiva sobre los alcances y retos de la reforma educativa
2
Estas son: construir las mediciones y evaluaciones que permitan mejorar el Sistema Educativo Nacional; elaborar los lineamientos que normarán los
procesos de evaluación del Instituto; generar y difundir información, y a partir de ello emitir directrices para la mejora de la educación; y coordinar el
Sistema Nacional de Evaluación Educativa.
3
Se realizaron 72 grupos focales con docentes de educación básica y media superior, en nueve estados de la república y 12 grupos focales, en el Distrito
Federal, con docentes indígenas, directores de básica y media superior, supervisores y Asesores Técnico Pedagógicos de otras entidades federativas.
Si bien se realizó un operativo conjunto entre la Dirección General de Evaluación de Docentes y Directivos (DGEDD) y la Dirección General de
Directrices para la Mejora de la Educación (DGME), cada dirección general elaboró un guión de entrevista y moderó con dicho guión un total de 36
grupos focales en los estados visitados, y 6 grupos en el caso del Distrito Federal. Así, mientras que a los grupos la DGEDD se les preguntó qué y cómo
evaluar, utilizando como fundamento parte de los resultados del cuestionario en línea, la DGDME indagó cuáles son las perspectivas de los docentes
sobre lo que significa ser un buen docente y lo que entienden por una buena enseñanza, así como sobre los factores, escolares y de contexto,
que afectan su desempeño.

3
 CLARIFICAR CUÁL ES EL PROPÓSITO
DE LA EVALUACIÓN DOCENTE

Se habla de que la evaluación docente es una condición necesaria para mejorar la práctica docente, y en consecuencia,
el logro educativo. Si bien no existe un consenso sobre qué peso específico atribuirle al docente en el proceso de logro
educativo de los alumnos, lo cierto es que el docente ocupa un lugar central en la literatura y en la reforma educativa, y,
por ende, en la agenda de evaluación educativa.
Se hace alusión a una evaluación que permita valorar los conocimientos, habilidades pedagógicas y didácticas del
docente, y su capacidad para entender el contexto y planear sus clases. En suma, a una evaluación integral que tenga un
carácter formativo y que permita fortalecer conocimientos y habilidades a través de la instrumentación de procesos de
capacitación y formación. Pese a ello, la Ley General del Servicio Profesional Docente le imprime otras dimensiones a
la evaluación: hace referencia a una evaluación con consecuencias si el docente no logra alcanzar un nivel denominado
“idóneo”, lo cual remite a un modelo de evaluación sumativa.
Se evalúa entonces con la aspiración de lograr mejorar la práctica docente, y por ende, el logro educativo –que como
sabemos, no sólo depende del docente, sino de muchas otras condiciones del contexto y de la escuela misma- y si esta no
mejora entonces surge la figura de la sanción al mal desempeño. Si bien el INEE se ha pronunciado reiteradamente por
una evaluación formativa, que permita identificar áreas de oportunidad para el acompañamiento del docente y la mejora
de su práctica, lo cierto es que está latente, más allá del INEE, la realidad que plantea la ley: aquel docente que pasados
tres procesos seguidos de evaluación no obtenga resultados satisfactorios tendrá que renunciar a serlo. Por ende, resulta
crucial que la evaluación efectivamente se acompañe de acciones inmediatas y certeras de capacitación y formación, que
apoyen a aquellos docentes que no resulten idóneos.

INCLUIR A LOS DOCENTES EN LA CONSTRUCCIÓN

DEL MARCO CON EL CUAL SERÁN EVALUADOS

La evaluación del docente debe partir de una definición clara de lo que se entenderá por un buen docente -aunque, como
señala Felipe Martínez Rizo (en prensa), no exista una definición única de buen docente pues “los rasgos del buen docente
cambian según el contexto”- y de diversos ejercicios de consulta con los docentes sobre lo que es la buena docencia. Al
respecto, la literatura señala que la participación del docente en la construcción de un marco de referencia sobre lo que
se espera de un buen docente no sólo permite que el docente se identifique y apropie de dicho marco, sino que acepte de
manera más natural la evaluación y sus consecuencias.
En este sentido, es importante señalar que el INEE no sólo se está construyendo un marco de referencia, a partir de la
revisión de la literatura y de los casos de Estados Unidos, Reino Unido, Chile, Ecuador y Colombia, sino que también se ha
iniciado un proceso de consulta a través de la autoaplicación de un cuestionario en línea –de autoselección- para recupe-
rar las opiniones de los docentes sobre la buena docencia y sobre el qué y cómo evaluar. Este ejercicio se complementó,
hace unos meses, con la realización de grupos focales con docentes de educación básica y media superior, que tuvieron
como objetivo refrendar los primeros hallazgos de esta consulta, particularmente, en la temática de qué evaluar y cómo
evaluar, y conocer, por otro lado, la percepción de los docentes sobre los factores del contexto –escolar y extraescolar- que
afectan su práctica y desempeño en el aula.
Con todo, es necesario que estos ejercicios de consulta se realicen de forma periódica y se incluyan procesos más
amplios y representativos —más allá de la consulta en línea­— que den lugar a la participación de los docentes de todos
los rincones del país. El mayor reto, por otro lado, no sólo es realizarlos, sino sistematizarlos y utilizar los resultados de
estos para el diseño de los procesos de evaluación —particularmente para la emisión de lineamientos y criterios técnicos,
de los cuales es responsable el INEE—.

4
 EVALUAR DISTINTOS ASPECTOS DE SU DESEMPEÑO,
NO SÓLO SU DOMINIO DISCIPLINAR

En paralelo a la definición del marco de la buena docencia, se deben establecer las dimensiones que se van a evaluar. Así,
lo primero, según lo refiere Schmelkes (en prensa), es evaluar su dominio de conocimientos. Pero también, señala, impor-
ta evaluar su práctica pedagógica, su didáctica específica —la que necesita, por ejemplo, para poder enseñar matemáticas
de la mejor manera—, y su capacidad para planear y adaptarse al contexto y a sus alumnos. La evaluación, por tanto, no
puede reducirse a exámenes de conocimientos, sino que se deben establecer rúbricas que contemplen, como lo está valo-
rando el INEE, evaluación de pares, evaluación de portafolios, etcétera.

DEJAR DE VER AL DOCENTE DE FORMA AISLADA,

VINCULARLO A LA ESCUELA Y AL CONTEXTO DONDE TRABAJA
Al docente se le sigue viendo de forma individual y por no decir, aislada. Sin embargo, su desempeño no sólo depende de él,
de su formación y preparación, sino de otros factores de la escuela y del contexto. Esto es particularmente cierto en el caso de
los docentes que trabajan en contextos de alta marginación y/o con alumnos que tienen necesidades educativas especiales o
que son hablantes de lengua indígena. Sin embargo, dada la premura en la implementación de estos procesos de evaluación,
la discusión ha estado más centrada en los tiempos y esquemas para llevarla a cabo, y menos en las otras cosas dimensiones
que deberían evaluarse para entender mejor porqué el docente no está desempeñando de mejor manera su trabajo.
Por lo tanto, un cambio de sentido, implicaría, como algunos de los especialistas lo señalan, en primera instancia
mirar al cuerpo de docentes que trabajan en la escuela, y determinar qué se necesita de forma integral, dentro de la es-
cuela, para que esta logre la normalidad mínima, la autonomía en sus decisiones y el tener docentes más participativos y
comprometidos con su formación profesional y con el logro educativo de sus alumnos.
Este es, sin duda, uno de los mayores retos. Que la evaluación de los docentes mire el contexto, y, concretamente,
la escuela en la que trabajan.4 Ahora bien, si bien es cierto que INEE está trabajando en la construcción de una nueva
generación de evaluaciones de logro —que sustituirán a Excale y Enlace­—, todavía enfrenta el reto de construir una
evaluación integral que vincule los resultados de las evaluaciones de logro, escuelas, docentes, políticas y programas. Por
el momento, es importante señalar que, a través de sesiones de trabajo con el Consejo Técnico Especializado ad hoc para
la contextualización de las evaluaciones, instituido de forma temporal para apoyar las tareas del INEE, se ha avanzado
en la articulación de las distintas direcciones generales que tienen como principal atribución la evaluación de uno o más
componentes del sistema educativo, para reflexionar sobre cómo se puede contextualizar la evaluación educativa y si es
posible definir un marco o referente contextual común.

EVALUAR A LAS ESCUELAS NORMALES AUNQUE

NO SEA UNA ATRIBUCIÓN DIRECTA DEL INEE

Otro dilema no menor es la evaluación de las escuelas normales. Si bien al INEE sólo le corresponde evaluar al sistema
educativo obligatorio —educación básica y media superior— parecería urgente conocer los principales retos que en-
frentan estas instituciones formadoras para transformarse y responder a las exigencias de preparación y vanguardia
que enfrentan los docentes. En los grupos focales con docentes se escucharon muchas voces que expresaban que la
escuela normal no los preparó para enfrentar realidades de alta complejidad, como por ejemplo, la que que se vive en
escuelas multigrado:

Hay que mencionar que lo que se espera de un docente también dependerá del momento en que se encuentre en su trayectoria laboral
4

—si es recién egresado, ya lleva años frente a grupo o está a punto de retirarse— (Schmelkes, en prensa).

5
 “… siempre nos tocaba ir a prácticas a escuelas alrededor. Nunca se le ocurrió a la directora ni al subdirector ni nada
mandarnos a una escuela unitaria, ni bidocente, ni mucho menos tridocente. Cuando yo llego… te presentan,
más no te dicen que te tienes que preparar para tres salones, tres grados, nada… nadie me dijo en la Normal que podía
ser maestra de tres… tenemos que buscar las estrategias, todo de lo que podemos echar mano para sacar adelante
este grupo de tres grados y no puedes tener tres pizarrones”. (Docente de primaria en Grupo Focal, Sinaloa, Octubre de 2014).

Desde la mirada de los docentes entrevistados, uno de los aspectos que deben de revisarse –y evaluarse- son los pla-
nes y programas de formación inicial docente pues es evidente la desvinculación entre los aspectos teóricos y la práctica
en los contextos diferenciados y complejos: “… creo que sí es fundamental revisar los programas de las Normales… ves mu-
chas materias que están muy padres y muy lindas pero que no son prácticas ni operativas (Docente de preescolar en Grupo
Focal, Yucatán, Septiembre de 2014).

EL MAYOR RETO:
CONSTRUIR UN MODELO DE EVALUACIÓN INTEGRAL Y OPORTUNO

Finalmente, es importante señalar que a los dilemas y retos expuestos se suma otro mayor: desarrollar evaluaciones
justas e integrales –que tomen en cuenta otros factores y componentes del sistema educativo para poder comprender la
realidad a la que se enfrentan los docentes y otros actores educativos en su quehacer cotidiano-, y, que sean oportunas
y permitan las transformaciones necesarias en el corto y mediano plazos. Esto último implica generar resultados opor-
tunos que sean factibles de traducir en el rediseño y propuestas de mejora de la política educativa, docente en este caso.
Los tiempos de la evaluación son, sin embargo, apremiantes. Es un hecho que para dar cumplimiento al calendario
de evaluación docente que establece la Ley General del Servicio Profesional Docente, se han apresurado procesos que, en
otra coyuntura, seguramente tomarían más tiempo. Si bien al INEE le corresponde cumplir con lo que la Ley estipula, en
los tiempos que se han dispuesto para ello, no debe soslayarse que la profesionalización del gremio docente requiere de
políticas integrales y coherentes entre sí, que vinculen la formación inicial y continua, que atraigan a los mejores perfiles
al ejercicio de la docencia, que brinden estímulos y salarios dignos, y que ayuden a mejorar la escuela y su entorno, para
que todas estas acciones, juntas, redunden en un mejor desempeño docente y en un mayor logro educativo. Se requiere,
por tanto, evaluar de manera integral y sistémica una serie de acciones y componentes –escuela, programas, políticas-
para valorar los retos que enfrenta el docente en su quehacer cotidiano, las ventanas de oportunidad para mejorar su for-
mación inicial y continua y, por tanto, su desempeño, y los apoyos que requiere la escuela para cumplir con la normalidad
mínima que establece la ley, entre otras cosas.

COMENTARIOS FINALES

Los dilemas y retos del INEE para la evaluación docente en México que hemos planteado en este artículo deben formar
parte de la agenda institucional del INEE y discutirse entre distintos actores –académicos, funcionarios y docentes-. Su
relevancia no es menor. Su atención y solución no puede postergarse. Es necesario que el docente participe en la cons-
trucción de su transformación y sólo lo hará si percibe que la evaluación es justa y que toma en cuenta el contexto y
circunstancias escolares en las que opera.

Como lo señala Arnaut (en prensa), “uno de los rasgos menos atractivos de la LGSPD es que, hasta ahora, son mucho
más visibles las normas referidas al control, la evaluación y los incentivos negativos”. Además de que las reformas
jurídicas “…hoy siguen siendo acompañadas por un entorno mediático que ha promovido en la opinión pública una
profunda desconfianza y hasta estigmatización de la escuela pública y sus maestros”. Al INEE le corresponde, por tanto,
diseñar un modelo de evaluación que, sin dejar de tener consecuencias, tenga como máxima la mejora, el rediseño y la
transformación de la educación —incluidos los docentes—.
6
 BIBLIOGRAFÍA

Arnaut, A. (en prensa). El Servicio Profesional Docente en educación básica”, en Guevara, G., Meléndez, M.T., Ramón, F. E.,
Sánchez, H. y Tirado, F. (coords.). (en prensa). Evaluación del desempeño docente en México: INEE-OEI.
Bruns, B. y Luque, J. (2014). Profesores excelentes. Cómo mejorar el aprendizaje en América Latina y el Caribe. Resumen.
Washington D. C., Banco Mundial.
Del Castillo, G. y Valenti, G. (coords.) (2014). Reforma educativa. ¿Qué estamos transformando? Evaluación y política
educativa. México. FLACSO México.
Guevara, G., Meléndez, M. T., Ramón, F. E., Sánchez, H. y Tirado, F. (coords.). (en prensa). Evaluación del desempeño docen-
te en México: INEE-OEI.
Hunt, B. (2009). Efectividad del desempeño docente. Una reseña de la literatura internacional y su relevancia para mejo-
rar la educación en América Latina, Chile, PREAL.
IIEP-UNESCO (2011). Los docentes mexicanos. Datos e interpretaciones en perspectiva comparada. Siglo XXI-UNESCO-IIPE;
México.
INEE (2014). El Derecho a una Educación de Calidad. Informe 2014. México: INEE.
Leu, E. (2005). The Role of Teachers, Schools, and Communities in Quality Education, en Hunt, Efectividad del desempeño
docente. Una reseña de la literatura internacional y su relevancia para mejorar la educación en América Latina.
Luna, M. (2005). El rol de los docentes en el cambio educativo. Buenos Aires, PRELAC, No. 1, p.172. Consultado en:
http://unesdoc.unesco.org/images/0014/001446/144666s.pdf el 25/11/2014.
Martínez, F. (en prensa). “La evaluación del desempeño docente. Una propuesta para la educación básica en México”, en
Guevara, G., Meléndez, M.T., Ramón, F. E., Sánchez, H. y Tirado, F. (coords.). (en prensa). Evaluación del desempeño
docente en México: INEE-OEI.
Nava, M. y Rueda, M. (2013). “La evaluación docente en la agenda pública”. Revista Electrónica de Investigación Educativa,
16(1), UABC, pp. 1-11. Recuperado de http://redie.uabc.mx/vol16no1/contenido-nava-rueda.html
OECD (2012). Avances en las reformas de la educación básica en México: Una Perspectiva de la OCDE. OECD Publishing.
OECD (2014). Talis 2013 Results An International Perspective on Teaching and Learning. OECD Publishing.
PRELAC, (2005). Protagonismo docente en el cambio educativo, UNESCO; Chile. Recuperado de: http://unesdoc.unesco.
org/images/0014/001446/144666s.pdf
Robalino, M. (2005). “¿Actor o protagonista?, dilemas y responsabilidades sociales de la profesión docente”. Revista
PRELAC, No. 1. Oficina Regional de Educación de la UNESCO para América Latina y el Caribe, Grupo sobre Desem-
peño Docente de OREALC /UNESCO . Santiago, Chile.
Schemelkes, S. (en prensa). “Desempeño docente: estado de la cuestión”, en Guevara, G., Meléndez, M.T., Ramón, F. E.,
Sánchez, H. y Tirado, F. (coords.). Evaluación del desempeño docente en México: INEE-OEI.
Segob (2013). “Decreto por el que se expide la Ley General del Servicio Profesional Docente”. Diario Oficial de la Federa-
ción. Distrito Federal, México: SEGOB.
Secretaría de Educación Pública (2014a). Perfil, Parámetros e Indicadores para Docentes y Técnicos Docentes y Propuesta
de etapas, aspectos, métodos e instrumentos de evaluación. México, CNSPD, SEP.
Secretaría de Educación Pública (2014b). Perfil, Parámetros e Indicadores para el ingreso a las funciones docentes y técnico
docentes en la Educación Media Superior. México, CNSPD, SEP.
Vezub, L.F. (2010). El desarrollo profesional docente centrado en la escuela: concepciones, políticas y experiencias.
http://www.udelas.ac.pa/biblioteca/librospdf/El_desarrollo_prof_docente_centrado_en_la_escuela.pdf

7
Broken gears:
The Value Added of Higher Education
on Teachers’ Academic Achievement
13 de marzo de 2015
 Broken gears:
The Value Added of Higher Education
on Teachers’ Academic Achievement
Carlos Felipe Balcázar1
Poverty Global Practice
The World Bank Group
1818 H St. NW, Washington D.C.
United States of America
Hugo Ñopo
Education Division
Inter-American Development Bank
1300 New York Ave. NW, Washington D.C.
United States of America

JEL CODES: I2, I21, J24

KEY WORDS: Teacher performance, career choice, self-selection, relative learning mobility.

Abstract
A growing literature establishes that good teachers are essential for high quality educational systems. However,
little is known about teachers’ skills formation during their college years. In this paper we use a novel panel data
set combining two standardized tests for Colombian students: one that is taken at the end of senior year in high
school and the other when students are near graduation from college. Accounting for selection into majors we test
for the extent to which education majors relatively improve or deteriorate their skills in comparison to students
in other programs. We analyze three sets of skills: quantitative reasoning, native language (Spanish) and foreign
language (English). After around 5 years of college, teachers’ skills vis-à-vis those in other majors deteriorate
in quantitative reasoning, although they deteriorate less for those in math-oriented programs. For native and foreign
language we do not find evidence of robust changes in relative learning.

1
Corresponding author at: the World Bank Group, 1818 H St. NW, Washington D.C. United States of America. Phone: (1) 202 458 14 97. Email:
cbalcazarsalazar@worldbank.org (Carlos Felipe Balcázar).

The comments of Mariana Alfonso, Fernando Fernández, Catherine Rodríguez and Emiliana Vegas are specially acknowledged. Daniel Alonso provided
valuable research assistance The findings herein do not necessarily represent the views of the Inter-American Development Bank, The World Bank
Group, or their Boards of Directors.

2
 INTRODUCTION

This document builds upon two literatures of high policy relevance, not only in the developing world but also in the
developed one: teacher quality and value added of higher education. It does it by providing evidence for Colombia on the
difference in skill-acquisition between students in education majors and students in other majors. To do so we compare
test score-rankings between these two groups of students using a novel panel data set that combines two standardized
tests, one before and one near the end of college studies. We measure test score-rankings using the z-scores of subjects
assessed in both tests and compare changes in the relative position of students in the distributions of skills.
A growing body of literature establishes that teachers are essential for a high-quality educational system (Goldhaber
and Brewer, 1997; Hanushek, 2002; Eide et al., 2004; Rockoff, 2004; Rivkin et al., 2005; Hanushek and Rivkin, 2006; Clot-
felter et. al., 2007; Kukla-Acevedo, 2009; De Paola, 2009). More recently, Chetty et al. (2013a and 2013b) find that, after
controlling for socio-demographic characteristics, those students who had high quality teachers during their school years
are more likely to attend higher education, to go to a better university and to obtain higher labor earnings. Nonetheless,
despite that the literature has extensively addressed the role of the quality of teachers on social and academic outcomes,
we know little about the role of higher education on the production of those teachers.
Evidence from successful educational systems (Finland, Singapore, Korea, China) highlights the importance of teach-
ers and their formation. In Finland, for instance, only the best and brightest manage to become teachers on that system,
after demanding undergrad and master’s programs (OECD, 2011; Sahlberg, 2011). This has been claimed as an important
stepping stone for their impressive improvement between the 60s and the early 21st century: from having educational
outcomes comparable to those of developing economies, Finland now ranks amongst the top performers in educational
achievement and attainment in the world (Sahlberg, 2009, 2011).
In most educational systems, however, the best and brightest do not choose education majors. Teachers’ academic perfor-
mance and potential is lower than that of their peers who choose to attend other programs (Giesen and Gold, 1993; Hanushek
and Pace, 1995; Podgursky et al., 2004; Denzler and Wolter, 2008). In this context, competitive salaries and benefits, as well as
a meaningful and challenging career path for teachers are crucial for attracting and retaining high-quality teachers (Murnane
et al., 1991; Ballou and Podgursky, 1997; Odden and Kelley, 1997; Dolton, 1990, 2006; Dolton and van der Klaauw 1999).
Countries that pay low salaries to their teachers (relative to the earnings distribution of the country’s population) show lower
pupil performance as measured by international student assessments (Dolton and Marcenaro-Gutierrez, 2011).
In Latin America, and particularly in Colombia, the situation is no different. Talented people might get discouraged
from choosing a career in education to avoid getting trapped in a profession with low social prestige, bad academic
reputation and low salaries (Mizala and Ñopo, 2011; García et al., 2014). As it has been shown, in Colombia, those who
graduate as school teachers from university or technical programs are more likely to have scored at the bottom quintiles
of the Colombian college admission test, Saber 11 (Barón and Bonilla, 2011; Barón et al., 2013).
There is solid evidence that self-selection plays a role on teachers’ quality. Granted, but, what about the role of higher
education? Even if prospective teachers start at disadvantage compared to their peers in other careers, does higher edu-
cation level the playing field? To address these questions we analyze relative learning mobility, understood as the change
in score-rankings between two periods, for students who are close to graduate from a university program in education
(which we will also call throughout the paper: teachers) vis-à-vis students that are also about to graduate, but from other
university academic programs (which we will also call throughout the paper: other professionals). We use data from two
standardized tests: Saber 11 and Saber Pro, which provide information on educational outcomes and socio-demographic
characteristics for students in Colombia at their senior year of high school and near the end of their college education. In
this sense this paper not only deals with teachers’ academic competence but also contributes to the value added of higher
education literature (Klein et al, 2005; Liu, 2011; Saavedra, 2009; Saavedra and Saavedra, 2011; Cunha and Miller, 2014).
Our results indicate that after around 5 years of academic training, teachers’ skills vis-à-vis those in other professions
deteriorate in quantitative reasoning, although they deteriorate less for those in math oriented programs. We do not
find evidence of a statistically significant change in relative learning for native language (Spanish) and foreign language
(English). The rest of the paper proceeds as follows. In the next section we introduce the data sources and present some
descriptive statistics. Section three introduces the concept of relative learning mobility. In the fourth section we present
the main empirical analysis. In the fifth section we conclude.

3
 DATA AND DESCRIPTIVE STATISTICS

The data comes from Instituto Colombiano para el Fomento de la Educación Superior (ICFES). We use data from two
national standardized tests: Saber 11 (2002-2007) and Saber Pro (2011). Saber 11 assesses senior year high school stu-
dents’ academic competences in language (Spanish), mathematics, biology, chemistry, physics, social sciences, philoso-
phy, and foreign language (English). Saber Pro assesses the academic competences of higher education students who have
completed at least 75% of their academic programs, on program specific areas (e.g., engineers are assessed in engineer-
ing; economists in economics; biologists in biology, and so on). The novelty that makes this paper feasible is that since the
second semester of 2011 Saber Pro also assesses all students, regardless of their major, in quantitative reasoning, reading,
writing and English as foreign language.2
Saber 11 is mandatory for all senior year high school students who wish to obtain their school degree, and serves as
an input for college entrance. In fact, in many universities this is the sole admission criterion (Saavedra and Saavedra,
2011). Saber Pro is mandatory for those students who wish to earn their college degrees. Furthermore, employers might
use Saber Pro scores to screen applicants for a (professional) job position (Saavedra, 2009). Nonetheless, schools and
universities cannot retain students based on their scores.
Saber 11 and Saber Pro share three components, which allow us to compare the “change” in students’ learning: native
language, quantitative reasoning and foreign language. “Language” in Saber 11 is comparable to “Reading” in Saber Pro as
both evaluate academic competences in Spanish (reading skills). In this paper we use “Native Language” to refer to both.
“Mathematics” in Saber 11 is comparable to “Quantitative Reasoning” in Saber Pro. In this paper we use “Quantitative
Reasoning” to refer to both. The foreign language component in both tests evaluates proficiency in English. In all three
cases, the level of difficulty is higher in Saber Pro, capturing the fact that students should develop their academic skills
during higher education. We will not compare scores in both tests in a direct way. Instead, we will use the individuals’
position on the distribution of scores (z-scores), analyzing the changes from on test to the other.
ICFES provided researchers the possibility of linking both tests using a unique key that identifies individuals. These
keys are available for Saber 11 from the first semester of 2002 to 2010, and for Saber Pro from the first semester of 2007
to 2011. However, we do not use data from Saber 11 from the second semester of 2007 on due to changes in the survey
structure, and from Saber Pro from the first semester of 2011 backwards given that quantitative reasoning, native lan-
guage and foreign language were not assessed.
We restrict ourselves to students attending on-campus programs at their 4th year of college or above, who at the time
of the test had completed at least 75% of their academic programs, whose identification key allows tracing them in both
Saber 11 and Saber Pro, and with no missing values in the variables of interest. This comprises 67% of the full sample
of college students who took Saber Pro in the second semester of 2011 (60% of the education majors and 68% of those
in other majors). Those students for which tracing is possible and show no missing values on the variables of interest,
that is, those in the 67%, scored above the remaining 33% in the three subjects (on average): 0.26 standard deviations
in quantitative reasoning, 0.26 standard deviations in native language, and 0.30 standard deviations in foreign language.
The sample of interest is then biased towards higher performing students but such bias is similar for both education and
other majors.
Table 1 shows the sample distribution of the 67% of students by the semester in which they took Saber 11, split by
group: teachers (students majoring in education, 8% of the sample) and other professionals (students majoring in other
programs). The bulk of students in the second semester of each year is explained by the fact that most students at the na-
tional level (85%) are enrolled in the A school calendar, which goes from February to November. Students in the B school
calendar (2% of the population of interest), which goes from August/September to June, take the test in the first semester
of the year. The remaining 13% corresponds to flexible calendar students (sabbatine, fast-tracks, etc.). From these, 77%
usually take the test on the second semester of each year and the remaining 23% on the first one.

See: http://www.icfes.gov.co/examenes/
2

4
 Table 1  Sample size

Teachers Other professionals

Test Year Semester Number of Percentage Number of Percentage
observations (%) observations (%)
I 36 0.87 393 0.84
2002
II 300 7.22 3038 6.52
I 55 1.32 585 1.25
2003
II 485 11.67 4362 9.36
I 58 1.40 830 1.78
2004
Saber 11 II 700 16.85 6773 14.53
I 101 2.43 1310 2.81
2005
II 958 23.06 10288 22.07
I 103 2.48 2133 4.58
2006
II 1278 30.76 14649 31.42
2007 I 81 1.95 2256 4.84
Saber Pro 2011 II 4155 100.00 46617 100.00

Source: Authors’ compilations based on ICFES data.

1. Differences in socio-demographic characteristics between teachers and other professionals

Table 2 presents socio-demographic characteristics for students of education majors and students of other programs. The
share of females studying to become teachers is higher than in other programs. Also, students of education majors are
more likely to come from larger families; they have less educated parents/guardians; they are less likely to migrate to an-
other administrative unit to pursue their studies; they are more likely to have studied in public schools; and also they are
more likely to enroll in public universities and in programs with lower tuition fees. This reaffirms the idea that teachers
are more likely to come from a disadvantaged socioeconomic position compared to their peers (Mizala and Ñopo, 2011).

Table 2  Descriptive statistics

a. Characteristics at the student level

Difference between
Variables Other professionals Teachers
groups
Socio-demographic characteristics (%)
Gender (Female, as measured by Saber 11 and Saber Pro) 58.10 66.60 ***
(0.23) (0.73)
Familiy size (more than 5 persons, as measured by Saber 14.30 22.30 ***
Pro) (0.16) (0.65)
Max education of the parents/guardians (as measured by
Saber Pro)
Secondary incomplete or less 19.70 39.70 ***
(0.18) (0.76)
Secondary complete or tertiary incomplete 28.10 34.20 ***
(0.21) (0.74)
Technical or technician education complete 12.10 10.30 ***
(0.15) (0.47)
Universitary education complete 40.00 15.80 ***
(0.23) (0.57)
37.90 27.10 ***
The student moved to another administrative unit for his/her (0.22) (0.69)
higher education (as measured by a difference in the
administrative unit of residence in Saber 11 and Saber Pro)
Semester of study in current university program (as
measured by Saber Pro)
7 or 8 11.20 9.10 ***
(0.15) (0.45)
9 or 10 77.70 81.80 ***
(0.19) (0.6)
11 or 12 11.10 9.10 ***
(0.15) (0.45)

(Continues on next page)

5
 b. Characteristics at the high school level

Difference between
Variables Other professionals Teachers
groups
High school characteristics (%), as measured by Saber 11 unless otherwise noted
School administration (public) 48.00 74.80 ***
(0.23) (0.67)
School type (mixed gender) 79.1 87.7 ***
(0.19) (0.51)
School day
Complete 32.30 23.90 ***
(0.22) (0.66)
Morning 51.70 51.80
(0.23) (0.78)
Afternoon 14.50 21.10 ***
(0.06) (0.26)
Night 1.40 2.90 ***
(0.02) (0.08)
Weekend 0.10 0.30
(0.16) (0.63)
School Calendar (A calendar)† 82.10 87.30 ***
(0.18) (0.52)
Degree type (as measured by Saber Pro)
Academic 78.40 69.40 ***
(0.15) (0.45)
Technical 19.10 21.40 ***
(0.19) (0.6)
Superior normal school 2.60 9.20 ***
(0.18) (0.64)

c. Characteristics at the university level

Difference between
Variables Other professionals Teachers
groups
University characteristics (%), as measured by Saber Pro
University administration (public) 34.60 73.80 ***
(0.18) (0.56)
University fee (academic semester)††
None 1.00 1.40 *
(0.05) (0.19)
Less than 1,000,000 COP 27.30 72.90 ***
(0.21) (0.69)
Between 1,000,000 and 3,000,000 COP 30.90 23.20 ***
(0.21) (0.66)
Between 3,000,000 and 5,000,000 COP 20.80 2.30 ***
(0.19) (0.23)
More than 5,000,000 COP 20.00 0.20 ***
(0.19) (0.08)
Standard errors in parentheses. * Significant at ten percent; ** significant at five percent; *** significant at one percent.
† Colombia has two regular school calendars: The “A calendar”, which goes from February to November; and the “B calendar”,
which goes from August to June.

†† COP: Colombian Peso. The average exchange rate for the second semester of 2011 was 1856 COP/USD.
Source: Authors’ calculations based on ICFES data.
6
 As mentioned above, the common components in Saber 11 and Saber Pro are not directly comparable. Although
they evaluate the same subjects, the scores have different metrics. To perform the comparisons we use standardized
test scores (z-scores), analyzing the changes in the students’ rankings between the two tests. Figure 1 shows the average
standardized scores (and confidence intervals for the means) for teachers and other professionals in both tests and the
three subjects assessed. As it is clear from the figure, teachers underperform in comparison to their peers in all the three
subjects in both tests.
Low scores in Saber 11 might also work as incentives for underachievers to choose the teaching profession, as admit-
tance cut-off scores for teaching careers are low. Indeed, Figure A1 in the appendix shows that the probability of being
a teacher is lower the higher the score attained in Saber 11 for our three common subjects. Therefore, low scores and
socioeconomic disadvantage might narrow some students’ possibilities when choosing a college program. This is the
non-random selection into teaching that we will control for in our empirical strategy.

Figure 1  Average scores of teachers and non-teachers in Saber 11 and Saber Pro

a. Saber 11

Other Professionals Teachers

0.10

0.00
Quantitative reasoning Native language (Spanish) Foreign language (English)
-0.10
Z-score in Saber 11

-0.20

-0.30

-0.40

-0.50

-0.60

b. Saber Pro

Other Professionals Teachers

0.10

0.00
Quantitative reasoning Native language (Spanish) Foreign language (English)
-0.10
Z-score in Saber Pro

-0.20

-0.30

-0.40

-0.50

-0.60

Source: Authors’ calculations based on ICFES data.

Note: Confidence intervals at 95% added.

7
 RELATIVE LEARNING MOBILITY

Relative learning mobility is assessed by the change in z-scores in quantitative reasoning, native language and foreign lan-
guage between Saber 11 and Saber PRO. Figure 2 illustrates such relative learning mobility for some selected university
programs. The education majors are grouped into four categories, according to their emphasis: quantitative reasoning
(mathematics, physics, biology, etc.), native language (Spanish, social sciences, humanities, philology), foreign language
(mainly English, although there are students of some other foreign languages), and others (preschool, arts, sports and
others).3 Among the four groups of education majors, only those emphasizing native language and foreign languages
show a sizeable improvement in the English and Spanish skills of their students. For all other groups of teaching careers
their average z-scores fall. Out of the 53 non-teaching careers, in contrast, many improved their z-scores: 30 in quantita-
tive reasoning, 24 in native language and 30 in foreign language (not shown but available upon request to the authors).
For the selected majors shown, the figure makes evident that after around five years of college, gaps in quantitative
reasoning between school teaching programs and other (selected) academic programs have widened.4 That is, teachers’
skills in quantitative reasoning either deteriorate or do not improve as much as those of professionals in other areas of
knowledge. That is, teachers’ skills in quantitative reasoning either deteriorate or do not improve as much as those of
professionals in other areas of knowledge.

Figure 2  Distribution of standardized test scores in Saber 11 and Saber Pro, selected programs highlighted

a. Quantitative reasoning

Saber 11 (2005-I to 2007-I)

Frequency
.4
0

Teacher (other areas)

Teacher (quant. reas.)

Teacher (for. lang.)
Teacher (nat. lang.)
-1

1
Geology
Nutrition

Chemical eng.

Scores in quantitative reasoning (z-scores)

Saber PRO (2011-II)

Frequency
.4
0

Teacher (other areas)

Teacher (for. lang.)

Teacher (quant. reas.)

Teacher (nat. lang.)
-1

1
Geology
Nutrition

Chemical eng.

Scores in quantitative reasoning (z-scores)

(Continues on next page)

We selected those programs with the highest changes in their z-scores between Saber 11 and Saber Pro for our illustrative purposes.
3

We selected those programs with the highest changes in their z-scores between Saber 11 and Saber Pro for our illustrative purposes.
4

8
9
Frequency Frequency
Frequency Frequency
0 .4 0 .4 0 .4 0 .4

-1 -1 -1 -1

Teacher (other areas)

b. Native language (Spanish)

c. Foreign language (English)

Teacher (quant. reas.) Teacher (other areas)
Teacher (quant. reas.) Teacher (other areas)

Teacher (other areas)

Teacher (nat. lang.)
Teacher (quant. reas.) Teacher (quant. reas.)

Philosophy

Source: Authors’ calculations based on ICFES data.

Teacher (nat. lang.) Geology Teacher (nat. lang.)
Philosophy

Teacher (nat. lang.)

Teacher (for. lang.)
Geology
Nutrition
Teacher (for. lang.)
Nutrition Philosophy
Teacher (for. lang.)

Saber PRO (2011-II)

Saber PRO (2011-II)

Philosophy

Saber 11 (2005-I to 2007-I)

Saber 11 (2005-I to 2007-I)

Political Science
Anthropology

Scores in foreign language - English (z-scores)

Scores in foreign language - English (z-scores)
Scores in native language - Spanish (z-scores)
Scores in native language - Spanish (z-scores)

1 1

Political Science Anthropology

1 1
Teacher (for. lang.)
 To assess relative learning mobility we estimate:

yi, 1 = �1 + �2 t i, 1 + �3 yi, 0 + �4(t i, 1 * yi, 0) + ε i (1)

where yi, 1 represents the z-score attained in Saber Pro by individual i; t i, 1 is a dummy variable that takes the value 1 if the
individual i is found in saber PRO as an education major and 0 if she/he is in another program; yi, 0 is the z-score attained
in Saber 11 by i; ε i is an idiosyncratic error term.
Given that some education majors emphasize on the subjects assessed, we proceed to capture this particularity by
adding a dummy variable, hi, 1 , that takes the value 1 if the individual i is studying an education major that makes empha-
sis in either quantitative reasoning, native language or foreign language —in accordance with the dependent variable.
Therefore (1) becomes:

yi, 1 = �1 + �2 t i, 1 + �3 yi, 0 + �4(t i, 1 * yi, 0) + �5 hi, 1 + �6 (hi, 1 * yi, 0) + ε i (2)

However, both (1) and (2) may suffer from selection bias. We address selection on observables by using two ap-
proaches: The first one allows us to address the differences in the distribution of characteristics between teachers and
other professionals by modelling self-selection on observables into the regression equation: a (two-step) heckit model
(Heckman, 1979; Maddala, 1983). The second approach: a non-parametric matching, allow us to address the differences
in the distribution of observable characteristics in and out of the common support between teachers and other profes-
sionals (Ñopo, 2008). We compare teachers and other professionals on the basis of the same observable characteristics
—thus, in the common support. We describe both approaches next.

1. Two-step model (Maddala, 1983)

To address self-selection, researchers usually resort to Heckman self-selection correction models. Heckman proved that,
under incidental truncation, including the inverse of the Mills ratio would provide consistent estimators (Heckman,
1979). Later on, Maddala (1983) proved that Heckman’s approach also provides consistent estimators in the presence of
self-selection but the absence of incidental truncation. Therefore, the impact of selection bias is neither thrown away nor
assumed to be random; we model it into the equation estimating the outcome regression.
In the first step we estimate the selection equation

t i, 1 = ΘXi, 1 + εi, 1, (3)

where Xi, 1 denotes the vector of observable characteristics. Thus, we are able to obtain

Prob(t i, 1 = 1|Xi, 1 ) = φ(ΘXi, 1)

and
Prob(t i, 1 = 0|X i, 1) = 1 − Ф(ΘXi, 1),

and compute the inverse of the Mills ratio, i.e.

φ(ΘXi, 1)
λ=
1 − Ф(ΘXi, 1)

Given sample selection (t endogenous) we plug λ into (1) and estimate

φ(ΘXi, 1)
yi, 1 = �1 + �2 t i, 1 + �3 yi, 0 + �4 (t i, 1 × yi, 0) + р  + εi . (4)
1 − Ф(ΘXi, 1)
φ(ΘXi, 1)
yi, 1 = �1 + �2 t i, 1 + �3 yi, 0 + �4 (t i, 1 × yi, 0) + �5 hi, 1 + �6 (hi, 1 × yi, 0) + р  + εi . (5)
1 − Ф(ΘXi, 1)
10
 2. Non-parametric matching (Ñopo, 2008)

There might be combinations of characteristics for which we can find a teacher, but not another professional. These dif-
ferences in observables might lead to biased estimates given the differences in the supports of the distribution of observ-
able characteristics. Ñopo (2008) propose a way to solve this problem, by comparing individuals in the common support.
The matching procedure goes as follows:

»» Select one teacher from the sample (without replacement).

»» Select all non-teachers that have the same observable characteristics as the teacher previously selected.
»» Put the observations of both individuals (the synthetic teacher and non-teacher) in their respective new samples of
matched individuals, reweighting the observations.
»» Repeat until exhausting the original teachers’ sample.

We use gender, year of birth, year and semester in which Saber 11 was taken, parents’ education, school type (public or
private), type of university (public or private) and scores in Saber 11 (as deciles of the distribution of scores), as variables
for the matching. Therefore, we not only compare individuals on the basis of the same observable characteristics but also
on the same proxy of academic ability before college education.
By matching on observables we obtain a new distribution of observable characteristics for other professionals that
mimics the one for teachers. (See Ñopo, 2008, for further methodological details.) Therefore, we proceed to estimate:

yi, 1 wmatching = [�1 + �2 t i, 1 + �3 yi, 0 + �4 (t i, 1 × yi, 0) + ε i, 1 ] wmatching (6)

and (subsequently)

yi, 1 wmatching = [�1 + �2 t i, 1 + �3 yi, 0 + �4 (t i, 1 × yi, 0) + �5 hi, 1 + �6 (hi, 1 × yi, 0) + ε i, 1] wmatching , (7)

where wmatching denotes the weights after matching (that is, after the differences in the distribution of observable charac-
teristics have vanished).

RESULTS

Table 3 shows the estimates of relative learning mobility for 9 specifications; each triplet of columns corresponds to a
subject: quantitative reasoning, native language and foreign language. The first column of each triplet shows the results
obtained after estimating (1) through Ordinary Least Squares (OLS); the second column after estimating the two-step
estimators described by equation (4),5 and the third column shows the results obtained from estimating (6).6
Being enrolled in an education major is negatively related to scores in quantitative reasoning and native language in
Saber Pro. Interestingly, being enrolled in an education major is positively related to performance in foreign language in
Saber Pro. As we will uncover next, when estimating Equation (2) instead of Equation (1), most of this result is explained
by the skill gains of those who study to become English teachers.

5
Table A2 in the appendix shows the size of the common support after adding each matching variable at a time. After controlling for the full set of
observable characteristics we are left with 2/3 of the teachers sample and around 15% of the other professionals sample. We compute the p-values
of Kolmogorov-Smirnov tests for the two distributions: teachers and other professionals, to guarantee we are comparing individuals with the same
characteristics, including academic performance. After controlling for all observable characteristics the distributions of scores in Saber 11 between
teachers and other professionals are statistically the same in each subject
6
Table A2 in the appendix shows the size of the common support after adding each matching variable at a time. After controlling for the full set of
observable characteristics we are left with 2/3 of the teachers sample and around 15% of the other professionals sample. We compute the p-values
of Kolmogorov-Smirnov tests for the two distributions: teachers and other professionals, to guarantee we are comparing individuals with the same
characteristics, including academic performance. After controlling for all observable characteristics the distributions of scores in Saber 11 between
teachers and other professionals are statistically the same in each subject.

11
 It comes as no surprise that performance in Saber 11 is a good predictor of performance in Saber Pro across the
board. For the performance of teachers in quantitative reasoning, however, the evidence is less favorable. The interaction
between scores in Saber 11 and being a teacher shows a robust statistically significant negative value on the regressions.
That is, on average, teachers’ skills in quantitative reasoning relatively deteriorate compared to those of their peers in
other university programs. We do not find similar evidence of a statistically significant change in teachers’ relative learn-
ing in native language (Spanish) and foreign language (English).
The evidence of selection on observables is highlighted by the high significance of the inverse of the Mills ratio (λ).
This also means that under OLS , on average, the conditional z-scores of a teacher are lower than those from another
professional with similar observable characteristics drawn at random from the sample. That is, under OLS �2 is biased
downwards.

Table 3  Relative learning mobility

Dependent variable: Z-scores in Saber PRO

Quantitative reasoning Native language (Spanish) Foreign language (English)
Ordinary Ordinary Ordinary
Least Least Least
Variable Squares Two-step Matching Squares Two-step Matching Squares Two-step Matching
-0.4220*** -0.3588*** -0.3874*** -0.1644*** -0.0613*** -0.0902*** 0.0452** 0.1570*** 0.2104***
Teacher
(0.0151) (0.0156) (0.0226) (0.0146) (0.0150) (0.0221) (0.0186) (0.0188) (0.0243)
Saber 11 scores in
Quantitative reasoning 0.4962*** 0.4660*** 0.4535***
(0.0043) (0.0047) (0.0164)
Native language 0.5028*** 0.4654*** 0.5044***
(0.0041) (0.0042) (0.0149)
Foreign language 0.6580*** 0.6044*** 0.4928***
(0.0046) (0.0051) (0.0156)
Teacher * Saber 11 scores in

Quantitative reasoning -0.1457*** -0.1603*** -0.1000***

(0.0177) (0.0180) (0.0267)
Native language 0.0319** 0.0057 0.0141
(0.0138) (0.0137) (0.0221)
Foreign language 0.0574** 0.0327 0.1584***
(0.0280) (0.0279) (0.0322)
Constant 0.0301*** 0.3089*** 0.0440*** 0.0143*** 0.4512*** -0.0113 -0.0020 0.5022*** -0.1825***
(0.0040) (0.0180) (0.0144) (0.0040) (0.0169) (0.0144) (0.0034) (0.0190) (0.0114)
λ -0.5421*** -0.8486*** -0.9784***
(0.0339) (0.0318) (0.0356)
Observations 50772 50772 9743 50772 50772 9605 50772 50772 10312

Robust standard errors in parentheses. * Significant at ten percent; ** significant at five percent; *** significant at one percent.
Note: Programs with emphasis in mathematics are those related to the study of mathematics, physics, biology and the like; programs
with emphasis in native language are those related to the study of social sciences, humanities, philology and the like; programs with
emphasis in foreign language are those that are focused on the study, mainly, of a foreign language (including English).

Source: Authors’ calculations based on ICFES data.

Not all teachers receive the same training while in college. Some of them specialize in teaching math, some others in
teaching Spanish, some others in teaching English and so on. It is reasonable to expect different learning gains in different
subjects of Saber Pro according to their fields of specialization. Table 4 shows estimations exploring such differences in
relative learning mobility. That is, when analyzing relative learning gains in quantitative reasoning we will pay special
attention to those education majors emphasizing on math teaching. Similarly, when analyzing relative learning gains in
native language (foreign language) we will pay special attention to those education majors emphasizing on Spanish (for-
eign languages) teaching.
Similar to Table 3, Table 4 shows the estimates of relative learning mobility for 9 specifications: each triplet of col-
umns corresponds to a subject; the first column of each triplet shows the results obtained after estimating (2) through

12
 OLS; the second column after estimating the two-step regression model (5), and the third column shows the results ob-
tained from estimating (7).
As in the previous estimations, being a teacher is negatively correlated to performance in Saber Pro, but there are
some differences with the results shown in Table 3. For quantitative reasoning and native language this correlation is
more negative. For foreign language, this correlation, which was positive, becomes negative. Nonetheless, the results
indicate that being an English teacher (as opposed to a teacher in other subjects) has a strongly positive correlation with
performance in English in Saber Pro. Along similar lines, Spanish teachers also show a positive performance with respect
to the average. This is not the case for teachers in programs with emphasis in quantitative reasoning. The coefficient cor-
responding to the hi, 1 dummy is positive and significant, but the total effect �2 + �5 is still negative.
The results on the predictive power of Saber 11 across the board (�3) and the smaller learning mobility of teachers
with emphasis in quantitative reasoning (�4) still hold. Such smaller learning mobility of teachers, nonetheless, gets
counterbalanced among those teachers whose programs emphasized math. They show higher mobility than the other
teachers (�6 > 0), although their mobility is still smaller than that of other professionals (�4 + �6 > 0). The most intriguing
and possibly discouraging result, however, is that learning mobility in native language (foreign language) for teachers in
programs whose emphasis is in Spanish (English) is smaller than that of other teachers (�6 < 0). That is, the more able
an education major student showed to be in native language (foreign language) in Saber 11, the smaller her/his relative
progress in native language (foreign language) skill acquisition, as measured by Saber Pro.
We explored this result further by estimating Equation (2) using quantile regressions. Figure 3 shows the coefficients
of �6 by percentiles of the residuals of the regression. In the case of foreign language, the results clearly show that this
effect is more pronounced at the higher percentiles of the distribution of residuals of the regression. That is, it is more
pronounced among the good performers in Saber Pro. Interestingly, this is not the case among teaching majors that em-
phasize in neither math nor native language (Spanish). This reduces the scope for an explanation based on a regression to
the mean argument. A plausible interpretation for this result, on the other hand, could come from the existence of (nega-
tive) peer effects. The few able and talented students who choose a career in English education see their skills relatively
reduced as a result of such choice.

Table 4  Relative learning mobility controlling for career emphasis for teachers
Dependent variable: Z-scores in Saber PRO
Quantitative reasoning Native language (Spanish) Foreign language (English)
Ordinary Ordinary Ordinary
Least Least Least
Variable Squares Two-step Matching Squares Two-step Matching Squares Two-step Matching
-0.5154*** -0.4572*** -0.4712*** -0.2273*** -0.1275*** -0.1456*** -0.1683*** -0.0549*** 0.0147
Teacher
(0.0163) (0.0166) (0.0239) (0.0167) (0.0170) (0.0240) (0.0189) (0.0189) (0.0236)
Saber 11 scores in
Quantitative reasoning 0.4962*** 0.4647*** 0.4535***
(0.0043) (0.0047) (0.0164)
Native language 0.5028*** 0.4650*** 0.5044***
(0.0041) (0.0042) (0.0149)
Foreign language 0.6580*** 0.6031*** 0.4928***
(0.0046) (0.0050) (0.0156)
Teacher * Saber 11 scores in

Quantitative reasoning -0.2003*** -0.2122*** -0.1401***

(0.0191) (0.0192) (0.0282)
Native language 0.0409*** 0.0186 0.0369
(0.0157) (0.0155) (0.0239)
Foreign language -0.0882*** -0.1100*** 0.0274
(0.0315) (0.0315) (0.0323)
Teacher program has 0.3874*** 0.4259*** 0.3454*** 0.2418*** 0.2608*** 0.2105*** 1.6211*** 1.6544*** 1.5936***
emphasis in the assessed (0.0359) (0.0351) (0.0424) (0.0316) (0.0311) (0.0378) (0.0506) (0.0489) (0.0646)
subject in Saber PRO

(Continues on next page)

13
 Dependent variable: Z-scores in Saber PRO
Quantitative reasoning Native language (Spanish) Foreign language (English)
Ordinary Ordinary Ordinary
Least Least Least
Variable Squares Two-step Matching Squares Two-step Matching Squares Two-step Matching
Teacher program has
emphasis in the assessed
subject in Saber PRO *
Saber 11 scores in
Quantitative reasoning 0.1454*** 0.1249*** 0.0906*
(0.0420) (0.0437) (0.0507)
Native language -0.0681** -0.0871*** -0.1095***
(0.0304) (0.0304) (0.0376)
Foreign language -0.1496*** -0.1858*** -0.1678***
(0.0559) (0.0539) (0.0611)
Constant 0.0301*** 0.3209*** 0.0440*** 0.0143*** 0.4560*** -0.0113 -0.0020 0.5150*** -0.1825***
(0.0040) (0.0180) (0.0144) (0.0040) (0.0167) (0.0144) (0.0034) (0.0178) (0.0114)
λ -0.5654*** -0.8579*** -1.0032***
(0.0340) (0.0313) (0.0333)
Observations 50772 50772 9743 50772 50772 9605 50772 50772 10312

Robust standard errors in parentheses. * Significant at ten percent; ** significant at five percent; *** significant at one percent.
Note: Programs with emphasis in mathematics are those related to the study of mathematics, physics, biology and the like; programs
with emphasis in native language are those related to the study of social sciences, humanities, philology and the like; programs with
emphasis in foreign language are those that are focused on the study, mainly, of a foreign language (including English).

Source: Authors’ calculations based on ICFES data

Figure 3 Relative learning mobility of teacher majors.

Values of �6 from Equation (2) obtained from quantile regressions

a. Quantitative reasoning

0.5
Estimated value of β⁶

0
0 10 20 30 40 50 60 70 80 90

-0.5

-1

-1.5
Percentiles of the distribution of residuals in the quantitative reasoning quantile
regression

14
 b. Native language (Spanish)

0.5
Estimated value of β⁶

0
0 10 20 30 40 50 60 70 80 90

-0.5

-1

-1.5
Percentiles of the distribution of residuals in the native language quantile regression

c. Foreign language (English)

0.5
Estimated value of β⁶

0
0 10 20 30 40 50 60 70 80 90

-0.5

-1

-1.5
Percentiles of the distribution of residuals in the foreign language quantile regression

Source: Authors’ calculations based on ICFES data.

Note: Robust confidence intervals at 95% added.

15
 CONCLUSIONS

It is unquestionable that teachers are essential for a high quality educational system. Nonetheless, there is evidence of
negative selection into teaching as students from disadvantaged socioeconomic environments with low academic perfor-
mance are more likely to enroll into programs in school education. This study builds onto that providing another piece
of evidence. The skills of students in education majors deteriorate in comparison to those who enroll in others. This is
specially the case for: (i) those who enroll in education majors with emphasis in math (physics, mathematics, biology, and,
in general, the sciences) and (ii) those who show better skills in English before entering college and enroll in education
majors with emphasis in English. After nearly 5 years of academic training, learning gaps between teachers and other pro-
fessionals widen in favor of the latter. The results hold even after accounting for differences in observable characteristics
and academic performance before college. This raises an additional red flag regarding the quality of education for teachers.
What can be done? Perhaps the most obvious place to look at is precisely the programs that nurture the future teach-
ers. It could be the case that the teaching bodies of the future teachers, or the curricula they follow, or their pedagogical
approaches, need some reforms. There is also room for action on the selection of students into teaching, such as stricter
admission standards. This may work positively by two channels: a direct effect on the skills of students in teaching majors
and an indirect effect through peers. Nonetheless, better teacher education programs and higher admissions standards,
alone, most likely will have only modest effects. Or, more generally, to think that the solution to the problem of an inad-
equate teaching force lies only within the teaching community would be extremely myopic. It is necessary to push for
ambitious policies aimed at making the teaching profession more attractive so that the most talented youngsters opt to
teach and develop a good career path.
The recent decades have seen innovation and progress in teacher policies both in the developed and developing
world. Many of them have been fortunately accompanied by rigorous impact evaluations. Thus, although perhaps we are
still away from answering the question of the design of optimal policies for the teaching profession in different contexts,
knowledge is in the making (Vegas and Ganimian, 2013).

REFERENCES

Ballou, D., & Podgursky, M. (1997). “Teacher Pay and Teacher Quality,” W.E. Upjohn Institute for Employment Research,
Kalamazoo, MI.
Barón, J. D., & Bonilla, L. (2011). “La calidad de los maestros en Colombia: Desempeño en el examen de Estado ICFES y la
probabilidad de graduarse en el área de educación,” Documentos de Trabajo sobre Economía Regional 152, Banco de
la República, Colombia.
Barón, J. D., Bonilla, L., Cardona-Sosa, L., & Ospina, M. (2013). “Quénes eligen la disciplina de la educación en Colombia?
Caracterización desde las pruebas Saber 11,” Borradores de Economía 785, Banco de la República, Colombia.
Chetty, R., Friedman, J., & Rockoff, J. (2013a). “Measuring the Impacts of Teachers I: Evaluating Bias in Teacher Value-
Added Estimates,” NBER Working Papers 19423, National Bureau of Economic Research, Inc.
Chetty, R., Friedman, J., & Rockoff, J. (2013b). “Measuring the Impacts of Teachers II: Teacher Value-Added and Student
Outcomes in Adulthood,” NBER Working Papers 19424, National Bureau of Economic Research, Inc.
Clotfelter, T., Ladd, H. F., & Vigdor, J. L. (2007). “Teacher credentials and student achievement: Longitudinal analysis with
student fixed effects,” Economics of Education Review 26(6): 673-682.
Cunha, J., & Miller., T. (2014). “Measuring value-added in higher education: Possibilities and limitations in the use of
administrative data,” Economics of Education Review 42: 64–77
Denzler, S., & Wolter. S. (2008). “Selbstselektion bei der Wahl eines Lehramtsstudiums: Zum Zusammenspiel individueller
und institutioneller Faktoren,” Beiträge zur Hochschulforschung, 30(4): 112-141.
De Paola, M. (2009). “Does Teacher Quality Affect Student Performance? Evidence From An Italian University,” Bulletin of
Economic Research, 61(4): 353–377.
Dolton, P. (1990). “The economics of UK teacher supply,” Economic Journal, 100: 91–104.

16
 Dolton, P. (2006). “Teacher supply,” chapter 19 in E. Hanushek and F. Welch (eds.), Handbook of the Economics of Educa-
tion vol. 2, Elsevier, The Netherlands.
Dolton, P., & Marcenaro-Gutierrez, O. (2011). “If you pay peanuts do you get monkeys? A cross-country analysis of teacher
pay and pupil performance,” Economic Policiy, 26(65): 5-55.
Dolton, P., & van der Klaauw, W. (1999). “The turnover of teachers: A competing risks explanation,” Review of Economics
and Statistics, 81(3): 543–550.
Eide, E., Goldhaber, D., & Brewer, D. (2004). “The Teacher Labour Market and Teacher Quality,” Oxford Review of Economic
Policy, 20(2): 230–244.
García, S., Maldonado, D., Perry, G., Rodríguez, C., & Saavedra., J. (2014). “Tras la excelencia docente: Cómo mejorar la
calidad de la educación para todos los colombianos.” Fundación Compartir. Bogotá, Colombia.
Giesen, H., & Gold, A. (1993). “Leistungsvoraussetzungen und Studienbedingungen bei Studierenden verschiedener
Lehrämter,” Psychologie in Erziehung und Unterricht, 40: 111–124
Goldhaber, D., & Brewer, D. (1997). “Why don’t schools and teachers seem to matter?: Assessing the impact of unobserv-
ables on educational productivity”, Journal of Human Resources 32(3): 505–523.
Hanushek, E. A., & Pace, R. (1995). “Who Chooses To Teach And Why?” Economics of Education Review, 14(2): 101–117
Hanushek, E. A. (2002). “Publicly provided education,” chapter 30 in A. J. Auerbach and M. Feldstein (eds.), Handbook of
Public Economics, vol. 4, Elsevier, The Netherlands.
Hanushek, E. A., & Rivkin, S. G. (2006). “Teacher Quality,” chapter 18 in E. Hanushek and F. Welch (eds.), Handbook of the
Economics of Education, vol. 2, Elsevier, The Netherlands.
Klein, S. P., Kuh, G., Chun, M., Hamilton, L., & Shavelson, R. (2005). “An approach to measuring cognitive outcomes across
higher education institutions,” Research in Higher Education, 46: 251–276.
Kukla-Acevedo, S. (2009). “Do teacher characteristics matter? New results on the effects of teacher preparation on stu-
dent achievement,” Economics of Education Review 28(1): 49-57.
Liu, O. (2011). “Value-added assessment in higher education: A comparison of two methods,” Higher Education, 61(4):
445–461.
Maddala, G. S. (1983). “Limited-Dependent and Qualitative Variables in Econometrics,” Cambridge University Press, New York.
Mizala, A., & Ñopo, H. (2011). “Teachers’ Salaries in Latin America. How Much are They (under or over) Paid?,” IZA Discus-
sion Papers 5947, Institute for the Study of Labor (IZA).
Murnane, R., Singer, J., Willett, J., Kemple, J., & Olson, R. (1991). “Who Will Teach? Policies that Matter,” Harvard University
Press, Cambridge, MA.
Ñopo, H. (2008). “Matching as a Tool to Decompose Wage Gaps,” Review of Economics and Statistics, 90(2): 290-299.
Odden, A., & Kelley, C. (1997). “Paying Teachers for What They Know and Do: New and Smarter Compensation Strategies
to Improve Schools,” Corwin Press, Thousand Oaks, CA.
OECD (2011). “Finland: Slow and steady reform for consistently high results” in Strong Performers and Succesful Re-
formes in Education, Lessons from PISA for the United States, OECD Publishing.
Podgursky, M., Monroe, R., & Watson, D. (2004). “The academic quality of public school teachers: an analysis of entry and
exit behavior,” Economics of Education Review, 23(5): 507–518
Rivkin, S., Hanushek, E., & Kain, J. (2005). “Teachers, Schools, and Academic Achievement,” Econometrica, 73(2): 417-458.
Rockoff, J. E. (2004). “The Impact of Individual Teachers on Student Achievement: Evidence from Panel Data,” The Amer-
ican Economic Review, 94(2): 247–252.
Saavedra, J. (2009). “The learning and early labor market effects of college quality: a regression discontinuity analysis,”
Mimeo, Harvard University.
Saavedra, A., & Saavedra, J. (2011). “Do colleges cultivate critical thinking, problem solving, writing and interpersonal
skills?” Economics of Education Review, 30(6): 1516–1526.
Sahlberg, P. (2009). “Educational Change in Finland” in A. Hargreaves, M. Fullan, A. Lieberman, and D. Hopkins (Eds.),
International Handbook of Educational Change, Springer, The Netherlands.
Sahlberg, P. (2011). “Finnish lessons. What can the world learn from educational change in Finland?” Teachers College
Press, New York.
Vegas, E., & Ganimian, A. (2013). “Theory and Evidence on Teacher Policies in Developed and Developing Countries,” IDB
Working Paper Series No. IDB-WP-438.
17
 APPENDIX A

Figure A1  Probability of being a teacher by deciles of the z-score distribution

a. Quantitative reasoning

.2
.16
Probability of being a teacher

.12
.08
.04 0

1 2 3 4 5 6 7 8 9 10
Decile of the quantitative reasoning-scores distribution
95% confidence intervals

b. Native language (Spanish)

.2
.16
Probability of being a teacher
.12
.08
.04
0

1 2 3 4 5 6 7 8 9 10
Decile of the native language-scores distribution
95% confidence intervals

c. Foreign language (English)

.2
.16
Probability of being a teacher
.12
.08
.04
0

1 2 3 4 5 6 7 8 9 10
Decile of the foreign language-scores distribution
95% confidence intervals

Source: Authors’ calculations based on ICFES data.

18
 Table A1  Likelihood of choosing an education major (marginal effects after probit)

Dependent variable: 1 if student studies a

program in education, 0 if not
Quantitative Native Foreign
reasoning language language
Socio-demographic
Gender (Female) 0.0153*** 0.0188*** 0.0187***
(0.0021) (0.0021) (0.0021)
Age 0.0026*** 0.0027*** 0.0027***
(0.0005) (0.0005) (0.0005)
The student moved to another -0.0335*** -0.0339*** -0.0338***
administrative unit† (0.0028) (0.0029) (0.0028)
Familiy size (more than 5 0.0180*** 0.0181*** 0.0178***
persons) (0.0030) (0.0030) (0.0030)
Max education of the
parents/guardians
Secondary complete or tertiary -0.0205*** -0.0202*** -0.0203***
incomplete (0.0022) (0.0023) (0.0022)
Technical or technician education -0.0303*** -0.0302*** -0.0304***
complete (0.0024) (0.0024) (0.0024)
Universitary education complete -0.0615*** -0.0618*** -0.0609***
(0.0025) (0.0025) (0.0025)
School characteristics
School administration (public) 0.0451*** 0.0460*** 0.0443***
(0.0024) (0.0025) (0.0025)
School type (mixed gender) 0.0188*** 0.0187*** 0.0182***
(0.0025) (0.0026) (0.0026)
School calendar (A calendar)†† -0.0119 -0.0113 -0.0128
(0.0079) (0.0080) (0.0081)
School type
Technical -0.0026 -0.0028 -0.0037
(0.0025) (0.0025) (0.0025)
Superior Normal school 0.1081*** 0.1116*** 0.1079***
(0.0093) (0.0095) (0.0093)
Saber 11 scores in
Quantitative reasoning -0.0173***
(0.0012)
Native language -0.0118***
(0.0011)
Foreign language -0.0133***
(0.0014)
Pseudo R2 0.13 0.12 0.12
Observations 50772 50772 50772
Standard errors in parentheses. * Significant at ten percent; ** significant at five percent; *** significant at one percent. We also
control for dummies that capture when Saber 11 was taken and dummies per administrative unit where the university is located.

† The student moved to another administrative unit for his/her higher education.
†† Colombia has two regular school calendars: The “A calendar”, which goes from February to November; and the “B calendar”,
which goes from August to June.

Source: Authors’ calculations based on ICFES data.

19
 Table A2 Size of common support and Kolmogorov-Smirnov tests
(p-values after adding observables characteristics)

Percentage of students Kolmogorov-

Variables Teachers Other professionals Smirnov P-value
Gender 100 100 0.00
+ year of birth 99.90 99.82 0.00
+ semester and year in which Saber 11 was taken 99.25 98.28 0.00
+ parents' max education 98.58 94.09 0.00
+ the student moved to another administrative unit 97.98 90.99 0.00
+ type of school 96.80 82.84 0.00
+ type of university 92.95 58.64 0.00
& Quantitative reasoning scores deciles 64.89 15.12 0.99
& Native language scores deciles 64.09 14.89 0.49
& Foreing language scores deciles 66.45 16.20 0.15
The Kolmogorov-Smirnov test corresponds to the test of equality of two distributions.
Source: Authors’ calculations based on ICFES data.

20
Evaluación docente: un programa consolidado
en busca de mejora y mayor pertinencia
sustentada en metaevaluación
13 de marzo de 2015
 Evaluación docente: un programa consolidado
en busca de mejora y mayor pertinencia
sustentada en metaevaluación
Leticia Elizalde Lora*
Maestría en Psicología Educativa, Universidad Autónoma del Estado de Hidalgo,
Dirección General de Evaluación, México.
lelizalde@uaeh.edu.mx
Patricia Bezies Cruz
Doctora en Filosofía y Ciencias de la Educación, Universidad Autónoma del Estado de Hidalgo,
Dirección General de Evaluación
bezies@uaeh.edu.mx

PALABRAS CLAVE: metaevaluación, evaluación de profesores

EJE TEMÁTICO: 1 Modelos y políticas de evaluación de docentes y de directivos escolares (metaevaluaciones).

Resumen
En la Universidad Autónoma del Estado de Hidalgo la evaluación es una acción primordial para la mejora continua
del quehacer educativo. Particularmente, a través de la evaluación de la docencia se emiten juicios de valor sobre
el compromiso, dedicación y calidad con los que uno de los actores centrales de la vida de las instituciones educa-
tivas, el profesor, asume el cumplimiento de su función. Debido a la importancia de tal actividad y el nivel de invo-
lucramiento de los participantes, así como la naturaleza del proceso, se reconoce la necesidad de implementar me-
taevaluaciones, a fin de contar con información válida para que la evaluación se realice en las mejores condiciones.
Desde 2004 en la UAEH se han implementado diversas experiencias para valorar cómo se evalúa a los profeso-
res y en el presente trabajo se reportan los resultados del proceso de metaevaluación 2013 en el que participaron
24,537 alumnos y 2,097 profesores. Para ello, se analizan las valoraciones emitidas a través de un cuestionario
enfocado a dimensiones tales como: valoración general del proceso, aciertos, problemáticas, impacto, aspectos a
mejorar y grado de satisfacción.
La metaevaluación refuerza el rigor, validez y calidad de las evaluaciones, así como la credibilidad, confianza
y profesionalidad del evaluador y en la medida en que se realicen ejercicios formales, se estará en condiciones de
consolidar y mejorar permanentemente los procesos evaluativos, contar con modelos estadísticos y contribuir con
experiencias específicas al estado de conocimiento sobre esta temática.

*Autor principal

2
 INTRODUCCIÓN

El proceso de evaluación docente institucional de la UAEH se fundamenta en su modelo educativo y en aquellos elemen-
tos identificados en la literatura como indicativos de una enseñanza de calidad en el nivel de educación superior. Como
parte de la revisión permanente del proceso se efectúa su metaevaluación. Para efectos del presente trabajo, metaevalua-
ción se supone como la investigación sistemática que tiene como propósito emitir un juicio acerca de la calidad o mérito
de un proceso de evaluación. Su alcance consiste en averiguar hasta qué punto la evaluación ha logrado sus objetivos, ha
cumplido con su misión y si los instrumentos utilizados son adecuados. Para ello, es indispensable incluir no sólo la opi-
nión de los tomadores de decisiones, sino también la de otras audiencias involucradas en el proceso como los estudiantes
y los propios profesores. Independientemente de los criterios seleccionados para valorar la propia evaluación, se debe
atender al rigor metodológico respecto a la obtención de la información y a la consistencia durante el análisis de datos,
generando así procesos de reflexión que permitan la comprensión relevante del objeto evaluado. Indudablemente, la pro-
pia naturaleza de la evaluación condiciona su análisis y en la medida en que la evaluación es, ante todo una investigación,
la tarea que habrá de valorar el metaevaluador será la capacidad de explicación de la investigación evaluativa.

DESARROLLO

Planteamiento de la problemática

En virtud de su relevancia, la metaevaluación requiere de una valoración suficiente por parte de los propios evaluadores y
evaluados. Por ello, se buscaron mecanismos y diseñaron instrumentos propios para tomar en cuenta la opinión de estu-
diantes y directivos que evalúan y de los profesores evaluados, para que de forma válida y confiable aporten información
para el análisis crítico y mejora del proceso.

Metaevaluación como parte fundamental de la evaluación

La evaluación es entendida como un proceso documentado de recogida sistemática de datos e información precisa y rele-
vante que permiten la emisión de un juicio de valor con relación al mérito de su objeto de interés. Se puede afirmar, que
la evaluación es una actividad altamente especializada, con presencia en las Instituciones de Educación Superior a partir
de la valoración no sólo del aprendizaje, sino también de los profesores, de la calidad de los Programas Educativos y de
los procesos de gestión (Fernández, 2008).
Díaz (2013), asume como necesaria la identificación de tres momentos de un proceso de evaluación. El primero,
considera la valoración de la evaluabilidad para determinar su viabilidad, con la finalidad de planificar y prever si los
resultados de la evaluación serán útiles para mejorar aquello que se desea valorar. El segundo, incluye los tipos de eva-
luación, los cuales se determinan por su momento de aplicación. Así, el tercer momento tiene como punto de interés la
metaevaluación. A Scriven (2009) se le atribuye la autoría del término, el cual consiste en identificar la naturaleza de la
evaluación en sí misma, (García, 2000). Al respecto, Stake (2014), precisa que si bien el término es antiguo, los sistemas
de metaevaluación son recientes, en la medida que se requiere determinar la calidad de las evaluaciones identificando sus
fortalezas y debilidades. La metaevaluación no es esencialmente un proceso técnico, tiene una naturaleza política y ética,
por lo cual debe informar de la mejor manera los resultados (Scriven, 2009).

3
 Instrumentación de la metaevaluación

Inicialmente, la valoración de la evaluación consistió en la aplicación de listas de comprobación para integrar un juicio
de valor (Díaz, 2013). Un ejemplo se identifica en la KEC (Key Evaluation Checklist) creada por Scriven, donde se detalla
meticulosamente el proceso y los diversos elementos de la evaluación.
Para Letichevsky, Vellasco, Tanscheit y Castro (2005), la recomendación de implementar las evaluaciones desde las
perspectivas formativa y sumativa, también debe ser considerada para la metaevaluación, ya que éstas de cierta forma
se complementan. Los aspectos a considerar para llevar a cabo la metaevaluación, pueden estar referidos a cuestiones
formales tales como presentación, estilo, uso del lenguaje; técnicas e instrumentos, las actitudes y conducta del evaluador,
de sus clientes y de los evaluandos; los valores implicados y la ética en general. Al respecto, desde la apreciación de Santos
y Moreno (2004), sería insuficiente incluir exclusivamente evidencias sobre la calidad de los datos recabados o sobre el
rigor de los métodos para extraer información, siendo preciso valorar la naturaleza de la iniciativa.

Valoración del proceso de evaluación docente de la UAEH

La evaluación del profesorado en la UAEH es un proceso sistemático coordinado por la Dirección General de Evaluación
(DGE) desde el 2003. Actualmente, la evaluación docente está fundamentada tanto en los aportes teóricos sobre el tema,
como en los perfiles de los profesores referidos en el Modelo Educativo de la Universidad para las distintas modalidades
de enseñanza (presencial y virtual) y niveles educativos (bachillerato, licenciatura y posgrado), incluidas las actividades
artísticas y deportivas de la educación medio superior y la enseñanza de lenguas extranjeras.
Aunado a lo anterior, se ha considerado la importancia de implementar evaluaciones multirreferenciales a partir de
la información proporcionada por distintas audiencias tales como directivos, el propio profesor a través de la autoevalua-
ción y los alumnos. Para ello, se emplean cuestionarios de creación institucional, atendiendo a los criterios de validez y
confiabilidad. Los instrumentos de evaluación, fueron diseñados para ser aplicados a través de la web y con ello se tiene
la posibilidad de evaluar desde cualquier equipo de cómputo con acceso a internet. De este modo, se incorporan los sis-
temas de información como estrategia esencial para el desarrollo y aplicación de los procesos evaluativos institucionales.
Es conveniente enfatizar, que la evaluación de los profesores se concibe como un proceso dinámico, caracterizado por
su diversificación y revisión permanente a partir de diversas experiencias metaevaluativas desde el año 2004 (Bezies,
Elizalde y Olvera, 2012). Con fundamento en éstas, se han tomado decisiones de mejora tanto en la difusión, como en la
valoración de la práctica docente referida a los perfiles institucionales y en la diversificación de los instrumentos orienta-
dos por nivel, modalidad y área de conocimiento.
A partir de este marco contextual, el presente trabajo tiene como propósito informar acerca de una fase de la metae-
valuación del proceso de evaluación docente institucional, con base tanto en la opinión de los estudiantes, reconociendo
la confiabilidad de éstos como evaluadores (Schmelkes, 2014), como de los profesores de la UAEH, identificando así sus
fortalezas y áreas de oportunidad.

Método

En 2013, durante 7 semanas se recabó la opinión de 2,097 profesores y 24,537 estudiantes de todos los niveles edu-
cativos en los que se imparte clase en la universidad (Bachillerato, Licenciatura y Posgrado). Durante el período de
evaluación docente, estas audiencias tuvieron acceso al cuestionario de metaevaluación en la página web institucional.
Se consideraron dimensiones tales como: valoración general del proceso, aciertos, problemáticas, impacto, aspectos a
mejorar y grado de satisfacción. Así, el cuestionario para profesores estuvo integrado por 40 preguntas y el de alumnos
por 33, las cuales en función del aspecto a valorar fueron de respuesta dicotómica, tipo likert, de jerarquización o bien
de respuesta múltiple.

4
 Resultados

En este apartado se refleja la opinión y la valoración del proceso de evaluación docente de acuerdo con las dimensiones
del cuestionario por profesores y alumnos. En cuanto a la valoración general del proceso (tabla 1), existe un importante
grado de acuerdo con el hecho de realizar la evaluación en línea, en la duración del proceso durante siete semanas, así
como del contenido de mecanismos de difusión como carteles, radio y trípticos.

Tabla 1  Valoración general del proceso

Porcentaje de aceptación
Aspectos Profesores Alumnos Media
N = 2 097 N=24,537
Evaluación en línea 94.6 91.2 92.9
Difusión en radio 77.3 73.9 75.6
Carteles 81.7 79.0 80.4
Trípticos 72.1 71.0 71.6
Información de los medios impresos 77.4 77.7 77.6
Duración del proceso 92.9 89.9 91.4
Evaluación en las fechas establecidas 41.5 24.1 32.8
Evaluación al concluir el semestre 37.9 49.8 43.9

En la tabla 2 se aborda la jerarquización de algunos factores de acuerdo con el grado de acierto dentro del proceso de
evaluación docente en opinión de los profesores.

Tabla 2  Aciertos del proceso jerarquizados

Aspectos
Jerarquía Profesores
N = 2 097
1 La valoración es acorde a los perfiles de los profesores
2 Acceso de todos los alumnos para evaluar a todos sus profesores 
3 Cuestionarios de alumnos por área de conocimiento y nivel educativo
4 Existencia de un Comité
5 Metaevaluación
6 Proceso certificado
7 Consulta electrónica de resultados
8 La duración del proceso
9 Las audiencias
10 Personal de la DGE

Los principales aciertos se relacionan con el uso de los perfiles como referente para evaluar la práctica de los profe-
sores, así como con el hecho de atender a la diversidad tanto de áreas de conocimiento, como de los niveles educativos.
Entre lo menos acertado, se precisan las audiencias que participan, situación que representa un aspecto a profundizar,
considerando la importancia otorgada por la institución a la realización de evaluaciones multirreferenciales.
Los alumnos (tabla 3), al igual que los profesores, destacan la evaluación basada en los perfiles docentes. Asimismo,
se percibe como favorable el acceso de todos los estudiantes al sistema y la diversidad de instrumentos de licenciatura
en función de las áreas de conocimiento.

5
 Tabla 3  Aciertos del proceso en la opinión de los alumnos
Aspectos
Jerarquía
Alumnos  N = 24 537
1 La valoración es acorde a los perfiles de los profesores
2 Todos los alumnos pueden evaluar a todos los profesores 
3 Cuestionarios de alumnos por área de conocimiento y nivel
4 La duración del proceso
5 Las personas que evalúan
6 Participación de los alumnos
7 Hacer la evaluación en la página de internet universitaria

Llama la atención lo referente al uso de la página de internet, ya que en la valoración general un alto porcentaje con-
sidera adecuado realizar la evaluación en línea.
Triangulando, se incluye en la tabla 4, la ponderación otorgada por los profesores a las problemáticas asociadas con
el proceso de evaluación docente.

Tabla 4  Problemáticas de la evaluación en la opinión de los profesores

Factores
Jerarquía
Profesores  N = 2 097
1 Los resultados no son tomados en cuenta
2 Los directivos no evalúan
3 La duración del proceso
4 Las audiencias que evalúan
5 Consulta electrónica de resultados
6 Participación de los alumnos
7 Acceso a la página Web para realizar la evaluación
8 Personal de la DGE

Desde su apreciación, los resultados no se usan para la toma de decisiones relacionada con la docencia, aunado a la
incompleta participación de los directivos para evaluar su desempeño. Entre lo menos problemático, se identifica el acce-
so a la página web institucional y el personal de la DGE.
A diferencia de los profesores, los estudiantes (tabla 5) perciben como problemático el acceso a la página web. Lo
anterior, puede estar asociado al hecho de que en el último año ésta tuvo cambios en su estructura y por consiguiente la
liga para ingresar a los cuestionarios presentó distintas ubicaciones visuales.

Tabla 5  Problemáticas de la evaluación docente con base en la opinión de alumnos

Factores
Jerarquía
Alumnos  N = 24 537
1 Acceso a la página Web para realizar la evaluación
2 Los profesores se quejan de la evaluación de los directivos
3 Falta de objetividad por parte de las personas al evaluar
4 Los resultados no son tomados en cuenta
5 La duración del proceso
6 Los profesores dicen que ellos saben quién los evaluó
7 Presión académica si no evalúas
8 El gran número de preguntas de los cuestionarios
9 No pasa nada si evalúas mal a algún profesor
10 Los alumnos no conocen el período de evaluación

6
 Además, se posiciona como un aspecto a atender, la evaluación por parte de los directivos y entre otros aspectos, el
uso de resultados de evaluación sigue siendo una demanda. De acuerdo con la posición que ocupa, no representa un pro-
blema el conocimiento sobre el período de evaluación.
Enseguida, se representa la opinión sobre aquellos aspectos en los que ha impactado la evaluación de los profesores.

Tanto para los profesores, como para los alumnos, tal impacto se refleja esencialmente en la calidad de la práctica
docente con 21.6% y 18.7% respectivamente. Por el contrario, impacta minoritariamente en procesos de evaluación
externa, en la entrega de reconocimientos a los profesores con mejor valoración y en la asignación de cargas académicas.
Particularmente, los profesores opinan que a través de la evaluación se mejora el conocimiento que tienen sobre su prác-
tica pedagógica.

En la figura 2, se representan aquellos aspectos susceptibles de mejora.

7
 Para los profesores resulta prioritario lo referente a los cuestionarios y al igual que en la dimensión de problemáticas, se
reitera el uso institucional de los resultados. Con menor porcentaje, se señala la duración del período de valoración (7.9%).
La figura 3 contiene desde la perspectiva de los alumnos los elementos del proceso a mejorar.

Destaca la consideración de quienes participan (19.5%) y el uso de los resultados para la toma de decisiones institu-
cionales (18.4%). En menor medida, se percibe la necesidad de mejorar los instrumentos (12.5%).
Por último, en la dimensión grado de satisfacción, ocho de cada diez están conformes con la realización de la evalua-
ción docente institucional en términos generales. Particularmente, el 24.6% manifiesta poca satisfacción con el uso de
los resultados.

CONCLUSIONES

A partir del trabajo realizado, se pueden identificar como aciertos de la evaluación de los profesores la referencia a los
perfiles docentes, con lo cual se atiende a la diversidad de situaciones de enseñanza.
Los cuestionarios son sin duda objeto de controversia, ya que si bien para los profesores son un aspecto susceptible
de mejora, para los estudiantes éstos constituyen uno de los elementos con menor problemática.
El hecho de que los alumnos sean conscientes de realizar la evaluación de todos sus profesores, estén de acuerdo con
la duración y conozcan el período de evaluación revela que asumen el proceso como algo importante y por consiguiente
como parte de su vida en la institución. Resulta alentadora la apreciación por parte de ambas audiencias de que la eva-
luación ha impactado mayoritariamente en la calidad de la práctica educativa y en la mejora de los Programas Educativos
ofertados por la universidad.
Uno de los retos del proceso de evaluación docente en la UAEH está relacionado con la consolidación del uso institu-
cional de los resultados. Así, para contrarrestar el escepticismo de los usuarios de los resultados y de las audiencias que
participan, es necesario pasar del discurso a acciones que le otorguen a la docencia su justo valor. Se analizará el uso de
las calificaciones otorgadas (medidas de valor agregado) aunque se coincide con la postura de Schmelkes (2014) en que
son producto de diversos factores y no sólo de él.
La participación de los directivos en el proceso de evaluación es percibida como una problemática a atender, ya que
invariablemente quedan profesores sin evaluar. Cabe precisar, que en un trabajo posterior se reportarán los resultados de
la metaevaluación 2014 dirigida a recabar la opinión de los directivos sobre la evaluación docente institucional.

8
 Desde este trabajo, se enfatiza que el fin de la evaluación es la mejora y la metaevaluación es el propio mecanismo de
perfeccionamiento de la evaluación. Por ello, la evaluación sin su correspondiente proceso valorativo se considera como
parcial e inconclusa. Asimismo, a través de este tipo de experiencias, los profesores tienen la posibilidad de analizar la
relevancia de ser evaluados, valorar el impacto que ha tenido en ellos para su práctica profesional y, sobre todo, apreciar
que la evaluación es un proceso que incide favorablemente en todos los participantes de la comunidad universitaria.
En este orden de ideas, es fundamental implementar metaevaluaciones sistemáticas (Rueda, 2011), de tal forma que
la información obtenida a través de instrumentos diseñados ex profeso de valía al proceso, redunde en la mejora del mis-
mo y que tenga consecuencias especialmente las positivas. Finalmente, una vez efectuada, es indispensable valorar sus
efectos, consecuencias y cambios generados.

BIBLIOGRAFÍA
Bezies, C. P., Elizalde, L. L. & Olvera, B. I. (2012). Recuento Metodológico del Proceso Evaluativo Docente en la UAEH.
Un Estudio de Metaevaluación para Visualizar y Comparar el Sistema. Revista Iberoamericana de Evaluación Educativa,
5 (2), 9-25. Recuperado de http://www.rinace.net/riee/numeros/vol5-num2/art1.pdf
Díaz, L. F. (2013). La metaevaluación y su método. Revista de Ciencias Sociales, (92-93).
Fernández, S. J. (2008). Valoración de la calidad docente: El profesorado. Un modelo de evaluación circular. Madrid: UCM,
Editorial Complutense.
García, S. E. (2000). Metaevaluación. Universidad Carlos III de Madrid.
Letichevsky, A. C., Vellasco, B.R.M.M., Tanscheit, R. & Castro, S. R. (2005). La categoría precisión en la metaevaluación:
aspectos prácticos y teóricos en un nuevo enfoque. Ensaio: aval. pol. públ. Educ., 13 (47), 255-268.
Rueda, B. M. (2011). ¿Evaluar para controlar o para mejorar?. Valoración del desempeño docente en las universidades.
México, IISUE. UNAM
Santos, G. M. Á. & Moreno O. T. (2004). ¿El momento de la metaevaluación educativa? Consideraciones sobre epistemolo-
gía, método, control y finalidad. Revista Mexicana de Investigación Educativa, IX (23), 913-931. Recuperado de http://
estudiosterritoriales.org/articulo.oa?id=14002307
Schmelkes, S. (2014). Conferencia Magistral: “Evaluacion del desempeño docente: estado de la cuestión”. V Coloquio Ibe-
roamericano de Investigadores sobre Evaluación de la Docencia. RIIED, Universidad Autónoma de Baja California.
Recuperado de http://www.ustream.tv/recorded/52290135
Scriven, M. (2009). Meta-evaluation revisited. Journal of Multidisciplinary Evaluation, 6, (11), iii-viii. Recuperado de
http://journals.sfu.ca/jmde/index.php/jmde_1/article/viewFile/220/215
Stake, R. (2014, septiembre). Conferencia Magistral “Metaevaluación”. V Coloquio Iberoamericano de Investigadores so-
bre Evaluación de la Docencia. RIIED, Universidad Autónoma de Baja California. Recuperado de: http://www.ustream.
tv/recorded/53076609

9
Prova docente: o processo de elaboração de
itens do pré-teste para a área de organização
e gestão do trabalho pedagógico
13 de marzo de 2015
 Prova docente: o processo de elaboração de
itens do pré-teste para a área de organização
e gestão do trabalho pedagógico
Camylla Portela de Araujo
Mestrado em Educação, Brasil
camylla.araujo@inep.gov.br
Paola Matos da Hora
Doutoranda em Educação, Brasil
paola.hora@inep.gov.br
Vanessa Cardoso Tomaz
Mestrado em Educação, Brasil
vanessa.tomaz@inep.gov.br

PALABRAS CLAVE: Prova Docente, Organização do Trabalho Pedagógico.

EJE TEMÁTICO: Modelos y políticas de evaluación de docentes y de directivos escolares

Resumen
A Prova Nacional de Concurso para o Ingresso na Carreira Docente, chamada de Prova Docente é destinada aos
candidatos que desejam ingressar na carreira docente, na educação infantil, anos iniciais do ensino fundamental,
nas modalidades regular e Educação de Jovens e Adultos (EJA - primeiro segmento), das redes públicas da educa-
ção básica.
O documento norteador da Prova Docente é a Matriz de Referência. Esta se constitui por dois eixos que deli-
neiam o perfil profissional do docente ingressante na carreira do magistério: o Eixo dos Conhecimentos e o Eixo
dos Processos. O Eixo dos Conhecimentos apresenta-se dividido em onze áreas de saberes relacionados à docência
e dentre elas está a Organização e Gestão do Trabalho Pedagógico (OGTP). O Eixo dos Processos relaciona-se a for-
ma como os sujeitos administram recursos cognitivos, sociais e afetivos para enfrentar uma determinada situação
no seu exercício profissional. Em setembro de 2012, foi realizado um pré-teste com itens das áreas de conhecimen-
to da Prova Docente, tendo em vista a validação da Matriz de Referência da Prova.
Dentro desse tema, o presente estudo busca descrever como foi realizado o processo de elaboração de itens
para o pré-teste na área de OGTP, a partir da pesquisa documental, com base em documentos disponibilizados
pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP).

2
 INTRODUCCIÓN

Este estudo foi realizado a partir da pesquisa documental de documentos disponibilizados pelo Instituto Nacional de
Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Segundo Gil (2008) a pesquisa documental é desenvolvida com
base em documentos e em materiais já elaborados.
A Prova Nacional de Concurso para o Ingresso na Carreira Docente, chamada de Prova Docente, é uma iniciativa do
INEP no âmbito das políticas públicas do Ministério da Educação (MEC) relacionada à valorização dos profissionais do
magistério do país. Os estudos referentes à implementação da Prova Docente envolvem a participação de equipe técnica
do INEP1, da Comissão Assessora de Especialistas2 e do Comitê de Governança3 (INEP, 2015).
A Prova Docente4 foi instituída pela Portaria Normativa GM/MEC nº 03, de 02 de março de 2011, com os seguintes
objetivos:

I Subsidiar os Estados, o Distrito Federal e os Municípios na realização de concursos públicos com o intuito de selecio-
nar docentes para a educação básica;
II Conferir parâmetros para autoavaliação dos participantes da Prova, com vistas à continuidade de sua formação e à
inserção no trabalho docente (resguardado o sigilo individual dos candidatos);
III Fornecer subsídios qualitativos à formulação e à avaliação de políticas públicas de formação inicial e continuada de
docentes (BRASIL, 2011, p. 1).

A Prova Docente foi planejada para ser aplicada de forma descentralizada em todo o país, para aqueles candidatos
ao ingresso na carreira docente, na educação infantil, anos iniciais do ensino fundamental, nas modalidades regular e
Educação de Jovens e Adultos (EJA - primeiro segmento), das redes públicas da educação básica. Ao considerar o regime
de colaboração entre os entes federados, a participação das secretarias de educação (municipais, estaduais e a do Distrito
Federal) foi prevista de forma facultativa a cada gestor na adesão à Prova Docente e na forma de utilização dos resultados
dos participantes da Prova em seus concursos públicos (INEP, 2015).

DESARROLLO

1. Matriz de referência

A Matriz de Referência é o documento norteador, composto pela descrição dos conhecimentos a serem privilegiados na
Prova Docente e, portanto, orienta a elaboração dos itens e a preparação dos candidatos na realização do processo seletivo.
A Matriz de Referência constitui-se por dois eixos que delineiam o perfil profissional do docente ingressante na carreira

1
Servidores do órgão.
2
A Comissão foi instituída por meio da Portaria INEP nº 338, de 9 de setembro de 2010, seguida da Portaria INEP nº 74, de 1º de abril de 2011 e da
Portaria nº 125, de 07 de maio de 2012. Sua composição abrange um grupo diversificado de especialistas organizados em grupos, divididos por eixos
dos objetos de conhecimento. A principal atribuição da Comissão consiste em sugerir e discutir com a equipe técnica do INEP a proposta da Matriz
de Referência para a Prova Docente.
3
O Comitê foi instituído pela Portaria Normativa nº 3, de 02 de março de 2011. A composição do Comitê envolve diversas entidades representativas
e órgãos governamentais da área educacional: INEP, Secretaria de Educação Básica (SEB/MEC), Secretaria de Educação Superior (Sesu/MEC),
Coordenação de Aperfeiçoamento do Pessoal de Nível Superior (CAPES), Conselho Nacional dos Secretários de Educação (Consed), União Nacional
dos Dirigentes Municipais de Educação (Undime), Confederação Nacional dos Trabalhadores da Educação (CNTE), entidades de estudos e pesquisas
em educação e Fórum Nacional de Diretores de Faculdades de Educação ou Equivalentes das Universidades Públicas Brasileiras (Forumdir). O Comitê
tem função consultiva, dentre suas principais atribuições destaca-se a avaliação da Matriz de Referência da Prova e os diversos aspectos referentes à
implementação da Prova, tais como procedimentos de adesão dos entes federativos, inscrição de participantes, divulgação e utilização dos resultados,
entre outros.
4
A Prova Nacional de Concurso para o Ingresso na Carreira Docente havia sido instituída pela Portaria nº 14, de 21 de maio de 2010, sendo denominada
de Exame Nacional de Ingresso na Carreira Docente. Por essa razão, nos documentos anteriores à Portaria Normativa nº 3, de 02 de março de 2011,
que substituiu a Portaria nº 14, de 21 de maio de 2010, encontra-se a denominação Exame e não Prova.

3
 do magistério. O primeiro, o Eixo dos Objetos de Conhecimento, foi planejado com 11 áreas5 de saberes relacionados à
docência, das quais 10 áreas foram incluídas no pré-teste: i) Políticas Educacionais; ii) Organização e Gestão do Trabalho
Pedagógico; iii) Desenvolvimento e Aprendizagem; iv) Língua Portuguesa e seu Ensino; v) Matemática e seu Ensino; vi)
História e seu Ensino; vii) Geografia e seu Ensino; viii) Ciências da Natureza e seu Ensino; ix) Educação Física e seu Ensino;
x) Arte e seu Ensino (INEP, 2014).
Este eixo articula-se a um segundo, o Eixo dos Processos. Composto por seis processos, cada um deles refere-se a
aspectos relacionados à prática docente (INEP, 2015).
O Processo 1 (P1) trata da articulação de conhecimentos para compreensão de aspectos culturais, ambientais, políti-
cos, econômicos, científicos e tecnológicos da sociedade contemporânea.
O Processo 2 (P2) compreende a promoção dos direitos humanos e educativos de todos, mediante ações de inclusão,
valorização da diversidade e respeito à singularidade dos alunos no contexto da comunidade escolar.
O Processo 3 (P3) aborda o planejamento do trabalho pedagógico para orientar os processos de construção de co-
nhecimento.
O Processo 4 (P4) evidencia o desenvolvimento de metodologias e recursos pertinentes para alcançar os objetivos do
trabalho pedagógico.
O Processo 5 (P5) discute a organização de procedimentos avaliativos que permitam reorientar a prática educacional.
E por fim, o Processo 66(P6) engloba a comunicação com coerência e coesão por meio de textos escritos.
Desta maneira, o perfil profissional do professor é composto pela articulação entre os Objetos de Conhecimento e o
conjunto dos Processos. Sendo que o agrupamento dos Processos compõem as Dimensões7 do perfil. Desse modo, busca-
-se a conexão entre teoria e prática. A Matriz representa um modelo de dupla entrada, em que o Eixo dos Processos apre-
senta-se de forma transversal ao Eixo dos Objetos de Conhecimento. Dada esta preocupação, a construção do pré-teste foi
pensada de maneira a conseguir aproximar-se, ao máximo, da complexidade do perfil profissional docente ingressante
nas redes públicas de ensino. Cada item do pré-teste deveria permitir a identificação da capacidade dos participantes de
mobilizar conhecimentos, habilidades e competências para promover a ação educativa a partir de situações-problemas
realísticas (INEP, 2015).

Organização do trabalho pedagógico

No caso específico do Objeto de Conhecimento denominado de Organização e Gestão do Trabalho Pedagógico (OGTP),
apenas os Processos de número 3, 4 e 5 foram contemplados na elaboração de itens (BRASIL, 2015). Este Objeto de Con-
hecimento foi subdividido em cinco tópicos (INEP, 2014):
i) T1 - Projeto Político Pedagógico e Gestão Escolar: finalidades e funções;
ii) T2 - Planejamento;
iii) T3 - Currículo;
iv) T4 - Teorias Pedagógicas;
v) T5 - Avaliação educacional: aprendizagem institucional e de larga escala.
Os tópicos que integram a área de OGTP dão origem aos subtópicos8 que possibilitam o desbobramento das temáticas
a serem desenvolvidas na Prova Docente.

5
A área de Fundamentos de Educação foi planejada como um objeto de conhecimento, porém não foi incluída como área de conhecimento específico
no pré-teste. Atualmente, os Fundamentos da Educação perpassam toda a Matriz e está em debate pela equipe técnica do INEP em conjunto com a
Comissão Assessora de Especialistas da Prova Docente para sua especificação (BRASIL, 2014).
6
No pré-teste não foram elaborados itens deste Processo, o qual está relacionado à questão discursiva.
7
Dimensão 1: Articulação da educação e a sociedade contemporânea (P1 e P6); Dimensão 2: Promoção dos direitos educacionais (P2); Dimensão 3:
Prática pedagógica (P3, P4, P5).
8
1.1 Concepção, princípios e eixos norteadores do Projeto Político Pedagógico; 1.2 A gestão educacional decorrente do Projeto Político Pedagógico;
1.3 Trabalho coletivo e formação docente; 1.4 Dimensões, componentes e elaboração do planejamento educacional; 1.5 Teorias curriculares
(tradicional, crítica e pós-crítica); 1.6 Currículo integral; 1.7 Adequações curriculares; 1.8 Principais Tendências pedagógicas: pedagogia tradicional,
escolanovista, tecnicista e crítica; 1.9 Avaliação da aprendizagem; 1.10 Avaliação institucional; 1.11 Avaliação de larga escala ou de rede; 1.12 Funções
da avaliação: diagnóstica, somativa, classificatória e formativa.

4
 2. Elaboração de itens a partir da matriz de referência

No que se refere à elaboração de itens, após a chamada pública do INEP publicada em 2011 (INEP, 2010), foram capa-
citados 235 professores das 10 áreas de conhecimento que compõe a Matriz da Prova Docente, bem como revisores de
Língua Portuguesa. Para as oficinas de elaboração e revisão de itens foram convocados 99 colaboradores (INEP, 2015).
Para a elaboração e a revisão de itens na área de OGTP foram selecionados 36 professores. Esses elaboraram 363 itens
da área. Na segunda etapa, os itens foram analisados pela Comissão Assessora, pela equipe técnica do INEP e passaram
por revisão de Língua Portuguesa. Na terceira etapa, foram novamente analisados e alguns itens precisaram ser alterados
para atender aos critérios técnicos bem como, para corrigir equívocos teóricos-conceituais. Do total de itens elaborados
para a área 291 foram descartados, 40 aproveitados e 32 não completaram o fluxo dos itens (INEP, 2015).
No processo de elaboração de itens da área de OGTP infere-se que cada Processo apresentou determinadas peculia-
ridades. O Processo 3, que trata do planejamento do trabalho pedagógico, obteve um maior número de itens elaborados.
Isso pode ter ocorrido por várias razões, dentre as quais se destacam duas específicas: primeiramente, pelo fato de o tema
estar muito presente no cotidiano pedagógico do professor. Segundo, devido à herança advinda da visão tecnicista que
prevaleceu e ainda prevalece na formação do professor. Essa concepção privilegia o instrumental técnico, dando ênfase
ao planejamento como um instrumento racional. O que é confirmado por Contreras (2002), ao afirmar que na tendência
tradicional o professor é técnico, sua personalidade profissional se identifica na eficácia e eficiência da aplicação de mé-
todos e técnicas, previamente previstas.
Quanto ao Processo 4, que aborda o desenvolvimento de metodologias e recursos pertinentes para alcançar os objetivos
do trabalho pedagógico foi evidenciado que este Processo, está diretamente vinculado ao Processo 3 que trata do planeja-
mento do trabalho pedagógico para orientar os processos de construção do conhecimento. Nesse sentido, foi apontado que
o P4 pode ser considerado uma complementação do P3. De acordo com a perspectiva teórica de GANDIN, 1998; LIBÂNEO,
2001; PADILHA 2007 e VASCONCELLOS, 2008, ao tratar de planejamento, mesmo que indiretamente, aborda-se os compo-
nentes de ensino que englobam: os objetivos e conteúdos de ensino, as metodologias, os recursos e a avaliação da apren-
dizagem. A desvinculação das metodologias e dos recursos, do contexto do planejamento, fragmentou o ato de planejar e
comprometeu sua compreensão. A partir dessa constatação, a sugestão é que se promova a discussão a respeito da possível
junção do Processo 3 com o Processo 4. Infere-se que a separação desses dois Processos pode ter levado o elaborador a
encontrar dificuldades para elaborar o item, uma vez que os Processos apresentam características muito semelhantes.
O Processo 5, que analisa a organização de procedimentos avaliativos que permitem reorientar a prática educacional,
teve um número menor de itens em relação aos demais Processos. Talvez isso tenha ocorrido em decorrência do tema
abordado por esse Processo requerer do elaborador a apropriação dos conhecimentos teóricos específicos sobre a ava-
liação. Portanto, em relação à avaliação, são visíveis as lacunas existentes na formação. Na maioria das vezes, os cursos
de formação de professores não abordam em seus currículos os conhecimentos da avaliação e, quando o fazem, tratam os
três pilares do processo – de ensino, da aprendizagem e da avaliação – de maneira desconexa e desarticulada. Foi apon-
tado que nos itens elaborados nesse Processo, prevaleceu o pragmatismo pedagógico e o reforço do discurso decorrente,
tendo como base o senso-comum.

3. Processo de elaboração de itens

No processo de revisão dos itens de OGTP, infere-se que havia dificuldades tanto nos aspectos pedagógicos como nos
aspectos técnicos.
Quanto às dificuldades relacionadas aos aspectos pedagógicos, muitas delas podem ser atribuídas às fragilidades da
formação dos elaboradores. Estas são causadas pela redução do espaço dos fundamentos epistemológicos e científicos da
educação nos processos formativos, e pela prevalência de uma concepção conteudista e pragmática, ancorada na episte-
mologia da prática e na lógica das competências. Diversos estudos têm sido realizados sobre a problemática da formação,
entre os quais destacamos: os que tratam da desarticulação entre a realidade prática e os conteúdos acadêmicos do futu-
ro professor (PERRENOUD, 1997, 2001; PEREIRA, 2000); e os que tratam da separação entre as disciplinas específicas e
as pedagógicas (CARVALHO, 1988; PIMENTA, 1994, 1996, 1997; PEREIRA, 2000).

5
 O quadro 1 elenca as dificuldades mais evidentes, detectadas nos documentos do INEP a respeito do processo de
revisão dos itens de OGTP:

Quadro 1  Dificuldades relacionadas ao processo de formação do professor

Dificuldades relacionadas ao processo de formação do professor

Pouco aprofundamento teórico-científico;
Pouco domínio das teorias da educação;
Visão pragmática e fragmentada dos saberes;
Dicotomia entre ensino e pesquisa;
Distanciamento da formação com a realidade social;
Dificuldade em perceber os condicionantes sócio-histórico e cultural que perpassam a construção do conhecimento;
Pouca articulação com as demandas da educação básica;
Visão reducionista da docência, centrada apenas na sala de aula;
Concepção tecnicista de aprendizagem;
Currículo pautado na racionalidade técnica;
Desvalorização dos conhecimentos pedagógicos;
Dispersão entre as disciplinas que compõem a área de formação pedagógica;
Desarticulação entre os saberes da experiência, os saberes pedagógicos e os saberes específicos;
Separação entre as disciplinas pedagógicas e as de conhecimento específico;
Centralidade nos conteúdos acadêmicos dos conhecimentos específicos.

Mesmo com a realização das oficinas e com o auxílio do “Guia de Elaboração de Itens” (INEP, 2011), nos documentos
foram identificados que os elaboradores apresentaram diversas dificuldades referentes aos conhecimentos técnicos da
elaboração que englobam o contexto, o enunciado e as alternativas, de acordo com o quadro 2.

Quadro 2  Levantamento dos pontos frágeis dos itens revisados

Dificuldades relacionadas aos conhecimentos técnicos

Falta de criatividade e criticidade;
Referência centrada na escola, mais especificamente na sala de aula;
Desconhecimento das normas da ABNT;
Desarticulação entre o contexto e o enunciado. O item pode ser respondido independente do contexto;
Situações demasiadamente extensas;
Contexto Reforço do discurso recorrente sobre situações pedagógicas;
Pouca articulação com o objetivo do item;
Análise restrita de imagens, textos e citações;
Informações insuficientes;
Dispensável, com caráter de mero acessório;
Desvinculado da função docente.
Não constituiu um desafio;
Complemento do contexto com o acréscimo de informações adicionais;
Enunciado
Desarticulado do contexto;
Não se caracteriza como uma situação problema ao ser condensado ao contexto do item.
Apresentam erros muito evidentes;
Ancoradas no senso comum, não demandam conhecimentos teóricos;
Alternativas Desconsideram os conhecimentos e os eixos do objeto de conhecimento;
Sem conectividade com o enunciado e com o contexto;
Distratores não condizentes com o enunciado.

6
 4. Pré-Teste Da Prova Docente

Em setembro 2012, realizou-se o primeiro estudo com características de Pré-teste a fim de aprimorar o processo. O ins-
trumento foi aplicado em 42 municípios de todas as regiões brasileiras. No total participaram 10.553 pessoas divididas
em duas amostras: 8.536 professores dos anos iniciais do ensino fundamental de escolas públicas e 2.017 estudantes do
último ano de pedagogia. Foram incluídos no pré-teste 36 itens de OGTP, distribuídos 12 itens no P3 e a mesma quanti-
dade no P4 e P5 (INEP, 2015).
Os resultados do pré-teste foram tratados, exclusivamente, como dados de pesquisa, o que possibilitou a validação
da Matriz de Referência, a partir de parâmetros pedagógicos e psicométricos(INEP, 2015). Além disso, esses resultados
contribuirão na melhor condução dos processos de elaboração, revisão e validação de itens para a composição do Banco
de itens da Prova.

CONCLUSIONES

Quanto ao processo de elaboração de itens da área de OGTP, pode-se afirmar que fragilidades relacionadas aos aspectos
pedagógicos e técnicos foram evidenciadas. No cerne desta questão está a formação dos elaboradores. Em relação aos
aspectos pedagógicos, observou-se nos itens um distanciamento da formação com a realidade social, o que acarretou uma
desarticulação entre realidade, conhecimentos e práticas pedagógicas. Tal fato acarreta prejuízo para a produção de itens
de uma prova que tem com intuito a seleção de professores para ingresso na carreira docente.
No que se refere à questão técnica observou-se que os elementos constituintes do item (contexto, enunciado e alter-
nativas) necessitavam de articulação. Devido a uma visão reducionista da prática pedagógica, desarticulada da realidade
social, os contextos exerceram em grande parte uma função acessória, em que a aspectos críticos e criativos foram negli-
genciados. O contexto deveria apresentar um cenário favorável à reflexão e à tomada de decisões e o enunciado deveria
evidenciar o desafio. Verificou-se que os itens não se constituíram como desafios realísticos, pois estavam desarticulados
de questões pedagógicas essenciais que orientam o fazer pedagógico do docente.
Assim, infere-se que é preciso discutir sobre a formação dos elaboradores de itens da área de OGTP para que estes
possam produzir itens que possam auxiliar na seleção de um perfil profissional que seja capaz de articular os saberes
com a prática pedagógica. É importante também ampliar a visão dos elaboradores de item para além da sala de aula, pois
os docentes estão inseridos no ambiente escolar que é permeado por inúmeras situações que não se restringem apenas
a este espaço.
No que tange aos Processos, foi identificado que os Processos 3 e 4 apresentam características muito semelhantes.
O Processo 4 está diretamente vinculado ao Processo 3 e o complementa. Recomenda-se a discussão a respeito da pos-
sibilidade de junção do Processo 3 com o Processo 4, tendo em vista que a sua separação parece ter levado o elaborador
a encontrar dificuldades para elaborar o item.

BIBLIOGRAFÍA

BRASIL. Portaria Normativa GM/MEC nº 03, de 02 de março de 2011.

. Portaria INEP nº 338, de 9 de setembro de 2010.
. Portaria INEP nº 74, de 1º de abril de 2011.
. Portaria INEP nº 125, de 07 de maio de 2012.
. Portaria INEP nº 14, de 21 de maio de 2010.
CARVALHO, A. M. P. A formação do professor e a Prática de Ensino. São Paulo: Pioneira, 1988.
CONTRERAS, José. A autonomia de professores. São Paulo: Cortez, 2002. 

7
 Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Relatório técnico para subsidiar decisões
acerca do processo de desenvolvimento e implementação da Prova Nacional de concurso para ingresso na carreira do-
cente (Prova Docente). Brasília, 2015.
. Guia de elaboração e revisão de itens. Vol I. Brasília, 2011.
. Guia de elaboração e revisão de itens. Brasília, 2014.
. Edital de Credenciamento de Especialistas para o Banco Nacional de Itens (BNI) da Prova Nacional de Con-
curso para o ingresso na carreira docente. Brasília. 2010. Disponível em: <http://portal.inep.gov.br/prova-
docente> 2010.
GANDIN, D. A prática do planejamento participativo. 6.ed. Petrópolis: Vozes, 1998.
GIL, A. C. Como elaborar projetos de pesquisa. 4. ed. São Paulo: Atlas, 2008.
LIBÂNEO, J.C. Organização e gestão escolar: teoria e prática. 4 ed. Goiânia: Alternativa, 2001.
PADILHA, Paulo Roberto. Planejamento dialógico: como construir o projeto político-pedagógico da escola. 7 ed. São Paulo:
Cortez, 2007.
PEREIRA, J. E. D. Formação de professores: pesquisa, representações e poder. Belo Horizonte: Autêntica, 2000. Cad.Bras.Ens.
Fís., v.20, n.1: 43-62, abr. 2003.
PERRENOUD, P. Práticas pedagógicas, profissão docente e formação: perspectivas sociológicas. Lisboa, Publicações Dom
Quixote, 1997.
. Ensinar: Agir na urgência, decidir na incerteza. Porto Alegre: Artmed, 2001.
PIMENTA, S. G. O estágio na formação de professores: unidade, teoria e prática. São Paulo: Cortez, 1994.
PIMENTA, S. G. Formação de professores Saberes da docência e identidade do professor. Revista da Faculdade de Educação,
São Paulo, v. 22, n. 2, p. 72-89, jul/dez. 1996.
PIMENTA, S. G. Didática e formação de professores: percursos e perspectivas no Brasil e em Portugal. São Paulo: Cortez, 1997.
VASCONCELLOS, Celso dos Santos. Planejamento: Projeto de Ensino-Aprendizagem e Projeto Político-Pedagógico. 18 ed.
São Paulo: Libertad Editora, 2008.

8
Estudio comparativo de discriminación
de reactivos mediante el uso Teoría Clásica
y Teoría de Respuesta la Reactivo
13 de marzo de 2015
 Estudio comparativo de discriminación
de reactivos mediante el uso Teoría Clásica
y Teoría de Respuesta la Reactivo
Mtro. Diego Armando Luna Bazaldua*
Teachers College, Columbia University, Estados Unidos
dal2159@tc.columbia.edu
Mtra. Lauren Fellers, Dr. Bryan Keller, Dra. Young-Sun Lee
Teachers College, Columbia University, Estados Unidos
laf2156@tc.columbia.edu
bsk2131@tc.columbia.edu
yslee@tc.columbia.edu

PALABRAS CLAVE: Análisis de reactivos, discriminación, dificultad, Teoría Clásica.

EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
Este estudio analiza las características de varios estimadores de discriminación de reactivos previamente pro-
puestos en la literatura de la Teoría Clásica. El modelo base para la simulación de Monte Carlo es una extensión
del estudio desarrollado por MacDonald y Paunonen (2002), mismo que se centra en la generación de datos si-
mulados bajo los modelos logísticos de un parámetro —dificultad— y de dos parámetros —dificultad y discrimi-
nación— de la Teoría de Respuesta al Reactivo. La extensión aquí presentada incluye la comparación de medidas
de discriminación no consideradas por dichos autores. Los resultados encontrados señalan que la correlación
biserial es consistentemente el estimador con la mayor correlación con el verdadero parámetro de discriminación
comparado con los otros tres estimadores: correlación punto-biserial, correlación punto-biserial sin el reactivo
incluido, e índice de discriminación. Las cuatro medidas de discriminación están altamente relacionadas entre sí
cuando los valores reales de los parámetros de dificultad y discriminación se definen en un intervalo muy cerrado
de valores. Además, se encuentra evidencia sugiriendo que la propiedad de invarianza de los estimadores no se
mantiene en algunas condiciones.

*Autor principal

2
 INTRODUCCIÓN

Distintas metodologías existen para la evaluación de docentes, entre las cuales destacan las pruebas estandarizadas
(Wayne & Youngs, 2003). Dichas pruebas deben cumplir con altos estándares psicométricos si se utilizan para la toma
de decisiones en política educativa. Sin embargo, dentro de la propia Psicometría no hay un claro consenso respecto a
algunos criterios psicométricos óptimos.
Las dos perspectivas principales en teoría psicométrica son la Teoría Clásica de los Test (TCT) Teoría de Respuesta
al Reactivo (TRI). A pesar de compartir algunos elementos en común, ambos modelos son fundamentalmente diferentes
(Embretson, 1996). Mientras que los modelos de TCT se basan en estadísticas de correlación asociadas a la perspectiva
Pearsoniana en estadística, los modelos de TRI definen formas funcionales como una alternativa para el análisis de reac-
tivos (Baker y Kim, 2004). Sin embargo, han se han dado intentos de analizar aspectos en común entre ambas perspecti-
vas; por ejemplo, Lord (1952) demostró que varios constructos de la TCT pueden ser expresados como funciones de los
parámetros en TRI.
Tanto la TCT como la TRI han desarrollado métodos para determinar la dificultad y discriminación de los reactivos, así
como la habilidad latente de los examinados. En el caso de la TRI existen diversos modelos para determinar definir los pa-
rámetros de los reactivos (por ejemplo, modelo de curva normal de ojiva y modelo de curva logística), así como métodos
para su estimación (Baker y Kim, 2004). En el contexto de la investigación aquí presentada, los datos fueron generados
bajo el modelo logístico de 2 parámetros de la TRI, definido como

e1.7 * αi(θj − �i)
Pi (θj ) = (1)
1 + e1.7 * αi (θj − �i)

donde αi es el parámetro de discriminación y βi es el parámetro de dificultad del i-ésimo reactivo, mientras que θj es el
parámetro de habilidad del j-ésimo examinado. Además, la constante de normalización D = 1.7 es comúnmente utilizada
para aproximar los valores estimados y parámetros del modelo logístico a los equivalentes del modelo de curva normal
de ojiva. De esta manera, el modelo indica la probabilidad de que un examinado con un determinado nivel de habilidad θj
conteste correctamente el reactivo, el cual cuenta con niveles específicos de dificultad y de discriminación.
La dificultad bajo el modelo de TCT se estima al calcular la proporción de examinados que contestan correctamente el
i-ésimo reactivo y es usualmente expresado como p o valor p (McDonald, 1999). Además, se han propuesto varios estima-
dores de discriminación de reactivos basados en la TCT, los cuales intentan determinar en qué medida el reactivo puede
distinguir entre examinados con alto desempeño con respecto de aquellos con bajo desempeño en el constructo medido
(Crocker y Algina, 1986). El coeficiente de correlación punto biserial es uno de dichos estimadores, el cual mide el grado
de asociación entre cada reactivo dicotómico y el puntaje total en la prueba utilizando la fórmula

μ+ − μX p
ρPBis =   (2)
σX (1 − p)

donde μ+ es el puntaje promedio de los examinados que contestaron el i-ésimo reactivo correctamente, μX es el pun-
taje promedio de la prueba para toda la muestra de examinados y σX es su correspondiente desviación estándar, y p es la
dificultad del reactivo (Crocker y Algina, 1986). Dado que el reactivo por sí mismo contribuye con el puntaje total en la
prueba, se vuelve redundante calcular la discriminación del reactivo pues ambos puntajes no son independientes, por lo
tanto se ha propuesto una extensión de este coeficiente de correlación excluyendo el i-ésimo reactivo del puntaje total.
Esta corrección se expresa en la fórmula

ρXi σX − σi
ρi(X − i) = (3)
σi2 + σX2 − 2ρXi σX σi

3
 donde ρXi corresponde a la correlación entre el i-ésimo reactivo y el puntaje total, σX es la desviación estándar del puntaje
total, y σi es la desviación estándar del i-ésimo reactivo (Crocker y Algina, 1986).
El coeficiente de correlación biserial se ha propuesto como un tercer estimador de discriminación. Este coeficiente
asume una variable latente con distribución normal que subyace a los reactivos dicotómicos. La correlación biserial se
expresa como

μ+ − μX p
ρPBis =   (4)
σX Y

donde Y es la ordenada de la curva normal estandarizada en el puntaje z asociado con el parámetro de dificultad del
reactivo (Crocker y Algina, 1986).
Finalmente, otro estimador es el índice de discriminación que se calcula al agrupar examinados en extremos del pun-
taje total utilizando puntos de corte. El índice es calculado utilizando la fórmula

Dindex = pu − pl (5)

donde pu es la proporción en el grupo con alto puntaje total que contestaron correctamente el i-ésimo reactivo y pi es la
proporción en grupo con bajo puntaje total que contestaron correctamente el reactivo. Es común determinar los puntos
de corte para los grupos utilizando los percentiles 27 y 72 de la distribución del puntaje total (Kelley, 1939; citado en
Crocker y Algina, 1986).
Mientras que en la TRI los estimadores son independientes de los reactivos que toman la prueba, en TCT los estima-
dores dependen de la muestra de examinados y a pesar de ello son ampliamente utilizados para el análisis de reactivos
(MacDonald & Paunonen, 2002). Con el fin de determinar cómo difieren las características de los reactivos desde ambas
perspectivas, investigación previa ha comparado el uso de estimadores de discriminación en TCT tanto con datos empíri-
cos como simulaciones de datos. Estos estudios han resaltado varias cualidades de estos estimadores, de entre las cuales
destacan: los estimadores de discriminación parecen medir diferentes dimensiones cuando se utilizan datos empíricos
(Oosterhof, 1976); las diferencias en los valores estimados utilizando diferentes estimadores son triviales cuando se
controlan la dificultad y factores latentes en estudios de simulación (Beuchert y Mendoza, 1979); y la correlación pun-
to-biserial no es una medida adecuada de discriminación cuando la “verdadera” discriminación es simulada utilizando los
modelos logísticos de TRI con uno o dos parámetros (MacDonald y Paunonen, 2002).
Por lo tanto, la literatura deja ver que no hay un claro consenso respecto a que realmente miden los distintos estimado-
res de discriminación propuestos bajo la TCT y en qué medida están relacionados con el verdadero parámetro de discrimi-
nación que intentan estimar. Con estos antecedentes teóricos y empíricos, la pregunta de investigación es: ¿qué estimador
de discriminación de reactivo, desarrollado bajo la TCT, es la mejor medida del verdadero parámetro de discriminación? El
propósito de este estudio es comparar las propiedades de diferentes estadísticas de discriminación de reactivo utilizando
métodos de Monte Carlo para la simulación y manipulación de parámetros de discriminación, así como otros parámetros
relevantes como son: la dificultad de los reactivos, la extensión de la prueba, y la habilidad de los examinados.

DESARROLLO

El diseño de simulación del estudio sigue los mismos lineamientos utilizados en la investigación Monte Carlo de Mac-
Donald y Paunonen (2002), al mismo tiempo que consideramos la propuesta general sugerida por Harwell, Stone, Hsu
y Kirisci (1996). A pesar de que la investigación realizada por MacDonald y Paunonen (2002) promueve de ideas para
el análisis de reactivos y la construcción de pruebas, los autores únicamente compararon uno de varios estimadores de
discriminación de reactivos propuestos por la TCT. Por lo tanto, el presente estudio extiende su simulación al incluir
otros estimadores de discriminación: correlación punto-biserial, correlación punto-biserial sin el reactivo incluido en el
puntaje total, correlación biserial e índice de discriminación.

4
 Diseño de simulación

El diseño de investigación utilizó una distribución normal estandarizada para el parámetro de habilidad y diferentes in-
tervalos de valores para los parámetros de discriminación y de dificultad de los reactivos bajo modelos logísticos de uno
y de dos parámetros.
Cada condición dentro del estudio fue realizada con 100 réplicas distintas con tamaños de muestra N = 1000 en cada
una de estas réplicas. Los factores que determinaron cada una de las condiciones en el estudio fueron:

»» Extensión de la prueba: 20 reactivos ó 40 reactivos.

»» Intervalo de dificultad de los reactivos: [−2.5, 2.5], [−2, 1], [−1, 2], [−1, 1], o [−0.5, 0.5].
»» Intervalo de discriminación de los reactivos: [1, 2], [0.5, 2.5], o todos los reactivos tomando valores iguales 1 (en
cuyo caso correspondería al modelo de Rasch).

Tres elementos fueron analizados como parte de los resultados:

»» Exactitud del estimador. Medido al calcular la correlación promedio entre el estimador y el verdadero parámetro
en cada una de las réplicas.
»» Comparabilidad entre estimadores. Medido al calcular la correlación promedio entre cada par de estimadores en
cada una de las réplicas.
»» Invarianza de los estimadores. Para medir esta propiedad, un segundo conjunto de datos fue generado utilizando
los mismos parámetros de reactivos y tamaño de muestra, pero con una nueva muestra de examinados en cada
réplica. La habilidad de los examinados en esta segunda muestra también se modela con una distribución normal
estandarizada. Por lo tanto, la correlación entre los estimadores de ambas muestras se calculan para cada una de las
cuatro estadísticas de discriminación. Si se observan altas correlaciones promedio entre las distintas muestras con
examinados equivalentes, se puede concluir que un estimador específico presenta pequeña varianza.

La simulación fue realizada en el software estadístico R (R Development Core Team, 2010). Dentro del código, las
librerías ‘psychometric’ (Fletcher, 2010) y ‘polycor’ (Fox, 2010) fueron utilizadas para obtener las cuatro estadísticas
de discriminación de reactivos. Para validar los datos generados en R, algunas bases de datos simulados fueron también
analizadas con el software Bilog-MG (Muraki, Mislevy & Bock, 1998) y los resultados fueron muy similares.

Resultados

Exactitud de los estimadores. Consistentemente en las distintas condiciones de estudios, los resultados muestran que la
correlación biserial presentó la más alta correlación con el ‘verdadero’ parámetro de discriminación de TRI comparado
con los otros tres estimadores. De opuesto, el Índice de Discriminación presentó la correlación más baja con el ‘verdadero’
parámetro de discriminación.
Tal como se muestra en la tabla 1, entre las distintas condiciones de estudio, los cuatro estimadores de discriminación
presentaron correlaciones más altas con el ‘verdadero’ parámetro cuando la dificultad de los reactivos fue definida en un
intervalo de valores más cerrado (por ejemplo, dificultad entre −0.5 y 0.5) comparado con condiciones con un intervalo
más amplio (por ejemplo, dificultad entre −2 y 2). De modo similar, las correlaciones entre estimadores y parámetro son
más altas cuando el verdadero parámetro de discriminación se define en un intervalo más amplio de valores (por ejem-
plo, discriminación entre 0.5 y 2.5) con respecto a un intervalo más cerrado (por ejemplo, discriminación entre 1.0 y 2.0).
Dichas correlaciones también tendieron ser ligeramente más altas cuando el número de reactivos en la prueba era grande
(m = 40) que pequeño (m = 20).

5
 Comparabilidad entre estimadores. Tal como se muestra en la tabla 2, las correlaciones entre el estimador punto-bi-
serial, punto-biserial sin el reactivo e índice de discriminación, tendieron a ser altas y con baja variabilidad (medida con
la desviación estándar de las correlaciones) a través de las distintas condiciones. A pesar de que la correlación biserial
consistentemente presentó las correlaciones más altas con el ‘verdadero’ parámetro de discriminación —como se mostró
en la tabla 1—, la correlación entre dicho estimador con los otros tres tendió a ser moderada (con la correlación pun-
to-biserial y la correlación punto-biserial sin el reactivo) o baja (con el índice de discriminación) en la mayoría de las
condiciones de estudio. Únicamente se encontró una correlación alta entre los cuatro estimadores cuando el parámetro
de dificultad fue definido en un rango de valores entre −0.5 y 0.5.
Invarianza de los estimadores. La tabla 3 muestra las correlaciones de cada estimador en muestras equivalentes de
examinados. Los cuatro estimadores tienden ser invariantes (medido por una alta correlación) cuando los parámetros
de correlación y dificultad se definen en un intervalo amplio de valores. La longitud de las pruebas parece no afectar la
propiedad de invarianza en los cuatro estimadores.

Tabla 1  Correlaciones promedio entre parámetros ‘verdaderos’ de TRI y estimadores de discriminación de TCT
Estimador
Extensión de Dificultad de Discriminación de ρPBis ρi(X-i) ρBis DIndex
la prueba reactivos reactivos (D.E.) (D.E.) (D.E.) (D.E.)
20 -2.0 to 2.0 1 to 2 .130 (.210) .180 (.210) .610 (.187) -.036 (.199)
0.5 to 2.5 .422 (.206) .506 (.187) .851 (.075) .057 (.226)
1 NA NA NA NA
-2.0 to 1.0 1 to 2 .272 (.214) .326 (.210) .715 (.130) .050 (.234)
0.5 to 2.5 .549 (.193) .617 (.174) .881 (.060) .157 (.228)
1 NA NA NA NA
-1.0 to 2.0 1 to 2 .274 (.224) .328 (.214) .703 (.161) .054 (.239)
0.5 to 2.5 .605 (.182) .665 (.162) .887 (.055) .193 (.246)
1 NA NA NA NA
-1.0 to 1.0 1 to 2 .632 (.132) .662 (.123) .850 (.066) .305 (.212)
0.5 to 2.5 .834 (.083) .848 (.076) .913 (.032) .589 (.175)
1 NA NA NA NA
-0.5 to 0.5 1 to 2 .902 (.047) .906 (.045) .924 (.036) .812 (.082)
0.5 to 2.5 .932 (.020) .935 (.019) .937 (.016) .907 (.032)
1 NA NA NA NA
40 -2.0 to 2.0 1 to 2 .212 (.140) .238 (.138) .715 (.107) .033 (.144)
0.5 to 2.5 .485 (.148) .525 (.140) .881 (.044) .136 (.176)
1 NA NA NA NA
-2.0 to 1.0 1 to 2 .320 (.151) .348 (.148) .743 (.094) .096 (.152)
0.5 to 2.5 .591 (.134) .623 (.126) .886 (.032) .196 (.157)
1 NA NA NA NA
-1.0 to 2.0 1 to 2 .321 (.155) .349 (.153) .753 (.094) .094 (.153)
0.5 to 2.5 .623 (.107) .655 (.099) .890 (.040) .209 (.156)
1 NA NA NA NA
-1.0 to 1.0 1 to 2 .672 (.089) .685 (.086) .866 (.040) .368 (.133)
0.5 to 2.5 .858 (.041) .864 (.039) .924 (.016) .650 (.104)
1 NA NA NA NA
-0.5 to 0.5 1 to 2 .905 (.026) .906 (.026) .926 (.019) .823 (.048)
0.5 to 2.5 .937 (.014) .938 (.014) .942 (.012) .917 (.022)
1 NA NA NA NA

Nota. Las condiciones de estudio donde la discriminación de los reactivos es igual a 1 equivale al modelo de Rasch. ρPBis refiere a
la correlación punto-biserial, ρi(X − i) corresponde a la correlación punto-biserial sin el reactivo, ρBis refiere a la correlación biserial, y
DIndex corresponde al índice de discriminación.

6
 Tabla 2  Correlaciones promedio entre los estimadores de discriminación de TCT

Estimators
Extensión Dificultad Discriminación ρPBis, ρi(X-i) ρPBis, ρBis ρPBis, DIndex ρi(X-i), ρBis ρi(X-i), DIndex ρPBis, DIndex
de la de de reactivos (S.D.) (S.D.) (S.D.) (S.D.) (S.D.) (S.D.)
prueba reactivos
20 -2.0 to 2.0 1 to 2 .997 (.001) .605 (.180) .921 (.057) .653 (.161) .899 (.072) .318 (.268)
0.5 to 2.5 .992 (.006) .670 (.142) .861 (.089) .746 (.106) .807 (.120) .260 (.253)
1 .997 (.001) .767 (.144) .962 (.034) .803 (.123) .947 (.048) .602 (.231)
-2.0 to 1.0 1 to 2 .996 (.003) .487 (.265) .890 (.109) .554 (.237) .854 (.144) .142 (.420)
0.5 to 2.5 .993 (.003) .644 (.188) .821 (.120) .719 (.157) .764 (.147) .172 (.314)
1 .996 (.002) .480 (.272) .942 (.038) .548 (.243) .915 (.057) .224 (.358)
-1.0 to 2.0 1 to 2 .995 (.003) .409 (.280) .872 (.108) .482 (.252) .832 (.138) .017 (.419)
0.5 to 2.5 .994 (.003) .679 (.187) .803 (.154) .746 (.157) .747 (.183) .192 (.343)
1 .996 (.002) .484 (.298) .936 (.045) .553 (.274) .906 (.065) .212 (.378)
-1.0 to 1.0 1 to 2 .998 (<.001) .875 (.057) .866 (.085) .897 (.046) .843 (.096) .541 (.207)
0.5 to 2.5 .999 (<.001) .958 (.023) .886 (.065) .966 (.018) .872 (.072) .728 (.133)
1 .997 (.001) .841 (.075) .897 (.070) .877 (.060) .867 (.085) .552 (.192)
-0.5 to 0.5 1 to 2 .999 (<.001) .989 (.006) .949 (.032) .991 (.005) .946 (.033) .904 (.057)
0.5 to 2.5 .999 (<.001) .997 (.001) .987 (.007) .997 (.001) .987 (.008) .976 (.012)
1 .999 (<.001) .974 (.010) .870 (.066) .982 (.007) .858 (.071) .777 (.104)
40 -2.0 to 2.0 1 to 2 .999 (<.001) .614 (.152) .937 (.042) .639 (.145) .928 (.048) .361 (.233)
0.5 to 2.5 .998 (<.001) .703 (.116) .882 (.054) .739 (.104) .860 (.062) .330 (.185)
1 .999 (<.001) .764 (.095) .964 (.019) .782 (.088) .958 (.023) .597 (.155)
-2.0 to 1.0 1 to 2 .999 (<.001) .450 (.221) .890 (.064) .486 (.210) .873 (.072) .074 (.310)
0.5 to 2.5 .998 (<.001) .699 (.112) .823 (.092) .733 (.102) .798 (.100) .228 (.217)
1 .998 (<.001) .500 (.225) .923 (.046) .538 (.209) .907 (.056) .188 (.342)
-1.0 to 2.0 1 to 2 .998 (<.001) .461 (.217) .885 (.100) .497 (.204) .868 (.115) .092 (.349)
0.5 to 2.5 .998 (<.001) .710 (.112) .802 (.117) .744 (.101) .774 (.129) .209 (.250)
1 .998 (<.001) .490 (.228) .925 (.053) .528 (.213) .909 (.065) .183 (.347)
-1.0 to 1.0 1 to 2 .999 (<.001) .901 (.029) .890 (.049) .910 (.027) .880 (.052) .620 (.109)
0.5 to 2.5 .999 (<.001) .967 (.013) .911 (.034) .970 (.012) .906 (.036) .783 (.076)
1 .999 (<.001) .862 (.047) .907 (.043) .879 (.042) .893 (.048) .596 (.134)
-0.5 to 0.5 1 to 2 .999 (<.001) .990 (.003) .958 (.016) .991 (.003) .957 (.016) .918 (.030)
0.5 to 2.5 .999 (<.001) .997 (.001) .990 (.004) .997 (<.001) .989 (.004) .980 (.008)
1 .999 (<.001) .978 (.007) .891 (.033) .981 (.005) .886 (.034) .811 (.055)

Nota. Los símbolos tienen el mismo significado que en la tabla 1.

7
 Tabla 3  Correlaciones promedio entre los estimadores de discriminación de TCT en muestras equivalentes

Estimador
Extensión Dificultad de Discriminación de ρPBis ρPBis/wi ρBis DIndex
de la reactivos reactivos (S.D.) (S.D.) (S.D.) (S.D.)
prueba
20 -2.0 to 2.0 1 to 2 .963 (.030) .956 (.037) .842 (.139) .987 (.008)
0.5 to 2.5 .966 (.023) .963 (.026) .949 (.036) .984 (.010)
1 .913 (.038) .884 (.049) .434 (.211) .972 (.013)
-2.0 to 1.0 1 to 2 .961 (.023) .954 (.026) .869 (.075) .986 (.007)
0.5 to 2.5 .965 (.016) .964 (.016) .956 (.025) .984 (.008)
1 .880 (.056) .834 (.072) .281 (.240) .968 (.015)
-1.0 to 2.0 1 to 2 .956 (.021) .948 (.024) .873 (.061) .985 (.010)
0.5 to 2.5 .967 (.017) .966 (.018) .960 (.022) .984 (.009)
1 .871 (.067) .823 (.086) .288 (.235) .970 (.014)
-1.0 to 1.0 1 to 2 .902 (.055) .898 (.057) .870 (.060) .937 (.038)
0.5 to 2.5 .965 (.017) .965 (.017) .967 (.017) .959 (.019)
1 .554 (.161) .493 (.172) .146 (.219) .816 (.080)
-0.5 to 0.5 1 to 2 .883 (.056) .883 (.055) .884 (.055) .856 (.060)
0.5 to 2.5 .969 (.015) .969 (.015) .970 (.014) .956 (.020)
1 .124 (.232) .109 (.231) .054 (.222) .303 (.225)
40 -2.0 to 2.0 1 to 2 .963 (.018) .959 (.019) .844 (.075) .987 (.004)
0.5 to 2.5 .968 (.014) .967 (.014) .953 (.020) .984 (.006)
1 .910 (.025) .895 (.029) .416 (.170) .971 (.008)
-2.0 to 1.0 1 to 2 .954 (.020) .950 (.022) .862 (.054) .986 (.005)
0.5 to 2.5 .967 (.011) .966 (.011) .957 (.023) .984 (.006)
1 .862 (.044) .838 (.051) .330 (.162) .965 (.012)
-1.0 to 2.0 1 to 2 .954 (.024) .950 (.026) .859 (.063) .986 (.004)
0.5 to 2.5 .965 (.014) .964 (.014) .963 (.015) .984 (.006)
1 .860 (.048) .835 (.057) .327 (.166) .967 (.009)
-1.0 to 1.0 1 to 2 .914 (.027) .912 (.027) .886 (.030) .940 (.020)
0.5 to 2.5 .967 (.009) .967 (.009) .969 (.010) .958 (.013)
1 .539 (.111) .507 (.116) .126 (.164) .807 (.052)
-0.5 to 0.5 1 to 2 .886 (.030) .886 (.030) .886 (.029) .863 (.041)
0.5 to 2.5 .972 (.009) .972 (.009) .973 (.009) .962 (.012)
1 .093 (.142) .085 (.142) .020 (.147) .263 (.139)
Nota. Los símbolos tienen el mismo significado que en la tabla 1.

CONCLUSIONES

Los resultados aquí encontrados resultan relevantes desde un punto de vista teórico ya que se encuentra evidencia adi-
cional sobre la relación entre TCT y TRI y son consistentes con lo reportado por MacDonald y Paunonen (2002), además
de generalizar sus resultados a otras medidas de discriminación de reactivos. La relevación de estos resultados puede
generalizarse en el contexto de la evaluación con pruebas estandarizadas y la psicometría aplicada.
Los principales resultados pueden ser resumidos así: la correlación biserial es el estimador que presentó la más alta
correlación con el ‘verdadero’ parámetro de discriminación en las distintas condiciones de estudio; las cuatro estadísti-
cas mostraron alta correlación entre sí únicamente en condiciones muy específicas que podrían no ser adecuadas para
evaluaciones reales donde se cuenta con reactivos con distintos niveles de dificultad y de discriminación; la propiedad de

8
 invarianza de los estimadores no se mantiene en un modelo de Rasch con parámetro de dificultad en un intervalo corto
de valores.
Estos resultados pueden ser utilizados en el análisis y selección de reactivos cuando se diseña una nueva prueba para
la evaluación de actores escolares (por ejemplo, estudiantes o docentes). En situaciones donde solo estimadores de TCT
están disponibles, la correlación biserial debería ser preferida sobre los otros tres estimadores dado su nivel de exactitud.
Si los elaboradores de pruebas estandarizadas tienen información disponible acerca de las estadísticas de reactivos
en dos o más aplicaciones independientes de una prueba con muestras equivalentes de examinados, se esperaría que
encuentren valores muy similares para cada estimador de discriminación. La excepción a esto son situaciones dónde
subyace un modelo de Rasch con un intervalo muy estrecho para la dificultad de los reactivos en la prueba, en cuyo caso
no se encontrarían valores consistentes de los estimadores de TCT entre las distintas aplicaciones.
Cabe considerar como una limitación que los datos aquí simulados asumen un modelo subyacente de TRI logístico y
unidimensional. Mientras que esta es una característica teórica deseada en muchos modelos de TRI, así como en pruebas
que intentan medir un constructo específico, las pruebas psicológicas y educativas usualmente se ven afectadas por el
hecho de que no poder substraer un único constructo de interés de otros constructos con los que éste está relacionado,
tampoco hay garantía de que una prueba real siga este modelo en específico.
Otra limitación del presente estudio es que las simulaciones se basan en tamaños de muestra N = 1 000. Por lo tanto,
los resultados no pueden ser utilizados para tomar decisiones acerca de reactivos con tamaños de muestra menores. El
mismo razonamiento y limitaciones aplican a las pruebas diseñadas con menos de 20 reactivos. Investigación futura de-
bería enfocarse en las limitaciones aquí señaladas con el fin de generalizar estos resultados.

BIBLIOGRAFÍA

Baker, F. B., & Kim, S. H. (2004). Item response theory: Parameter estimation techniques. CRC Press.
Beuchert, A., & Mendoza, J. L. (1979). A Monte Carlo comparison of ten item discrimination indices. Journal of Educational
Measurement, 16(2), 109-117.
Crocker, L. M., & Algina, J. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart and Winston.
Embretson, S. E. (1996). The new rules of measurement. Psychological Assessment, 8(4), 341-349
Fletcher, T. D. (2010). psychometric: Applied Psychometric Theory. R package version 2.2. http://CRAN.R-project.org/
package=psychometric
Fox, J. (2010). polycor: Polychoric and Polyserial Correlations. R package version 0.7-8. http://CRAN.R-project.org/
package=polycor
Harwell, M., Stone, C. A., Hsu, T. C., & Kirisci, L. (1996). Monte Carlo studies in item response theory. Applied psychological
measurement, 20(2), 101-125.
Lord, F. M. (1952). A theory of test scores. New York: Psychometric Society.
McDonald, R. P. (1999). Test theory: A unified approach. New Jersey: Lawrence Erlbaum Associates
Macdonald, P. & Paunonen, S. V. (2002). A Monte Carlo Comparison of Item and Person Statistics Based on Item Response
Theory versus Classical Test Theory. Educational and Psychological Measurement, 62 (6), 921-943
Muraki, E., Mislevy, R., & Bock, R. D. (1998). BILOG-MG. M. F. Zimowski (Ed.). Scientific Software International.
Oosterhof, A. C. (1976). Similarity of various item discrimination indices.Journal of Educational Measurement, 13(2),
145-150.
R Development Core Team. (2010). R: A language and environment for statistical computing. Vienna, Austria: R Founda-
tion for Statistical Computing. Retrieved from http://R-project.org
Wayne, A. J., & Youngs, P. (2003). Teacher characteristics and student achievement gains: A review. Review of Educational
research, 73(1), 89-122.

9
Primer concurso de ingreso
al Servicio Profesional Docente:
resultados, retos y perspectivas
13 de marzo de 2015
 Primer concurso de ingreso
al Servicio Profesional Docente:
resultados, retos y perspectivas
Laura Delgado Maldonado*
Maestría en Metodología de la Ciencia, IPN, México
ldelgado@inee.edu.mx
Edgar Ignacio Andrade Muños
Físico, UNAM, México
eandrade@inee.edu.mx
Rafael Enrico Sánchez Mayorga
Psicólogo social, UAM, México
rsanchezm@inee.edu.mx

PALABRAS CLAVE: Evaluación, Docentes, Servicio Profesional Docente, Ingreso.

EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente.

Resumen
El objetivo de este trabajo es proporcionar información de los principales resultados del Concurso de Oposición
para el ingreso al Servicio Profesional Docente 2014-2015, en Educación Básica y Media Superior, así como del
Concurso de promoción a cargo de Directores. La parte esencial de esta primera experiencia consistió en que
los instrumentos diseñados fueron de carácter criterial, lo cual significó que los resultados alcanzados por los
sustentantes se compararon con un estándar definido previamente por un grupo de expertos en los contenidos
evaluados por los distintos instrumentos de evaluación. En este concurso se contó con la participación de 165834
aspirantes. Los resultados generales del concurso de Educación Básica mostraron que 40.4% de sustentantes
alcanzaron un resultado Idóneo considerando los dos exámenes nacionales, en tanto que aquellos en donde se
consideró además de estos un examen complementario, el resultado fue de 24.2% de Idóneos. Asimismo, se publi-
caron dos tipos de convocatorias: una para egresados de Escuelas Normales y otra, abierta y pública. En Educación
Media Superior para Docentes del Componente Disciplinar, el resultado de Idóneos fue 31.5%, para los Docentes y
Técnicos docentes fue 38.9% y para funciones de dirección, solo el 28.1% de Idóneos. De esta manera, se describe
cuáles fueron los principales exámenes que presentaron una mayor dificultad para los sustentantes de cada con-
vocatoria. Estos resultados indican un nivel de exigencia alto para los aspirantes, lo que ha permitido identificar a
los mejores candidatos para su inserción a la práctica docente y que estos cumplen con lo requerido a partir de los
Perfiles, parámetros e indicadores para el Ingreso al Servicio Profesional Docente.

*
Autor principal

2
 INTRODUCCIÓN

Uno de los grandes retos que se tenía en materia de educación, fue el de efectuar un proceso de evaluación de ingreso
de docentes que cumpliera con los estándares deseables de un buen docente. Con base en lo anterior, se llevó a cabo por
mandato constitucional el primer Concurso de ingreso al Servicio Profesional Docente, con el objetivo de garantizar la
idoneidad de los conocimientos y las capacidades de los sustentantes que aspiraban a ocupar una plaza de docentes den-
tro de la Educación Básica y Media Superior.
La Ley General del Servicio Profesional Docente, reglamentaria de la fracción III del Artículo 3° Constitucional y pro-
mulgada en septiembre de 2013, estableció que las funciones docentes, dentro de la Educación Básica y Media Superior
estuvieran orientadas a brindar una educación de calidad, contando con referentes bien fundamentados, que implicaran
una mejor práctica profesional.
El Instituto Nacional para la Evaluación de la Educación (INEE), como organismo constitucional autónomo, fue el
encargado de establecer los lineamientos y criterios técnicos, así como de aprobar los instrumentos y de acompañar cada
proceso hasta la emisión de resultados, para llevar a cabo la evaluación en el Servicio Profesional Docente.
Los resultados que arrojó esta primera experiencia del proceso de ingreso al Sistema Educativo Nacional permitieron
apreciar una situación compleja en términos de la preparación de los docentes que presentaron esta evaluación, ya que
un porcentaje importante de los aspirantes tanto en Educación Básica y Educación Media Superior, resultaron Aún no
idóneos. Sin embargo, esto nos permite vislumbrar los nuevos retos y perspectivas encaminadas a mejorar los desafíos
de los siguientes concursos de ingreso al Servicio Profesional Docente.

DESARROLLO1

En el presente documento se muestran algunos de los resultados del ingreso al Servicio Profesional Docente en Educa-
ción Básica y Educación Media Superior y para la promoción a cargos con funciones de dirección en Educación Media
Superior, para el ciclo escolar 2014–2015, mismos que se realizaron en julio de 2014. En este proceso de evaluación, en
el uso de sus atribuciones legales, al INEE le correspondió determinar los criterios técnicos conforme a los cuales se rea-
lizó el análisis e integración de los instrumentos de evaluación; la puntuación mínima requerida que debían alcanzar los
sustentantes en cada tipo de examen y los estándares de desempeño correspondientes; la ponderación de cada aspecto
a evaluar, considerando los distintos exámenes y los dominios contemplados en cada uno de ellos; el criterio conforme al
cual un sustentante podía alcanzar un resultado Idóneo en el proceso de evaluación, así como la manera en que se con-
formaron las listas de prelación y los criterios con los cuales se evitaron los empates en estas listas . Las características de
los exámenes empleados fueron instrumentos de evaluación criterial (referidos a un estándar de desempeño) y la forma
en cómo se integraron los grupos de desempeño corresponde a la cantidad de instrumentos considerados en el proceso
de evaluación indicado en el concurso y la combinación de los resultados específicos en cada uno de ellos.
Se efectuó el establecimiento de uno o más puntos de corte que dividieron el rango de calificaciones para diferenciar
entre dos o más niveles de desempeño. Para los instrumentos de evaluación del Servicio Profesional Docente se consi-
deraron dos puntos de corte, el primero permitió diferenciar entre los niveles NI y NII, el segundo distinguió entre los
niveles de desempeño NII y NIII. El punto de corte se estableció a partir de lo que un comité de expertos definió como lo
mínimamente aceptable, para ubicarse en cada nivel de desempeño (NII y NIII). Cabe mencionar que las metodologías
que se emplearon son aplicadas ampliamente en el ámbito internacional para el establecimiento de estándares de des-
empeño (Angoff modificado, 1971; Beuk, 1984).
Una vez que se determinó el punto de corte, y con el fin de contar con un marco de referencia común para los distintos
instrumentos de evaluación, se establecieron descriptores genéricos de los niveles de desempeño que se emplearon para

Instituto Nacional para la Evaluación de la Educación (2014).Criterios técnicos y de procedimiento para el análisis de los instrumentos de evaluación,
1

el proceso de calificación y la definición de las listas de prelación de los Concursos de oposición para el ingreso al Servicio Profesional Docente en
Educación Básica y Media Superior y para la promoción a cargos con funciones de Dirección en Educación Media Superior, para el ciclo escolar
2014–2015. (Diario Oficial de la Federación R. -392761). Recuperado de: http://www.inee.edu.mx/index.php/servicio-profesional-docente

3
 orientar el trabajo de los Comités Académicos en el desarrollo de los descriptores específicos de cada instrumento. Para
todos los instrumentos se utilizaron tres niveles de desempeño posibles: Nivel I (NI), Nivel II (NII) y Nivel III (NIII). Los
descriptores genéricos para cada uno de ellos se indican en la tabla 1.

Tabla 1  Descriptores genéricos de los niveles de desempeño

Nivel de desempeño Descriptor

Dominio insuficiente de los conocimientos y habilidades contemplados en el instrumento,
Nivel I (NI)
que se juzgan indispensables para un adecuado desempeño docente.
Dominio suficiente y organizado de los conocimientos y habilidades contemplados
Nivel II (NII)
en el instrumento, que se juzgan indispensables para un adecuado desempeño docente.
Dominio suficiente y organizado de los conocimientos y habilidades contemplados
Nivel III (NIII) en el instrumento, que se juzgan indispensables para un adecuado desempeño docente,
con amplia capacidad de generalización a situaciones didácticas novedosas y complejas.

Todos los exámenes que se utilizaron en el Concurso de Oposición para el ingreso al Servicio Profesional Docente fue-
ron sometidos a un escalamiento de sus puntuaciones para crear una escala común; por lo que el primer punto de corte
se estableció en 100 puntos, es decir, los sustentantes debieron haber obtenido, por lo menos, dicha puntuación para
alcanzar el nivel de desempeño II (NII). Para determinar el resultado del proceso de la evaluación que permitió establecer
la idoneidad de los sustentantes, se integraron los resultados de todos los instrumentos de evaluación afrontados, bajo
el criterio de que:

El sustentante Idóneo es aquel que obtuvo, al menos, el nivel de desempeño II (NII) en todos y cada uno de los
instrumentos de evaluación que constituyen el proceso de evaluación, según se define en los lineamientos del Concurso.

Lo anterior obedece a que los instrumentos de evaluación son de carácter criterial, como ya se indicó con anteriori-
dad, por lo que la puntuación mínima (100 puntos) representa un punto de inflexión que necesariamente debe estable-
cerse para identificar quiénes logran alcanzar el nivel de desempeño requerido y quiénes no, por lo que, en ningún caso,
puede sumarse la puntuación obtenida de cada examen para generar una puntuación global compensatoria de todo el
proceso de evaluación.
Sin embargo, con el conjunto de sustentantes que obtuvieron un resultado de la evaluación Idóneo, se conformaron
grupos de desempeño de acuerdo con el número de exámenes que constituyó el tipo de evaluación y la combinación de
resultados en los niveles II y III de los mismos.

Integración de las listas de prelación

En las listas de prelación se incorporaron, en primer lugar, los sustentantes del grupo de desempeño A, luego los del B,
y así sucesivamente. Se ordenaron a los sustentantes al interior de cada grupo de desempeño, considerando, en primer
término, la puntuación obtenida en el examen de mayor relevancia o jerarquía dentro del conjunto de instrumentos
implicados en el proceso de evaluación respectivo y, de haber algún empate, se continuó el ordenamiento, considerando
la puntuación de aquel instrumento que haya quedado definido en segundo orden de relevancia y así, sucesivamente en
aquellos procesos de evaluación en donde se consideraron tres o más exámenes. En el caso de que prevaleciera algún
empate, una vez agotado el procedimiento anterior, se llevó a cabo un ordenamiento de tercer nivel que se realizó consi-
derando las áreas o subáreas (para Educación Básica y Educación Media Superior, respectivamente) de los instrumentos
en los que se organizaron sus contenidos, iniciando por la puntuación obtenida en el área o subárea más importante del
instrumento de mayor relevancia en el proceso de evaluación, y así sucesivamente. Finalmente, las listas de prelación se
integraron dividiendo a la población sustentante, atendiendo a las características específicas de los Concursos de oposi-
ción, tanto en Educación Básica como en Media Superior.

4
 Datos generales del concurso

Incluyendo a todos los sustentantes de los niveles educativos y tipos de evaluación, en el pre-registro se tuvieron 287 594
candidatos, de los cuales se registraron un total de 194 639 aspirantes (esto es, el 32.3% menos de los pre-registrados).
En el proceso de evaluación se contó con la participación de 165 834 aspirantes (14.8% de los menos de los registrados):

»» 130 512 (78.70%) fueron de Educación Básica (Docentes y Técnico docentes).

»» 35 322 (21.30%) de Educación Media Superior, de los cuales 34 415 fueron Docentes o Técnico docentes y 907
aspirantes a cargos con funciones de dirección.

Principales resultados en Educación Básica

Considerando los procesos de evaluación que integraban dos instrumentos, el resultado a nivel nacional fue de 40.4% de
sustentantes Idóneos. Las entidades que obtuvieron la mayor diferencia con respecto al resultado nacional fueron Queré-
taro con un 17.4% y Colima con 16.6%, por arriba del referente nacional.

Gráfica 1 Diferencia en el porcentaje de sustentantes con resultado Idóneo en las entidades federativas
con referencia al resultado nacional

En la distribución de resultados de la evaluación (Aún no idóneo y grupos de desempeño) por tipo de evaluación, en los
exámenes nacionales se observa que el mayor porcentaje de resultados Idóneos fue obtenido por los sustentantes a do-
centes de Secundaria (Física) con un 49.4%.

5
 Gráfica 2 Distribución de resultados de la evaluación (Aún no idóneo y grupos de desempeño) por tipo de evaluación
exámenes Nacionales

En la distribución de los resultados de los exámenes nacionales que incluyen los tipos de convocatoria, se observa que
los sustentantes que egresaron de Escuelas Normales obtuvieron un mayor porcentaje de resultados Idóneos con una
diferencia de 11.6% con respecto a los sustentantes de la Convocatoria pública y abierta.

Gráfica 3  Distribución de los resultados de los exámenes nacionales que incluyen los tipos de convocatoria

En el caso de los docentes, además de los dos exámenes Nacionales que se aplicaron a todos los sustentantes, las entidades
tuvieron el derecho de definir si era necesario aplicar un examen complementario de acuerdo con la asignatura específica
de cada entidad; de esta forma, 7 474 sustentantes de diversas disciplinas presentaron otro instrumento de evaluación.

6
 El mayor porcentaje de sustentantes con resultado Idóneo que presentaron los dos exámenes Nacionales y un com-
plementario, fueron los de la convocatoria de docentes de Secundaria (Geografía) con un 47.4% (19 sustentantes).

Gráfica 4 Diferencia en el porcentaje de sustentantes con resultado Idóneo en las entidades federativas con referen-
cia al resultado nacional con exámenes complementarios

Los resultados de idoneidad fueron menores a los presentados en las evaluaciones Nacionales, con un porcentaje de
24.2% y de 40.4%, respectivamente. El Distrito Federal obtuvo la mayor diferencia en porcentaje de resultado Idóneo con
17.9%, por arriba del resultado nacional.
Por otra parte, en el caso de los sustentantes que presentaron examen complementario, en ambas convocatorias
(egresados de Escuelas Normales y Convocatoria pública y abierta) tuvieron resultados similares en cuanto a su distri-
bución en los grupos de desempeño y respecto al total de sustentantes Idóneos, los porcentajes son los mismos (24.2%).
Sobre la dificultad observada en los instrumentos administrados a nivel nacional, el examen de Habilidades Intelec-
tuales y Responsabilidades Ético-profesionales fue el que presentó una mayor dificultad (53.7% en NI) y, observando la
distribución por tipo de convocatoria, esta aumenta para los sustentantes que presentaron un tercer examen (comple-
mentario) con 57.8% de sustentantes ubicados en NI.
Por otra parte, también se observa que los aspectos evaluados a través de los instrumentos de conocimientos y habi-
lidades para la práctica docente, los egresados de las Escuelas Normales presentan un mejor desempeño que los de las
Instituciones de Educación Superior que participaron en la Convocatoria pública y abierta. Esta diferencia es particular-
mente notable para los concursos con exámenes Nacionales, donde el 71.8% de los egresados de las Escuelas Normales
obtienen NII o NIII.

7
 Gráfica 5 Distribución de los sustentantes por niveles de desempeño del examen de Habilidades Intelectuales
y Responsabilidades Ético-profesionales por convocatoria para docente

Nota: En las evaluaciones que incluyen un examen complementario, la diferencia entre el número de sustentantes total y en cada
uno los exámenes se debe a que algunos sustentantes no presentaron los tres exámenes.

Principales resultados en Educación Media Superior

En el caso de Educación Media Superior, se presentaron los siguientes grupos de aspirantes para el ingreso al SPS: Do-
cente del Componente Disciplinar (82.7%), Docente Profesionales Técnicos (14.2%) y Técnico docentes (3.1%). Todos
ellos de un total de 34 415 sustentantes. En el Concurso para la promoción a cargos con funciones de dirección en EMS,
se presentaron 907 aspirantes.

Principales resultados en EMS: Docentes del Componente Disciplinar

En general, el resultado nacional del porcentaje de sustentantes Idóneos es de 31.5%. De la distribución de resultados de
la evaluación (Aún no idóneo y grupos de desempeño) a nivel nacional, se observa que de las disciplinas con más de 30
sustentantes, el desempeño más alto corresponde a Lectura-expresión oral y escrita con 44.9% de sustentantes Idóneos.
Se hace mención del caso de Etimologías grecolatinas con un 73.3% de Idóneos, aun cuando el número de aspirantes
fue muy reducido (15).
Sobre la diferencia en el porcentaje de sustentantes con resultado Idóneo en la evaluación Docente del Componente
Disciplinar de EMS con referencia al resultado nacional, las entidades que obtuvieron la mayor diferencia fueron Queré-
taro con un 27.3% y Baja California Sur con 14.8%, por arriba del referente nacional.

8
 Gráfica 6 Distribución de resultados de la evaluación para Docentes del Componente Disciplinar en Educación Media
Superior (Aún no idóneo y grupos de desempeño) a nivel nacional

Nota: La asignatura de Etimologías grecolatinas no se muestra en la gráfica debido a que el número de sustentantes
es menor a 30

9
 Gráfica 7 Diferencia en el porcentaje de sustentantes con resultado Idóneo en la evaluación de Docentes
del Componente Disciplinar de Educación Media Superior con referencia al resultado nacional

Considerando el conjunto de la evaluación para los Docentes del Componente Disciplinar, se observa que el examen
con mayor dificultad fue el Plan de clase, seguido del Exprese, Conocimientos disciplinares (específico para cada discipli-
na, pero integrado con fines comparativos) y, finalmente, Habilidades docentes.

Gráfica 8 Distribución de los sustentantes en niveles de desempeño de los exámenes por convocatoria de docentes

10
 Por ser el examen con mayor dificultad (41.7 % en NI), se hace un espacio para conocer mejor este instrumento. El
propósito de Plan de clase fue identificar si los docentes contaban con habilidades para planificar los procesos de ense-
ñanza y aprendizaje; atender el enfoque por competencias y, como docente, poder colocarse en contextos disciplinares,
curriculares y sociales amplios. Este instrumento (al igual que el Exprese) está constituido por reactivos de respuesta
construida, con un producto final, mismo que fue calificado por dos jueces a través de una rúbrica.
Considerando que en el Componente Disciplinar hubo 30 o más sustentantes, se observa que los aspirantes con mejo-
res resultados fueron los de las disciplinas de Geografía, seguido de Lectura y expresión escrita y textos literarios, como
se muestra en la siguiente gráfica.

Gráfica 9 Distribución de los sustentantes en niveles de desempeño de los exámenes por convocatoria de docentes

Nota: La asignatura de Etimologías grecolatinas no se muestra en la gráfica

debido a que el número de sustentante es menor a 30.

Principales resultados en EMS: Docentes y Técnico docentes

de las disciplinas asociadas al Componente Profesional Técnico

Integrando los resultados de estos dos grupos de aspirantes (5 938 sustentantes en total), se encontró que el 38.9% quedaron
en alguno de los grupos de desempeño, alcanzando un resultando Idóneo. Las entidades que obtuvieron la mayor diferencia
con respecto al resultado nacional fueron Baja California Sur con un 16.6% y Oaxaca con 13.0%, por arriba del referente.

11
 Gráfica 10 Diferencia en el porcentaje de sustentantes con resultado Idóneo en Docentes y Técnico
docentes de las disciplinas asociadas al Componente Profesional Técnico

Sin embargo, separando los grupos, se observan diferencias en el desempeño de ambos, ya que los docentes del Com-
ponente Profesional Técnico tuvieron 41.8% de resultados Idóneos, en comparación con el grupo de aspirantes a Técnico
docente, que obtuvieron 25.8%, es decir, 16% menos de sustentantes con resultado Idóneo.

Gráfica 11 Distribución de los de sustentantes con resultado Idóneo en Docentes y Técnico docentes
de las disciplinas asociadas al Componente Profesional Técnico

12
 En la revisión de los tres exámenes comunes para este conjunto de aspirantes, se observa que el grupo de Docente Pro-
fesional Técnico obtuvo mejor desempeño en todos ellos, especialmente en el examen de Habilidades docentes, donde la
diferencia entre ambos es de más de 15 puntos porcentuales.

Gráfica 12 Distribución de los sustentantes en nivel de desempeño de los exámenes, por convocatoria Docente
y Técnico docente de las disciplinas asociadas al Componente Profesional Técnico

Principales resultados en EMS: promoción a cargos de funciones de dirección

En el resultado nacional, el 28.1% de los sustentantes a cargos directivos obtuvieron un resultado Idóneo. Las entidades
que alcanzaron la mayor diferencia con respecto al resultado nacional fueron San Luis Potosí con un 18.6% y Baja Califor-
nia con 18.3%, por arriba del referente.
De los dos exámenes que aplicaron los sustentantes de promoción a cargos de funciones de dirección, el examen de
Plan de mejora fue el que presentó mayor dificultad, ya que de los 907 sustentantes totales, el 71.9% se ubicaron en el
Nivel I.
Este examen tuvo como propósito identificar si los sustentantes contaban con las siguientes habilidades para desa-
rrollar funciones de dirección: a) identificar las áreas de oportunidad del plantel considerando las características del en-
torno; b) diseñar estrategias creativas y factibles de corto, mediano y largo plazo para la mejora del plantel; c) identificar
mecanismos para integrar a los docentes, personal administrativo, estudiantes y padres de familia a la toma de decisiones
para la mejora del plantel; d) identificar acciones para fomentar estilos de vida saludables y opciones para el desarrollo
humano, a través de diversas actividades complementarias; e) identificar acciones para mejorar las condiciones físicas e
higiénicas del plantel escolar; f) aplicar conocimientos generales de gestión y administración de recursos públicos.
Este examen, al igual que el Plan de Clase y el Exprese, está diseñado a partir de reactivos de respuesta construida,
cuyo producto entregable fue calificado por dos jueces a partir de una rúbrica.

13
 Gráfica 13 Diferencia en el porcentaje de sustentantes con resultado Idóneo en la evaluación para promoción a car-
gos de funciones de dirección en Educación Media Superior.

El examen de Habilidades directivas (diseñado a partir de reactivos de opción múltiple), tuvo un papel muy limitado
en el proceso de selección, ya que solo excluyó a dos sustentantes adicionalmente a los que ya habían sido excluidos a
partir del Plan de Mejora (650 aspirantes con resultado Aún no idóneo).

CONCLUSIONES

Este Concurso marcó un hito en la historia de la evaluación para la obtención de una plaza docente en México debido
a que por primera vez, los instrumentos diseñados fueron de carácter criterial, lo cual representa que los resultados
alcanzados por los sustentantes se comparaba con un estándar definido previamente por un grupo de expertos en los
contenidos evaluados por los distintos instrumentos de evaluación. De los resultados generales, se observa lo siguiente.

Resultados en Educación Básica

»» El resultado general en Educación Básica fue de 39.5% de Idóneos. Diferenciando entre los procesos de evaluación
que consideraron solo los dos exámenes Nacionales, el resultado fue de 40.4%, en tanto que aquellos en donde adi-
cionalmente se consideró un examen complementario, el resultado fue de 24.2% de Idóneos.
»» En el proceso de evaluación que consideraba solo los exámenes Nacionales, se encontró que los sustentantes egre-
sados de Escuelas Normales obtuvieron mejores resultados que los sustentantes de la Convocatoria pública y abier-
ta, con una diferencia de 11.6% de sustentantes Idóneos con respecto a los sustentantes de la Convocatoria pública
y abierta.

14
 »» Se observa que los aspectos evaluados a través de los instrumentos de conocimientos y habilidades para la práctica
docente, los egresados de las Escuelas Normales presentan un mejor desempeño que los de las Instituciones de
Educación Superior participantes de la Convocatoria pública y abierta. Esta diferencia es particularmente notable
para los concursos con los dos exámenes nacionales, donde el 71.8% de los egresados de las Escuelas Normales
obtienen obtiene NII o NIII.
»» En el caso de los procesos de evaluación que consideraban, además de los dos instrumentos Nacionales, afrontaron
un tercer instrumento de evaluación complementario. Para este conjunto, se observó que la diferencia entre egresa-
dos de Escuelas Normales y Convocatoria pública y abierta fueron iguales en el porcentaje de sustentantes Idóneos
(24.2%), sin embargo, se observan ligeras diferencias en la conformación de los grupos de desempeño (A, B, C o D).
»» Para toda la población de Educación Básica, el examen que presentó mayor dificultad para los sustentantes fue el
de Habilidades Intelectuales y Responsabilidades Ético-profesionales. Especialmente lo fue para los docentes de
Educación Preescolar Indígena y Educación Primaria Indígena, con más del 70% en el nivel de desempeño I (NI) en
ambos casos.

Resultados en Educación Media Superior

»» El resultado para la Convocatoria a Docentes del Componente Disciplinar en Educación Media Superior fue 31.5%
de los sustentantes que se ubicó en alguno de los grupos de desempeño (A, B, C, D o E).
»» Considerando el conjunto de la evaluación para los Docentes del Componente Disciplinar, se observa que el examen
con mayor dificultad fue el Plan de clase, seguido del Exprese, Conocimientos disciplinares (específico para cada
disciplina, pero integrado con fines de referencia) y, finalmente, Habilidades docentes.
»» El 38.9% de sustentantes a Docentes y Técnico docentes de las disciplinas asociadas al Componente Profesional
Técnico quedaron en alguno de los grupos de desempeño, alcanzando un resultando Idóneo. Diferenciando a los
Docentes del Componente Profesional Técnico el resultado fue de 41.8%, en tanto que Técnico docentes, el resulta-
do fue menor con 25.8% de Idóneos.
»» En la revisión de los tres exámenes comunes para aspirantes a Docentes y Técnico Docentes de las disciplinas aso-
ciadas al Componente Profesional Técnico, se observa que el grupo de Docente Profesional Técnico obtuvo mejor
desempeño en todos ellos, considerando NII y NIII, principalmente, en el examen de Habilidades docentes, donde la
diferencia entre ambos es de 15.2 puntos porcentuales.

Resultados promoción a cargos de funciones de dirección

en Educación Media Superior

El resultado nacional para los sustentantes de la convocatoria de promoción a cargos de funciones de dirección fue 28.1%
de Idóneos.
De los dos exámenes que aplicaron los sustentantes de la convocatoria de promoción a cargos de funciones de direc-
ción, el examen de Habilidades directivas y Plan de mejora, este último fue el que presentó mayor dificultad, ya que de los
907 sustentantes, el 71.7% se ubicaron en el Nivel I.

Retos y perspectivas

Un reto importante es generar estrategias y seguimientos para fomentar la participación de los aspirantes, ya que en esta
primera experiencia se detectó un porcentaje del 32.3%, que no concluyó su registro y un 14.8% de inasistencia al pro-
ceso de evaluación. De manera particular, en algunas entidades del país, es importante poder incidir en los factores que
impactan en la disposición y oportunidad que tienen los docentes para que se presenten a las sedes designadas ya que en
algunos estados se requirió, incluso, trasladar a los aspirantes a una sede fuera del lugar de su entidad.

15
 Los resultados obtenidos en esta primera experiencia apuntan a la necesidad de fortalecer la congruencia entre el
perfil de egreso de las instituciones de formación inicial de docentes, con los conocimientos, habilidades y competencias
que se consideran indispensables para el inicio del ejercicio profesional docente.
Sin embargo, también es necesario destacar que los resultados no son un referente para evaluar el egreso de las ins-
tituciones de procedencia de los sustentantes, ya que el proceso de evaluación está diseñado a partir de los referentes
del ingreso.
Finalmente, si bien, los resultados indican un nivel de exigencia alto para los aspirantes, estos aportan elementos de
confianza de que los concursos de ingreso a la Educación Básica, Media Superior, han permitido identificar a los mejores
candidatos para su inserción a la práctica docente y además cumplen con lo requerido a partir de los Perfiles, parámetros
e indicadores para el Ingreso al Servicio Profesional Docente.

BIBLIOGRAFÍA

Angoff, W. H. (1971). Scales, norms, and equivalent scores. In R. L. Thorndike (Ed.), Educational Measurement (2nd ed.).
Washington, DC: American Council on Education.
Beuk C. H. (1984). A Method for Reaching a Compromise between Absolute and Relative Standards in Examinations. Journal
of Educational Measurement, 21 (2) p. 147-152
Instituto Nacional para la Evaluación de la Educación (2014).Criterios técnicos y de procedimiento para el análisis de los
instrumentos de evaluación, el proceso de calificación y la definición de las listas de prelación de los Concursos de
Oposición para el ingreso al Servicio Profesional Docente en Educación Básica y Media Superior y para la promoción a
cargos con funciones de Dirección en Educación Media Superior, para el ciclo escolar 2014–2015. (Diario Oficial de la
Federación R. -392761). Recuperado de: http://www.inee.edu.mx/index.php/servicio-profesional-docente
Instituto Nacional para la Evaluación de la Educación (2014). Criterios Técnicos para el Desarrollo y uso de Instrumen-
tos de Evaluación Educativa, 2014-2015 Recuperado de: http://www.inee.edu.mx/images/stories/2014/criterios/
Criterios_t%C3%A9cnicos.pdf
Diario Oficial de la Federación 11 de septiembre de 2013. Ley General del Servicio Profesional Docente. Secretaría de Go-
bernación. México.
SEP (2013)1. Información general del Concurso Nacional para el Otorgamiento de Plazas Docentes, México. Recuperado
de: http://Concursonacional.sep.gob.mx/CONAPD13/content/pdf/informacion/info_general_01.pdf

16
Metodología y procedimientos en
la evaluación de la instrumentación
de la RIEMS
13 de marzo de 2015
 Metodología y procedimientos en
la evaluación de la instrumentación
de la RIEMS
Dra. Evangelina López Ramírez*
Universidad Autónoma de Baja California, México.
evangelinalopez@uabc.edu.mx
Dra. Ysabel Camacho Norzagaray
SEBS-BC, México
ysabel_camacho@yahoo.com.mx
M.C. Susana Espinosa Velázquez
UABC, México
sespinosav2003@uabc.edu.mx

PALABRAS CLAVE: Metodología, instrumentación, procesos.

EJE TEMÁTICO: Modelos y políticas de evaluación de docentes y de directivos escolares.

Resumen
Este documento refiere los fundamentos metodológicos y procedimentales que se siguieron para posibilitar la
realización del proyecto denominado "Evaluación de la instrumentación de la Reforma de la Educación Media
Superior en Baja California".
En el ámbito de la evaluación educativa y más particularmente la evaluación de los procesos educativos, se
observa una dificultad importante para abordar este tipo de objetos investigativos. De ahí que este documento
pretenda mostrar con cierto detalle los fundamentos metodológicos así como los procedimientos específicos que
se utilizaron durante el desarrollo del citado proyecto que ha sido financiado por el Fondo INEE SEP Conacyt.
El propósito es entonces facilitar a quienes lo consulten, el desarrollo de actividades evaluativas en sus cen-
tros educativos.

*Autor principal

2
 INTRODUCCIÓN

El proyecto “Evaluación de la instrumentación de la RIEMS en Baja California” se enmarca en los esfuerzos que se realizan
en México y Latinoamérica concentrados en generar informes con resultados de evaluación que posibiliten la definición
de estadios de avance en los compromisos establecidos por los gobiernos en materia de educación. Específicamente es el
caso del Estado de Baja California y al establecimiento del Sistema Nacional de Bachillerato (SNB), expuesto en el Acuerdo
442 publicado el 26 de septiembre 2008 (Diario Oficial de la Federación) mismo que como medida estratégica promovió
un proceso de Reforma Integral de la Educación Media Superior (RIEMS) implementado en cuatro ejes:

»» Marco Curricular Común

»» Definición y regulación de las modalidades de la oferta
»» Mecanismos de gestión
»» Certificación complementaria del sistema nacional de bachillerato.

Para el desarrollo de este proyecto se tomó como referente al Dr. De la Orden (1989) quien explica que la evaluación, a
diferencia de la investigación, es un proceso que busca información para la valoración y la toma de decisiones inmediata;
se centra en un fenómeno particular y no pretende generalizar a otras situaciones, objetos o circunstancias.

DESARROLLO

La finalidad que orientó la investigación, “Evaluación de la instrumentación de la Reforma de la Educación Media Su-
perior en Baja California”, fue valorar los procesos de gestión directiva, curriculares, instructivos y de evaluación de los
aprendizajes asociados a la instrumentación de los ejes principales de la RIEMS para emitir juicios sobre el avance en la
implementación que se han ido concretizando en las instituciones de educación media superior en la entidad.
Como toda evaluación, obedeció a un propósito fundamental; construir información relevante que permitiese plan-
tear sugerencias relativas a las medidas de que se requiere realizar para consolidar la congruencia entre los plantea-
mientos de la política educativa y su aplicabilidad en las instancias correspondientes, una adaptación o acomodación de
una cosa/objeto (RIEMS) respecto de otra (niveles de concreción implementados) que está estrechamente vinculada a la
primera (Ackoff, 1997).

1. Justificación del tipo de investigación y el enfoque metodológico utilizado

El tipo de evaluación desarrollado fue el de investigación evaluativa con enfoque en política educativa pública. Mc Millan
y Schumacher explican que “la investigación evaluativa se ocupa de una práctica concreta en una situación o situaciones
determinadas. La práctica puede ser un programa, un producto o un proceso, pero la situación es crucial… juzga el mérito
y el coste de una práctica concreta en función de los valores que priman en la situación” (2005, p. 25).
Ciertamente (Escudero,1997) se ha tratado con ligereza el asunto de la definición de Modelo dentro de las investiga-
ción evaluativa, ya que se ha hecho referencia a enfoques, metodologías etc., que no son modelos en el sentido riguroso.
En ese gran marco referencial se reconoce la existencia de cinco grandes bloques de agrupamiento de los modelos de
evaluación de centros. Estos cinco bloques son los siguientes (Escudero, 1997).

a) Los que enfatizan los resultados (outputs).

b) Los que enfatizan los procesos internos a la propia organización.
c) Los que postulan criterios mixtos o integradores.
d) Los que se centran sobre los aspectos culturales de la organización.
e) Los que intentan evaluar la capacidad de la propia organización para auto transformarse (evaluación para cambiar).

3
 Ante estas referencias, se consideró que el modelo de De la Orden corresponde al segundo bloque ya que enfatiza los
procesos internos de las organizaciones o instituciones educativas, para adherirse al enfoque formativo de la evaluación.
Para este estudio fue de vital importancia referenciar el modelo de evaluación propuesto por el Dr. De la Orden, para
orientar metodológicamente el proyecto; El reconoce que la evaluación a centros educativos no puede realizarse aten-
diendo a modelos generales sino que cada investigación requiere adecuarse a las condiciones particulares para adaptarse
al caso específico. La categoría central de este modelo es la conceptualización de calidad educativa como relación de
coherencia de cada uno de los componentes del sistema, estableciendo la proximidad estructural o funcional entre los
componentes relacionados. El modelo se conforma con factores o procesos identificados con criterios y predictores de
funcionalidad, eficacia y eficiencia.

2. Diseño metodológico del estudio

En materia de investigación evaluativa convergen diversidad de perspectivas y enfoques de la investigación, debido a

que su principal propósito no es evaluar estrictamente hablando, sino obtener información sobre el objeto definido con
antelación para apoyar en la constitución de propuestas de mejora, apoyar la toma de decisiones o conocer de forma más
precisa las problemáticas en las que el objeto se desenvuelve. Actualmente, aclarando que el debate no ha sido resuelto,
se considera a investigación evaluativa como una transdisciplina; esto se expuso en el III Congreso Internacional de Cien-
cia, Tecnología y Cultura (2013). La base de esa aseveración fue que la investigación evaluativa se alimenta no solo de la
transferencia de metodologías de una disciplina a otras, sino que tanto la investigación como la evaluación al formar parte
de diversas disciplinas les aporta y enriquece con el conocimiento que genera. Otro argumento es que al utilizar la inves-
tigación evaluativa en el contexto educativo, su carácter transdisciplinario permite fundamentar una praxis diagnóstica,
orientadora y evaluativa (Sabiron, 2006).

3. Estrategia investigativa

Este tipo de estudio se inserta dentro de las ciencias sociales pero al ser un estudio apoyado de un proceso investigativo de
evaluación el marco de acción de los evaluadores-investigadores es complejo. Como lo menciona Suchman (1967, p. 119),
"la investigación evaluativa es un tipo especial de investigación aplicada, en la que el principal énfasis esta puesto en la
utilidad de la información que genera". En consecuencia se tuvieron en cuenta las siguientes directrices:

a) Acceso al campo
Se entiende como el levantamiento de información o datos de un espacio físico o social en el que tiene lugar el objeto
investigado, que este caso fue de 60 Instituciones de Educación Media Superior de todo el Estado de Baja California. Para
el ingreso a ellas se concertó el paso con los directivos mediante oficios emitidos por las Subsecretaria de Educación Su-
perior, Media Superior e Investigación.

Población
La constituyeron 60 Directivos, 2 769 Profesores y 60 grupos de estudiantes del último semestre vigente en cada
bachillerato que integran las Instituciones de educación media Superior en la entidad.
La muestra se calculó con un 95% de confianza.

El procedimiento para obtención de la muestra

La fórmula para calcular la muestra de profesores fue la siguiente:

Z 2 pq N
n=
N E 2 + Z 2 pq

4
 n Es el tamaño de la muestra No se conoce el valor
z Es el nivel de confianza 1.96 con 5% de margen de error
p Es la variabilidad positiva 0.5
q Es la variabilidad negativa 0.5
3 480
n Es el tamaño de la población Cantidad de profesores que laboran en las instituciones de nivel
medio superior en B.C.
Es la precisión o el error 0.05

Aunque se tuvo como referencia este dato muestral se tomó en cuenta que las escuelas invitaron a todos sus pro-
fesores a participar en las encuestas, se consideró que siendo una evaluación, la mayor participación enriquecería los
resultados, por lo que la población encuestada de profesores fue de 2 769.

b) Aplicación de los instrumentos de recogida de datos e información

Los cuestionarios, encuestas y entrevistas se aplicaron por diferentes equipos de trabajo acompañados por el coordi-
nador del proyecto. La dinámica de aplicación para los profesores consistió en la preparación de un espacio físico; pos-
teriormente se les dio una breve explicación a los participantes sobre las finalidades de cada instrumento, formas de
contestación y el uso que se le daría a la información recabada. En el caso de los estudiantes, se solicitó a cada Director la
asignación de un grupo de estudiantes que estuvieran cursando el semestre más avanzado vigente en el ciclo lectivo. La
forma de recabar la información fue a través de entrevista grupal. En el caso del instrumento para Directores, se emitió
un oficio por el Subsecretario de Educación Media Superior, Superior, Evaluación y Formación Docente de la SEBS BC,
invitándolos a contestar cuestionario por vía electrónica.

4. Diseño de instrumentos para la recogida de datos e información

Para diseñar los instrumentos fue necesario analizar que las investigaciones evaluativas con enfoque en políticas públicas
utilizan la evaluación de proceso ya que son las que ofrecen información para mejorar procesos de gestión o autogestivos.
El estudio se realizó durante el periodo 2012/2014, de tal forma que en ese espacio de tiempo ya se podía contar con una
visión de cómo se está asumiendo la RIEMS por los diferentes actores y cuál es la opinión sobre los procesos desarrolla-
dos hasta entonces.
Para explorar en el campo de estudio se formularon 4 instrumentos que abordaron los 4 procesos de interés:

a) Cuestionarios
Se adaptó un primer cuestionario asociado a la evaluación de la Gestión Directiva, diseñado originalmente por Sevilla,
Medrano y Gaete , que forma parte del Modelo de Aseguramiento de la Calidad de la Gestión Escolar (SACGE) del Ministe-
rio de Educación de Chile (2005). Se plantea en escalas de Likert con un total de 121 ítems. A este cuestionario se aplicó
el Alfa de Cronbach obteniéndose un coeficiente alto de fiabilidad (0.959).
Un segundo cuestionario diseñado para valorar los procesos instructivos, curriculares y de evaluación del aprendizaje
contiene 52 ítems (4 de respuesta abierta y el resto de respuesta cerrada) y fue revisado por dos expertos y piloteado
con un grupo de profesores del plantel Cobach Las principales observaciones que se realizaron estuvieron asociadas a
la extensión del cuestionario atendiendo el hecho que originalmente había 10 cuestionamientos de respuesta abierta. Se
atendió la recomendación y se redujo el número de preguntas abiertas y se retiraron las preguntas que a los profesores
les parecieron poco claras.
El tercer cuestionario es una variante del anterior adaptado para los directores, tocando básicamente los mismos
rubros que el de profesores.
Por último, se diseñó una cédula de entrevista para los grupos de estudiantes y se piloteó antes de su aplicación en un
grupo de jóvenes de quinto semestre de un plantel del Subsistema Cobach.

5
 5. Modelo de evaluación

El modelo que se tuvo como referencia para sustentar esta evaluación ha sido el propuesto por De la Orden (1997). Este
modelo propone identificar las relaciones entre los componentes de contexto, input, proceso, producto y propósitos del
sistema y valorarlos en función de un conjunto de reglas bien establecido que para nuestro caso aparecerían en los pro-
gramas sectoriales de educación tanto nacional como estatal.
Para los fines de este trabajo, el modelo se adaptó en lo relativo al objeto de estudio, ya que la propuesta está ela-
borada originalmente para la educación universitaria. Los procesos se mantuvieron ya que se consideró que estos son
perfectamente ubicables en la educación media superior (Figura 1).

Figura 1 

Nota: Esta figura contiene las adaptaciones realizadas para la realización de este estudio. El modelo original está disponible
en la dirección http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm

De acuerdo con la propuesta de De la Orden, la calidad de la educación supone una relación de coherencia de cada
uno de los componentes del sistema representado en un modelo, con todos los demás. Explica que en unos casos, esta
relación de coherencia o incoherencia será patente, dada la proximidad estructural y/o funcional entre los componentes
relacionados.

6
 Especificación de procesos

a) Contexto
Siguiendo a De la Orden (1997) el contexto es determinante de las demandas sociales que debe satisfacer la educación
media superior que a su vez, son determinantes de las funciones asignadas a la misma.

b) Procesos e indicadores
Con base en la descripción que De la Orden (1997) realiza se exploraron los procesos que se citan a continuación y sus
correspondientes indicadores:

Gestión directiva
Para la evaluación de la Gestión directiva, se consideraron las siguientes dimensiones propuestas por Sevilla, Medra-
no y Gaete (2005)
»» Liderazgo : capacidad del docente directivo para orientar a los actores del proceso educativo al logro de los objeti-
vos y metas de la institución
»» Gestión Curricular: cómo asegurar el aprendizaje efectivo en las aulas, considerando la propia cultura institucional
y el Proyecto Educativo.
»» Gestión de Recursos: generación de mecanismos de obtención de recursos para la adecuada administración, con
el fin de potenciar las actividades de enseñanza, los resultados institucionales y los aprendizajes de calidad para
todos los estudiantes.
»» Gestión de Clima Organizacional y Convivencia: generación de climas institucionales y una convivencia escolar ade-
cuada para potenciar el PEI y desarrollar los aprendizajes.

Procesos curriculares
De la Orden (1997) los define como la interacción de los elementos -personales y materiales- que constituyen el cen-
tro, encaminada a la toma de decisiones y a la planificación de las actividades docentes.

Procesos instructivos
Refieren, según De la Orden (1997), la interacción entre los elementos -personales y materiales- dirigida a la toma
de decisiones sobre estrategias y procedimientos instructivos y a la puesta en marcha de actividades tutoriales y
docentes.

Procesos para la evaluación de los aprendizajes

Estos se asocian a la interacción entre los elementos -personales y materiales- que conlleva la determinación de con-
secución y logro de objetivos educativos.

6. Representación e interpretación de la información

a) Representación de la información
Una condición que se debe reconocer para la representación de los datos es que estos no hablan “por si mismos”, de ahí
que se consideraron las características de los datos y lo que se deseó destacar de cada uno de ellos, editándolos de forma
visual por medio de tablas de contenido, gráficas de ejes de coordenadas y de área. También se atendió a los requisitos de
sencillez y claridad sobre los datos para facilitar la lectura a los usuarios de la información (INEGI, 2011).

b) Interpretación de la información
Desde la perspectiva de la evaluación externa la interpretación de la información se concentró en identificar la relación
entre los indicadores de los procesos estudiados conforme al modelo y las respuestas arrojadas en los distintos instru-
mentos aplicados. Miles y Huberman (1994) recomiendan sobre el empleo de matrices y realizar con ellas un procedi-

7
 miento de inspección sistemático que permita sintetizar la variedad de resultados en principales hallazgos y emitir las
recomendaciones pertinentes. Asimismo se conceptualizó "hallazgo" como la información emergente derivada de los
análisis sobre los procesos y de los cuales hay evidencia empírica que lo sostiene; y se entiende por "recomendación" a la
formulación de propuestas de acción o líneas de acción sujetas a ser consideradas por los responsables para orientar el
proceso de aseguramiento de la calidad.

CONCLUSIONES

La instrumentación metodológica en todo proyecto de investigación implica un reto importante para los equipos de tra-
bajo, de ahí el interés nuestro por aportar una experiencia en un campo en el cual aún hay mucho que sistematizar. Asi-
mismo compartimos algunos hallazgos derivados de la aplicación de estos procedimientos.

Gestión del clima organizacional y convivencia

Los resultados obtenidos respecto a la gestión del clima organizacional y convivencia, muestran que los docentes perci-
ben que el trabajo de gestión de la dirección es apropiado para incentivar el trabajo, incluso existen sistemas y procedi-
mientos de seguimiento al personal docente, en función de las metas planteadas y los resultados de desempeño en el aula,
aunque esta práctica también genera competencia, desconfianza y limita el trabajo en equipo.

Liderazgo

En relación al liderazgo del director, los resultados en promedio muestran que los directores si hacen su trabajo pero los
profesores perciben no saber los planteamientos del proyecto educativo institucional (PEI) lo que representa un lideraz-
go vertical, que incide sobre la productividad de los planteles, además de mostrar una pobre visión proactiva. Se muestra
también que aunque los directores soliciten a los docentes y estudiantes poner en práctica las propuestas de la reforma
educativa, expresan los docentes no conocer en qué consiste la propuesta, por tanto, trabajan con una visión anterior
a esta normativa.

Sobre organización institucional de la enseñanza

El reconocimiento al rezago académico con el que se recibe a los estudiantes del nivel previo, genera la necesidad con-
siente y apremiante de un gran porcentaje de docentes de apoyar la formación de los estudiantes con acciones específi-
cas. La propuesta de los docentes es atender esta condición de los alumnos y sobre todo de los que cursan los primeros
semestres para así, mejorar los índices de permanencia y el desempeño académico de los jóvenes en la EMS. Esto muestra
la falta de vinculación entre los distintos niveles de educación y obstaculiza la eliminación de secuencias didácticas rígi-
das y su tránsito a espacios transdisciplinarios integradores tal como se plantea en la RIEMS para atender el principio de
flexibilidad curricular.

8
 BIBLIOGRAFÍA

Ackoff, R. (1984) "Rediseñando el futuro" Limusa, México

Ackoff, R. (1997) "Un concepto de planeación de empresa". Limusa. México.
Actas de las III Jornadas Nacionales de Didáctica Universitaria "Evaluación y Desarrollo Profesional", Servicio de Publica-
ciones de la Universidad de Las Palmas de Gran Canaria.
Cook, T.D. y Reichardt, C.S. (1986) "Métodos cualitativos y cuantitativos en investigación evaluativa". Madrid. Morata.
De la Orden, A., Asensio, I., Carballo, R., Fernández Díaz, J., Fuentes, A., García Ramos, J.M. y Guardia, S. (1997). Desarrollo
y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE, vol. 3, n. 1. Consultado en
http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm en 3-2-2012
Escudero, T. (1997). "Enfoques modélicos y estrategias en la evaluación de centros educativos". RELIEVE, vol. 3, n. 1. Con-
sultado en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_1.htm en 11-11-2012
Huberman, M. y Miles, M.B. (1994) “Métodos para el manejo y análisis de datos” en Norman Denzin & Yvonnas Lincoln
Eds., Handbook of Qualitative Research, Sage publications.
McMillan, J.H. y Schumacher, S. (2005) "Investigación educativa" Madrid: Pearson.
Navarro, L. (2007) "Aseguramiento de la calidad de la gestión escolar: ¿De qué estamos hablando?" en Revista Reflexión
pedagógica No. 31 Consultado en http://www.revistadocencia.cl/pdf/20100731211150.pdf en 5-5-2012
Sabirón, F. (2006). "Métodos de investigación etnográfica en ciencias sociales", Zaragoza: Mira editores.
Sevilla, M.A., Medrano,P. y Gaete, M. (2005) "Evaluación de directivos: marcha blanca" Educarchile, Mineduc
Suchman, E. A. (1967). Evaluative Research: Principles and Practice in Public Service and Social Action Programs. New York:
Russell Sage Foundation.
Tiana, A. (1996) “La evaluación de los sistemas educativos”, Revista Iberoamericana de Educación, nº 10, pp. 37-61
Unidad de Gestión y Mejoramiento Educativo División Educación General Mineduc (2005) "Sentidos y componentes
del sistema de aseguramiento de la calidad de la gestión escolar" Litografía Valente, Chile consultado en http://ww2.
educarchile.cl/UserFiles/P0001%5CFile%5CSentidos%20y%20componentes%20SACGE.pdf en 12/11/2013

9
Acciones nacionales y modelos locales
para la formación continua de los docentes
de educación básica: elementos
para la construcción de indicadores
13 de marzo de 2015
 Acciones nacionales y modelos locales
para la formación continua de los docentes
de educación básica: elementos
para la construcción de indicadores
Verónica Medrano Camacho
Doctora en educación. Dirección de Indicadores Educativos- DGIAI,
Instituto Nacional para la Evaluación de la Educación, México.
vmedrano@inee.edu.mx
Medardo Tapia Uribe
Doctor en educación. Centro Regional de Investigaciones Multidisciplinarias- UNAM, México
medardo@servidor.unam.mx

PALABRAS CLAVE: Formación continua, docentes, educación básica, indicadores.

EJE TEMÁTICO: 1 Modelos y políticas de evaluación de docentes y de directivos.

Resumen
Esta ponencia presenta los resultados de dos estudios referentes a los procesos de formación continua y supera-
ción profesional en los que participan los docentes de educación básica, realizados entre los años de 2012-2014,
como parte del trabajo para el mantenimiento y desarrollo del sistema de indicadores educativos del INEE. Ambas
investigaciones tienen como objetivo general la construcción de marcos normativos, teóricos y referenciales a
partir de los cuales se logren identificar aspectos clave y problemáticas que sirvan para la definición y diseño de
indicadores educativos, en temas con menor desarrollo, en este caso referente a la formación continua y supera-
ción profesional de los docentes.
Las investigaciones se llevaron a cabo en ocho entidades federativas, exploran las percepciones de los docentes
sobre la implementación de los servicios del Sistema Nacional de Formación Continua y Superación Profesional
y, el segundo, además, recupera los modelos de formación continua in situ desarrollados por los docentes en sus
escuelas, zonas escolares y estados.
Los hallazgos delinean temáticas de interés para el desarrollo de indicadores respecto a las características de
la oferta formativa, los dispositivos para su implementación, el perfil profesional de los formadores de docentes,
los recursos materiales disponibles, las temáticas de los cursos y, en general, el impacto de las actividades de for-
mación continua en la mejora de las prácticas de los docentes.

2
 INTRODUCCIÓN

Este documento integra los resultados de dos estudios articulados dentro de una línea de investigación sobre forma-
ción continua y superación profesional de docentes de educación básica, desarrollados entre 2012-2014, como parte
del programa de actividades de la Dirección de Indicadores Educativos (DIE) de la Dirección General para la Integración
y Análisis de Información (DGIAI), INEE. El objetivo general al que contribuyen es a la construcción de marcos teóricos,
referenciales y normativos sobre los procesos de formación continua y superación profesional de docentes, a través de
los cuales se identifiquen aspectos claves para su adecuado desarrollo e impacto. A través de estos marcos se logrará la
identificación de temáticas y el diseño de indicadores educativos para el seguimiento y evaluación de dichos procesos.
El primer estudio se llevó a cabo entre 2012-2013, contemplaba la revisión de las percepciones que los directores
y docentes tenían sobre los servicios del Sistema Nacional de Formación Continua y Superación Profesional (SFCSP) en
cinco estados; esto con el propósito de analizar la pertinencia de la oferta de actualización, capacitación y superación
profesional.
El segundo estudio, desarrollado durante el 2014, revisaba la forma en que los docentes y escuelas de manera local
—o in situ— solucionaban sus necesidades de formación continua y superación profesional. El propósito de la investiga-
ción era identificar prácticas de formación continua (FC) in situ en escuelas, zonas y entidades federativas; reconstruirlas
y sistematizarlas; y reconocer algunos criterios que podrían servir para la evaluación de dichas prácticas. El trabajo de
campo se realizó en cuatro entidades.
A continuación se presenta una síntesis de los hallazgos más importantes y los avances en la definición de temáticas
con el objetivo de integrar constructos referentes a la FC al sistema de indicadores.

HACIA LA CONSTRUCCIÓN DE INDICADORES

SOBRE FORMACIÓN CONTINUA

El desarrollo y mantenimiento del sistema de indicadores para apoyar la evaluación de la calidad de la educación, re-
quiere de la identificación de marcos normativos y la revisión y construcción de marcos teórico referenciales, para que
los indicadores que se diseñen permitan tanto dar cuenta de los procesos, como señalar aspectos claves y problemáticas
importantes (ver Morduchowicz, 2006 y Martínez et al, 2007). Una de las tareas de la DGIAI-INEE, es avanzar en el mejo-
ramiento del sistema de indicadores en las áreas con menor desarrollo, en este caso, las actividades de FC en las que par-
ticipan los docentes de educación básica, para lo cual se consideran las características de sus dispositivos, sus recursos
financieros, materiales y humanos, sus contenidos y el impacto de los procesos.
La FC aquí incluye la actualización, capacitación, profesionalización, capitalización de la experiencia, trabajo colegia-
do y demás procesos que contribuyen a la mejora de la práctica pedagógica. A través de la inducción al servicio docente,
el perfeccionamiento pedagógico, la atención a las necesidades derivadas de la práctica, el acompañamiento para el de-
sarrollo de innovaciones, la implementación de programas y reformas y la atención ante la carencia de formación inicial.
El diseño de la FC, de acuerdo con los autores revisados, debería considera algunos elementos fundamentales como
la etapa de la vida profesional de los docentes (ver cuadro 1), el tipo de estrategias según sea el objetivo perseguido
(cursos, talleres, trabajo colegiado, coaching) y su duración1, así como la atención a los ámbitos disciplinar (científico),
pedagógico, cultural y valoral. Es decir deben abarcar el dominio del qué —saberes y contenidos— y el cómo enseñar
—saber hacer: métodos y técnicas— resolviendo las necesidades de los docentes en el plano de la llamada racionalidad
instrumental, además de la reflexión sobre el carácter democrático, el diálogo crítico y la responsabilidad que implica la
labor pedagógica, a través del reconocimiento del otro, correspondiente a los dominios del saber ser y el saber convivir
(Yurén, Navia y Saenger, 2005: 22-24 y Martínez Martín, 2001: 23-29).

1
Por ejemplo, los cursos de inducción para docentes deberán desarrollarse durante los primeros dos a tres años de práctica, ser intensivos, alineados
al trabajo escolar cotidiano y al que los docentes realizan con sus estudiantes y deberán comprometer al docente con lo que implica el aprendizaje
activo de contenidos específicos que posteriormente van a enseñar (Darling-Hammond, et al., 2010).

3
 Cuadro 1  Etapas de la vida profesional docente

Consejo para la Educación

Fessler y
Vonk, 1989 Huberman, 1995 de Maestros en Servicio Day et al, 2006
Christensen, 1992
japonés, 1987
a) Fase pre a) Educación inicial Primera etapa: 0-3 años de trabajo fuerte
profesional a) S
 obrevivencia (preservice) De cero a cinco años de compromiso, ya saben lo
y descubrimiento experiencia / Programa que significa un desempeño
b) Fase de ingreso b) Inducción de iniciación y básico profesional eficaz
c) Fase de
Entre los 4-7 años se ingresa
crecimiento
Segunda etapa: en la fase en la
al interior
c) Edificación de De seis a 10 años de que los docentes construyen
de la profesión b) Estabilización
la competencia experiencia / Programa la identidad profesional
práctico de actualización y desarrollan la eficacia
d) Primera fase
en el aula
profesional
Entre los 8 a los 15 años
c) E
 xperimentación Tercera etapa: aparece una etapa en la que
e) Fase de y diversificación De 11 a 20 años surgen tensiones crecientes y
reorientación —inventario e d) Entusiasmo de experiencia /  transiciones en la cual algunos
de sí mismo interrogantes y crecimiento Programa sobre docentes ocupan cargos de
y de la profesión a mitad de problemáticas educativas responsabilidad y deben
la carrera— (perspectiva específica) tomar una serie de decisiones
acerca del futuro de su carrera
Cuando los docentes alcanzan
entre 16 y 23 años de vida
e) Frustración
f) Segunda fase d) Serenidad — profesional, se inicia una fase
profesional conservadurismo— en la que surgen problemas
f) Estabilidad
tanto en la motivación como
Cuarta etapa: en el compromiso
21 años de servicio en
A los 24 - 30 años de actividad,
adelante / programa sobre
surgen mayores desafíos
g) Etapa problemas educativos
para mantener la motivación
preparatoria (perspectiva global)
g) Fase de Con 31 o más años de
e) Retiro al retiro y
declinamiento actividad, la motivación
h) Retiro desciende notoriamente
debido a la proximidad del
retiro y jubilación

Fuente: Elaboración propia a partir de López Tinajero, N. (1999) y Day et al. (2006).

La información con la que se cuenta actualmente, corresponde a estadísticos descriptivos que permiten realizar al-
gunas inferencias sin lograr concretar problemáticas importantes. Los resultados de Talis 2013 muestran que docentes
de primaria y secundaria tienen altos porcentajes de participación en actividades de FC: al menos nueve de cada diez
docentes señalaron haber participado en alguna actividad, 96.9% de los de primaria y 96.1% de los de secundaria. Este
porcentaje no presenta variaciones según sus años de experiencia, situación laboral, horas de trabajo a la semana, ni el
tamaño de la localidad donde se ubica la escuela, en todos los casos 95% o más (Backhoff y Pérez-Morán, 2015).
Los tipos de actividades a las que más asisten los docentes (Talis 2013) fueron: cursos y talleres (90.9% de primaria
y 90.7% de secundaria); programas de estudio que otorgan algún reconocimiento, como diplomados o especialidades
(55.1% de primaria y 43.4% de secundaria) y la investigación individual o en colaboración (50.9% y 49.7%, respecti-
vamente). Lo anterior es parecido con los datos del Catálogo Nacional de Formación Continua y Superación Profesional
(2011-2012): de los 1 115 programas formativos, 505 eran cursos, 357 diplomados, 51 especialidades y, el resto, posgra-
dos (SEP, 2012: 31).
En cuanto a las temáticas de las actividades destacan: “el conocimiento del plan y programas de estudios” (94.1% en
primaria y 90.2% en secundaria), las competencias didácticas para la enseñanza de los contenidos (90.8% en primaria
y 89.4% en secundaria) y su conocimiento y comprensión (91.7 y 89% respectivamente) (Talis 2013, Backhoff y Pé-
rez-Morán, 2015). En el informe 2011-2012 de la SEP destacaban tres programas: el de Pensamiento Lógico Matemático

4
 y Aplicación a la Ciencia de la Vida, el Curso Básico “Transformación de la Práctica Docente” y la profesionalización en
función de la Reforma Integral de la Educación Básica (SEP, 2012: 29-30).
Estos ejemplos muestran cómo las estadísticas permiten describir la estructura del sistema y su relación con la parti-
cipación de los docentes, pero no permiten focalizar problemáticas de pertinencia, eficacia, suficiencia, equidad y calidad
de los procesos. Para avanzar en ello, los estudios exploran las diferencias estatales en la implementación de dichos ser-
vicios logrando avanzar en su caracterización y analizando los esfuerzos locales para suplir las necesidades.

Acciones nacionales de formación continua y superación profesional

Entre 2011-2013 la DIE-INEE desarrolló el estudio sobre La formación continua y el desarrollo profesional de los docentes
de educación secundaria: una propuesta de indicadores para su seguimiento 2 el cual revisaba la implementación estatal de
los servicios del SFCSP. En este marco se entrevistó a directores o sus representantes de 54 secundarias (Tabla 1).

Tabla 1. E
 ntrevistas realizadas a los directores de educación secundaria por entidad federativa
y tipo de servicio (2012)

Entidad Tipo de servicio

Municipios Total
federativa General Técnica Telesecundaria
Zapopan, Zapotlanejo, Tlaquepaque,
Jalisco 9 4 3 16
Tonalá y Guadalajara
Morelos1 Cuernavaca, Tlayacapan y Ayala 1 1 1 3
Puebla Puebla 0 2 0 2
Querétaro, San Juan del Río, Cadereyta
Querétaro 3 5 3 11
de Montes y Peñamiller
Vetagrande, Trancoso, Guadalupe,
Zacatecas Villanueva, Villa de Cos, Calera, Fresnillo 6 5 11 22
y Zacatecas
Subtotales 21 19 17 18 54

También se entrevistó a un Apoyo Técnico Pedagógico de un Centro de Maestros.

Los resultados mostraron diversas problemáticas de implementación del SFCSP en cuanto a la suficiencia, pertinencia
y calidad de los recursos humanos y materiales; contenidos, horarios y calendarización de las actividades; así como de
los efectos adversos de la articulación de los cursos con estímulos de escalafón o carrera magisterial, que incrementaba la
participación de los maestros en cursos sin considerar su pertinencia. Se encontró que no existía consenso sobre la rele-
vancia de los cursos, colocándolos como actividades a lo más interesantes, de los que algo aprendieron o con los que cum-
plieron una actividad obligatoria. Sólo en dos entidades mencionaron cursos que habían respondido a sus necesidades:
el Programa Nacional de Pensamiento Lógico Matemático y Aplicación a la Ciencia de la Vida, diseñado por el Cinvestav-
IPN —de acceso limitado— y el de trabajo con tutorías de la Estrategia Integral para la Mejora del Logro Educativo 3. En el
trabajo de campo se identificó que algunas de las escuelas desarrollaban sus propias actividades de FC:

Este año por primera vez hicimos una capacitación a los maestros en cuestión de la tecnología de la información
en la comunicación. La hicimos de acuerdo a sus horarios, en los tiempos libres, y de acuerdo al nivel de conocimiento…
Se trabaja con todos los maestros del matutino y turno vespertino [88 profesores]. Por ponerte un ejemplo, tenemos un

Coordinado por Benilde García, de la Facultad de Psicología-UNAM y el equipo DIE-INEE: Héctor Robles, Verónica Medrano y Laura Zendejas.
2

El trabajo por tutorías supone que el interés y la necesidad de compartir saberes genera dinámicas en las que los docentes, estudiantes y supervisores
3

se involucran para seguir avanzando concentrándose en “aprender lo que uno sabe y al otro le interesa” (Cámara, 2010: 127).

5
 grupo en la academia de español que está manejando cómputo básico. Es una academia que tiene un nivel elemental
en cuestión de un manejo de cómputo. El área de ciencias, es una área muy avanzada, son gente muy joven, y ellos
están trabajando directamente con el programa de HDT (Habilidades Digitales para Todos). Entonces estamos
empalmando los conocimientos o los programas que maneja el HDT, en relación a ciencias con ellos.
¿Cómo lo hacemos? Los maestros del área de cómputo en servicios educativos o salas de medios tienen la obligación
de capacitar a los maestros una vez a la semana en módulos de 50 minutos o dos de 50 minutos, con [profesores
de] ciencias y español. Hay otro grupo que entran de chile con huevo por el horario, pero están hablando de cómo
manejar el Internet o utilizar esas herramientas, blogs o Wikipedia y todos esos programas que les auxilian a ellos…
[A los profesores de] talleres se les está dando una capacitación en AutoCad para que puedan manejar el dibujo
técnico de manera gráfica con el equipo de cómputo. Así están los compañeros en este proceso, aunque ha sido
un poquito complicado porque muchos ni siquiera sabían prender una computadora, pero podemos decir que al final
del ciclo escolar se ha avanzado mucho (Director, Secundaria Técnica, Puebla, 18/05/2012).

La continuidad a la línea de investigación en 2014 incluyó un estudio dedicado a entender cómo los docentes genera-
ban sus propios procesos de FC, sus alcances y resultados.

Modelos locales de formación continua y superación profesional

El estudio para La identificación de modelos de formación continua de maestros en servicio, de educación primaria y de
criterios e indicadores para su evaluación se desarrolló en 20144 a solicitud de la DGIAI-INEE. Para su desarrollo se reali-
zaron 87 entrevistas (Tablas 2 y 3).

Tabla 2  Entrevistas realizadas (2014)

Estados Municipio/ Institución Entrevistas

Ensenada 1
Mexicali 19*
Baja California Tecate 1
Tijuana 18*
Secretaría de Educación de Guanajuato 4
Guanajuato Irapuato 5
Pénjamo 3*
Tetela del Volcán 8
Cuautla 11

Morelos Ayala 7
Instituto de la Educación Básica del Edo. de Morelos 2
Sanctórum de Lázaro Cárdenas 6
Tlaxcala
Secretaría de Educación Pública del Estado 2
TOTAL 87

*Incluye a los integrantes de grupos de enfoque en Baja California y la comunidad de aprendizaje en Guanajuato.

Desarrollado por Medardo Tapia, investigador del CRIM-UNAM.

4

6
 Tabla 3  Cargo de los entrevistados

Cargo Entrevistas
Funcionarios 16
Docentes 37
Supervisores 21
Directores 13
Total 87

A través del estudio se ofrece la descripción de los procesos mediante los cuales se construyen las opciones de FC in
situ a nivel de escuela, zona y entidad.
Los especialistas han señalado las ventajas de la formación in situ, o como se le conoce más, centrada en la escuela.
Entre las ventajas se señalan: mayor transferencia de lo aprendido en la práctica, el protagonismo de los docentes para su
propio desarrollo profesional, mayor compromiso, mayor pertinencia, se incrementa la posibilidad de innovar y mejorar
en la práctica, se capitaliza la experiencia profesional. Entre las desventajas se encuentran dos importantes: el programa
de formación puede quedar restringido al nivel de una sola escuela y las urgencias de la tarea escolar cotidiana se impo-
nen y dejan de lado los espacios de reflexión planificados (Vezub, 2010).
Las antecedentes de estos modelos in situ, a decir de los entrevistados, parten del reconocimiento a la variedad de
contextos de las escuelas que implica distintos problemas y necesidades; la capitalización de la experiencia y trayectoria
de los supervisores, ATP y docentes que, como participantes e instructores de cursos, encontraron temáticas repetitivas,
teóricas, sin relación con la práctica, a cargo de instructores sin capacitación o seleccionados entre los participantes de
los cursos; también señalaron la debilidad del seguimiento de docentes a cargo de los Centros de Maestros con asesores
sin formación ni instrumentos adecuados; la ineficacia de las reuniones sin productos, el acompañamiento en línea o
seguimiento desde la lejanía; además de la evaluación sin transparencia, ni entrega de resultados, ni retroalimentación
de aciertos y errores.
Desde las oficinas regionales o direcciones educativas, también se encontró que los reportes de acciones de FC no
correspondían con lo que realmente se realizaba en las zonas y en las escuelas; además del peso de la “dictadura de las
prácticas”, es decir, de resolver las necesidades inmediatas que no permiten la profesionalización.
En general, se encontró que las acciones de FC construidas in situ a partir de la insatisfacción ante los cursos ofreci-
dos normativamente parten de iniciativas de docentes, directores, supervisores, jefes de sector o autoridades estatales,
y tienen mucho tiempo funcionando así. Cuando surgen de la iniciativa de los profesores frente a grupo, inicia con un
diagnóstico que permite la identificación de los problemas; sigue con la búsqueda del apoyo de un especialista o la in-
vestigación sobre el tema. El problema se comparte con el colectivo; se trabaja en la construcción de estrategias para su
atención y se aplican. Todo fuera del horario escolar. El colegiado trabaja el tiempo necesario —un mes, dos meses, todo
el ciclo escolar— dependiendo de la situación, hasta su evaluación en el aula, escuela y colegiado que dé cuenta que se ha
resuelto el problema. Entonces se hace un receso del colegiado, hasta que surge un nuevo problema y reinicia el proceso.
Es muy frecuente que el director escolar encabece el proceso de FC in situ, pero también surge del liderazgo de algún
docente, excepcionalmente de un supervisor o ATP de los Centros de Maestros. Es muy importante destacar que estos
procesos son de colegiados, como el Consejo Técnico de la Escuela; este espacio puede utilizarse, capitalizando su ca-
rácter institucional, incrementando la frecuencia de las reuniones y extendiendo el horario. Los participantes pueden
agruparse en equipos, por grado, por asignatura, conformando círculos de estudio; también, aprovechando alguna estra-
tegia nacional normativa, como los horarios y actividades de Escuelas de Tiempo Completo o la Ruta de Mejora Escolar.
Aunque la iniciativa y la pertinencia del proceso de “diagnóstico”, estrategia de FC y su evaluación son construcción de
los docentes in situ.
En la investigación, se propuso identificar y reconstruir estos “modelos” in situ a nivel de supervisión escolar, para
revisar más que esfuerzos excepcionales a nivel de aula y escuela. Cuando la supervisión se involucra, da seguimiento a
través de visitas y revisando los avances, con el propósito de identificar las necesidades desde las propias escuelas. La

7
 iniciativa de involucrar a la supervisión puede venir de los directores y docentes de varias escuelas donde se presentan
problemas similares, pero es frecuente que provengan de supervisores o ATP excepcionales. En este caso se buscan espa-
cios y recursos humanos para llevar a cabo los procesos de formación a nivel de zona escolar.
El gran valor de estas prácticas que se constituyen como modelos de FC in situ es que responden con pertinencia y
especificidad a necesidades de los estudiantes y docentes, aspectos que los programas nacionales, por más diversos que
parezcan, no pueden responder. Por eso fue que los problemas identificados por los informantes fueron muy diversos
en las cuatro entidades: estudiantes con discapacidad o con necesidades educativas especiales, problemas de atención y
aprendizaje, bajos resultados académicos y con problemas socioeconómicos. Los productos elaborados son: estrategias
de atención diferenciada, cuadernillos de trabajo y diversos materiales de alta calidad; así como la obtención de recursos.
Cuando la FC se desarrolla por iniciativa de la supervisión y jefatura de sector (considerada como nivel estatal), inicia
también con el diagnóstico, identificación de problemas, trabajo colegiado, clarificación de objetivos, desarrollo de es-
trategias y aplicación. Pero en este caso los problemas pueden ser: identificación de docentes nuevos que no saben leer;
profesores que confunden las metodologías de trabajo; o bien, los supervisores descubrieron que necesitaban dar una
intensa FC a sus cuadros de ATP e instructores de Centros de Maestros —porque como lo han señalado los docentes por
muchos años—, no están preparados para impartir los cursos y para asesorarlos. Todos los trabajos descritos no tienen
valor escalafonario ni en Carrera Magisterial.
Estos esfuerzos exitosos de FC in situ necesitan ser “validados” o “certificados” para los diversos requerimientos
normativos; también para que les apoyen con recursos necesarios, algunos de ellos externos. ¿Cómo podrían diseñarse
evaluaciones nacionales realizadas en escuela y zona escolar, como las realizadas colegiadamente in situ, de diagnóstico
y de impacto o mejora?

CONCLUSIONES

Se destacan sólo cuatro aspectos claves de los hallazgos: 5

»» Las opciones de desarrollo profesional existentes normativas no consideran en la mayoría de los casos las caracte-
rísticas profesionales y laborales de los docentes (edad, antigüedad, especialidad; características y problemas de
alumnos y escuelas: rural, urbano, indígena, migrante; tipo de contratación, horarios).
»» Los formadores de docentes no están capacitados, no tienen un perfil deseable para su labor, y en gran medida no
forman parte de la estructura de las instituciones encargadas de la FC, pueden no recibir incentivos ni monetarios
ni de apoyo en sus labores frente a grupo cuando son maestros invitados como capacitadores.
»» Los contenidos de los cursos, talleres o diplomados nacionales responden a prioridades limitadas, generalmente
ligadas a las reformas educativas. Los contenidos se aprecian como lejanos, teóricos y sin relación con la práctica,
con falta de pertinencia y especificidad a la compleja heterogeneidad de problemas y necesidades de aulas, escuelas
y regiones. Pocos programas son diseñados para la atención de problemáticas, como la enseñanza de las matemá-
ticas o la estrategia de tutoría.
»» La infraestructura y servicios de las instituciones encargadas de la FC son insuficientes e inadecuadas. Los recursos
no siempre alcanzan para la distribución de materiales entre todos los docentes.

A partir de estos hallazgos, algunas preguntas y temáticas para el desarrollo de indicadores son:

¿Cuenta el sistema educativo con formadores de docentes capacitados para impartir actividades de FC?
»» Perfil profesional de los formadores habilitados para impartir actividades de FC.

Los reportes de los estudios contienen una definición mayor de elementos claves para el desarrollo de indicadores; sobre ellos se preparan materiales
5

para su publicación en 2015.

8
 ¿Cuántas escuelas requieren mayor apoyo para la FC de sus docentes? ¿Cuántos docentes tienen las características
más favorables para involucrarse en modelos de formación innovadores?
»» Número de escuelas públicas que agrupan todas las características de vulnerabilidad
»» Perfil de los docentes que reúnen las condiciones para contribuir al desarrollo de modelos de FC centrados en
la escuela.

¿Son suficientes los recursos humanos, materiales y financieros de que dispone el SEN para la FC?
»» Características de los centros de maestros
»» Perfil profesional del personal adscrito a los centros de maestros

¿Cuántos docentes obtienen resultados satisfactorios en las evaluaciones sobre los contenidos de las actividades de FC?
»» Porcentaje de docentes según nivel de desempeño en el dominio de los contenidos de las actividades de FC.

BIBLIOGRAFÍA

Backhoff y Pérez-Morán (Coords.) (2015). Segundo Estudio Internacional sobre la Enseñanza y el Aprendizaje (Talis 2013).
Resultados de México. México: SEP-INEE.
Cámara Cervera, Gabriel (2010). Un cambio sustentable. La comunidad de aprendizaje en grupos de maestros y alumnos
de educación básica. Perfiles educativos, vol. XXXII, No. 130. IISUE-UNAM, pp. 122-135.
Day, Christopher; Stobart, Gordon; Sammons, Pam; Kington, Alison; Gu, Qing; Smees, Rebecca and Mujtaba, Tamjid (2006).
Variations in Teachers’ Work, Lives and Effectiveness. Research Report RR743, Department for Education and Skills.
Darling- Hammond, L, Chung Wei, R., Adamson, F. (2010). Professional Development in the United States. Trends and
Challenges. Phase II a Three-Phase Study. National Staff Development Council and the Stanford Center for Opportuni-
ty Policy in Education as part of their multi-year study, The Status of Professional Development in the United States.
López Tinajero, Natividad (1999). Los centros de maestros en Japón. Una alternativa para asegurar la actualización per-
manente de los docentes. Revista Latinoamericana de Estudios Educativos, Año/Vol. XXIX, primer trimestre, No. 001.
Pp. 93-116.
Martínez Martín, M. (2001). El contrato moral del profesorado. México: SEP, 1era reimpresión.
Martínez, F.; H, Robles; J. M. Hernández; L. Zendejas y M. Pérez (2007). Propuesta y experiencias para desarrollar un sis-
tema nacional de indicadores educativos. México, D.F., INEE.
Morduchowicz, A. (2006). Los indicadores educativos y las dimensiones que los integran. Buenos Aires, IIPE-UNESCO. Recu-
perado el 13 de febrero de 2014 de http://www.iipe-buenosaires.org.ar/_pdf/documentos/indicadores_educativos.pdf
SEP (2012). Sexto informe de labores. Secretaría de Educación Pública. México: Autor.
Vezub (2010). El desarrollo profesional docente centrado en la escuela. Concepciones, políticas y experiencias. UNESCO,
International Institute for Educational Planning.
Yurén, María Teresa; Cecilia Navia y Cony Saenger (coords.) (2005). Ethos y autoformación del docente. Análisis de dispo-
sitivos de formación de profesores. Barcelona: Pomares.

9
Nociones que privilegian los instrumentos
utilizados para la evaluación de
la docencia universitaria por los estudiantes:
aportes para transformarlos
en fuentes adecuadas de información
13 de marzo de 2015
 Nociones que privilegian los instrumentos
utilizados para la evaluación de
la docencia universitaria por los estudiantes:
aportes para transformarlos
en fuentes adecuadas de información

Juan Vicente Ortiz Franco

Director del Centro de Evaluación de la Fundación Universitaria Los Libertadores
Colombia
Calle 147C No. 98-15 Bogotá-Colombia, Tel. 7530974
misjuanes2000@yahoo.es

PALABRAS CLAVE. Evaluación, Docencia, Evaluación de la Docencia, Instrumentos, Concepciones.

Resumen
Uno de los soportes que involucra la concepción y práctica de la evaluación en el ámbito de la educación, es la tarea
de selección, recogida, procesamiento, análisis y socialización de información válida, confiable y oportuna, orien-
tada a contribuir con la transformación y mejoramiento del desempeño docente; ello requiere la construcción de
instrumentos concordantes con las concepciones de docencia y evaluación planteadas en proyectos educativos.
Sin embargo, en el contexto universitario colombiano, se estructuran descontextualizadas e improvisadas, afec-
tando la toma de decisiones y el mejoramiento de las prácticas docentes.
Esta investigación indaga sobre los atributos incluidos en 13 instrumentos utilizados para evaluar el desempeño
de profesores en igual número de universidades, identificando competencias que se privilegian, nociones de docen-
cia y correspondencia con los presupuestos teóricos que soportan los proyectos evaluativos de las universidades.
En los instrumentos, se identifican referentes teóricos de docencia, evaluación, nociones, atributos e intencio-
nalidades. Los resultados fueron procesados con tablas de frecuencia, dispersión y comparaciones con prueba chi
cuadrado; posteriormente, mediante un enfoque analítico, crítico, contrastativo, se identifica el nivel de coheren-
cia con propuestas actuales para una docencia renovada, expuesto en el espacio europeo de la educación superior,
las nociones de competencias de Perrenoud, P. (2004) y Zabalza, M. (2003), Tobón, S. (2008). Se encontró en los
resultados, que concepciones de docencia y evaluación de docencia difieren entre instituciones, no están contex-
tualizadas en proyectos educativos, faltan derroteros sobre atributos para evaluar la docencia, coherencia entre lo
plasmado en instrumentos y concepciones de buena docencia. La evaluación tiene carácter sancionatorio.

2
 INTRODUCCIÓN

La evaluación de la docencia universitaria en Colombia es una práctica impulsada en los últimos veinte años por las exi-
gencias de la Ley 30 de 1992, de Educación Superior; el Decreto 1295 de 2010 sobre condiciones básicas de calidad de
las universidades y lineamientos para la acreditación de programas del Consejo Nacional de Acreditación y supeditada
a exigencias de organismos de control y vigilancia del estado propuestos desde la Constitución de 1991, distante de
ser práctica propia, autónoma, concordante con el sentido de reflexión y construcción propias de la universidad. Esta
carencia repercute en la estructuración de proyectos evaluativos y en la construcción de sus instrumentos con visión
de transformación pedagógica, coherentes con lineamientos misionales de las universidades que dificultan acciones de
mejoramiento. Profundizar en prácticas de evaluación de la docencia, indagar sobre qué marcos de discusión teórica se
llevan a cabo, la manera como se entiende la evaluación, intencionalidades, y cómo responden los instrumentos utilizados
en la recolección de información desde estudiantes, es un ejercicio requerido por los proyectos universitarios y tenden-
cias de docencia contemporánea.
La evaluación como práctica permanente, según Gimeno, J. (1996:334), es una actividad en la cultura institucional,
que se desarrolla siguiendo prácticas con múltiples funciones; se apoya en ideas y maneras de realizarla y se enmarca en
usos e intencionalidades. Roa Varelo, A. (2004:4), afirma que una cultura evaluativa en el interior de las instituciones, faci-
lita asumirla y legitimarla por cada integrante de la comunidad universitaria, como mediación útil para la administración
y realización de procesos académicos y administrativos. Así, considerarla como una organización que aprende, conlleva,
según Gairín, J., en su artículo Cambio de cultura y organizaciones que aprenden de la Revista Educar No. 27 (2000:37),
entenderla como: “aquella que facilita el aprendizaje de todos sus miembros y continuamente se transforma a sí misma”;
el aprendizaje es la base fundamental de la organización; el desarrollo institucional se fundamenta en la persona y en su
capacidad para incorporar experiencias y potencialidades.
La indagación se concentra sobre 13 instrumentos suministrados por las instituciones, para recoger la evaluación
desde estudiantes sobre desempeño docente, fundamentando que los instrumentos reflejan la identidad pedagógica,
tanto en la forma en que están planteados, como en rasgos del profesor, que se asocian con el buen desempeño. Investi-
gaciones realizadas por Medley y referenciadas por García Garduño, J.M. (2008:40, 48 compilado por Rueda Beltrán, M.),
sobre el desarrollo de la investigación en el campo de la evaluación de la docencia, la relaciona en Estados Unidos, con
rasgos personales y habilidades en el desempeño del profesor y el uso a comienzos de 1980 de instrumentos centrados
en el dinamismo del profesor, preparación del tema, criterios de evaluación, puntualidad y asistencia, respeto a los alum-
nos, dominio de la materia, motivación general al estudiante y cumplimiento del programa.
Luna y Torquemada en su artículo Evaluación de la Docencia Universitaria (2008:75 compilado por Rueda Beltrán, M),
identifican el modelo de enseñanza que evidencian los cuestionarios y las intencionalidades plasmadas en ellos. Las
autoras muestran resultados sobre análisis de instrumentos a partir de la opinión de docentes y estudiantes, así como
la efectividad de medirla, es uno de los campos que ha tenido amplia dinámica investigativa en la educación superior.
Plantean que la mayor controversia tiene que ver con la manera como se jerarquizan las dimensiones de la evaluación
de la docencia y el modelo pedagógico presente en los instrumentos. García Garduño, J.M. (2000:46 compiladores Rueda
Beltrán, M. y Díaz Barriga, F), en su artículo “Las dimensiones de la efectividad docente, validez y confiabilidad de los
cuestionarios de evaluación de la docencia”, encontró que cuando se evalúa su efectividad, el mayor peso se confiere al
aprendizaje logrado en el curso; observó coincidencias al momento de diseñar el instrumento, sobre atributos de docen-
cia, a saber: claridad del profesor, planeación y organización del curso, logro de objetivos y beneficios en el aprendizaje.
No se encontró relevante en los instrumentos sobre dificultad del curso, uso de ayudas didácticas, frecuencia y calidad de
la retroalimentación. Murillo Torrecillas, J. (2007:103), resalta ocho procedimientos para la obtención de información en
la evaluación externa de los desempeños de los profesores: observaciones de aula, cuestionarios y entrevistas a docentes,
informes de dirección del centro, cuestionarios dirigidos a estudiantes, pruebas estandarizadas, portafolio del profesor,
pruebas de rendimiento a los alumnos y procedimientos de autoevaluación.
Los hallazgos muestran variabilidad de características que se pueden incorporar en instrumentos, concordantes con
intencionalidades de la evaluación y soportes sobre desempeños docentes, privilegiados en el modelo de evaluación de
las instituciones.

3
 Para identificar nociones destacadas en los instrumentos, se aplicó al análisis un enfoque Cualitativo, Analítico y Crí-
tico, involucrando tres estrategias: primera; análisis casuístico intrainstitucional, describe características y componentes
de los instrumentos utilizados en cada universidad; semejanzas y diferencias entre atributos, nociones y prácticas de
evaluación expresadas por 517 estudiantes y 217 profesores, propuestas observadas por autoridades universitarias en
documentos oficiales; segunda, contrastación de resultados entre instituciones, denominada casuístico interuniversitario
y tercera, tratamiento crítico valorativo, para observar coherencias entre prácticas institucionales de evaluación, incor-
poradas en instrumentos y demandas actuales. Como resultado, se proponen alternativas orientadas a asumir la cons-
trucción técnica de instrumentos, para transformarlos en estrategias de mejoramiento de la docencia. Díaz Barriga, A.
(2013:157) afirma: “se trata de avanzar en la medición, más allá de ser referente único y sostén del discurso relacionado
con la evaluación, hacia un recurso y una fase que sirve de soporte al análisis de la información sistematizada”.

DESARROLLO

1. Referentes Metodológicos

El universo para el levantamiento de la información, estuvo conformado por 17 universidades, 13 de ellas facilitaron
instrumentos utilizados para evaluar desempeños docentes por estudiantes; la información oficial de las instituciones
acerca de los sustentos epistémicos en las cuales respaldan sus prácticas de evaluación de la docencia y cómo las reflejan
en las políticas y acciones en el campo, fue compilada por 15 autoridades universitarias que corresponden a los Vicerrec-
tores Académicos o pares con igual función.

2. Procedimiento Estadístico

Características y dimensiones fueron analizadas mediante procedimiento descriptivo, obteniendo tablas de frecuencia
para variables de tipo categórico y medidas descriptivas: tendencia central, dispersión y forma para variables de tipo
cuantitativo. Se realizaron análisis comparando prácticas, concepciones y percepciones según el tipo de universidad,
género, tamaño de la institución, ubicación, programa y participantes. Estas comparaciones se llevaron a cabo mediante
la prueba chi cuadrado, a partir de la respuesta a atributos de estudiantes, profesores; expresados en documentos ins-
titucionales y en componentes de instrumentos utilizados para evaluar desempeños docentes. Se presentaron compa-
raciones estadísticamente significativas, las que registraron un nivel menor o igual a 0,05. Para el procesamiento de la
información se utilizó el paquete estadístico SPSS versión en 15.0.
Se adelantó comparación entre atributos de buena docencia, intencionalidades de la evaluación contenidos en docu-
mentos oficiales e instrumentos de evaluación. Para establecer el acuerdo entre tipos de respuesta dados en instrumen-
tos, se observó relación en lo expresado por diferentes actores, teniendo en cuenta el porcentaje de aciertos. Las cate-
gorías comunes de análisis, concentraron habilidades, aptitudes y otras características que debe tener un buen profesor
para ejercer la docencia.

3. Resultados

Las dimensiones que se indagan con mayor peso porcentual, corresponden a dominio de estrategias pedagógicas y didác-
ticas (46.1%) equivalente a 149 preguntas sobre dicho atributo, de 323 formuladas en 13 instituciones; en segundo lugar,
se enfatizan rasgos personales que deben tener los profesores (22.6%) y 73 preguntas sobre este atributo; como tercera
dimensión, dominio de la disciplina (12.7%) y 41 preguntas y en la categoría de otros rasgos, (8%), 19 características y
26 preguntas. Con reducido peso porcentual (0.9%), el manejo de nuevas tecnologías, poseer habilidades comunicativas,

4
 identidad del profesor con su institución (1.2%) con cuatro preguntas. Se confiere menor trascendencia al énfasis en va-
lores y principios éticos del profesor (3.4%), 11 preguntas, a la capacidad de compromiso y servicio (4%) y 13 preguntas.
Los atributos según subdimensiones, se agruparon en nueve categorías, la última corresponde a otros, con un total de
226. El mayor peso se observa en rasgos personales, en atributos que tienen que ver con relaciones amistosas y respetuo-
sas estudiantes y profesores, cumplimiento y puntualidad (4.86%). La segunda categoría, dominio de estrategias pedagó-
gicas y didácticas, evidencio el mayor número de preguntas en los instrumentos y corresponden con uso de metodologías
y didácticas adecuadas a los ritmos de aprendizaje (4.42%), al igual que brindar retroalimentación a la evaluación. En
esta misma, se encuentra el uso de estrategias evaluativas pertinentes y justas y la preparación, secuencia y entrega del
desarrollo temático, con nueve preguntas (3.98%). Se referencia en nueve preguntas (3.54%) el conocimiento y dominio
de la asignatura del profesor, que corresponde a la dimensión del dominio disciplinar, crear ambientes propicios para el
aprendizaje, incentivar la participación del estudiante en la construcción del conocimiento, buscar coherencia entre la
evaluación, propósitos y temas de aprendizaje y avanzar en el contenido de acuerdo con lo programado. Finalmente, en
siete preguntas de los cuestionarios, (3.10%), se incluye cumplir con la programación y entrega de evaluaciones, utilizar
recursos y experiencias disponibles para facilitar el desarrollo de los temas.
Se evidenció en los resultados, una mayor inclinación porque los instrumentos verifiquen, especialmente, el cumpli-
miento y puntualidad, conocimiento y dominio de la asignatura, uso de metodologías y didácticas adecuadas y especial-
mente acatamiento de normas institucionales para la entrega de evaluaciones.
En el conjunto de los instrumentos, se prefiere incluir preguntas relacionadas con las relaciones amistosas y respe-
tuosas, cumplimiento y puntualidad, dominio de la asignatura, uso de metodologías y didácticas adecuadas, brindar re-
troalimentación a la evaluación, uso de estrategias evaluativas pertinentes y justas, preparación, secuencia y desarrollo
temático, el avanzar en contenidos de acuerdo al programa, ser coherente entre fines de aprendizaje y mecanismos de
evaluación, incentivar la participación del estudiante y crear ambientes propicios para el aprendizaje. Sobre estos rasgos,
descansa el contenido de los instrumentos evidenciando que reviste un reducido interés indagar aspectos sobre identidad
institucional, el compromiso que se genere en el estudiante con la profesión, los valores y principios éticos del profesor,
las habilidades comunicativas que tenga para el desarrollo del proceso de enseñanza, ni el manejo de nuevas tecnologías.

CONCLUSIONES

1. No se evidencia cómo las prácticas evaluativas en las instituciones del estudio, respondan a posturas claras y defini-
das en documentos sobre lineamientos que guían el quehacer universitario; se encontró desarticulación entre prác-
ticas evaluativas, atributos privilegiados como de buena docencia en los instrumentos y las nociones de educación y
docencia; aparecen tímidamente aproximaciones a enunciados de lo entendido y asumido como buenas prácticas, en
objetivos planteados en el diseño de instrumentos de evaluación. Estos hallazgos muestran debilidades al estructurar
proyectos de evaluación del desempeño de la docencia, puesto que si no se identifica qué es docencia, cómo tiene
apropiado el concepto de evaluación y cuáles son los atributos que se asumen como de buena docencia, difícilmente
se pueden construir proyectos de evaluación e instrumentos confiables y coherentes con la postura que sobre educa-
ción tenga la institución. En este sentido, se requiere replantear la necesidad de innovar los modelos de evaluación,
para mejorar la docencia universitaria.
2. Se evidenció la ausencia en los instrumentos de las 13 universidades de preguntas que antecedan a los proyectos
evaluativos a saber: para qué se evalúa, qué se evalúa, quién debe adelantar la evaluación, cómo debe hacerse el pro-
ceso, en qué momento, quiénes son los usuarios de la evaluación, a través de qué medios se recoge la información. Sin
estos referentes, se muestra cómo la evaluación de la docencia adolece de los elementos técnicos, metodológicos y de
personal formado. Se evidenció el interés por respaldar decisiones de carácter sancionatorio, como la continuidad de
los profesores y menos por la efectividad de los procesos docentes desarrollados. Los instrumentos deben entender-
se como medios para la recolección de información y no como la esencia del proceso, requieren estar soportados en
las concepciones que sobre atributos docentes identifique la institución, como parte de un trabajo consensuado y

5
 construido por la comunidad universitaria y demostrar las concepciones que sobre atributos de buena docencia sean
reconocidos para plasmarlos en la construcción instrumental.
3. La diversidad en las maneras de entender la buena docencia desde profesores y estudiantes; las de autoridades uni-
versitarias, las explícitas en los instrumentos diseñados por las instituciones, concuerdan con los planteamientos de
autores referenciados, en el sentido de la complejidad que conlleva unificar criterios frente a las características de
un buen desempeño docente, sin que ello sea óbice para plantear rasgos fundamentales que debe reunir un buen
docente: manejo de estrategias pedagógicas, concordantes con las características de los estudiantes, rasgos perso-
nales compatibles con una relación respetuosa cálida entre docentes y estudiantes, que satisfaga las necesidades de
los aprendientes, dominio y actualidad del campo disciplinar que tiene bajo su responsabilidad, dominio y uso per-
tinente de las tecnologías de la información y comunicación como recurso para hacer aprehensible el conocimiento,
capacidad para atender necesidades diferenciadas de ritmos de aprendizaje, tener disponibilidad para reflexionar
sobre su práctica, participar en el desarrollo del proyecto de la institución, vincular a padres de familia en procesos
formativos, generar estrategias de evaluación continua y orientada a la mejora de los aprendizajes, entre otros. Se
ratifica lo expuesto por Pablo Vain frente a que la docencia universitaria es el resultado de múltiples entrecruzamien-
tos, implicando campos de tensión permanente acerca de la política el trabajo, la profesión, la enseñanza, experticia
y práctica. Igualmente el abordaje de las dimensiones de competencia de Phillipe Perrenoud, Miguel Zabalza, Javier
Loredo y Frida Díaz-Barriga.
4. Las preferencias por desarrollar prácticas evaluativas en aspectos administrativos y atributos referidos a tres di-
mensiones: dominio disciplinar, uso de estrategias pedagógicas y didácticas y atributos personales que faciliten rela-
ciones adecuadas con sus estudiantes, demuestran la necesidad de involucrar nuevas dimensiones que respondan a
tendencias internacionales, como las recogidas por Perrenoud, P. y su propuesta de diez núcleos de atributos que se
involucran a las tradicionales asignadas al profesor.
5. El carácter confesional de las instituciones, las tendencias ideológicas, el tipo de estudiante de acuerdo al programa
académico al que pertenece y la ubicación misma de la institución, inciden en el surgimiento de otras subdimensiones
que permiten identificar heterogeneidad en la presencia de atributos y en los cuales se privilegian condiciones parti-
culares de las instituciones, algunas de las cuales no tienen que ver explícitamente con desempeños, reafirmando la
postura de Tenti Fanfani, E. (2006 compilador), en el sentido de que la evaluación de la docencia debe responder al
desempeño integral concentrado en lo que es propio del oficio docente.
6. Los hallazgos muestran poca incidencia en acciones transformativas, orientadas al cambio, al apoyo y al acompaña-
miento del profesor que se esperaría produzcan estos ejercicios evaluativos. El concentrarlos sólo en acciones sancio-
natorias y en la participación exclusiva de estudiantes, limita la triangulación de información para la adecuada toma
de decisiones. Se requiere incluir otras fuentes, la autorreflexión de los profesores, la participación de las autoridades
académicas y de pares colaborativos docentes, entre tantas otras formas, para enriquecer la compleja tarea de evalua-
ción de la docencia universitaria.
7. La innovación en los procesos de evaluación de la docencia universitaria, requiere la construcción de nuevos modelos
que formen parte de la reflexión permanente de las instituciones y no se soporten solo en los requerimientos de la
acreditación, trazados por organismos gubernamentales y privados. Las intencionalidades y usos de los resultados,
deben concentrar el esfuerzo de las instituciones y orientar la evaluación a la implementación de acciones transfor-
mativas del proyecto universitario.

6
 REFERENCIAS BIBLIOGRÁFICAS

Díaz Barriga, A. (2013). Didáctica y Currículum. Paidós Educador. México.

Gairín, J. (2000). Cambio de Cultura y organizaciones que aprenden. Revista Educar No.27, p.31-85, Departamento de
Pedagogía Aplicada, Universidad Autónoma de Barcelona, España.
Gimeno Sacristán, J., Pérez Gómez, A. (1996). Comprender y transformar la enseñanza. Editorial Morata, España.
Loredo Enríquez, J. (2000). Evaluación de la Práctica Docente en Educación Superior, Universidad Anáhuac. Editorial
Porrúa, México.
Murillo Torrecilla, J. (2007). Evaluación del desempeño y carrera profesional docente. OREALC-UNESCO, estudio compa-
rado entre 50 países de América y Europa, 2° edición, Andros Impresores, Chile.
Perrenoud, P. (2004). Diez Nuevas Competencias para Enseñar. Editorial Grao, Barcelona, España.
Roa Várelo, A. (2004). Hacia un modelo de aseguramiento de la calidad en la educación superior en Colombia: estándares
básicos y acreditación de excelencia. http://www.cna.gov.co/1741/articles-186502_doc_academico8.pdf, noviembre 15,
2014.
Rueda Beltrán, M. (2008). Compilador. La evaluación de los profesores como recurso para mejorar su práctica. Instituto
de Investigaciones sobre la Universidad y la Educación, Universidad Autónoma de México. Editorial Plaza y Valdés,
México D.F.
Rueda, M. y Díaz Barriga, F. (2000). Compiladores. Evaluación de la Docencia: Perspectivas actuales. Editorial Paidós,
México.
Tenti Fanfani, E. (2006). Compilador “El Oficio de docente: Vocación, Trabajo y Profesión en el Siglo XXI”. Editorial Siglo
XXI, Buenos Aires-Argentina.
Tobón, S. (2008). Formación basada en competencias. 2° edición, Editorial Ecoe, Bogotá, Colombia.
Vain, P. (2004). La Evaluación de la Docencia Universitaria: Un problema complejo. Universidad Nacional de Misiones.
Buenos Aires, Argentina.
Zabalza, M.Á. (2003). Competencias docentes del profesorado universitario” Narcea Ediciones, Madrid España.

7
Factores contextuales del desempeño
docente, desde la perspectiva
de los evaluados
13 de marzo de 2015
 Factores contextuales del desempeño
docente, desde la perspectiva
de los evaluados
Dra. Claudia Navarro Corona
Doctora en Ciencias Educativas, Instituto Nacional para la Evaluación de la Educación, México
cnavarro@inee.edu.mx
Dra. Yolanda Edith Leyva Barajas
Doctora en Educación, Instituto Nacional para la Evaluación de la Educación, México
yleyva@inee.edu.mx
Mtra. Marina Fernanda González Nava
Maestra en Análisis Experimental de la Conducta, Instituto Nacional para la Evaluación de la Educación, México
mfgonzalez@inee.edu.mx

PALABRAS CLAVE: Contexto, Evaluación docente, México.

EJE TEMÁTICO: Modelos y políticas de evaluación de docentes y de directivos escolares (opinión y perspectivas
de los sujetos evaluados considerando contextos de diversidad sociocultural).

Resumen
En 2013 se aprobó en México la Ley General del Servicio Profesional Docente (LGSPD), en la que se establece
la evaluación del desempeño docente y se mandata la consideración del contexto, de acuerdo a distintos fines:
(1) la caracterización de las condiciones en las que la práctica docente se realiza, (2) la identificación de mar-
cos contextuales para las que se requieren competencias docentes específicas y (3) la consideración del contexto
para la comprensión de los resultados de la evaluación y (4) la incorporación del contexto, como derecho de los
evaluados, a los procesos de evaluación. El cumplimiento de estos fines requiere una definición del concepto y la
identificación de factores incidentes en la práctica.
A partir de la consulta en grupos focales a profesores de los niveles preescolar, primaria, secundaria y media
superior, el presente trabajo identifica los factores que desde la opinión de los evaluados, inciden en el desempeño
docente. Como resultado se identificaron factores que describen cuatro tipo de condiciones: del entorno, fami-
liares, institucionales y de los alumnos. Siguiendo la postura Austin (2000) para la comprensión del contexto de
Austin (2000), se presenta un modelo conceptual derivado de las aportaciones de los profesores participantes que
es útil como base para la definición del contexto del desempeño docente.

2
 INTRODUCCIÓN

En 2013 se aprobó en México la Ley General del Servicio Profesional Docente (LGSPD), misma que tiene por objeto: (I)
regular el Servicio Profesional Docente (SPD) en la educación básica y media superior (MS); (II) establecer los perfiles,
parámetros e indicadores; (III) regular los derechos y obligaciones derivados del SPD, y (IV) asegurar la transparencia y
rendición de cuentas en el SPD (DOF, 2013, Art. 2).
En concordancia con las recomendaciones de la OCDE (2010), la LGSPD establece la evaluación docente con propósi-
tos de ingreso, promoción, reconocimiento y permanencia de los profesores al SPD (DOF, 2013, Art. 7). Quienes desem-
peñen tareas docentes, de dirección o supervisión “deben reunir las cualidades personales y competencias profesionales
para que dentro de los distintos contextos sociales y culturales promuevan el máximo logro de aprendizaje de los edu-
candos…” (DOF, 2013, Art. 12).
La misma Ley establece que para alcanzar los propósitos, los perfiles establecidos deben permitir “identificar carac-
terísticas básicas de desempeño del personal del SPD en contextos sociales y culturales diversos, para lograr resultados
adecuados de aprendizaje y desarrollo de todos en un marco de inclusión” (DOF, 2013, Art. 14, III). Adicionalmente, las
consideraciones sobre el contexto en los procesos de evaluación, también representan un derecho de los sujetos evalua-
dos: la LGSPD estipula que quienes participen en el SPD tendrán como derecho que “durante el proceso de evaluación sea
considerado el contexto regional y sociocultural” (DOF, 2013, Art. 68, Fracc. VI).
En este tema y de manera particular, el Instituto Nacional para la Evaluación de la Educación (INEE) tiene la encomien-
da de “planear y supervisar la realización de evaluaciones del trabajo docente y directivo, que consideren la diversidad de
contextos socioeconómicos, culturales y escolares en los que éste ocurre…” (INEE, 2013a, art. 66, Fracc. I). Asimismo, las
Autoridades Educativas, en el ámbito de su competencia, deben “proponer al Instituto criterios de contextualización que
orienten el diseño y la interpretación de las evaluaciones” (INEE, 2013b, Art.15, Fracc.V).
En este marco normativo se vislumbra que el tema del contexto tiene distintos fines: (1) la caracterización de las con-
diciones en las que la práctica docente se realiza, (2) la identificación de marcos contextuales para las que se requieren
competencias docentes específicas, (3) la consideración del contexto para la comprensión de los resultados de la evalua-
ción y (4) la incorporación del contexto, como derecho de los evaluados, a los procesos de evaluación. El cumplimiento de
estos fines requiere una definición del concepto y la identificación de factores incidentes en la práctica.
La presente ponencia expone resultados parciales de los estudios desarrollados en la Dirección General de Evaluación
de Docentes y Directivos del INEE. El antecedente es la aplicación de una encuesta en línea durante junio y julio de 2014,
y la posterior validación de resultados mediante distintos grupos focales con profesores de diferentes niveles (preescolar,
primaria, secundaria y media superior) y tipos educativos (preescolar, primaria, secundaria y media superior), realizados
en nueve estados de la república: Nayarit, Yucatán, Sinaloa, Durango, Baja California, Puebla, Jalisco, Chiapas y Nuevo
León. En tales sesiones, los temas discutidos fueron el perfil docente y los instrumentos de evaluación; sin embargo, los
docentes también expresaron las dificultades que enfrentan en su desempeño docente. El objetivo del presente trabajo es
identificar los factores de contexto que, desde la perspectiva de los profesores, inciden en el desempeño docente.

DESARROLLO

El concepto de contexto

El contexto es considerado una línea de estudio de la investigación educativa sobre eficacia escolar, al igual que los resul-
tados escolares, el trabajo docente y directivo. Para Fernández (2004) y Fernández, Benegas y Blanco (2004) el concepto
representa las condiciones externas al objeto evaluado y que lo influyen. Desde una perspectiva sociológica, el contexto
refiere al entramado o tejido de significados provenientes del entorno (Austín, 2000). Dado que dicho entramado no es
inamovible y que la delimitación del concepto está en función del objeto de interés, su significado no es estático (Fernán-
dez y otros, 2004). El concepto tampoco es monolítico; se compone de distintas dimensiones o niveles (Fernández, 2014;
Fernández y otros, 2004; Canales, Leyva, Luna y Rueda, 2014; Jornet, González y Sánchez, 2014).

3
 Jornet y otros (2014), sostienen que existen dos niveles al considerar el contexto del desempeño docente. Uno es el
salón de clases, éste incluye al alumnado, la infraestructura y los materiales. Otro es el contexto institucional; incluye el
centro escolar y el sistema educativo. Adicionalmente refiere dos contextos sociales: el inmediato, que refiere el nivel so-
cioeconómico, la estructura social y de convivencia, y la estructura económica de las familias que componen la población
atendida por la escuela; y el mediato, que refiere las características poblacionales socioeconómicas y culturales del país
en general o de la región.
Canales y otros (2014), estructuran el contexto en tres niveles, que se circunscriben a las condiciones internas del
aparato educativo. El nivel micro incorpora los elementos y condiciones del aula que son inmediatos a la práctica y que
influyen directamente en el desempeño. El meso incluye los elementos institucionales que configuran las condiciones
de trabajo del docente, como son las normas que regulan la actividad docente, los programas en los que participan,
entre otros. Por último, el nivel macro integra las políticas nacionales e internacionales que orientan los propósitos de
la educación.

Método

De acuerdo con Austin (2000), estudiar el contexto en el que ocurre cualquier fenómeno de interés para la investigación,
implica dos niveles de comprensión. El primero, requiere de la definición de las condiciones que enmarcan el objeto es-
tudiado; esto es la identificación de elementos que integran el concepto. El segundo, es la medición en función de tales
elementos; este paso supone decisiones metodológicas que sólo proceden una vez que se haya delimitado la definición
del concepto. Así, para posibilitar la comprensión del contexto en la que se realiza el desempeño docente, se requiere la
definición del concepto. Con este fin se llevaron a cabo grupos focales en nueve estados de la república mexicana, del 25
de septiembre al 10 de octubre de 2014. Los participantes fueron contactados mediante las autoridades educativas es-
tatales. En cada entidad participante se integraron cuatro grupos focales, uno con cada nivel educativo desde preescolar
hasta media superior. Cada grupo se compuso por, al menos, diez docentes. Se procuró que al menos la mitad fueran muje-
res, que cinco tuvieran menos de tres años de experiencia y cinco, más de diez; que provinieran de distintas regiones de la
entidad y que al menos tres trabajaran en áreas rurales. En total, participaron 93 docentes de preescolar, 92 de primaria,
93 de secundaria y 84 de media superior. Todos los grupos fueron audio grabados y transcritos.

La discusión de los factores contextuales en los grupos focales se considera un tema emergente, ya que la discusión
estuvo basada en un guion que indagaba la percepción de los participantes sobre el perfil docente y sobre la pertinencia
de diversos instrumentos y técnicas de evaluación; 1 por tanto, la primera fase consistió en seleccionar las unidades
de análisis por núcleos de significado (Porta y Silva, 2003). En esta tarea participaron tres analistas.2 Siguiendo las
recomendaciones de Woods (2010), cada una revisó el corpus de un nivel educativo e identificó estructuras iniciales de
organización de la información. Luego, estas estructuras fueron revisadas y comparadas: Las estructuras contenían
temas nombrados con distintos significantes, pero, con el mismo significado. Esta regularidad permitió definir una
estructura general que guiara la selección de los fragmentos a analizar bajo un esquema que integrara cuatro tipo de
condiciones: locales, familiares (del alumno), institucionales y del alumno.

En la segunda fase las cuatro condiciones fueron tomadas como categorías. Se revisó el contenido de cada una y
se verificó que las unidades hubieran sido clasificadas adecuadamente. Posteriormente, se realizó una categorización
abierta. De acuerdo a los planteamientos de Mayring (2000), Strauss y Corbin (2002), se procuró que los códigos fueran
excluyentes y apegados a la información proporcionada por los participantes. Finalmente se realizó una codificación axial
en la que se identificaron relaciones entre las categorías o entre los códigos.

1
El tema del contexto fue tratado en mayor profundidad en la investigación realizada en la Dirección General de Directrices para la Mejora Educativa,
quienes organizaron grupos de discusión específicos para este fin.
2
Mtra. Leticia Pelcastre Villafuerte, Mtra. Susana Quinto Simón, Lic. Ariana Fragoza González.

4
 El contexto del desempeño docente

Los participantes concuerdan con Jornet y otros (2014) y Canales y otros (2014) en que la práctica docente es incidida
por factores contextuales de diferente naturaleza. Estos son de carácter interno y externo al sistema educativo y se en-
cuentran interrelacionados. Además, unos se configuran a partir de la presencia de otros: aquí se describen brevemente
y se ejemplifican a partir de las expresiones de los docentes.

Condiciones del entorno local

Las características socioculturales (28-menciones) son el factor mayormente referido. De acuerdo con los participan-
tes, “somos productos de una crianza…” (Jalisco-preescolar); por tanto, “todo lo que tengan los niños dentro del aula viene
de afuera” (Sinaloa-primaria).
Si bien, los componentes de este factor no son planteadas de forma específica, los profesores expresan que las cos-
tumbres, la ideología, las prácticas, la lengua y los códigos de comunicación de la comunidad deben ser consideradas por
incidir en el proceso de enseñanza. De acuerdo con los profesores “no es lo mismo trabajar en la ciudad que trabajar allá
[comunidad rural], no tienen las mismas ideas ni los mismos conceptos los niños, ni piensan igual” (Nayarit-primaria),
por lo que “si estás en una comunidad indígena ¿cómo te vas a comunicar?, o en un contexto marginal ¿conoces los códi-
gos de comunicación que hay ahí con los padres?…” (Durango-preescolar).
Las condiciones climáticas (8-menciones) son referidas como factor en estados con tener temperaturas extremas
o desastres climatológicos. Los docentes expresan que tales condiciones no suelen ser consideradas en los procesos de
evaluación, aun cuando en algunas regiones llegan a interferir en el desarrollo de las actividades escolares. “El calor…
(…) si se descompone el aire acondicionado o si se fue la luz, eso causa un imprevisto en mi clase que altera mi situación”
(Sinaloa-preescolar). “El huracán Manuel nos destruyó. Inundó nuestro jardín (…). Los papás no nos llevaban a los niños
porque la barda [está destruida]. Estamos a nivel de carretera, se nos metían animales y todo, y no nos llevaban a los niños
(Sinaloa-preescolar).

El día que fueron a aplicar el examen a los niños calló un tormentón horrible. De tener 45 a 50 niños, tuvimos 10
alumnos en un salón, 5 en otro. La [persona] que fue a aplicar el examen dijo: si no tienen 25 [alumnos] no hay
evaluación para el maestro (…) ¿Qué va a pasar con esos maestros [que no fueron evaluados]? (Jalisco-primaria).

Los servicios disponibles en la localidad y la distancia de otras comunidades (3-menciones), son referidos como
elementos que obstaculizan el desempeño docente. Sucesos específicos son narrados para ejemplificar:

Por ejemplo, en mi comunidad […], los maestros les dejan actividades en donde ellos [los estudiantes] pueden utilizar
las tecnologías de la información; pero tiene que dejárselas, no sé… 15 o 20 días antes para que ellos puedan hacerlas
(…). La lejanía de las comunidades… para llegar al municipio y hacer las actividades (…). Pierden toda la tarde o se van
a otro lado porque no hay transporte para que regresen a sus comunidades (Puebla-Ms).

Condiciones familiares del alumno

El apoyo y acompañamiento en casa a la educación de los hijos (22-menciones), se integran hábitos que promueven
el aprovechamiento, por ejemplo “la lectura… el hábito tiene que fortalecerse mucho por parte de los papás, pero si los
papás no leen, no saben leer, ¿qué interés pueden tener en que los hijos puedan leer junto con ellos?”(Sinaloa-secundaria)
y la falta de acompañamiento de los padres en el proceso educativo. Los profesores afirman que “nunca hay colaboración
con padres de familia, no hay un plan para (…) para que ese niño vaya avanzando (Nayarit-secundaria).
En la convivencia familiar (19-menciones) los docentes enfatizan las interacciones que los estudiantes mantienen
con otros miembros de la familia como un componente que afecta el logro de los estudiantes y que dificulta el desempeño

5
 docente: “No puedes evaluarme a mí cuando tú no sabes si ella [una alumna] tiene papá y mamá, si es de familia divorcia-
da. ¿Cómo me pides un estándar educativo en el salón si no conoces a mi grupo?” (Puebla-preescolar). “Ahora hay muchos
padres divorciados… llegó el papá, golpeó a la mamá y el niño viene psicológicamente no en buenas condiciones [sic],
tiene que estar consciente el maestro” (Sinaloa-primaria).
El factor estrato socioeconómico familiar (4-menciones) integran tanto la condición económica en sí misma, como
las actividades económicas a las que la familia se dedica:
Tenemos alumnos hijos de personas que se dedican a actividades ilícitas, otro también de campesinos, de vaqueros,
de agricultores o campesinos, y eso hace que el entorno del alumno no sea en las mismas condiciones que el que tiene qué
comer en su casa, que abre el refrigerador (Sinaloa-secundaria).

Condiciones institucionales

La escasez de recursos, materiales y condiciones del plantel (58-menciones) es referida por los docentes de todos los
niveles. Las malas condiciones de las instalaciones son referidas como el principal obstáculo para el desempeño docente
óptimo: “las condiciones de mi plantel no son las adecuadas para poder dar un servicio de calidad” (Nuevo León-MS),
refieren que “la SEP no te satisface [las necesidades] en el momento… a largo plazo… haces la gestión hoy y te llega en
tres años…” (Nayarit-preescolar). Ejemplifican que “cuando no es un tubo, se fue la luz, la subestación ya no sirve, mil
cosas…” (Sinaloa-preescolar). “En mi salón no hay clima, no hay aire, no hay nada, está muy caliente, ¡a los niños se les baja
la presión!” (Nuevo León-secundaria).
También se refiere la falta de recursos para el sostenimiento cotidiano, de mobiliario y de materiales para la enseñan-
za: “tampoco podemos obligar a un estudiante a ir sin sillas y sentarse en el piso…” (Nuevo León-MS). “Hay algo que ahora
está perjudicándonos muchísimo en secundarias: los recursos electrónicos con los que cuenta. Es un grave problema
(Durango-secundaria). “No tiene los mismos recursos y ni siquiera tiene un libro“(Nayarit-preescolar).
En el factor funcionamiento de la escuela y organización de los actores (17-menciones), los docentes expresan que
la calidad educativa no es un asunto individual de profesor “no nada más depende de mí la calidad educativa, depende
de todo un sistema educativo. Habría que ver (…) la organización en cuanto las cuestiones administrativas, la cuestión de
asignación de recursos…” (Sinaloa-preescolar).
Se enuncia la existencia de una estructura institucional incompleta: “no tenemos (…) psicólogos u otro tipo de per-
sonas. Ese trabajo nos corresponde a nosotros” (Jalisco-secundaria), “afecta a sus hijos la falta de intendente: baños
limpios agua limpia” (Nayarit-preescolar). “En las escuelas que no son completas, el profe se tiene que dividir en varias
actividades: como conserje, profesor, vigilante; es decir, no hay las condiciones idóneas para este profesor” (Baja Califor-
nia-preescolar).
Respecto a la organización los docentes exponen la asignación de responsabilidades, por ejemplo: “te piden las cues-
tiones administrativas y como maestra descuidas al grupo por estar atendiendo cosas administrativas, yo hablo por mí,
por mi grupo y por mi plantel…” (Sinaloa-preescolar); y la distribución de los estudiantes en los turnos que imprimen
características en los grupos, por ejemplo:

… a pesar de que son del mismo pueblo, a pesar de que son vecinos; como que los que se siente más reprimidos, los que
se sienten más pobres, los que se sienten menos protegidos son los alumnos que van en la tarde (Sinaloa-secundaria).

El factor, condiciones para la enseñanza (6-menciones), integra la poca adaptación de los contenidos programados
al contexto y el insuficiente tiempo para la clase. Los participantes refieren que en los programas “vienen prácticas dife-
rentes cosas en los materiales de los libros, (…) no hay en las comunidades donde nos encontramos” (Durango-secunda-
ria), o que:

Hay [programas] viejos, como mi escuela, que tiene más de 50 años, es una escuela técnica donde algunas
de las carreras dejaron de ser atractivas para el empresario, es una escuela federal alejada de lo que se vive
en Monterrey y quedaron obsoletas (Nuevo León-MS).

6
 Particularmente los docentes de media superior indicaron que “…los tiempos no nos permiten aplicar alternativas”
planeadas (Sinaloa-MS) ya que “en una hora de 50 minutos tener que tomar asistencia me reduce mi espacio de enseñanza.
Te preguntas ¿por qué tienes que hacerlo en un espacio de 50 minutos?” (Nuevo León-MS).
El factor condiciones laborales (13-menciones) apenas se esboza de forma incipiente. Si bien, el número de mencio-
nes es comparable con el de otros factores, integra una variedad mayor de componentes entre los que destacan el apoyo
del director, horario de trabajo saturado, que suelen convertirse en barreras para participar en la formación docente,
distintas políticas escolares (como la de no reprobar estudiantes) y la insuficiencia de los salarios e incentivos. Si bien,
en el análisis se trató como un tipo de condiciones, dado el número de menciones y para fines de este reporte, se integra
como uno de los factores institucionales.

Condiciones de los alumnos

El factor diversidad cultural en el aula (36-menciones), referida especialmente en secundaria, integra la lengua, las ne-
cesidades y competencias para el aprendizaje e identidad. Se encontró que “tenemos alumnos coras, huicholes y tepe-
huanos” (Nayarit-secundaria); hay “una influencia muy grande de los municipios vecinos que hablan lenguas maternas
y eso representa una gran dificultad para el maestro y para el alumno porque no se puede establecer una comunicación
efectiva” (Chiapas-secundaría). “Los usos, las costumbres, la propia identidad de nuestros alumnos que es sagrada para
ellos…” (Nayarit-secundaria). “Los alumnos tienen diferentes ritmos de aprendizaje, diferentes capacidades…” (Jalis-
co-secundaria).
El factor hábitos escolares (13-menciones) integra la [in]asistencia e [im]puntualidad, la poca disposición hacia la
experiencia de aprendizaje y la mala conducta y disciplina. A este respecto, los docentes dicen que “si el niño de 25 días
del mes asistió dos días, pues obviamente no va a tener los mismos aprendizajes” (Jalisco-preescolar). Los retardos “va
deteniendo [al maestro] en el avance de sus actividades y a los alumnos también, a los que sí asisten temprano también
los va limitando (Durango-primaria), que los estudiantes “simplemente no quieren trabajar (…), se negó a hacer la activi-
dad, no trabaja diario…” (Nuevo León-primaria). “Me mandaron cuatro niños, que son los peores de toda la escuela, han
golpeado a otros…” (Nuevo León-secundaria). “A mí me han tratado de amedrentar (…). Un muchacho me quiso golpear,
tuve que detenerle la mano” (Nuevo León-secundaria).
Los alumnos trabajadores y migrantes (10-menciones), puede asociarse a la ausencia de los estudiantes en clase.
Refieren “los niños se van a la pisca y dos meses no asisten a clase” (Jalisco-preescolar); “los alumnos trabajan y ni en un
tiempo ni en el otro van a la escuela” (Yucatán-secundaria); “es un lugar donde llegan muchas comunidades migrantes a
trabajar tanto en la pesca como en la agricultura” (Sinaloa-secundaria).
Las condiciones de salud y alimentación (9-menciones) se refieren como obstáculos para el logro de resultados:
“van al jardín sin desayunar no (…) asisten con toda la disposición para aprender” (Nayarit-preescolar); “hay unos que
ni comen” (Sinaloa-secundaria); “muchas veces los muchachos no llevan ni para una torta” (Nayarit-MS). “Tenemos un
niño enfermo y ¿qué hacemos con ese niño enfermo?, nos puede contaminar ahí todo el grupo, toda la escuela…” (Duran-
go-preescolar).

Modelo conceptual de contexto derivado de la perspectiva de los profesores

y los fines para los que se mandata la consideración del contexto

Los factores contextuales identificados en las aportaciones de los profesores, no son enunciados de manera aislada, sino
que los participantes establecen conexiones entre los diferentes elementos que permiten la derivación de un modelo
conceptual. Dicho modelo se esquematiza en la Figura 1.

7
 Figura 1  Modelo conceptual de los factores de contexto del desempeño docente.

Aunque en este trabajo los diferentes factores identificados se han presentado de forma aislada, se sume que en la
realidad estos se encuentran entrelazados conformando un todo complejo; no obstante, al analizarlos desde un plantea-
miento conceptual se podrían asociar diferentes grupos de factores con distintos fines para los que la LGSPD mandata la
consideración del contexto.
El modelo conceptual de contexto del desempeño docente que se deriva de las opiniones de los profesores se com-
pone de factores internos y factores externos al sistema educativo. Los primeros se organizan en dos ámbitos: el de las
condiciones del aula y el de las condiciones institucionales, tanto en la escuela como en el sistema. Este ámbito incorpora
elementos laborales, de organización, distribución de responsabilidades, acceso a materiales y recursos, entre otros, cuya
medición y análisis permitiría caracterizar las condiciones en las que los docentes realizan su práctica.
Los factores externos, también se organizan en dos ámbitos: uno es el de las condiciones familiares de los estudiantes
y otro es de las condiciones del entorno local en el que se encuentran las familias y que determinan las características
del estudiantado. En este marco, los alumnos son un elemento que puede ubicarse dentro del sistema; no obstante, de
acuerdo a las relaciones establecidas en las aportaciones de los participantes, sus características son determinadas por el
entorno familiar y de la comunidad. Es posible plantear que la diversidad cultural en el aula, los hábitos de estudio de los
alumnos, la disposición hacia el aprendizaje, los recursos que la comunidad ofrece y con los que la familia cuenta para que
los estudiantes cumplan los compromisos estudiantiles y las asignaciones escolares exigen competencias específicas de
los docentes para la práctica de su profesión. En este sentido, se plantea que el análisis de este grupo de factores posibilita
el cumplimiento de los fines para el que se mandata la consideración del contexto.
Finalmente, dado que en México, la consideración del contexto en los procesos de evaluación del desempeño es, por
ley, un derecho de los docentes, se considera que el estudio y análisis de los factores permitiría esclarecer rutas para la
incorporación del contexto en los procesos evaluativos.

8
 CONCLUSIONES

La definición del contexto en el que se realiza la labor docente requiere de la consideración de diferentes factores internos
y externos al sistema educativo. En conjunto, configuran condiciones con características específicas en las que los profe-
sores desarrollan su función docente: la atención a grupos numerosos de estudiantes, la escasez de materiales y recursos,
el limitado apoyo recibido por parte de otros actores, la multiculturalidad en el aula y las limitaciones en el entorno de
la comunidad son algunos de los retos percibidos por lo profesores y que, desde su consideración, dificultan el óptimo
desempeño de la docencia.
De acuerdo con Austin (2000), se asume que la identificación inicial de los factores de contexto que sirven para
delimitar el concepto constituye el primer paso para su comprensión. Se requiere además de construcción de sólidos
fundamentos teóricos y del desarrollo de investigaciones y estudios que ofrezcan evidencia empírica de la relación entre
los factores que este trabajo expone y el desempeño de los docentes.
Se vislumbra que para cumplir la caracterización de las condiciones en las que la práctica docente se realiza, la iden-
tificación de marcos contextuales para las que se requieren competencias docentes específicas, la consideración del con-
texto para la comprensión de los resultados de la evaluación y la incorporación del contexto a los procesos de evaluación
como derecho de los evaluados; fines para los que se mandata la consideración del contexto, se requiere de un análisis
sistemático de tales elementos.

BIBLIOGRAFÍA

Austin, T. (2000). Para comprender el contexto de cultura. UNAP Educación y Desarrollo, 1.

Canales, A., Leyva, Y., Luna, E. y Rueda, M. (2014). Condiciones contextuales para el desarrollo de la práctica docente.
Revista Iberoamericana de Evaluación Educativa, 7 (2): 171-183.
Diario Oficial de la Federación. (2013). Ley General del Servicio Profesional Docente. México: DOF.
Fernández, T. (2004). Distribución del conocimiento escolar: clases sociales, escuelas y sistema educativo en América
Latina. Colegio de México.
Fernández, T. Benegas, I. y Blanco, E. (2004). Fundamentos teóricos de los conceptos propuestos a ser observados en los
módulos permanentes del Sistema de Cuestionarios de Contexto para el ciclo de evaluaciones 2005-2008. Versión
preliminar.
Instituto Nacional para la Evaluación de la Educación (2013a). Estatuto Orgánico del Instituto Nacional para la Evaluación
de la Educación, México: Autor.
Instituto Nacional para la Evaluación de la Educación (2013b). Ley del Instituto Nacional para la Evaluación de la Educa-
ción, México: Autor.
Jornet, J. M.; González-Such, J.; y Sánchez-Delgado, P. (2014). Factores contextuales que influyen en el desempeño docente.
Revista Iberoamericana de Evaluación Educativa, 7 (2), 185-195.
Mayring, P. (2000, June). Qualitative Content Analysis [28 paragraphs]. Forum Qualitative Sozialforschung / Forum: Qual-
itative Social Research [On-line Journal], 1(2). Disponible en: http://www.qualitative-research.net/index.php/fqs/
article/view/1089/2385
Porta, L. y Silva, M. (2003). La investigación cualitativa: El análisis de contenido en la investigación educativa". IC-Investi-
gación Cualitativa. Red de recursos académicos en investigación cualitativa.
Strauss, A. y Corbin, J. (2002). Bases de investigación cualitativa. Técnicas y procedimientos para desarrollar la teoría
fundamentada. Medellín: Universidad de Antioquía-Contus.
Woods, P. (2010). La escuela por dentro. La etnografía en la investigación educativa. Barcelona: Paidós.

9
Sistemas de información para la evaluación
educativa: diseño conceptual del Sistema Integral
de Resultados de las Evaluaciones del INEE
13 de marzo de 2015
 Sistemas de información para la evaluación
educativa: diseño conceptual del Sistema Integral
de Resultados de las Evaluaciones del INEE
Autor principal: Dr. Arturo Cervantes Trejo
Médico Cirujano por la UNAM, Maestro y Doctor en Salud Pública por la Universidad de Harvard.
Institución de pertenencia: Instituto Nacional para la Evaluación de la Educación, México
cervantes@post.harvard.edu  acervantes@inee.edu.mx
Segundo Autor: Luis Chias Becerril
Licenciado y Maestro en Geografía por la UNAM, Doctor en Geografía Universidad de Toulouse.
Institución de pertenencia: Instituto de Geografía de la UNAM, México
luis.chias@gmail.com

Co-autores del Instituto Nacional para la Evaluación de la Educación

Agustín Caso Raphael

Lic. en Economía del Instituto Tecnológico Autónomo de México (ITAM)
Maestro en Artes, Escuela del Servicio Exterior, Universidad de Georgetown.
Institución de pertenencia: Instituto Nacional para la Evaluación de la Educación, México
acaso@inee.edu.mx
Carlos Anzaldo Gómez
Licenciado en Diseño de Asentamientos Urbanos por la UAM.
Institución de pertenencia: Instituto Nacional para la Evaluación de la Educación, México
canzaldo@inee.edu.mx
Roberto Solís González
Licenciado en Actuaría por la UNAM y Maestro en Ingeniería por la UNAM.
Institución de pertenencia: Instituto Nacional para la Evaluación de la Educación, México
rsolis@inee.edu.mx

Co-autores de la Universidad Nacional Autónoma de México

Jesús Olvera Ramírez

Ingeniero Geólogo por el Instituto Politécnico Nacional
Institución de pertenencia: Instituto de Geografía de la UNAM, México
jesusolvera54@gmail.com
Rodrigo Jiménez del Valle
Licenciado en ciencias de la computación
Institución de pertenencia: Instituto de Geografía de la UNAM, México
rodrigo.gits@gmail.com
Héctor Daniel Reséndiz López
Maestro en Ingeniería por la UNAM
Institución de pertenencia: Instituto de Geografía de la UNAM, México
hresendizl@gmail.com

Agradecimiento: Los autores desean agradecer a la maestra Verónica López Guerra, Jefa de Proyecto A, del Instituto
Nacional para la Evaluación de la Educación, por su apoyo en la integración final de este manuscrito.

2
 CONTENIDO

Resumen 3
Introducción 4
Marco legal 4
Marco Teórico del SIRE: Gestión del conocimiento 4
Propuesta técnica 7
Elementos básicos 7
Objetivo general 8
Metodología 8
Fases del Proyecto 10
Resultados: Primera fase 11
Requisitos de acceso 11
Estructura del portal 11
Pruebas de estrés 12
Descripción de la prueba 12
Resultado de las pruebas 13
Conclusiones 14
Referencias bibliográficas 14

PALABRAS CLAVE: S
 istema de información, resultados de las evaluaciones, gestión de datos, datos geoespaciales,
cultura de la evaluación, tecnologías de información.
EJE TEMÁTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones

Resumen
En el marco de la reforma constitucional en materia educativa y de las nuevas atribuciones del INEE, la cons-
trucción del Sistema Integral de Resultados de las Evaluaciones (SIRE) provee a los tomadores de decisiones de
instrumentos de análisis que coadyuven al mejoramiento de la calidad de la educación. El SIRE es un proyecto
estratégico para el resguardo, análisis y gestión de datos, información y conocimiento relacionados con el Sistema
Nacional de Evaluación Educativa (SNEE), basado en servicios tecnológicos de alto nivel. Como sistema de gestión
de datos de los resultados de las evaluaciones, permitirá socializar, mediante diversos perfiles de usuario, el banco
de datos disponible. Esto permite que en forma rápida, económica y funcional, un número importante de usuarios
esté en posibilidades de hacer uso de la información, tanto estratégica como de gestión, la cual es útil para la toma
de decisiones en el ámbito del ciclo planeación-programación-presupuestación-ejercicio-control-evaluación-ren-
dición de cuentas.
El SIRE se define como «un conjunto de personas, hardware, software, redes y recursos para recolectar, mane-
jar y diseminar la información del SNEE». El desarrollo e implementación del SIRE se basan fundamentalmente en
el sistema de datos-información-conocimiento, la geotecnología y la arquitectura institucional del INEE. La cons-
trucción del SIRE incluye el desarrollo de una herramienta geotecnológica de bajo costo accesible desde Internet
para que diferentes tipos de usuarios consulten los bancos de datos y estén en posibilidad de obtener respuestas
a diversas necesidades de información. Además el SIRE incluye la resolución de problemas de flujos, restricciones,
usos, responsabilidades y otros aspectos inherentes a los datos; así como elevar el conocimiento geotecnológico
en el INEE. Por otra parte, el desarrollo de un proceso de cambio cultural y de desarrollo geotecnológico la interior
del INEE es otro de los requerimientos para gestionar los resultados de las evaluaciones.

3
 INTRODUCCIÓN

La evaluación educativa en América Latina ha estado sujeta a cambios relevantes durante los últimos años (OECD, 2003).
Estos cambios han sido producto, entre otras causas, de la necesidad de evaluar las reformas al sistema educativo, con
énfasis en el análisis de los resultados e impacto de las políticas públicas en educación en el contexto de la modernización
del Estado y del paradigma de la gestión para resultados en la Administración Pública Federal (Norris y Kushner, 2007).
Asimismo, han sido producto de la descentralización educativa y de una mayor participación de la sociedad en las deci-
siones políticas relacionadas con la calidad de la educación (Neirotti, 2012).
El cambio de enfoques en torno al sistema educativo, privilegia la obtención de resultados en calidad (eficacia en los
resultados obtenidos, eficiencia en la utilización de los recursos y rendición de cuentas), produciendo retos importantes
en el ámbito metodológico, y entre ellos de manera sobresaliente, en el uso de la información que producen los sistemas
de evaluación para la toma de decisiones en diversos ámbitos (Martinic, 2012). La implementación de sistemas de eva-
luación educativa de amplio espectro demanda que los sistemas de información de resultados de las evaluaciones estén
construidos conceptual y tecnológicamente de tal forma que los tomadores de decisiones puedan vincular la evaluación
educativa con la conformación de políticas públicas en este ámbito.
De acuerdo con Martinic (2012), la generalidad de los sistemas de evaluación está organizada con el propósito de pro-
veer de información a los actores principales del sistema educativo. Si consideramos a la evaluación como una disciplina
que investiga los componentes, los procesos, el desempeño, los logros y el impacto de políticas públicas y, muy especial-
mente, de programas, proyectos y actividades (Subirats Humet, J. 2008), la información que proporciona es crítica para
mejorar la calidad de la educación. En este sentido, la definición y construcción de un sistema de evaluación educativa y
de su sistema de resultados depende del marco legal y del andamiaje institucional existente.

MARCO LEGAL

En el caso de México, la reciente reforma constitucional, las nuevas leyes ordinarias y las modificaciones a las leyes
ordinarias existentes, ampliaron el marco normativo de la educación, otorgando especial importancia a la evaluación
educativa. En el marco de la ley educativa y de las atribuciones del INEE, la ley del INEE establece que los resultados de
las evaluaciones forman parte del Sistema Nacional de Evaluación Educativa.
El SIRE tiene como finalidad aportar elementos de análisis que coadyuven al mejoramiento de la calidad del SEN. En
particular, el SIRE deberá integrar información útil para las autoridades educativas, contribuyendo al análisis, sistema-
tización, administración y difusión de información que contribuya a evaluar los componentes, procesos y resultados del
SEN y que además sirva como auxiliar para verificar el grado de cumplimiento de los objetivos y metas de éste. En este
marco, el SIRE deberá aportar información y conocimiento relevantes para la toma de decisiones y la formulación de po-
líticas públicas dirigidas a la mejora efectiva de la equidad, pertinencia y calidad de la educación básica y media superior.
El SIRE es un proyecto estratégico para el resguardo, análisis y gestión de datos, información y conocimiento relacio-
nados con el SNEE, basado en servicios tecnológicos de alto nivel. Se caracterizará por ser un sistema de gestión de infor-
mación que contribuye a evaluar los componentes, procesos y resultados del SEN, así como a la formulación de políticas
integrales, sistemáticas y continuas en materia de evaluación educativa; con capacidad de representación estadística y
geográfica de los atributos de los educandos, docentes y autoridades escolares, así como de las características de las ins-
tituciones, políticas y programas educativos.

MARCO TEÓRICO DEL SIRE: GESTIÓN DEL CONOCIMIENTO

La creación y difusión del conocimiento se ha convertido en la actualidad en un elemento clave para impulsar el desa-
rrollo ecónomico y social. La definición de gestión del conocimiento, desde la perspectiva del proceso y la tecnología, es

4
 el mecanismo bajo el cual la información se convierte en conocimiento para la acción y puesta a disposición en forma
utilizable para las personas que lo requieren (Information Week, 1 de septiembre, 2003). En este sentido, el SIRE debe
ser un articulador clave para la gestión de conocimiento dentro del SNEE y proporcionar información estratégica para la
mejora del sistema educativo.
Diversos modelos del ciclo de gestión del conocimiento han sido desarrollados e implementados en el mundo. El
desarrollo del SIRE retoma el modelo de Mayer y Zack (1996), por ser particularmente útil en el conocimiento explícito,
formal y codificado y porque sigue procesos similares a los productos de información. Este modelo asigna las principales
etapas de desarrollo de un repositorio de conocimiento a un ciclo de gestión del conocimiento, haciendo énfasis en la
noción de valor agregado, el cual es necesario para aprovechar el conocimiento de una organización.
En el ciclo de gestión del conocimiento propone cinco etapas: adquisición, refinamiento, recuperación de almacena-
miento, distribución y presentación (ver figura 1).

Figura 1  Ciclo de Gestión del conocimiento de Meyer y Zack

Fuente: Darkir, K. (2005). “Knowledge Management in Theory and Practice”, Elsevier USA.

El SIRE, al considerar el ciclo de gestión de conocimiento de Meyer y Zack como marco conceptual, está en posibilidad
de hacer uso del proceso conocido como Datos, Información, Conocimiento, Sabiduría (DICS o DIKW, por sus siglas en
ingles), Ackoff (2005) y Belliger (2004). El proceso DICS permite pensar en una transformación de forma piramidal, que
requiere de un momento de valoración y entendimiento para cada transición entre categorías: para la transición de datos
a información se requiere entender la clase de relaciones entre grupos de datos; para la transición de información a cono-
cimiento, el entendimiento puede referirse a la identificación de patrones entre varios tipos de información relacionada;
para la transición de conocimiento a sabiduría, el entendimiento se refiere a la capacidad de formular los principios rec-
tores bajo los cuales se desarrollan los procesos del sistema analizado, el educativo por ejemplo. En todos los momentos
de entendimiento de cada transición, el denominador común implica pensar en la dimensión dual espacio-tiempo (ver
figura 2).

5
 Figura 2  La jerarquía Datos Información Conocimiento Sabiduría en forma de pirámide.

Fuente: Instituto de Geografía UNAM, adaptado de Ackoff (2005) y Belliger (2004).

El proceso DICS requiere la transición de información a conocimiento. Esta transformación requiere para operar de
un modelo de creación de conocimiento, a fin de que las actividades puedan ser coordinadas para producir los beneficios
esperados.
El modelo de Nonaka y Takeuchi (1995), plantea la creación de conocimiento como un modelo en el que existen cua-
tro pasos fundamentales: socialización, exteriorización, combinación e interiorización y cinco facilitadores o condiciones
organizativas: intención, autonomía, fluctuación, redundancia y variedad requerida. De acuerdo a Nonaka y Takeuchi
existen dos formas en que se manifiesta el conocimiento: tácita y explícita. El conocimiento tácito es personal y de un
contexto específico y, por lo tanto, es difícil formalizarlo y comunicarlo. El conocimiento explícito o codificado es aquel
que puede trasmitirse utilizando el lenguaje formal y sistemático (manuales, planos, etc.).
El conocimiento tácito y el explícito no son entidades separadas, sino complementarias. Hay una interacción y un in-
tercambio entre ellos en las actividades creativas de los seres humanos. El modelo dinámico de creación de conocimiento
se fundamenta en el supuesto de que el conocimiento se crea y expande a través de la interacción social de conocimiento
tácito y conocimiento explícito.

6
 Figura 3  Ciclo de generación del conocimiento

Fuente: Nonaka y Takeuchi. La Organización creadora de conocimiento.

Cómo las compañías japonesas crean la dinámica de la innovación (1999).

Para Nonaka y Takeuchi el papel de la organización en el proceso de creación de conocimiento es el de proveer el con-
texto apropiado para facilitar las actividades grupales y la creación y acumulación de conocimiento en el nivel individual.
El desarrollo del SIRE bajo el ciclo de gestión del conocimiento de Meyer y Zack y la aplicación del proceso DICS con su
transformación de forma piramidal basada en el modelo de creación del conocimiento de Nonaka y Takeuchi, facilitará
que el SIRE responda directamente al mandato del INEE.

PROPUESTA TÉCNICA

El diseño, desarrollo e implementación del SIRE se fundamentarse en diversos componentes tales como el sistema da-
tos-información-conocimiento-sabiduría, la geotecnología y la arquitectura institucional del INEE.
A continuación se presenta una síntesis de la propuesta técnica para la conceptualización, diseño y puesta en ope-
ración del Sistema Integral de Resultados de las Evaluaciones que se desarrolla a través de un Convenio Específico de
Colaboración con el Instituto de Geografía de la UNAM.

Elementos básicos

La construcción del SIRE contempla los siguientes elementos básicos:

»» Una herramienta geotecnológica de bajo costo

»» Una norma para la gestión de datos estructurados y geoespaciales al interior del INEE.
»» Elevar el nivel de conocimiento geotecnológico.
»» Desarrollar un proceso de cambio cultural y de desarrollo geotecnológico
»» Integrar un grupo de trabajo altamente especializado

7
 Objetivo general

El SIRE tiene como objetivo dotar al INEE de un Sistema de Información, que permita la integración, almacenamiento y
explotación de los datos e información necesarios para responder a sus requerimientos institucionales en materia de ges-
tión estratégica de los resultados de las evaluaciones, con apoyo de la información del contexto geográfico, demográfico,
social, económico y cultural del Sistema Educativo Nacional (SEN).

Metodología

A continuación se describen los elementos metodológicos a desarrollar. La construcción del SIRE se desarrollará confor-
me al siguiente esquema conceptual propuesto:

Figura 5  Esquema conceptual para el desarrollo del SIRE

Características técnicas y componentes del SIRE: algunos avances

»» El SIRE está desarrollado en tecnología de código abierto.

»» Incluye un conjunto de herramientas que permitirán generar, integrar, administrar, analizar, visualizar y explotar
datos e información.
»» El sistema satisface las necesidades técnicas y estratégicas en materia de consultas y reportes.
»» El uso del SIRE no requiere de conocimientos especializados en computación y sistemas de información geográfica,
pues cuenta con una interfaz de usuario amigable y sencillo.
»» El SIRE es para uso interno y externo del INEE y deberá ir incrementando sus funcionalidades en función de los
requerimientos de los usuarios y podrá adoptarse y evolucionar.
»» Para el segundo año de desarrollo (2015), el servidor deberá garantizar la consulta de múltiples usuarios en forma
concurrente.

8
 Repositorio de datos (datawarehouse) y subconjuntos de datos (datamarts)

»» El repositorio de datos corporativo del SIRE es el lugar que integra distintos datos que se decidan de común acuerdo
entre el INEE y el IGg-UNAM.
»» En los casos que sea pertinente se realizará el modelo relacional correspondiente que permita minimizar la redun-
dancia de datos.
»» El repositorio de datos constituirá la base de datos que se explotará con las herramientas capaces de generar aná-
lisis y reportes estratégicos.
»» Los datos que se integren al repositorio de datos serán espaciales (georreferenciados) y no espaciales (estadísticos).
»» Para cada conjunto de datos se seguirá un esquema de tipo estrella en el que cada estrella tendrá una temática
particular. De esta forma el repositorio de datos estará conformado por un cúmulo de estrellas y a partir de cada
una, o de la generación de alguna relación entre estas estrellas se formarán los subconjuntos de datos concentran e
integran información de un tema en particular pudiendo contener datos resumidos.
»» El repositorio de datos ofrecerá un mecanismo para explorar datos históricos, crear, modificar y utilizar los subcon-
juntos de datos, además permitirá contar con un mecanismo para la organización de diferentes orígenes de datos.
»» El repositorio de datos del SIRE deberá estar alineado con la Arquitectura Institucional y el Modelo de Gobierno
del INEE.

Módulo de administración de usuarios

»» El módulo de administración de usuarios permitirá gestionar al menos cinco niveles de usuarios que podrán visua-
lizar diferentes categorías de información con perfiles específicos de acceso o administración del sistema.
»» Este módulo podrá conectarse con el SIRE y las herramientas del repositorio de datos para gestionar los niveles de
acceso de los diferentes usuarios que defina el INEE.
»» El módulo de administración de usuarios también gestionará el acceso a los geo-proyectos y diversas funcionalidades.

Servidor de datos geoespaciales

»» El servidor de datos geoespaciales tiene como objetivo socializar selectivamente la base de datos geoespacial (geo-
database) para que en forma rápida, económica y funcional un número importante de usuarios (público en general
y diversos tipos de usuarios al interior del INEE) estén en posibilidades de generar preguntas en torno a los resul-
tados de las evaluaciones, el medio físico geográfico y los factores socioeconómicos. Además el servidor tiene el
propósito de ser el detonador de una cultura geoespacial para la consulta de datos cartográficos y estadísticos que
requiere el INEE y la sociedad en materia de evaluación educativa y la rendición social de cuentas.
»» El sistema se basa en un modelo de herramienta geo-informática de bajo costo basado en software de código abier-
to y libre distribución, con funcionalidades especializadas, basadas en el manejo, mapeo y análisis de datos carto-
gráficos y estadísticos.

Geoproyectos

»» Cada geoproyecto estará integrado por un conjunto de datos geoespaciales y sus respectivos metadatos que com-
parten una temática en particular y se organizan mediante un árbol de contenidos con la capacidad de contener y
agrupar cualquier número de coberturas geográficas y se diseñarán según las necesidades del INEE.
»» Cada geoproyecto tendrá asociado un conjunto de herramientas geoespaciales que permitirán la interacción de los
usuarios con los datos para su visualización, edición, consulta y análisis.
»» El administrador de usuarios gestionará los diferentes accesos a los geoproyectos y sus herramientas geoespaciales.

9
 Minería de datos (Data mining)

La Minería de datos incluirá herramientas y datamarts para la generación de reportes, gráficos y estadísticas a partir de
los datos contenidos en el repositorio de datos. Tendrá una interfaz amigable que permitirá diseñar reportes y producir
datos e información valiosa en línea. Incluirá conexión a los distintos subconjuntos de datos, dando como resultado grá-
ficos circulares, gráficos de barras, líneas y dispersión de puntos, y la extracción estadística de datos (máximos, mínimos,
media, entre otros). Las herramientas de minería de datos estarán conectadas al módulo de administración de usuarios.
Los informes serán diseñados con base en los requerimientos entregados por el INEE.

FASES DEL PROYECTO

El desarrollo del SIRE se divide en tres fases:

La primera (2014) ha implicado la construcción y desarrollo de capacidades, el diseño, programación y puesta en marcha
del Servidor de Datos Geoespaciales y de tres geoproyectos con su respectivo visualizador, así como el diseño y la cons-
trucción de la arquitectura de datos, y del módulo de administración de usuarios, a partir de los requerimientos del INEE
y la consolidación de la tecnología del servidor de datos geoespaciales.
La segunda etapa (2015) corresponde a la consolidación de la arquitectura de datos al integrar el repositorio de datos
y liberar los primeros subconjuntos de datos y productos de información. La tercera etapa (2016) corresponde a la con-
solidación e implantación del sistema en las instalaciones del INEE. Durante el desarrollo de las tres fases se realizarán
actividades para construir capacidades y transferir el conocimiento necesario para su uso y administración. Asimismo,
cada una de las fases del ciclo de desarrollo del sistema considerará la alineación con la arquitectura institucional del
INEE, una etapa de pruebas (unitarias, de sistema, integrales, stress y de aceptación por parte de los usuarios) y la puesta
en producción.

10
 RESULTADOS: PRIMERA FASE

En diciembre de 2014, se dio la liberación de portal de Sistema Integral de Resultados de las Evaluaciones. El SIRE integra
información útil para las autoridades educativas, la plataforma contribuye al análisis, sistematización, administración y
difusión de información.
La información está integrada mediante 16 funciones geotecnológicas, una base de datos geoespacial integrada. El
repositorio institucional incluye datos del Excale 2009, 2010 y 2012; de PISA 2003, 2006, 2009, y 2012 y del Servicio
Profesional Docente 2014; así como del Panorama Educativo 2003-2014 y del Cemabe 2014. De igual forma íntegra datos
de UNESCO, INEGI, OCDE, Coneval, Conapo, Sedesol, Secretaria de Salud y de la SEP.

Requisitos de acceso

Para ingresar al geoportal sólo es necesario contar con un navegador de internet. Se debe ingresar a la siguiente dirección
en la barra de direcciones: www.sire.igg.unam.mx/geoportal

Estructura del portal

A continuación se muestra la vista general del portal:

Los elementos principales del portal son los siguientes:

»» Barra de herramientas: Contiene diferentes funciones disponibles en el proyecto geocartográfico.

»» Selector de cartografía base: Permite seleccionar el servicio de cartografía base sobre el cual se mostrarán las capas
geográficas.
»» Selector de capas: Despliega un listado de todas las capas del proyecto actual, así como información asociada a ellas.
»» Mapa de referencia: Muestra la ubicación del área geográfica visualizada en pantalla, en un contexto más amplio.
»» Barra de datos geográficos: muestra las coordenadas latitud y longitud de la posición del cursor del mouse sobre el
mapa. Estas coordenadas de muestran en grados decimales y en notación sexagesimal.
»» Visor de capas: Permite visualizar los datos de las capas elegidas en el Selector de Capas.

11
 Existen distintos tipos de capas o conjuntos de datos, algunas representan un tipo particular de entidad geográfica
o bien diversas clases de datos. Cada tipo de capa tiene distintos mecanismos para su visualización, además incluyen la
simbolización de sus contenidos y los metadatos. Estos últimos, incluyen la descripción del conjunto de datos, la fuente
de datos, el diccionario de variables, entre otros. Las capas de datos se han elaborado de acuerdo con las especificaciones
que establece la Norma Técnica para la Elaboración de Metadatos Geográficos, publicada por el INEGI.

PRUEBAS DE ESTRÉS

Además, al portal del SIRE se le han aplicado pruebas de carga o estrés para ver cuál sería su comportamiento en caso
de que el flujo del sitio se incremente considerablemente. Una prueba de estrés se utiliza normalmente para romper una
aplicación. Consisten en aumentar el número de usuarios que se agregan a la aplicación y se ejecuta una prueba de carga
hasta que se rompe. Este tipo de prueba se realiza para determinar la solidez de una aplicación en los momentos de carga
extrema y ayuda a los administradores a determinar si una aplicación rendirá lo suficiente en caso de que la carga real
supere a la carga esperada.
Apache JMeter puede ser utilizado para probar el rendimiento tanto en recursos estáticos como en dinámicos. Se
puede utilizar para simular una carga pesada en el servidor, grupo de servidores, la red o para analizar el rendimiento
general de un objeto (aplicaciones web) bajo diferentes tipos de carga. A continuación se muestran una serie de pruebas
que se realizaron con la ayuda de Apache JMeter al geoportal SIRE con las siguientes características del servidor en donde
se instaló para las pruebas:

HARDWARE
Servidor Cliente
Arquitectura 64 bits 64 bits
Procesador Intel Core(TM) i7-2600 @ 3.40GHz Intel Core(TM)2 Quad @ 2.33GHz
Memoria 8GB DDR3 1333 MHz 4GB DDR2 880MHz
Disco duro 500GB 7200RPM 500GB 7200 RPM
Ancho de banda 100 Mbps 5 Mbps
SOFTWARE
Servidor Cliente
Sistema operativo Debian GNU/Linux 7.8 (wheezy) Windows 7
Lenguaje de programación Java(TM) 1.8.0_25 N/A
Servidor de aplicaciones Glassfish 4.1 N/A
Navegador N/A Google Chrome 40.0.2214.111 m

Descripción de la prueba

La prueba consiste en simular un conjunto de peticiones que comúnmente realizarían los usuarios dentro del portal.
Primero se ejecutó el plan de pruebas simulando 50 usuarios concurrentes y después se ejecutó con 100 usuarios con-
currentes.
Los resultados de las pruebas están calculados tomando el tiempo total que ha tardado la prueba (la ejecución de 50
usuarios y 100 usuarios respectivamente), por lo tanto, cuanto más muestras haya más tiempo total de ejecución. Para
cada caso del plan de pruebas tenemos:

»» Muestras: Número de peticiones que se envían al servidor.

»» Min: Tiempo (en milisegundos) mínimo que demora una muestra en acceder a una página.

12
 »» Max: Tiempo (en milisegundos) máximo que demora una muestra en acceder a una página.
»» Media: Tiempo (en milisegundos) promedio en milisegundos para el conjunto de resultados.
»» Mediana: Tiempo (en milisegundos) invertido por cada muestra. Esto significa que el 50% de las muestras tarda-
ron menos del valor reflejado.
»» %Error: Porcentaje de muestras con error (no pudieron ser procesadas).
»» Rendimiento: Número de muestras procesadas en una unidad de tiempo, que puede ser horas, minutos o segundos.
»» Kb/sec: Número de datos (en Kbytes) procesados por segundo de las muestras realizadas.
»» Media en bytes: Tamaño medio de respuesta del servidor (en bytes).

Resultado de las pruebas

Caso Muestras Min. Max. Media Mediana %Error Rendimiento Kb/sec Media bytes
Inicio 50 338 7 236 1 192 836 0.00% 6.9/sec 111.06 16 476
Prender capa: Estados 50 96 6 332 1 883 1 558 0.00% 7.1/sec 155.49 22 409
Información capa: Estados 50 46 1 368 256 88 0.00% 8.3/sec 4.09 503
Dicc. de variables de la capa: Estados 50 30 2 901 257 63 0.00% 8.6/sec 8.53 1 010
Prender capa: Municipios 50 88 4 586 940 372 0.00% 6.8/sec 148.26 22 427
Información capa: Municipios 50 57 2 060 318 87 0.00% 7.0/sec 16.36 2 405
Dicc. de variables de la capa: Municipios 50 29 2 172 215 43 0.00% 7.0/sec 6.91 1 010
Prender capa: Carreteras 50 78 2 232 441 232 0.00% 7.0/sec 152.35 22 343
Información capa: Carreteras 50 85 1 858 276 122 0.00% 7.1/sec 35.40 5 077.40
Dicc. de variables de la capa: Carreteras 50 30 820 173 40 0.00% 7.3/sec 10.00 1 402
TOTAL 500 29 7 236 595 196 0.00% 51.2/sec 474.86 9 506.236

Caso Muestras Min. Max. Media Mediana %Error Rendimiento Kb/sec Media bytes
Inicio 100 108 12 972 2 457 2 062 0.00% 7.4/sec 119.7 16 476
Prender capa: Estados 100 114 23 446 2 278 1 791 0.00% 4.2/sec 92.9 22 409
Información capa: Estados 100 51 9 486 703 300 0.00% 4.4/sec 2.2 503
Dicc. de variables de la capa: Estados 100 29 12 542 638 265 0.00% 4.5/sec 4.4 1 010
Prender capa: Municipios 100 71 13 075 2 058 1 108 0.00% 4.6/sec 99.8 22 427
Información capa: Municipios 100 57 2 804 465 242 0.00% 4.8/sec 11.2 2 405
Dicc. de variables de la capa: Municipios 100 29 6 171 305 68 0.00% 5.0/sec 4.9 1 010
Prender capa: Carreteras 100 78 5 976 906 506 0.00% 5.0/sec 109.4 22 343
Información capa: Carreteras 100 86 8 287 606 161 0.00% 5.2/sec 25.6 5 076.90
Dicc. de variables de la capa: Carreteras 100 31 1 372 261 59 0.00% 5.7/sec 7.8 1 402
TOTAL 1 000 29 23 446 1 068 335 0.00% 41.1/sec 381.5 9 506.200

Caso Muestras Min. Max. Media Mediana %Error Rendimiento Kb/sec Media bytes
Inicio 150 154 51 811 7 211 4 554 0.00% 2.8/sec 45.8 16 476
Prender capa: Estados 150 84 11 671 1 948 1 410 0.00% 2.8/sec 62.3 22 409
Información capa: Estados 150 0 27 378 1 096 179 0.00% 2.9/sec 1.4 512
Dicc. de variables de la capa: Estados 150 28 8 331 730 133 0.00% 2.9/sec 2.9 1 010
Prender capa: Municipios 150 67 11 534 1 336 716 0.00% 2.9/sec 64.1 22 427
Información capa: Municipios 150 55 8 898 855 129 0.00% 3.0/sec 7.0 2 405
Dicc. de variables de la capa: Municipios 150 29 6 958 456 65 0.00% 3.0/sec 3.0 1 010
Prender capa: Carreteras 150 62 6 418 849 349 0.00% 3.0/sec 66.2 22 343
Información capa: Carreteras 150 82 6 032 763 162 0.00% 3.1/sec 15.1 5 082.80
Dicc. de variables de la capa: Carreteras 150 30 4 934 524 54 0.00% 3.1/sec 4.2 1 402
TOTAL 1 500 0 51 811 1 577 233 0.00% 28.0/sec 259.6 9 507.700

13
 CONCLUSIONES

El diseño, la construcción y operación del Sistema Integral de Resultados de las Evaluaciones, en esta primera fase
permite una adecuada gestión de los datos provenientes de los sistemas de gestión educativa, además de mejorar las
posibilidades de análisis con base en información válida y confiable. La integración de información útil a disposición de
autoridades educativas y actores clave contribuye al mejoramiento de la calidad del Sistema Educativo Nacional. Pro-
porcionará a los diferentes usuarios (educandos, educadores, autoridades educativas y padres de familia, entre otros)
capacidad de consulta y de análisis de la información sobre los resultados de las evaluaciones realizadas al SEN, además
de información del contexto social, económico, demográfico, cultural y político. Por otra parte, el SIRE contribuirá al
propósito de fortalecer y fomentar la cultura de evaluación, haciendo posible la consulta y la búsqueda de datos e infor-
mación generada por el SNEE.

REFERENCIAS BIBLIOGRÁFICAS

Ackoff, R.L. (1989), "From Data to Wisdom", Journal of Applied Systems Analysis, Volume 16, p. 3-9.
Bellinger, G., D. Castro and A. Mills (2004), “Data, Information, Knowledge, and Wisdom”, disponible en: www.systems-
thinking.org/dikw/dikw.htm [ Consulta: 16 de mayo 2014]
Caso Raphael, Agustín (2014), “Hacia la construcción de un Sistema Integral de Resultados de las Evaluaciones”. INEE,
México.
Cervantes, A., Anzaldo, C., (2014) “Diseño conceptual y plan estratégico para el desarrollo del Sistema Integral de Resul-
tados de las Evaluaciones (SIRE)” Unidad de Información y Fomento de la Cultura de la Evaluación; Dirección General
del Sistema Integral de Resultados de las Evaluaciones, INEE.
Dalkir, K. (2005), Knowledge Management in Theory and Practice, Elsevier Butterworth-Heinemann, Burlington.
Information Week (Sept. 1, 2003). “Ten Principles for Knowledge Management Success”. Available at http://whitepapers.
informationweek.com
Martinic, S. (2012), “Emergent evaluation and educational reforms in Latin America”, in S. Kushnet & E. Rotondo (Eds.),
Evaluation Voices from Latin America. New Directions for Evaluation, 134, 17-28.
Meyer, M, and M. Zack (1996), “The Design and Implementation of Information Products”, Sloan Management Review,
37(3): 43–59.
Neirotti, N. (2012), “Evaluation in Latin America: Paradigms and practices”, in S. Kushner & E. Rotondo (Eds.), Evaluation
voices from Latin America. New Directions for Evaluation, 134, 7-16.
Nonaka, I., Konno, N., (1998), “The concept of “Ba”: building a foundation for knowledge creation”, California Management
Review, vol. 40, nº 3, Spring, pp. 40-54.
Nonaka, I., Takeuchi, H., (1995), “The knowledge-creating company: How Japanese Companies Create the Dynamics of Inno-
vation”. Oxford University Press. New York-Oxford.
Norris, N., & S. Kushner (2007), “The new public management and evaluation”, in S. Kushner & N. Norris (Eds.), Dilemas of
engagement: Evaluation and the new public management, Advances in Program Evaluation (Vol. 10, pp. 1-16). Oxford,
United Kingdom: Emerald Group Publishing Limited.
OECD (2003), Knowledge research. New challenges for educational research. Paris, France: OECD-CERI Publishing.
Subirats Humet J., Varone, F., Larrue, C., (2008) “Analisis y gestion de politicas publicas”, España, Editorial Ariel: 288 págs.

14
Actores y acciones educativas:
una mirada integral de la evaluación
13 de marzo de 2015
 Actores y acciones educativas:
una mirada integral de la evaluación

John Saúl Gil Rojas

Magister en Lingüística y Español. Profesor Titular de la Universidad del Valle, Cali, Colombia.
johnsaul.1@hotmail.com

PALABRAS CLAVE: Evaluación, proceso, formación integral.

EJE TEMÁTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones.

Resumen
Se presenta un esquema básico del tema de la evaluación educativa, los antecedentes generales de investigación
al respecto a nivel latinoamericano y algunos elementos de orden teórico al respecto. Se propone orientar la re-
flexión hacia la pregunta sobre la relación entre evaluación integral y formación de manera que se involucre a los
distintos actores de la comunidad educativa. La indagación propuesta parte del planteamiento según el cual en
nuestro contexto, la práctica evaluativa en educación poco considera los elementos que definen el proceso forma-
tivo de manera integral y se limita en muchos casos a tomar como referencia de su calidad los resultados de logros
educativos en pruebas estandarizadas. La ausencia de actores distintos a los gubernamentales y de elementos
cualitativos en la concepción, orientación, diseño, aplicación y valoración de los resultados de la evaluación, dis-
minuye las potencialidades del proceso evaluativo y aporta muy poco a ubicarlo en beneficio de los procesos de
mejora educativa. Al final se hacen algunas recomendaciones.

INTRODUCCIÓN

La aproximación a los actores y acciones educativas en el marco de una mirada integral a la evaluación que se propone en
esta ponencia, se inscribe en el marco de un trabajo de investigación más amplio en el cual interesa describir, analizar e
interpretar las prácticas de evaluación y las representaciones sociales de la misma en un contexto escolar determinado,
para notar cómo se constituyen esa prácticas, qué significa la evaluación para maestros, directivos, estudiantes y padres
de familia en ese contexto, cuál es el marco epistemológico, conceptual y metodológico de las mismas, qué se hace o se
propone hacer con sus resultados, cómo se comunican y socializan entre la comunidad educativa esos resultados, entre
otros aspectos de su concepción, implementación y desarrollo.
Se trata entonces de lograr una aproximación desde la propia comunidad educativa a los modos de evaluar y a las
concepciones sobre la evaluación por parte de sus actores principales, en el entendido de que la evaluación constituye
una dimensión no resuelta y presente en la discusión educativa, particularmente en América Latina, de la cual surgen
muchas preguntas respecto de su sentido y modos de orientación preferente. Por eso, al intentar responder estas pregun-
tas, se propone destacar de qué manera la consideración de la evaluación como parte integral del proceso formativo y no
solamente como un momento aislado del mismo, tiene implicaciones didácticas, pedagógicas, curriculares y de gestión

2
 institucional (además de otras referentes a política pública y reconocimiento social), que resultarían favorables, ya que
dicho reconocimiento ubica el trabajo de la escuela, del maestro y de los propios estudiantes, en la dimensión de comple-
jidad necesaria que define dicho proceso.
Reconocer entonces la dimensión integral de la evaluación, afectaría favorablemente a los estudiantes, a los maestros
y a la propia institución escolar ya que permitiría validar y generar procesos formativos conducentes al mejoramiento
de la calidad educativa través de orientaciones didácticas, pedagógicas y curriculares coherentes desde el punto de vista
metodológico y conceptual, además de definir la coherencia o no del proceso formativo tanto de estudiantes como de
maestros, en la perspectiva de la formación integral como principio fundamental del trabajo de la escuela.

DESARROLLO

Antecedentes

Es notable como el discurso sobre la evaluación ligado a la calidad de la educación en América Latina tomó cierta rele-
vancia a partir de los años 80 del siglo XX, muy ligado a políticas macroeconómicas derivadas del modelo neoliberal y de
apertura económica que posteriormente devino en el orden mundial de la economía conocido como globalización.
En este contexto, algunas de las preocupaciones gubernamentales sobre evaluación en educación se han dirigido a la
evaluación educativa, para referirse sobre todo a los niveles macro del proceso evaluativo propiamente dicho (resultados
de pruebas estandarizadas nacionales e internacionales, eficiencia del gobierno y la administración escolar, evaluaciones
macro de aprendizaje y logros educativos, etc.), cuando no a la evaluación docente, entendida como el proceso académico
administrativo por el cual se capacitan y califican para efectos de su permanencia o ascenso en los distintos niveles del
escalafón magisterial.
La tendencia es a observar un aspecto del proceso de la evaluación educativa en particular (los resultados del “ren-
dimiento escolar” o la gestión administrativa misma de la escuela) y no a abordar de manera integral el conjunto de ele-
mentos que le otorgan un carácter integrado y de conjunto (calidad del gobierno escolar, estructura curricular, proyecto
pedagógico, formación docente, contexto sociocultural de la escuela, etc.). De acuerdo con lo anterior, se podría decir que
tres elementos generales definen el problema de la evaluación educativa en el contexto latinoamericano, los cuales pue-
den leerse en un orden inclusivo entre sí que los ubica como interdependientes:

»» El énfasis de los gobiernos y de las autoridades educativas sobre evaluación está dado a partir de los resultados
de pruebas censales y estandarizadas. Esta tendencia a las evaluaciones estandarizadas omite su sentido integral,
dado que no las consideran como resultado de variables sociales, culturales, pedagógicas, curriculares y político
institucionales que dan lugar a modos particulares de concebir y desarrollar los procesos formativos.
»» En general, las prácticas evaluativas no son consistentes con una concepción de la evaluación como proceso inte-
gral. Ni los maestros ni los estudiantes ni la comunidad educativa en su conjunto tienen una noción clara sobre la
evaluación como elemento determinante de la formación, no solo en el orden académico curricular, sino en lo que
tiene que ver con sus principios epistemológicos, teóricos y metodológicos y su lugar en la configuración del pro-
yecto social y cultural que se propone la escuela.
»» A pesar de los recientes esfuerzos académicos e institucionales para orientar la evaluación educativa de manera
coherente con los principios antes mencionados, no se reconoce por parte de las comunidad educativa un marco
claro de articulación entre la evaluación y los propósitos pedagógico curriculares y los componentes conceptuales
y/o disciplinares. Incluso, es posible encontrar marcadas diferencias y contradicciones entre lo que se considera
que es la evaluación por parte de los distintos actores de la comunidad educativa, las prácticas evaluativas de aula
y las orientaciones institucionales al respecto.

3
 Perspectiva teórica

Bustamante & Jurado (1998), hacen una pregunta inicial que es necesario plantearse en este punto: ¿Qué es evaluar?
En un sentido general y extendido entre las comunidades educativas, dicen, evaluar en educación es sinónimo de medir
unos resultados de aprendizaje. Es decir, confrontar unos objetivos y unos resultados luego del proceso de enseñanza. No
obstante, precisan, como a toda definición le subyace un modelo interpretativo –que aquí se hace necesario develar para
comprender los alcances y limitaciones que ella conlleva- se trata de analizar por lo menos tres elementos o aspectos
primordiales que comporta esta definición: 1) los modelos subyacentes; 2) los objetivos ; y 3) los resultados. (p. 135).
Respecto a los modelos subyacentes, para estos autores, la idea de que de acuerdo con unos objetivos se obtendrían
ciertos resultados y no otros, no tiene en cuenta que explicitar un plan (lo que se identifica con “teoría”) no implica que
los procesos (lo que se identifica con “realidad” o “práctica”) se rijan por él. En este sentido, señalan que al no ser la eva-
luación lineal, no puede hablarse de objetivos y resultados de la evaluación como si no tuvieran mediaciones. El problema,
dicen, radica en que los objetivos se plantean desde un sistema interpretativo complejamente constituido por diversos
modelos; y los resultados son aprehendidos desde una mirada selectiva constituida también por un sistema interpretati-
vo (que sólo en algunos casos coincide con el que plantea los objetivos). (p. 138-140).
Sobre los objetivos, estos autores plantean que en el concepto de evaluación que se discute aparecen en primera ins-
tancia, pues comparados con ellos se miran los resultados. En este punto, se plantean la necesidad de discutir sobre los
objetivos explícitos e implícitos de la evaluación. Para ellos, si una evaluación parte de asignar veracidad a los objetivos
explícitos, de considerar que la comunicación se agota en el enunciado, ya está viciada desde el principio: o bien concep-
túa con el mismo modelo que propone los objetivos y, por lo tanto, no tiene otro fin que el de perpetuarlo; o bien, no le
interesa cuestionar nada. (p.143-145).
En relación con los resultados de la evaluación, los autores referidos señalan que, desde una perspectiva, se juzga fácil
la comparación entre objetivos y resultados para decir en qué porcentaje se lograron los primeros; desde otra, se revela
que los resultados pueden ser diversamente interpretados, hasta el punto de tomarse de manera distinta, incluso opues-
ta (los resultados de una prueba, por ejemplo, pueden ser analizados desde distintos modelos psicométricos). (Ibíd., p.
149-150).
Como se ha tratado de establecer a partir de estas aproximaciones teóricas y analíticas, se propone una mirada de la
evaluación escolar en términos de los componentes del proceso de enseñanza y aprendizaje que le dan lugar. Vale acotar
que en muchos de los análisis más recientes sobre la evaluación, existe una fuerte tendencia a centrar la mirada casi exclu-
sivamente en el aprendizaje y sus mecanismos, en una perspectiva cognitiva o cognitivista con lo cual se evita (¿o ignora?)
asumir la educación como práctica social cuyos condicionamientos históricos y culturales definen las formas, los estilos
pedagógicos y modelos curriculares fundamentales de la enseñanza y del mismo aprendizaje.
Desde esta última orientación, por ejemplo, para Martín (2001), la idea de vincular la evaluación del alumno y el
proceso educativo presupone que esa relación es posible. Ésta, sin embargo —dice el autor—, no es una idea que pueda
considerarse como aceptada por todos (o lo ha sido históricamente, ni seguramente lo es aún para muchos) (…). Es obvio,
dice, que esta es una idea “moderna” y propia de los nuevos tiempos renovadores en educación en los que además del
aprendizaje del alumno, la educación debe tomar como referente al propio proceso de enseñanza. Sin embargo, las con-
cepciones existentes sobre evaluación son efectivamente diversas, del mismo modo que distintas son también las ideas
sobre el proceso educativo en su conjunto. (p. 155).
En una perspectiva más pragmática, para Elola & Toranzos (2009) resulta oportuna, en términos generales, la defi-
nición propuesta por T. Tenbrink, según la cual, evaluación es el proceso de obtener información y usarla para formar
juicios que a su vez se utilizarán en la toma de decisiones. Y en cuanto a la finalidad de la evaluación, señalan, constituye
uno de los ejes centrales junto con la definición del objeto a ser evaluado. En términos generales y en función de las
definiciones adoptadas, identifican algunas finalidades principales de todo proceso evaluativo: diagnóstico, pronóstico,
selección y acreditación, finalidades que no necesariamente se plantean como excluyentes pero sí determinan opciones
metodológicas diferenciales. Sobre los ámbitos de la evaluación, definen como básicos: el de los aprendizajes;
el de las
instituciones; el del sistema educativo; y el de los programas o proyectos. (p.15).
Bertoni, Poggi & Teobaldo (2009), por su parte, proponen una serie de elementos teóricos, conceptuales y metodoló-
gicos que resignifican el sentido de la evaluación y sustentan la necesidad y posibilidad de nuevas prácticas evaluativas.

4
 La evaluación educativa, dicen, nos confronta con el abordaje de un espacio de conflicto, que permite analizar articu-
laciones o fracturas entre supuestos teóricos y prácticas pedagógicas. En efecto, todo proceso de evaluación pone en
evidencia múltiples aspectos, relacionados con las características y procesos de la institución educativa, los proyectos
institucionales, los estilos de gestión, las propuestas curriculares y editoriales, las particularidades de los docentes y de
los alumnos, etc.(p.7).
Al remitir la evaluación a otros espacios extraescolares, los autores señalan su carácter sobredeterminado y multi-
dimensional. Esto significa, dicen, que aun cuando los docentes no vinculen directamente estas realidades a su propia
actividad, ésta resulta de alguna manera evaluada; particularmente los malos o insuficientes resultados que alcanzan sus
alumnos suelen llevarlos a cuestionar la pertinencia social de su tarea en el campo social y su rentabilidad en el campo
económico. (p.9).
Para estos autores, la multidimensionalidad de los actos evaluativos, producto de sus articulaciones y sobredetermi-
naciones, conduce a poner en duda la unidad y coherencia de lo que se designa con el término “evaluación”. Algo similar,
dicen, ocurre cuando se analizan los diversos usos sociales que se hacen de ésta ya que cuando se considera el problema
de la utilización de los resultados, puede observarse que el empleo de ellos está vinculado básicamente a diferentes inte-
reses y motivaciones, como por ejemplo, las intenciones de la evaluación y
las acciones derivadas de los resultados. (p.9).

CONCLUSIONES

Se requiere proponer, diseñar e implementar modelos de evaluación que surjan de las dinámicas propias de las comuni-
dades escolares y se articulen las necesidades y perspectivas pedagógicas, curriculares y socioculturales de sus contextos
formativos.
En este sentido, se hace necesario indagar de manera sistemática por las actuaciones reales de evaluación (sus prácti-
cas) y por la manera como la evaluación es concebida por parte de quienes intervienen en ella y la definen en un contexto
determinado (sus representaciones sociales), ya que estos dos elementos podrían definir una articulación necesaria para
dar coherencia al proceso.
De acuerdo con lo anterior, se propone valorar y posicionar el lugar de la evaluación como un conjunto de prácticas y
reflexiones vinculadas al proceso formativo de la educación en su dimensión integral en el cual directivos y docentes ocu-
pan un lugar estratégico, en tanto que agentes reguladores del orden pedagógico, curricular e institucional de la escuela.
Al respecto, vale destacar que Ravela et al. (2008), por ejemplo, pese a reconocer que su estudio sobre la importan-
cia de las evaluaciones nacionales de logros educativos se centra en evaluaciones de aprendizaje1 a través de pruebas
estandarizadas y que no pretenden orientar acerca de otros aspectos también importantes de la evaluación del quehacer
educativo, aceptan que estos últimos aspectos (las evaluaciones del desempeño docente, de las políticas educativas, de los
centros educativos o aquellas que realizan los docentes en las aulas, entre otras), deben hacer parte de este proceso, con
propósitos pedagógicos curriculares e institucionales distintos, aunque complementarios, es decir, que también tienen
importancia la evaluación realizada en el aula por los docentes, la evaluación del desempeño docente, la evaluación de
los centros educativos, la evaluación de las políticas educativas, la evaluación del uso de los recursos, la evaluación de la
relevancia del currículo, etc. (pp. 5-9).
En este mismo sentido, es importante reconocer opciones sobre la mirada del ejercicio evaluativo como las propues-
tas por Jurado et al. (2010), a partir de la propuesta de un sistema institucional de evaluación de los estudiantes, enten-
dido como el proceso regulativo acordado por los miembros de la comunidad educativa, en la perspectiva de valorar los
aprendizajes de los estudiantes y las acciones internas de la institución educativa, valoración que incluye, si es del caso,
los aspectos todavía ausentes en sus aprendizajes y en el desarrollo del Proyecto Educativo Institucional. (p. 24).

Definidas como el cambio ocurrido en los conocimientos y capacidades de cada estudiante a lo largo del año lectivo-y/o de logro educativo, entendido
1

como la acumulación de conocimientos y capacidades a lo largo de toda la vida del estudiante.

5
 Con base en estos planteamientos y el diagnóstico anterior, se proponen las siguientes acciones estratégicas:

»» Diseñar, elaborar y presentar planes locales de mejoramiento y actualización docente a partir de proyectos de in-
vestigación sobre evaluación educativa, en los cuales puedan participar activamente los docentes a partir de sus
propias experiencias de aula.
»» Promover actividades de socialización entre las comunidades educativas dirigidas a concientizar sobre la necesidad
de explicar e investigar el sentido y los resultados de la evaluación, las implicaciones pedagógicas, curriculares e
institucionales derivadas de la misma y la manera de enfrentar esas implicaciones a través de propuestas de mejo-
ramiento asociadas al mejor desempeño de los estudiantes y de los docentes.
»» Presentar a las autoridades educativas locales proyectos de mejoramiento del desempeño escolar vinculados a dis-
tintos modos de evaluación, en los cuales se propongan compromisos institucionales sobre políticas de desarrollo
educativo en términos de investigación, seguimiento e implementación de innovaciones didácticas, pedagógicas y
curriculares que permitan un mejora del proceso formativo.

BIBLIOGRAFÍA

Alicia Bertoni, A., Poggi, M., & Teobaldo, M. (2009). Evaluación:
nuevos significados para una práctica. En Hacia una
cultura de la Evaluación (7-14). Buenos Aires: ONE-Censo, Dirección Nacional de Información y Evaluación de la
Calidad Educativa.
Bustamante, G. & Jurado, F. (1998). Reflexiones sobre la evaluación, a propósito del lenguaje en la escuela. En Bustamante,
G. & Jurado, F. Evaluación y Lenguaje (133-164). Bogotá: Sociedad Colombiana de Pedagogía.
Elola, N. & Toranzos, L. (2009). “Evaluación educativa:
una aproximación conceptual. En Hacia una cultura de la Evaluación
(15-16). Buenos Aires: ONE-Censo, Dirección Nacional de Información y Evaluación de la Calidad Educativa.
Jurado F., Ardila O., Ardila, O., Rodríguez, C., Rodríguez., Peña, J., Nasif, Y., Rodríguez, C., Rodríguez, N., Niño, S., Gómez, L.,
Ramírez, D. Bermúdez, H., Pérez, A., Álvarez, J., Taylor, L., Bedoya, B., Muñoz, L., Jiménez, O. & Cabrera, A. (2010). Sobre
el sistema de evaluación del aprendizaje de los estudiantes. Colección Cuadernos del Seminario en Educación, Nº 15.
Bogotá: Facultad de Ciencias Humanas. Universidad Nacional de Colombia.
Martín G., Mariano (2001). Evaluar el aprendizaje, evaluar la enseñanza. En Lomas, Carlos (comp.) ¿Educar o segregar?
Materiales para la transformación de la educación secundaria. (155-178). Bogotá: Editorial Magisterio.
Ravela, P., Arregui, P., Valverde, G., Wolfe, R., Ferrer, G., Martínez, F., Aylwin, M. & Wolff, L. (2008). Las evaluaciones educati-
vas que América Latina necesita”. Serie Documentos, Nº 40. Santiago de Chile: PREAL.

6
Evaluación orientada a la mejora
del desempeño docente.
Una experiencia en la Universidad de Colima
13 de marzo de 2015
 Evaluación orientada a la mejora
del desempeño docente.
Una experiencia en la Universidad de Colima
Sara Gricelda Martínez Covarrubias
Doctorado, Universidad de Colima, México.
saragris@ucol.mx
Mireya Isabel Cortez de la Mora
Maestría, Universidad de Colima, México.
mmora@ucol.mx
Sandra Yuriana Valadez Pintor
Licenciatura, Universidad de Colima, México.
svaladez@ucol.mx

PALABRAS CLAVE: Evaluación docente, Evaluación para la mejora, Educación superior.

EJE TEMÁTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen
En la Universidad de Colima se dispone de un sistema de evaluación de la práctica docente, y uno de sus compo-
nentes principales es la evaluación por los estudiantes. El instrumento de aplica en línea y los alumnos acceden
a él desde sus teléfonos celulares o cualquier otro dispositivo con acceso a internet. Una cuestión abierta y vo-
luntaria al final del instrumento precisa: “Lo mejor de este profesor es…” y como complemento, “Lo que debería
mejorar es…” A partir de la revisión de los comentarios de todos los estudiantes, se identificó a personal docente
cuyos alumnos de forma reiterada señalan con requerimientos en temas como relaciones interpersonales, difi-
cultades de comunicación con el alumnado, faltas de respeto, agresividad, actitudes autoritarias, problemas para
mantener un clima propicio para el aprendizaje en el aula, etc. Se procedió a generar una propuesta de formación
para apoyar estas temáticas, invitando a los docentes a incorporarse a las actividades. En la ponencia se detalla el
proceso seguido y los resultados obtenidos un semestre después de la intervención, cuando nuevamente se realizó
la evaluación de la práctica docente.

2
 INTRODUCCIÓN

Existe consenso en la idea de que el fracaso o el éxito académico de una institución de educación superior (IES) dependen
en gran medida de la calidad del desempeño de sus docentes. Se podrán perfeccionar los planes de estudio, tener excelen-
tes instalaciones y adecuados medios de enseñanza, pero sin docentes eficientes no se elevará la calidad de la educación.
En este sentido, en la Universidad de Colima la evaluación docente tiene como finalidad orientar los esfuerzos perso-
nales e institucionales hacia la mejora, así como incentivar y reconocer las buenas prácticas del profesorado en el aula,
laboratorio, taller y en general, en todos los espacios en los que se desarrollan los procesos de enseñanza aprendizaje.
En la revisión de la literatura especializada, encontramos dos posturas en relación al propósito o la finalidad de la
evaluación docente, una centrada en el control y otra orientada al desarrollo o perfeccionamiento (Zabalza, 1990). El
trabajo que aquí se presenta es el resultado de una propuesta bajo el enfoque de la evaluación formativa, que promueve
una cultura de evaluación para la mejora y perfeccionamiento de la práctica docente. Se da mayor importancia al análisis
de los resultados del ejercicio de la evaluación, siendo esta la plataforma para el diseño y la operación de programas y
acciones específicas que contribuyen a la mejora de dicha práctica.
Se fundamenta en los aportes de la Red Iberoamericana de Investigadores sobre Evaluación de la Docencia (RIIED) y
la Red de Investigadores sobre la Evaluación de la Docencia (RIED), lo que ha permitido generar una propuesta que rom-
pa con una tendencia de no utilizar los resultados de la evaluación docente para la mejora de la enseñanza e ir más allá
de asociar la evaluación del desempeño docente con la asignación de estímulos económicos y propósitos administrativos.

DESARROLLO

El Sistema de Evaluación Docente (SED) de la Universidad de Colima

El perfil docente establecido en el modelo educativo de la Institución intenta fortalecer la actuación del profesor y al mis-
mo tiempo facilitar los procesos de profesionalización de la docencia, pues considera el papel del docente como experto
en su disciplina y mediador en el encuentro del estudiante con el conocimiento.
En este tenor, a partir del 2013 se implementó una propuesta sistemática y participativa para evaluar la práctica
docente, la cual integra las perspectivas de los estudiantes, docentes y del área de gestión de los planteles (director,
subdirector, coordinador académico, asesor pedagógico, jefe de carrera), quienes realizan la evaluación desde cualquier
dispositivo con acceso a la internet, ingresando al SED a través del enlace http://sed.ucol.mx con su clave de usuario y
contraseña.
Los instrumentos de evaluación de la práctica docente se caracterizan por:

»» Estar centrados en el “deber ser” del perfil docente del modelo educativo.
»» Tener un número reducido de preguntas.
»» Estar diseñados de manera sencilla, con la intención de que no resulten tediosos, cansados y al final, poco productivos.
»» Ser de aplicación general para todos los cursos de la Institución.
»» Disponer de una autoevaluación docente y la evaluación del área de gestión por profesor, no por asignatura.

Evaluación por estudiantes

Permite conocer los elementos clave del proceso de enseñanza aprendizaje que son comunes a los distintos niveles
y tipos de propuestas curriculares; lo que ayuda a lograr la comparabilidad de los resultados a nivel institucional. El
instrumento está dirigido a estudiantes de nivel medio superior, superior y de posgrado. Se compone de 14 ítems orga-
nizados en 4 dimensiones: competencias profesionales, habilidades y estrategias didácticas, evaluación del aprendizaje

3
 y actitudes y valores. Así mismo incluye una cuestión abierta sobre “lo mejor de este profesor” y “lo que debería de
mejorar”. Finalmente, el estudiante califica en una escala “máximo” a “ninguno” el esfuerzo realizado en el curso y en una
escala de 0 a 10, le asigna una nota a cada profesor.

Autoevaluación docente

El docente como protagonista del proceso de enseñanza valora su propio desempeño en función de sus capacidades y
limitaciones, lo que queda plasmado en su autoevaluación. Es de carácter voluntario, y una vez realizada presenta al pro-
fesor sus resultados contrastados gráficamente con los de la evaluación realizada por los alumnos y con el reporte global
del área de gestión académica. El instrumento se compone de 23 ítems organizados en dos dimensiones (mi trabajo con
los estudiantes y participación en la gestión escolar), así como de tres apartados que cuestionan sobre el proceso de ense-
ñanza aprendizaje, áreas prioritarias de formación docente y los cambios a realizar para mejorar la práctica docente. Un
aspecto a resaltar es que los profesores a través de un portafolio electrónico pueden conocer los resultados de su evalua-
ción al final de cada semestre, mismos que se van acumulando y esto le permite el seguimiento de su desempeño docente.

Evaluación de la actividad docente por el área de gestión académica del plantel

El equipo directivo tiene una percepción directa del desempeño de los docentes, es el grupo indicado para identificar
con precisión los aspectos a modificar en la práctica docente y otras actividades relacionadas directamente con ella,
mediante acciones específicas. El director de cada plantel es el responsable de la realización de esta evaluación auxi-
liándose de los demás integrantes del cuerpo directivo (subdirector, coordinador académico, asesor pedagógico y jefe
de carrera). El instrumento se compone de 14 ítems organizados en 3 dimensiones (actitud hacia el trabajo docente,
participación en la gestión escolar, y compromiso con los valores institucionales), así como una sección para comenta-
rios u observaciones.

Usuarios del SED

Los estudiantes evalúan a sus profesores cada semestre, en los meses de mayo y noviembre, mientras que los docentes
realizan de manera voluntaria su autoevaluación y el área de gestión académica de cada bachillerato, escuela o facultad,
evalúa a los profesores una vez al año, en el mes de noviembre.
Además del profesorado, que es el destinatario más importante del SED, el Sistema también es consultado por de-
pendencias responsables de áreas sustantivas de la Institución, instancias que coordinan los servicios educativos insti-
tucionales y áreas de gestión de los recursos humanos vinculadas al quehacer del profesorado. La Dirección General de
Desarrollo del Personal Académico (DiGeDPA) es la instancia responsable de operar el proceso de evaluación.
La DiGeDPA como administradora general del SED, accede a reportes y estadísticas de avance de la evaluación, resul-
tados por nivel educativo, por plantel, profesor, asignatura, etc. Similar acceso tienen la Dirección General de Educación
Superior (con acceso a los datos de licenciatura y posgrado) y la Dirección General de Educación Media Superior (con
acceso a los datos de todos los planteles de bachillerato). La Coordinación General de Docencia y la Dirección General de
Recursos Humanos cuyo alcance es institucional.
A su vez, cada director/a de plantel cuenta con clave como usuario y contraseña que le permite acceder al sistema y
consultar los resultados de la evaluación realizada por los estudiantes, así como evaluar a los profesores del bachillerato,
escuela o facultad de que se trate.
Es importante señalar que los resultados cuantitativos del SED se utilizan para la toma de decisiones en los siguien-
tes procesos: reconocimiento anual a los mejores docentes, puntuaciones acreditables en programas de estímulos a los
profesores de tiempo completo, procesos de ratificación de contratos en las nuevas plazas de tiempo completo, y como
insumo para otras decisiones en casos específicos.

4
 Los resultados del SED

Desde su primera aplicación el SED ha presentado buenos resultados. Las puntuaciones obtenidas por el profesorado en
general han sido más elevadas que con el instrumento que fue utilizado hasta el 2012.1 Lo anterior puede resultar un poco
“sospechoso” e inducir a pensar que el profesorado ha mejorado sustancialmente su práctica docente, como se aprecia
en el cuadro siguiente:

Cuadro 1  Resultados institucionales del SED, considerando algunos ítems

Ítem 2013-1 2013-2 2014-1

Demuestra dominio en los temas del curso (puntuación mayor) 93.1 93.6 93
Promueve el uso de las tecnologías de la información y comunicación (puntuación menor) 82.7 83.2 84.2

En particular destacan los ítems que a nivel institucional tienen los puntajes extremos. El alumnado reconoce en lo ge-
neral el expertise docente en términos de manejo de las temáticas y contenidos del curso, y de igual forma, los resultados
más bajos a nivel institucional son los referentes a la incorporación de las TIC en el proceso de enseñanza-aprendizaje,
asociados sin duda a las desiguales condiciones de acceso a este tipo de recursos ya que la institución tiene planteles
incluso en zonas rurales y por otro lado, los procesos de capacitación y actualización en esta materia no han sido impul-
sados fuertemente en los últimos años, entre otras varias razones.2 Estos resultados se mantienen como los ítems con
puntuaciones extremas en los tres semestres analizados.

Lo mejor y lo peor…

A partir de la información recuperada en la evaluación docente realizada por los estudiantes en el semestre 2013-1, se
revisaron los comentarios expresados en la pregunta abierta “Lo mejor de este profesor es” y “lo que debería mejorar”.
El análisis de la información permitió identificar aspectos recurrentes en los comentarios de los estudiantes, y para ra-
tificar las apreciaciones reiteradas, se contrastaron los datos con los resultados del semestre 2013-2, ya que existe muy
reducida movilidad docente y en general se trató de los mismos profesores, salvo alguna jubilación o situación particular.
En “lo mejor”, es constante el reconocimiento a la gran mayoría del profesorado, por su dominio de los temas, formas
de trabajo docente, preparación de clases, apropiada actitud, y afortunadamente, un largo etcétera.
En cuanto a los aspectos que el profesorado debe mejorar, los cuales representan la preocupación principal de la
DiGeDPA como instancia responsable de la formación y actualización del profesorado en la institución, se identificaron
seis temas recurrentes como áreas de oportunidad:

»» Asistencia y puntualidad
»» Dominio de la disciplina
»» La forma de explicar la clase
»» Planeación y desarrollo de la materia
»» Evaluación del aprendizaje
»» Comunicación docente-alumno y relaciones interpersonales

La presencia de estas observaciones es variable, aquí nos interesa destacar específicamente la última de ellas, al res-
pecto de la cual, del total de profesores en el periodo considerado (1791), recibieron este tipo de apreciaciones negativas
de forma reiterada el 5.9% (107 profesores).

1
La Universidad de Colima ha realizado procesos sistemáticos de evaluación docente desde hace 30 años, primero en formato impreso y posteriormente
en un sistema en línea que tuvo diferentes versiones.
2
En marzo de 2014, para iniciar la búsqueda de opciones de mejora en esta materia se realizó un diagnóstico aplicando la prueba Competencia Digital
para la Educación y el Trabajo (Codiet), y sus resultados constituyen un insumo para el diseño de la estrategia de formación docente que debe
emprenderse en la Institución.
5
 La estrategia de mejora

Como resultado de este análisis, se programaron acciones formativas específicas. Se identificó a los docentes que debe-
rían fortalecer la relación/convivencia con los estudiantes, lo anterior de acuerdo las apreciaciones generadas en el SED.
Para ello se diseñaron cursos-taller que tuvieron como propósito central fortalecer las habilidades de liderazgo ne-
cesarias para interactuar en el salón de clases, reconociendo la esencia o identidad de los alumnos como seres únicos y
valiosos. Esta acción se realizó con la colaboración con la Dirección General de Orientación Educativa y Vocacional, así
como con la participación de docentes de la Facultad de Psicología y de un facilitador externo.
Los docentes en cuestión fueron invitados a participar en los cursos-taller de manera directa. En la siguiente gráfica
se especifica el número de profesores convocados y los que finalmente participaron en la formación.

Gráfica 1  Docentes convocados y asistentes por nivel educativo

La realización de los cursos-taller no estuvo exenta de problemas. Uno de ellos fue la resistencia a participar de los
docentes, por sentirse señalados o atacados al recibir una invitación personal en la que aun cuando se cuidaron las for-
mas, era claro, fue motivada por las quejas del alumnado, de tal suerte que del total de docentes convocados únicamente
se contó con la participación del 58 profesores (54.2%).
No obstante, la calidad de los instructores y la forma apropiada de manejar la temática en general rindió buenos
resultados, que se manifestaron en los comentarios finales de los participantes al cierre de los cursos y en la evaluación
de los mismos.

Los resultados

Los resultados de los docentes que participaron en los cursos-taller fueron los siguientes:

Cuadro 2 Apreciación de la mejora, expresada por los estudiantes

en la evaluación posterior al curso-taller (2014-1)

Nivel
Resultado en el ítem: “Lo mejor de este Total
Medio superior Superior
profesor/a es” y “Lo que debería mejorar”
Núm. % Núm. % Núm. %
Sin cambios 8 27 3 11 11 19
Cambio moderado 13 43 13 46 26 45
Cambio acentuado 9 30 12 43 21 36
Total de profesores 30 100 28 100 58 100

6
 La modificación en la percepción estudiantil del desempeño en el área de relación interpersonal y comunicación do-
cente-alumno fue muy evidente, ya que en el 81% de los que acudieron a las actividades de formación hubo mejora en las
actitudes, más notables en el profesorado del nivel superior.
Como ejemplo de ello de los comentarios recibidos antes y después de la intervención, se puede ver el siguiente cua-
dro, relativo a un docente del nivel superior.

Cuadro 3  Ejemplos de comentarios recibidos por un profesor que participó en los cursos-taller

Evaluaciones 2013-1 2013-2 (antes) Evaluaciones 2014-1 (después)

“Lo que debería mejorar” “Lo mejor de este profesor es”
“Su carácter y actitud.” “Para mi es de los mejores que tiene la facultad.”

“Es no ser prepotente ni sentir que todo lo puede, debe ser

“Siga con ese entusiasmo de ver triunfar a los alumnos.”
humilde porque es muy creído.”

“Que siempre está ahí para esclarecer nuestras dudas,

“Su actitud más flexible para los alumnos.”
“Sinceramente, solamente he recibido de usted solo insultos
tanto como a mi persona como, a mi formación profesional,
es un maestro sin ética, sin principios, que no lleva al alumno
a creer en él, si no lo contrario, lo único que hace es hacerte sentir
que no sabes nada, para mí es un maestro malo.”
“La comunicación hacia los alumnos.”
sin importar que sea en tiempo fuera de clase.”
“Da la confianza a sus alumnos de expresar ideas
y puntos de vista promueve la interacción y el buen
ambiente entre los alumnos buen profesor.”
“Es un profesor fenomenal.”

Desafortunadamente, de los 107 docentes en quienes inicialmente se detectaron necesidades de formación en comu-
nicación docente-alumno y relaciones interpersonales en el aula, solamente se pudieron lograr mejoras en 47 de ellos, lo
que representa el 44%. Se debe insistir en la atención del resto de este grupo docente y adicionalmente, continuar con el
apoyo a quienes ya emprendieron este proceso de mejora.

CONCLUSIONES

El SED ha permitido integrar las perspectivas de actores básicos en el proceso de valorar la práctica docente: alumnos,
profesores y el área de gestión. La parte más rica de estos procesos no es la asignación de puntuaciones, sino los ele-
mentos cualitativos que permiten llegar a identificar con mayor detalle las áreas a mejorar. Sin embargo, los usos del
SED, asociados también a otras necesidades institucionales centrados en las puntuaciones, han sido hasta ahora los más
generalizados.
El SED permite cerrar el círculo de diagnóstico —toma de decisiones, intervención orientada a la mejora— retroali-
mentación, en un proceso que puede ayudar a la Institución a la mejora continua del profesorado. Es necesario fortalecer
este uso de la evaluación orientado a la mejora, rescatando no solamente lo que se afirma “debe mejorar” el profesorado,
sino también las buenas prácticas que se reconocen en la gran mayoría de los profesores, para que ellos ejerzan un efecto
positivo en los colegas con mayores áreas a mejorar. En otros casos, la intervención requiere formación especializada:
didáctica, evaluación, etc.
Los procesos de formación deben ser continuos y contar con el apoyo de los tomadores de decisiones para garantizar
que la totalidad del profesorado que lo requiera se involucre en las actividades de mejora, siendo éstas obligatorias.

7
 BIBLIOGRAFÍA

Aguirre et al. (2000). Evaluación integral de la docencia: una propuesta formativa y humanista. Evaluación de la práctica
docente en Educación Superior (Compendio). México: Porrúa.
Audirac Augusto Carlos Camarena (2011).Sistematización de la Práctica Docente: posturas personales ante la educación,
enfoque de la práctica docente, evaluación reflexiva, estrategias educativas aplicadas. México, Trillas.  
Arbesú García, María Isabel y Alma Elena Figueroa Ruvalcaba (2003). La evaluación docente como un proceso de diálo-
go, comprensión y mejora de la práctica. En Rueda Beltrán Mario, Frida Díaz- Barriga Arceo y Mónica Díaz Pontones.
Evaluar para comprender y mejorar la docencia en educación superior (161-174). México: UAM, UNAM, UABJO.
Bolseguí, Milagros y Antonio Fuget Smith (2006). Cultura de la evaluación: Una aproximación conceptual. Revista de Inves-
tigación y Postgrado, año/vol. 21 número 001. Universidad Pedagógica Experimental Libertador. Caracas, Venezuela.
Cortez de la Mora, Mireya Isabel (2013). Propuesta para evaluar la práctica docente en la Universidad de Colima. (Tesis
de Máster/Especialidad, programa de doble grado, no publicada) Universidad de Barcelona/Universidad de Colima.
Díaz- Barriga Arceo, Frida (2003). Aspectos éticos de la evaluación de la docencia. En Rueda Beltrán Mario et al. Evaluación
para comprender y mejorar la docencia en educación superior. México: UAM/UNAM/UABJO
Memorias del I Coloquio Iberoamericano. La Evaluación de la Docencia Universitaria y No Universitaria: Retos y Perspec-
tivas. Revista Iberoamericana de Evaluación Educativa 2010 - Volumen 3, Número 1e.
Monroy Farías, Miguel y Díaz Pontones, Mónica (2003). La evaluación de la docencia a través de la reflexión de las teorías
y creencias docentes. En Rueda Beltrán Mario, Frida Díaz- Barriga Arceo y Mónica Díaz Pontones. Evaluar para com-
prender y mejorar la docencia en educación superior (227-236). México: UAM, UNAM, UABJO.
Rueda Beltrán Mario, Edna Luna Serrano, Benilde García Cabrera y Javier Loredo Enríquez (2010). La evaluación de la do-
cencia en las universidades públicas mexicanas: un diagnóstico para su comprensión y mejora. Revista Iberoamericana
de Evaluación Educativa 2010 - Volumen 3, Número 1e.
Rueda Beltrán Mario y F. Díaz–Barriga (Coord.) (2011), La evaluación de la docencia en la universidad. Perspectivas desde
la investigación y la intervención profesional. Segunda edición México, iisue.
Rueda Beltrán Mario (Coord.) (2011) ¿Evaluar para controlar o para mejorar?: Valoración del desempeño docente en las
universidades. México, iisue.
Universidad de Colima (2010). Modelo Educativo en Visión 2030. Ejes para el desarrollo institucional.
Universidad de Colima. Sistema de Evaluación Docente. Disponible en: http://sed.ucol.mx
Zabalza, M.A (1990). Evaluación orientada al perfeccionamiento, en Revista Española de Pedagogía.

8
Características de los estudiantes
asociadas a la evaluación del desempeño
docente en bachillerato
13 de marzo de 2015
 Características de los estudiantes
asociadas a la evaluación del desempeño
docente en bachillerato
Julio Herminio Pimienta Prieto
Esteban Flores Díaz
Isabel Rodríguez Rebolledo

PALABRAS CLAVE: N ivel medio superior, evaluación de la docencia, percepción de los estudiantes,
características de los estudiantes.
EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
En esta ponencia se presenta un avance resultante de un piloteo para una investigación que entre otras cuestiones,
pretende asociar algunas características de los estudiantes a los niveles de desempeño de profesores de bachille-
rato, producto de la aplicación de un cuestionario a los alumnos. Para ello se ha utilizado un modelo de regresión
logística multinomial que aunque pertinente, denota la necesidad de encontrar mejores estimadores para optimi-
zar la clasificación. En el estudio han participado un total de 418 estudiantes de un bachillerato particular (de nivel
socioeconómico medio bajo) de la Ciudad de México, que han evaluado la actuación de su profesor de matemáticas
utilizando un cuestionario tipo escala de Likert con rango entre uno y cinco. Los resultados apuntan a una clara
preferencia a evaluar en niveles bajo y medio el desempeño de los profesores, a estudiantes que viven con ambos
padres y poseen computadora en casa, lo que nos habla de un cierto nivel socioeconómico, poseen una escasa
biblioteca y su rendimiento académico es medio o bajo. Por otro lado, se asocian a la evaluación de altos niveles
de desempeño, a estudiantes que viven con ambos padres, proceden de escuelas privadas, el nivel escolar de los
padres llega a licenciatura o más y sus promedios del nivel escolar anterior son medios altos o altos (8 puntos o
más en una escala de 10). Lo anterior nos lleva a confirmar la necesidad de utilizar este tipo de cuestionarios como
parte de una evaluación integral de la docencia y fundamentalmente con un fin formativo.

2
 INTRODUCCIÓN

El impacto de la actuación docente en el rendimiento académico de los estudiantes ha sido muy estudiado en el último
tiempo, es bien conocido y lógico, el que los profesores con alto nivel de competencia generan altos niveles de logro en sus
estudiantes. Estudios actuales constatan la relación de las encuestas de evaluación docente con el rendimiento académico
de los alumnos (La Serna, et al., 2014), cuestión que nos habla de la actualidad y relevancia del tema; sin embargo, una
cuestión asociada que llama nuestra atención y que consideramos escasamente estudiada, hasta lo que hemos revisado
en este momento, es la referida a cuáles son las características de los estudiantes que evalúan a los docentes en niveles
altos de competencia. Ello, por el llamado que nos hace un grupo importante de serios investigadores que advierten de
esta situación (Páramo, 2008; La Serna, et al., 2014), y que denotan la carencia de objetividad en estos instrumentos como
medio para la obtención de información que permita la toma de decisiones trascendentes con los docentes.
El presente trabajo en el marco de un estudio piloto, pretende por un lado, obtener una clasificación del desempeño
de los docentes desde la percepción de los estudiantes: en alto, medio y bajo y, por otro, determinar las características
de los alumnos que se asocian con esta clasificación; entendiendo que en este momento las características medidas a los
estudiantes constituyen una exploración dentro de un grupo de deseables y que por la limitación del muestreo, pudieran
no ser las relevantes a tomar en cuenta en el estudio definitivo.
Para evaluar el desempeño docente, Perrenoud (2007, 2012), Mateo (2006) , Zabalza y Zabalza (2010, 2012) mencio-
nando algunos autores, han planteado que es posible valorar la actuación del profesor considerando una serie de rasgos
dentro de una gran gama de posibilidades; pero, que de forma general, dan una buena idea de cómo se desempeña este
importante actor y qué considerar para proceder a su evaluación.
Muñoz, Ríos y Abalde (2002) en su estudio sobre la revisión de instrumentos que se han utilizado en diversas univer-
sidades españolas, han propuesto uno para evaluar la docencia desde la perspectiva de los estudiantes, mismo que si lo
comparamos con lo que pretende la reforma educativa emprendida en México para el nivel medio superior, no dista tanto
de lo que se propone como competencias deseables en el docente en este nivel.
A propósito, el Acuerdo 447 de la Secretaría de Educación Pública de México, marca que “las competencias docentes
son las que formulan las cualidades individuales, de carácter ético, académico, profesional y social que debe reunir el
docente de la EMS (Educación Media Superior), y consecuentemente definen su perfil”. (SEP, 2008, 2), estableciendo con
ello, una gama de actuaciones que debe poseer este profesional de la educación, que mencionamos a continuación:

1. Organiza su formación continua a lo largo de su trayectoria profesional.

2. Domina y estructura los saberes para facilitar experiencias de aprendizaje significativo,.
3. Planifica los procesos de enseñanza y de aprendizaje atendiendo al enfoque por competencias, y los ubica en contex-
tos disciplinares, curriculares y sociales amplios.
4. Lleva a la práctica procesos de enseñanza y de aprendizaje de manera efectiva, creativa e innovadora en su contexto
institucional.
5. Evalúa los procesos de enseñanza y de aprendizaje con un enfoque formativo.
6. Construye ambientes para el aprendizaje autónomo y colaborativo.
7. Contribuye a la generación de un ambiente que facilite el desarrollo sano e integral de los estudiantes.
8. Participa en los proyectos de mejora continua de su escuela y apoya la gestión institucional.

Como es posible advertir, no es factible evaluar todas las actuaciones anteriores considerando la perspectiva de los
estudiantes; pero, la inmensa mayoría (seis de los ocho), si se pueden poner a consideración de los alumnos. Hemos con-
siderado no enfrentar las actuaciones deseadas “1” y “8” al juicio de los estudiantes.
Tomando en cuenta lo anterior, hemos utilizado un instrumento basado en uno validado con anterioridad por Pi-
mienta (2014) y que está conformado por 26 afirmaciones que los estudiantes deben valorar sobre las actuaciones que
aprecian en sus profesores, en un continuo entre 1 y 5, considerando que el 1 significa estar “muy en desacuerdo” y el 5,
“muy de acuerdo”.

3
 Presentamos a continuación las dos dimensiones que conforman el instrumento y sus respectivos indicadores.

Tabla 1  Especificaciones del Cuestionario de Alumnos para Evaluar la Docencia (CAED)

Dimensiones Indicadores %
• Pretensiones del programa.
• Relación clases – programa.
• Lógica de las sesiones.
• Percepción del dominio de las competencias pretendidas.
• Cumplimiento del programa.
• Reactivación de saberes previos.
• Mediación necesaria para el logro de las competencias.
• Organización de los saberes.
• Aplicación de los saberes.

Didáctica • Situaciones de aprendizaje. 73

• Participación de los estudiantes en las evaluaciones.
• Retroalimentación sobre las evaluaciones.
• Evaluación oportuna.
• Relación evaluación – programa – sesiones.
• Interdisciplinariedad.
• Trabajo individual y colaborativo.
• Recursos pertinentes.
• Utilización de la tecnología.
• Estrategias propiciadoras de aprendizaje.

• Equidad en el trato.
• Claridad de la comunicación.
• Ambiente propicio para el aprendizaje.

Ambiente modificante • Práctica de valores éticos. 27

• Involucramiento de los estudiantes en las tareas.
• Empatía.
• Respeto a la diversidad.

DESARROLLO

A continuación describimos la muestra de estudiantes participantes en el estudio.

Casi la mitad de estudiantes son hombres, 49.8% (208) y la otra, el 50.2% (210) mujeres. La mayoría proviene de
escuelas secundarias particulares, el 75.1% (314); mientras que el 24.9% (104) proviene de escuelas gubernamentales.
Atendiendo al nivel escolar del padre: el 1.7% (7) no ha terminado la primaria, el 3.8% (16) posee primaria, el 13.6%
(57) secundaria, el 32.1% (134) secundaria, el 34.9% (146) posee licenciatura, el 8.4% (35) posee maestría y el 5.5%
(23) posee doctorado. Con respecto a las mamás, la distribución del nivel escolar se diferencia en que en estas últimas,
encontramos mayor cantidad en los niveles de secundaria y preparatoria: el 1.9% (8) no ha concluido la primaria, el 5%
(21) primaria, 21.1% (88) secundaria, 36.4% (152) preparatoria, 26.1% (109) licenciatura, el 6.7% (28) maestría y solo
el 2.9% (12) doctorado.
La mayoría de los estudiantes vive con ambos padres 74.6% (312), el 19.9% (83) vive con la madre y el 3.8% (16) con
el padre, el 1.7% (7) vive con algún otro familiar. En casa la inmensa mayoría posee computadora 92.3% (386), contra un
7.7 (32) que no la poseen. El 42.6% (178) reporta tener hasta 50 libros en casa, el 28.7% (120) posee entre 51 y 100, el
12.4% (52) reporta que posee hasta 150 libros en casa, mientras que el 10% (42) manifiesta que posee hasta 200 ejem-
plares y el 6.2% (26) plantea tener hasta 300 libros.
Con la intención de realizar la clasificación del desempeño docente, hemos aplicado un modelo de regresión logística
multinomial (Hosmer & Lameshow, 2000; Kleinbaum y Klein, 2010).
Para cada reactivo se determinaron las frecuencias de cada una de las opciones y se pudo apreciar que son similares
en cuanto a su distribución. La Fig. 1, muestra las gráficas de violín en las que se puede distinguir lo anterior. La única
diferencia la encontramos en el R3 (reactivo 3), en el que la mayoría ha seleccionado las opciones 3 y 4.

4
 Figura 1  Gráficas de violín para cada uno de los reactivos

Posteriormente se procedió a realizar un análisis de correlación entre los ítems. Se calcularon las matrices de corre-
lación de Pearson, Spearman y Kendall, con lo cual determinamos que las variables no se encuentran significativamente
relacionadas. A continuación mostramos un ejemplo de gráficas de correlación spider, que muestran lo planteado.

5
 Figura 2  Gráficas de correlación

Para la construcción de la variable respuesta se ha tomado en cuenta la distribución de frecuencias de cada reactivo
de la escala.

Tabla 2  Distribución de frecuencias para los valores de la escala

Valor Frecuencia absoluta Frecuencia relativa Frecuencia acumulada Frecuencia acumulada relativa
1 352 0.032 352 0.032
2 703 0.065 1 055 0.097
3 2 074 0.191 3 129 0.288
4 4 461 0.410 7 590 0.697
5 3 293 0.303 10 883 1
Total 10 883 1

Tabla 4  Distribución de frecuencias para los niveles de desempeño

Valor Frecuencia absoluta Frecuencia relativa Frecuencia acumulada Frecuencia acumulada relativa
Bajo (1y 2) 1 055 0.097 1 055 0.097
Medio (3 y 4) 6 535 0.600 7 590 0.697
Alto (5) 3 293 0.303 10 883 1
Total 10 883 1.0

La variable respuesta (YD) varía entonces entre 26 y 130, de ello se establece que la proporción acumulada se encon-
trará entre 0 y 1, con un 9.7% de evaluaciones de bajo desempeño, 60% medio y 30,3% alto.

6
 Finalmente, las proporciones finales para la variable respuesta son:

Tabla 5  Variable de respuesta YD

Puntaje Final Variable respuesta

Clasificación Límite Inferior Límite Superior Frecuencia YD
Bajo 26 79 39 0.093
Medio 80 110 250 0.692
Alto 111 130 129 1
Total 418

Encontrándonos ante una medida ordinal, hemos formado un conjunto de variables de diseño, como plantean Homer
y Lameshow (2000), con lo que solventamos la anterior situación.

Tabla 6  Variables de diseño

Categoría MPi,1 MPi,2 MPi,3 MPi,4

Muy en desacuerdo (1) 0 0 0 0
En desacuerdo(2) 1 0 0 0
Ni en acuerdo, ni en desacuerdo(3) 0 1 0 0
De acuerdo (4) 0 0 1 0
Muy de acuerdo (5) 0 0 0 1

Hemos utilizado un modelo de regresión logística multinomial, puesto que tenemos en nuestro caso, tres categorías
que expresan los niveles de desempeño docente.
En la regresión logística la variable dependiente, ha sido la función de distribución acumulada logística, definida como:

e g(x)
F(x) = P (X ≤ x) =
1 + e g(x)

donde F(x) denota una probabilidad en el rango en [0,1], y

g(x) = �0 + �1 x 1 + �2 x 2 + … + �p x p

El modelo de regresión logística multinomial queda definido como

e g(MP)
F(MP) =
1 + e g(MP)

donde:

MP = MP1 + … + MP26 , y cada MPi = MPi, 1 + MPi, 2 + MPi, 3 + MPi, 4 , por lo que cada una de las variables ordinales se reemplaza
por sus variables de diseño definidas anteriormente, finalmente:

g(MP) = �0 + �1, 1 MP1, 1 + �1, 2 MP1, 2 + �1, 3 MP1, 3 + �1, 4 MP1, 4 + …
+ �26, 1 MP26, 1 + �26, 2 MP26, 2 + �26, 3 MP26, 3 + �26, 4 MP26, 4

7
 Se han encontrado los estimadores de los coeficientes Bi, j , en esta regresión se determinó que solo 48 coeficientes son
significativos, mismos que corresponden a los reactivos: 2, 5, 6, 8, 11, 13, 15, 17, 22, 23, 24 y 26.
Una vez obtenido el modelo de regresión logística se procede a pronosticar la evaluación después de la intervención
educativa, es decir con las evaluaciones en las que participaron los alumnos al finalizar el ciclo escolar.
Los cambios en las evaluaciones se muestran en la Tabla 7, ahora la frecuencia más alta la tiene la categoría Alto con
un 57.7%, después le sigue Medio con un 36.8% y al final la clasificación Bajo con tan solo el 5.5%.

Tabla 7  Frecuencias y porcentajes atendiendo a los niveles de desempeño

Clasificación Posterior
Total
Clasificación Previa Bajo Medio Alto
3 14 22 39
Bajo
13.0% 9.1% 9.1% 9.3%
13 101 136 250
Medio
56.5% 65.6% 56.4% 59.8%
7 39 83 129
Alto
30.4% 25.3% 34.4% 30.9%
23 154 241
Total 418
5.5% 36.8% 57.7%

Los estudiantes que evaluaron en un nivel bajo el desempeño de los profesores y que no cambiaron su percepción,
13% (puesto que se aplicó el cuestionario tres semanas después de comenzar el curso y al finalizar) acerca de la evalua-
ción, viven con ambos padres, cuentan con computadora en casa y presentan una cantidad reducida de libros en el hogar
(entre 1 y 50). Los que evaluaron como de nivel medio a su profesor (65.6%) y se mantuvieron en esa clasificación, son
principalmente mujeres que viven con ambos padres, la escuela de procedencia es privada, el nivel escolar de la madre
es por debajo de preparatoria, en el caso de los padres la mayoría tiene licenciatura o más y el promedio obtenido en
secundaria está por debajo de 7.8 puntos.
Ahora se verán las características en los casos extremos, primero los alumnos que inicialmente evaluaron bajo y al
final alto, en su gran mayoría viven con ambos padres, la escuela de procedencia con más peso en este grupo es la oficial,
el nivel escolar de la madre está en promedio por debajo de la preparatoria y el del padre a lo sumo, llega a la licenciatura,
en ambos casos hay presencia de niveles escolares bajo hasta Preprimaria y Primaria en la escolaridad de los padres.
El otro caso extremo sería cuando antes evaluaron alto y posteriormente, bajo, las características encontradas son:
proceden de escuelas particulares, el nivel escolar de la madre está entre secundaria y preparatoria, y del padre entre
preparatoria y universidad.

CONCLUSIONES

Por el momento consideramos que es viable la clasificación de los estudiantes mediante un modelo de regresión logís-
tica multinomial; sin embargo, es pertinente tomar la decisión de trabajar en un modelo con mayor robustez, lo que
redundará en que se optimice la clasificación en los niveles de desempeño de los profesores por parte de los estudiantes.
Ello, debido a que el modelo que mida la percepción de los alumnos debe ser tal que capture y sea capaz de resistir a
respuestas atípicas de los estudiantes, como por ejemplo, el que seleccionen solamente la opción más baja, la más alta o
combinaciones no aleatorias de las posibilidades de la escala.
Se denota una clara preferencia a evaluar en niveles bajo y medio el desempeño de los profesores, a estudiantes que
aunque viven con ambos padres y poseen computadora en casa, lo que nos habla de cierto nivel socioeconómico, poseen

8
 una escasa biblioteca y su rendimiento académico es medio o bajo. Por otro lado, se asocian a la evaluación de altos ni-
veles de desempeño, a estudiantes que viven con ambos padres, proceden de escuelas privadas, el nivel escolar de los
padres llega a ser de licenciatura o más y sus promedios del nivel anterior son medios altos o altos (8 y más puntos).
Consideramos que deben considerarse con mesura los resultados que arrojan este tipo de cuestionarios para tomar
decisiones, sobre todo ahora con la reforma constitucional en México que considera la permanencia en el Servicio Profe-
sional Docente y para lo cual, este tipo de herramientas podría ser utilizado (Cordero y Luna, 2014). Estudios clásicos han
documentado que grupos de estudiantes que obtuvieron puntajes altos en los exámenes evalúan mejor a sus profesores
(García Garduño, 2008), cuestión que se va registrando, también, en nuestro estudio. Una implicación de esta incipiente
investigación para la mejora de la práctica docente, pudiera vislumbrarse en el sentido de considerar que la evaluación de
la docencia por parte de los estudiantes se relaciona íntimamente con la percepción de logro de los mismos. Finalmente,
es muy limitado el aporte que presentamos, considerando que es un piloteo en el que además, no han sido significativas
variables relevantes como características de los estudiantes que pudiéramos relacionar, por ejemplo, procedencia de una
escuela privada. (La Serna, et al., 2014)

REFERENCIAS

Bravo, D., Falck, D. González, R., Manzi, J. y Peirano, C. (2008). La relación entre la evaluación docente y el rendimien-
to de los alumnos: Evidencia para el caso de Chile. En: http://www.ceppe.cl/images/stories/recursos/publicaciones/
Jorge%20Manzi/La-relacin-entre-la-evaluacion-docente-y-el-rendimiento-de-los-alumnos.pdf
Cordero, G. y Luna, E. (2014). El Servicio Profesional Docente en la perspectiva de los sistemas nacionales de formación de
profesores y de evaluación. El caso de México. Revista Iberoamericana de Evaluación Educativa, 7(2), 75-84.
García Garduño, J. (2008). La investigación sobre efectividad docente en Estados Unidos y el uso de los cuestionarios de
evaluación. En: Rueda, M. (Coord.). (2008). La evaluación de los profesores como recurso para mejorar su práctica.
México: ISUE. Universidad Nacional Autónoma de México.
Hosmer, D. y Lameshow, S. (2000). Applied Logistic Regression. New York, USA: Wiley.
Kleinbaum, D. y Klein, M. (2010). Logistic Regression. A Self-Learning Text. New York, USA: Springer.
La Serna, K., Becerra, A., Beltrán, A. y Zhang, H. (2014). La relación de las encuestas de evaluación con el rendimiento
académico: La evidencia empírica en la Universidad del Pacífico. Revista Iberoamericana de Evaluación Educativa.
7, (2), 105-116.
Luna, E. y Rueda, M. (2008). Estado del conocimiento sobre la evaluación de la docencia universitaria 1990-2004. En:
Rueda, M. (Coord.). (2008). La evaluación de los profesores como recurso para mejorar su práctica. México: ISUE.
Universidad Nacional Autónoma de México.
Mateo, J. (2006). La evaluación educativa, su práctica y otras metáforas. Lima, Perú: Alfaomega.
Muñoz, J., Ríos, M y Abalde, E. (2002). Evaluación docente vs. evaluación de la calidad. Revista Electrónica de Investigación
y Evaluación Educativa (Relieve), 8(2), 103-134.
Páramo, P. (2008). Factores psicosociales asociados a la evaluación del docente. Educación y Educadores, 11(1), 11-30.
Perrenoud, P. (2012). Cuando la escuela pretende preparar para la vida. ¿Desarrollar competencias o enseñar otros saberes?
Distrito Federal, México: Graó.
Perrenoud, P. (2007). Diez nuevas competencias para enseñar. Distrito Federal, México: Graó.
Pimienta, J. (2014). Elaboración y validación de un instrumento para la medición del desempeño docente basado en com-
petencias. Revista de docencia universitaria, 12(2), 231-250.
S.E.P. (2008). Acuerdo número 447 por el que se establecen las competencias docentes para quienes impartan educación
media superior en la modalidad escolarizada. México: Diario Oficial.
Zabalza, M. y Zabalza, Ma. A. (2012). Profesoras, profesores y profesión docente. Entre el ser y el estar. Madrid, España:
Narcea.
Zabalza, M. y Zabalza, Ma. A. (2010). Planificación de la docencia en la universidad. Elaboración de guías docentes de las
materias. Madrid, España: Narcea.

9
Modelo para análisis de pruebas
aplicadas a varias poblaciones
13 de marzo de 2015
 Modelo para análisis de pruebas
aplicadas a varias poblaciones

Diana Stella Antonio Rojas

Maestría en Estadística, Universidad Nacional, Colombia.
dsantonior@unal.edu.co

PALABRAS CLAVE: T eoría de respuesta al ítem, modelos jerárquicos, funcionamiento diferencial del ítem,
dimensiones de los trazos latentes.
EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
Se propone un modelo para analizar datos resultantes de la aplicación de una prueba multidimensional a varias
poblaciones, entre las cuales se presentan diferencias en los parámetros de los ítems. Se presentan resultados de
la aplicación del modelo propuesto a datos simulados y a una muestra de datos reales provenientes del Primer
Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados en Tercero y Cuarto Grado
(PERCE), que fue aplicada por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación. Los
datos fueron suministrados por el Instituto Colombiano para la Evaluación de la Educación (ICFES). Se usa una
muestra de datos de tres países: Bolivia, Colombia y Cuba.

INTRODUCCIÓN

En ocasiones se aplican pruebas a poblaciones agrupadas internamente, donde, por diversas razones, como: sistemas
de educación, diferencias culturales, de idioma, entre otros, se presentan diferencias entre las personas que pertenecen
a cada grupo de población. Un ejemplo de ello es la prueba PERCE, que se aplicó en 1997 a estudiantes de 13 países
latinoamericanos, con el objetivo de percibir los logros educativos de los países a través de enfoques comparados, que
permitieran generar indicadores comunes (Casassus & Cusato 1998b, pp. 7).
A través de la información aportada por la aplicación de pruebas internacionales, es posible evaluar los sistemas de
educación de los países participantes, en los temas contenidos en la prueba. De esa manera, es posible percibir los proce-
sos y resultados de los países en el campo educativo (Casassus & Cusato 1998b, pp. 5). El análisis a fondo de los resultados
de las evaluaciones, aporta información para diseñar y poner en práctica políticas públicas adecuadas para la atención de
los problemas descubiertos y de esta manera mejorar la calidad de los sistemas educativos (OCDE 2006, pp. 29). Teniendo
en cuenta el fuerte vínculo entre la calidad de la educación y el progreso de los países, ya reconocido internacionalmente,
estas acciones son de gran importancia y pueden tener alto impacto en el desempeño de los países en muchos aspectos.
En el diseño de una prueba internacional se tiene en cuenta que los resultados deben ser comparables entre los países
evaluados, para cumplir el objetivo de su aplicación. En estos casos, para el correcto análisis de los resultados se requiere
un modelo que establezca una escala de medición común. El modelo diseñado en ésta investigación responde a la necesi-

2
 dad de análisis de resultados de este tipo de pruebas, porque establece una escala de medición común para su análisis e
interpretación. Éste modelo podrá lograr resultados más veraces en el análisis de los test que se aplican a una población
de un país, o su equivalente en otras áreas del conocimiento, como pruebas diseñadas para evaluar la competencia do-
cente y directiva en contextos diversos.
A partir de los resultados de la aplicación del modelo, es posible hacer la validación los de instrumentos de medición,
para los casos en que se requiera que éstos sean invariantes entre poblaciones a las cuales se apliquen.
En este trabajo, se usa un modelo jerárquico para modelar las diferencias en los parámetros de los ítems entre los gru-
pos de personas. Se asume que las diferencias entre los grupos de población provienen de los ítems, no de las personas.
Por lo anterior, el modelo no identifica el FDI (Funcionamiento Diferencial del Item).
En el modelo propuesto se incluye la estrategia jerárquica en el modelo multidimensional de TRI (TRIM) (Reckase
2009, pp. 86), teniendo en cuenta que un ítem puede ser sensible a diferencias en las personas en múltiples dimensiones.
Cuando las dimensiones son objetivo de la evaluación, los resultados sirven como indicadores válidos de las dimensio-
nes de interés. Cuando grupos de una población tienen diferencias en dimensiones que no son objetivo de la evaluación,
pueden incluir sesgo en el ítem. Los análisis con modelos TRIM pueden ayudar a aclarar tanto las diferencias entre las
poblaciones, como las razones del FDI (Reckase 2009, pp. 74-75).
En el modelo propuesto, se estiman parámetros de los ítems específicos en cada grupo. Al mismo tiempo, se conserva
una escala de medición común, porque se estima un parámetro global, que corresponde a la media de toda la población,
que sirve como parámetro de comparación de las diferencias en el funcionamiento del ítem entre cada grupo y la media
global. Con el cálculo de parámetros de los ítems en cada población, no es necesario que los ítems sean invariantes, ni es
necesario clasificarlos como invariantes o no invariantes (Fox 2010, pp. 193).
El objetivo de esta investigación es el diseño de un modelo Multidimensional Jerárquico de Teoría de Respuesta al
Ítem, para modelar los parámetros de los ítems cuando se tienen poblaciones agrupadas.
La metodología para el desarrollo de la investigación es: diseñar un modelo multidimensional jerárquico, que tenga
en cuenta varios grupos de población, diseñar un algoritmo para implementar el modelo elaborado, realizar pruebas de
desempeño al algoritmo, a través de simulaciones, evaluar los resultados de las simulaciones, aplicando el algoritmo de-
sarrollado a un conjunto de datos reales, y evaluar el modelo con estadísticas de ajuste para los datos y los trazos latentes.

DESARROLLO

En este trabajo se generaliza el modelo unidimensional de TRI con efectos aleatorios (Fox 2010), en el sentido de incluir
dos conjuntos de parámetros de los ítems en el modelo TRIM (Reckase 2009, pp. 86). Para estimar los parámetros del
modelo propuesto, se desarrolló un algoritmo en base a la metodología descrita en Bolt (2003). Se usaron técnicas Baye-
sianas, como lo han hecho autores como Fox (2010).
Se simularon datos a través de un procedimiento desarrollado en R, a los que se aplicó el modelo TRIM (Reckase
2009) y el modelo propuesto para recuperar los parámetros simulados. Se compararon los resultados y se evaluó la cali-
dad de la recuperación de los parámetros usando el algoritmo con el que se implementó el modelo.
Se aplicó el modelo propuesto a un conjunto de datos reales, tomados del Primer Estudio Internacional Comparativo
sobre Lenguaje, Matemática y Factores Asociados en Tercero y Cuarto Grado (Casassus & Cusato 1998a), suministrados
por el ICFES. Se usó un diseño de muestreo aleatorio simple, para tomar la muestra de tres países: Bolivia, Colombia y
Cuba, correspondiente al seis por ciento del total de datos en cada país.
Para determinar el número de dimensiones de los trazos latentes se desarrolló un análisis paralelo (Horn 1965), (Reckase
2009, pp. 215) a la muestra de datos reales. Para estimar los parámetros del modelo propuesto se implementó un algoritmo
en Winbugs. Winbugs fue desarrollado conjuntamente por la MRC Biostatistics Unit, Cambridge y el Imperial College School
of Medicine at St Mary’s, Londres, se encuentra disponible para descargar en la página http://www.mrc-bsu.cam.ac.uk/bugs/
winbugs/contents.shtml.

3
 Se estimaron los parámetros de los ítems usando el modelo TRIM clásico (Reckase 2009, pp. 86), con el objetivo de
comparar el ajuste de los dos modelos. Se compararon los resultados de la aplicación de los modelos con el Deviance
Information Criterion (DIC) (Carlin 2009, pp. 71). Se evaluó el desempeño del modelo propuesto con los métodos Condi-
tional Predictive Ordinate CPO y CPO inverso (Ntzoufras 2009, pp. 344).

Modelo Multidimensional Jerárquico de dos Parámetros TRIMJ

En el "Modelo Multidimensional Jerárquico de dos Parámetros TRIMJ", se estiman dos conjuntos de parámetros de los
ítems: globales y locales; y los parámetros de las personas están compuestos por un vector de trazos latentes para cada
individuo.
El conjunto de parámetros globales se denota k = (ak , dk )’, donde a k es el vector de parámetros globales de discri-
minación del ítem k, y dk es el parámetro de intercepto global del ítem k. a k corresponde a un vector de L parámetros,
donde L denota el número de dimensiones del espacio de los trazos latentes, hay un parámetro de discriminación en cada
dimensión.
El conjunto de parámetros locales se denota kg = (akg, dkg)’, donde a kg es el vector de L parámetros de discriminación
del ítem k en la población g, y dkg es el parámetro de intercepto del ítem k en la población g.
Los parámetros a kg conforman un vector de K parámetros en cada dimensión l, y estos vectores conforman una matriz
de L vectores en cada población g. El modelo incluye K*G*L parámetros de discriminación en total. Los parámetros dkg
conforman un vector de K parámetros en cada subpoblación, donde K es el número total de ítems. El modelo incluye en
total una matriz de K*G parámetros de intercepto, donde G es el número total de subpoblaciones.
El vector de trazos latentes se denota θig , donde i corresponde al individuo y g a la población a la cual pertenece. El
vector ig está compuesto por L parámetros para cada individuo i. Se denota ng al número de personas que conforman la
subpoblación g, y el número de personas de la población total se denota N. Es decir, N = (n1 + n2 + n3 + … + nG ). En total,
se estiman N*L parámetros θ.
A partir de la anterior descripción de los parámetros, el modelo TRIMJ se define:

e a'kg θig + dkg
P(Yigk = 1|θig , ξ kg ) = , (3)
1 + e akg θig + dkg

donde Yigk denota la variable aleatoria que representa la respuesta del individuo i de la subpoblación g al ítem k, para
i = 1, …, ng , g = 1, …, G y k = 1, …, K. Se usa enlace logístico en el modelo TRIMJ porque facilita el proceso de estimación,
y las diferencias en los resultados con el enlace normal son mínimas (Reckase 2009, pp. 95).
El exponente expandido de e se escribe como:

a kgθig + d kg = akg1θig1 + a kg2θig2 + akg3θig3 + … + a kgLθigL + d k = Ʃ L = 1 L a kglθigl + d k

el exponente es el predictor lineal latente del modelo TRIMJ.

Aplicación a una muestra de datos de la prueba PERCE

Para este trabajo se tomó una muestra aleatoria de datos del Primer Estudio Internacional Comparativo sobre Lenguaje,
Matemática y Factores Asociados en Tercero y Cuarto Grado (PERCE) (Casassus & Cusato 1998b). Los datos fueron sumi-
nistrados por el ICFES. La prueba PERCE fue aplicada por el Laboratorio Latinoamericano de Evaluación de la Calidad de
la Educación (LLECE) (Casassus & Cusato 1998b, pp. 7). La muestra se tomó de respuestas del cuestionario B, de tres de
los países evaluados. El tamaño de la muestra corresponde al seis por ciento de los estudiantes de cada país, se obtuvie-
ron para Bolivia 252 estudiantes, Colombia 194 estudiantes y Cuba 156 estudiantes.

4
 Estimación de los parámetros de los ítems

Se estimaron dos conjuntos de parámetros de los ítems con el modelo TRIMJ: los parámetros globales, que en adelante se
nombran parámetros internacionales, y los parámetros locales, que corresponden a un conjunto de parámetros en cada
país, que en adelante se nombran parámetros nacionales.

Estimación de los trazos latentes básicos

En el modelo TRIMJ las diferencias son modeladas con la estrategia usada en los modelos jerárquicos. Siguiendo a Fox
(2010), se asumió que los trazos latentes provienen de una única distribución. Para estimar los trazos latentes, se fijó la
matriz de covarianza como la identidad.

Estimación de los trazos latentes principales

En este trabajo, se usó la transformación de Wang (1986) para calcular el trazo latente unidimensional, G. En este caso G
corresponde al trazo latente asociado a la subprueba (matemática o lenguaje). Sea A 1 la matriz cuyas columnas son los
vectores de parámetros de discriminación de la subprueba de matemática, para calcular el trazo latente asociado a la
componente de matemática G1, se calculó el primer vector propio de la matriz A 1*A 1’, que corresponde a la dirección prin-
cipal de la subprueba de matemática, que se denotara w1. Sea A2 la matriz cuyas columnas son los vectores de parámetros
de discriminación de la subprueba de lenguaje, para calcular el trazo latente asociado a la componente de lenguaje G2 , se
calculó el primer vector propio de la matriz A 2*A 2’, el vector la dirección principal de la subprueba de lenguaje, que se de-
notara w2 . Se calculó un trazo latente unidimensional G para cada país, con los parámetros de discriminación nacionales,
y un trazo latente G internacional, con los parámetros de discriminación internacionales.
A continuación, se describen los resultados de cada una de las subpruebas. En Bolivia (izquierda) y Colombia (centro)
hay poca dispersión, lo que muestra que los estudiantes con igual puntaje clásico tuvieron valores similares del trazo
latente G1. Además, se observa que pocos estudiantes obtuvieron puntajes clásicos altos en la prueba. En Cuba (derecha),
se observa que los estudiantes tuvieron puntajes clásicos más altos que los estudiantes de los otros países, la mayoría de
los estudiantes se ubican en los promedios de la mitad hacia arriba del puntaje clásico. Hay mayor dispersión en la gráfica
de Cuba, donde estudiantes con el mismo puntaje clásico tuvieron diferente valor de G1, incluso cuando este es igual a 1,
lo que muestra el impacto de la correlación entre las estimaciones de los trazos latentes principales.

Evaluación del ajuste del modelo TRIMJ

Para la evaluación de la calidad del modelo TRIMJ, se tuvieron en cuenta varios criterios: el Deviance Information Crite-
rion DIC comparado con el modelo TRIM clásico, el Conditional Predictive Ordinate CPO y el CPO inverso. El código usado
para estimar el CPO fue tomado de Kang (2006, pp. 169). Como criterio de bondad de ajuste, se usó la evaluación de las
predicciones. El código usado en winbugs para la estimación de bondad de ajuste fue tomado de Fox (2010, pp. 111).
Para detectar los outliers y valores extremos, se usó el criterio de CPO y CPO inverso (Ntzoufras 2009, pp. 344). Asu-
miendo normalidad aproximada, los valores de CPO inverso mayores de 40 se pueden considerar como posibles outliers
y mayores de 70 como valores extremos (Ntzoufras 2009, pp. 376). Los valores de CPO inverso del modelo resultaron en
un 0.09 por ciento de outliers y un 0.04 por ciento de valores extremos. Dado que el porcentaje de outliers es inferior al
5 por ciento, este resultado no es motivo de preocupación (Fox 2010, pp. 111).
En el análisis de CPO inverso en cada país, los resultados fueron los siguientes: en Bolivia, 0.03 por ciento de outliers y
0.01 por ciento de valores extremos; en Colombia, 0.03 por ciento de outliers y cero valores extremos; y en Cuba, 0.2 por
ciento de outliers y 0.12 por ciento de valores extremos. En Cuba, el porcentaje de outliers y valores extremos es acepta-
ble de acuerdo con Fox (2010), sin embargo, es marcadamente superior a los otros países.

5
 Para seleccionar el mejor modelo, se usó el DIC (Carlin 2009, pp. 71). El valor total del DIC para el modelo TRIMJ fue de
31099.5, inferior al DIC estimado para el modelo TRIM (Reckase 2009), 31556.4, lo que indica un mejor ajuste del modelo
TRIMJ. Estos resultados pueden leerse en la tabla siguiente:

Tabla 1  Comparación DIC modelos TRIMJ y TRIM

Parámetro a1 a2 a3 Response Total

TRIM 66.542 66.542 66.542 31356.7 31556.4
TRIMJ 66.542 30.115 53.012 30875.5 31099.5

Como criterio de bondad de ajuste del modelo, se usó la evaluación de la predicción (Fox 2010). Se calculó un p-valor
para estimar la compatibilidad del modelo con los datos observados, resultando un total de 0.08 por ciento de los p-va-
lores menores a 0.05, y con el criterio de 0.1, se encontraron 0.38 por ciento de p-valores menores. Por lo anterior, se
considera que el modelo se ajusta adecuadamente a los datos.
Se desarrollaron análisis de dimensionalidad de los datos previas al ajuste del modelo TRIMJ, que sugirieron el uso
de tres dimensiones de los trazos latentes de los individuos. Los parámetros de los items tuvieron diferentes valores
en cada país, resultado coherente con lo encontrado por los evaluadores de la prueba PERCE en el informe Casassus &
Cusato (2001). Estos resultados confirmaron los supuestos de este trabajo: los trazos latentes son multidimensionales y
los parámetros de los ítems varían entre países, lo que mostró que los supuestos del modelo de Rasch no se cumplen en
la prueba PERCE, por lo que los análisis desarrollados en los informes Casassus & Cusato (1998b) y Casassus & Cusato
(2001) con el modelo de Rasch, no son válidos desde el punto de vista teórico.

CONCLUSIONES

Se aplicó el modelo TRIMJ a una muestra de datos reales de la prueba PERCE (Casassus & Cusato 1998) de tres países:
Bolivia, Colombia y Cuba. El ajuste del modelo TRIMJ fue adecuado de acuerdo con los resultados de los criterios de eva-
luación aplicados, y se verifico el cumplimiento de los supuestos. Se uso además el modelo TRIM clásico, para comparar
los resultados de los dos modelos con los datos reales. Al comparar el DIC de los dos modelos resulto seleccionado el
modelo TRIMJ como mejor modelo. Los parámetros de los ítems mostraron diferencias entre países. Las diferencias más
marcadas en los parámetros de los ítems en las dos sub pruebas se presentaron en Cuba.
En el análisis de la muestra de la prueba PERCE se cumplieron los supuestos del modelo propuesto, a saber: mul-
tidimensionalidad de los trazos latentes y diferencias de los parámetros de los ítems de los países con los parámetros
internacionales. Por lo anterior, los resultados de los análisis de las pruebas multidimensionales aplicadas a varias pobla-
ciones pueden ser ampliamente mejorados con la aplicación del modelo TRIMJ.
Los individuos de la muestra de datos reales que respondieron igual a los ítems de una subprueba, tuvieron diferentes
trazos latentes. Lo anterior puede deberse a que en la muestra de datos reales seleccionada, los trazos latentes estima-
dos tuvieron una alta correlación entre las dos subpruebas. Los estudiantes que tuvieron mayor cantidad de respuestas
correctas en una subprueba, tuvieron un trazo latente más pequeño respecto a otros estudiantes que tuvieron un puntaje
clásico mayor en la otra subprueba.

6
 BIBLIOGRAFÍA

Bolt, D. (2003), ‘Estimation of compensatory and noncompensatory multidimensional ítem response models using mar-
kov chain monte carlo’, Applied Psychological Measurement 26(6), 395–414.
Carlin, B. (2009), Bayesian methods for data analysis, 3 edn, CRC Press: Taylor y Francis Group. Casassus, J., F. J. P. J. &
Cusato, S. (1998a), Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados en
Tercero y Cuarto Grado, Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación.
Casassus, J., F. J. P. J. & Cusato, S. (1998b), Primer estudio internacional comparativo sobre lenguaje, matemática y facto-
res asociados en tercero y cuarto grado - primer informe de laboratorio, informe 1, Laboratorio Latinoamericano de
Evaluación de la Calidad de la Educación, Oficina Regional de Educación Para América Latina y El Caribe.
Fox, J. (2010), Bayesian ítem response modeling, Springer Science+Business Media, LLC, 233 Spring Street, New York, NY
10013, USA.
Horn, J. (1965), ‘A rationale and test for the number of factors in factor analysis’, Psychometrika 30(2), 179– 185.
Ntzoufras, I. (2009), Bayesian Modellins Using WINBUGS, John Wiley and Sons.Inc.
Patz, R., Yao, L. & Hanson, B. (2002), ‘More efficient markov chain monte carlo estimation in irt using marginal posteriors’,
Unknown.
Reckase, M. (2009), Multidimensional ítem response theory, Springer Science+Business Media, LLC, 233 Spring Street,
New York, NY 10013, USA.
Stout, W. (1990), ‘A new ítem response theory modeling approach with applications to unidimensionality assessment and
ability estimation’, Psychometrika 55, 293–325.
Wang, M. (1986), ‘Fitting a unidimensional model to multidimensional ítem response data’, University of Iowa.
Yen, W. (1985), ‘Increasing ítem complexity: A possible cause of scale shrinkage for unidimensional ítem response theory’,
Psychometrika pp. 399–410.

7
Evaluación de las competencias directivas
13 de marzo de 2015
 Evaluación de las competencias directivas

Efraín Mejía Cazapa

Dr. en Educación, Universidad Autónoma de Guerrero, México
efrain_476@hotmail.com

PALABRAS CLAVE: Gestión, competencias y evaluación.

EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
Desde la década de los noventa del siglo pasado, en las escuelas mexicanas, la evaluación se ha focalizado princi-
palmente en los docentes y en los estudiantes; con el objetivo de empezar a conocer el valor de las competencias
de los directores, el presente trabajo es una propuesta que expone argumentos teóricos y metodológicos para
realizar esta tarea.

INTRODUCCIÓN

Como resultado de la reconstrucción del campo de la administración educativa, se ha elaborado un término más amplio e
integrador llamado gestión de los procesos educativos. Cuando su grado de concreción es un sistema educativo nacional
se le conoce como gestión educativa; mientras que a nivel de institución educativa como gestión escolar y cuando está
vinculado a la interacción entre estudiantes y profesores, como gestión pedagógica.
El sentido de la gestión escolar es diverso, pero se asume como el conjunto de acciones que los directores de las ins-
tituciones educativas realizan en cuatro dimensiones: 1) pedagógica – curricular; 2) organizativa-operativa; 3) adminis-
trativa-financiera y 4) vinculación con la comunidad.
En México, la gestión escolar empezó a desarrollarse a partir de la década de los noventa del siglo XX. Inicialmente
como parte de la descentralización y desconcentración del Sistema Educativo Nacional (SEN); mientras que posterior-
mente como eje de las reformas de la educación básica y media superior caracterizada por dos aspectos fundamentales:

»» El papel preponderante que se le asigna al estudiante como gestor de su propia formación y

»» El rol que se le asigna al director como gestor potencial de los procesos educativos centrados en el estudiante y en
el aprendizaje.

A pesar de estos escenarios positivos, la gestión de los directores no ha sido estudiada oportunamente. Hay informa-
ción oficial de la Secretaría de Edu­cación Pública (SEP) acerca de la reprobación y deserción escolar, pero no existen datos
sobre cómo impacta la gestión directiva en los procesos educativos.

2
 Igual que en la mayoría de los estados del país, en Guerrero, la gestión escolar no ha sido evaluada de forma sistemá-
tica, pues no se cuenta con informes de investigación o reportes de las instancias educativas estatales o federales, que
indiquen el estado del arte de la temática.
En este sentido, el propósito general del presente trabajo es:

Evaluar a la población de directores del Sistema Educativo del Estado de Guerrero, mediante la opinión de docentes
para construir una propuesta que mejore su gestión.

DESARROLLO

a) Antecedentes

En España, F. Javier Murillo Torrecilla y Raquel Barrio Hernández (1999), investigaron cómo distribuyen su tiempo los
directores de instituciones públicas y privadas de primaria del sistema educativo español. Los principales resultados de
la investigación muestran que los directores:

»» Adscritos a centros públicos dedican más tiempo a las tareas administrativas, que los directivos de centros privados.
»» Los directivos menos experimentados que laboran en centros públicos dedican más tiempo a las tareas administra-
tivas, que los directivos poco experimentados de centros privados.
»» Que le dedican más tiempo a las tareas administrativas son los de centros públicos de tamaño medio con poca
experiencia.
»» Que dedican menos tiempo a estas tareas pertenecen a los centros privados pequeños.

En México, Araiza et al (2014), evaluaron la gestión de directivos de escuelas secundarias federalizadas del Estado de
Chihuahua a partir de ocho estándares de desempeño, considerando cuatro niveles de desempeño. Los resultados mues-
tran que los directivos tienen un buen desempeño, aunque con algunas limitaciones. Los estándares con más altas evalua-
ciones fueron liderazgo efectivo y comunicación del desempeño, y el más bajo, Redes escolares. La correlación de Pearson
entre los resultados de estándares con antigüedad en el servicio y último nivel de estudios cursados no es significativa.
En el bachillerato mexicano, Bastarrachea y Cisneros (2006), estudiaron la influencia del contexto sociocultural en
el liderazgo de los directores de siete Escuelas Preparatorias de Yucatán, México: cinco dependientes de la Secretaría de
Educación Pública Estatal, otra del Colegio de Bachilleres y una privada.
La información, la obtuvieron con entrevistas y observaciones realizadas a los directores de las mencionadas institu-
ciones. Mediante las observaciones, hallaron que la mayoría de los directores:

»» Mantiene relaciones distantes con los miembros de las comunidades escolares.

»» Son poco tolerantes con la incertidumbre, pues dan soluciones inmediatas a partir de la aplicación de reglas y nor-
mas institucionales.

Con las observaciones, descubrieron que la mayoría de los directores:

»» Considera que la máxima autoridad de una escuela debe ser un hombre; incluso, las directoras prefieren trabajar
con hombres, que con mujeres.
»» Asume una postura paternalista y algunas veces autoritaria, principalmente de las directoras.

Finalmente, Francisco Galaz Fontes y Esperanza Viloria Hernández (2004), investigaron cómo se toman las decisiones
en una universidad pública mexicana. Así, con una encuesta aplicada a una muestra de docentes, descubrieron que la

3
 administración central universitaria influye considerablemente en el diseño y operatividad de los planes y programas de
estudio, así como en los procesos de formación del personal académico y selección de los estudiantes de nuevo ingreso
a la universidad. De igual forma, hallaron que la universidad está administrada por líderes autocráticos que piensan que
no requieren la participación de la comunidad universitaria, para tomar decisiones en los ámbitos de las funciones sus-
tantivas de la universidad.

b) Fundamentos conceptuales

1) Evaluación educativa

De acuerdo con Poggi (2008), la evaluación educativa es la construcción del objeto de evaluación, a partir de un proceso que
incluye las etapas de diseño y ejecución del plan de evaluación, así como otra de divulgación de los resultados obtenidos.
En la organización escolar, los sujetos que pueden evaluar a los directores son los estudiantes, los docentes, los padres
de familia o las autoridades educativas superiores; sin embargo, de esta lista, los profesores son la mejor alternativa, pues
son los que tienen más tiempo de tratarlos, así como mejor conocimiento de la gestión escolar.
Cuando se trata de trabajos de investigación evaluativa, el investigador es quién define al sujeto o sujetos educativos
que van a evaluar la gestión del director, sin que ello, demerite la calidad de su trabajo. Por tanto, en un mismo proceso
de evaluación, pueden participar los docentes o los estudiantes e inclusive, de forma simultánea, la totalidad de los
sujetos educativos.

2) Gestión escolar

Según Pozner (2000), la gestión escolar es una de las instancias desde donde se toman decisiones acerca de las políticas
educativas de un país. La que aplica las políticas educativas a la unidad educativa, adecuándolas a sus necesidades y a
las de su entorno. “Es el ámbito de lo micro político de la gestión y se focaliza en cada escuela (Escamilla, 2006, p.187).
Acorde con Pozner (2000), las dimensiones de la gestión escolar son cuatro: 1) pedagógica – curricular, 2) Adminis-
trativa-financiera, 3) organizacional-operativa y 4) comunitaria o de vinculación con la comunidad.
La dimensión pedagógica - curricular es el espacio a partir del cual, el director se involucra en la gestión de los re-
cursos didácticos y pedagógicos que requieren los docentes para centrar su trabajo en el estudiante y en el aprendizaje.
“La que busca la coherencia pedagógica donde participan los alumnos, así, la escuela se preocupa por las metodologías y
estrategias que ponen en marcha las intervenciones de cada uno de sus docentes” (Escamilla, 2006, p. 191).
Por su parte, la dimensión organizativa-operativa se refiere tanto a la forma en que se designan las tareas y/o respon-
sabilidades, como a la calidad con la cual se realizan. Según Escamilla (2006), es la logística que posibilita el funciona-
miento del resto de las dimensiones de la gestión, otorgándoles su apoyo, articulación y construcción.
Por otro lado, la dimensión administrativa-financiera es un proceso planeativo mediante el cual, se atiende la forma-
ción de los estudiantes de acuerdo con las necesidades de la sociedad. En este sentido, “la función de la administración
en una institución educativa sería el planificar, diseñar, e implementar un sistema eficiente y eficaz para el logro de la
enseñanza-aprendizaje en un entorno social en el que se imparte el servicio, para que responda a las necesidades de los
alumnos y de la sociedad” (Martínez, 2012, p. 11).
“La dimensión comunitaria o de proyección con la comunidad apunta a las relaciones entre sociedad y escuela y,
específicamente, entre la comunidad local y la escuela” (Campos et al, 2009, p. 36). Es decir, “hace referencia al modo
en el que la institución se relaciona con la comunidad de la cual es parte, conociendo y comprendiendo sus condiciones,
necesidades y demandas. Asimismo, cómo se integra y participa de la cultura comunitaria. También alude a las relaciones
de la institución educativa con el entorno social e interinstitucional” (UNESCO, 2011, p.37).

4
 3) Competencias directivas

Las competencias son la conjunción de conocimientos, habilidades y actitudes que las “personas ponen en acción-ac-
tuación-creación, para realizar actividades sistémicas y resolver problemas laborales y de la vida cotidiana, con el fin de
avanzar en la autorrealización personal, teniendo los requerimientos específicos del contexto en continuo cambio, con
autonomía intelectual, conciencia crítica, creatividad y espíritu de reto” (Tobón, 2015, p.10).
En este sentido, las competencias que cada director guerrerense debe tener son entre otras:

»» Establece relaciones sociales con los distintos sectores de la comunidad escolar, a través del diálogo y la comunica-
ción, para incidir significativamente en los aprendizajes de los estudiantes, así como en la construcción de ambien-
tes de trabajo satisfactorios.
»» Gestiona la acción psicopedagógica de la institución educativa, a partir de las orientaciones de su Modelo educativo,
para que los procesos educativos se desarrollen en torno al estudiante, el aprendizaje y el desarrollo de competen-
cias.
»» Gestiona la organización de las instancias colegiadas con la colaboración de docentes, y estudiante, para mejorar el
funcionamiento de la unidad educativa.
»» Asume la dirección del trabajo administrativo mediante una gestión eficaz y eficiente, para rendir cuentas que sa-
tisfagan las expectativas de la comunidad de la institución educativa.
»» Gestiona la vinculación de la escuela con la comunidad, mediante el diálogo y la mediación con cada uno de sus
sectores, para atender sus necesidades y/o demandas.

c) Método

Previa planeación, la evaluación de las competencias de los directores se llevará a cabo con el siguiente procedimiento:

»» Identificar la población estatal de directores reconocidos por la Secretaría de Educación Pública de Guerrero.
»» Diseñar el tamaño de la muestra estatal de directores.
»» Aplicar la rúbrica de la Fig. 1 a los docentes de la unidad educativa donde labora el director que se va a evaluar.
»» Gestionar el procesamiento y el análisis de la información obtenida.
»» Elaborar y difundir el informe de evaluación.

5
 Figura 1  Rúbrica para evaluar competencias directivas
Criterio Avanzado
5 4
Gestiona materiales
visuales (libros, revistas,
Gestiona pc…), auditivos (radio,
recursos palabra hablada,
pedagógicos y cine) y audiovisuales
didácticos (presentación en
computador, video,
cine, internet, chat).
Gestiona integralmente
el desarrollo
de las tutorías,
Atiende las
y de la orientación
necesidades
educativa, así como
de los
la atención de los
estudiantes
problemas académicos,
personales y familiares
de los estudiantes.
Colabora con los
docentes a implementar
estrategias de
enseñanza centradas
en el estudiante (ABP,
Gestiona
ABProyectos, estudios
estrategias
de caso, grupos de
didácticas
discusión) y en el
docente (clase magistral,
lectura dirigida) y en
el grupo (foros, lluvia
de ideas, asambleas).
Gestiona la organización
Gestiona de los docentes,
la organización estudiantes, los
de la padres de familia
organización y los trabajadores
escolar administrativos y de
apoyo.
Gestiona los recursos
humanos, económicos
Gestiona
y además, rinde cuentas
el trabajo
permanentemente a la
administrativo
comunidad de la unidad
educativa.
Gestiona relaciones
con la mayoría de
las organizaciones
de la comunidad,
Gestiona la para desarrollar
vinculación proyectos que partan
de la principalmente de la
organización misma, pero además,
escolar con la que coadyuven a
comunidad fortalecer la vinculación
de la unidad educativa
con su contexto,
así como la formación
de los estudiantes.
Gestiona los procesos
educativos a partir
del diálogo, la
comunicación, la
tolerancia y la aplicación
Lidera a la
de la normativa
organización
institucional, para la
escolar
resolución de conflictos
y el desarrollo de las
actividades escolares
de acuerdo con la
planeación realizada.
6
Indicadores de los niveles de desempeño
Intermedio
Gestiona integralmente
materiales visuales
(libros, revistas, pc…),
y auditivos(,radio,
palabra hablada, cine),
pero los audiovisuales
(presentación en
computador, video, cine,
internet, chat), sólo los
gestiona parcialmente
Gestiona cabalmente el
desarrollo de las tutorías,
y de la orientación
educativa, pero los
problemas académicos,
personales y familiares de
los estudiantes sólo los
gestiona parcialmente.
Colabora cabalmente
con los docentes
a implementar estrategias
de enseñanza centradas
en el estudiante (ABP,
ABProyectos, estudios
de caso, grupos de
discusión) y en el docente
(clase magistral, lectura
dirigida), pero las
estrategias centradas en
el grupo (foros, lluvia de
ideas, asambleas), sólo les
colabora parcialmente.
Gestiona integralmente
la organización
de los docentes,
los estudiantes,
y los padres de familia,
pero a los trabajadores
administrativos
y de apoyo no gestiona
su organización.
Gestiona los recursos
humanos, económicos y
esporádicamente, rinde
cuentas a la comunidad
de la unidad educativa.
Gestiona relaciones
exclusivamente con
los padres de familia
y con las autoridades
educativas superiores,
para desarrollar proyectos
escolares que coadyuven
a fortalecer la vinculación
de la unidad educativa
con su contexto,
así como la formación
de los estudiantes.
Gestiona los procesos
educativos a partir del
diálogo, la comunicación,
la tolerancia y la
aplicación parcial de la
normativa institucional,
para la resolución de
conflictos y el desarrollo
de las actividades
escolares de acuerdo con
la planeación realizada.
Básico
3 2
Gestiona integralmente
materiales visuales (libros,
revistas, pc…), pero los
auditivos (radio, palabra
hablada, cine), y los
audiovisuales (presentación
en computador, video, cine,
internet, chat), sólo los
gestiona parcialmente.
Gestiona completamente
el desarrollo de las tutorías,
pero la orientación
educativa, y los problemas
académicos, personales
y familiares de los
estudiantes sólo los
gestiona parcialmente.
Colabora integralmente
con los docentes
a implementar estrategias
de enseñanza centradas
en el estudiante (ABP,
ABProyectos, estudios de
caso, grupos de discusión),
pero las estrategias
centradas
en el docente (clase
magistral, lectura dirigida)
y en el grupo (foros, lluvia
de ideas, asambleas), sólo
les colabora parcialmente.
Gestiona integralmente
la organización de los
docentes, y los estudiantes,
pero a los padres de
familia, y a los trabajadores
administrativos y de apoyo
no gestiona su organización.
Gestiona los recursos
humanos, económicos,
pero no rinde cuentas
a la comunidad
de la unidad educativa.
Gestiona relaciones
permanentes con los padres
de familia, pero parciales
con las autoridades
educativas superiores, pero
parciales, para desarrollar
proyectos escolares que
coadyuven a fortalecer la
vinculación de la unidad
educativa con su contexto,
así como la formación
de los estudiantes.
Gestiona los procesos
educativos a partir del
ejercicio del poder que
le otorga la normativa
institucional, para la
resolución de conflictos
y el desarrollo de las
actividades escolares
de acuerdo con la
planeación realizada.
Insatisfactorio Muy insatisfactorio
1
Gestiona parcialmente
los materiales visuales
(libros, revistas, pc…), Gestiona parcialmente
y auditivos(,radio, los materiales visuales
palabra hablada, (libros, revistas, pc…),
cine), audiovisuales y auditivos (radio,
(presentación en palabra hablada, cine).
computador, video, cine,
internet, chat),
Gestiona parcialmente
el desarrollo
de las tutorías, así Gestiona parcialmente
como de la orientación el desarrollo de las
educativa, y los tutorías, así como de la
problemas académicos, orientación educativa.
personales y familiares
de los estudiantes.
Colabora parcialmente Colabora parcialmente
con los docentes a con los docentes
implementar estrategias a implementar
de enseñanza centradas estrategias de
en el estudiante (ABP, enseñanza centradas
ABProyectos, estudios en el estudiante (ABP,
de caso, grupos de ABProyectos, estudios
discusión) y en el de caso, grupos de
docente (clase magistral, discusión)
lectura dirigida) y en el y en el docente
grupo (foros, lluvia de (clase magistral,
ideas, asambleas) lectura dirigida).
Gestiona parcialmente
la organización
Gestiona parcialmente
de los docentes,
la organización
los estudiantes,
de los docentes,
los padres de familia,
los estudiantes,
y los trabajadores
y los padres de familia.
administrativos
y de apoyo.
Gestiona parcialmente
los recursos humanos, No gestiona
económicos, los recursos humanos
pero además, no rinde y económicos
cuenta a la comunidad de la unidad educativa.
de la unidad educativa.
Gestiona
Gestiona relaciones esporádicamente
con grupos pequeños relaciones con grupos
de padres de familia, pequeños de padres
para desarrollar de familia,
proyectos escolares que para desarrollar
coadyuven a fortalecer proyectos escolares
la formación de los que coadyuven a
estudiantes, así como mejorar la formación
la vinculación con la de los estudiantes,
comunidad. así como la vinculación
con la comunidad.
Gestiona los procesos
Gestiona los procesos educativos a partir
educativos a partir del de las orientaciones
ejercicio del poder de de los grupos de
forma discrecional, presión de la unidad
para la resolución de educativa, para
conflictos y el desarrollo resolver conflictos y
de las actividades potenciar el desarrollo
escolares de acuerdo de las actividades
con la planeación escolares de acuerdo
realizada. con la planeación
realizada.
 CONCLUSIONES

En la escuela mexicana, el trabajo de los directivos es una de las variables más importantes que incide en la formación de
los estudiantes. Por ello, es necesario evaluar la gestión de los directores guerrerenses, así como impulsar la creación del
Programa Estatal de Formación de Directores.

BIBLIOGRAFÍA

Artículos de revistas

Cesca, Patricia, “La Conducción de instituciones educativas. Desafíos que plantea”, en Ensayos y Experiencias, núm., 27,
vol. 5 (1999), Argentina, Ed., Ediciones Novedades Educativas, pp. 33-51.
Galaz Fontes, Jesús y Viloria Hernández, Esperanza, “La toma de decisiones en una Universidad Pública Estatal desde la
Perspectiva de sus Académicos”, en Revista Mexicana de Investigación Educativa, núm. 22, volumen IX (2004), México,
Ed., Consejo Mexicano de Investigación Educativa, pp. 637-663.
Martínez, Juan, “Calidad y satisfacción del cliente en las instituciones de formación”, en Enseñanza, núm. 20, Vol. (2002)
España, Ed., Ediciones Universidad de Salamanca, pp.159-174.
Murillo Torrecilla, F. Javier y Barrio Hernández, Raquel, “Análisis de la distribución del tiempo de los directivos de centros
de enseñanza primaria, en Educación, núm. 319, vol. (1999), España, Ed., Ministerio de Educación, Cultura y Deporte
español, pp. 201-222.
Poggi, Margarita, “sentido y prácticas de la evaluación”, en Revista Iberoamericana de Evaluación Educativa, núm.1, vol.
1(2008), España, Ed.Red Iberoamericana de Investigación sobre Cambio y Eficacia escolar.

Libros

Escamilla Tristán, Sergio Antonio (2006). “El director escolar. Necesidades de formación para un desempeño profesional”,
España, Ed. Universidad Autónoma de Barcelona.
Pozner, Pilar (2000). “El directivo como gestor de aprendizajes”, Argentina, Ed. quinta edición, Ed. Aique.
UNESCO (2011).Manual de gestión para directores de instituciones educativas”, Perú, Ed. Lance Gráfico S.A.C.
Valdés Veloz, Héctor (1998).” Calidad y evaluación de la calidad educativa”, en ZilbersteinTorucha José y Valdés Veloz
Héctor (1998), Aprendizaje escolar, diagnóstico y calidad educativa, México, Ed. Instituto Central de Ciencias Peda-
gógicas de Cuba, pp. 18-34

Recursos electrónicos

Araiza et al, “evaluación por estándares de la gestión directiva en secundaria”, en revista iberoamericana de educa-
ción. N.º 64 (2014), Madrid, España, pp. 99-113 (en línea) http://www.rieoei.org/RIE64.pdf, http://www.rieoei.org/
investigacion24.htm [Consulta: 15 enero 2015]
Bastarrachea Arjona, William y Cisneros –Cohernour, Edith J., “Influencia del contexto sociocultural en el liderazgo esco-
lar en México”, en Revista Iberoamericana de Educación, núm., 37/4, vol. (2006), Madrid, España, pp. 1-10 (en línea),
http://www.rieoei.org/investigacion24.htm [Consulta: 20 de septiembre, 2012].
Tobón Sergio, “las competencias en el sistema educativo: de la simplicidad a la complejidad” (en línea) https://www.
google.com.mx/#q=LAS+COMPETENCIAS+EN+EL+SISTEMA+EDUCATIVO:+DE+LA+SIMPLICIDAD+A+LA+COMPLEJIDAD
[Consulta: 15 enero 2015].

7
Evaluación docente y espectacularización
mediática del resultado
13 de marzo de 2015
 Evaluación docente y espectacularización
mediática del resultado

Dulfay Astrid González Jiménez

Estudiante de cuarto año de Doctorado Interinstitucional en Educación.
Institución: Universidad de San Buenaventura-Cali, Colombia.
dagonzal@usbcali.edu.co / dulfayastrid@gmail.com

PALABRAS CLAVE: E  spectacularización, prensa escrita, medios y mediaciones, predicción a partir de resultados.
EJE TEMÁTICO: Uso de los resultados de las evaluaciones docentes y directivos para la mejora
y rendición de cuentas.

Resumen
La evaluación de docentes en Colombia ha devenido en un hecho educativo naturalizado, cada vez más ampuloso,
abarcante y omnipresente. Dinamiza imaginarios sobre lo que no se hace bien y debería hacerse de otro modo;
respalda políticas del miedo basadas en el déficit; favorece la fabricación de salvadores educativos; transparenta
con traje de “objetividad” los déficit docentes que son juzgados como preocupantes para la economía y el desa-
rrollo social de un país o región; alimenta peroratas que se vuelven verdades repetidas sin cesar sobre lo que
deberían hacer y saber directivos y maestros; y aporta información para predecir los posibles debacles socioeco-
nómicos, si no se hace lo que debería hacerse con prontitud, con las actuales y nuevas generaciones. Tal dinamiza-
ción de imaginarios acontece, entre otras por lo que median los medios, en particular la prensa escrita, la cual es
un instrumento a través del cual se ponen a circular particulares interpretaciones de los resultados con formas
espectacularizadas que derivan en otras políticas, o quizás, derivan en una especie de reemplazo de la política con
nocivos impactos sociales que mellan el lugar y aporte social del docente. A través de la ponencia se mostrará lo
que pasa en Colombia con los medios masivos de comunicación, en particular la prensa, y se mostrará como uno
de los desafíos ante la creación y fortalecimiento de un sistema evaluativo docente, es ocuparse de manera decisiva
de la relación política-periodismo, pues de dicha relación dependen en buena medida los impactos sociales de la
evaluación y la comprensión de las oportunidades para la mejora educativa.

2
 INTRODUCCIÓN

Lo que se divulga a través de los medios sobre la educación, los educandos, los educadores, so pretexto de la evaluación
masiva, aporta de manera contundente a los elementos de realidad educativa del país, evidencia preferencias ideológicas
y coloca en primer plano el tipo de relaciones entre instituciones, sujetos y ente gubernamental.
Al informar sobre el tema, como sobre cualquier otro, el periodismo opera una serie de procedimientos: la porción
de la información disponible que es privilegiada, el modo como es presentada, la frecuencia con que es referido el tema,
el espacio asignado, la cobertura dada, los puntos de vista y las fuentes usadas, la inclusión del tema en una sección y
no en otra, la valoración hecha sobre el tema y el género periodístico usado, entre otros. Procedimientos a través de los
cuales las organizaciones mediáticas producen más que información, producen sentidos y significados acerca de los te-
mas divulgados. Por medio de tales procedimientos se visibiliza de una determinada manera un tema, pero a la vez, se
invisibilizan ciertos aspectos del mismo.
De allí la importancia de la distancia, de la reflexión crítica sobre el tipo de comunicación y el modo de organizar los
discursos, pues en muchas ocasiones la velocidad, la inmediatez, la superficialidad de la noticia y la ambigüedad en el tra-
tamiento de la misma, hacen un contrapeso no esperado y con consecuencias negativas por una información que tiene un
alto impacto en la opinión pública y que se esperaría tuviera como especial característica información diversa, calificada
y relatos incluyentes que favorezcan la reflexión y el análisis crítico.

DESARROLLO

Con los medios masivos de comunicación, la evaluación masiva en Colombia encuentra un terreno propicio para erigirse
como herramienta abarcante, predictiva, verdadera y unificadora de grupos, instituciones y hasta poblaciones. A través
de la espectacularización del resultado que se produce con el hecho noticioso, se crea opinión pública, se ponen a circular
representaciones sociales sobre aquello que convenientemente se quiere hacer visible, y por tanto, mirado, exaltado,
consumido e incluso debilitado1.
La espectacularización del resultado distribuye en el tejido social una información que es juzgada como verdadera,
objetiva, legítima y válida, que pone a hablar a otros, sobre aquello que la evaluación aparentemente decanta. El éxito
de la espectacularización pareciera que opera en las reglas de construcción del espectáculo educativo para que quienes
fungen como espectadores, consuman incluso una mirada ajena.
Igualmente, los medios de comunicación en Colombia, encuentran en la evaluación masiva información, datos, clasi-
ficaciones, especialmente útiles para la construcción de hechos noticiosos de alto consumo masivo, cuyo artificio en la
fabricación y divulgación de la noticia es tan efectivo e impactante, que hoy las instituciones pagan altas sumas de dinero
para divulgar jerarquías, clasificaciones y dar veredictos sociales sobre el progreso, calidad y promesas de productividad
de generaciones, instituciones y naciones. Así, quién consume la noticia, pronto consumirá el producto que tiene el carác-
ter de completud y perfección en la clasificación y el ranking.
En este juego de miradas, aquello que reveló lo que ha de consumirse (la evaluación), también se consume.
La envolvencia sobre lo que se divulga haciendo énfasis en clasificaciones, rankings y dictámenes, pone a operar con
especial eficacia, la mirada sobre aquello que se fabrica para ser consumido.
Al respecto, el 16 de marzo de 2012 en la sección de educación, el periódico El Tiempo publicó un artículo titulado
“Universitarios están mal en inglés y en comprensión de lectura”, como subtítulo anuncia: “Resultados de Pruebas Saber
Pro evidenciaron bajos desempeños de futuros docentes”, en el contenido del mismo se alude a una entrevista hecha a
Margarita Peña Borrero quién señala que “… gracias a la prueba Saber Pro se ha podido identificar que muy pocos jóvenes

1
Basta con revisar unos cuantos titulares de prensa al divulgar los resultados de la prueba PISA: “Colombia necesita tener profesores de calidad:
experto” (El Tiempo 17 de diciembre de 2012). Versión digital: http://www.eltiempo.com/archivo/documento/CMS-12456651

“Educación en Colombia se basa en métodos anticuados” (El Tiempo, 27 de abril de 2014) versión digital: http://www.eltiempo.com/archivo/
documento/CMS-13888215

3
 tienen un manejo apropiado del inglés, y en general, presentan deficiencias en escritura, únicamente el 30% de cerca de
210 mil jóvenes evaluados hasta el momento es capaz de producir escritos organizados, articulados, coherentes con el
tema propuesto en la prueba, y aplicar adecuadamente las reglas de la lengua escrita”.
Igualmente, se añade que “… solo el 40 por ciento de los universitarios tienen niveles aceptables de escritura (es decir,
que son capaces de argumentar la idea principal de un escrito); del 60 por ciento restante que no logra este desempeño, un
23 por ciento tiene problemas de manejo del lenguaje o presentan ideas que pueden ser incoherentes o desarticuladas”.2
El 12 de diciembre de 2013, Iliana Restrepo Hernández, columnista de la revista Semana, publica un artículo titulado
La mala educación, una verdadera tragedia3. En dicho artículo la autora señala a propósito de los resultados obtenidos en
las pruebas PISA:

“… en el año 2009 los jóvenes colombianos ocuparon el puesto 52 entre 65 países, pero en las pruebas del año 2012
en vez de mejorar aunque fuese un poco, como sucedió entre el 2006 y el 2009, se descendió al puesto 62 es decir que
quedamos tan sólo a tres puestos del peor. Esto es, por decir lo menos, vergonzoso”.

“Repito, el resultado obtenido es una tragedia de proporciones enormes que hay que mirar con cuidado y hay que
solucionar. Me gustaría que a todos los ciudadanos este tema les produjera la misma impotencia e indignación que
siento al darme cuenta de que este retroceso significa otra generación más, perdida para el desarrollo del país”. 

El 01 de abril de 2014 en el periódico El País, publicó un artículo titulado Los estudiantes colombianos no saben resol-
ver problemas, según pruebas Pisa4, señalando que, Colombia ocupó el último lugar en prueba sobre resolución de proble-
mas. En diciembre pasado el país también ocupó los últimos lugares en evaluaciones de áreas específicas. En el desarrollo
de la noticia se refiere:

“Cabe recordar que el pasado diciembre, la OCDE había ubicado a Colombia en los puestos de atrás pero en otras
evaluaciones. En esa ocasión, el país ocupó el puesto 62 en ediciones de áreas como lenguajes, matemáticas y ciencias,
siendo una de las naciones que más había retrocedido en comparación con las hechas en 2009. En el 2013, Colombia
obtuvo 376 puntos en matemáticas, 403 en lenguaje y 399 en ciencia, en contraste con el 2009, cuando logró 381
puntos en matemáticas, 402 en ciencias y 413 en lectura”.

A sólo dos días de haber divulgado masivamente esta noticia, el mismo diario publica un hecho noticioso que se am-
pliaría en la radio y en la televisión regional.
El 03 de abril de 2014 el reportero Camilo Osorio Sánchez, publicó en el periódico El País el artículo que titula Cali es
una de las ciudades del mundo con peor educación, según las pruebas Pisa5:

“Si a Colombia le fue mal en los resultados de las Pruebas Pisa, a Cali le fue mucho peor. De las cuatro ciudades
colombianas que participaron en las pruebas, la capital del Valle ocupó el último lugar en desempeño. Lo que en otras
palabras quiere decir que, a la luz de esa medición, Cali está entre las ciudades del mundo con peores niveles
de educación secundaria”.

La evaluación masiva pareciera reemplazó en Colombia la política, ha puesto en circulación otras formas de poder,
cargada de tecnicismos reduccionistas en los informes de resultados, que con particular e impreciso énfasis estadístico,
muestran un conjunto de datos poco comprensibles para el ciudadano del común, los cuales propician todo lo necesario
para que el ranking, la jerarquía y la ilusión de la equidad —en lo que erróneamente se presenta como comparable—,
derive en fabricaciones de éxito y fracaso escolar.

2
Ver versión digital en: http://www.eltiempo.com/archivo/documento/CMS-11361241
3
Ver versión digital en: http://www.semana.com/opinion/articulo/la-mala-educacion-una-verdadera-tragedia-por-iliana-restrepo/368008-3
4
Ver versión digital en: http://www.elpais.com.co/elpais/colombia/noticias/estudiantes-colombianos-vuelven-rajar-pruebas-pisa
5
Ver versión digital en: http://www.elpais.com.co/elpais/cali/noticias/cali-ciudades-mundo-con-peor-educacion-segun-pruebas-pisa

4
 Quizás, se pueda afirmar que ésta es una forma de política, en efecto de la política de lo peor, pues el reduccionismo,
las sentencias y el miedo desde las evaluaciones masivas, reordenan con eficacia el mundo escolar.
Espectacularizar la educación para asistir al show de las mejores instituciones desde el resultado, volverse visibles
desde el show de los números, las jerarquías y las corroboradas desigualdades, es hacer de la evaluación el escenario
donde todos queremos mostrarnos.
Montar el espectáculo de lo que son los docentes en materia de calidad, en una educación tan espectacularizada,
conlleva a que la imagen que se proyecta por medio de la evaluación, sea finalmente el capital más valioso que posea una
institución. Pero es preciso tener la habilidad necesaria para administrar ese tesoro como si fuera una marca capaz de
destacarse en el competitivo mercado actual de las apariencias. ¿No es ésta quizás una especie de condena?
No hay teatro sin espectador, y si las evaluaciones masivas nos ponen a hablar, a partir de la espectacularización del
resultado, de las mentiras que se dicen por medio de las estadísticas, y desde las sentencias sobre lo fabricado como dé-
ficit sobre generaciones enteras, pareciera que las instituciones e incluso los países, no tendrán más remedio que seguir
pagando, para que un día les digan que un día fueron buenos y competentes, pero que lamentablemente no se ajustan a
las elaboradas y cambiantes jerarquías de excelencia.

CONCLUSIONES

Aunque lo publicado en la prensa sobre evaluación masiva crece exponencialmente en Colombia, escasean las investiga-
ciones al respecto. Las publicaciones en prensa son de economistas, periodistas, políticos y directivos de instituciones de
la administración de la educación superior del país, pero preocupantemente son ausentes las voces de maestros, de los
estudiantes evaluados e investigadores.
Pese a que hoy hay en el país más de 12 observatorios de medios, uno de los desafíos intelectuales, es analizar, investi-
gar, escribir acerca de cómo observan los medios la evaluación, qué tipo de visibilidad de la educación se posibilita a pro-
pósito de lo que se hace hecho noticioso, qué nuevas relaciones se proponen a propósito del lugar de algunas disciplinas
en la educación y qué tipo de espectacularización crece para decir de otros modos el supuesto deber ser de la educación.
Lo publicado en prensa permite hacer lecturas del tiempo y de los tiempos educativos, lecturas sobre fracturas, quie-
bres, cambios y nuevas relaciones y detallar algunos giros y modificaciones que se suceden en la educación en Colombia,
a propósito de la economía de la educación en tiempos de sociedades del conocimiento y de la matematización del mundo
educativo para medir todo a través de indicadores.

BIBLIOGRAFÍA

Álvarez A., (2001, Mayo-Agosto). Del estado docente a la sociedad educadora: ¿un cambio de época? En REVISTA IBE-
ROAMERICANA DE EDUCACIÓN, 26, 35-58.
Álvarez Gallego, A. (2014). LA MIRADA EMPRESARIAL DE LA EDUCACIÓN
A propósito del informe Compartir. Obtenido el 31 de Octubre de 2014 desde http://sutevalle.org/wp-content/
uploads/2014/09/DOC.-COMPARTIR-LA-MIRADA-EMPRESARIAL-DE-LA-EDUCACI%E2%94%9C%D0%A3N-.pdf
Aguilera Toro, C. y Osorio Rojas, A. (2008). EDUCACIÓN Y COMUNICACIÓN MASIVA: LOS ECAES SEGÚN LA PRENSA ES-
CRITA. En Nexus (No.4). Obtenido el 1 de Noviembre de 2014 desde http://dintev.univalle.edu.co/revistasunivalle/
index.php/nexus/article/view/1084 Anónimo. (2014, Mayo 3). ¡Exigimos educación! En Semana. Obtenido el 2 de No-
viembre de 2014 desde http://www.semana.com/educacion/articulo/exigimos-educacion/385793-3
Anónimo. (2014, Mayo 3). Esta es la tarea. En Semana. Obtenido el 2 de Noviembre de 2014 desde http://www.semana.
com/educacion/articulo/expertos-hablan-sobre-como-mejorar-la-calidad-de-la-educacion-en-colombia/385964-3
Anónimo. (2011, Octubre 26). Jóvenes entusiastas, pero sin argumentos. En El Espectador. Obtenido el 2 de Noviembre de
2014 desde http://www.elespectador.com/noticias/actualidad/vivir/jovenes-entusiastas-sin-argumentos-articulo-307802

5
 Anónimo. (2013, Diciembre 14). Notas en rojo para la educación en Colombia. En Semana. Obtenido el 2 de Noviembre de 2014
desde http://www.semana.com/nacion/articulo/bajos-resultados-de-la-educacion-colombiana-en-2013/368197-3
Bentolila, S. y Jansen, M. (2013, Noviembre 15). ¿Latín o mates? EL PAÍS. Obtenido el 1 de Noviembre de 2014 desde
http://elpais.com/elpais/2013/11/14/opinion/1384448996_873101.html
Bonilla, J.,(2006). La educación en los medios. Ponencias del seminario internacional, Educación, Periodismo y Medios de
Comunicación, Noviembre, Bogotá.
Bustamante Zamudio, G., Marín Ardila L. y Narváez Montoya, A. (2014, Marzo 10). Las pruebas masivas, ¿tienen “propósi-
tos subyacentes”?. Observatorio Pedagógico de medios. Obtenido el 1 de Noviembre de 2014 desde
http://observatoriopedagogicodemedios.blogspot.com/2014/03/las-pruebas-masivas-tienen-propositos.html
Bustamante Zamudio, G., Marín Ardila L. y Narváez Montoya, A. (2014, Marzo 10). Métodos anticuados. Observatorio
Pedagógico de medios. Obtenido el 1 de Noviembre de 2014 desde http://observatoriopedagogicodemedios.blogspot.
com/search/label/Pruebas%20Pisa
Caruso, Marcelo. La biopolítica en las aulas. Prácticas de conducción en las escuelas elementales del Reino de Baviera,
Alemania (1869/1919). Editorial Prometeo. Buenos Aires. (2005)
Debray, Régis [1993]. El estado seductor. Buenos Aires: Manantial, 1995.
Escobar, F. (2014). Conversando sobre evaluación: entrevista al maestro Raúl Barrantes. Educación y Cultura 103, 56-59.
Gallardo Eraso, L., Puerto Martínez, J., Rincón Quiñones, J y Vergara Portela R. (2011). La desigualdad universitaria,
una realidad nacida del mito de la eficiencia. En Pedagogía y Saberes (No. 35, pp. 85-96). Obtenido el 1 de Noviembre
de 2014 desde http://revistas.pedagogica.edu.co/index.php/PYS/article/view/948/963
González Jiménez, D. (2011a). La evaluación en letras del Tiempo. Colombia: Editorial Bonaventuriana.
González Jiménez, D. (2011b). Lo que publicó la prensa en el 2011 sobre las pruebas Saber PRO. Colombia: Editorial
Bonaventuriana.
González Jiménez, D., (2006, Enero – Junio). Educación y Comunicación masiva: los Ecaes según la prensa escrita. En Guillermo
de Ockham (Vol. 4, No. 1). Obtenido el 2 de Noviembre de 2014 desde http://investigaciones.usbcali.edu.co/ockham/
index.php/site-map/107-volumen-4/n-1/190-educacion-y-comunicacion-masiva-los-ecaes-segun-la-prensa-escrita
Granovsky, M. (2003). La evaluación como fetiche. En Laies, G., Bonilla Saus, J., Brunner, J.
Halpern Britz, P., Granovsky, M., Tiana Ferrer A., et al. EVALUAR LAS EVALUACIONES: Una mirada política acerca de las
evaluaciones de la calidad educativa (pp. 97-110). Buenos Aires: IIPE -UNESCO Sede Regional Buenos Aires.
Miller, Jacques-Alain [2003]. «La evaluación». En: Psicoanálisis y política. Buenos Aires: EOL-Grama, 2004.
________ [2004]. «El desencanto de la estadística». En: Psicoanálisis y política. Buenos Aires: EOL-Grama, 2004.
Ministerio de Educación Nacional. (2010, Febrero-Marzo). Por una cultura de la evaluación. En Altablero (No. 55). Obte-
nido el 2 de Noviembre desde http://www.mineducacion.gov.co/1621/article-241771.html
Pedraza, P, y otros. 2012. Pruebas Saber 3, 5 y 9, lineamientos para las aplicaciones muestral y censal 2012. Icfes. Co-
lombia. Versión digital en: https://www.google.com/url?q=http://www.icfes.gov.co/2012-07-05-14-55-31/doc_down-
load/8334-lineamientos-para-las-aplicaciones-muestral-y-censal-2012-saber-359-1&sa=U&ei=2vwSVa-jEs-XyATjyYDg-
Cw&ved=0CAUQFjAA&client=internal-uds-cse&usg=AFQjCNFJBh5EQY_wUPgQbjdkyAWKpWmRGQ
Rancière, J. (2010) El espectador emancipado. Castellón: Ellago ediciones
Ravela P., (2011, Octubre). ¿Qué hacer con los resultados de PISA en América Latina?. En PREAL (No. 58). Obtenido el 2 de
Noviembre de 2014 desde http://m.preal.org/detalle.asp?det=2241
Ravela P., (2003, Julio). ¿Cómo aparecen los resultados de las evaluaciones educativas en la prensa? En PREAL. Obtenido
el 2 de Noviembre de 2014 desde http://m.preal.org/detalle.asp?det=732
Rocha, A., Hernández C. y Rodríguez J. (s.f.). ANTECEDENTES PARA UNA RECONCEPTUALIZACION DE LOS EXÁMENES
DE ESTADO. Extraído el 2 de Noviembre de 2014 desde http://www.pedagogica.edu.co/storage/ps/articulos/
peda08_09eva-inst.pdf
Torres Zambrano G., et al. (2008). El surgimiento del Servicio Nacional de Pruebas del ICFES en las voces de sus protago-
nistas. En Magistro (Vol. 2, pp. 115-134). Obtenido el 2 de Noviembre de 2014 desde http://dialnet.unirioja.es/servlet/
articulo?codigo=4037231
Sibila, P. (2009, Octubre - Noviembre). Sociedad del espectáculo: solo existe lo que se ve. En Virtualia (No. 19). Obtenido
el 1 de Noviembre de 2014 desde http://virtualia.eol.org.ar/019/template.asp?opinion_ilustrada/sibila.html

6
Percepciones normalistas sobre el desarrollo
de competencias de líderazgo educativo:
aspectos a reflexionar para el ingreso
a puestos formales de líderazgo escolar
13 de marzo de 2015
 Percepciones normalistas sobre el desarrollo
de competencias de líderazgo educativo:
aspectos a reflexionar para el ingreso
a puestos formales de líderazgo escolar
Ma. Guadalupe Villaseñor Amézquita
Mtra., Universidad Autónoma de Baja California, México.
guadalupevillaseñor@uabc.edu.mx
Israel Moreno Salto
Mtro., The University of Nottingham, Reino Unido
ttxim5@nottingham.ac.uk
Oscar Damian Blañhir Ramírez
Mtro., Benemérita Escuela Normal Estatal, Profesor Jesús Prado Luna, México.
profr.oscarblanhir@outlook.com

PALABRAS CLAVE: Evaluación, Liderazgo Educativo, Desarrollo de Liderazgo, Formación.

EJE TEMÁTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen
Hasta antes de la última reforma educativa (2013), los líderes educativos formales en México eran seleccionados y
asignados por medio de un modelo de escalafón (Navarro, Cordero & Torres, 2011). Lo anterior se modifica radi-
calmente al aprobarse la Ley General del Servicio Profesional Docente (LGSPD) en donde se señala que los puestos
de dirección y supervisión serían otorgados por medio de concursos de oposición (DOF, 2013). Bush (2008,2011)
sugiere que los puestos de liderazgo formal al igual que cualquier otro trabajo en donde se requiere de compe-
tencias idóneas para su funcionamiento eficaz, requiere de una formación o preparación especializada previa.
En Inglaterra es altamente recomendado, y en EE. UU. es obligatorio que los aspirantes a estos puestos cuenten
con una preparación formal previa para poder ser candidatos a estas posiciones (Brundrett, 2001). En México,
la LGSPD prevé preparación en una fase post-contratación (no definitiva). Atendiendo el panorama anterior, se
desarrolló un estudio en cinco escuelas normales del estado de Baja California, para dar cuenta de qué manera, si
fuese el caso, se desarrolla la competencia docente de liderazgo educativo en los estudiantes normalistas durante
sus estudios profesionales, debido a que se sugiere que serán algunos de estos estudiantes los candidatos a ocupar
puestos formales de liderazgo en el sistema educativo nacional, y es necesario conocer cuan preparados están para
el reto, y las implicaciones que esto envuelve para la evaluación inicial o de ingreso. La investigación se desarrolló
en el ciclo escolar 2013-2014 mediante una metodología mixta; encuesta, entrevista, investigación documental.
Se encuestaron a 150 estudiantes normalistas del último año de su escolarización (8º semestre), se entrevistaron
a diez profesores normalistas y se analizó el curriculum oficial.

2
 INTRODUCCIÓN

En el México de hoy se viven momentos históricos en materia de evaluación educativa en lo que respecta a docentes,
directores y supervisores, así también en relación a los aspirantes a ocupar estos cargos. Por primera vez en nuestro país
se tiene contemplado realizar concursos de oposición para la asignación de plazas de liderazgo formal en educación bá-
sica, lo que implica el estudio y revisión de procesos y elementos que habían sido escasamente atendidos. De la situación
anterior existen dos cuestiones que más llaman nuestra atención; los sujetos que van a concursar para ocupar una plaza
de liderazgo formal, y los procesos de preparación, formación y capacitación por los cuales pasan.
Para ser líder educativo formal en México, no es necesario contar con grados académicos especializados en el campo
de la gestión, administración, o liderazgo, tampoco se requiere de una preparación previa para entrar en funciones, la
reforma (2013) le apuesta a la preparación in situ de los seleccionados (post-examen). La LGSPD (2013) en su articulo 27
señala “En la Educación Básica la Promoción a una plaza con funciones de dirección dará lugar a un Nombramiento, sujeto a
un periodo de inducción con duración de dos años ininterrumpidos, dentro del cual el personal de que se trate deberá cursar
los programas de desarrollo de liderazgo y gestión escolar determinados por la Autoridad Educativa Local” (p.15). Vale la
pena reflexionar sobre el planteamiento anterior, si bien la ley considera la “preparación, formación o actualización” en
el campo del liderazgo educativo durante los dos primeros años de función, existen algunos escenarios que deben ser
reflexionados. Primero, los programas de desarrollo que han ofertado las autoridades educativas locales en el pasado han
demostrado ser insuficientes para confrontar las necesidades y problemáticas educativas. Segundo, en México son esca-
sas las instituciones que ofrecen programas específicos de liderazgo y gestión. Tercero, los líderes en “prueba” ejercerán
funciones que tendrán impacto en las comunidades, las escuelas, los maestros, los padres de familia y los estudiantes, si
su desempeño resulta ser no apto, el siguiente aspirante que ocupe un lugar tendrá doble responsabilidad, el de revertir
las acciones de su antecesor y el de hacer que la institución educativa marche hacia adelante y sea exitosa.
En nuestro país las escuelas normales siguen produciendo la mayor cantidad de maestros, lo que hace altamente
probable que serán los mismos maestros egresados de estas escuelas los que van a concursar por los puestos de lideraz-
go formal. Por esta razón se decidió realizar una investigación para estudiar de qué forma se desarrolla la competencia
docente de liderazgo educativo durante la formación de los futuros maestros de México, que a su vez arroja un panorama de
qué tan preparados están para ejercer estas funciones de acuerdo con las percepciones de los profesores y estudiantes
normalistas.
Después de triangular los resultados obtenidos de cuestionarios, entrevistas y revisión de documentos oficiales, en
donde participaron maestros, estudiantes y planes de estudios de las normales, surgieron algunos hallazgos interesantes.
Uno de ellos es que, aunque los estudiantes en su mayoría reconocen que en sus escuelas normales no se les forme para
ser líderes, el (30%) se consideran competentes para ejercer estas funciones. Destaca que los maestros normalistas coin-
ciden en que no están formando a sus estudiantes para ser líderes, sin embargo consideran que ésta es una competencia
docente indispensable para la práctica pedagógica.
Los resultados de la presente investigación ofrecen un diagnóstico interesante de lo que sucede en las escuelas nor-
males en relación a la formación de liderazgo o líderes educativos. Esto a su vez da cuenta de algunas de las implicaciones
que esta situación tiene para la evaluación de ingreso de líderes educativos en México.

DESARROLLO

¿Por qué formar o preparar líderes educativos?

El liderazgo efectivo no es resultado de la casualidad, para lograrlo es necesario de una formación adecuada (Bush, 2008).
Al igual que cualquier otro campo de conocimiento que se trabaja en las escuelas normales, como lo son la pedagogía, la
didáctica, y los conocimientos disciplinares, el liderazgo educativo requiere de una atención especializada.

3
 Bush (2008, 2012) identifica y comparte una serie de argumentos que sustentan la importancia y relevancia del de-
sarrollo de liderazgo. Estos argumentos son: a) La función ampliada de los líderes escolares, b) La creciente complejidad
de los contextos escolares, c) La preparación de liderazgo como una obligación moral, d) La preparación de liderazgo
efectivo hace la diferencia. A continuación se discuten con mayor detalle cada uno de los puntos anteriores.

A) La función ampliada de los líderes escolares. Conforme pasa el tiempo, la dinámica y las relaciones sociales se vuelven
más complejas. Los problemas y las situaciones que emanan de esta condición social permean las escuelas (Morin,
1994). Dada la condición anterior, los líderes escolares y miembros de la escuela tienen que hacer frente, superar y
vencer retos y situaciones variadas en aras del bienestar de los estudiantes. Brundrett et al. (2006), citado en Bush
(2012), argumentan que el desarrollo del liderazgo es una "necesidad estratégica", debido a la intensificación del rol
del líder educativo (p. 90). Bush (2012) comparte que hay dos cuestiones principales en las que se ha ampliado el
papel de los líderes escolares. La primera es la rendición de cuentas, ya que en la actualidad, los líderes escolares son
más responsables de lo que pasa en las escuelas que dirigen, un ejemplo de ello son las pruebas estandarizadas nacio-
nales e internacionales (Ball, 2013). El segundo tema es "La devolución de responsabilidades a los centros escolares ',
por ejemplo, en México, después de la última reforma educativa, ahora las escuelas deben trabajar un modelo de auto-
gestión, lo que implica más trabajo para los líderes formales de las escuelas. Bush (2008) sugiere que las funciones y
deberes de los líderes escolares se están ampliando y seguirán creciendo en los próximos años. La literatura muestra
que una buena preparación en liderazgo puede ayudar a los líderes a enfrentar estas realidades.

B) La creciente complejidad de los contextos escolares. Este punto es muy importante debido a la naturaleza donde se
llevó a cabo este estudio; México. Bush (2008, 2012) Bush y Oduro (2006) y Harber y Davies (1997), señalan que hay
seis dimensiones de las experiencias que se producen en los países en vías de desarrollo, algunos de ellos afectan
a México, tales como:

»» Muchos niños no reciben educación escolarizada y muchos de ellos también abandonan la escuela debido a las
presiones económicas y sociales.
»» Las economías de los países en desarrollo son frágiles.
»» Los recursos humanos y materiales son muy limitados.
»» Muchos niños y escuelas están marcadas por la violencia.
»» Existe nepotismo y una corrupción generalizada en muchos países.
(p.29)

Frente a estas condiciones y situaciones se requiere de líderes con conocimientos especializados y competencias que son
más probables a desarrollarse por medio de una formación pertinente.

C) Liderazgo como una obligación moral. Rodas y Brundrett (2006) afirman que "los líderes deben aprender a hacer su
trabajo lo mejor posible para que puedan hacer frente a la ruta de mejoramiento escolar, y así jugar un papel clave en
el servicio de las necesidades de sus alumnos (p.364). Bush (2012) establece que "En el siglo XXI hay una creciente
conciencia de que el liderazgo formal es una función especializada que requiere una preparación específica" (p.665),
esta declaración obedece al principio de que cualquier tipo de trabajo o actividad que implica la necesidad de altas
capacidades, habilidades y destrezas, requerirá de una formación, preparación o capacitación especializada para de-
sarrollar dicha tarea.

D) La preparación de liderazgo efectivo hace la diferencia. Bush (2012) cita una cantidad considerable de literatura que
apoya el argumento que sostiene que, la preparación de liderazgo efectivo hace la diferencia en el funcionamiento y
desempeño de las escuelas. Los diferentes estudios realizados en el campo sugieren que los líderes que han pasado
por una preparación adecuada tienden a desarrollar de manera más efectiva su función.

4
 Metodología

Durante el ciclo escolar 2013-2014 se realizó una invitación a ocho escuelas normales del estado de Baja California, para
formar parte de este estudio. De las escuelas invitadas, únicamente cinco accedieron a colaborar. Primeramente se traba-
jó con una encuesta impresa que se aplicó a 150 estudiantes que cursaban el último año de su formación profesional en
una de las escuelas participantes (8vo semestre). Mediante este instrumento se aborda la percepción de los educandos en
relación a su formación como líderes educativos, el instrumento obtuvo un .92 de confiabilidad en el SPSS 17. Por medio
de muestreo de bola de nieve (Cohen et al. 2007) se trabajó con diez maestros de las mismas cinco escuelas formadoras
de docentes, en cada institución hubo un enlace quien invitó a dos compañeros que tuvieran más de 10 años de servicio,
que contaran con posgrado y que estuvieran frente a grupo, los maestros participantes no requerían impartir asignaturas
relacionadas con el tema de estudio de esta investigación. Con estos sujetos se desarrollaron entrevistas semiestructura-
das por medio de Skype (Baja California-Inglaterra) en donde se aborda la percepción de los maestros sobre su rol en la
formación de líderes educativos. Para complementar los métodos anteriores, paralelamente, se trabajó una investigación
documental, para ello se analizaron los planes y programas de estudio de las escuelas normales (SEP, 1997, 1999, 2011)
de las licenciaturas en preescolar, primaria y secundaria. Los resultados obtenidos se analizaron de manera individual, y
posteriormente se hizo un ejercicio de triangulación que contribuyó significativamente a la discusión de la investigación.

Hallazgos

¿Cuáles son las percepciones de los estudiantes

en relación a su formación en liderazgo educativo?

La mayoría de los estudiantes perciben que tienen una formación limitada en el campo del liderazgo educativo como
consecuencia de su plan de estudios y la intervención de sus profesores. Difieren de manera significativa (72.2%) que
sus profesores de las escuelas normales les enseñan como convertirse en buenos líderes educativos, sin embargo casi la
mitad (48.1%) se conciben a si mismos como líderes en formación, aún cuando reconocen que no se les ha formado para
desarrollar tal función. Los estudiantes (86%) están de acuerdo que no han abordado el tema de liderazgo educativo du-
rante su formación docente, sin embargo un (30%) se siente lo suficientemente competente para desarrollar la tarea de
líder, aún cuando comentan que no han aprendido a desarrollar prácticas claves como coaching, mentoría, administración
y organización escolar. Los participantes (77.9%) también coinciden en la percepción de que el liderazgo educativo no es
un tema prioritario en sus centros educativos, sin embargo están de acuerdo en que el liderazgo educativo es una práctica
de suma importancia para su función docente (74%).

¿Cuáles son las percepciones de los profesores de la escuelas normales

en relación a su papel como formadores de líderes educativos?

Los profesores de las escuelas normales reconocen la importancia del liderazgo educativo en la futura práctica de sus
estudiantes. Un maestro menciona “Creo que es algo muy importante porque tiene que haber una cierta conducción que
lleva a los estudiantes hacia la mejora" (Maestro 7). Los maestros consideran que sus estudiantes deben aprender sobre
el liderazgo educativo durante su licenciatura, sin embargo, reconocen que no lo están haciendo. En relación a esto un
maestro comenta “Bueno, francamente no, por varias razones dentro de la escuela, usted debe tener una idea de cómo
funcionan estas escuelas. Esta es mi percepción personal, el problema aquí es que los estudiantes no adquieren un lide-
razgo en términos de confianza en sí mismo, o que pueden ser capaces de dominar una situación o que de forma inde-
pendiente, dentro de su grupo que pueden ser capaces de influir en la transformación o la formación de sus estudiantes,
porque su formación no es de calidad por muchos factores” (Maestro 2). Los profesores reconocen que deben aprender
bastante sobre el tema con el fin de ayudar a sus estudiantes. Los profesores comparten la percepción de que uno de
sus papeles como formadores de docentes es el formar a futuros líderes educativos, a pesar de que reconocen que no
están capacitados para hacerlo, y que por el momento no están adoptando este papel. Al respecto un maestro comenta

5
 “No, no me siento capaz, ya que me falta un entrenamiento formal y profesional en el tema” (Maestro 1). Los maestros
de las escuelas normales, los cuales en su mayoría son egresados de las mismas escuelas normales, reconocen debilidades
significativas de su formación en este campo. Para el desarrollo de liderazgo o de líderes es necesario la intervención
de personas especializadas en el tema (Bush, 2009).

¿Cuál es la posición oficial en el plan nacional de estudios de las escuelas normales,

en materia de formación de liderazgo educativo o de desarrollo?

La posición de la currícula o de los programas y planes de estudios de las escuelas normales en materia de desarrollo de
liderazgo educativo es limitada. Existe solamente una asignatura en donde se aborda un tema relacionado con el lideraz-
go, y dentro de este curso, sólo hay un contenido explícito que se refiere a una serie de cuestiones teóricas, dejando de
lado los elementos prácticos. El resto del contenido en el curso se refiere a la gestión escolar. De acuerdo a los estudios en
relación a gestión y liderazgo, la primera es más limitada debido a que su función es mantener, mientras que los benefi-
cios de la segunda son más debido a que su naturaleza es la de desarrollar y transformar (Bush, 2008)

CONCLUSIONES

En México se carece de grados académicos específicos para el liderazgo educativo escolar, a diferencia de Estados Unidos,
en donde las grandes Universidades; Harvard, Stanford, Berkeley, UCLA, cuentan con doctorados para este fin. En nuestro
país se sigue apostando a las habilidades innatas de los aspirantes, a su buena disposición y a su preparación post-
contratación, arriesgando la formación pertinente de miles de estudiantes de educación básica.
Este estudio plantea la existencia de limitaciones importantes, en relación a la formación en liderazgo educativo de
los que son potencialmente aspirantes a dichos cargos. La presente investigación aporta información útil para el área del
desarrollo de liderazgo educativo, debido a que no existen estudios similares en el campo.
Una de nuestras preocupaciones radica en la limitada oferta de formación o actualización en el campo de liderazgo
escolar específico en educación básica. Así también en la modesta regulación y precisión de este tema dentro de la re-
forma actual, que representa un reto para la evaluación inicial de líderes educativos formales. Aunque la LGSPD (2013)
señala que serán las autoridades estatales las responsables de formar a los líderes formales seleccionados, sin embargo
no precisa ni qué, ni cómo, ni cuándo, será este tipo de formación. También debe remarcarse que los procesos de forma-
ción que han ofertado las autoridades estatales en el pasado no han sido suficientes para enfrentar las problemáticas
educativas actuales.
Retos e implicaciones a lo cuales nos enfrentamos:

»» Desarrollar políticas educativas en relación a la formación de liderazgo educativo.

»» Revisar el curriculum de las escuelas normales para dar mayor atención a este tema.
»» Trabajar programas para la formación de liderazgo educativo desde la preparación profesional en las instituciones
de formación docente.
»» Desarrollar criterios mínimos de formación en liderazgo para quienes aspiren a concursar a estos puestos.
»» Desarrollar cursos que abarquen tres áreas: a) formar a los aspirantes para el concurso de oposición, b) preparar a
los seleccionados para las funciones, c) actualizar a los líderes formales actuales.

Bajo las condiciones que se mencionan a lo largo de este trabajo es que se va a desarrollar la evaluación inicial, para
concursar las plazas para directores y supervisores en el sistema educativo nacional, lo que sugiere un simple reemplazo
de un sistema obsoleto de escalafón por un sistema de concurso. Sin embargo ninguno de los sistemas garantiza la co-
locación de personas idóneas y pertinentes para los puestos y para su funcionamiento eficaz, como lo afirma la reforma
educativa.

6
 BIBLIOGRAFÍA

Ball, S.(2013) Education, justice and democracy: The struggle over ignorance and opportunity. The Centre for Labour and
Social Studies; London.
Brundrett, M. (2001) ‘The development of school leadership preparation programmes in England and the USA: a comparative
analysis’, Educational Management and Administration, 29(2): 229–45
Brundrett,M., Slavíková, L. , Karabec, S. , Murden, B. ,Dering, A, & Nicolaido, M. (2006) Educational leadership development
in England and the Czech Republic: comparing perspectives, School Leadership & Management: Formerly School
Organisation, 26:2, 93-10
Bush, T. (2008) Leadership and Management Development. Sage; London.
Bush, T. (2009) Leadership development and school improvement: contemporary issues in leadership development,
Educational Review, 61:4, 375-389,
Bush, T. (2012) International perspectives on leadership development: making a difference, Professional Development in
Education, 38:4, 663-678.
Bush, T. and Jackson, D. (2002) ‘Preparation for school leadership: international perspectives’, Educational Management
and Administration, 30(4): 417–29
Cohen, L., Manion, L. and Morrison, K. (2007) Research Methods in Education (6th Edition). London: Routledge
Day, C., Sammons, P., Hopkins, D., Leithwood, K. & Kington, A. (2008) Research into the impact of school leadership on pupil
outcomes: policy and research contexts, School Leadership & Management: Formerly School Organisation, 28:1, 5-25
Diario Oficial de la Federación (2013) Ley General del Servivio Profesional Docente. México.
Harber, C. and Davies, L. (1997) School Management and Effectiveness in Developing Countries. London: Cassell. Day (Eds)
Successfull School Leadership in times if change (Toronto; Springer), pp.189-203
Morin, E. (1994) Introducción a pensamiento complejo. Gedisa; Madrid
Navarro, C., G. Cordero y R.M. Torres. (2011). Trayecto laboral en el magisterio: Los caminos para llegar a ser director
escolar. Revista Intercontinental de Psicología y Educación. 13 (12): 147-175.

7
Sistema de evaluación
del desempeño docente en Chile
¿Mejoran sus resultados los docentes que han sido evaluados
en el 2009 y nuevamente el 2013?

13 de marzo de 2015
 Sistema de evaluación
del desempeño docente en Chile
¿Mejoran sus resultados los docentes que han sido evaluados
en el 2009 y nuevamente el 2013?

Maximiliano Alfonso Herrada Herrada

Psicólogo, Pontificia Universidad Católica de Chile, Chile.
maherrad@uc.cl

PALABRAS CLAVE: Evaluación Docente; Progreso en el desempeño Docente; Portafolio; Comparabilidad.

EJE TEMÁTICO: 4. Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen
En Chile, desde el año 2003 hasta la actualidad, se implementa el Sistema Nacional de Evaluación del Desempeño
Docente, para los profesores que enseñan en el sector público. Este sistema tiene como finalidad, incentivar la
mejora de los profesores en ejercicio. Cuenta con cuatro instrumentos de evaluación, entre ellos el Portafolio. En
estos 11 años de implementación, cerca de la mitad de los profesores han sido evaluados en más de una ocasión.
En consecuencia, existe interés por reportar progresos en los desempeños de los docentes evaluados para dar
cuenta del impacto de esta política.
En el presente estudio, se recolectó una muestra pareada de 5.528 docentes, evaluados en el 2009 y nueva-
mente en el 2013. Se compararon los puntajes de Portafolio de ambos periodos. Para asegurar mayor validez de
este análisis, se consideraron solo los indicadores comparables entre ambas mediciones y las evidencias corregi-
das con índices óptimos de confiabilidad.
Los resultados principales son tres:

1. Existe en promedio una mejora significativa en el puntaje del portafolio que corresponde a media desviación
estándar de la distribución de las diferencias (tamaño del efecto mediano).
2. El mayor predictor del puntaje de cambio es el puntaje previo del docente en el portafolio comparable, seguido
por la modalidad o nivel en que enseña el docente.
3. Dentro del Portafolio la dimensión que reporta mayor cambio es la interacción del docente con los alumnos
en la clase filmada.

Este análisis es preliminar y se requiere de estudios que caractericen en profundidad esta evolución.

INTRODUCCIÓN

El Sistema Nacional de Evaluación Docente chileno (en adelante Evaluación Docente) se enmarca en una política públi-
ca más general que articula el diagnóstico sobre las fortalezas y debilidades del trabajo docente en aula con planes de
formación o incentivos dependiendo del resultado obtenido. A 11 años de implementación de la Evaluación Docente se
hace cada vez más necesario responder a la pregunta de si es posible reportar mejoras en el desempeño de los docentes,

2
 expresadas en una evolución favorable de los puntajes que se obtienen en el Portafolio y si éstas están asociadas con los
esfuerzos explícitos para generar desarrollo profesional.
El reglamento de la Evaluación Docente (Articulo Nº1, Decreto 192, 2004), documento legal, establece que ésta debe
apuntar a la mejora continua de la labor del profesor. En consecuencia es de interés que una política pública de esta
envergadura sea capaz de señalar mejoras en los docentes. En caso contrario, la evaluación docente pierde sentido dado
que los profesores no reportan cambios, ya sea porque las políticas de cambio han sido pobres o porque el instrumento
no es sensible a los cambios.
El sistema de evaluación docente recoge evidencias de trabajo docente a través de un Portafolio estandarizado corregido
por docentes de aula, de la misma asignatura del profesor evaluado, entrenados en el uso de rúbricas estandarizadas que
puntúan el trabajo docente. En total los correctores, a través de las rúbricas, corrigen 19 indicadores de desempeño general
y 1 de desempeño específico de la asignatura o modalidad en la que enseña el docente. Estos indicadores se agrupan en
7 dimensiones relevantes del trabajo docente1: Organización de la unidad, Análisis de las clases, Calidad de la evaluación,
Reflexión a partir de los resultados de los alumnos, Ambiente de la clase, Estructura de la clase e Interacción pedagógica2.
Los niveles de desempeño asignados en cada uno de los 20 indicadores pueden ser cuatro: Insatisfactorio, Básico,
Competente o Destacado. Con esos niveles se calcula un puntaje promedio en dimensión y con éstos un puntaje Portafolio
global. El puntaje de Portafolio, que es el promedio de las 7 dimensiones, representa un 60% del puntaje final del docente
evaluado3 que determina su nivel de desempeño final4.
Si bien las dimensiones mencionadas van cambiando con el tiempo, existe un cierto perfil de dimensiones que se
mantiene a través de los años:

Gráfico 1  Comparación dimensiones portafolio evaluados 2010 al 2013

Tomando las cohortes que se han evaluado desde el 2009 hasta el 2013 se observa una evolución en los últimos dos
años, dado que aumenta de manera importante la cantidad de docentes con resultados competentes en el portafolio.

1
Esta descripción del portafolio obedece a la versión del instrumento para los períodos 2012 en adelante.
2
Para mayor detalle sobre los indicadores del portafolio visite: http://www.docentemas.cl/docentes03_informe_ponderacion.php.
3
El puntaje de todos los instrumentos considera el puntaje de portafolio (60%), el informe de referencia de terceros (10%), la entrevista del evaluador
par (20%) y la autoevaluación (10%), considerando las ponderaciones establecidas en el reglamento de la evaluación docente. Para mayor detalle del
portafolio y los otros instrumentos visite: http://www.docentemas.cl/docentes03_informe_como.php.
4
Este nivel de desempeño es posteriormente considerado por la Comisión Comunal de Evaluación, la cual, a la luz del reporte y otras consideraciones,
puede ratificar o modificar el nivel de desempeño final. Hasta 2012, los docentes ratificados por la comisión comunal asciende a 94,2%, lo que implica
que en la gran mayoría de los casos esta comisión ratifica el nivel de desempeño otorgado por la evaluación.

3
 Gráfico 2  Resultados en Portafolio de evaluados 2009-2013

Una vez que son entregados los resultados a cada profesor, a las escuelas y a los municipios, los resultados también
son puestos a disposición de los ejecutores de los Planes de Superación Profesional (PSP), para que estos implementen
los planes de ayuda a los docentes con menor desempeño. Esta política, si bien no es parte de la Evaluación Docente, está
estrechamente relacionada a ella. Cortes, Taut, Santelices y Lagos (2011) dan cuenta de la experiencia de implementación
de estos planes y la contrastan con evidencia internacional.
Para reportar mejoras es necesario que se compare la evolución de los mismos sujetos en el tiempo. Los docentes
que han sido evaluados en más de una oportunidad ascienden, el año 2013, a un 48% de un total de 82.638 docentes5.
Para esta proporción de profesores ya podrían reportarse cambios, una vez se acuerden los criterios bajo los que esta
comparación se establezca.
Un primer problema consiste en que el Portafolio de la evaluación docente ha experimentado modificaciones en los
indicadores que lo conforman año a año. Estos cambios se deben en primer lugar, a la necesidad de adecuar la rúbrica a
las nuevas asignaturas o modalidades que se van incorporando, de modo tal de asegurar una cobertura de los indicadores
del desempeño y un nivel de dificultad similar para todos los evaluados. En segundo lugar, se han realizado modificacio-
nes en algunos indicadores, para prevenir la posibilidad que un mismo portafolio pueda ser reutilizado en dos instancias
distintas y la copia de los mismos, para algunas de las preguntas que lo conforman. Por tanto, para reportar mejoras será
necesario también emplear el conjunto de indicadores más estable en el Portafolio, entre las cohortes antes mencionadas.
Un segundo problema es que existe un error de medición que debe ser controlado. Investigaciones realizadas por
Mide UC con un estudio de generalizabilidad, concluyeron que el factor que más permitía aumentar la confiabilidad en
la corrección de portafolios, es aumentar el número de veces que es corregida una evidencia. El sistema de evaluación
docente actual, tal y como está planteado, solo contempla la doble corrección de un 20% de la evidencia. Por tanto, se
deberá encontrar una forma de aumentar al máximo la confiabilidad de los puntajes, para la cohorte, considerando el
instrumento en cuestión.
En el año 2013 la Organización para la Cooperación y el Desarrollo Económico (OCDE) realizó un diagnóstico y algu-
nas sugerencias respecto al sistema de evaluación docente implementado en Chile. Respecto al desarrollo del desempeño
docente, las recomendaciones se relacionan por un lado con ajustes a los instrumentos de evaluación y por otro con la
difusión de los resultados de tal manera que se forme dialogo pedagógico formal en el establecimiento. La apuesta que
renace con fuerza es que dentro del mismo establecimiento se creen o fomenten las comunidades pedagógicas y que éstas
puedan potenciar las habilidades de los docentes, de una manera más directa y sistemática que se refleje finalmente en la
evaluación tanto de docentes como de estudiantes.

Se excluye a los docentes que se han inscrito, pero que no se han evaluado por motivos ajenos a la evaluación.
5

4
 DESARROLLO

Objetivos

El objetivo general es explorar una metodología de comparación de puntajes de docentes y en base a ella determinar
si existe una mejora en el desempeño docente al evaluarse en una segunda oportunidad. Esto implica específicamente:

»» Seleccionar una muestra comparable, corregida por los correctores más consistentes.
»» Seleccionar criterios del instrumento de evaluación comparables entre el año 2009 y 2013.
»» Evaluar si existe una mejora efectiva en el desempeño de los docentes entre el 2009 y el 2013.
»» Validar investigando cuáles son las condiciones de los docentes que están relacionados con una mejora efectiva.

Metodología

Elección de los indicadores comparables

Por las razones anteriormente mencionadas, existe una dificultad en comparar directamente los puntajes de portafolio
obtenidos por los docentes en los distintos años de evaluación. Es por eso que el equipo de instrumentos del proyecto
Docentemás6 ha registrado año a año cómo se van creando, reformulando, reubicando y eliminando ítems. Con esta infor-
mación se determinó que de los 20 indicadores de desempeño que el Portafolio 2013 evalúa, aproximadamente un 80%
de los indicadores es comparable con el período 2009 (Tabla 1).

Tabla 1  Indicadores Comparables 2009-2013

Indicador Nombre 2009 Indicador Nombre 2013

A1 Formulación y coherencia entre los objetivos I1.1 Formulación y coherencia entre los objetivos
A2 Relación entre actividades y objetivos I1.2 Relación entre actividades y objetivos
A3 Calidad de la secuencia entre las clases de la unidad I1.3 Calidad de la secuencia entre las clases de la unidad
(C1) Calidad del instrumento de evaluación
C1 + C2 (C2) Calidad de la pauta de corrección I3.1 Calidad de la evaluación
de la evaluación
Adecuación de la evaluación Adecuación de la evaluación a los objetivos
C3 I3.2
a la unidad implementada de aprendizaje de la unidad realizada
D1 Calidad de la retroalimentación I4.2 Calidad de la Retroalimentación
Focalización de los alumnos Promoción de la focalización de los alumnos
F1 I5.1
en las actividades propuestas en las actividades
F2 Promoción de la participación de todos los alumnos I5.2 Promoción de la participación de todos los alumnos
F3 Supervisión de las actividades I5.3 Supervisión de las actividades
G1 Calidad del inicio de la clase I6.1 Calidad del inicio de la clase
G2 Calidad del cierre de la clase I6.2 Calidad del cierre de la clase
Contribución de las actividades al logro Contribución de las actividades al logro
G3 I6.3
de los objetivos de la clase de los objetivos de la clase
H1 Calidad de las explicaciones I7.1 Calidad de las explicaciones
H2 Calidad de las preguntas I7.2 Calidad de las preguntas
H3 Calidad de la retroalimentación a los alumnos I7.3 Calidad de la retroalimentación a los alumnos
H4 Indicador por subsector o área I7.4 Indicador por asignatura o área

Docentemás es el proyecto que ofrece asesoría técnica sobre la Evaluación Docente al Ministerio de Educación de Chile.
6

5
 Particularmente en este estudio, la comparabilidad de indicadores se utilizó para construir un nuevo puntaje de
portafolio correspondiente al promedio simple de todos los indicadores comparables en cada uno de los años. A modo
general, cabe aclarar que el cambio de puntaje entre una evaluación y otra siempre se observó mediante el puntaje de
portafolio, sin considerar el resto de los instrumentos de la Evaluación Docente. Este instrumento apunta directamente al
desempeño que el docente tiene en su ejercicio profesional.

Elección de los correctores con mayor consistencia

La corrección de la evidencia del Portafolio funciona de tal manera que si en una dimensión que es corregida dos veces
existe un alto grado de desacuerdo7, entonces esta dimensión es corregida en una tercera ocasión por el supervisor de la
corrección, quien funciona como un árbitro entre ambos correctores. Cuando un portafolio tenía al menos una dimensión
con un alto grado de desacuerdo se asignaba esta evidencia como corregida inconsistentemente al corrector que más se
alejaba de la corrección del supervisor. Luego, por cada corrector, se obtuvo un porcentaje de evidencia corregida incon-
sistentemente en base al total de evidencias que corrigió. Teniendo la distribución de esos porcentajes, se identificó el
primer quintil con menor rendimiento. Luego se excluyó la evidencia corregida por estos correctores. Esto se realiza para
el periodo 2013 y para el 2009.

RESULTADOS

Descriptivos

La cantidad total de evaluados el año 2009 asciende a 15.699 docentes. De éstos, 7.874 se re-evaluaron el 2013 (50.2%).
Realizando la selección de la evidencia por los correctores más consistentes la muestra alcanza los 5.528 docentes, que co-
rresponden al 35.2% del total de evaluados 2009. En la tabla 2 se muestra la caracterización de la muestra que fue pareada.

Comparación de medias

Una vez obtenida la muestra requerida, se calcularon las medias obtenidas en el pre y en el post (Gráfico 3). El gráfico
muestra cuánto cambia la pendiente entre la evaluación 2009 y la evaluación 2013 considerando dos condiciones. La
primera es seleccionando a todos los docentes que tienen evaluación en ambos períodos y considerando el puntaje de
portafolio oficial con todos los indicadores de desempeño, comparables y no comparables. La segunda es la condición
seleccionada considerando ambos cambios, esto es docentes corregidos, en ambos periodos, por correctores consistentes
y puntaje de portafolio solo con indicadores comparables.

El desacuerdo está determinado por la suma de las distancias en cada uno de los indicadores de la dimensión
7

6
 Tabla 2  Caracterización de la muestra

Variable Categoría Frecuencia Porcentaje

Perdidos 3 0.1%
Sexo Masculino 1494 27.0%
Femenino 4031 72.9%
Perdidos 25 0.5%
29 o menos 893 16.2%
30 a 34 599 10.8%
35 a 39 609 11.0%
Edad 40 a 44 709 12.8%
45 a 49 1058 19.1%
50 a 54 1064 19.3%
55 a 59 527 9.5%
60 o más 44 0.8%
Perdidos 119 2.2%
Grupo Bajo 1214 22.0%
Socio Medio Bajo 2935 53.1%
Económico Medio 1113 20.1%
Medio Alto 147 2.7%
Educación Parvularia (EP) 380 6.9%
Primer Ciclo (PC) 1783 32.3%
Nivel o modalidad de enseñanza Segundo Ciclo (SC) 1711 31.0%
Educación Media (EM) 1209 21.9%
Educación Especial (EE) 445 8.1%
Insatisfactorio 10 0.2%
Resultado Final Básico 1480 26.8%
20091 Competente 3676 66.5%
Destacado 362 6.6%
Insatisfactorio 230 4.2%
Básico 4447 80.5%
Resultado Portafolio 2009
Competente 849 15.4%
Destacado 2 0.0%

Los 10 docentes insatisfactorios encontrados lograron, de distintas maneras, evaluarse cuatro años más tarde.
1

Aquellos docentes que obtienen este nivel de desempeño deben evaluarse al año siguiente.

Gráfico 3  Medias en Puntaje Portafolio re-evaluados y muestra comparable.

7
 Se observa una pendiente positiva en ambos casos, no obstante, más pronunciada con los datos comparables. Se
realiza una prueba t Student para muestras dependientes y la d de cohen para calcular el tamaño del efecto en ambas
condiciones.

Tabla 3 Contraste t de muestras dependientes y tamaño del efecto

para los puntajes de Portafolio en ambas condiciones

Media de la diferencia DE de la diferencia t sig Tamaño del efecto

Re-evaluados 0.123 0.335 32.670 <.0001 0.368
Muestra comparable 0.167 0.322 38.590 <.0001 0.519

En la tabla 3 se observa que el efecto es mayor al considerar los indicadores comparables y los correctores más
consistentes, pasando de un efecto pequeño a un efecto mediano. El grado de asociación que alcanzan estas medidas es
muy similar. Tanto para los re-evaluados como para la muestra comparable la correlación de Pearson es de 0.30. Consi-
derando que en ambos casos, producto que la gran mayoría de los insatisfactorios no se evalúa cuatro años más tarde,
existe restricción indirecta de la varianza (Tran, 2013). Por lo tanto, la asociación presentada es una correlación ajustada
considerando la restricción de rango.

¿Existen variables que expliquen este cambio?

Los análisis se realizaron con los puntajes comparables de ambas evaluaciones. Los factores que fueron recolectados
principalmente de los cuestionarios complementarios a la evaluación docente que caracterizan a los profesores evalua-
dos. Además se considera el Índice de Vulnerabilidad Escolar y la Zona Geográfica (urbano/rural) del Establecimiento8. Se
tomó como variable dependiente el puntaje de cambio entre el año 2009 y 2013 y se intentó predecir bajo una regresión
lineal con la siguiente estructura:

Ŷi = α + b1X1i + b2 X2i … + bn Xni

Donde Ŷi es el Puntaje de Portafolio Comparable en el 2013 para el sujeto i. El término α es el intercepto y cada b es el
coeficiente de regresión para cada variable independiente X considerada en el modelo.
Se probaron varios modelos con distintas variables de caracterización, pero el que consiguió mejor ajuste fue el que
consideró el puntaje portafolio comparable en el 2009 del docente y la asignatura o modalidad por la que fue evaluado
(Tabla 4). Se puede observar en esta tabla que conocer el puntaje previo del docente es un buen predictor del resultado
posterior.
Por otra parte, se observa que hay asignaturas/modalidades que tienen mayor tasa de cambio que otros. En el Gráfico
2, se observa que Matemática, Ciencias de la naturaleza y Generalista reportan las mayores tasas de cambio.
Por último, aparte del modelo ya registrado se probó mediante Ancova la efectividad de la participación en los Planes
de Superación Profesional (PSP). La variable participación en PSP fue extraída del cuestionario complementario 2013.
Se consideraron solo los docentes cuyo desempeño final en el 2009 fue Básico, dado que de la muestra seleccionada solo
ellos participan debieran participar en PSP. Se introdujo como covariante el puntaje inicial y el término de interacción
entre participar en PSP y el puntaje inicial. Si bien existe una mejora en el puntaje en portafolio de estos docentes (modelo
general: F5,1289 = 9.88; p < .0001; R2 = 0.04), esta mejora no es mayor si es que el docente participa en PSP (Interacción
entre Puntaje inicial y participación en psp: F2,1289 = 1.85; p = 0.16).

Índice de Vulnerabilidad Escolar (IVE) y Sector Urbano/Rural y GSE desde: www.agenciaeducacion.cl/simce/bases-de-datos-nacionales.

8

8
 Tabla 4  Variables predictoras de la mejora efectiva

Variable Betas Valor t Pr > |t| Betas estandarizados 95% Límites de confianza de beta
Intercepto 1.84 0.03 61.43 <.0001 0.00 1.78
PJE PF COM 2009 0.25 0.01 19.42 <.0001 0.26 0.22
Generalista 0.08 0.01 10.64 <.0001 0.16 0.07
Matemática - SC 0.11 0.01 8.64 <.0001 0.13 0.08
Matemática - EM 0.16 0.02 7.03 <.0001 0.13 0.11
Lenguaje - SC 0.05 0.01 3.85 0.00 0.06 0.03
Ed. Especial/DEA 0.05 0.01 3.51 0.00 0.05 0.02
C.Naturaleza - SC 0.05 0.02 3.17 0.00 0.05 0.02
Ed. Especial/TEL 0.06 0.02 2.86 0.00 0.05 0.02
Física - EM 0.07 0.05 1.22 0.22 0.04 −0.04
Biología - EM 0.04 0.03 1.18 0.24 0.03 −0.03
Lenguaje - EM 0.01 0.02 0.63 0.53 0.01 −0.03
Química - EM 0.01 0.05 0.13 0.90 0.00 −0.09
Inglés - EM 0.00 0.02 −0.06 0.95 0.00 −0.04
Ed.Tecnológica - EM −0.02 0.02 −0.63 0.53 −0.01 −0.06
A. Musicales - SC −0.03 0.04 −0.61 0.54 −0.02 −0.11
Ed.Física - EM −0.03 0.02 −1.14 0.25 −0.02 −0.08
Inglés - SC −0.03 0.03 −1.11 0.27 −0.02 −0.08
Fil. y Psic. - EM −0.04 0.03 −1.26 0.21 −0.03 −0.09
C.Sociedad - SC −0.03 0.02 −1.75 0.08 −0.03 −0.06
Ed.Física - SC −0.03 0.02 −1.64 0.10 −0.03 −0.08
A. Visuales - SC −0.04 0.04 −1.22 0.22 −0.03 −0.12
Religión - SC −0.05 0.02 −2.35 0.02 −0.04 −0.09
A. Musicales - EM −0.05 0.03 −1.72 0.08 −0.04 −0.11
Historia - EM −0.05 0.02 −2.19 0.03 −0.04 −0.09
Ed. Parvularia −0.04 0.01 −2.82 0.00 −0.04 −0.06
Religión - EM −0.07 0.03 −2.60 0.01 −0.05 −0.12
Ed.Tecnológica - SC −0.11 0.03 −3.31 0.00 −0.08 −0.17
A. Visuales - EM −0.09 0.02 −4.80 <.0001 −0.08 −0.13

* Generalista (Primaria), SC = Segundo Ciclo (Secundaria) EM = Enseñanza Media (Bachillerato).

** Para la variable nivel-asignatura se utiliza la codificación del efecto (Effect Coding) que entiende los betas como las distancias
al intercepto, en vez de las distancias a una categoría de referencia específica.

**** R2 = 0.13; F( 27,5495 ) = 31.00; p < 0.0001

Gráfico 4  Medias marginales estimadas para asignatura o modalidad

9
 Gráfico 5 Medias Marginales Estimadas Puntaje Portafolio Comparable 2013,
segun Participación en PSP (Solo Básicos)

CONCLUSIONES

Al considerar el puntaje de Portafolio elaborado con los indicadores comparables y restringiendo la muestra a una cohor-
te reevaluada al cabo de cuatro años, corregida por los correctores más consistentes, puede concluirse que el progreso
de los docentes es al menos moderado. El año 2013 se realizó un informe técnico para la cohorte 2007-2011 de docentes
re-evaluados muy similar al presentado en este documento (Zapata & Herrada). Los resultados para esa cohorte eran mo-
destos, pero también positivos. Tomando una cohorte posterior, como es la de este estudio, se observan mayores ganan-
cias. En base a esta evidencia es posible que la Evaluación Docente, con 11 años de trabajo, esté dando cuenta de mejoras.
Este progreso se puede explicar, entre otros factores, por la evolución en la implementación, la cobertura y la investi-
gación que ha tenido la evaluación, que, finalmente, han logrado cada vez mayor acceso a los docentes (Manzi, González
& Sun, 2011). Un ejemplo de esto, pudiera ser la dimensión de interacción pedagógica. Inicialmente esta dimensión tenía
los resultados más bajos, pero ha tenido una evolución progresiva en los últimos cuatro años, en que los docentes que
se evalúan considerar esta dimensión como un aspecto de su desempeño a desarrollar. Lo mismo sucede en el caso de la
estructura de la clase. De esta manera se observa que la evaluación docente estaría cumpliendo con el objetivo de detectar
fortalezas y debilidades y como éstas van evolucionando a través del tiempo.
Otra hipótesis para un aumento en los puntajes es el aumento de las consecuencias de la evaluación, para salir del
sistema, con la entrada en vigencia de la ley 20.501, el año 2011. Esta ley baja la cantidad de Insatisfactorios consecutivos
de 3 a 2 y ahora considera los 3 Básicos consecutivos como causal de abandono del sistema público de educación. Dado
que el portafolio tiene gran ponderación dentro del puntaje final, puede pensarse que los docentes realizan con mayor
dedicación esta evaluación.
En cuanto a los factores, elegidos llama la atención que los que tienen mayor tasa de cambio, son los sectores en que
las pruebas estandarizadas tienen mayor presencia, como el Simce. Son asignaturas que tienen mayor atención y quizás
eso se ve reflejado también con la evaluación.
En lo formativo, la falta de efecto de los PSP puede explicarse por varias razones expuestas por Cortés, Taut, Santelices
& Lagos (2011). Entre las que se señalan está la falta de integración de la capacitación a la jornada laboral del docente,
el formato expositivo en la mayoría de ellas, su duración no sostenida en el tiempo y por el lado de los docentes la baja

10
 asistencia a los planes que les fueron asignados. Es necesario prestar atención a estas distintas cualidades de los PSP y
de los que participan en ellos para estudiarlos con mayor detalle, pero a simple vista no se visualizan efectos como los
observados en la evolución del portafolio.
Si bien se ha logrado una mayor disposición de los profesores a la evaluación quedan desafíos por lograr en lo forma-
tivo. En base a varios estudios se sabe que los docentes hacen poco uso de los resultados de la evaluación docente. En esta
línea, también ha colaborado el informe de la OECD (Santiago et al, 2013).
Uno de los aspectos que se está trabajando por mejorar es la labor formativa de la evaluación docente. Específicamen-
te, se podría ver cambios en la medida que se implementen las modificaciones definitivas al manual del portafolio y a la
entrega de los resultados, además del mayor involucramiento del docente, el establecimiento y los municipios con esta
evaluación. En el fondo, como señaló Bárbara Bruns (2013) la evaluación docente en Chile ha servido de ejemplo a nivel
internacional, pero ahora es tiempo de implementar un conjunto de innovaciones que apunten a que esta permita y apoye
el desarrollo profesional continuo de los docentes.

BIBLIOGRAFÍA9

Bruns, B .(2013).La importancia de la evaluación docente. Seminario: Evaluación Docente en Chile: Un Enfoque Internacio-
nal. [Presentación Power Point].
Cortés, F., Taut, S., Santelices, V. & Lagos, M.J. (2011, Enero). Formación continua en profesores y la experiencia de los
Planes de Superación Profesional (PSP) en Chile: Fortalezas y debilidades a la luz de la evidencia internacional Paper
presentado en Sociedad Chilena de Políticas Públicas, Enero 19, 2011, Santiago, Chile. En:
http://www.sociedadpoliticaspublicas.cl/archivos/BLOQUEM/Docentes_y_Directivos_Escolares/Presentacion%20
Sandy%20Taut%2019%201%2012.pdf
Decreto nº 192 (2004). Reglamento sobre Evaluación Docente. Diario oficial de la República de Chile. Disponible en:
http://www.docentemas.cl/docentes_documentos.php
Ley nº 20.501 (2011). Calidad y Equidad de la Educación. Diario oficial de la República de Chile. Disponible en: http://
www.docentemas.cl/docentes_documentos.php
Manzi, J., González, R. & Sun, Y. La Evaluación Docente en Chile. Centro de Medición Mide UC, 2011. Santiago, Chile. Dis-
ponible en: http://www.mideuc.cl/libroed/
Santiago, P, Benavides, F, Charlotte, D, Goe, L & Nusche D.(2013). Teacher Evaluaction in Chile. Reviews of Evaluation and
Assessment in Education. Organización para la Cooperación y el Desarrollo Económico, OCDE.
Tran, M. (2013). Robustness Of Two Formulas To Correct Pearson Correlation For Restriction Of Range. Educational Policy
Studies Dissertations. Paper 84.
Zapata, A & Herrada, M. (2013). Mejoras en el desempeño docente de los profesores del sistema municipal (Inf. Téc. Nº1305).
Santiago, Chile: Pontificia Universidad Católica de Chile, Centro de Medición Mide UC.

Agradezco de manera especial el aporte de María Rosa García (Mide UC) y Alvaro Zapata (Mide UC) por sus valiosos aportes.
9

11
Mercado laboral de los docentes
de educación básica
13 de marzo de 2015
 Mercado laboral de los docentes
de educación básica

Luis Alberto Degante Méndez

Maestro en Estadística Aplicada y Demografía, Instituto Nacional para la Evaluación de la Educación. México.
ldgante@inee.edu.mx
Fernando Carlos II Rigel Castro Hernández
Maestro en Demografía, Instituto Nacional para la Evaluación de la Educación. México.
fcastro@inee.edu.mx

PALABRAS CLAVE: Docentes. Condiciones Laborales. Mercado laboral. Ingreso. Movilidad. Salarios.
EJE TEMÁTICO: Modelos y políticas de evaluación de docentes y de directivos escolares

Resumen
Se analizan las condiciones laborales de los docentes de Educación Básica (EB). Se estudian las condiciones de
entrada, los agentes que intervienen en el ingreso a EB y la injerencia de las organizaciones gremiales al interior
del sistema educativo nacional. En un segundo nivel se analizan los factores que influyen en la trayectoria laboral
de los docentes al interior de esta profesión, encontrándose que se cuentan con dos medios; El reglamento de esca-
lafón (RE) y el Programa Nacional de Carrera Magisterial (PNCM). Son mecanismos de mejora salarial, el primero
horizontal y vertical, el segundo exclusivamente horizontal con expectativas a incrementos del sueldo base
del nivel inicial al último de más de 150%.
Se analizan el salario docente y su posición relativa respecto al total de la población ocupada y al interior del
grupo de profesionistas para el periodo 1995-2005, utilizando el segundo trimestre de las encuestas de ocupación
y empleo en México (ENE 1995-2004 y ENOE 2005-2012). Se observa que los docentes representan en promedio el
2.5% de toda la fuerza laboral ocupada en México y 27.6% promedio del grupo de profesionistas durante el periodo
1995-2012. Sin embargo sus niveles salariales son los más bajos dentro de este grupo.

2
 La profesión docente tiene características únicas que le dotan de algunas condiciones laborales que no comparte con
otras profesiones. No podría hablarse de un mercado laboral de docentes propiamente debido a que en la determinación
de estas condiciones no sólo contribuyen la oferta y la demanda de puestos de trabajo sino también factores institucio-
nales que influyen en las decisiones de formación, ingreso, salario, permanencia y promoción de los trabajadores de
la educación. Estos factores institucionales emanan de la actuación de un tercer agente: la representación sindical del
magisterio.
Resultado de un proceso histórico, el sindicato de maestros se constituyó por sí mismo en una fuente de poder político
integrado a la estructura gubernamental que ha influido de manera decisiva en el ejercicio de la profesión. Aunque esta
simbiosis no es propia de la representación magisterial, la influencia de la representación gremial desde la formación
inicial de los maestros en escuelas normales –creadas y autorizadas por el Estado–, su poder decisión en la asignación de
plazas, hasta la conformación de comisiones paritarias entre las autoridades educativas y los representantes sindicales
que determinaban la promoción de sus agremiados confluían en una profesión estrechamente ligada al presupuesto pú-
blico disponible destinado a la educación y a la interacción de intereses entre el propio Estado y el sindicado de maestros.
La introducción del Servicio Profesional Docente (SPD) introduce nuevas reglas de ingreso, promoción, evaluación y
permanencia del servicio docente que modificará estas relaciones institucionales e impulsaran nuevos mecanismos de
interacción entre las autoridades educativas y el magisterio (Ley del SPD, 2013). Estas transformaciones podrían derivar
en la configuración de un mercado de trabajo de docentes, inexistente en nuestro país hasta ahora, que configure un un
panorama profesional más próximo al que se observa en otras profesiones.
Las condiciones laborales aquí expuestas corresponden a la situación actual de la profesión docente donde el impacto
de la Ley de SPD todavía no se ve reflejado aún por su reciente creación, sin embargo, el análisis no pierde validez ya
que corresponde al punto de partido sobre el cual la LSPD busca mejorar y pondrá en acción las nuevas disposiciones en
materia educativa y que delineaban un ambiente profesional que no corresponde con los cánones de un mercado laboral.
En este trabajo se describen tres aspectos fundamentales de la profesión docente: ingreso, promoción y salarios. En
un mercado laboral tradicional estos aspectos están delineados, en mayor o menor medida, por las fuerza de oferta y
demanda de trabajo. Sin embargo, como se describe a continuación, este no corresponde al caso de la profesión docente
donde los factores institucionales son la fuerza que configura la profesión docente.

LOS DOCENTES Y EL MERCADO LABORAL

Se denomina mercado laboral al conjunto de relaciones que conforman las personas que, en un momento dado, desean
trabajar (oferta de trabajo) y las empresas o instituciones que requieren de este factor productivo para realizar sus ac-
tividades (demanda de trabajo) (Sabino, 1991). La interacción entre oferta y demanda de trabajo determina los niveles
salariales y frecuentemente el Estado funge como agente regulador a través del derecho laboral y emitiendo leyes que
garanticen las condiciones mínimas de estabilidad laboral.
La definición tradicional de mercado laboral expuesta arriba no encaja en las características que posee el conjunto de
relaciones que modelan las condiciones en las que los docentes desarrollan su profesión. En primer lugar, esta definición
supone que los que intervienen en el mercado poseen información simétrica, es decir, todo mundo conoce los mecanis-
mos de entrada y tiene acceso a ellos sin restricciones. En cambio, en el acceso a la profesión docente existen condiciones
preestablecidas que parten de un aparato normativo que regula las condiciones de ingreso y que lo acercan más a la defi-
nición de un mercado interno de trabajo con puertos de entrada y que promueven la reproducción interna de la profesión
(Rondero, 2002). En segundo lugar, al contrario de otras profesiones, el trabajo de un docente es imposible de medir en
términos de productividad por lo que los mecanismos de compensación y promoción difícilmente pueden ser vinculados
al ‘resultado’ o ‘producto’ de su trabajo, es decir no pueden estar supeditados a los resultados obtenidos por los alumnos.
En cambio, los procesos de ingreso, promoción y permanencia así como la consolidación de una carrera profesional están
sometidos al ingreso de programas de movilidad vertical (escalafonaria) y horizontal (carrera magisterial) definidos en-
tre la autoridad educativa, el empleador, y la representación sindical (mediante las comisiones paritarias). (Ortiz; 2003;
Santibañez y Martínez, 2010)

3
 Por último, la definición tradicional de mercado laboral supone una flexibilidad de los salarios que se definen me-
diante mecanismos de equilibrio entre la oferta y demanda de empleo. Esta condición raramente se cumple en cualquier
mercado de trabajo (de profesionistas calificados o no) ya que existen instituciones dentro del mercado laboral que
definen reglas y prácticas de protección salarial (contratos colectivos, salario mínimo) (ILO, XXXX) pero en el caso de los
docentes la definición de una política salarial diferencia esta característica laboral del resto de los profesionistas; están
directamente regulada por el Estado y son el resultado de una confluencia del sindicado y las autoridades en una nego-
ciación bilateral (Rondero, 2002) (Arnaud, 2003).
Actualmente, alrededor de 83% del total de docentes en educación obligatoria fueron contratados por una autoridad
estatal o por la federación y por tanto se encuentran sujetos a las disposiciones que sobre su contratación, permanencia y
promoción dicta el Reglamento de las Condiciones de Trabajo del Personal de la SEP, inspirada a su vez en la Ley General
de trabajadores al Servicio del Estado.
El magisterio representa una fuerza laboral de dimensiones importantes en nuestro país. En 2012, los docentes de
preescolar, primaria y secundaria representaron 2.5% de toda la población ocupada, que sumados a los docentes de
educación media superior y otro personal de apoyo pedagógico, representan alrededor de 3.5% del total de la PEA, según
datos estimados con el segundo trimestre de la Encuesta Nacional de Ocupación y Empleo (ENOE).

Dentro del grupo de profesionistas su proporción se ha mantenido más o menos constante con más de un cuarto del
total- desde 1995, cuando los maestros representaron poco más de 28% del total de profesionistas ocupados. De 1995
a 2012 el número de docentes en EB se incrementó 60%, aunque su crecimiento no fue tan marcado como el de otras
profesiones como los ingenieros, arquitectos y afines así como los profesionales en ciencias sociales que duplicaron y
triplicaron su número en el mismo periodo, respectivamente.

4
 Aunque la participación porcentual de los docentes en México, respecto al total de la población ocupada en el país, se
ha mantenido más o menos constante, la estructura y composición entre niveles escolares cambió de acuerdo al ritmo del
cambio en la composición de la población en edades escolares. Donde la matrícula de estudiantes en primaria disminu-
yó producto de la dinámica demográfica, por lo tanto, la proporción de los docentes que enseñan en este nivel también
declinó (Llamas, XXXX). Mientras tanto, la estructura en secundarias se mantuvo estable, resultado de un incremento en
la demanda por educación en este nivel y con el esperado aumento en la matrícula de alumnos en educación media su-
perior –producto de la obligatoriedad de este nivel– la composición del magisterio por nivel educativa tenderá a cambiar
en próximos años.

En 2013, 92% de los docentes en educación básica cuentan con un nivel de educación superior, normal o posgrado,
aunque varía según el nivel educativo; en primaria es 96%, en preescolar 91% y en secundaria 88%. Por otro lado, sólo
alrededor de 7% de los maestros de básica tienen un nivel educativo inferior a la licenciatura (o equivalente), la mayor
parte de éstos con estudios de educación media superior. Así, al comparar la situación laboral de los docentes en todas sus
aristas (salarios, prestaciones, horarios, etc.) es justo y conveniente hacerlo con otros profesionales con el mismo nivel
educativo, cuya naturaleza del trabajo que realizan requiere de una preparación a nivel superior.

INGRESO A LA PROFESIÓN DOCENTE

Actualmente es la ley del Servicio Profesional Docente (SPD) la que ofrece las disposiciones y lineamientos para el ingre-
so a la profesión en educación Básica y Media Superior. Esta ley limita las relaciones institucionales entre el sindicato y

5
 las autoridades que pudieran influir en el proceso de ingreso, promoción o escalafón vertical con la desaparición de las
comisiones paritarias en favor de exámenes, evaluaciones y la determinación de condiciones idóneas para ser maestro.
El panorama laboral al que ingresan los maestros luego de su formación inicial está dominado por el Estado. En el
ciclo escolar 2013-2014, alrededor de 83% del total de docentes en educación obligatoria1 fueron contratados por una
autoridad estatal o por la federación y por tanto se encuentran sujetos a las disposiciones que sobre su contratación,
permanencia y promoción dicta el Reglamento de las Condiciones de Trabajo del Personal de la SEP, inspirada a su vez en
la Ley General de trabajadores al Servicio del Estado. Esto implica su inclusión en el cuerpo de funcionarios y empleados
del Estado, con condiciones de servicio muy diferentes a las que predominan en el mercado laboral y que propicia una
fuerte identidad profesional, donde el despido sólo tiene lugar en circunstancias excepcionales y la noción de ‘puesto de
por vida’ cobra gran firmeza (Eurydice, 2003, 2004). Por otro lado, los docentes de escuelas privadas, en su condición de
empleados en unidades económicas particulares, son contratados bajo las disposiciones de la legislación laboral aplicable
a todos los demás profesionistas fuera del sector público.
La ley del SPD ha venido a substituir las diferentes vías de ingreso, no siempre normadas, a través de las cuales los
aspirantes a maestros han tenido que acudir para ingresar al servicio docente en las escuelas públicas. Además ofrece
mecanismos para evitar la asignación directa o discrecional de plazas, aunque en algunos estados se contempla la posi-
bilidad de favorecer el ingreso de los egresados normalistas –frente a los egresados de otras instituciones de educación
superior– siempre y cuando cumplan con las condiciones de idoneidad establecidas por el INEE, durante un periodo de
por lo menos dos años (por ejemplo Oaxaca, Nayarit o Zacatecas).
Como se mencionó anteriormente, en un mercado laboral tradicional, las fuerzas de la oferta y demanda influyen total
o parcialmente en la contratación de trabajadores. En el caso de la profesión docente, existía una relación con el sindica-
lismo que actuaba como una unidad organizativa interna, más allá de las fuerzas de mercado, producto de una estructura
de relaciones entre trabajadores y el Estado empleador que intervenía directamente en los procesos de promoción y
contratación del personal. Este tipo de relaciones laborales son producto de un proceso histórico en el que la presencia
del sindicato y la intervención del Estado ha sido relevante, así como otros factores de tipo cultural (Rondero, 2002).
El peso de los docentes en el panorama profesional mexicano fue creciendo gradualmente. En los principios de la
profesión docente en México, el Sistema Educativo Nacional era casi inexistente por lo que el ser maestro se consideraba
como una profesión de particulares. La expansión del sector educativo hizo inevitable la intervención directa de Estado
en el desarrollo profesional de los docentes. Ya en 1930 el peso de los maestros contratados por el gobierno federal era
tal, que se constituían en una fuente de poder político, lo que provocó los primeros intentos de organizarlos e involu-
crarlos directamente en los cuerpos de decisión gubernamental hasta constituirlos no sólo en empleados o funcionarios
públicos, en el sentido tradicional del concepto, sino en una profesión de Estado (Arnaut, 2004).
En un mercado laboral tradicional, la regulación o intervención estatal dependen de las condiciones económicas ge-
nerales y está directamente influida por las fuerzas económicas (Sabino, 1991). En la profesión docente el Estado ha
tenido una participación directa en la formación de la fuerza laboral que nutre a las escuelas. El Estado fomentó el esta-
blecimiento de las escuelas normales destinadas a formar maestros y autorizar el ejercicio de la docencia al igual que las
subsecuentes reformas a los antecedentes escolares para ingresar a la formación docente. En otro momento, la transfor-
mación de la formación de los docentes equivalente a la educación superior (a partir de 1984) actuó como un mecanismo
de contención ante el freno de la expansión de los servicios educativos, principalmente en primaria, debido a la transición
demográfica que sufría el país y a la crisis económica que asolaba a la economía nacional.
Antes de los 80, con el SEN en expansión, el contar con la formación docente garantizaba en gran medida el acceso a
la profesión; el Estado formaba a los docentes, y también los contrataba. Sin embargo, esta correspondencia estaba me-
diada por la acción del sindicato magisterial mediante las comisiones paritarias que dictaminan la asignación de plazas
de nueva creación. Esta circunstancia producto de la centralización, política y administrativa del magisterio por parte
de los gobiernos post revolucionarios que consolidaron al magisterio como una profesión de Estado y que trajo como
consecuencia que el destino laboral de los maestros esté fuertemente ligado al papel desempeñado por el sindicado en la
administración de la educación pública (Arnaud, XXXX).

Las escuelas públicas emplean a 87% del total de docentes de educación básica y a 66% de todos los docentes en Educación Media Superior.
1

6
 Fue hasta 2002, cuando se propuso una reforma que implementó un examen de ingreso al servicio docente y los con-
cursos de oposición para la designación de directores, supervisores y jefes de sector, pactados con la representación sindi-
cal en Compromiso Social por la Calidad de la Educación. La SEP llevó a cabo un estudio en 2003 para conocer con mayor
precisión las experiencias de once de las 13 entidades que utilizaban, en ese momento, algún mecanismo de selección. Es-
tos mecanismo estaban encaminados a resolver algunas problemáticas que se presentaban en la designación de plazas En
2004 se buscó implementar una política nacional de ingreso mediante concursos de oposición. Finalmente, la Alianza por
la Calidad de la educación (2008) planteó el ingreso y promoción de todas las nuevas plazas y todas las vacantes definitivas
por la vía de concurso nacional público de oposición convocado y dictaminado de manera independiente. Sin embargo no
se establecen mecanismos ni leyes por lo que realmente nunca se ejecutaron de manera cabal. De esta forma, es hasta la
implementación del SPD con las reformas a la Ley General de Educación y al artículo 3ro de la CPEUM que plantean linea-
mientos y disposiciones para el ingreso equitativo de todos los aspirantes a maestros de educación obligatoria.

PROMOCIÓN Y MOVILIDAD EN LA PROFESIÓN DOCENTE

Las relaciones de trabajo entre el magisterio y el Estado son más inflexibles que en el resto de las profesiones presentes
en la administración federal, y aún más comparadas con el sector privado (Arnaut XXXX). La rigidez es derivada del marco
jurídico especial que rige las relaciones de los maestros con su empleador, el Estado2, y que genera una situación única
no presente en los mercados de trabajo: las plazas –puestos de trabajo– son propiedad de quien las ejerce y no de quien
paga el servicio ni quien las crea. En estas condiciones, el sindicado es el mediador en la negociación de las condiciones
laborales del docente, y aún más, en las reformas a los planes de estudio de los maestros en formación y en el desarrollo
de su evolución profesional.
Esta relación laboral sui generis provoca una inmovilidad del puesto de trabajo de un docente de base que no se
encuentra en otras profesiones –dadas las pocas causas que provocan su cese o suspensión3, siempre mediada por la
intervención del sindicato–. Entre estas causas se encuentra la comisión de delitos, el abandono definitivo del empleo
y el no desempeñar sus labores con la intensidad, cuidado y esmero apropiados, sujetándose a la dirección de sus jefes
y a las leyes y reglamentos respectivos, situaciones que proceden con la conformidad del sindicato magisterial previa
notificación de la SEP.
En términos generales, la normatividad que regula la movilidad de los docentes de los centros escolares públicos que
brindan los niveles educativos obligatorios se ha regido por el reglamento de escalafón para el personal de la SEP y, en el
caso de los docentes de educación básica, también por el programa de carrera magisterial.
Desde la emisión de la ley original de Escalafón del Magisterio, de Portes Gil, se contempló la constitución de un comi-
té –el Consejo de Educación Primaria– que determinara y atendiera la clasificación de los docentes; originalmente de 10
miembros, llegó a ser dominada por la representación gremial del magisterio (Arnaud, XXXX). Hasta 2013, el órgano de
decisión para la asignación de plazas y promociones era una comisión (la Comisión Nacional Mixta de Escalafón) que se
integraba con dos representantes de la Secretaría de Educación Pública y con dos representantes del Sindicato Nacional
de Trabajadores de la Educación, quienes designaban de común acuerdo a un quinto miembro que tenía el carácter de
Presidente Arbitro. Esta
El tipo de promoción laboral especificada en reglamento de escalafón de la SEP es conocida como el Escalafón Tra-
dicional o Escalafón Vertical (Ortiz, 2003). Sin embargo, no sólo se encarga de promociones verticales que conlleven el
cambio de una función a otra, también se encarga de promover permutas a otras plazas que solo conllevan un cambio
a otra del mismo nivel con diferente nivel salarial o la asignación de plazas adicionales. Las promociones por medio de
dictamen escalafonario, que se someten a concurso entre los trabajadores de base, significan un ascenso de una categoría
inferior a una categoría superior o de un determinado nivel de sueldo a uno superior y sólo son posibles cuando se crean
nuevas plazas o se liberan las ya existentes por renuncia, jubilación, por cese o por defunción.

Subscritas en la ley y reglamento anteriormente mencionados.

2

Artículo 58 del Reglamento de las Condiciones Generales de Trabajo del Personal de la Secretaria de Educación Pública (1946) y artículo 44 de la Ley
3

General de trabajadores al Servicio del Estado (última modificación en 2012).

7
 El reglamento de escalafón ve como sujetos de ascenso a todos los trabajadores de base con un mínimo de seis meses
en la plaza inicial. Para dictaminar las promociones se toman en cuenta cinco criterios de calificación: Conocimiento,
Aptitud, Disciplina, Puntualidad y Antigüedad, cada uno con un peso específico4.
Por otro lado, el Programa Nacional de Carrera Magisterial (CM) surge del Acuerdo Nacional para la Modernización de
la Educación Básica. En contraste con el sistema tradicional de escalafón, es un sistema de promoción netamente horizon-
tal cuyos participantes pueden obtener incrementos salariales sobre el salario base, sin cambiar de categoría o función.
Está dirigido a todos los que realicen funciones de docente frente a grupo, director o actividades técnico-pedagógicas.
CM cuenta con reglas emitidas por una comisión nacional SEP-SNTE, similar al sistema de escalafón. Los trabajadores
sujetos al programa deben contar con las siguientes características: Ser maestro de educación básica. Tener categoría
reconocida el catálogo de categorías susceptibles de incorporación o promoción en el programa. Cumplir con la antigüe-
dad en el servicio docente, conforme al grado máximo de estudios. Cumplir con el grado académico requerido para su
función en el nivel y/o modalidad de participación. Contar con el número de horas de plaza inicial y tener nombramiento
en código 10 (alta definitiva o plaza de base) o código 95 sin titular (interinato indefinido).
Los mecanismos de promoción de Carrera Magisterial favorecen el arraigo del maestro en el nivel educativo donde se
desempeña y su permanencia en la profesión docente. Antes de la implementación de este programa los maestros busca-
ban, de manera constante, la movilidad a los niveles educativos con mayores percepciones salariales; ahora, la tendencia es
que los maestros incorporados al programa permanezcan en el nivel educativo donde iniciaron su labor docente y obten-
gan promociones dentro del mismo (Deceano, XXXX). Este mecanismo no es coincidente con los existentes en otros mer-
cados de trabajo, donde las promociones están sujetas a una evaluación del desempeño que condiciona la permanencia.
En las relaciones laborales de los mercados internos la normatividad y la formación de estas estructuras organizativas
privilegian la reproducción interna, la formación de sus miembros y la permanencia de los trabajadores calificados en la
institución.
En ambos tipos de movilidad salarial, las decisiones de promoción recaen en comisiones mixtas SEP-SNTE. En ambos
casos se da preferencia por antigüedad, grado académico, preparación profesional y actualización docente. En CM se
requiere una estancia mínima de año en cada nivel para poder saltar a otro, en una promoción escalafonaria se requiere
una plaza vacante, ya sea por nueva creación o por jubilación del personal que las ocupa. Otra diferencia es que en CM la
promoción implica cambios en el sueldo no en la categoría o plaza, en cambio, el escalafón tradicional, implica un cambio
de plaza o la obtención de otra adicional. De esta forma, el escalafón tradicional está sujeto a la disponibilidad de nuevas
plazas mientras que CM está sujeto a condiciones presupuestales y, en teoría, si el individuo cumple con las calificaciones
necesarias para pasar de un nivel a otro, dicho cambio se debe de otorgar.
La movilidad laboral, ya sea por escalafón o por carrera magisterial, significa una mejoría en el salario que perci-
ben los docentes. Como se mencionó, una promoción puede significar un cambio en la categoría de personal o un cambio
en el nivel de sueldo. Existen diferentes claves de categoría de acuerdo con la función que realiza el personal: apoyo a la
labor educativa (prefectos, laboratoristas, ayudantes), administrativo (personal de apoyo administrativo y de servicio),
docente (Personal frente a grupo y funciones pedagógicas) y directivo (personal docente en función de dirección o su-
pervisión educativa). Dentro de las entidades federativas, el abanico de tipos de personal es muy extenso y variado (y
por ende de categorías). Esta variabilidad es producto de un proceso histórico de nivelación y promoción salarial iniciado
desde la introducción del escalafón tradicional en los años 30 y reforzado por la descentralización de la educación básica
en 1993 con el AMEB. Así, el salario de los maestros responde a un sistema normativo y de procedimientos que delimita
la estructura de éstos a partir de la estructura jerárquica de puestos y formas de ascenso provocando una gran variedad
de categorías salariales . (Rondero, 2002)
Actualmente el número de categorías y niveles salariales de docentes de educación básica entre las entidades fede-
rativas es diverso. Según datos del Fondo de Aportaciones a la Educación Básica (FAEB, a partir de 2014 FONE) durante
2012 había en promedio 364 categorías de maestros en el país, cada una con hasta 8 niveles salariales. La entidad con
el mayor número de categorías en función docente es San Luis Potosí, donde existían 1 348 categorías de maestros que
tienen entre 1 y 15 niveles salarias, seguida de Baja California con 1 248 categorías y entre 1 y 2 niveles salariales. La
entidad con menos categorías fue Baja California Sur (59).

Título V “De los Factores Escalafonarios” del Reglamento de Escalafón.

4

8
 Número de categorías de trabajadores de la educación, según función y tipo de contratación
Docente (Personal frente a grupo y funciones pedagógicas)
ENTIDAD Tipo de contratación Niveles de sueldo
Total (categorías) (valores)
Nombre Jornada H/S/M Mín. Máx.
Aguascalientes 228 150 78 1 7
Baja California 1248 935 313 1 2
Baja California Sur 59 31 28 1 1
Campeche 289 213 76 1 7
Coahuila 289 207 82 1 7
Colima 139 87 52 1 7
Chiapas 271 190 81 1 7
Chihuahua 142 90 52 1 7
Distrito Federal 367 318 49 1 7
Durango 378 260 118 1 7
Guanajuato 112 70 42 1 7
Guerrero 227 174 53 1 8
Hidalgo 139 86 53 5 6
Jalisco 164 122 42 1 8
México 109 67 42 1 8
Michoacán 140 95 45 1 7
Morelos 124 84 40 1 7
Nayarit 96 64 32 1 8
Nuevo León 1250 1058 192 1 8
Oaxaca 225 158 67 2 8
Puebla 226 162 64 1 9
Querétaro 80 51 29 1 7
Quintana Roo 1275 1073 202 1 9
San Luis Potosí 1348 963 385 1 15
Sinaloa 1201 835 366 1 15
Sonora1 5 5 0 1 1
Tabasco 85 52 33 1 7
Tamaulipas 134 102 32 1 8
Tlaxcala 122 122 0 1 1
Veracruz 794 794 0 2 3
Yucatán 269 232 37 1 8
Zacatecas 110 110 0 3 3

SALARIO DE LOS DOCENTES RELATIVO A OTRAS PROFESIONES

La definición de los salarios en el entorno laboral de los docentes no se realiza a través de la relación de oferta y demanda
propia de los mercados de trabajo tradicionales. Es producto de una negociación entre los representantes gremiales del ma-
gisterio y las autoridades educativas. Aunque esta práctica no es propia de los docentes, el peso que éstos tienen en la fuerza
laboral les permite alcanzar acuerdos que les permitan obtener salarios reales por encima del incremento en los precios.

9
 En general, el poder adquisitivo de la población ocupada ha crecido de manera magra entre 1998 y 2012. Se observa
un periodo de crecimiento entre 1998 y 2006 y otro de pérdida en entre 2006 y 2012. De entre los grandes grupos de
ocupación, los docentes no se vieron tan afectados por la caída en los salarios reales en este segundo periodo como sus
pares profesionistas u otros grupos de la población trabajadora no calificada. Así, los docentes de educación básica vieron
aumentado su salario real en 0.7% anualmente entre 1998 y 2012. Así, el monto real de los salarios netos de los docentes
no se ha visto mermado por la inflación durante el periodo de observación.
La estacionalidad salarial, en el mejor de los casos, no es ajena al resto de las profesiones. Aunque se observaba un
repunte importante en el periodo 1998-2005 para los ingenieros y afines, a partir de 2006 comenzó un desplome en el
salario real de todos los profesionistas hasta alcanzar niveles similares a los de 1998. Así, los profesionales de la salud,
los ingenieros y técnicos afines y los profesionales de las ciencias exactas tuvieron un crecimiento negativo en el salario
real cercano al 1% al año. Los profesionales en ciencias sociales y economistas, administradores y contadores percibieron
apenas un crecimiento real de 0.1% anual. Esta situación pone de relieve la capacidad del magisterio, como un conjunto
organizado de profesionistas, de negociar a través de su sindicato con las autoridades gubernamentales incrementos
salariales nominales que les permitan sortear el alza de los precios. El resto de los profesionistas, con un importante por-
centaje de empleados por su cuenta, no tiene la capacidad como gremio de incidir en el ajuste de sus salarios.
La variedad de salarios ofrecidos a los docentes ha evolucionado a la par de la evolución de la profesión. Desde la dife-
renciación de salarios entre los maestros requeridos para masificar la educación y los profesores urbanos en los años 30,
hasta la gran variedad de categorías de docentes y niveles salariales derivados de carrera magisterial y el sistema esca-
lafonario tradicional. En teoría, esta variabilidad debiera estimular un sistema de reconocimiento y estímulo profesional
que ayude a elevar las expectativas de desarrollo de los docentes en el sistema educativo y de los potenciales candidatos
a entrar a él. Sin embargo, los sistemas de evaluación y escalafón pasaron de ser sistemas de reconocimiento y estímulo
profesional a formar parte de un sistema de premios y castigos administrativo-sindicales.
Lo anterior expuesto ha originado que la profesión docente se halla desvalorizado, perdido estatus social y los siste-
mas de escalafón cuyo objetivo es promover al docente sean insuficientes para lograr niveles salariales competitivos a
otras profesiones (Santibañez, 2002; Santibáñez y Martinez, 2010; Llamas y garro, 2006; Arnaut, 2004; Ortiz, 2003) ya
sea por las barreras que impone el mecanismo poco transparente de escalafón tradicional o en el caso de CM por la impo-
sibilidad de muchos profesores para cumplir con los requisitos para pasar de un nivel a otro. Al mismo tiempo, la oferta de
salarios competitivos está sujeta a factores presupuestales, es decir, a la planeación, política y restricción presupuestaria
del estado, y no precisamente a la dinámica propia del sistema educativo, De esta manera una mayor cobertura en educa-
ción sujeta a restricciones puede generar la oferta de salarios bajos (Llamas y Garro, 2006.
El nivel salarial relativo del magisterio junto con las oportunidades de incentivos adicionales, estén o no remunera-
dos, juega un papel fundamental a la hora de determinar el atractivo de la profesión (Eurydice, 2004). Frente a la gran
cantidad de opciones profesionales, es primordial que el sistema educativo incentive la llegada de jóvenes preparados
para las cuales el magisterio sea una opción viable de desarrollo profesional a largo plazo y no una opción secundaria
o temporal.
Al contrario de los salarios estimados en la sección anterior, los montos aquí mostrados fueron calculados con la
ENOE-ENE y por tanto no son coincidentes en montos absolutos5, pero en términos de comparación con otras profesiones
son una estimación precisa de la situación salarial relativa del magisterio a nivel nacional.
Comparado con el del total de la población ocupada, el salario de los docentes y trabajadores de la educación es, en
promedio, el tercer más alto entre los grandes grupos de ocupaciones y así se ha mantenido desde 1998 (línea negra
continua: profesores educación básica y línea azul cielo quebrada: profesores de EMS y otros trabajadores de la educa-
ción). En esta comparación, el total de profesionistas y técnicos calificados está agrupado en el grupo ‘Otros profesio-
nistas y técnicos’.
La desigualdad en los ingresos por salarios, tomando en cuenta el total de la población ocupada, es grande. El coefi-
ciente de Gini estimado es de 0.405 en 2012; ligeramente inferior al índice por ingreso per cápita estimado en la población

El salario que se registra en las encuestas de empleo refleja el monto monetario ‘que efectivamente recibe el trabajador’, es decir, el dinero que recibe
5

en cada periodo de pago descontando impuestos y otras deducciones. Aunado a esto, el salario estimado en la sección anterior incorpora otras
percepciones como la bonificación por aguinaldo o prestaciones sociales que, dado el periodo de referencia con la que se estimaron los salarios
en la ENOE-ENE (II trimestre de cada año mostrado) no es posible registrar.

10
 mexicana (0.47) para el mismo año. Alrededor de 82% de la población trabajadora gana menos que el promedio de un
docente de EB, 26% gana la mitad y sólo 9%, aproximadamente, gana en promedio un salario mayor.
La profesión docente parece más estable —en cuanto a nivel salarial­— respecto a otras ocupaciones e incluso con
salarios relativamente más altos que los de la mayoría de la población ocupada. Sin embargo se encuentra en los niveles
salariales en el nivel más bajo dentro del grupo de profesionistas con educación superior6.
La profesión docente requiere de una preparación, conocimiento y habilidades similares al de ocupaciones que re-
quieren educación universitaria por lo que es justo comparar su situación salarial con el de sus pares profesionistas y
técnicos calificados. Así, en 2012 el salario real de los maestros de EB fue aproximadamente 22% menor que el salario
promedio un profesionista con educación superior, fue de hecho el más bajo de entre todos los ocupados. La desventaja
relativa salarial de los maestros se mantiene a lo largo de todo el periodo de estudio aquí presentado (1998-2012).
Los salarios más altos corresponden a ingenieros, arquitectos y técnicos afines, seguido del de los profesionales de
la salud y de las ciencias sociales, de los economistas y administradores y de los profesionales en ciencias exactas. Estas
posiciones cambian a lo largo del tiempo de observación, sin embargo el salario relativamente más alto de los primeros y
el salario relativamente más bajo de los maestros es constante.
Al igual que el promedio salarial del total de la población ocupada, el salario real de los profesionistas con educación
superior decreció entre 2006 y 2012; el menos afectado fue el salario de los docentes de EB, que sólo decreció 1.5%
anualmente, frente al 4% que disminuyó el salario del resto de sus pares profesionistas.

Desglosado según nivel educativo –preescolar, primaria y secundaria – el salario de los docentes sigue una tendencia
similar al del promedio de EB; sin embargo, hay grandes diferencias: el nivel salarial de los docentes de preescolar es
notablemente inferior al promedio (aproximadamente 18% inferior), el salario de los profesores de secundaria es 17%
superior y el de los de primaria –que representa el mayor volumen de docentes– es similar al promedio de EB. A pesar de
esto, el poder adquisitivo del salario de los maestros de preescolar y de primaria ha aumentado ligeramente más que el
de los de secundaria, que ha crecido en promedio 0.3% al año, frente a 0.8% de los primeros entre 1996 y 2012.

Concentrados en el grupo ‘Otros Profesionistas y Técnicos.

6

11
 Sin embargo, ese atractivo se diluye a lo largo de la vida profesional. Las oportunidades de ascenso y mejora salarial
del magisterio no permiten grandes cambios en su ingreso a menos que se acceda a los últimos niveles de carrera magis-
terial (que como se vio anteriormente, el porcentaje de los que llegan a este nivel es mínimo) o se obtenga un puesto en lo
alto del escalafón salarial, por lo que a mayor edad el atractivo salarial de ser un docente se debilita. La gráfica siguiente
ahonda en lo expuesto anteriormente. Muestra el salario promedio de un maestro Básica relativo al de los profesionistas
con Educación Superior relativo. En los menores de 24 años el salario es estadísticamente igual pero va disminuyendo en
los siguientes grupos de edad. Así, se aprecia que entre los 25 y 54 años el salario de un docente pierde poder de compa-
rabilidad con el resto de los profesionistas.

12
 CONCLUSIONES

El mercado laboral de los docentes no comparte las mismas características a un mercado de trabajo tradicional. En el caso
de los docentes existe un tercer agente que interviene en el proceso de ingreso, promoción, permanencia y en la asigna-
ción de los niveles salariales a través de comisiones mixtas con la autoridad establecida en los principales reglamentos y
estatutos de la SEP. Esta situación se intentó corregir en repetidas ocasiones desde 2002, sin embrago no fue hasta 2013
con la introducción de la LSPD cuando se establecen mecanismos públicos, transparentes, abiertos y con normas claras
para la entrada al mercado laboral docente.
La dinámica del mercado de trabajo docente y la descentralización de la educación en 1993 creo un abanico extenso
de categorías y plazas que hicieron difícil la promoción a otras categorías en el sistema escalafonario. Respecto al peso de
los docentes en la fuerza laboral constituyen un peso importante en la población ocupada, representando un promedio
del 3% durante el periodo de estudio y 25% del grupo de profesionistas.
Este importante peso dentro de la fuerza laboral ha tenido efectos positivos en el nivel de ingresos. Las representa-
ciones gremiales han logrado negociar incrementos salariales que compensan la inflación durante el periodo de estudio,
sin embargo el nivel salarial es el más bajo al compararse con otras profesiones, por lo que pertenecer a esta profesión
implica un contrato con seguridad laboral, contrato permanente, prestaciones, compensación de la inflación entre otras
cosas. Pero por otro lado, implica trayectorias laboral y de ingreso plana, es decir, poca movilidad a lo largo de la vida
productiva de los docentes.

LISTA DE REFERENCIAS

Arnaut, A. (2004). El sistema de formación de maestros en México. Continuidad, reforma y cambio. Ciudad de México: SEP,
Cuadernos de discusión #17.
Arnaut, A. (2010). Gestión del sistema educativo federalizado, 1992-2010. En A. Arnaut, & S. Giorguli, Los grandes
problemas de México: VII Educación (págs. 233-270). Ciudad de México: El Colegio de México.
Botello, J. (2011). Algunos indicadores del mercado de trabajo. Análisis económico, XXVI(63), 248-263.
D.O.F. (19 de Mayo de 1992). Acuerdo Nacional para la Modernización de la Educación. Ciudad de México: SEP-SNTE.
EURYDICE. (2003). Condiciones laborales y salario. Comisión Europea, Dirección General de Educación y Cultura.
Madrid: EURYDICE.
EURYDICE. (2004). El Atractivo de la profesion docente en el siglo XXI. Comisión Europea, Direccion General de educación
y Cultura. Madrid: EURYDICE.
LGE. (13 de Junio de 1993). Ley General de Educación. Ciudad de Mexico: DOF.
LGSPD. (19/09/13). Ley General del Servicio Profesional Docente. Ciudad de México: Diario Oficial de la Federación.
Llamas, I., & Garro, B. (2006). El mercado laboral de los docentes en México. En I. Llamas Huitrón , El mercado en educación
y la situación de los docentes. (págs. 175-233). Ciudad de México:
Ontiveiros, M. (2003). La descentralización de la educación básica, sus efectos sobre la oferta y la calidad educativa y los
salarios magisteriales. Análisis Económico, XVIII(37), 81-95.
Ortiz, M. (2003). Carrera Magisterial: Un proyecto de desarrollo profesional. D.F: SEP; Cuadernos
Santibañez, L. (2° Semestre de 2002). ¿Están mal pagados los maestros en México? estimado de los salarios relativos
del magisterio. (C. d. Educativos, Ed.) Revista Latinoamericana de Estudios Educativos, XXXII(2), 9-41.
Santibañez, L., & Martínez, F. (2010). La Evaluación educativa: experiencias, avances y resultados. En A. Arnaut, & S.
Giorguli, Los Grandes problemas de México: VII Educación (págs. 125-158). Ciudad de México: El Colegio de México.
SEP. (1973). Reglamento de escalafon de los trabajadores al servicio de la secretaria de educación pública. Ciudad de México:
DOF 14 de diciembre de 1973.
Villanueva, S. (2010). Impacto de la descentralización de la educación básica y normal en México sobre el gasto en nómina
magisterial de los estados, 1999-2004. economía mexicana: Nueva Época, XIX(2), 231-270.

13
¿Qué saben de matemáticas
los docentes chilenos que la enseñan?
Evidencia de los sistemas de evaluación docente en Chile

13 de marzo de 2015
 ¿Qué saben de matemáticas
los docentes chilenos que la enseñan?
Evidencia de los sistemas de evaluación docente en Chile1

María Beatriz Rodríguez Frías*

Psicóloga, Magister en Psicología Educacional, Mide UC, Universidad Católica de Chile.
mrodriguezf@uc.cl
Ximena Patricia Carreño Campos
Profesora de Estado en Matemática, Magister © en Educación Matemática. Mide UC, Universidad Católica de Chile.
xcarreno@uc.cl
María Herminia Ochsenius Alarcón
Psicóloga, Magister en Psicología Educacional, Licenciada en Matemática. Magíster en Ciencias Exactas,
mención Matemáticas, Doctora en Ciencias Exactas, mención Matemáticas, Chile.
hochsen@mat.puc.cl
Carmen Verónica Muñoz Correa
Profesora de Estado en Matemática
cveronicamunoz@gmail.com

PALABRAS CLAVE: Dominio disciplinario, evaluación docente, enseñanza de las matemáticas.

EJE TEMÁTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen
Con el fin de aportar información útil para focalizar esfuerzos para el mejoramiento de la educación matemática
en escuelas chilenas, este estudio explora en la evidencia disponible, recogida por el Ministerio de Educación en
dos sistemas de evaluación docente voluntarios: Programas de Asignación de Excelencia Pedagógica y Asignación
Variable de Desempeño Individual. Se analiza en profundidad el dominio disciplinario demostrado por profesores
de matemática en la prueba de conocimientos disciplinarios que rinden para estas evaluaciones entre los años
2007 y 2011. Mediante un exhaustivo análisis de los ítemes que componen este instrumento, se determinó su
dificultad esperada —en función del contenido conceptual y las estrategias necesarias para resolverlos— y se con-
frontó con la dificultad real que presentaron en su aplicación para el conjunto de docentes. Este análisis permitió
una descripción detallada de fortalezas y debilidades en cada eje del marco curricular, y aun cuando se aprecian
diferencias en los desempeños de docentes de distintos ciclos de enseñanza, para la mayoría de los ejes se observa
un patrón común: como fortalezas, destrezas a nivel de operatoria y resolución de problemas en contextos numé-
ricos sencillos; como debilidades, deficiencias en la comprensión profunda de conceptos básicos, dificultades en
establecer conexiones entre dominios diferentes, en integrar contenidos y en transferir el conocimiento a contex-
tos diferentes.
Los resultados de este estudio sugieren recomendaciones para la formación inicial y continua de los docentes
de matemática, y establecen la necesidad de fortalecer la formación disciplinaria, particularmente la comprensión
conceptual profunda de contenidos elementales de la disciplina.

Este estudio forma parte de uno mayor, financiado por el Fondo de Investigación y Desarrollo en Educación (Fonide), del Centro de Estudios
1

del Ministerio de Educación de Chile. El estudio completo, denominado “¿Cuánto saben de matemática los docentes que la enseña y cómo se relaciona
este saber con sus prácticas de enseñanza?” fue dividido en dos secciones que, debido a su extensión, se presentan por separado para Colmee 2015.
La parte complementaria se denomina ¿Cómo se enseñan las matemáticas en aulas chilenas?, y se presenta en ficha adjunta.

*Autor principal
2
 INTRODUCCIÓN

La importancia de que los profesores conozcan bien los contenidos que enseñan está establecida. El dominio discipli-
nario del docente se ha vinculado empíricamente con los resultados de los estudiantes (Monk, 1994; Frome, Lasater y
Cooney, 2005; (Leinhardt y Smith, 1985; Ball y McDiarmid, 1990; Mullens, Murnane, y Willett, 1996; Darling-Hammond
y Young, 2002; Chambliss, Graeber y Clarke, 2003) y es considerado como un componente central en la definición de la
calidad docente, lo que se ve ratificado por el hecho de que esta dimensión está presente en una posición relevante en
los estándares de formación de profesores (Mineduc 2012; Mineduc 2012) y de desempeño docente de distintos países,
(Australian Professional Standards for Teachers; Illinois Professional Educator Standards).
Aun cuando se identifican los beneficios de un dominio profundo de los contenidos, estudios de diversa índole han
establecido que el conocimiento matemático necesario para la enseñanza a nivel escolar, es diferente de aquel requerido
por profesionales de otros ámbitos relacionados con la matemática. (Ball, Hill y Bass, 2005; Ma, 1999; Papick, 2011).
El interés del equipo investigador por centrarse en la enseñanza de las matemáticas, radica principalmente en los
preocupantes resultados que han obtenido los estudiantes chilenos en pruebas internacionales (Mineduc, 2009) y en las
mediciones de futuros profesores. Tanto la evaluación diagnóstica Inicia como los resultados de la evaluación internacio-
nal de la formación de profesores básicos en Matemáticas TEDS-M, señalan que el dominio disciplinario en los profesores
en formación, se encuentra lejos del nivel deseado, (Mineduc, 2012; Babcock, 2010).
El presente estudio se propone recabar información respecto del nivel de conocimiento disciplinario de los profeso-
res en ejercicio, identificando fortalezas y debilidades con el fin de identificar aquellos focos donde es necesario invertir
los mayores esfuerzos a nivel de formación inicial y capacitación de profesores.

DESARROLLO

Objetivos del estudio

Describir y analizar el dominio disciplinario de los docentes de Educación Matemática chilenos, evaluados en los progra-
mas Asignación de Excelencia Pedagógica y Asignación Variable por Desempeño Individual, identificando fortalezas y
debilidades conceptuales y procedimentales.

Metodología

Para responder esa interrogante, se analizaron los ítemes que componían las Pruebas de Conocimientos Disciplinarios
y los resultados obtenidos en ellas, por los profesores de matemática de Segundo Ciclo (5º a 8º) y Educación Media (9º
a 12º) postulantes a AEP y AVDI, entre los años 2007 y 2011. Este grupo corresponde a una muestra de 4652 docentes.

Instrumentos

Prueba de Conocimientos Disciplinarios AEP (PCD): instrumento diseñado para evaluar el dominio disciplinario de
los profesores postulantes a la Asignación de Excelencia Pedagógica; el formato es de lápiz y papel. La prueba para docen-
tes de matemática, Segundo Ciclo Básico y Enseñanza Media, se compone de tres preguntas de respuesta construida y 40
ítemes cerrados. Se utilizó para este estudio el resultado obtenido en los ítemes cerrados.

3
 Las tablas 1 y 2 presentan los ejes temáticos que constituyen cada una de las pruebas:

Tabla 1  Ejes y Subejes de la PCD de Matemática, Segundo Ciclo (5º a 8º).

Ejes Subejes
Números Naturales
Números y Operaciones Números Enteros
Números Racionales
Proporciones
Potencias
Números y Aplicaciones
Lenguaje Algebraico y Ecuaciones
Tratamiento de la Información
Figuras y Cuerpos Geométricos
Geometría
Perímetros, Áreas y Volúmenes

Tabla 2  Ejes y Subejes de la PCD de Matemática, Educación Media (9º a 12º).

Ejes
Números y Proporcionalidad
Álgebra y funciones
Probabilidad y Estadística
Geometría
Subejes
Números
Proporcionalidad
Lenguaje algebraico
Funciones
Ecuaciones, inecuaciones y sistemas.
Probabilidad y Estadística
Transformaciones isométricas
Ángulos en la circunferencia y congruencia
Proporcionalidad y semejanza
Áreas, volúmenes y rectas en el espacio

Análisis

Se llevó a cabo el siguiente análisis:

»» Se estableció una codificación de los ítemes en función de dos variables: el tipo de conocimiento (lo que se debe
saber) abordado por el ítem y el tipo de estrategia (lo que se debe hacer) involucrada en su resolución, establecien-
do tres niveles. Ver tablas 3 y 4:
»» Se estableció una tipología de ítemes de acuerdo con la clasificación anterior. (Ver tabla 5). Fue necesario introducir
una categoría M+, para establecer algunas distinciones, particularmente, aquellos casos en que la presentación de
ítemes hacía una diferencia, (por ejemplo, contextos numéricos vs no numéricos, ausencia de apoyo gráfico, etc.).
»» Se contrastó, para cada ítem, el nivel de dificultad esperado con el nivel de dificultad empírico, medido por el por-
centaje de respuestas correctas obtenido. Esto se hizo, asumiendo que cada tipo de ítem podría asociarse a uno
de los niveles de clasificación utilizados en la construcción de la prueba AEP: dificultad menor, media y alta. Ver
Tabla 6.

4
 Tabla 3  Categorías del tipo de conocimiento abordado por el ítem
Tipo de conocimiento Descripción
Elemental Conceptos centrales establecidos por el marco curricular
Relaciones básicas entre conceptos definidos
Medio
Conceptos avanzados en el marco curricular
Relaciones complejas entre conceptos definidos
Alto
Contenidos que exceden el marco curricular

Tabla 4  Categorías del tipo de estrategia involucrada en el ítem

Tipo de estrategia Descripción

· Reconocimiento de los conceptos basales
· 1 o 2 pasos con cálculos simples, directos, que no requieren toma de decisiones.
Elemental
· Aplicación directa de definiciones.
· Interpretación de situaciones sencillas.
· 3 o + pasos inducidos por el problema.
· Cálculos numéricos más extensos.
Media
· Estrategia sencilla no inducida.
· Diseño de estrategia, método para abordarlo- reformular- dividirlo en pasos (no hay pistas obvias).
· Varios pasos no inducidos.
Alta
· Reinterpretación de datos relacionando con otros saberes

Tabla 5  Tipología de clasificación de ítemes según tipo de conocimiento y estrategia

Tipo de conocimiento Elemental Medio Alto

Elemental T1 T1 T2
Media T2 T3 T3
Tipo de estrategia
Media+ T3 T3 T4
Alta T4 T4 T4

Tabla 6 Relación entre tipos de ítemes y grado de dificultad esperado del ítem
según porcentaje de respuestas correctas.

Clasificación del ítem Grado de dificultad esperada del ítem Nivel de dificultad
T1 Sobre 70% de respuestas correctas
Dificultad menor
T2 Entre 60% y 70% de respuestas correctas
T3 Entre 40% y 60% de respuestas correctas Dificultad media
T4 Menos de 40% de respuestas correctas Dificultad alta

A continuación, se presenta el análisis realizado, correspondiente al Eje Números y Operaciones, de Segundo Ciclo:

La tabla 7 presenta el resumen de la totalidad de ítemes, clasificados por tipo, y de acuerdo al grado de dificultad, prome-
dio de respuestas correctas y distribución según dificultad obtenida.
Como se aprecia en la tabla, este eje resultó difícil para los profesores evaluados con estas pruebas: de los 36 ítemes
que lo componen, solo 4 resultan de dificultad menor, 14 de dificultad media y 17 de alta dificultad. Ningún ítem de tipo 1
resultó con dificultad menor y, contrariamente a lo esperado, estos resultaron más complejos que los de tipo 2.

5
 Tabla 7  Dificultad empírica de los ítemes por Tipo. Eje Número y Operaciones _ Segundo Ciclo

Nº de ítemes
Tipo Rango de grado de dificultad Promedio por dificultad empírica Nº total ítemes
Menor Media Alta
T1 0,14 - 0,56 0,37 0 5 6 11
T2 0,15 - 0,69 0,47 3 3 4 10
T3 0,14 - 0,72 0,39 1 7 7 15
T4 — — — — — 0
TOTAL — — 4 14 17 36

Resultados

Se presentan los resultados del eje Números y Operaciones (5º a 8º):

La tabla 8 muestra en detalle la tarea demandada por los ítemes de los distintos tipos (T1 a T4) y los organiza según su
distribución por grado de dificultad. Las filas corresponden a los respectivos subejes: Números Naturales, Números En-
teros y Números Racionales.
Por ejemplo, se puede observar en la primera fila de la tabla (correspondiente al subeje Números Naturales), que
ningún ítem obtuvo sobre el 60% de respuestas correcta.

Analizando la información de la tabla, es posible distinguir ciertos ámbitos de mayor y menor dominio por parte de los
docentes evaluados:
En el conjunto de números naturales, el conocimiento de conceptos relacionados con divisibilidad se logra en contex-
tos numéricos y algebraicos sencillos, pero no así cuando se trata de comprensión y reconocimiento de los conceptos en
sí mismos o aplicación en la resolución de problemas no canónicos.
En el caso de los números enteros, la operatoria básica y resolución de problemas en contextos numéricos son abor-
dables y su grado de dificultad varía entre menor y mediano. La dificultad es alta si se incluyen conceptos como valor
absoluto, expresiones algebraicas y relaciones de orden.
Respecto de los números racionales, se evidencia como logrado a nivel esperado la operatoria con números decimales
y fracciones y la resolución de problemas. Los evaluados comparan y ordenan con éxito fracciones y decimales positivos,
raíces y cuadrados. Más difícil de lo esperado es el análisis de situaciones que implican relaciones de orden, de fracciones
o decimales, en contextos algebraicos.
Este mismo análisis se realizó con cada uno de los ejes y subejes del marco curricular de cada ciclo, identificando
fortalezas y debilidades en el ámbito disciplinar. Por razones de espacio no es posible incluir toda la información en este
documento, pero una síntesis de resultados es reportada a continuación:
En Segundo Ciclo, en los tres ejes del marco curricular, tanto la destreza operatoria como la resolución de problemas
se logran pero solo a nivel elemental. Operan y resuelven problemas en contextos numéricos simples; en Geometría
resuelven problemas que implican propiedades directas y/o cálculos sencillos de perímetros y áreas; en el subeje Tra-
tamiento de la información, solo pueden realizar cálculos directos, con pocos datos; presentan un grado significativo de
dificultad los problemas relacionados con Proporciones, Porcentajes, Potencias y Raíces (aunque sean sencillos).
La aplicación de estrategias es exitosa en contextos familiares; deficiente en situaciones distintas a las habituales.
Respecto de la integración de contenidos, la mayor dificultad se aprecia cuando intervienen expresiones algebraicas.
Ahora bien, en relación con el dominio conceptual, este se percibe deficiente; se observan dificultades en la com-
prensión de conceptos asociados a la divisibilidad, a relaciones de orden que involucran fracciones, decimales y números
enteros, a relaciones proporcionales, potencias, interpretación y análisis de información, elementos y propiedades del
triángulos y paralelogramos, conceptos y relaciones asociados a áreas y perímetros.

6
 Es decir, pueden identificar muchos objetos matemáticos de distinta naturaleza, pueden operar correctamente con
ellos, pero enfrentados a establecer distinciones más conceptuales o a reconocer propiedades o características de estos
conceptos básicos, emerge la dificultad.
Respecto de los saberes de los profesores de Enseñanza Media: en los ejes de Álgebra y Geometría se aprecia mayor
comprensión de conceptos y buen manejo de estrategias de resolución de problemas en tópicos que han sido centrales
y clásicos del curriculum: estos incluyen operatoria algebraica, funciones lineales y cuadráticas, propiedades de figuras
y cuerpos geométricos, teoremas de congruencia y proporcionalidad, etc. En los ejes Números y Proporcionalidad y Pro-
babilidades se observan deficiencias a nivel de comprensión conceptual: en Probabilidades; los evaluados solo resuelven
con éxito problemas sencillos que involucran cálculo numérico con pocos datos de medidas de tendencia central, cálculo
de la probabilidad de 1 evento y trabajo con tablas de frecuencia sencillas. Pero problemas que involucran los mismos
contenidos referidos a situaciones ligeramente más complejas presentan altos grados de dificultad. En el eje Números, no
se observa como lograda la comprensión del significado de las relaciones de orden en los números reales, la distinción
conceptual entre números racionales e irracionales ni la operatoria en los números complejos.
En ambos ciclos, preguntas de tipo 1 presentan dificultad mayor a la esperada. Se perciben problemas en la com-
prensión básica de los conceptos; al parecer, muchos contenidos elementales se conocen como enunciados aprendidos
globalmente y llegan a usarse en forma correcta; pero esta aplicación es mecánica, y tal conocimiento es superficial, en
tanto su significado no ha sido desentrañado.
También hay ejes en los cuales las preguntas de tipo 3 obtienen altos porcentaje de respuestas correctas, corres-
pondiendo así a preguntas fáciles para los profesores. En particular el eje de Geometría en Enseñanza Media tiene esta
característica en relación al tema de la circunferencia. Aquí se puede afirmar que se ha logrado un conocimiento de buen
nivel, con conceptos flexibles que posibilitan estrategias complejas.
Las preguntas de tipo 4, complejas y desafiantes, resultan difíciles en ambos ciclos y en todos los ejes; sin embargo,
en un pequeño porcentaje, son contestadas en forma correcta, lo que permite afirmar que el conocimiento profundo de la
matemática es evidenciado por algún grupo de docentes.

CONCLUSIONES

El análisis de los resultados de las pruebas aplicadas a postulantes AEP y AVDI señalan un dominio disciplinario mayor en
los docentes de Educación Media que en los de Segundo Ciclo, con deficiencias claras en ambos ciclos. El detallado análisis
realizado nos permite sostener que la comprensión de los conceptos matemáticos que son evaluados en las pruebas es
solo parcial y en muchos casos, superficial. Llama la atención que sea posible para los docentes realizar procedimientos
relativos a conceptos sobre los que se demuestra baja comprensión; es posible hipotetizar que esto se vincula con una
práctica docente que promueve la ejercitación mecánica de contenidos, la repetición de algoritmos, la memorización de
fórmulas y procedimientos: es decir, un enfoque procedimental, más que conceptual.
De esa exploración, se han obtenido fundamentos empíricos para sostener que es prioritario capacitar a docentes en
formación y en ejercicio en los conceptos básicos de la matemática. La mayoría de los profesores de matemática saben el
cómo de la matemática elemental; de acuerdo a nuestros hallazgos, posiblemente no sepan el por qué.
Otra sugerencia significativa es la difusión de estos resultados a nivel de las instituciones que dan formación inicial,
para que puedan ser considerados en sus programas. Esto permitiría que las futuras generaciones estén mejor prepara-
das desde el punto de vista disciplinar.
También se sugiere fortalecer las oportunidades de aprendizaje centradas en las nociones básicas de la disciplina. La
comprensión profunda de la matemática elemental es el sustrato necesario para poder adquirir el conocimiento pedagó-
gico del contenido matemático (Ma, 1999).

7
 Tabla 8 Distribución de los distintos tipos de ítemes según grado de dificultad.
Eje Números y Operaciones, Segundo Ciclo

Dificultad menor Dificultad media

Dificultad alta
(Sobre el 60% de (Entre 40% y 60% de respuestas
(Menos de 40% de respuestas correctas)
respuestas correctas) correctas)

T1. Identificar divisores de un número

expresado como producto de potencias.

T1. Aplicar propiedad distributiva T1. Reconocer situaciones que involucran

descomponiendo números naturales.
T1. Realizar factorizaciones sencillas
en contextos geométricos.
Números
Naturales
T3. Resolver problemas que
involucran comprensión conceptual
de conceptos asociados a
divisibilidad en contextos numéricos
y/o algebraicos sencillos.
conceptos relacionados con números
primos y compuestos; múltiplos, factores,
divisibilidad, mínimo común múltiplo
y máximo común divisor y las relaciones
entre ellos.
T2. Resolver problemas que involucren
mínimo común múltiplo y máximo común
divisor en contextos numéricos no canónicos.
T3. Resolver problemas complejos
que involucren mínimo común múltiplo
en forma indirecta.

T1. Interpretar situaciones que permitan

ubicar números enteros en la recta.

T1. Identificar una expresión algebraica

T3. Interpretar T1. Aplicar el concepto de valor
positiva dadas ciertas condiciones
información que absoluto a una relación numérica
sobre los enteros involucrados.
permita reconocer simple.
Números
signos de sumas y/o
Enteros T3. Analizar situaciones que involucren valor
productos de números T3. Resolver problemas que
absoluto en contextos algebraicos.
enteros en expresiones involucran operatoria con números
con valor absoluto. enteros.
T3. Analizar situaciones que impliquen
relaciones de orden en números enteros con
y sin apoyo de la recta numérica en contextos
algebraicos.

T1. Operar con números decimales

y fracciones.

T2. Operar con números periódicos

y/o semiperiódicos.
T1. Expresar en forma fraccionaria un decimal
T2. Ordenar fracciones
sesemiperiódico.
en contextos T3. Ordenar y comparar
numéricos. números decimales periódicos y
T3. Analizar situaciones que impliquen
Números semiperiódicos, raíces y cuadrados.
relaciones de orden en números racionales en
Racionales T2. Resolver problemas
contextos algebraicos.
directos que involucran T2. Resolver problemas complejos
fracciones en contextos con fracciones y/o decimales en
T3. Resolver problemas con operatoria
numéricos simples. contextos numéricos.
que involucra raíces cuadradas.
T3. Resolver problemas en contextos
cotidianos que involucran operatoria
más compleja con fracciones
y decimales.

8
 BIBLIOGRAFÍA

Australian Professional Standards for Teachers http://www.aitsl.edu.au/australian-professional-standards-for-teachers/

standards/list
Babcock, J. (2010). Initial Findings from the Teacher Education and Development Study in Mathematics. (TEDS-M) Center
for Research in Mathematics and Science Education, College of Education, Michigan State University, Michigan.
Ball, D. y McDiarmid, G. (1990b). The subject matter preparation of teachers. In W. R. Houston, M. Haberman, y J. Sikula
(Eds.). Handbook of Research on Teacher Education, (pp. 437-439). New York: Macmillan.
Ball, D., Hill, H., y Bass, H. (2005). Knowing mathematics for teaching: Who knows mathematics well enough to teach third
grade, and how can we decide? American Educator, 29(3), 14-46.
Chambliss, M., Graeber, A. O. y Clark, K. (2003, April). Does Subject Matter Matter? Paper presented at the annual meeting
of the American Educational Research Association, Chicago.
Darling-Hammond, L. y Young, P. (2002). Defining “highly qualified teachers”: What does scientifically–based research
tells us? Educational Researcher, 31(9), 13-25.
Frome, P., Lasater, B., y Cooney, S. (2005). Well-qualified teachers and high quality teaching: Are they the same? Atlanta,
GA: Southern Regional Educational Board.
Illinois Professional Educator Standards_Content Area Standard for Educators
http://www.isbe.net/profprep/pcstandardrules.htm
Leinhardt, G., y Smith, D. A. (1985). Expertise in mathematics instruction: Subject matter knowledge. Journal of Educa-
tional Psychology, 77(3), 247-271.
Ma, L. (1999). Knowing and teaching elementary mathematics: teachers understanding of fundamental mathematics
in China and the United States. N. J.: Lawrence Erlbaum.
Mineduc (2009). Resumen de Resultados PISA 2009 Chile.
Mineduc (2012). Estándares orientadores para egresados de carreras de Pedagogía en Educación Media. Recuperado el
10/06/2012 de http://www.cpeip.cl/usuarios/cpeip/File/librosestandaresvale/libromediafinal.pdf
Monk, D. (1994). Subject area preparation of secondary mathematics and science teachers and students achievements.
Economics of Education Review, 13(2), 125-145.
Mullens, J. E., Murnane, R. J., y Willett, J. B. (1996). The contribution of training and subject matter knowledge to teaching
effectiveness: a multilevel analysis of longitudinal evidence from Belize. Comparative Education Review, 40, 139-57.
Papick, I. J. (2011). Strengthening the Mathematical Content Knowledge of Middle and Secondary Mathematics Teachers.
Notices of the American Mathematical Society, 58(3), 389-392

9
Las telesecundarias en México:
resultados de TALIS 2013
13 de marzo de 2015
 Las telesecundarias en México:
resultados de TALIS 2013

Eduardo Backhoff Escudero

Doctor en Educación
Instituto Nacional para la Evaluación de la Educación, México
backhoff@inee.edu.mx
Juan Carlos Pérez Morán
Doctor en Educación
Instituto Nacional para la Evaluación de la Educación, México
jperezm@inee.edu.mx
Mtra. Sofía Contreras Roldán
Maestra en Ciencias educativas
Instituto Nacional para la Evaluación de la Educación, México
scontrerasr@inee.edu.mx

PALABRAS CLAVE: Docentes, Directores, Telesecundarias, TALIS, México

EJE TEMÁTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen
El propósito de este trabajo es doble. Por un lado, proporcionar información sobre algunas características de los
docentes, directores y escuelas telesecundarias de México, así como sobre las condiciones laborales y el ambiente
de aprendizaje de las escuelas. Por el otro, comparar las características de las telesecundarias con las de las secun-
darias presenciales: generales, técnicas y privadas. Para lograr estos propósitos, el trabajo aborda cuatro aparta-
dos. En el primero, se describen las características demográficas de los profesores, así como algunas característi-
cas de las escuelas donde trabajan. En el segundo apartado se describen ciertas características de los directores,
tales como su educación formal y la satisfacción en el trabajo, así como las condiciones desafiantes con las que se
enfrentan las escuelas a su cargo. En el tercer apartado se describen algunos elementos de la evaluación y retroa-
limentación docentes, así como las fuentes y métodos de evaluación y retroalimentación. En el cuarto apartado se
describen las creencias y concepciones que tienen los docentes acerca de la enseñanza y el aprendizaje, así como
los tipos de prácticas pedagógicas que con mayor frecuencia que llevan a cabo en el aula. La ponencia termina con
una reflexión acerca de las telesecundarias. La información de este trabajo se obtuvo de las bases de datos del de
nacional de Talis-2013.

2
 INTRODUCCIÓN

Conocer las condiciones en que trabajan los profesores y el ambiente de aprendizaje en las escuelas, es una prioridad de
los sistemas educativos en todo el mundo. Para coadyuvar a ampliar la poca información existente acerca de los docentes
y sus prácticas de enseñanza, así como a generar indicadores internacionales sobre estas temáticas, la Organización para
la Cooperación y el Desarrollo Económicos (OCDE) desarrolló el Estudio Internacional sobre Enseñanza y Aprendizaje
(Talis, por sus siglas en inglés). Dicho estudio, tuvo el propósito de encuestar a profesores y directores sobre sus carac-
teríticas profesionales, condiciones laborales, prácticas profesionales y, en general, sobre distintos aspectos de la vida
escolar que impacta el aprendizaje de los estudiantes (OCDE, 2009, 2014).
Talis se aplicó por primera vez en 2008 y por segunda ocasión en 2013. En el segundo estudio participaron 34 paí-
ses de diversas partes del mundo. La muestra intencional en Talis para cada país fue de 200 escuelas y 4 000 docentes
(un directivo y 20 docentes por escuela). Adicionalmente, cada país pudo utilizar muestras adicionales, tanto para tener
representatividad en sus estados, como para tener mayor representatividad en ciertos tipos de escuelas, como es el caso
de las telesecundarias. México optó por esta opción por lo que en total se encuestó a 8 507 profesores y 728 directores de
todas las entidades federativas del país y de los tres niveles educativos (Backhoff, & Pérez-Morán, 2015).
El propósito de esta ponencia es doble. Por un lado, proporcionar información sobre algunas características de los
docentes, directores y escuelas telesecundarias de México, así como explorar las opiniones, percepciones y creencias de
los profesores y directores de esta modalidad educativa, sobre las condiciones laborales y el ambiente de aprendizaje de
sus centros de trabajo. Por otro lado, comparar las características de las telesecundarias con el resto de las secundarias
mexicanas, a las que nos referiremos como escuelas “presenciales” y que abarcan a las secundarias generales y técnicas,
tanto públicas como privadas.

LAS TELESECUNDARIAS EN MÉXICO

Con el propósito de aumentar la capacidad y cobertura del servicio educativo de secundaria y poder dar atención educati-
va a las poblaciones asentadas en lugares alejados de las manchas urbanas, en 1969 el sistema educativo mexicano intro-
dujo la telesecundaria (Zorrilla, 2004). Por lo general, las telesecundarias atienden la demanda educativa de la población
que no tiene acceso a escuelas secundarias generales o técnicas, por lo que principalmente se ubican en comunidades
rurales o de alta marginación. Este tipo de servicio educativo se distingue por hacer uso de medios electrónicos y de co-
municación (televisión, señal satelital y videos) (INEE, 2014).
Así, esta modalidad educativa posee características contextuales, estructurales y pedagógicas distintas al resto de las
secundarias presenciales, que agrupan a las escuelas generales y técnicas, tanto públicas como privadas. Las telesecun-
darias generalmente carecen de estructuras completas, ya que sus directores suelen ser profesores de grupo asignados
en comisión a la función directiva. La organización es semejante a la de las escuelas primarias, ya que es el profesor quien
atiende a los estudiantes en todas las asignaturas (Navarro, 2014).
Desde su creación, la matrícula de telesecundaria ha crecido considerablemente. Así, de acuerdo con el INEE (2014),
en el ciclo escolar 2012-2013, esta modalidad atendió a 1 318 288 estudiantes, que representan el 21% de la matrícula
nacional de educación secundaria. En ese momento, en el país existían 18 326 telesecundarias, que representaban el 49%
de los planteles de secundaria del país. Del total de escuelas telesecundarias, 7.5% eran escuelas unitarias; es decir, 3 404
telesecundarias operaban con una organización escolar incompleta, donde uno o dos docentes atendían los tres grados
de este nivel educativo.

3
 CARACTERÍSTICAS DE LAS TELESECUNDARIAS: RESULTADOS DE TALIS

Como ya se mencionó anteriormente, el estudio Talis consistió en administrar dos encuestas a docentes y directores del
nivel secundaria, provenientes de 34 países.
México optó por realizar una muestra especial para el caso de las telesecundarias. La tabla 1 muestra el marco pobla-
cional y las muestras de docentes y directores que se consideraron en los análisis de este estudio para poder comparar a
las telesecundarias con el resto de las escuelas del país (escuelas presenciales). Se podrá apreciar que aunque el número
de escuelas de ambas modalidades es muy parecido (187 presenciales y 168 telesecundarias), el número de docentes
encuestados fue seis veces mayor en las escuelas presenciales (3 571) que en las telesecundarias (551), lo que refleja
diferencias de estructura de ambos tipos de escuelas.

Tabla 1  Marco poblacional y muestras de México de telesecundarias y secundarias presenciales

Secundarias Población encuestada Muestra Marco poblacional

Directores 187 15 264
Presencial*
Docentes 3 571 305 597
Directores 168 15 083
Telesecundaria**
Docentes 551 61 774
Total 4 477 39 7718

* Muestras utilizadas en la versión del estudio internacional de TALIS 2013.

** Muestras utilizadas en la versión del estudio nacional de TALIS 2013
Fuente: Dirección General de Evaluación de Políticas (DGEP) de la Secretaría de Educación Pública (SEP).

Una síntesis de los resultados más importantes que arrojó el estudio de Talis sobre las telesecundarias, se presenta
en cuatro grandes temáticas: (1) Características de los profesores y de las escuelas telesecundarias; (2) gestión escolar y
liderazgo de los directores; (3) evaluación formal y retroalimentación docente; y, (4) creencias y prácticas de los docentes.

1. Características de los profesores y de las escuelas telesecundarias

Sobre los resultados relacionados con las características de los docentes mexicanos de escuelas telesecundarias se encon-
traron datos interesantes en distintos rubros:

1.1 Características demográficas

Menos de la mitad de docentes de telesecundaria son mujeres (48%), lo que contrasta con las secundarias presenciales
donde menos de la mitad son hombres (46%). Los docentes de telesecundaria son en promedio ligeramente más jóvenes
que sus homólogos de las escuelas presenciales (40.6 frente a 42.1 años de edad).

1.2 Condición de empleo y experiencia laboral

Seis de cada diez profesores de telesecundaria tienen un empleo de tiempo completo y casi nueve de diez gozan de un em-
pleo de tiempo parcial; cifras que son mayores a las de otras secundarias (cuatro y ocho de cada diez respectivamente).
Por otra parte, la experiencia laboral de los profesores de telesecundaria en general es menor que la de los maestros de
escuelas presenciales, especialmente la relacionada con los años de experiencia en escuela en donde laboran (6.5 frente
a 11.3 años).

4
 1.3 Educación formal y actividades para el desarrollo profesional
La educación y formación de los docentes de telesecundaria es mayor que la de sus homologos de secundarias generales:
cerca de 97% de los primeros tienen el nivel de licenciatura o maestría, mientras que esto sucede con el 89% del resto de
los profesores de secundaria. Sin embargo, menor proporción de los maestros de telesecundaria su formación se enfoca
en temas de la profesión docente (enseñanza de contenidos, didáctica y práctica en el salón de clases). Paradójicamente,
un mayor porcentaje de docentes de telescuendarias en general reportan sentirse mejor preparados que los profesores
de las secundarias presenciales en los tres rubros antes analizados (82 frente a 76% en promedio). Dos terceras partes
de los docentes de telesecundaria participan en programas de inducción, cifra que es ligeramente mayor a la de sus ho-
mólogos de escuelas presenciales. En ambos tipos de escuelas, muy pocos docentes reportan participar en actividades de
tutoría (uno de cada diez en promedio).

1.4 Trabajo en condiciones desafiantes

Por lo general, los docentes de las telesecundarias trabajan en condiciones más desafiantes que los de las secundarias
presenciales. Especialmente esto es cierto en lo que se refiere a la enseñanza de estudiantes en las siguientes condiciones:
desventajas socioeconómicas, necesidades especiales y cuya lengua materna es distinta a la de la instrucción.
La carga de trabajo docente de los profesores de telesecundarias es mayor que la de sus homólogos de escuelas pre-
senciales, debido a que los primeros atienden un mayor número de alumnos (18.5 frente a 15.1) y tienen más materias.
En la figura 1 se aprecia que es mayor el porcentaje de docentes que trabajan en escuelas telesecundarias cuyo director
reporta que hay escasez de docentes profesionales y de personal de apoyo, que el porcentaje de docentes que trabajan en
las secundarias presenciales con la misma problemática. Sin embargo, en las telesecundarias labora un menor porcentaje
de docentes cuyo director reporta que hay una escasez de docentes calificados (tres de cada diez) en comparación con las
escuelas presenciales (más de la mitad).
También se observa que hay un porcentaje mayor de docentes que trabajan en telesecundarias, que en secundarias
presenciales, cuyo director reporta escasez de recursos materiales. Dicha problema es especialmente cierto respecto a
la insuficiencia de acceso a Internet, de programas informáticos para la enseñanza, de equipo de cómputo, de materiales
para la biblioteca y de materiales didácticos.

Figura 1 Porcentaje de docentes de telesecundaria y secundaria presencial

que laboran en escuelas con distintas dificultades para proveer enseñanza de calidad

5
 1.5 Clima escolar de los planteles
Las telesecundarias presentan sustancialmente menores problemas relacionados con el clima escolar que las presen-
ciales respecto al comportamiento de los estudiantes: llegar tarde, ausentarse, hacer trampa, intimidar o abusar verbal-
mente a estudiantes, lesionar físicamente a estudiantes, intimidar o abusar verbalmente a docentes, vandalizar y robar,
así como utilizar / poseer drogas o alcohol. Asimismo, en las telesecundarias existe un mejor ambiente escolar (aunque
marginal) que en las escuelas presenciales. En ambos tipos de escuelas se reportan buenas relaciones profesor-estudian-
te, un respeto por la forma de pensar y una discusión abierta sobre problemas de la escuela.

1.6 Satisfacción laboral

El grado de satisfacción laboral de los docentes, en general, es alto y muy similar entre quienes trabajan en telesecunda-
rias y quienes lo hacen en escuelas presenciales.

2. Gestión escolar y liderazgo de los directores

En este apartado se describen los resultados de Talis-2013 relacionados con las características de los directores, su edu-
cación formal, las actividades de desarrollo profesional, el tipo de liderazgo que ejercen y la satisfacción en el trabajo, así
como las condiciones desafiantes con las que se enfrenta la escuela a su cargo.

2.1 Características demográficas

Una tercera parte de los directoras de las telesecundarias son mujeres, cifra menor a la reportada en las secundarias
presenciales (41%). En promedio, los directores de telesecundaria son sustancialmente más jóvenes (43.1 años) que los
de secundarias presenciales (51.9 años).

2.2 Situación en el empleo y experiencia laboral

Las condiciones de empleo de los directores de telesecundarias es más adversa que la de sus homólogos de secundarias
presenciales: ocho de cada diez directores de telesecundaria tiene un empleo de tiempo completo con la obligación de
impartir clases, mientras que en esta situación se encuentra el 18% de quienes trabajan en secundarias presenciales.
La inmensa mayoría de los directores de ambos tipos de secundarias tienen el nivel de licenciatura o maestría (94%).
Sin embargo, la formación en temas de dirección escolar es menor en las telesecundarias que en las escuelas presenciales.
Los años de experiencia que tienen los directores de telesecundarias en esta función es menor que la reportada por
sus homólogos de escuelas presenciales (16.6 frente a 23.8 años).
El involucramiento en actividades de desarrollo profesional es menor en los directores de telesecundaria que en los
de secundarias presenciales. En ambos casos, la modalidad de desarrollo profesional más solicitada es la relacionada
con cursos/talleres. En la figura 2 se puede observar que en la telesecundaria es mayor la proporción de directores que
reportan tener barreras para involucrarse en actividades de desarrollo profesional.

2.3 Situaciones que limitan la efectividad del director

El presupuesto y los recursos insuficientes es la limitación más reportada por los directores tanto de las telesecundarias
como de las secundarias presenciales (ocho de cada diez en promedio).

2.4 Satisfacción laboral directores

La inmensa mayoría de los docentes y directores de las telesecundarias y de las escuelas presenciales están satisfechos
laboralmente. Sin embargo, un porcentaje importante de directores de telesecundaria desearían cambiar de escuela (cua-
tro de cada diez) y otro tanto considera que la profesión docente no es valorada por la sociedad (cinco de cada diez).

6
 Figura 2 Porcentaje de directores de telesecundaria y secundaria presencial que reportan estar "De acuerdo"
o "Totalmente de acuerdo" con distintas barreras para la participación en el desarrollo profesional

3. Evaluación formal y retroalimentación docente

A continuación se exponen los resultados de Talis-2013 sobre diferentes aspectos de la evaluación docente; en especial los
relacionados con los evaluadores, así como con las fuentes y métodos de evaluación y retroalimentación docentes. Además
se explora la percepción de los docentes respecto al impacto de la evaluación y la retroalimentación en sus escuelas.

3.1 Evaluación formal y retroalimentación docente

Como se aprecia en la figura 3, el porcentaje de docentes que trabajan en escuelas telesecundarias cuyos directores repor-
tan que sus docentes nunca fueron evaluados es mayor que el de las secundarias presenciales. Asimismo, 69% docentes
de telesecundaria y 85% de secundaria presencial, trabajan en escuelas en donde el director es quién realiza la evaluación
de los docentes.

Figura 3 Porcentaje de docentes de secundaria telesecundaria y presencial, cuyos directores reportan

que sus docentes fueron evaluados de 1 a más veces en el año, o nunca por distintos actores educativos

7
 En cuanto a la retroalimentación que reciben los docentes, en la mayoría de los casos se enfoca al desempeño acadé-
mico de los estudiantes, mientras que el menor de ellos se centra en el tema de la enseñanza multicultural o multilingüe.
Los métodos más utilizados para retroalimentar a los docentes son la observación en el aula y el análisis de las califica-
ciones de los estudiantes; el menos utilizado es la encuesta a los estudiantes.

3.2 Impacto del sistema de evaluación y retroalimentación

La mayoría de los docentes de telesecundaria reportan que la retroalimentación recibida impactó positivamente en su
vida laboral, como: la satisfacción en el trabajo, la confianza profesional y la motivación laboral.

4. Creencias y prácticas de los docentes

En este apartado se describen las creencias y concepciones que tienen los docentes mexicanos acerca de la enseñanza y el
aprendizaje, así como los tipos de prácticas pedagógicas que con mayor frecuencia se llevan a cabo en el aula.

4.1 Prácticas de enseñanza y métodos de evaluación

Las prácticas pedagógicas que utilizan los docentes de ambos tipos de escuela son muy similares. Sin embargo, una mayor
proporción de docentes de telesecundaria que de secundaria presencial (75 frente a 57%), hacen que sus alumnos traba-
jen en proyectos, en grupos pequeños y presenten un resumen del contenido aprendido. Llama la atención que sólo seis
de cada diez docentes de telesecundaria utilicen las TIC para proyectos o trabajo colaborativo en clase.
Los docentes de telesecundarias reportan dedicar mayor tiempo tanto a la enseñanza como al trabajo escolar en ge-
neral, que los maestros de secundaria presencial. Además, hay un mayor porcentaje de profesores de telesecundaria que
participan en actividades cooperativas.
El método más utilizado de evaluación en ambos casos es la observación y retroalimentación de estudiantes, mientras
trabajan en una tarea específica. Por otra parte, en telesecundarias es más común el uso de pruebas estandarizadas a
estudiantes que en secundaria presencial.

4.2 Clima en el aula

En las escuelas telesecundarias parece existir un mejor clima de disciplina que en las secundarias presenciales. Como
se observa en la tabla 2, es mayor la proporción de docentes de telesecundaria (nueve de cada 10) que señalan que sus
estudiantes procuran un clima positivo de aprendizaje, y muy pocos profesores señalan presentar problemas de orden e
interrupción de las clases (en promedio 1 de cada 10 lo reporta).

Tabla 2 Porcentaje de docentes de telesecundaria y secundaria presencial que reportan estar "De acuerdo"
o "Totalmente de acuerdo" con distintas afirmaciones acerca de su grupo de clase

Tengo que esperar Los estudiantes de

Pierdo mucho tiempo Hay mucho ruido
mucho tiempo para este grupo procuran
porque los estudiantes perturbador en este
que los estudiantes crear una atmósfera de
interrumpen la clase salón de clases
estén en orden aprendizaje agradable
% (e.e.) % (e.e.) % (e.e.) % (e.e.)
Telesecundarias 9.7 1.8 89.2 1.8 16.4 2.3 12.1 1.8
Secundaria presencial 19.7 1.0 78.1 1.0 21.1 1.1 20.8 1.0

Nota: donde e.e. = error estándar

8
 CONCLUSIONES

Para los tomadores de decisiones es importante conocer las variables —factibles de modificar— que mejoren los resul-
tados educativos de los planteles, por lo que resulta indispensable tener información acerca de las características profe-
sionales de los maestros y directores, las creencias docentes y prácticas pedagógicas, el liderazgo del director, así como
del ambiente escolar, el clima en el aula y, en general, de los diversos procesos educativos que se dan al interior de las
escuelas (Backhoff, Andrade, Bouzas, Santos, & Santibáñez, 2010).
El estudio de Talis-2013 permitió conocer las características más sobresalientes de las telesecundarias y comparar-
las con las escuelas presenciales. Aunque el estudio proporciona información ya conocida, también precisa aspectos de la
vida escolar de esta modalidad educativa inexplorados, tales como: algunas características de la formación profesional,
ciertos aspectos de los directores, el tipo de evaluación y retroalimentación a los que son expuestos los docentes, así como
algunas de sus creencias y prácticas pedagógicas.
La información de Talis deberé servir para mejorar los servicios que se ofrecen en este tipo de escuelas. Por una
parte, atendiendo los problemas claramente identificados, como es la falta de recursos humanos y materiales, el exceso
de carga de trabajo, las dificultades para que docentes y directivos se superen, la poca autonomía escolar, la excesiva nor-
matividad, la falta de procesos de inducción y tutoría, y la obligación de los directores de impartir clases. Por otro lado, se
deberá tomar ventaja de sus fortalezas como son el buen clima escolar, la estrecha cooperación entre docentes, la menor
incidencia de problemas con los estudiantes y los profesores, la gran satisfacción laboral, su autoestima profesional y su
gran compromiso con los estudiantes.

BIBLIOGRAFÍA

Backhoff, E., & Pérez-Morán, J.C. (ed.) (2015). Estudio Internacional sobre la Enseñanza y el Aprendizaje (Talis-2013):
Resultados de México. México, D.F.: SEP-INEE.
Backhoff, E., Andrade, E., Bouzas, A. Santos, A., & Santibáñez, L. (2010). Estudio Internacional sobre la Enseñanza y el
Aprendizaje (Talis): resultados de México. México, D.F.: SEP.
INEE (2014). Panorama Educativo de México 2013. Indicadores del Sistema Educativo Nacional. México, D .F .: INEE .
Recuperado de http://publicaciones.inee.edu.mx/detallePub.action?clave=P1B112
Navarro, C. (2014). La antesala del ascenso a la dirección. Trayectorias de subdirectores de secundarias mexicanas. (Tesis de
doctorado). Recuperada de: http://iide.ens.uabc.mx/images/pdf/tesis/DCE/Tesis%20DCE%20Claudia%20Navarro%20
Corona.pdf
OCDE (2009). Creating Effective Teaching and Learning Environments: First Results from Talis. Paris: OCDE Publishing. Recu-
perado de: http://www.oecd.org/edu/school/creatingeffectiveteachingandlearningenvironmentsfirstresultsfromtalis.htm
OCDE (2014). Talis 2013 Results: An International Perspective on Teaching and Learning. Paris: OCDE Publishing. doi:
http://dx.doi.org/10.1787/9789264196261-en
Zorrilla, M. (2004). La educación secundaria en México: al filo de su reforma. REICE -Revista Electrónica Iberoamericana
sobre Calidad, Eficacia y Cambio en Educación 2004, 2(1). Recuperado de: http://www.ice.deusto.es/RINACE/reice/
vol2n1/Zorrilla.pdf

9
Valoración de la observación de clase
como técnica de evaluación del desempeño
docente en México
13 de marzo de 2015
 Valoración de la observación de clase
como técnica de evaluación del desempeño
docente en México
Ariana Fragoza González
Licenciada en Ciencias de la Educación, Instituto Nacional para la Evaluación de la Educación, México.
afragoza@inee.edu.mx
Claudia Navarro Corona
Doctora en Ciencias Educativas, Instituto Nacional para la Evaluación de la Educación, México.
cnavarro@inee.edu.mx
Marina Fernanda González Nava
Maestra en Análisis Experimental de la Conducta, Instituto Nacional para la Evaluación de la Educación, México.
mfgonzalez@inee.edu.mx
Yolanda Edith Leyva Barajas
Doctora en Educación, Instituto Nacional para la Evaluación de la Educación, México.
yeleyva@inee.edu.mx

PALABRAS CLAVE: Observación, desempeño docente, educación básica, educación media superior, observador.
EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo

Resumen
Durante los últimos veinte años la evaluación que en México se ha realizado a los docentes ha estado vinculada
a procesos de selección, ascenso o asignaciones salariales en los marcos del Sistema Escalafonario y de Carrera
Magisterial. Dichas evaluaciones han tenido en común su carácter prioritariamente sumativo y su enfoque hacia la
valoración de los conocimientos de los docentes en distintas etapas de la carrera profesional. En este panorama,
la Organización para la Cooperación y el Desarrollo Económicos (OCDE) realizó en 2010 una serie de recomen-
daciones entre las que se puntualiza la necesidad de implementar un sistema de evaluación enfocado a la mejora
docente. Tales planteamientos se encuentran reflejados en la Ley General del Servicio Profesional Docente por lo
que se asume la necesidad de diseñar e implementar técnicas de evaluación de carácter formativo.
En este conjunto de consideraciones, y tomando como punto de partida que algunas organizaciones interna-
cionales, como la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), por
ejemplo, han sugerido la observación de clase como una técnica apropiada para la mejora de la profesión docente,
esta ponencia analiza las opiniones de profesores, en relación a la observación de la práctica docente, recabadas
por medio de grupos de discusión ralizados en ocho estados de la República Mexicana. Responder a tres cuestio-
namientos principales: ¿qué opinión tienen los docentes en relación a la observación como técnica de evaluación
del desempeño?, ¿qué tipo de contenidos o temas pueden evaluarse por medio de la observación del desempeño?
y ¿quién o quiénes son los observadores más adecuados?

2
 INTRODUCCIÓN

La Ley General del Servicio Profesional Docente (LGSPD), establece la evaluación del desempeño docente como un proce-
so obligatorio para la promoción, el reconocimiento y la permanencia de los profesores, que permitan la mejora profesio-
nal continua (DOF, 2013). En México, la evaluación de docentes no es una práctica novedosa, se ha empleado durante los
últimos veinte años para recabar información sobre los conocimientos y la preparación profesional de los docentes en el
marco del Programa Nacional de Carrera Magisterial y del Sistema Escalafonario (Cordero, Luna y Patiño 2013).
Así, durante dos décadas, los docentes mexicanos han sido evaluados en distintos momentos de su carrera profesio-
nal. Como ejemplo, se identifican el Examen Nacional para el Ingreso a la Educación Superior (Exani II) y el Examen de
Ingreso a la Educación Normal (EIEN), ambos aplicados para la selección de aspirantes a la formación magisterial; el Exa-
men General de Conocimientos Intermedio (EGCI) y el Examen General de Conocimientos de Licenciatura (EGCL), que se
utilizan para medir los conocimientos durante la carrera de estudios; el Examen Nacional de Conocimiento y Habilidades
Docente, derivado del examen de nuevo ingreso al servicio docentes y del examen de otorgamiento de plazas a docentes
en servicio que se aplicaron como resultado de la firma de la Alianza por la Calidad de la Educación (SEP-SNTE, 2008);
estos instrumentos tenían como finalidad la selección de aspirantes al servicio y la asignación de horas de clase a los
profesores en activo. También se identifican las evaluaciones realizadas por el Sistema Escalafonario y por Carrera Magis-
terial en el que se evaluaba la preparación profesional de los docentes en servicio por medio de los Exámenes Nacionales
de Actualización (SEP-SNTE, 2011; Luna, Cordero, López y Castro, 2012).
Así, la evaluación realizada durante las últimas dos décadas ha estado vinculada a procesos de selección, ascenso, pro-
moción y asignación de estímulos salariales, desde un enfoque principalmente sumativo y basado en exámenes y pruebas
objetivas. Pese a la exhaustividad de estas experiencias previas de evaluación, poco se conoce sobre el desempeño de los
profesores en el aula, ya que al factor al que se le ha dado mayor relevancia en estas evaluaciones es al de los aprendizajes
que poseen los docentes y sobre estos, se emiten juicios sobre el trabajo del profesorado.
En este panorama, la OCDE (2010) realizó quince recomendaciones a México a fin de orientar a las autoridades para
reformar y mejorar “los aspectos de calidad y equidad del sistema educativo, poniendo a las escuelas y a los alumnos en
el centro de las políticas educativas” (OCDE, 2010, p. 3). La OCDE recomendó a México “desarrollar e implementar un
sistema riguroso de evaluación docente enfocado en la mejora docente” (recomendación 8) que combine aspectos forma-
tivos y sumativos que permitan recompensar el desempeño docente y sancionar el desempeño bajo y realimentar a los
docentes para que mejoraren sus prácticas y avancen en sus trayectorias profesionales (OCDE, 2013, p. 8).
Los planteamientos de la OCDE (2010) se ven reflejados en la LGSPD mexicana. Ésta, tiene como propósito mejorar
la calidad de la educación (DOF, 2013, Art. 13, Frac. I) y la mejora de la práctica profesional docente (Frac. II); mandata
el establecimiento de referentes que sirvan para la mejora continua (Art. 14, Frac. V) y el fomento del mejoramiento del
desempeño por medio de la promoción y el reconocimiento (Art. 36, Frac. V). Se parte de la idea de que estas disposicio-
nes requieren del diseño de procesos de evaluación que incorporen técnicas e instrumentos de carácter formativo que
permitan recabar información para mejora la práctica profesional y el desempeño.
De acuerdo con la UNESCO (2006) una de las estrategias formativas más habituales para evaluar el desempeño de los
docentes es la observación del profesor en el aula. Países como Costa Rica, Argentina, Colombia, Chile y España, anteceden
a México en la realización de este procedimiento y han obtenido resultados que posibilitan la mejora de la práctica docente.
Se asume que la observación es una técnica que permite evaluar y realimentar el desempeño de los profesores; no
obstante, de acuerdo con Angulo (2012), se reconoce que el trabajo docente frecuentemente es realizada en solitario y
que el aula suele ser un espacio cerrado en el que no se involucran actores distintos al docente y sus alumnos. Desde esta
perspectiva se considera necesario explorar las opiniones de los docentes respecto a la pertinencia de la observación
como técnica de evaluación del desempeño.
El presente trabajo expone resultados parciales de las investigaciones realizadas en el Instituto Nacional para la Eva-
luación de la Educación. El objetivo es explorar las opiniones de los profesores de los diferentes niveles y tipos educativos
en relación a la observación para la evaluación del desempeño docente. Los hallazgos permiten responder a tres pregun-
tas centrales: ¿Qué opinión tienen los docentes en relación a la observación como técnica de evaluación del desempeño?,
¿Qué tipo de contenidos o temas pueden evaluarse por medio de la observación del desempeño?, ¿Quién o quiénes son los
observadores más adecuados? El trabajo se compone de cuatro segmentos mediante los cuales se desarrollan los concep-
tos teóricos fundamentales, el método ejecutado, los principales hallazgos y las conclusiones y orientaciones.
3
 DESARROLLO

Marco Teórico

La observación en clase es definida por Martínez-Rizo (2012) como una de las técnicas que se han utilizado en mayor
medida para evaluar a los profesores, ya que permite recuperar evidencias confiables de la práctica docente que se lleva a
cabo dentro de las aulas. La observación de clase puede realizarse de forma libre o planeada con la ayuda de guías o pro-
tocolos de observación; en cualquiera de los casos privilegiará la observación de ciertos aspectos de la práctica docente
sobre otros (Valdés, 2000). “Las observaciones de clases pueden ser la pieza fundamental de una estrategia de evaluación
sistemática del desempeño de los docente” (Valdés, 2000, p.1).
La observación de clase ha sido estudiada e implementada como técnica de evaluación en distintos países de Lati-
noamérica y del mundo, ya que se confía en la validez de la información que se puede obtener a través de ella. En Chile,
por ejemplo, se realizan registros en video, que luego son analizados por revisores externos a la escuela. De acuerdo con
la opinión de Milicic, Rosas, Scharager, García y Godoy (2008), la evaluación en Chile por medio de la observación ha
ayudado a establecer juicios sobre la práctica docente e identificar las necesidades de formación docente en el dicho país.
En Argentina, por ejemplo, la observación de clase es llevada a cabo entre pares docentes, mientras que en Cuba esta
técnica es aplicada por parte del director escolar o el subdirector. En el caso de España, el inspector de zona es el encar-
gado de evaluar a los docentes por medio de la observación del aula (UNESCO, 2006).

Método

La Dirección General de Evaluación de Docentes y Directivos organizó, con la ayuda de las autoridades educativas estata-
les, grupos focales en ocho entidades mexicanas: Durango, Nuevo León, Sinaloa, Yucatán, Puebla, Nayarit, Chiapas y Baja
California. En cada entidad se llevaron a cabo cuatro grupos focales, uno con docentes de educación preescolar, uno de
primaria, uno de secundaria y uno de educación media superior.
Se buscó que cada grupo estuviera constituido por al menos la mitad de mujeres, que los sujetos tuvieran distintos
años de experiencia frente a grupo y que procedieran de distintos contextos del estado: del medio rural, urbano, semiur-
bano e indígena.
La dinámica realizada en los grupos estuvo orientada por un guion basado en resultados de una encuesta realizada
previamente en línea, donde se cuestionaba a los docentes sobre lo que debía ser evaluado del desempeño docente y por
medio de qué estrategia de evaluación debía realizarse, lo que sirvió como insumo para este estudio. Se trataron especí-
ficamente dos temas: qué evaluar y cómo evaluar el desempeño docente. Los docentes expresaron opiniones e interac-
tuaban de forma grupal. Las discusiones en los grupos fueron registradas por medio de audio grabación. Posteriormente,
éstas fueron transcritas y analizadas.
El análisis se realizó en dos fases. En la primera, se delimitaron las unidades de análisis, de acuerdo al procedimiento
propuesto por Porta y Silva (2003). Este ejercicio se realizó por medio de la selección de porciones de texto que consti-
tuían núcleos de significado referentes al tema de interés.
Una vez definidas las unidades de análisis, en la segunda fase se codificó inductivamente la información. Se realizaron
ejercicios paralelos de categorización y prueba de códigos en la información contenida en las transcripciones. Al catego-
rizar las unidades de análisis se buscaron elementos que se relacionaran con la pertinencia de la observación de clase
como instrumento de evaluación del desempeño docente, así como los elementos que se deben tomar en cuenta para
implementar esta estrategia. Así mismo, se buscaron citas que aportaran sugerencias significativas sobre lo que puede
observarse de la práctica docente, así como las propuestas para la selección de un observador de la práctica docente.

4
 RESULTADOS

A través de los grupos focales con docentes de educación básica y media superior se obtuvieron los siguientes resultados:

Percepción sobre la pertinencia de la observación

para la evaluación del desempeño docente

Los profesores de los tres niveles de educación básica y los de media superior expresaron que la observación de aula es
pensada como una técnica pertinente para la evaluación del desempeño docente. Los profesores de preescolar, por ejem-
plo, cuando se les presentó una serie de estrategias posibles para la evaluación del desempeño docente, señalaron: “mejor
que me vean y ya” (preescolar-Baja California). Los docentes de primaria también concordaron en la pertinencia de esta
técnica por considerarlo confiable y eficiente para evaluar la práctica docente. Los profesores de educación secundaria
opinaron que la observación en aula es un instrumento pertinente pues a partir de ella se puede dar cuenta de su trabajo,
de las actividades que realizan, las estrategias que emplean, la creación de ambientes favorables y de su desempeño. Al
respecto uno de los docentes mencionó que:

...ahí es donde se pueden dar cuenta de todo nuestro trabajo, si está bien planeado, si las estrategias son adecuadas,
si llevamos la inclusión de los alumnos, creo que ahí, en ese punto, sería básico para ver nuestro desempeño,
(secundaria-Nayarit).

Además, se encontró que los docentes de secundaria parecen poner especial énfasis en comentar lo que se puede
evaluar por medio de la observación. Los docentes señalaron que a partir de la observación se puede recabar información
sobre distintos aspectos.

»» Creación de ambientes: “La creación de ambientes favorables es lo primero que debe observar quien llegue a eva-
luar el desempeño y la actitud del docente, y la actitud del alumno” (secundaria-Chiapas)
»» Práctica de valores: “Creo que también se pueden observar la práctica de los valores que son aspectos que creo que
la mayoría estamos dejando de lado y es fundamental” (secundaria-Jalisco).
»» Prácticas de enseñanza: “La enseñanza hacia los alumnos o “la capacidad para generar competencias” (secundaria,
Sinaloa).
»» Interacción con los alumnos; “El trato hacia los alumnos en donde se pone como ejemplo:

Aquel alumno que detectamos que es un poco inquieto y que no vino. Un día siguiente [el maestro le dice:]

—Gabriel, ¿por qué no viniste?

—Es que me quedé dormido. ¿Me extrañó?
—¡Claro, mi´jo!, para mí tú eres bien importante. Si tú no vienes un día, me preocupo por ti.
—Gracias, maestra, voy a venir todos los días.

O sea, hay que darles una palabra de aliento…” (Secundaria, Nuevo León)

También los profesores de educación media superior comentaron que la observación en el aula es la estrategia de evalua-
ción docente con mayor pertinencia, ya que consideran que con ella se puede obtener evidencia directa del desempeño
del docente: “la observación de la clase es el medio o la instrumentación más eficaz que puede tener el INEE porque es
vivencial, pero el hecho de que vaya acorde con el tema con la planeación, es imponderable” (media superior-Nayarit).

5
 Recomendaciones generales en relación con la observación de clase

Los docentes de cada nivel y tipo educativo hicieron recomendaciones y advertencias que bosquejan una idea sobre la
implementación de esta técnica evaluativa:
Los docentes de preescolar opinaron que “en un día es imposible” conocer el estilo de práctica de los docentes (pre-
escolar, Puebla), por lo que insistieron en que los observadores “vayan con tiempo suficiente para que puedan ver las
estrategias de cómo resolvemos, como manejamos los momentos en los que un niño no se están desarrollando bien, o
tiene problemas de resolución, todo esto en nuestra intervención docente” (preescolar, Puebla).
Los docentes de primaria y secundaria coincidieron al señalar las siguientes recomendaciones:

1. Realizar grabaciones de la práctica: “entonces sería bueno grabarnos y enviarlo dando una secuencia didáctica,
demostrando nuestras habilidades, porque no es lo mismo un examen que lo práctico” (primaria-Chiapas).
2. Usar guías de observación: “que los evaluadores lleven una guía especifica de lo que en realidad te va a valorar”
(primaria-Puebla).
3. Observar más de una sesión: “… considero que sí se puede, pero quizás una sola clase no sería suficiente para dar la
evaluación de un profesor” (secundaria, Jalisco).

Por su parte, los profesores de educación media superior realizan una aportación distinta a la de sus colegas en edu-
cación básica, recomendaron el uso de materiales y el diseño de experiencias de formación dirigidas para los evaluados
y los evaluadores:

“Me gustaría más que se creara un documento para que los maestros empezáramos a perder el miedo a las
observaciones de clase, que se creara… voy a soñar tantito… una especie de taller en el que la persona o las personas
que están al frente fueran empáticos con el temor de los docentes ante la evaluación” (media superior-Nuevo León).

¿Quién es el observador adecuado?

El tema de los observadores es de especial importancia para los docentes de los distintos niveles educativos; no obstante,
en cada uno se da relevancia a actores distintos como posibles observadores de la labor docente. En el caso de los pro-
fesores de preescolar, expresaron que el actor más pertinente es un par docente porque “conocen el trabajo en el aula,
ellos saben los procesos, los momentos, las situaciones que se viven dentro del aula” (preescolar-Nayarit); sin embargo,
señalaron que resultaba conveniente de que fuera de otra escuela “para que no influya positiva o negativamente” (prees-
colar-Baja California).
Los comentarios sobre los observadores que realizaron los docentes de primaria y de secundaria son coincidentes. En
ambos casos señalan que el observador más adecuado es un evaluador externo:
Para mí un evaluador externo sería ideal, siempre y cuando fuera un evaluador externo que conociera la práctica
docente, que tuviera las herramientas o la formación docente para que pudiera entender el trabajo que está observando
y que está desempeñando el maestro que él está observando (primaria-Durango).
También se considera el Asesor Técnico Pedagógico (ATP) por ser reconocido como un actor que conoce a las escue-
las y a los docentes: “yo me enfoco al ATP porque él trabaja conmigo, él nos pide planeación, el checa horarios, él conoce
nuestra situación; sabe cómo estamos, no es alguien que está en la supervisión, él está con nosotros” (secundaria-Chia-
pas). “Se me hace bien que sea el asesor técnico pedagógico, porque él es al que [a] todos lados mandan y conocen mucho
de las escuelas (secundaria- Puebla).
En el caso de los profesores de educación media superior, al cual que los de primaria y secundaria mencionaron al
evaluador externo como el actor más apropiado para ser observador del desempeño docente. Los docentes señalaron:
“El evaluador externo es mejor, porque la misma institución suele generar en métodos de presión de coerción. El exter-
no es más objetivo, confiable” (media superior, Tijuana); “pienso que el evaluador externo debería ser el número uno”
(media superior-Sinaloa).

6
 El ATP es una figura que no existe de manera oficial en la estructura de la educación media superior; sin embargo,
dentro de algunos subsistemas, existen otras que realizan actividades similares a los ATP de educación básica. Adicional-
mente, la Ley del Servicio Profesional Docente establece que en este nivel debe haber docentes que desempeñen tareas de
asesoría técnico-pedagógica, por tales razones se consideró al ATP como uno de los posibles evaluadores y se incorporó
a la discusión en el tipo educativo de educación media superior.
En los grupos, los profesores de educación media superior discutieron sobre el ATP como evaluador y señalaron que
se trata de un actor adecuado para la tarea. Los profesores comentaron que “el asesor pedagógico está obligado a realizar
esas funciones, por el perfil (…) que está en sus funciones, que es supervisar la tarea del maestro que tenga bajo su cargo,
o los maestros que tenga bajo su cargo” (media superior-Mérida).

CONCLUSIONES
Los resultados aquí expuestos representan una exploración de las percepciones de los docentes en relación a la técnica
de observación para la evaluación del desempeño docente. Los profesores de los cuatro niveles educativos, preescolar,
primaria, secundaria y bachillerato, concuerdan en que la observación de clase es una técnica de evaluación pertinente
para la evaluación del desempeño. Identifican una serie de elementos de la práctica docente que pueden ser evaluados
por medio de esta técnica. De acuerdo a la opinión de los docentes, si se considerara la observación de clase como una
de las técnicas evaluativas, podrían evaluarse la creación de ambientes favorables en el aula, la práctica de los valores del
docente, los procesos de enseñanza que se llevan a cabo en el aula y la interacción con los alumnos.
Los docentes plantean estrategias para operar la observación que pueden ser revisadas con mayor detalle en futuros
estudios educativos: explorar la pertinencia y factibilidad de la grabación de sesiones de clase para su observación, dise-
ñar guías para el desarrollo de la técnica, considerar la observación de varias sesiones y no de una sola.
En cuanto al actor educativo más pertinente para llevar a cabo la observación, los docentes de educación básica opi-
naron que los pares docentes de otra institución, los evaluadores externos y los ATP, son los actores más adecuados para
desempeñar el rol de observador. Los docentes de Educación Media Superior coincidieron en que el evaluador externo es
la figura idónea para este rol. Además consideraron que el ATP puede ser la figura adecuada para realizar la observación
del desempeño docente, aunque esta figura apenas comienza a configurarse como parte de este nivel educativo.
Las consideraciones y percepciones de los docentes pueden contribuir en el diseño de estrategias evaluativas y en su
implementación. Incorporar las propuestas hechas por los propios profesores favorece la legitimación de los procesos eva-
luativos ante los actores evaluados. Adicionalmente, las aportaciones de los docentes representan objetos de interés para
futuras investigaciones que contribuyan a profundizar en el conocimiento de los docentes, su desempeño y su evaluación.

REFERENCIAS

Angulo, G. (2012). Las concepciones sobre el docente o diferentes maneras de concebir el ejercicio de la docencia. Revista
de Investigación, 36 (75). 11-31.
Cordero, G.; Luna, E. y Patiño, N. X. (2013 julio-diciembre). La evaluación docente en educación básica en México: panora-
ma y agenda pendiente. Revista Electrónica Sinéctica, (41). 1-19.
Diario Oficial de la Federación (2013). Ley General del Servicio Profesional Docente. Disponible en: http://www.dof.gob.
mx/nota_detalle.php?codigo=5313843&fecha=11/09/2013
Luna, E.; Cordero, G.; López, G. y Castro, A. (2012). La evaluación del profesorado de educación en México: Políticas, pro-
gramas e instrumentos. Revista Iberoamericana de Evaluación Educativa 2012, 5 (2). 232-244.
Martínez-Rizo, F. (2012). El futuro de la evaluación educativa. Sinéctica, Revista electrónica de evaluación. Disponible en:
http://www.sinectica.iteso.mx/articulo/?id=40_el_futuro_de_la_evaluacion_educativa

7
 Milicic, N.; Rosas, R.; Scharager, J.; García, M. y Godoy, C. (2008). Diseño, Construcción y Evaluación de una Pauta de Obser-
vación de Videos para Evaluar Calidad del Desempeño Docente. Revista Scielo. 17, (2), 79-90. Disponible en: http://
www.scielo.cl/pdf/psykhe/v17n2/art07.pdf
OCDE (2010). Acuerdo de cooperación México-OCDE para mejorar la calidad de la educación en las escuelas mexicanas.
Mejorar las escuelas: Estrategias de acción en México. disponible en: http://www.oecd.org/edu/school/46216786.pdf
Porta, S., y Silva, M. (2003). La investigación Cualitativa: El análisis de contenido en la investigación cualitativa. Disponible
en: http://www.uccor.edu.ar/paginas/REDUC/porta.pdf
SEP (1973). Reglamento de escalafón de los trabajadores al servicio de la Secretaría de Educación Pública. Disponible en:
http://www.sep.gob.mx/work/models/sep1/Resource/24e8c91d-d2fc-4977-ad19-dc572c3e4439/reglamento_escalafon_
sep.pdf
SEP-SNTE. (2011). Carrera Magisterial. Lineamientos Generales. México: Autor
UNESCO (2006). Evaluación del desempeño docente y carrera profesional docente. Un estudio comparado entre 50 países
de América y Europa. Disponible en: http://unesdoc.unesco.org/images/0014/001465/146545s.pdf
Valdés, H. (2000). Evaluación del desempeño docente. Encuentro Iberoamericano sobre Evaluación del desempeño docente.
México. Disponible en: http://www.oei.es/de/rifad02.htm

8
Estudio de generalizabilidad del sistema
de observación CLASS en aulas de secundaria
en Baja California
13 de marzo de 2015
 Estudio de generalizabilidad del sistema
de observación CLASS en aulas de secundaria
en Baja California
Olga Lidia Murillo García
Licenciada en Psicología por la UABC, estudiante de la Maestría en Ciencias Educativas
del Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California, México.
olga.murillo@uabc.edu.mx
Alicia Alelí Chaparro Caso López
Doctora en Análisis Experimental de la Conducta.Investigadora del Instituto de Investigación
y Desarrollo Educativo de la Universidad Autónoma de Baja California, México.
achaparro@uabc.edu.mx
Luis Horacio Pedroza Zúñiga
Maestro en Investigación Educativa, estudiante del Doctorado en Ciencias Educativas del Instituto de Investigación
y Desarrollo Educativo de la Universidad Autónoma de Baja California, México.
horaciopedroza@hotmail.com

PALABRAS CLAVE: Observación sistemática, Secundaria, Evaluación, Interacción, Generalizabilidad.

EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
El objetivo del estudio fue determinar la generalizabilidad del sistema Class en aulas de secundaria de Baja Ca-
lifornia. Este sistema de observación permite evaluar la calidad de las interacciones que suceden en el salón de
clases, con base en tres grandes dominios: Apoyo emocional, Organización de la clase y Apoyo instruccional. Para
la determinación del índice de generalizabilidad, se utilizó un diseño cruzado de cuatro facetas: docente, categoría,
sesión y observador. Participaron en el estudio 11 aulas que fueron evaluadas con el sistema durante 3 sesiones
consecutivas. Los resultados mostraron que la mayor cantidad de varianza es aportada por la faceta categoría. Sin
embargo, se encontraron altos niveles de consistencia interna entre categorías, lo que apunta a que si bien hay
variabilidad entre éstas, se puede afirmar que miden el mismo constructo. Se concluye que el sistema Class puede
utilizarse en la evaluación de las interacciones en aulas de contexto mexicano.

2
 INTRODUCCIÓN

El sistema de Classroom Assessment Scoring System (Class, por sus siglas en inglés), es una opción pertinente para es-
tudiar la complejidad de las interacciones en el aula, pues permite identificar los aspectos relacionados con las practicas
pedagogías e instruccionales, el manejo de las actividades dentro del aula y el clima emocional que se despliega en ese
contexto, identificados como factores que intervienen en el desempeño académico y en el desarrollo de los estudiantes
(Pianta, Hamre y Allen, 2102). Class es reconocido como “uno de los instrumentos más prometedores para medir aspec-
tos de la relación maestro-alumno en una gran variedad de contextos que, siendo esenciales en el proceso de aprendizaje,
resultan difíciles de capturar con otros instrumentos” (Thomson et al., 2000, p.6). Hamre, Pianta y Mintz (2012) refieren
que este sistema ha sido implementado en varios estudios a gran escala en los Estados Unidos. Con todo, en Latinoamé-
rica, se encuentran pocas referencias de su uso. Por ejemplo, en Ecuador, se utilizó en una investigación auspiciada por
el Banco Interamericano del Desarrollo (BID), realizada en 204 escuelas de educación primaria desde 2013. En Chile se
utilizó con el propósito de describir el desempeño de educadoras con fines formativos (Treviño, Toledo y Gempp, 2013).
Respecto a la confiabilidad del sistema Class, ésta ha sido reportada usando la fórmula de porcentaje de acuerdos,
Kappa de Cohen y correlaciones intra-clase (Hamre, Pianta y Mintz, 2102). Sin embargo, si bien estas medidas resul-
tan pertinentes en la descripción de la confiabilidad del sistema, sólo reportan la concordancia entre observadores. No
obstante en la observación directa, intervienen muchas fuentes de variabilidad y el solo reporte de la concordancia no
resulta suficiente (Blanco-Villaseñor, 1991). La Teoría de la Generalizabilidad es una de las alternativas propuesta para
determinar el grado de fiabilidad y márgenes de error, en la que se plantea que existen fuentes de variación adicionales a
las diferencias individuales, integradas a una estructura global otras fuentes de variación o error de medida en un diseño
de investigación observacional. A través del cual es posible calcular las diferentes fuentes de variación que son evaluadas
dentro de un mismo diseño mediante diferentes facetas y las interacciones entre las mismas (Cronbach, Gleser, Nanda y
Rajaratnam, 1972, como se citó en Blanco-Villaseñor, 1991).
A partir de lo anterior, el objetivo del estudio que se presenta fue determinar el índice de Generalizabilidad del siste-
ma Class en la observación de las interacciones en aulas de secundaria en Baja California

DESARROLLO

Método

Participantes
Se involucraron 11 aulas de secundaria de la modalidad general y técnica pertenecientes al municipio de Ensenada, Baja
California. Las características generales de las aulas se presentan en la tabla 1.

Instrumento
El sistema de observación Class está organizado en tres dominios: Apoyo emocional, Organización de la clase y Apoyo
instruccional. Cada dominio se conforma por dimensiones, las cuales se centran en descripciones de diferentes aspectos
de la interacción entre docente-estudiante y entre estudiantes. Cada dimensión incluye indicadores de comportamiento,
observables y específicos. En la tabla 2 se ilustra la organización de los dominios y dimensiones de Class.
Estas dimensiones son evaluadas con base en una rúbrica de siete puntos: 1 y 2 corresponden a un puntaje bajo; 3, 4, 5,
corresponden a puntaje medio y 6,7 alto. El proceso de calificación consiste en observar sin interrupción la actividad que
acontece en el aula durante 15 minutos. En ese tiempo, el observador se concentra en identificar las interacciones que
suceden en el aula. Después de los 15 minutos de observación, los evaluadores asignan la puntuación correspondiente a
cada dimensión.

3
 Tabla 1  Características generales de identificación de los grupos

Años Número
Docente
Grado Asignatura Tipo experiencia
sexo
docente Alumnas Alumnos Total
3A 19 15 34
3B 18 14 32
Femenino 3D Matemáticas T 14 22 13 35
3E 13 19 32
3F 17 15 32
Taller 2 9 12 21
Masculino Dibujo T 26
Taller 3 12 6 18
1B 15 16 31
Masculino Ciencias G 24
1F* 15 21 36
Masculino 1C Matemáticas G 30 15 22 37
Masculino 1A Español G 6 14 17 31
Total 6 11 6 169 170 339

Nota: *única aula perteneciente al turno vespertino, Tipo = modalidad, T = técnica, G = general, Dibujo = dibujo arquitectónico.

Tabla 2  Esquema general de dominios y dimensiones de CLASS

Apoyo emocional
Clima positivo
Sensibilidad docente
Dimensiones Consideración hacia las
perspectivas del estudiante
Dominios
Organización del aula
Manejo de la conducta
Productividad
Clima negativo
Compromiso del estudiante
Apoyo instruccional
Formatos didácticos para el aprendizaje
Comprensión del contenido
Análisis e investigación
Calidad de la realimentación
Dialogo instruccional

Nota: Traducido de Hamre, B.K., Pianta, R.C., & Mintz, S. (2012). Classroom Assessment Scoring System. VA: Teachstone

Procedimiento
Para hacer factible la determinación de la confiabilidad inter e intra observador, todas las sesiones en las aulas, fueron
filmadas y posteriormente evaluadas por los observadores. Participaron 16 estudiantes de Psicología y Educación como
observadores. Estos recibieron una capacitación de cinco sesiones, con un total de 27 horas. El proceso de capacitación
incluyó tanto la revisión de la definición operacional de las categorías, así como práctica de evaluación individual y en
colectivo. Posterior a las sesiones de capacitación, se determinó la concordancia inter-observador, estableciendo el 90%
como criterio para determinar que un observador era confiable. Una vez capacitados, se asignaron los videos de las sesio-
nes de observación, para que fueran valoradas en diadas pero, de manera independiente. Posteriormente, los datos de las
valores fueron capturados y analizados.

Resultados y Discusión
La principal contribución de los estudios de generalizabilidad es determinar qué parte de la variabilidad o de la varian-
za de las puntuaciones o mediciones observadas es atribuible a cada una de las facetas, o condiciones, y a sus posibles
interacciones. En este estudio, se determinó el índice de generalizabilidad (Shavelson & Webb, 1991), utilizando un di-
seño cruzado de tres facetas: docente X sesión X observador X categoría, mediante el uso del paquete estadístico SPSS.

4
 La primera parte del proceso de análisis implicó la estimación de los cuadrados medios de cada fuente de variación del
diseño, los cuales se presentan en la tabla 3.

Tabla 3  Cuadro resumen del análisis de varianza del plan de observación

Fuentes de variación Suma de cuadrados Gl Cuadrados medios

Docente 954.57 10 95.45
Sesión 177.57 12 14.79
Docente*Sesión 1453.57 112 12.97
Observador 10.11 1 10.11
Docente*Observador 144.17 10 14.41
Categoría 8242.71 11 749.33
Docente*Categoría 547.42 110 4.97
Sesión*Observador 58.55 12 4.87
Sesión*Categoría 186.64 132 1.41
Observador*Categoría 20.32 11 1.84
Docente*Sesión*Observador 586.77 112 5.23
Docente*Sesión*Categoría 1636.60 1232 1.32
Docente*Observador*Categoría 129.62 110 1.17
Sesión*Observador*Categoría 95.09 132 0.72
Docente*sesión*Observador*Categoría 974.83 1232 0.79

Enseguida, se determinó el índice de generalizabilidad, obteniendo un valor de .097. Junto con ello, se estimaron los
porcentajes de varianza de cada una de las facetas y de las interacciones de éstas. Los resultados se muestran en la tabla
4. Se puede observar que la faceta categoría (es decir dimensión de observación) es la que aporta la mayor cantidad de
varianza (55.42%). Asimismo, es posible ver que los observadores no aportan varianza, lo que permite asumir que el
nivel de concordancia entre ellos es alto. Finalmente, las facetas de docente y sesión muestran una varianza moderada,
lo que era de esperarse dado las diferentes características entre docentes y entre los días de observación. No obstante, al
encontrar esta alta varianza en las categorías de observación, resultó necesario identificar la consistencia interna entre
ellas, pues, si bien cada una evalúa aspectos de la interacción diferentes, todas en su conjunto forman parte de un mismo
constructo. Así, se practicó un Alfa de Cronbach entre las 12 categorías que integran el sistema Class, lo que arrojó un
índice de consistencia interna de .91.
Como se puede apreciar en la tabla 4, la mayor fuente de variación se ubica en la varianza del error, es decir, que hay
variables que están influyendo y no se están identificando. Además, las siguientes dos interacciones con mayor variación
son la de docente*sesión y docente*sesión*observador. El bajo nivel de varianza de la faceta observador, indica que existe
un alto nivel de consistencia entre observadores. Por otro lado, se observa más variabilidad en la faceta docente, atribuida
a las diferencias en la práctica docente. Este resultado es consistente con lo que la literatura señala, en la que se ha afirma-
do que existe una variación importante de la práctica en distintos momentos y distintas ocasiones, con cualquier instru-
mento de medida. Por ejemplo, para el caso de Class, Pianta y Hamre (2009) identificaron, que los docentes disminuyen
la calidad de la práctica en las últimas horas de la jornada escolar y también durante el ciclo escolar. Este hallazgo, sugiere
que para generalizar los resultados al ciclo escolar se tendría que incluir más sesiones de observación, o sea ampliar el
universo al que se quiere generalizar los resultados. Y lleva a cuestionarse ¿cuántas mediciones serían adecuadas para
valorar con precisión la práctica de un docente?

5
 Tabla 4  Resultados de los análisis de los componentes de varianza del plan de medida

Faceta Componente de varianza Porcentaje de varianza

Var(docente) 240 4.84
Var(sesión) .012 0.25
Var(observador) .000 0.00
Var(categoría) 2.752 55.42
Var(docente*sesión) 294 5.92
Var(docente*observador) .062 1.25
Var(docente*categoría) .166 3.34
Var(sesión*observador) .002 0.04
Var(sesión*categoría) .000 0.00
Var(observador*categoría) .005 0.10
Var(docente*sesión*observador) 365 7.34
Var(docente*sesión*categoría) .246 4.95
Var(docente*observador*categoría) .034 0.68
Var(sesión*observador*categoría) .000 0.00
Var(docente*sesión*observador*categoría) .787 15.86
Varianza observada 4.965 100.00%

CONCLUSIONES

La principal contribución de los estudios de generalizabilidad es la identificación de la varianza atribuida a cada una de
las facetas del diseño, lo que permite determinar si las observaciones realizadas son susceptibles de ser generalizadas a
otros escenarios o a otra población. En el presente estudio el Índice G obtenido fue muy bajo. Sin embargo, de acuerdo
a lo referido por Blanco-Villaseñor (1991), la mayor aportación del análisis de generalizabilidad es el conocer cuál de
las facetas explica el mayor porcentaje de varianza del modelo de medida presentado. En este estudio la faceta observa-
dores tuvo un porcentaje de varianza nulo, lo que indica que éstos no son una fuente de variación, es decir, que tienen
un alto nivel de concordancia inter-observador, traduciéndose en que los datos obtenidos, a través de sus valoraciones,
son confiables. Sin embargo, los datos también mostraron que la principal fuente de variabilidad se ubicó en la faceta de
categoría. Esto hasta cierto punto es esperable, pues cada una de las categorías de observación evaluó diferentes con-
ductas, que muestran diferente frecuencia, intensidad y dimensionalidad. Así por ejemplo, la categoría de Clima negativo
es estructuralmente muy diferente a Clima positivo o a Sensibilidad docente, pues hacia el interior de sus definiciones
operaciones se observa que los elementos que se tienen en cuenta para su valoración son diferentes entre sí. A pesar de
estas diferencias, todas estas categorías representan un mismo constructo: interacción social; y esto quedó demostrado
a través del alto valor que se obtuvo en la consistencia interna.
Por lo tanto, basados en los resultados obtenidos se pueden establecer tres conclusiones. La primera, es la utilidad que
el estudio de la generalizabilidad, tiene en la determinación tanto de la confiabilidad de los resultados, así como en el cono-
cimiento de las fuentes de variación que pueden interferir en el proceso de generalización. Los datos presentados en este
estudio, ayudan a afirmar que Class es útil y viable para utilizarse en la evaluación de la interacción en en salones de clase
de secundaria en el contexto de Baja California. No obstante, como segunda conclusión, podemos mencionar que el índice
de generalizabilidad fue bajo; pero, en palabras de Blanco-Villaseñor (1991), la principal aportación del estudio de la gene-
ralizabilidad es identificar las fuentes de varianza, o dicho en otros términos, fuentes de error. En este caso fue identificado
que la principal fuente de variación es atribuible a las categorías de Class, atribuible a las diferencias en los indicadores
de cada categoría. Sin embargo, y como tercera conclusión, se reconoce la necesidad de continuar analizando este sistema
en diferentes contextos, de manera que pueda establecerse de una forma más fehaciente su utilidad en aulas mexicanas.

6
 BIBLIOGRAFÍA

Blanco-Villaseñor, A. (1991). La teoría de la generalizabilidad a diseños observacionales. Revista mexicana de análisis de la

conducta. 17(3), 23-83. Recuperado de revistas.unam.mx/index.php/rmac/article/download/23338/23846
Hamre, B.K., Pianta, R.C. & Mintz, S. (2012). Classroom assessment scoring system. Secondary manual. Virginia, USA:
Teachstone.
Pianta, R.C., & Hamre, B.K. (2009). Conceptualization, measurement, and improvement of classroom processes: Stan-
dardized observation can leverage capacity. Educational Researcher, 38, 109–119
Pianta, R.C., Hamre, B.K., Allen, J.P. (2012). Teacher student relationships and engagement: conceptualizing, measuring,
and improving the capacity of classroom interactions. S.L. Christenson et al. (Eds.), Handbook of research on student
engagement. doi 10.1007/978-1-4614-2018-7_17
Shavelson, R. & Webb, N. (1991). A Primer on Generalizability Theory. Thousand
Oaks, CA: Sage Publications.
Thomson, T., Symons, F., & Felce, D. (2000). Principles of behavioral observation assumptions and strategies. En T. Thom-
son, D. Felce & F. J. Symons (Eds.), Behavioral observation technology and applications in developmental disabilities
(pp.3-15). USA: Paul H. Brookes Publishing Co.
Treviño, E., Toledo, G., y Gempp, R. (2013). Calidad de la educación parvularia: las prácticas de clase y el camino a la
mejora. Pensamiento educativos, revista de investigación educacional latinoamericana, 50(1), 40-62. doi:10.7764/
PEL.50.1.2013

7
Evaluación del desempeño en la práctica
docente de estudiantes de 4º grado
de la licenciatura en educación secundaria
(especialidad en telesecundaria)
13 de marzo de 2015
 Evaluación del desempeño en la práctica
docente de estudiantes de 4º grado
de la licenciatura en educación secundaria
(especialidad en telesecundaria)
(Avance de Investigación)

Pedro Chagoyán García

Doctorante en Educación
Maribel Brito Lara
Maestra en Investigación Educativa
Enrique Herrera Rendón
Maestro en Pedagogía
Armida Liliana Patrón Reyes
Maestra en Enseñanza Universitaria
Cristina Ma. Elizabeth Torres Camacho
Licenciada en Ciencias de la Educación

Escuela Normal Superior Oficial de Guanajuato, México.

chagoyanes@gmail.com

PALABRAS CLAVE: Formación de profesores, práctica docente, desempeño, evaluación.

EJE TEMÁTICO: 2. Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
Estudio dirigido a evaluar desempeños del trabajo docente (práctica intensiva en condiciones reales de trabajo)
que realizan estudiantes normalistas de la Licenciatura en Educación Secundaria, con especialidad en telesecun-
daria, durante el 4º (último) grado de formación profesional inicial. Esto permitirá construir una propuesta de
evaluación para identificar coincidencias y discrepancias en los logros con relación a los rasgos del perfil de egreso
del citado programa educativo.
Se emplea una perspectiva cualitativa para mostrar cómo es vista y asumida la práctica docente del estudiante
normalista.
Con base en los desempeños de la práctica docente, será posible evaluar el programa educativo y la formación
recibida de los egresados. Evaluar, desde un enfoque formativo, es entendido como un proceso de mejora que
permite tanto a los estudiantes, formadores de docentes y a la institución normalista identificar logros y áreas
de oportunidad así como delinear propuestas para la mejora continua; de modo que los procesos de formación
profesional inicial contribuyan a que los futuros docentes promuevan el logro de aprendizajes congruentes con los
propósitos de la educación secundaria.

2
 INTRODUCCIÓN

Con la Licenciatura en Educación Secundaria que se ofrece en la Escuela Normal Superior Oficial de Guanajuato (ENSOG),
se pretende:

Brindar a los futuros profesores una formación centrada en el conocimiento y comprensión de los procesos
de desarrollo de los adolescentes, las características de la escuela secundaria y la dinámica cotidiana de la tarea
educativa, así como en el aprendizaje de los contenidos propios de la especialidad y el desarrollo de las competencias
didácticas para su enseñanza en la escuela (SEP, 2001, p. 5).

A 15 años de la operación del citado programa educativo, se han formado profesionales de la educación secundaria
en las especialidades de Biología, Español, Física, Formación Cívica y Ética, Historia, Lengua Extranjera (Inglés), Mate-
máticas, Química y Telesecundaria. Asimismo se han llevado a cabo acciones de seguimiento y evaluación a la operación
del Plan de estudio en comento, entre ellas: Evaluación a los docentes (perspectiva de los estudiantes y de los propios
académicos); Evaluación a los estudiantes a partir del Examen Intermedio (Exi) y del Examen General de Conocimientos
(EGC) que aplica la Dirección General para la Formación de Profesionales de la Educación (DGESPE) a través del Centro
Nacional de Evaluación para la Educación Superior A.C. (Ceneval); Encuesta sobre la satisfacción de la formación recibida
y, Seguimiento de egresados (ingreso al servicio docente y desempeño profesional).
Un elemento valioso de la evaluación docente relacionada con el Plan de Estudio 1999 es contar con información
sobre desempeños de estudiantes normalistas, para ello, se lleva a cabo la investigación para caracterizar la práctica
docente en 4º grado de la LES, durante periodos intensivos a lo largo de un ciclo escolar en el campo real de trabajo, bajo
la tutoría de un profesor experimentado. Esto, nos permitirá construir conocimiento sobre coincidencias y discrepan-
cias en los logros profesionales y en torno al perfil de egreso. Si bien la práctica del docente es un entramado complejo,
nos enfocaremos a la dimensión didáctica, es decir al papel de dicho sujeto como agente que mediante procesos de
enseñanza, organiza, orienta y media la interacción de los educandos con el saber para que estos últimos construyan
sus propios conocimientos.
Así, en el presente ciclo escolar 2014-2015, se da seguimiento a estudiantes de modalidad escolarizada con especiali-
dad de Telesecundaria esto obedece, por una parte, a que es un programa educativo que será evaluado y acreditado ante
el Comité Interinstitucional para la Evaluación de la Educación Superior (CIIEES) y el Consejo para la Acreditación de
Educación Superior A.C. (Copaes); dicha especialidad se ha ofertado ininterrumpidamente desde el ciclo escolar 2000-
2001. Por otra parte la modalidad de Telesecundaria representa, en nuestro estado, alto porcentaje de centros educativos
que ofrecen educación secundaria (55.57% en 2012). Un aspecto más, es que la autoevaluación para la integración del
Programa de Fortalecimiento de la Escuela Normal (ProFEN) 2014 y 2015 (ENSOG, 2014), evidenciaron que esta espe-
cialidad ha obtenido promedios altos en el Examen Intermedio y el Examen General de Conocimientos que aplica la Di-
rección General de Educación Superior para la Formación de Profesionales de la Educación (DGESPE) a través del Centro
Nacional de Evaluación (Ceneval). Finalmente, el seguimiento que se propone es factible pues los integrantes del grupo
de interés (candidatos al reconocimiento como Cuerpo Académico en Formación por el Programa para el Desarrollo Pro-
fesional Docente -Prodep-), participamos como asesores de 4º grado de tres de seis grupos de la LES con especialidad en
Telesecundaria, generación 2011-2015, sujetos de estudio.

PREGUNTA DE INVESTIGACIÓN

¿Cuáles de las características de los desempeños docentes de los estudiantes del cuarto grado, grupos A, E y F, generación
2011-2015 coinciden y no con los rasgos del perfil de egreso de la LES “Dominio de los propósitos y contenidos de la
educación secundaria” y, “Competencias didácticas”?

3
 OBJETIVO GENERAL

Caracterizar los desempeños docentes de los estudiantes del cuarto grado, grupos A, E y F, generación 2011-2015 y con-
trastarlos con los rasgos del perfil de egreso de la LES “Dominio de los propósitos y contenidos de la educación secunda-
ria” y, “Competencias didácticas” para identificar coincidencias y discrepancias.

OBJETIVOS ESPECÍFICOS

a) Describir las características del desempeño docente de los estudiantes del cuarto grado, grupos A, E y F, generación
2011-2015.
b) Analizar la relación entre las características de este desempeño docente con los rasgos del perfil de egreso de la LES
“Dominio de los propósitos y contenidos de la educación secundaria” y, “Competencias didácticas”.
c) Plantear alternativas para fortalecer la formación inicial de los docentes de telesecundaria.

DISEÑO METODOLÓGICO

Para lograr los objetivos de caracterización e identificación y contrastación de resultados entre desempeños y perfil de
egreso, se realizará un estudio con perspectiva cualitativa para el análisis de la práctica docente, con la finalidad de mos-
trar tal como es vista y asumida.
Se hará uso de la lógica inductiva e interpretativa donde las acciones quedan desprovistas de significado estable:
deben ser a menudo interpretadas en curso de interacciones. Y la interacción pasa a ser concebida como proceso de in-
terpretación, que permite a los sujetos comunicar y mantener activos los intercambios, interpretando lenguaje, gestos y
actos. El contexto abandona su función de mero marco pasivo de la acción. Estudiar la acción educativa implica estudiar
la interacción entre sujetos en la cotidianidad-formalidad del proceso educativo, para que a través del acopio de datos se
construyan categorías y proposiciones.
Los procedimientos interpretativos permiten dar sentido a las “reglas de superficie”, que son una estructura abierta
con un horizonte de significaciones posibles. Se retomará la propuesta de Cicourel (1974) para la caracterización de los
procedimientos interpretativos.
Lo anterior permitirá identificar categorías que posteriormente caracterizarán el desempeño de los estudiantes nor-
malistas durante jornadas de trabajo docente (22 semanas en el ciclo escolar 2014-2015) y evaluar desempeños. Estas
categorías se contrastarán con los cinco rasgos del perfil de egreso de la LES: Habilidades intelectuales específicas, Domi-
nio de los propósitos y los contenidos de la educación secundaria, Competencias didácticas, Identidad profesional y ética y
Capacidad de percepción y respuesta a las condiciones sociales del entorno de la escuela (SEP, 2000).
Se ha diseñado y aplicado una serie de instrumentos como: guiones de observación, entrevista personal y de grupo,
registros de clase (in situ y videograbada), diarios de campo de los estudiantes, revisión de planificaciones (que realizan
los estudiantes previo al trabajo docente), talleres de análisis y reflexión sobre su trabajo docente, revisión documental
y expedientes para caracterizar las prácticas que llevan a tener buenos resultados. Con esto se pretende determinar sig-
nificados, dilemas y praxis, perspectivas de los practicantes y actividades como recurso estructurador de los diseños de
acción (Sacristán, 1998).

Población de estudio

La población de estudio se elige en función de características y complejidad de un estudio cualitativo que intenta develar
significados y cualidades para su interpretación teórica y empírica, sin descartar que el dato numérico juega un papel pre-

4
 ponderante en las evaluaciones de los estudiantes. Por ello, se ha considerado seguir los desempeños de 18 estudiantes
de la especialidad en Telesecundaria, con diferentes niveles de desempeño bajo, medio, y alto. En los diferentes contextos
rurales de los municipios de Dolores Hidalgo, Irapuato, Silao, Guanajuato del estado de Guanajuato.

Campo temático

El campo temático sujetos, actos y procesos de formación, y el subcampo formación de docentes (normal y universidades)
y de profesionales de la educación, deriva el área investigación formación y ejercicio profesional, en la cual se ubica la
sub-área de estudio vinculación con el ejercicio profesional en establecida por Comie da pauta para fundamentar antece-
dentes en el campo, así como aspectos teóricos metodológicos a seguir.

Marco conceptual

En esta investigación sobre desempeños en la práctica educativa de estudiantes de la Licenciatura en Educación Secunda-
ria, especialidad en Telesecundaria, generación 2011-2015, requiere una mirada conceptual en aspectos de la profesión
docente tales como las funciones docentes, competencias profesionales, formación continua y condiciones de trabajo,
para ello se retoma la perspectiva de Martínez (2001) y Day (2005) de los cuales es posible complementar, argumentar
y contextualizar sobre el dato empírico.
Este análisis de las prácticas docentes de Telesecundaria en el estado de Guanajuato, no se puede dejar de lado como
marco conceptual la plataforma política educativa en México, que da sentido a las prácticas docentes en secundaria,
y para ello se hace necesario analizar la Reforma de Educación Básica (SEP, 2011) y el modelo educativo que rige a la
modalidad de Telesecundaria en México, así como los indicadores nacionales que hoy día evalúan el logro educativo y los
desempeños de los docentes en educación básica, tal es el caso de carrera magisterial, escuela de calidad que proporcio-
nan información valiosa para la caracterización de las prácticas docentes.
Situarse en un estudio de la práctica docente obliga a retomar los procesos de enseñanza y aprendizaje en Telese-
cundaria, para ello, se buscará fundamentar las propuestas que se plantean para el aprendizaje significativo en el aula de
Díaz Barriga (2006) como vehículo conceptual para la comprensión de las estrategias más innovadoras como el apren-
dizaje situado, la enseñanza basada en proyectos y el aprendizaje basado en problemas. Aunado a la estrategia didáctica
como modelo de enseñanza a Aebli (2001), este referente para proporciona herramientas para el análisis de la dimensión
de la competencia didáctica.
El análisis de la práctica como instrumento para la transición de la mejora de las prácticas docentes y la práctica como
objeto de estudio en el campo educativo, Bazdresch (2000) es buen referente para extraer los significados de la práctica.
Como una línea teórica conceptual para la descripción y análisis de resultados. El compendio conceptual se plantea ex-
tenso, intenta cubrir todas las aristas teórico-metodológicas del estudio.

CONCLUSIONES PRELIMINARES

Se tiene una percepción sobre el perfil docente en la EN basado en algunas competencias profesionales específicas y no
en rasgos o características más integrales de la personalidad docente para su desarrollo profesional.

Existe un énfasis en el desarrollo de conocimientos curriculares, didáctico y práctico, dejando de lado el dominio metodo-
lógico que implica al proceso para generar aprendizajes a partir de un núcleo de conocimientos, los estudiantes norma-
listas se preocupan por la estrategia didáctica, el uso de los materiales y recursos, no tanto por el proceso de aprendizaje
por el que habrá de transitar el alumno, la práctica, utilidad, y contextualización del objeto conceptual. En palabras de Juan
Delval (1990), “el conocimiento escolar sirve para la escuela y no se percibe su utilidad fuera de ella, excepto para estudiar

5
 lo que se ha estudiado”; los estudiantes internalizan conocimientos didácticos pedagógicos a manera de un manual o pasos
inmutables a seguir, esta forma pasiva no permite modelar una práctica docente a las necesidades reales de los alumnos
y los contextos. El aprendizaje del futuro docente exige la existencia de habilidades para interpretar la realidad y formar
modelos de actuación para el aprendizaje.
Esas habilidades para generar aprendizajes significativos se ven favorecidas por la práctica de un pensamiento crea-
tivo, innovador, gestor del conocimiento del normalista, es poner al centro del proceso formativo del futuro maestro el
aprendizaje, y focalizar en sus prácticas docentes los ritmos del alumno, y el paso del qué aprende. Se trata de que des-
cubra por sí mismo nuevas formas de elaborar conocimientos didácticos pedagógicos y contrastar sus conjeturas con la
realidad de la escuela Telesecundaria.

Socialmente no se identifican los saberes profesionales del docente como importantes para la gestión del aprendizaje,
se focalizan más los aspectos conductuales de los alumnos en el entrenamiento de la práctica docente.

En las diversas observaciones de la práctica docente de los estudiantes normalistas en la escuela Telesecundaria los
tutores a cargo (docentes titulares de grupo), orientan más hacia aspectos conductuales o de gestión de ambiente de clase,
esta categoría considera las formas en que el profesor ejerce la toma de decisiones sobre el rapport, y manejo del grupo
como un coadyuvante en el proceso enseñanza-aprendizaje. Los aspectos conductuales y control de grupo como las prin-
cipales preocupaciones del normalista en su práctica docente. Aquí se identifica una fuerte necesidad de los profesores
titulares por mantener orden, esta noción de control es transferida al estudiante normalista. Estas acciones docentes de
gestión de clases corren transversalmente durante toda la sesión de trabajo áulico, para ellos es de vital importancia,
inclusive más que el aprendizaje que pudiera derivarse de las actividades. Más que enseñar contenidos como sistemas
cerrados es trasmitir formas de razonamiento para el momento histórico en que se vive (Zemelman, 2006).

La EN no contempla de manera intencionada un desarrollo de competencias personales durante la formación inicial,

presupone que la formación curricular dará consistencia y cambio en los aspectos actitudinales y valorales de los
futuros docentes.

No existe una puesta en marcha de habilidades personales alentadas desde la formación de manera intencionada y
deliberada, pareciese que el entramado curricular provee desarrollos personales (valores, actitudes, formas de comuni-
cación) de facto, la realidad es que estas habilidades interpersonales de los normalistas se sitúan en diferentes desarro-
llos, en la práctica docente la comunicación con el alumno depende de la personalidad y motivación del alumno, el empuje
de valores y actitudes positivos en la práctica docente favorecen sustancialmente el aprendizaje. Se observa la necesidad
de una plataforma formativa de cualidades personales en el futuro docente para el logro del aprendizaje del alumno en la
escuela telesecundaria. Habría que mencionar que en algunos estudiantes confluyen estos desarrollos personales gene-
rados en sus ámbitos socioculturales; quedando por desarrollar en la Escuela Normal habilidades profesionales docentes.
El acto del aprendizaje se gesta desde la construcción de los significados de manera individual, nadie puede ser ense-
ñado si no existe predisposición para querer aprender, no siempre que se enseña se aprende, y no siempre que se aprende
se ha enseñado, se funda en una relación de aceptación del otro como legítimo de convivencia, constituye una relación
de respeto con el otro (Maturana, 1997). Por consiguiente el proceso enseñanza-aprendizaje conlleva una plataforma de
relación interpersonal entre docente y alumno, es un acto cara a cara, que permite crear el principio de confianza para
aprender, partir de ahí el docente requiere la caja de herramientas profesionales y personales. Una y otra se demandan
para el ejercicio docente, la empatía, la confianza, no serían nada, sin él saber profesional, tampoco bastaría con un buen
repertorio didáctico-pedagógico sin un soporte actitudinal que favorezca mejores relaciones interpersonales en el aula,
lamentablemente la EN no contempla un desarrollo profesional para mejorar habilidades en las relaciones interpersona-
les o en actitudes y valores, dando por hecho que estás irán mejorando con la práctica docente. Pareciera que ambos desa-
rrollos, los personales y profesionales están separados por una inherente necesidad de focalizar solo en el conocimiento
práctico, dejando de lado aspectos importantes en la formación del futuro docente (Carr, 1996).

6
 No todos tienen cualidades para la profesión docente, no se establece perfil de ingreso que permita detectar actitudes
y desarrollos de la personalidad óptimos para la docencia, si bien, es posible construir la vocación durante el trayecto
formativo, esta no sería posible cuando no se cuenta con ciertas actitudes y desarrollos de la personalidad.

La importancia de la detección de una verdadera disposición para la profesión docente, no solamente a nivel conoci-
mientos, es necesario identificar en el perfil de ingreso rasgos de la personalidad que coadyuven en el proceso enseñan-
za-aprendizaje en la práctica educativa.

REFERENCIAS

Aebli, Hans (2001) 12 formas básicas de enseñanza. Una didáctica basada en la Psicología. Narcea. S.A. Ediciones. Madrid.
Bazdresch, Miguel (2000) Vivir la educación, transformar la práctica, Jalisco: Textos Educar 1 SEJ, pp. 141.
Carr, Wilfred. (1996).Una teoría para la educación. Hacia una investigación educativa crítica. Madrid: Morata.
Day, C. (2005). Formar docentes. Madrid: Narcea.
Delval, Juan. (1990) Los fines de la educación. Madrid/México: Siglo XXI.
Cicourel´s Aaron (1974) El método y la medida en Sociología.Scrib.
Díaz Barriga, F. (2006). Enseñanza situada, vínculo entre la escuela y la vida. McGraw-Hill.
ENSOG (2014). Programa de Fortalecimiento de la Escuela Normal (ProFEN) 2014 y 2015.
Martínez (2001), El contrato moral del profesorado. Biblioteca para la actualización del maestro. SEP.
Maturana, H. (1997). Emociones y lenguaje en educación y política. Santiago: CED (Centro de Estudios de Desarrollo).
Sacristán, J. G. (1998). El Curriculum: Una Reflexión Sobre La Práctica. Madrid: Morata.
SEP (2001). Licenciatura en Educación Secundaria. Campo de formación específica. Especialidad Telesecundaria.
SEP (2000). Licenciatura en Educación Secundaria. Plan de Estudios 1999. México.
SEP (2011). Plan de Estudios 2011. Educación Básica. México: SEP.
Zemelman, H. (2006). La labor del maestro: formar y formarse. México DF: Pax México.

7
Estudio de caso: La calidad educativa
desde ISO 9001-2000 en Zacatecas
13 de marzo de 2015
 Estudio de caso: La calidad educativa
desde ISO 9001-2000 en Zacatecas

Adolfo Castruita Monreal

Licenciatura en Educación, Maestría en Docencia Superior y Procesos Institucionales
y Doctorado en Ciencias Políticas (Educativas y Sociales)
Seduzac (Secretaria de Educación de Zacatecas), México.
acastruitam@prodigy.net.mx

PALABRAS CLAVE: Certificación a la calidad educativa

EJE TEMÁTICO: 4. Uso e impacto de los resultados de evaluación a docentes y directivos.
Subeje: mejoramiento de las prácticas pedagógicas y de la gestión escolar.

Resumen
La certificación que propone ISO IWA2-2003/NMX-CC-023-IMNC:2004, sistemas de gestión de la calidad: directri-
ces para la aplicación de la Norma ISO 9001-2000 en educación, pretende facilitar la incorporación de los procesos
educativos más comunes a un proceso de mejora continua por medio del análisis de las necesidades, deficiencias
y fortalezas de la institución para optimizar los resultados del trabajo docente.
Al considerar que los planes y programas de estudio por sí mismos no garantizan que los alumnos adquieran
los conocimientos y desarrollen las habilidades, destrezas y herramientas necesarias para ser competentes en la
sociedad actual, la institución educativa debe evaluar constantemente la pertinencia y eficacia del servicio que
proporciona a la sociedad, lo cual conlleva el análisis de elementos que son cruciales para la mejora continua,
la transparencia y la rendición de cuentas.
Sistematizar el trabajo escolar requiere analizar las perspectivas socioculturales para delimitar los ámbitos de
acción, las situaciones particulares según su complejidad y considerar el grado de preocupación por mejorar la
calidad del servicio ofertado.
Una propuesta para mejorar la calidad educativa requiere utilizar herramientas de evaluación para profesio-
nalizar la enseñanza y justificar las implicaciones teórico-metodológicas del aprendizaje que tienen mayor exigen-
cia para que se realice un trabajo confiable y de calidad.
La directriz institucional, propuesta desde la política educativa, se encuentra reglamentada por parámetros,
trayectorias y disposiciones generales centradas en intereses y demandas del momento histórico-social que corres-
ponden a coyunturas sociales y políticas nacionales e internacionales que condicionan los procesos de enseñanza-
aprendizaje reflejadas en el enfoque curricular vigente.

2
 INTRODUCCIÓN

La calidad educativa se ha conceptualizado a partir del análisis de los diversos aspectos del discurso propuesto desde la
política educativa vigente y las expresiones comunes de los actores sociales involucrados en el tema, pero si se piensa que
la formación académica es una parte vital de una educación para la vida entonces se deben considerar las necesidades
sociales y establecer compromisos relacionados con expectativas y requisitos para que los egresados de cada grado y
nivel educativo desarrollen las habilidades y destrezas necesarias para insertarse, de forma exitosa, en cualquier ámbito
de la sociedad donde es requerido.
Como sujetos sociales, docentes, alumnos y padres de familia se encuentran inscritos en diversos y variados espacios
estructurados y dinámicos que responden a los estímulos del medio para adaptarse y modifican sus conductas para
construir aspiraciones e imaginarios colectivos donde se incluyen gustos, necesidades y prácticas. La configuración de
las estructuras de redes ideológicas, aceptadas o rechazadas, se articula por medio de leyes y normas que conforman los
valores colectivos compartidos por los individuos que alimentan, de forma incuestionable, el sentido social de la vida.
Sin embargo, dentro de la estructura del campo educativo se configura una sociedad idealizada que se transparenta
por medio de la evaluación aplicada a las instituciones educativas, mismas que se encuentran inmersas en contextos
socioculturales desiguales y contradictorios que median los procesos de especialización y expansión del conocimiento
social particular que se hace palpable al reconocer las necesidades y exigencias a la escuela pública.
Al revisar y analizar los elementos que se rescatan de la política educativa de la Certificación ISO 9001-2000 en el
Estado de Zacatecas que propone cambios significativos en la visión de escuela que se tiene y que se quiere para la so-
ciedad ya que, puede ser que la metodología didáctica, los materiales de estudio, la práctica docente, el equipamiento y
mantenimiento escolar de estas instituciones, sean parte del modelo educativo con el cual se pretende mejorar la calidad
de los aprendizajes que permitirán a los alumnos dar significado a la realidad actual.
Desde los supuestos empíricos, muchas instituciones educativas mencionan que cuentan con mayor o mejor calidad
educativa que otras del mismo nivel y que ofrecen un mejor servicio porque cuentan con instalaciones “ideales” para
un mejor aprendizaje, un personal altamente calificado para la tarea educativa y materiales o programas que cumplen
con las más altas exigencias del momento.
Pero, ¿quién se encarga de “verificar”, “certificar” o “dar fe” de una realidad institucional y de las características de un
servicio del que hacen uso los grupos sociales de una localidad determinada?; decir que se cuenta con calidad implica la
necesidad de revisar las características de los procesos que se aplican en cada institución y que puedan servir de ejemplo
para otros colectivos escolares.

EL MODELO EDUCATIVO DESDE LA CERTIFICACIÓN ISO 9001-2000,

LA EXPERIENCIA ZACATECAS

La educación y la cultura de un pueblo van de la mano y se influyen mutuamente, a tal grado que el ideal social se traduce
en la política educativa que condiciona el trabajo académico en las instituciones escolares (textos, materiales de estudio
y relaciones teórico-prácticas y elementos de evaluación) al proponer procesos de transición para mejorar ciertas “defi-
ciencias” socioculturales del alumno por medio de la práctica pedagógica del docente.
La búsqueda y aplicación de soluciones a problemas educativos por medio de modelos alternativos que han funcio-
nado en momentos, contextos y situaciones particulares, han resultado eficaces para elevar la calidad en algunas insti-
tuciones escolares al reconocer necesidades y fortalezas específicas que marcar la pauta para impulsar el desarrollo de
habilidades y la adquisición de conocimientos de algunos contextos en la sociedad.
El interés de los padres por buscar la mejor opción educativa tiene fundamento en las crisis sociales, educativas
y laborales que se viven en el ámbito local por la transformación del mundo moderno; los planteles escolares se ven em-
plazados a proponer opciones educativas y optimizar el servicio escolar porque los resultados no son los esperados y la
institución no ha respondido a las necesidades y exigencias sociales.

3
 En los retos actuales de formación básica se requiere proyectar objetivos que, como explica Arnaut1(1), es necesario
orientar hacia la gestión de la calidad, la pertinencia y la equidad porque se considera que la formación y desarrollo de
las habilidades y aptitudes básicas permiten el acceso a los siguientes niveles de educación formal y a la necesidad
de aprender a aprender.
En el marco de la Reforma Educativa, se pretende consolidar un modelo educativo sustentado en la equidad, en el
acceso y cobertura, en la pertinencia de los estudios, la eficiencia en el uso de los recursos y en el impulso a la competiti-
vidad desde la educación por medio de la construcción de un paradigma de la calidad2(2) donde se pretende que un punto
fundamental sea establecer un conjunto básico de normas y criterios que permitan garantizar que los Reconocimientos
de Validez Oficial de Estudios (certificados) den la certeza de que los individuos ostentan los conocimientos y habilidades
necesarios para que, efectivamente, la educación sea una opción que ayude a mejorar la calidad de vida de las personas.
Considerando como punto de partida lo anteriormente expuesto, los objetivos del estudio se orientan a comprender
las características de los referentes de interpretación situacional de la escuela frente a los retos científicos y tecnológicos
del mundo actual, visualizar las propuestas de mejora continua del proceso enseñanza-aprendizaje que se plantea la cer-
tificación ISO, el manejo del enfoque de los contenidos curriculares que elaboran los docentes para la promoción de un
mejor planteamiento educativo dentro del aula y la cultura que se fomenta entre los alumnos, futuros padres de familia
y profesionistas de nuestro país.
Se considera que la investigación resulta útil para la realizar un análisis general de la propuesta de Escuela de Calidad
con las características propias del Estado, permitiendo visualizar el modelo educativo que se propone desde la práctica
cotidiana y la concepción de una propuesta educativa desde la gestión de la calidad por medio de la mejora continua que
se imparte en las escuelas, en este caso, las zacatecanas.

ISO IWA2-2003/NMX-CC-023-IMNC:2004
APLICADO EN EL ESTADO DE ZACATECAS

Para la realización del presente trabajo de investigación se realiza un análisis de los elementos que se rescatan de la po-
lítica educativa de implementar normas y lineamientos propios de la certificación ISO 9001-2000 en la educación básica
que se imparte en el Estado de Zacatecas como parte del proyecto para mejorar la calidad educativa al implementar una
secuencia de criterios para la formación del estudiante desde los aspectos curricular, docente, organización escolar y
métodos pedagógicos entre otros más para lograr una interrelación académica entre los niveles educativos.
Como parte de los antecedentes, en el caso de Zacatecas es por medio del Programa Escuelas de Calidad y del Consejo
Estatal de Participación Social en la Educación quienes colaboran en cada una de las etapas de gestión escolar, desde la
capacitación, dictaminación, selección y seguimiento a cada uno de los Planes Estratégicos escolares como parte de la
investigación general para elevar la calidad de la educación en el Estado.
La norma internacional ISO 9001:2000 certifica la educación por medio de la implementación de un Sistema de Ges-
tión de Calidad para reorganizar la tarea educativa desde las instancias gestoras y ordenar los procesos educativos, lo que
permite constatar la pertinencia del servicio que ofrece la institución; por este motivo se toma en cuenta como alternativa
para elevar la calidad educativa de las escuelas zacatecanas. Para este proyecto el Consejo decide que dos instituciones de
educación básica, participantes en el Programa, son idóneas para la certificación ISO 9001:2000, tal es el caso de la Pri-
maria “Salvador Varela Reséndiz” de la ciudad de Zacatecas, Zac. y de la Secundaria General no. 2, “Gral. Lázaro Cárdenas
del Río” del municipio de Fresnillo, Zac.
Después de poco más de un año y tres meses de trabajo conjunto de docentes, personal administrativo y de apoyo,
alumnos y padres de familia, las dos escuelas se certificaron, este proceso fue avalado por la empresa certificadora IQ-
Net, IQNet o IQnet, nombre en inglés que significa Red Internacional de Certificación, subsidiaria de SAI Global Limited.

1
Arnaut, Alberto (2005), “La Gestión del Sistema Educativo Federalizado (1992-2005)”, en Educare nueva época, Revista para los maestros de México,
Ediciones SEP, Año 1, núm. 2, Agosto, Pág. 8.
2
Puntos de la Agenda Educativa que Presentó la Secretaria de Educación, Lic. Josefina Vázquez Mota, ante La Conferencia Nacional de Gobernadores
(Conago) sobre el Programa Sectorial Educativo 2007-2012 el 15 de julio de 2007.

4
 Para la certificación se considera la aplicación de la norma ISO/IWA 2:2003, establecida a partir del Taller de acuerdos
internacionales (IWA por sus siglas en inglés,) y en la Educación Mexicana es el principio para aplicar la certificación ISO
en la escuela porque analiza desde los diferentes ángulos de la calidad de la educación que propone el Estado, así como
el sistema de gestión que la asegura.
La utilidad teórica y práctica que propone la estructura básica de la documentación del Sistema de Gestión de Calidad
planteada por la Norma ISO para directores y maestros del Sistema Educativo Nacional, tiene como meta lograr una edu-
cación eficiente, eficaz y pertinente que responda a las necesidades de las generaciones de jóvenes mexicanos.3
Desde el análisis de la referencia del Sistema de Gestión de la Calidad, los colectivos escolares asumen el compromiso
de tomar las decisiones con base en las directrices indicadas como obligatorias:

»» El analizar las necesidades de enseñanza de cada grado y grupo, así mismo como de las necesidades educativas de
los alumnos.
»» Diseñar procesos educativos específicos según necesidades y fortalezas detectadas durante las actividades docentes.
»» Desarrollar procesos educativos y dar seguimiento para verificar su pertinencia.
»» Implementar acciones para el intercambio de ideas que permitan solucionar problemáticas comunes.
»» Evaluar la enseñanza conforme al manual de procedimientos, especificando el proceso de elaboración, aplicación,
valoración y la acreditación.

Sin embargo no se debe olvidar que desde la realidad específica, un modelo de calidad no consiste sólo en hechos con-
cretos y cosas físicas sino que “incluye la forma como las personas implicadas en estos hechos las perciben”;4 la calidad
como referente de un trabajo bien hecho implica que cada participante en el proceso educativo cumpla con las metas y
expectativas que se esperan de él y, por lo tanto, debe conocer lo mejor posible las obligaciones, derechos e implicaciones
de la labor que le corresponde tanto a uno como a los otros.

DISEÑO DEL TRABAJO DE INVESTIGACIÓN

El estudio se lleva a cabo por medio de un diseño descriptivo5 con el que se pretende establecer el tipo de relación existen-
te entre los elementos propuestos por la Certificación ISO 9001-2000 y los que se presentan en los planteles certificados.
Se toma como orientación el análisis centrado en el mejoramiento de la calidad educativa.
En el esquema para la recolección de datos se determina aplicar a las autoridades educativas entrevistas organiza-
das por medio de temas relacionados con las necesidades, requisitos y mejora continua propuestos por la norma ISO;
la encuesta a padres de familia, docentes y alumnos, estudios de seguimiento de la documentación requerida para la
certificación en los diversos momentos y una observación de campo. Se pretende que la información sea evidencia de los
fenómenos que han ocurrido con la certificación a las instituciones de educación básica.
Según las características propias del proyecto, la aplicación de cada instrumento se realiza en una sola ocasión y se
procede a la inmediata descripción y análisis la información con el objetivo de evitar que con el tiempo se modifique
algún aspecto y se dificulte su comprensión.
La recolección de datos se realizó en un máximo de tres a cuatro meses, tomando como antecedentes la orientación
que ofrecen las investigaciones y análisis realizados por Vicente Oria Razo y Laura Elena Yzaguirre Peralta con respecto a
la Calidad Educativa e ISO 9001-2000, así como el trabajo empírico-descriptivo realizado por el Prof. José Santos Valdés
con respecto a las características de un trabajo educativo de calidad dentro de las escuelas de educación básica.
Se debe reconocer que es fundamental obtener la información de una manera global porque al indagar en una multitud de
personas involucradas en el acto educativo, requiere utilizar un proceso cuantitativo que dé cabida a la recuperación de toda la

3
Yzaguirre Peralta, Laura Elena (2004), “Calidad Educativa e ISO 9001:2000 en México”, en ISO 9000 en la educación: Guía para la Administración
Escolar, Fundap, Universidad Autónoma del Noreste y Secretaría de Educación Pública, Gobierno del Estado de Coahuila. Pág. 3.
4
Mead, Margaret (1995), El currículum integrado, Caracas, Universidad de Venezuela, Pág. 69.
5
Se conoce también como diseño observacional y es frecuente que la hipótesis principal sea empírica porque aun se encuentra en proceso de
planteamiento o definición y los hallazgos permitirán su conveniente formulación.
5
 información que se pueda obtener; para ello, después de la aplicación de los cuestionarios a tres de los actores de la vida escolar
que son alumnos, Maestros y Padres de Familia, se recopila la información mediante un análisis no paramétrico trabajando con
frecuencias y porciones como análisis de la información; en este caso, se aplica un análisis de correlación de variables.
Para trabajar la documentación (manuales, informes y registros) que presentan las escuelas, se realiza un análisis de
texto y en las entrevistas se procede de la misma forma; se aplica el examen del discurso a una entrevista estructurada
que previamente se diseñó y probó con algunos sujetos que podrían dar respuestas similares.
Con esto se espera dar respuesta a las posibles interrogantes iniciales que se han planteado como objetivos del pre-
sente trabajo de investigación para lo cual fue necesario establecer las rutas que permitieran llegar a obtener la informa-
ción con un grado de certeza y confiabilidad. Para ello se toman en cuenta los métodos cualitativos y cuantitativos que
permitan dar con los resultados deseados desde los estudios de nuestra disciplina.

COMO FORMA DE CONCLUSIÓN

Un aspecto importante a considerar en el estudio corresponde a la Certificación ISO 9001-2000 a la Calidad Educativa en
Zacatecas como política que se aplica en instituciones de educación media y superior, pero se comienza a proyectar a la
educación básica como una forma de mejorar la gestión de la calidad educativa gracias a que se orienta a detectar áreas
de oportunidad y posibles deficiencias institucionales que son factibles de atenderse y solucionarse oportunamente, lo
que ayuda a elevar los índices de eficiencia terminal e incrementar el tránsito de alumnos de un nivel a otro en mejores
condiciones académicas y socioculturales.
En un primer momento, se piensa que en algunos casos donde se otorga la certificación ISO 9001-2000 a la calidad
educativa, sólo responde a intereses políticos de algún momento socio histórico de la entidad y que la calidad, en cuanto a
preparación del personal docente, pertinencia de los contenidos y materiales, la eficiencia inicial y terminal de los alum-
nos, y el contexto conveniente para estimular el proceso enseñanza aprendizaje, han quedado de lado.
En el análisis preliminar de la documentación, las instituciones puntualizan algunos problemas que se atienden con la cer-
tificación: articulación entre grados, eficiencia en la cobertura y equidad, evaluación constante de la calidad del servicio como
resultado de factores como recursos didácticos, evaluación constante y generación de una cultura de rendición de cuentas.
Al revisar el ideal sociocultural que reflejan las políticas educativas en el trabajo académico que realizan las institucio-
nes escolares certificadas con la norma ISO 9001-2000, se proponen desde las particularidades institucionales, procesos
de transición entre las acciones aplicadas para mejorar el desempeño académico y las prácticas de gestión propias de cada
docente para generar que todos sus alumnos se apropien de los lineamientos básicos del conocimiento y desarrollen las
habilidades necesarias para interactuar de forma efectiva en cualquier situación social; desde la norma ISO/IWA 2:2003
las instituciones definen sus proyectos y metas de mejora continua con base en un análisis sobre las deficiencias y fortale-
zas de su sistema, consensando en consejo técnico escolar los lineamientos que guiarán sus procesos de mejora continua.
Cabe hacer mención que estas instituciones establecen un compromiso social y capacitan al personal para que orien-
ten su trabajo académico por medio de procesos educativos de calidad donde la asignación de los grupos, en el caso de
la escuela primaria, se realiza con base en la preparación y capacitación del docente. En el caso de la secundaria, cada
docente lleva una actualización pedagógica y didáctica por medio de talleres de adiestramiento según la asignatura que
atienden; en ambas instituciones, la mayor parte del personal docente cuenta con estudios de posgrado.
En ambas instituciones se lleva un registro de los diversos procesos educativos que se encuentran certificados,
de los que se exige por parte de las auditorias, descripción y evidencia; en este rubro, la rendición de cuentas es una
las principales características del proceso educativo que se lleva a cabo. La visión de las expectativas personales y
profesionales que tienen los docentes al trabajar con la certificación se considera que, por la organización escolar que
se propone, la carga administrativa es un poco mayor que en otras instituciones similares, y los apoyos que reciben o
esperan para realizar mejor su trabajo muchas veces no son los esperados.
Sin embargo en los docentes que laboran en estos centros educativos se han observado dos posiciones frente a la
organización del modelo educativo que se propone desde la certificación, la mayoría se compromete con el trabajo educa-
tivo y propone mejoras continuas a su asignatura o grupo. Estos docentes asisten a los talleres y cursos que se programan
desde el inicio del ciclo escolar y aplican los procesos según lo marca el manual.
6
 El segundo grupo de docentes, considera que solo se trata de más trabajo administrativo, que el medio sociocultural
de los alumnos influye demasiado y que con la exigencia constante se está perdiendo le enfoque humanista de la edu-
cación y, que simplemente no cambia en nada la situación de los alumnos y por lo tanto, el modelo que se propone no
va a mejorar la educación. Sin embargo se observa que también este grupo de docentes hacen su mejor esfuerzo para la
educación de sus alumnos y participan, de buen modo o protestando, pero hacen su trabajo bastante bien.
En la labor educativa de cada docente se determina el compromiso por la mejora académica de cada uno de los alum-
nos, considerando que se debe conocer los perfiles de egreso que se pretende lograr en cada uno y reconocen las situa-
ciones problemáticas comunes que se presentan cotidianamente y se planifican las acciones para su corrección y supe-
ración; para determinar la exigencia académica reconocen las necesidades educativas de cada alumno para proporcionar
las condiciones para que desarrollen las capacidades y herramientas intelectuales necesarias para seguir aprendiendo.
Sin embargo, desde el análisis resultante de la triangulación de la información de los instrumentos aplicados, a este
modelo de calidad le falta definir objetivos y metas como parámetros para verificar cuantitativamente el grado de avan-
ce de los procesos y contar con una metodología de análisis apoyada en evidencias objetivas sobre el cumplimiento de
principios, políticas de calidad y, sobre todo, de resultados alcanzados, ya que desde las ultimas evaluaciones nacionales
(ENLACE) se visualiza que hace falta más trabajo académico para mejorar el desempeño de los alumnos, demostrar que
se tiene calidad educativa.
Para concluir, es menester considerar que algunos de los elementos que se rescatan de la certificación ISO 9001-2000
pueden enriquecer el trabajo en las escuelas de educación básica, considerando que la evidencia de las actividades coti-
dianas y la rendición de cuentas llevan a realizar un trabajo de calidad, ya sea por la misma fiscalización o por el conven-
cimiento de la responsabilidad social que tiene el docente con el futuro de nuestra sociedad.

BIBLIOGRAFÍA (solo la principal)

ARAGÓN Romero, Fernanda (2006), “Gestión escolar: factor clave en la calidad educativa” en ENLACE, Órgano de Co-
municación de la Secretaría de Educación y Cultura num. 86, marzo, Gobierno de Sonora, México.
ARNAUT, Alberto (2005), “La Gestión del Sistema Educativo Federalizado (1992-2005)” en: Educare nueva época, Revista
para los maestros de México, Ediciones SEP, Año 1, número 2, Agosto, México.
FERNÁNDEZ Aguerre, Tabaré (2003), Perfiles de las Escuelas Primarias Eficaces de México Informe Final de Investigación
2001, Ediciones INEE, México.
GOBIERNO DEL ESTADO DE ZACATECAS (2005), Plan Estatal de Desarrollo 2005-2010, apartado 6.3.1. Educación y Cul-
tura, orientación y lineamientos de la política educativa, Zac. México.
ISO/IWA-2 (2002) “Directrices para la aplicación de la norma ISO 9001-2000 en educación” en Procesos, sistema de gestión
de calidad: requisitos generales en Organización Educativa, Secretaria de Economía, Gobierno Federal, México.
__________ (2003), “La evaluación continua de la pertinencia del plan de estudio y de los procesos educativos”, en La Norma
ISO 9001-2000 en la educación, Generalidades, IWA2-2003 SEP/Cotennsiscal/Pmetyc, México.
ORIA Razo, Vicente (2003), “La calidad de la educación”, en ISO 9001:2000 en la educación mexicana, Ediciones virtuales
SEP, México.
_________ (2003), “Los ocho principios básicos para la aplicación de ISO/IWA2:2003, directrices para aplicar la norma ISO
9001-2000 en la educación”, en ISO 900-2000 en la educación mexicana, Ediciones virtuales SEP, México.
SCHMELKES, Sylvia (1992), Hacia una mejor calidad de nuestra escuela. Publicaciones SEP, México.
_________ (2005), “La desigualad en la calidad de la educación”, en Revista Interamericana de estudios educativos, 3er.
trimestre, año/vol. XXXV, núms.3, Centro de Estudios Educativos de la UACM, México.
Yzaguirre Peralta, Laura Elena (2004), “Calidad Educativa e ISO 9001:2000 en México”, en ISO 9000 en la educación:
Guía para la Administración Escolar, Fundap, Universidad Autónoma del Noreste y Secretaría de Educación Pública,
Gobierno del Estado de Coahuila.

7
¿Cómo mejorar la calidad de la educación
inicial de los niños vulnerables de Chile?
Evidencia del programa Un Buen Comienzo
13 de marzo de 2015
 ¿Cómo mejorar la calidad de la educación
inicial de los niños vulnerables de Chile?
Evidencia del programa Un Buen Comienzo
Marcela Marzolo
Perla Paola Chávez Spuler
Fundación Educacional Oportunidad, Chile
Felipe Godoy
María Francisca Romo
Ernesto Reviño
CPCEU, Universidad Diego Portales, Chile

EJE TEMÁTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

INTRODUCCIÓN

Un Buen Comienzo (UBC) es un programa de desarrollo profesional docente para educadores y técnicos en párvulo que
busca contribuir a disminuir el impacto de las diferencias socioculturales en la educación inicial de niños y niñas que
viven en situación de vulnerabilidad social en Chile, a través de un trabajo integrado en cuatro ámbitos: desarrollo del
lenguaje y socioemocional, salud y trabajo con familia.
UBC comenzó a implementarse en 2008 como un programa de intervención cuyo impacto fue evaluado a partir de un
diseño experimental, aleatorizado y controlado. En este sentido, la recomendación siempre fue evitar salirse del esquema
diseñado inicialmente para no sesgar las estimaciones de resultados. La implementación fue realizada durante dos años
en seis comunas de la Región Metropolitana, y alcanzó a alrededor de 2000 niños de prekinder y kínder. Dicha experien-
cia finalizó en 2011, encontrándose un impacto moderado y decreciente con el tiempo en la calidad de las interacciones
pedagógicas, y ausencia de impacto significativo en los aprendizajes de los niños. A continuación, en los siguientes gráfi-
cos, se muestran el impacto en interacciones pedagógicas (Gráfico 1), el impacto en el desarrollo del lenguaje (Gráfico 2)
y en desarrollo socioemocional (Gráfico 3), luego de dos años de intervención.

Gráfico 1  Impacto en Interacciones, luego de 2 años de intervención.

2
 Gráfico 2  Impacto en desarrollo del lenguaje, luego de 2 años

Gráfico 3  Impacto en desarrollo socioemocional, luego de 2 años de intervención

Con el tiempo y lo aprendido de la primera versión, el modelo se ha ido ajustando, principalmente con la inten-
ción de dar sustentabilidad y escalabilidad a la intervención. Con este propósito, se diseñó e implementó una segunda
versión del programa, adoptando la metodología de mejoramiento continuo y potenciando el trabajo con los equipos
directivos. El modelo de mejoramiento continuo se implementó por primera vez el año 2011 en la Sexta Región de Chile,
en las comunas de Rancagua, Codegua y Chimbarongo. El siguiente trabajo describe el diseño y los resultados de esta
versión del programa.

EL MODELO DE MEJORA CONTINUA

La Mejora Continua en UBC tiene dos pilares principales: la colaboración entre distintos actores, y el proceso de mejora-
miento cíclico en base a la recolección y trabajo con evidencia empírica. El primer pilar se basa en la propuesta del Insti-

3
 tute for Healthcare Improvement (IHI), y el segundo, en el modelo Datawise, desarrollado por la Facultad de Posgrado de
Educación de la Universidad de Harvard. A continuación se describe con algo de profundidad cada pilar.

El modelo de IHI

El modelo colaborativo de IHI contiene dos componentes clave. En primer lugar, se definen instancias colaborativas,
entendidas como una estructura de aprendizaje en la que participan diversas entidades que comparten sus experiencias
y aprendizajes para lograr objetivos comunes. En el caso de Un Buen Comienzo, se convocó al trabajo colaborativo a las
escuelas participantes del proyecto, autoridades del nivel local y central, y expertos en las temáticas.
Esta instancia contempla un primer momento, en donde los expertos definen los temas centrales de trabajo (en este
caso, los cuatro ejes centrales del programa), luego se define la carta de navegación o “Charter”, en la que se define los
objetivos del programa, y los conductores tanto primarios como secundarios que orientan las acciones del proyecto que
permitirán alcanzar esos objetivos. Esta declaración guía resume lo que se espera realizar con la iniciativa de mejora-
miento, y responde a las tres preguntas básicas del modelo: ¿Qué intentamos realizar?; ¿Cómo sabremos que un cambio
es una mejora? , ¿Qué cambios nos llevarán hacia el mejoramiento?
El tercer momento del modelo de colaboración está compuesto por una serie de sesiones de aprendizaje con perío-
dos de acción entre cada una. En ellas, participan los equipos que lideran el proceso de mejora en cada escuela quienes,
a través de presentaciones plenarias, pequeñas discusiones de grupo y reuniones de equipo, tienen la oportunidad de:
dar a conocer la carta de navegación (primera sesión); conocer los resultados de las pruebas en terreno; recopilar nueva
información sobre el tema y la mejora de procesos de los colegas y expertos; compartir información con otras escuelas;
desarrollar planes de mejora detallados para su organización.
Los períodos de acción entre sesiones de aprendizaje son parte fundamental del programa. Durante éstos, los equipos
trabajan en sus respectivas salas de clase, realizando pruebas de cambio y recogiendo datos para evaluar si ha habido
mejora. De acá se desprende el segundo componente clave del modelo IHI: las pruebas de cambio y el ciclo de mejora
PHEA (Planificar-Hacer-Estudiar- Actuar).
Para desarrollar su trabajo, los equipos utilizan el ciclo de mejora PHEA (Planificar-Hacer-Estudiar- Actuar) desarro-
llado por Associates in Process Improvement (Langley et al. 2009). Este ciclo se caracteriza por trabajar con objetivos
específicos, medibles a través del tiempo y por definir cambios claros que resultarán en la mejora esperada. Por último,
estos deben ser evaluados a través de una serie de pruebas de cambio, que permiten a los equipos aprender a aplicar una
idea de cambio en sus propias salas (IHI 2003, Langley et al. 2009).
Estas pruebas de cambio se llevan a cabo de manera cíclica: en primer lugar, los equipos planifican la prueba de
cambio. Luego, al probarla, toman en cuenta las características culturales y organizacionales propias. En un segundo
momento, deben monitorear su proceso mediante mediciones a través del tiempo y estudiar los resultados para determi-
nar cómo es posible mejorar. Así, en base a lo aprendido, actúan para implementar los cambios de manera permanente
o para mejorar los cambios que necesitan un mayor trabajo. Este proceso continúa de manera serial a través del tiempo,
refinando los cambios en cada nuevo ciclo.

El Modelo Datawise

Datawise es un modelo que permite organizar el trabajo de mejora educativa, donde la base es la toma de decisiones en
base a evidencia empírica. Consta de tres grandes fases, cada una con sus pasos más específicos y abordables.
En la primera fase, de “preparación”, la comunidad debe prepararse para el trabajo con datos. En la segunda fase, de
“indagación”, comienza el trabajo con la gran variedad de datos con la que cuentan los establecimientos educacionales. Se
destaca la necesidad de utilizar estos datos y analizarlos de manera profunda para detectar y poder enfrentar los posibles
problemas, sin quedarse en el estancamiento de una primera revisión que indica resultados negativos o resultados rela-
tivamente buenos. Una vez que se tienen estos datos, es necesario que los equipos trabajen en entender los mecanismos
subyacentes a éstos, es decir, entender por qué se obtienen estos resultados. Para esto, es necesario el involucramiento

4
 activo de los docentes y equipos directivos, la utilización constante de observaciones de aula, y el análisis de los trabajos
y tareas de los niños. En otras palabras, se trata del análisis conjunto de la comunidad de todos los datos que entreguen
pistas para entender los resultados obtenidos.
La última fase, es la de “Actuar”, en la que se desarrolla un plan de mejora, se planifica cómo se evaluará ese plan,
para luego actuar y volver a evaluar.

METODOLOGÍA

Método

Dada la naturaleza del tipo de intervención de la mejora continua (un formato más adaptable a los contextos, con dosis
menos prescritas y estandarizadas) y la forma de selección de las escuelas (ausencia de aleatorización), es que no fue
posible evaluar el impacto utilizando un diseño experimental, aleatorizado y controlado, como en la primera versión
del programa.
El grupo de comparación se construyó a partir de las salas del grupo de control de la primera versión, todas ubicadas
en la Región Metropolitana, por lo que fue necesario hacer ajustes para que los grupos fueran estadísticamente compara-
bles. Para esto, se utilizó la estimación de ponderadores por probabilidad inversa (inverse probability weighted estima-
tors) (Imbens & Wooldridge, 2008), técnica que pondera cada caso por su probabilidad de participación en el programa1.
Los resultados se calculan utilizando un modelo de regresión por mínimos cuadrados ordinarios, con errores están-
dares robustos (Khandker, Koolwal & Samad, 2010). Esto fue necesario dado que se asume que los resultados de los niños
de una misma sala no son independientes entre sí. Es necesario, por tanto, introducir correcciones en el cálculo de los
errores agrupando los casos por sala.

Muestra y unidad de análisis

En el siguiente cuadro se resume la información de la muestra utilizada para el estudio.

Tabla 1  Resumen de la muestra del estudio

Grupo de intervención Grupo de control

N muestral 361 niños, 27 salas, 26 escuelas 843 niños, 38 salas, 27 escuelas
Cohorte 1: Peñalolén
Rancagua, Chimbarongo, Codegua Cohorte 2: Maipú y Lo Prado
Comunas
(VI REGIÓN) Cohorte 3: Estación Central, Pudahuel y San Ramón.
(REGIÓN METROPOLITANA)

Variables de interés e instrumentos

Para medir los resultados en desarrollo del lenguaje, se utilizó la batería Woodcock- Muñoz (Woodcock, Muñoz, Ruef &
Alvarado, 2005). A su vez, para medir desarrollo socioemocional, se diseñó un cuestionario socioemocional para ser con-
testado por la educadora de cada niño (Yoshikawa et al, 2012).
Los datos de interacciones de aula fueron recogidos a partir del instrumento Class (Pre-K), The Classroom Assess-
ment Scoring System (Pianta, La Paro & Hamre, 2008). Este instrumento consiste en una rúbrica que califica con puntajes

Por razones de espacio, se omitirán de esta propuesta todas las fórmulas, tanto de los ponderadores como del modelo de regresión utilizado,
1

pero serán expuestos el día de la presentación en caso de ser necesario.

5
 de 1 a 7, interacciones pedagógicas entre el educador y los estudiantes a partir de tres grandes dominios: Apoyo Emocio-
nal, Organización de la Sala y Apoyo Pedagógico.
Los datos de variables de contexto fueron recogidos a través de un Cuestionario para padres y apoderados, diseñado
específicamente para la evaluación de impacto de la primera versión de Un Buen Comienzo (Yoshikawa et al., 2012),
y luego adaptado para la versión de Mejora Continua.
Todas las variables se detallan en la Tabla2:

Tabla 2  Variables del modelo final de regresión. Elaboración propia.

Variables de Contexto Variables resultado nivel niño Variables de sala

Previsión de Salud (Dummy set)
Situación laboral de la madre
Madre ha estado en la sala o no
Educ. de la madre (Dummy set)
Vocabulario sobre dibujos (WM) Apoyo emocional CLASS
Id. letras y palabras (WM) Organización de la sala CLASS
Dictado (WM) Apoyo Pedagógico CLASS
Comprensión de textos (WM)
Comportamiento externalizante
Comportamiento pro-social
Atención

RESULTADOS

A continuación se presentan los tres tipos de resultados obtenidos: calidad de interacciones pedagógicas, desarrollo
del lenguaje y desarrollo socioemocional.

Resultados en la calidad de las interacciones de aula.

Luego de dos años de intervención, el programa logra impactos de gran tamaño en los tres dominios de Class, alcanzando
impactos promedio de una desviación estándar. Vale la pena remarcar los importantes avances logrados por el modelo de
mejora continua en términos de interacciones pedagógicas, ya que esto da cuenta de que un modelo menos prescriptivo
y más co-responsable es más efectivo en mejorar las prácticas.

Gráfico 4  Calidad de las interacciones de aula después de dos años de intervención. Elaboración propia.

Significancia estadística: ~ = .10, * = 0.05, ** = 0.01, *** = 0.001

6
 Resultados en el desarrollo de los niños: Lenguaje y Socioemocional

Los resultados expuestos controlan por la línea de base y los puntajes de base de Class de los tres dominios de interés
(Apoyo emocional, Organización del aula y Apoyo Pedagógico). Se observa que el programa tuvo impacto positivo en la
dimensión de Identificación de Letras y Palabras, no así en las otras tres dimensiones evaluadas. Incluso, en Escritura
emergente y Comprensión se encuentra un efecto contrario al esperado, aunque no es estadísticamente significativo.
Los resultados estandarizados muestran que el avance en la dimensión mencionada es de 0,38 desviaciones estándar,
mientras que los otros efectos, no significativos, no alcanzan a superar el 18% de una desviación estándar.
Los resultados muestran que en general el programa fue más efectivo en el desarrollo socioemocional de los niños,
particularmente en las dimensiones de “Comportamiento pro-social” (0,43 desviaciones estándar) y “Atención” (0,28
desviaciones estándar).En el caso de “Atención”, los resultados deben verse con más mesura, ya que al controlar por las
variables de interacciones de aula, el efecto sólo es significativo al 10%.

Gráficos 5 y 6 Resultados en Desarrollo del Lenguaje y desarrollo socioemocional

después de dos años de intervención. Elaboración propia.

Significancia estadística: ~ = .10, * = 0.05, ** = 0.01, *** = 0.001

CONCLUSIONES Y DISCUSIÓN

Los resultados muestran que la versión de Mejora Continua de UBC tuvo grandes impactos en la calidad de la enseñanza
de las educadoras en todos los dominios: emocional, organizacional y pedagógico. Pero esto no necesariamente se tras-
pasó de igual manera a los resultados de aprendizajes de los niños/as.
En el caso del desarrollo socioemocional, se encuentra impacto positivo y significativo en comportamiento prosocial y
atención. Esto quiere decir que al finalizar kinder, los niños participantes del programa tienden a interactuar más de ma-
nera positiva con otros niños/as, cooperar en las actividades y juegos y ayudar al resto de sus compañeros. Así también,
son más capaces de seguir atentamente indicaciones y concentrarse en las actividades de la escuela.
En el caso del desarrollo del lenguaje, los resultados se encuentran en la dirección correcta, pero no son tan buenos
como se esperaba. Solo en identificación de letras y palabras se encuentra un efecto significativo y robusto atribuible al
programa, no así en vocabulario, comprensión de textos y escritura emergente.
Algunas posibles explicaciones para estos resultados son, en primer lugar, metodológicas. En el caso de comprensión
de textos, la prueba utilizada mide comprensión de textos y no comprensión oral, que es en lo que se centra fundamental-
mente el programa, de acuerdo a la edad de los niños/as. También existen explicaciones y sugerencias respecto de la propia
intervención. Por un lado, es necesario aumentar la dosis de la enseñanza de vocabulario, la cual debe ser constante

7
 y en diversos contextos, no solo en la actividad específica de vocabulario. Por otro, es necesario fijar la atención en la re-
lación entre desarrollo del lenguaje y desarrollo socioemocional y cognitivo. Los resultados mostraron avances en el com-
portamiento prosocial y atención, pero no necesariamente en las funciones cognitivas y ejecutivas de base del lenguaje,
como la memoria trabajo, flexibilidad cognitiva, etc. Es posible que este sea el primer paso por donde se deba partir, para
tener efectos en las habilidades de lenguaje más complejas, como la comprensión.
Ahora bien, ¿Qué aprendemos sobre los modelos de desarrollo profesional docente a partir de estos resultados?
En primer lugar, es necesario considerar los bajos niveles de apoyo pedagógico con que parten las educadoras de párvu-
lo. Si bien los resultados mostraron un avance significativo del grupo UBC en comparación al grupo de control, ambos se
encuentran en niveles bajos de calidad, lo que puede explicar que los resultados de los niños/as no sean los esperados.
Este es uno de los desafíos más importantes para los programas de desarrollo profesional docente y que deben ser con-
siderados a la hora del diseño e implementación de políticas en este ámbito.
En segundo lugar, si bien ambos modelos mostraron algún resultado positivo, el modelo de Mejora Continua fue
considerablemente más efectivo que la primera versión. Una propuesta como esta, donde las educadoras se responsabili-
zan de elegir estrategias y probar cambios dentro de un marco estructurado como lo es la toma de decisiones basada en
evidencia, es mucho más atractiva y motivante para el cuerpo docente. En otras palabras, la apuesta por un programa que
genera capacidades en sus docentes, más que instaurar propuestas “a prueba” de ellos, puede llevar a mejores resultados.
Por todo esto, al momento de elegir modelos de mejoramiento profesional docente, es necesario preguntarse qué tipo
de sistema escolar queremos como sociedad, uno que dé resultados en el corto plazo, pero con la constante amenaza de
su poca sustentabilidad en el tiempo; o uno con resultados sustentables, que requiere más trabajo para su instauración,
pero que permite formar profesionales que son capaces de tomar sus propias decisiones pedagógicas, a los cuales la
sociedad puede confiar a sus estudiantes.

REFERENCIAS

Imbens, G. M., & Wooldridge, J. M. (2008). Recent developments in the econometrics of program evaluation (No. w14251).
National Bureau of Economic Research.
Khandker, S. R., Koolwal, G. B., & Samad, H. A. (2010). Handbook on impact evaluation: quantitative methods and practices.
World Bank Publications.
Pianta, R. C., La Paro, K. M., & Hamre, B. K. (2008). The Classroom Assessment Manual, pre-K. Baltimore, MD: Brookes
Woodcock, R. W., Muñoz-Sandoval, A. F., Ruef, M., & Alvarado, C. G. (2005). Woodcock Muñoz Language Survey-Revised.
Itasca, IL: Riverside Publishing.
Yoshikawa et al. (2012). Un Buen Comienzo: Post-test Impact report of an Iniciative to Improve the Quality of Preschool
Education in Chile. Harvard Graduate School Of Education and Centro de Políticas Comparadas de Educación,
Internal Draft.

8
Estándares para la evaluación del desempeño
docente. Análisis de tres modelos
14 de marzo de 2015
 Estándares para la evaluación del desempeño
docente. Análisis de tres modelos

Luis Horacio Pedroza Zúñiga

Maestro. Universidad Autónoma de Baja California. México.
horaciopedroza@hotmail.com
Edna Luna Serrano
Doctora. Universidad Autónoma de Baja California. México

PALABRAS CLAVE: Estándares de desempeño docente, evaluación docente, evaluación de la enseñanza.

EJE TEMÁTICO: 1. Modelos y políticas de evaluación de docentes y de directivos escolares.

Resumen
Este trabajo presenta un análisis de tres modelos de estándares de evaluación del desempeño docente. Los mo-
delos estudiados son los emitidos por el National Board for Professional Teaching Standards (NBPTS), Interstate
Teacher Assessment and Support Consortium (InTASC), ambos de los Estados Unidos y los Estándares Profesiona-
les Nacionales para Docentes de Australia.
El análisis parte de una revisión documental y se abordan los propósitos, el contenido y los niveles de desem-
peño de los estándares.
El análisis pone de manifiesto que los modelos revisados tienen propósitos diversos pero comunes, como la
profesionalización de los docentes, la certificación y la retroalimentación de la práctica para promover el aprendi-
zaje profesional. Para ello, los estándares definen niveles desempeño que representan un continuo de desarrollo
por el que los docentes tienen que transitar en su crecimiento profesional. La comparación permite identificar que
el contenido de los estándares es muy similar en los tres modelos.

INTRODUCCIÓN

Analizar lo que otros países han hecho en materia de establecimiento de estándares para la evaluación del desempeño
docente, resulta relevante, dadas las acciones que se han tomado en el sistema educativo mexicano con la promulgación
de la Ley General del Servicio Profesional Docente.
El reto que enfrenta la Secretaría de Educación Pública (SEP) y el Instituto Nacional para la Evaluación de la Educa-
ción (INEE) para la creación y validación de un sistema de estándares en México, es muy grande. A los sistemas o modelos
aquí analizados les ha llevado décadas construir y validar sus estándares y sistemas de evaluación y certificación, aún y
cuando estos sistemas, en un inicio tenían una tarea menor al mexicano, pues se concentraron en evaluar solamente un
segmento de la carrera docente; por ejemplo sólo el ingreso a la docencia o a docentes expertos.
El propósito de esta ponencia es analizar tres modelos de estándares sobre el desempeño docente: National Board
for Professional Teaching Standards (NBPTS), Interstate Teacher Assessment and Support Consortium (InTASC) y los Es-
tándares Profesionales Nacionales para Docentes emitidos por el Australian Institute for Teaching and School Leadership
(AITSL). Se comparan los propósitos de los estándares, el contenido y los niveles de desempeño.
2
 DESARROLLO

Según la Real Academia de la Lengua Española, estándar es: un adjetivo “que sirve como tipo, modelo, norma, patrón o
referencia”. En lengua inglesa es un sustantivo con dos acepciones; como bandera o estandarte, y como especificación con
la cual la calidad requerida de algo puede ser probada (Ingvarson & Kleinhenz, 2006). Todas estas definiciones hacen
referencia a los usos que tiene el término en educación. No obstante, el término no ha estado libre de confusiones, en
distintos países el término se ha utilizado aludiendo a cuestiones como: meta, criterio de juicio, nivel de progreso, nivel
de competencia e incluso como currículum, lo que ha contribuido a generar confusión (OCDE, 2013).
Ingvarson & Kleinhenz (2006) especifica que un estándar para evaluar el desempeño docente tendría que considerar
tres elementos:

a) Definir el objeto a evaluar, o qué se evalúa. Consiste en explicitar los elementos que deben estar presentes en una
buena enseñanza. A esto se denomina estándar de contenido.
b) Definir cómo se evalúa. Implica especificar cómo se obtendrán las evidencias válidas sobre la práctica docente.
c) Identificar el grado de desempeño. Incluye expresar qué tan bien se debe desempeñar el docente, especificar los pun-
tos de corte para cada uno de los niveles de desempeño y ejemplificar su ejecución.

Descripción de los tres modelos de estándares

En este apartado se presenta una breve descripción de los estándares que serán objeto de análisis en el presente documento.

NBPTS
Es una asociación sin fines de lucro, integrada principalmente por docentes. Su misión es promover el aprendizaje de los
alumnos por medio del establecimiento de un sistema de estándares y certificaciones para docentes experimentados.
Los estándares son específicos de acuerdo a la disciplina y el nivel de desarrollo de los alumnos. El sistema de estándares
emite, en total, 25 certificados en 16 áreas de contenidos y cuatro niveles de desarrollo de los alumnos.
Es una certificación de gran prestigio. Inició sus trabajos en 1987, la creación de los estándares estuvo liderada por
Lee Shulman y contaron con la participación de investigadores muy destacados como Cronbach. A la fecha, el NBPTS ha
emitido más de cien mil certificados en 50 estados de EUA (National Board for Professional Teaching [NBPTS, s.f.).

InTASC
Esta evaluación fue también creada en 1987. En un principio desarrollaba estándares para evaluar únicamente a los do-
centes que querían acreditarse en el ingreso a la profesión. Pero en 2011 inició un proceso de reforma, a partir de la cual
dejó de ser una evaluación exclusiva para certificar el ingreso a la docencia, ampliando el rango a todo el ejercicio pro-
fesional docente (Council of Chief State School Officers [CCSSO], 2013). Otro cambio es su alineación a otras propuestas
existentes en los estados de la unión americana, como los elaborados por el NBPTS, así como innovaciones en la descrip-
ción de los estándares para facilitar su uso con fines formativos.

Estándares Profesionales Nacionales para Docentes de Australia

Estos estándares son emitidos en 2011 por el propio ministerio de educación del país. Se tomaron en consideración las
elaboraciones previas de los estados y territorios de ese país. Investigadores educativos analizaron estándares disponi-
bles en otros países y se promovió la participación de los docentes en la elaboración de los mismos (Australian Institute
for Teaching and School Leadership [AITSL], 2012b).
Los estándares están inmersos dentro de un modelo de mejora de la enseñanza, el cual busca involucrar a toda la
comunidad escolar en la creación de una cultura de desempeño y desarrollo. Esta cultura de desempeño y desarrollo está
caracterizada por el claro propósito en la mejora de la enseñanza (AITSL, 2012a).

3
 Los propósitos de los estándares

Los estándares han sido utilizados con fines de certificación, selección por empleadores, evaluación, autoanálisis y re-
flexión sobre la práctica, así como para guiar el desarrollo profesional (Ingvarson & Kleinhenz, 2006).
El propósito de los estándares del NBPTS es: elevar el estatus, la voz y el rol que cumplen los docentes y conformar
a la docencia como una verdadera profesión; definir lo que los docentes expertos deben conocer y ser capaces de hacer;
así como reconocer los logros de la enseñanza a través de un proceso de certificación riguroso, comparable con otras
profesiones como medicina, ingeniería y derecho (NBPTS, s.f.).
El propósito de los estándares del InTASC es describir una nueva visión de la enseñanza en la cual se aspira transfor-
mar el sistema educativo norteamericano para satisfacer las necesidades de los aprendices actuales, y servir como un
recurso a disposición de distintos agentes educativos en el desarrollo de políticas y programas para preparar, certificar,
apoyar, evaluar y recompensar a los docentes (CCSSO, 2013).
Además tienen tres funciones: servir como estandarte, ofreciendo una visión del lugar a donde se quiere ir; definir
niveles del desempeño específico que debe ser alcanzado; y articular las actividades de aprendizaje profesional y los apo-
yos que deben proporcionarse, para garantizar que los docentes tengan las oportunidades para alcanzar los estándares
(CCSSO, 2013).
Los estándares australianos tienen los siguientes propósitos (AITSL, 2012):

a) Hacer explícitos los elementos de una enseñanza efectiva de alta calidad.

b) Ofrecer un marco para el aprendizaje profesional de los docentes, la autoevaluación y la reflexión sobre su práctica.
c) Contribuir a la profesionalización de los docentes y elevar el estatus de su profesión.
d) Establecer un modelo de rendición de cuentas profesional, ayudando a asegurar que los docentes tengan las compe-
tencias profesionales adecuadas.

A partir de la exposición de los objetivos de cada uno de los estándares, se puede identificar algunas semejanzas y
diferencias. Las tres instituciones los utilizan como un mecanismo para favorecer la profesionalización de los docentes;
establecen una guía de aquello que los docentes deben conocer y saber hacer, ofrecen un proceso de certificación de las
competencias y representan un recurso para el desarrollo profesional, la autoevaluación y la reflexión sobre la práctica.
El modelo desarrollado por el InTASC es el único que explícitamente propone el uso de los estándares para el diseño
de políticas educativas. Por otra parte, los estándares australianos son los únicos que declaran en sus propósitos, utilizar
los estándares con fines de rendición de cuentas.

Contenido de los estándares

El contenido de los estándares expresa los conocimientos y habilidades que deben tener los docentes en su desempeño
profesional. La tabla 1, presenta un comparativo de estas características en los tres modelos.
No obstante las diferencias que existen entre los estándares, es posible identificar una correspondencia entre lo que
pretenden evaluar. Haciendo un análisis de los mismos, se podrían establecer algunos elementos que subyacen a los tres:

a) Conocimiento de los alumnos. Los docentes necesitan conocer a profundidad a sus alumnos, tanto en su desarrollo
cognitivo, afectivo y social, así como las diferencias sociales y el conocimiento de las comunidades de donde ellos
provienen.
b) Conocimiento del contenido disciplinar y del contenido pedagógico. Las tres evaluaciones enfatizan la necesidad de
que los docentes sean muy conocedores del contenido disciplinar que van a enseñar pero también de cómo se tiene
que enseñar ese contenido, atendiendo a la didáctica propia de cada disciplina.
c) Habilidad para involucrar a los alumnos en un aprendizaje activo. Es un énfasis que tienen los estándares, los tres
declaran explícitamente que conciben a los estudiantes como aprendices activos en el proceso de enseñanza. Incluso
para el InTASC se utiliza la palabra aprendiz, para referirse a los alumnos, porque este concepto refleja un papel activo
del alumno.
4
 d) Aprendizaje profesional. Las tres evaluaciones coinciden en la necesidad de que los docentes recaben, analicen, mues-
tren a colegas y reflexionen sobre evidencias de su práctica, tanto para mejorar el aprendizaje de sus alumnos como
mejorar sus habilidades de enseñanza.

Tabla 1  Estándares básicos para los tres modelos

NBPTS (Generalistas
AITSL InTASC
para preescolar)
1. El maestro entiende cómo los alumnos crecen y se desarrollan,
reconociendo que los patrones de aprendizaje y desarrollo varían 1. Usar el conocimiento
de forma individual dentro y a través de las áreas social, cognitivo, del desarrollo infantil
1. Conocer lingüístico, emocional y física, y diseñan e implementan experiencias para entender al niño
a los estudiantes de aprendizaje desafiantes y apropiadas al desarrollo. de forma integral
y cómo aprenden 2. El profesor utiliza la comprensión de las diferencias individuales, las 3. Fomentar la equidad,
diversas culturas y las comunidades para garantizar ambientes de justicia y apreciación
aprendizaje inclusivos que permitan a cada alumno cumplir con altos de la diversidad
estándares.

4. Conocimiento del contenido. El docente entiende los conceptos

centrales, herramientas de indagación, y estructuras de la disciplina
que enseña, y crea experiencias de aprendizaje que hacen a la
4. Conocer los
disciplina accesible y manejable para que los aprendices garanticen
2. Conocer el contenido contenidos
dominar el contenido.
y cómo enseñarlo disciplinares para la
5. El docente entiende cómo conectar los conceptos y utiliza diversas
enseñanza de niños
perspectivas para involucrar a los aprendices en un pensamiento
crítico, creativo y en la resolución de problemas colaborativos
relacionados con asuntos locales y globales auténticos.

7. Planear para el
7. El docente planifica una instrucción que apoya a cada estudiante a
3. Planificación desarrollo
alcanzar sus metas de aprendizaje.
e implementación y aprendizaje
8. El docente entiende y usa una variedad de estrategias didácticas
efectiva de la 8. I mplementar
para fomentar que los aprendices desarrollen un profundo
enseñanza la instrucción
entendimiento del contenido y sus conexiones, y construir
y el aprendizaje para el desarrollo
habilidades para aplicar el conocimiento de forma significativa.
y aprendizaje

4. Crear y mantener un 3. El maestro trabaja con otros para crear ambientes que apoyen el 6. Manejar el ambiente
ambiente seguro y de aprendizaje individual y colaborativo y animan la interacción social para el desarrollo
apoyo al aprendizaje positiva, la participación activa en el aprendizaje y la auto-motivación. y aprendizaje

5. Evalúa, hace reportes

y proporciona 6. El docente entiende y usa múltiples métodos de evaluación para
5. Evaluar el desarrollo
retroalimentación atraer a los aprendices en su propio crecimiento, monitorear su
y aprendizaje infantil
sobre el aprendizaje progreso y guiar a docentes y aprendices en la toma de decisiones.
de los alumnos

9. El docente emplea el aprendizaje profesional en marcha y usa las

6. Involucramiento evidencias para continuamente evaluar su práctica, particularmente
9. Reflexionar sobre
en el aprendizaje los efectos de sus decisiones y acciones en otros (aprendices,
la enseñanza de niños
profesional familias, otros profesionales y la comunidad), y adapta su práctica a
las necesidades de cada aprendiz.

10. E
7. Involucramiento
profesional con colegas,
padres y comunidad
2. A
 sociarse con las
 l docente busca oportunidades y roles de liderazgo apropiados
familias y la comunidad.
para tomar responsabilidad del aprendizaje del alumno, colaborar
10. Ser un ejemplo
con los aprendices, familias, colegas, otros profesionales escolares,
de profesionalismo
y los miembros de la comunidad para garantizar el crecimiento del
y contribuir
aprendiz y el progreso en su profesión.
a la profesión.

Niveles de desempeño

En cuanto a los niveles que establecen los modelos, había que descartar al NBPTS, dado que se propone evaluar solamen-
te una fase del desarrollo profesional, la de docente experto.

5
 El InTASC tiene tres niveles, simplemente enumerados, sin una etiqueta distintiva. Por su parte, los estándares australianos
presentan cuatro etapas referidas al desarrollo profesional del docente: titulado, competente, altamente experto y destacado.
Tanto en los estándares australianos como en el InTASC, se puede identificar que la racionalidad que guía el estableci-
miento de los niveles es un incremento en el grado de dominio de la profesión; conocimiento, práctica e involucramiento
profesional. Para estos dos modelos esta noción de desarrollo no se limita a los estándares, sino que, para que justamen-
te sean utilizados como un recurso que retroalimente la práctica docente, cuentan con indicadores detallados sobre la
evolución de los estándares en la profesión. Estas progresiones sin duda tienen la posibilidad de ser un elemento muy
importante en la mejora de la práctica docente.

CONCLUSIONES
La misión de los estándares es que sean un referente para el ejercicio profesional de los docentes, incluida su evaluación.
Estos deberían expresar lo que un docente efectivo debe conocer y poder hacer.
El análisis aquí presentado permite identificar que los tres modelos comparten características, a pesar de tener oríge-
nes diversos. Los propósitos son profesionalizar, certificar y promover el desarrollo profesional de los docentes. Existe un
paralelismo evidente en las competencias que evalúan los estándares. Las diferencias mayores se encontraron en los nive-
les o etapas de desempeño, aunque se comparte la noción de desarrollo e incremento en el grado de expertise del docente.
Si bien existe un consenso en los aspectos fundamentales de lo que debe conocer y hacer un docente, permanecen
vigentes ciertas preguntas sobre la idoneidad de los mismos y sobre la evidencia que los fundamenta. ¿Las competencias
evaluadas por los estándares son las más importantes para lograr aprendizajes en los alumnos?, ¿los niveles o etapas de
desempeño realmente obedecen a estadios naturales de desarrollo en la vida profesional docente?, ¿cuál es el impacto en
el mediano y largo plazo de que alumnos tengan docentes con altos niveles de desempeño?
Tener unos estándares pertinentes y efectivos es una tarea compleja, costosa, altamente especializada y de largo pla-
zo. A los sistemas analizados les ha tomado décadas construirlos. Los propuestos por el InTASC fueron reformulados en
2011, luego de un proceso de fundamentación y consenso. Por otra parte, el NBPTS somete constantemente a revisión su
sistema de estándares, la mayoría de ellos tiene varias actualizaciones. Todo ello lleva a pensar que los estándares mexi-
canos deberán estar sujetos a continuos procesos de revisión, consenso y validación. Las instituciones que los desarrollan
deberían tomarse esta tarea como un proceso de largo plazo.

BIBLIOGRAFÍA

Australian Institute for Teaching and School Leadership [AITSL], (2012a). Australian Teacher Performance and Develop-
ment Framework. Melbourne, Brisbane, Canberra: Autor.
Australian Institute for Teaching and School Leadership [AITSL], (2012b). Australian Professional Standards for Teachers.
Melbourne, Brisbane, Canberra: Autor.
Council of Chief State School Officers. (2013). Interstate Teacher Assessment and Support Consortium InTASC Model Core
Teaching Standards and Learning Progressions for Teachers 1.0: A Resource for Ongoing Teacher Development. Wash-
ington, DC: Author.
Ingvarson, L., & Kleinhenz, E. (2006). Standards for advanced teaching: A review of national and international develop-
ments. Australia: ACER.
National Board for Professional Teaching Standards (2013). Early Childhood Generalist Standards. Third Edition. Arlin-
tong: NBPTS.
National Board for Professional Teaching Standards (s.f.) Mission & History. Recuperado el 9 de enero de 2014, http://
www.nbpts.org/mission-history
OCDE (2013). Learning standards, teaching standards and standards for school principals: a comparative study. OECD Edu-
cation Working Papers No. 99.
6
Balance de estrategia pública
de acompañamiento pedagógico en áreas
rurales en Perú y la medición en los aprendizajes
14 de marzo de 2015
 Balance de estrategia pública
de acompañamiento pedagógico en áreas
rurales en Perú y la medición en los aprendizajes
Lucas Néstor Sempé
Master en Poverty Reduction: Policy and Practice; University of London, United Kingdon.
lucas.sempe@gmail.com

PALABRAS CLAVE: Coaching, medición de aprendizajes, acompañamiento pedagógico.

EJE TEMÁTICO: Modelos y políticas de evaluación de docentes y de directivos escolares.

Resumen
La investigación analiza la estrategia de acompañamiento pedagógico a docentes de áreas rurales y escuelas multi-
grado y unidocentes implementada por el Gobierno del Perú en el marco de un programa presupuestario llamado
Logros de Aprendizaje de Estudiantes de Educación Básica Regular, buscando encontrar la contribución de la misma
mediante la revisión de los resultados de las evaluaciones censales de estudiantes en el país. Asimismo, se realiza
una revisión de la estrategia siguiendo los estándares de la lógica de presupuesto por resultados vigente, poniendo
énfasis en aspectos como el diseño lógico, la focalización y la ejecución presupuestal.
El primer objetivo fue determinar si existen diferencias significativas en los resultados de estudiantes en co-
municaciones y matemáticas entre escuelas que reciben acompañamiento pedagógico y las que no reciben des-
pués de un cierto periodo de intervención. Se hizo el análisis en escuelas monolingües castellano y en escuelas con
una lengua originaria como primera lengua.
El segundo objetivo de la investigación fue contribuir a la mejora de la política pública, por lo que se analizó si
la estrategia de acompañamiento pedagógico del responde a los estándares del enfoque metodológico y de política
pública de presupuesto por resultados. Para ello se realizó una revisión de tres aspectos centrales: el diseño del
marco lógico, la focalización y gasto público.

2
 INTRODUCCIÓN

La investigación parte del reconocimiento de que el rendimiento académico en escuelas en áreas rurales y en contexto de
pobreza en Perú es más bajo que en áreas urbanas, como se encuentra en el ejemplo siguiente:

2013
Comprensión lectora % estudiantes en nivel
% estudiantes en nivel inicial % estudiantes en proceso
satisfactorio
Nacional 15.8 51.3 33.0
Urbano 9.6 51.9 38.5
Rural 40.7 48.9 10.4

Fuente: MINEDU- UMC. Muestra de Control de Evaluación Censal de Estudiantes 2013

Ante ello, el Ministerio de Educación del Perú viene desarrollando desde el año 2009, una estrategia especialmente
diseñada para atender a escuelas multigrado y unidocentes monolingües y bilingües en áreas rurales. Dicha estrategia
se encuentra como parte de un programa presupuestario, y como tal, requiere que exista evidencia de la eficacia de la
intervención.
La estrategia consiste en asignar un docente a la función de acompañante pedagógico de otros docentes en una red de
escuelas. Un docente en la estrategia recibe las siguientes actividades: 10 visitas al aula; 10 microtalleres (reunión entre
maestros acompañados); y, finalmente, 2 talleres de actualización para docentes (40 horas). A partir del año 2013 se crea
la figura de formador, como un supervisor de acompañantes.

DESARROLLO

Marco teórico

El marco teórico de la investigación revisa y propone que el docente es un factor determinante interno a la escuela, y más
allá de características fijas, puede contribuir a un cambio positivo en los aprendizajes de los estudiantes. Esta postura
se distingue de una propuesta de construcción de una función-producción convencional dado que se considera que ésta
no explica adecuadamente el efecto del docente en los aprendizajes de los estudiantes porque reduce la importancia a
procesos importantes ocurridos dentro del aula y la escuela.
Por otro lado, se entiende que las políticas públicas deben tener fundamentos técnicos en evidencias así como eva-
luaciones de su pertinencia y acierto, para que la calidad del gasto público acompañe a procesos eficientes y efectivos de
mejora de las condiciones sociales y humanas de la población. Con la limitación de acceder a información secundaria, es
posible diseñar evaluaciones que permitan confirmar aciertos en cuánto a mejoras en el sistema educativo, abriéndose la
puerta a investigaciones ulteriores de medición de impacto.
En cuanto a la estrategia estudiada (coaching pedagógico), existe ya al menos 30 años de experiencias en el mundo.
Cornett and Knight (2008) identifican cuatro “familias”, descritas como: peer coaching (modelo de clase, práctica y feed-
back), coaching cognitivo (estrategias para cambiar aproximaciones y prácticas docentes), coaching para alfabetización;
y el coaching instructivo (trabajo colaborativo, introducción de prácticas nuevas basadas en evidencia). En América Lati-
na, Vezub & Alliaud (2012) por su parte identifican los siguientes modelos: apoyo en las relaciones personales; servicio
técnico; fin de un proceso inicial de entrenamiento y licenciamiento professional; entrenamiento profesional y retroali-
mentación.
En el Perú la estrategia no tiene una afiliación explícita a alguna de las mencionadas anteriormente, pero se encuen-
tran similitudes con el peer coaching y el entrenamiento profesional y retroalimentación.

3
 Preguntas de investigación y metodología empleada

Para la primera parte de la investigación, las preguntas de investigación fueron las siguientes:

¿Existe una diferencia significativa en la evaluación censal de estudiantes en comprensión lectora y matemáticas luego
de 3 años entre escuelas acompañadas y escuelas no acompañadas?

¿Existe una diferencia significativa en resultados de aprendizajes en comprensión lectora de castellano como segunda
lengua luego de 2 años de intervención entre escuelas bilingües (nativas) acompañadas y escuelas bilingües no
acompañadas?

Para determinar si existen diferencias estadísticamente significativas entre grupos de escuelas acompañadas por 3
años y no acompañadas de quintiles de pobreza similares, la metodología empleada ha sido Anovas mixtas de resultados
de 4 años en comprensión lectora y matemáticas de la Evaluación Censal de Estudiantes (2010-2013).
Se dividieron las escuelas por quintiles de pobreza (a fin de disminuir el efecto socio económico sobre el rendimiento
académico) y poder hacer comparables a las escuelas. Se compararon las escuelas en los quintiles 1, 2 y 3. Se identificaron
aquellas escuelas que han tenido 3 años de acompañamiento entre 2011 y 2013, y cumplieron el protocolo establecido,
así como aquellas que no han tenido acompañamiento en ninguno de los 3 años.
Para la segunda parte de la investigación, se realizó una revisión documental, teniendo la siguiente pregunta de in-
vestigación:

¿Sigue el acompañamiento estratégico los estándares de la política pública de presupuesto por resultados en sus
componentes de focalización, diseño lógico y organización?

Las principales limitaciones y anotaciones metodológicas de la investigación son:

»» No es un estudio longitudinal de estudiantes sino que se trabajó con diferentes grupos poblaciones.
»» Se usaron los resultados de la Evaluación Censal y no del control muestral.
»» La evaluación censal de estudiantes cubre solamente una parte específica de la currícula de segundo grado de primaria.
»» No siempre ha distribución de la data fue normal. Dada la robutez del test y la inexistencia de muestreo, los tests
fueron realizados. En algunos casos, la homogeneidad de varianzas (Test de Levene) y covarianzas fue rechazada
El test Hartley fue realizado para sostener la asumpción de la homogeneidad de varianzas.

Principales hallazgos

Se encontraron interacciones estadísticamente significativas entre recibir acompañamiento durante 3 años (2011 a
2013) y el aumento de los niveles de lectura 2010-2013 (con un efecto que se considera mediano)), y también el hallazgo
de significación estadística entre las puntuaciones y porcentaje de alumnos competentes con grandes tamaños del efecto
en todas las disciplinas evaluadas (español, matemáticas y español como segunda lengua) en las escuelas acompañadas.
En el caso de las escuelas bilingües no se pudo utilizar el mismo spam de tiempo, y los resultados no han sido estadísti-
camente significativos.
En cuanto al segundo objetivo, se encontró inconsistencia en el diseño lógico, filtraciones importantes en la focaliza-
ción y ausencia de parámetros y estándares en términos organizaciones en las regiones.

Ejemplo de hallazgos para comprensión lectora en escuelas monolingües:

»» No se encontró diferencia estadísticamente significativa en el año 2010 entre ambos grupos de escuelas
[F(1,9874) = .387, p. = .534, η2 parcial < .001].

4
 »» Se encontró diferencia estadísticamente significativa entre ambos grupos en el año 2013 [F(1,9874) = 28.984, p. <
.001, η2 parcial = .003].
»» Se encontró una interacción estadísticamente significativa entre recibir acompañamiento y el tiempo de la inter-
vención en los resultados promedios [F(1,9874) = 32.471, p. < .0005, η2 parcial = .003]
»» Se encontró que hay un efecto estadísticamente significante en el puntaje promedio de aprendizaje en escuelas
acompañadas después de 3 años [F(1,302) = 82.408, p. < .001, η2 parcial = .214].
»» El efecto en las escuelas no acompañadas también fue significativo estadísticamente pero bastante menor [F(1,9572) =
466,250, p. < .001, η2 parcial = .046].
»» Para medir el tamaño del efecto entre las escuelas acompañadas y no acompañadas, se calculó mediante el ∆ Glass =
.34. Es un efecto entre pequeño y mediano (Hattie, 2012).
»» Otro hallazgo importante es el efecto (grande) en el puntaje promedio del tiempo en las escuelas acompañadas (η2
parcial = .214, ∆ = .59), lo cual difiere de las escuelas no acompañadas que también crecen, pero con un efecto mayor
(η2 parcial = .046, ∆ = .22).
»» También se encuentra un efecto grande del tiempo de acompañamiento en el porcentaje de estudiantes en nivel
suficiente en escuelas acompañadas (η2 parcial = .143; ∆ = .62) donde el porcentaje de estudiantes en el nivel sufi-
ciente pasó de 12.7% a 25.5%.

CONCLUSIONES

Se encontraron interacciones estadísticamente significativas entre recibir acompañamiento por 3 años y la mejora de los
resultados en las pruebas de comprensión lectora (con un efecto entre pequeño y mediano).
Se encontró signficación estadística entre los resultados de ECE y el % de estudiantes en nivel suficiente en escuelas
acompañadas en comprenisón lectora, matemáticas y castellano como segunda lengua.
Ambos hallazgos evidencia la eficacia de la estrategia, aunque queda por explorar el impacto de la misma.
La revision del marco lógico y de la literature sugiere que el acompañamiento pedagógico debe ser considerado un
product, y ello permitiría una intervención más completa (materiales educativos adecuados, redes de escuelas, formación
inicial de docentes, etc.)
Una limitante importante que se encuentra para una mayor cobertura con calidad del acompañamiento pedagógico
es la ausencia de un marco teórico desarrollado, lo cual hace más difícil la formación de nuevos acompañantes y la pre-
paración de materiales y protocolos.
Se reconoce como una limitante la falta de recursos humanos calificados así como de recursos para su formación y
desempeño docente (aprendizaje colaborativo, construcción de red de escuelas, vinculación con la comunidad, intercul-
turalidad).
La revisión del presupuesto y organización demuestra que no existen claros parámetros organizativos. Existe una
varianza muy grande en costos por docente y costo por profesor. Es necesario considerar que el criterio geográfico (dis-
persión), que debería explicar la varianza, no es el motivo de la diferencia de costos.
Esta varianza revela aún en algunas regiones procesos imprecisos de presupuestación e implementación y se deben
sobre todo a costos salariales y bienes y servicios.

BIBLIOGRAFÍA

Alvarado, B. (2013). Intercultural Bilingual Education Program for Better Performance in Schools. The case of the Indige-
nous Children of the Amazon. Working Papers 13-13. Lima: Universidad del Pacífico, 52 pp.
Aslam, M. and Kingdon, G. (2007). What can Teachers do to Raise Pupil Achievement?. Centre for the Study of African
Economies. Centre for the Study of African Economies. Oxford: University of Oxford, 36 pp.

5
 Barber, M., and Mourshed, M. (2007). How the World's Best-Performing School Systems Come Out On Top. London:
McKinsey & Company, pp 126.
Biancarosa, G., Bryk, A., and Dexter, E. (2010). ´Assessing the Value-Added Effects on Literacy Collaborative Professional
Development on Students Learning´, The Elementary School Journal, 111 (1): pp 7-24.
Coleman, J. (1966). Equality of Educational Opportunity Study. Ann Arbor: Inter-university Consortium for Political and
Social Research, 285 pp.
Congreso de la República (2006). Ley de Presupuesto del sector público para el año fiscal 2007 nº 28927
Congreso de la República (2013). Ley General del Sistema Nacional de Presupuesto nº 28411.
Consejo Nacional de Educación (2007a). Programa de acompañamiento pedagógico. Para mejorar aprendizajes en las
instituciones educativas rurales. Lima: Consejo Nacional de Educación, 77 pp.
Consejo Nacional de Educación (2007b). Proyecto Educativo Nacional al 2021. La educación que queremos para el Perú.
Lima: Consejo Nacional de Educación, 150 pp.
Cornett, J., and Knight, J. (2008). ´Research on Coaching´, in Knight, J. (ed.), Coaching: Approaches and perspectives.
Thousand Oaks: Corwin, 192-216.
Defensoría del Pueblo (2012). Informe Defensorial Nº 152: Aportes para una política Nacional de EducaciónIntercultural 
Bilingüe a favor de los pueblos indígenas del Perú. Lima: Defensoría del Pueblo, 554 pp
Duarte, J. Bos, M.A., and Moreno, M. (2012), ´Docentes, escuelas y aprendizajes en América Latina´, in Cabrol, M. and
Székely, M. (eds.), Educación para la transformación. Banco Interamericano de Desarrollo, p. 133-166.
Gamoran, A., and Long, D. A. (2006). Equality of Educational Opportunity: A 40-year retrospective. Madison: Wisconsin
Center for Education Research, 27 pp.
Guadalupe, C., León, J. and Cueto, S. (2013). Charting progress in learning outcomes in Peru using national assessments.
Paper commissioned for the EFA Global Monitoring Report 2013/4, Teaching and learning: Achieving quality for all,
47 pp.
Hanushek, E. (1989). `The Impact of Differential Expenditures on School Performance´, Educational Researcher, 18: 45-6.
Hanushek, E., Rivkin, S. (2012). ´The Distribution of Teacher Quality and Implications for Policy´, Annual Review of
Economic, 4: 131-157.
Hattie, J. (2009). Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. New York: Routledge,
392 pp.
Hedges, L.V., Laine, R.D. and Greenwald, R. (1994), ´Does money matter? A metaanalysis of studies of the effects of differ-
ential school inputs on student outcomes´, Educational Researcher, 23: 5-14.
Joyce, B. and Showers, B. (1982). ´The coaching of teaching ´, Educational Leadership, 40(1): 4-8.
Kudo, I. and Bazan, J. (2009). Measuring Beginner Reading Skills. An Empirical Evaluation of Alternative Instruments and
their Potential Use for Policymaking and Accountability in Peru. Policy Research Working Paper 4812. World Bank, 84 pp
Ministerio de Economía y Finanzas. Dirección General de Presupuesto Público (2014). Directiva n° 001-2014-ef/50.01.
Anexo 2. Lima: Ministerio de Economía y Finanzas, 36 pp
Ministerio de Economía y Finanzas. Dirección Nacional de Presupuesto Público (2008). Presupuesto por Resultados.
Conceptos y líneas de acción. Documento de Trabajo. Lima: Ministerio de Economía y Finanzas, 24 pp
Ministerio de Educación (2013a). Anexo 2 – Programa Presupuestal Logros de Aprendizaje de Estudiantes de Educación
Básica Regular. Lima, 526 pp.
Ministerio de Educación (2013b). Resultados de la Evaluación Censal de Estudiantes. Retrieved from: http://umc.minedu.
gob.pe
Ministerio de Educación (2013c). Resolución Ministerial 544-2013-ED.
Ministerio de Educación (2014a). Protocolo de Acompañamiento Pedagógico, 1. Protocolo del Acompañante Pedagógico,
del Docente Coordinador/ Acompañante y del formador Acompañamiento Pedagógico. Lima, 56 pp.
Ministerio de Educación (2014b). Informe final sobre la implementación del acompañamiento pedagógico- PELA 2013.
Montero, C. (2011). ´Estudio sobre acompañamiento pedagógico: Experiencias, orientaciones y temas pendientes´ in
Consejo Nacional de Educación (eds.), Hacia una propuesta de criterios de buen desempeño docente estudios que
aportan a la reflexión, al diálogo y a la construcción concertada de una política educativa. Lima: Consejo Nacional
de Educación, 171 pp.

6
 Murillo, J. (2008). ´Hacia un modelo de eficacia escolar. Estudio multinivel sobre los factores de eficacia en las escuelas
españolas´, Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 6(1): 4-28.
Murillo, J. (2011). ´Mejora de la eficacia escolar en Iberoamérica´, Revista Iberoamericana de Educación, 55: 49-83.
Osborne, D. (1993). ´Reinventing Government´, Public Productivity & Management Review, 16 (4): 349-356.
Puig, E., and Froelich, K. (2010). The literacy coach: Guiding in the right direction. 2nd ed. Boston: Pearson Education,
192 pp.
Rhodes, C. and Beneicke, S. (2002). ´Coaching, mentoring and peer-networking: challenges for the management of teacher
professional development in schools´, Journal of In-Service Education, 28(2): 297-310.
Rivero, J. (2009). ´El Programa Nacional de Movilización por la Alfabetización (Pronama): intenciones, triunfalismo y
realidades´, in Cuenca, R. (coord.), La educación en los tiempos del APRA: Balance 2006- 2009. Lima: Foro Educativo,
pp. 51-72.
Rivkin, S., Hanushek, E. and Kain, J. (2005). ´Teachers, schools, and academic achievement´, Econometrica, 73 (2):
417–458.
Robinson, M. (2011) Performance budgeting. World Bank/CLEAR, pp 151
Ross, J. (1992). ´Teacher Efficacy and the Effects of Coaching on Student Achievement´, Canadian Journal of Education,
17 (1): 51-65.
Sanders, W. L. (2000). ´Annual CREATE Jason Millman Memorial Lecture: Value-added assessment from student achieve-
ment data´, Journal of Personnel Evaluation in Education, 14(4): 329–339.
Sanders, W. L. and Rivers, J. C. (1996). Cumulative and residual effects of teachers on future student academic achievement.
Knoxville: University of Tennessee Value-Added Research Center, 7 pp.
Soltau, L., Rodríguez, J., Sanz, P. (2013). Evaluación de diseño y ejecución de presupuesto de la intervencion pública evaluada
“Acompañamiento pedagógico”, 214 pp.
Sparks, G.M. and Bruder, S. (1987). ´Before and after peer coaching´. Educational Leadership, 45(3): 54-57.
Swafford, J. (1998). ´Teachers Supporting Teachers through Peer Coaching´, Support or Learning, 13(2): 54-58.
UNESCO (2000). Education For All: Meeting our Collective Commitments. Dakar: UNESCO, 29 pp.
UNESCO (2008). Oficina Regional de Educación para América Latina y el Caribe. Educación de calidad para todos: un asunto
de derechos humanos. Santiago de Chile: UNESCO, 115 pp.
UNESCO (2014) .The Education for All Global Monitoring Report. Teaching and learning: achieving quality for all. Paris:
UNESCO, 464 pp.
Veenman, S. (1995). ´The Training of Coaching Skills: an implementation study´, Educational Studies, 21: 415-431.
Veenman, S., De Laat, H. and Staring, C. (1998). ´Evaluation of a Coaching Programme for Mentors of Beginning Teachers´,
Journal of In-Service Education, 24: 441-427.
Vezub, L. and Alliaud, A. (2012). El acompañamiento pedagógico como estrategia de apoyo y desarrollo profesional de los
docentes noveles. Aportes conceptuales y operativos para un programa de apoyo a los docentes principiantes de Uruguay.
Ministerio de Educación y Cultura, 84 pp.
World Bank (2013). Perú: Programa de Asistencia Técnica en Educación Lima. Perú: Banco Mundial, 62 pp.

7
Criterios relevantes para una política
de evaluación docente en México:
propuestas a partir de la experiencia
de formación y actualización de profesores
14 de marzo de 2015
 Criterios relevantes para una política
de evaluación docente en México:
propuestas a partir de la experiencia
de formación y actualización de profesores
Francisco Miranda López1
Arcelia Martínez Bordón 2

PALABRAS CLAVE: F
 ormación docente, actualización docente, reforma educativa, evaluación docente,
políticas de evaluación docente.

Resumen
El objetivo de este artículo es presentar algunos criterios que orienten las políticas de evaluación de los docentes
en México, considerando como marco de análisis las principales discusiones a nivel internacional y nacional en
torno a la formación docente y los elementos propios que plantea la actual reforma educativa en el país. Asimismo,
se recupera la presión que ejercen sobre el trabajo docente las actuales variables de cambio social, con la finalidad
de incorporarlos a la discusión sobre los denominados marcos de la buena enseñanza. Con base en ello, se plan-
tean dos ejes que las políticas de evaluación de docentes tendrían que enfatizar: la pedagogía del conocimiento y
la gestión del conocimiento, a partir de los cuales la evaluación docente deberá estar situada y significativamente
estructurada en torno a tres ámbitos centrales de construcción y desarrollo de su autonomía profesional y laboral:
a) autonomía de los centros escolares y fortalecimiento de los liderazgos profesionales; b) autonomía y liderazgo
profesional en los propios centros de formación inicial y programas de formación continua; y c) autonomía en el
ejercicio de su función.

1
Francisco Miranda López es Doctor en Sociología por el Colegio de México. Ha sido profesor-investigador de la Universidad Autónoma de Hidalgo,
la Universidad Pedagógica Nacional (UPN, Unidad Ajusco) y de la Facultad Latinoamericana de Ciencias Sociales (Flacso México). Fue Coordinador
de Asesores del Subsecretario de Educación Básica en la administración del presidente Vicente Fox Quezada, y Coordinador de la Especialidad
de Política y Gestión Educativa de la Flacso-México. Ha escrito diferentes ponencias, artículos y libros que se han publicado en distintas revistas
y colecciones. Es miembro del Sistema Nacional de Investigadores (SNI-2). Actualmente es Titular de la Unidad de Normatividad y Política Educativa
del INEE.
2
Arcelia Martínez Bordón es Doctora en Política por la Universidad de York, Reino Unido. Es Licenciada en Ciencia Política y Maestra en Políticas
Públicas por el Instituto Tecnológico Autónomo de México. Realizó una estancia posdoctoral en el Centro de Investigación y Docencia Económicas
con el tema de Consejos para la Participación Social en la Educación como Mecanismos Sociales para la Rendición de Cuentas del Sistema Educativo.
Entre 2012 y 2014 se desempeñó como Consejera del Comité de Evaluación y Recomendaciones del Consejo de Evaluación de la Política Social
del Distrito Federal (Evalúa-DF). Ha sido consultora y evaluadora de políticas educativas y de género. Actualmente es Directora General de Directrices
para la Mejora de la Educación del Instituto Nacional para la Evaluación de la Educación (INEE).
2
 EL MARCO DEL DEBATE SOBRE LA FORMACIÓN DOCENTE

Desde el inicio de la década de los años noventa, en América Latina se detonó una acalorada e importante reflexión sobre
el problema de la formación y actualización de profesores (CEA, 1997; Birgin y Duschatzky, 1995). Desde entonces, se ha
sostenido la difícil tensión entre el papel del docente como agente activo, creativo y profesional y el rol pasivo y depen-
diente que puede jugar frente a los diferentes insumos que intervienen en el proceso educativo, tales como el papel de
la tecnología educativa, el texto escolar y los diversos materiales didácticos que se utilizan en la educación. Sobre todo,
se destacó la intencionalidad implícita puesta en estos recursos para dejar de invertir en formación y actualización do-
cente debido a que los textos, manuales y guías están pensados para orientar paso a paso tanto los contenidos como la
metodología de la enseñanza, para obviar con ello la reforma curricular integral dado que los textos escolares serían, en
sí mismos, expresión del currículum (Bolívar, 2010; Tenti y Steinberg, 2010; Vaillant, 2010; Vezub, 2010).
Contra ello se ha reivindicado la necesidad de sostener la autonomía profesional del docente frente a los esquemas ver-
ticales de decisión y la dependencia frente a los libros de texto y los recursos de computación e información (Hargreaves,
1995; Porlán y Rivero, 1998). También, desde entonces, se ha instalado el debate sobre la eficacia de la formación nor-
malista antes del empleo para garantizar el adecuado conocimiento de las disciplinas básicas frente a lo que ofrece la
educación universitaria, aunque tomando en cuenta los déficits pedagógicos que esta formación plantea respecto a las
necesidades de enseñanza y aprendizaje de los alumnos. Se ha planteado, por un lado, la necesidad de que la formación
normalista integre el aprendizaje del contenido en ciencias, matemática y estudios sociales con el aprendizaje de una
“actitud” flexible respecto de la forma en que los adolescentes aprenden y resuelven problemas (Tenti, 1999); pero por
otro, se subraya que el docente normalista no está preparado para dominar adecuadamente los conocimientos de las
asignaturas básicas, debido a que tiene menos confianza en sus propias capacidades intelectuales y directivas, y no es
colocado en un contexto docente en el cual las habilidades de enseñanza se empleen de manera coherente para lograr
metas educativas bien definidas (OCDE, 1994).
Un problema estrechamente asociado a la formación y actualización de profesores ha sido el significado que tiene la es-
tructura de sueldos y salarios para garantizar una carrera docente más adecuada a las nuevas exigencias educativas, sobre
todo considerando el reflejo salarial y de condiciones laborales y desarrollo profesional que tendría una nueva propuesta
de formación y de exigencia académica y profesional del docente (Arnaut, 2004). Se ha debatido la estructura tradicional
de sueldos que consiste en un régimen de bajos salarios iniciales con jubilación anticipada y pensiones elevadas, frente a
propuestas que privilegian un régimen de sueldos iniciales más elevados con jubilación a edad más avanzada.
Por último, se ha destacado también el efecto que las políticas de descentralización han tenido en el funcionamiento de
las instituciones de formación y actualización de profesores, observándose varios puntos de tensión entre las responsabi-
lidades centrales y las que corresponden a los estados. Ahora las políticas centralizadas se expresan cada vez más en tér-
minos de metas y menos en términos de procedimientos, lo que hace que los organismos locales se vean obligados a rendir
cuentas para responder a los logros de estas metas, sin que se dispongan de todas las condiciones para su realización. Este
esquema descentralizador que privilegia los resultados ha hecho que en los ámbitos locales exista un menor compromiso
con la formación inicial y se privilegie la formación en el servicio como lo más efectivo y razonable para responder a las
metas que se fijan desde el centro. A ello se suma la creciente desarticulación del sistema institucional de formación y
actualización (OCDE; 2004).
A contrapunto de estas discusiones, en México la crisis de eficacia que ha sufrido su sistema educativo ha hecho ur-
gente la necesidad de reestructurar la organización y operación de los servicios buscando mayor congruencia entre nive-
les educativos, insumos institucionales y recursos asignados. Con una mayor exigencia por regular la calidad académica
como criterio inherente a la oferta de servicios, las escuelas públicas de educación básica, aunque también las de media
superior, pronto sintieron la necesidad de mejorar la calidad de la formación de profesores e incrementar sustancialmen-
te los rangos de actualización, capacitación y superación profesional docente (De Ibarrola, 1997 y 1998). A la par de la
descentralización de los servicios se han diseñado programas de modernización y fortalecimiento interno de las institu-
ciones formadoras y actualizadoras, pero en el marco cada vez más restringido del propio sistema consolidado, el cual
se caracteriza por sistemas endógenos cerrados, poco dinamismo académico, alta jerarquización interna, altos niveles
de control burocrático y político, falta de versatilidad y dinamismo para incentivar el desarrollo profesional del profesor,
ausencia de correlatos con la innovación escolar y con sistemas transparentes y congruentes de evaluación, el estableci-

3
 miento de severos límites a otros sistemas como el universitario, que tienen mayor dinamismo y apertura académica, y a
instancias adecuadas de participación social, supervisión, trabajo colegiado e impulso a pares académicos y mecanismos
de evaluación externa (Arnaut,2004).
En suma, una interpretación general y globalizadora de las múltiples políticas de formación del magisterio, posibilita
apreciar, a primera vista, que éstas se han desarrollado de manera dispersa e incoherente. Asimismo, cabe destacar que
las políticas gubernamentales de formación del magisterio implementadas en los últimos años, han carecido de un fin
social, político y educativo ampliamente consensuado que las integre, armonice y permita su coherente continuidad en el
tiempo, de tal manera que se pueda hablar de un real y verdadero subsistema de formación del magisterio.

LECCIONES APRENDIDAS Y PROPUESTAS PARA LA FORMACIÓN

Y ACTUALIZACIÓN DE DOCENTES
Pareciera ser que hay, al menos, un consenso básico respecto de los fines últimos, los mínimos indispensables que toda
educación de calidad debiera alcanzar, a saber: a) una oferta disponible; b) servicios que además de estar disponibles,
cumplan con ciertas características básicas, que permitan ser aprovechados por las personas; c) una oferta pertinente
y relevante con independencia de la población que se atienda y d) el logro educativo. No obstante lo anterior, acerca del
“cómo hacerlo” no parece haber todavía mucho consenso, puesto que existen muchas y diversas formas de mejorar la
calidad de la educación en un país, y México no es la excepción.
En vista de lo anterior y a partir de la revisión documental de varias experiencias internacionales3, se recuperan
algunos puntos clave sobre la formación y actualización de los docentes. A continuación se plantean las enseñanzas y
aportaciones fundamentales al respecto.
La primera alude al hecho de que cualquier perspectiva de reestructuración del esquema de formación de profesores
deberá estar fundada en la definición de políticas de formación articuladas y que a mediano y largo plazo deseen operar-
se. Mientras el Estado no se posicione al respecto, continuará la yuxtaposición de programas, de instituciones y de metas
(Kallós y Staffan, 1994; Bolívar, 1996; De Ibarrola, 1996; Díaz Barriga, 2001; Dubet, 2004; Draibe, 2004;).
Asimismo, será necesario reconstruir la relación oferta-demanda de formación y actualización. Entre otras acciones
habrá que desarrollar las siguientes: a) colocar lo mejor de la oferta de formación en México al servicio de los maestros,
considerando que una oferta de calidad genera su propia demanda; y, b) reconocer las demandas específicas con visión
estratégica. La innovación educativa debe focalizar su atención hacia las áreas de mayor vulnerabilidad (pobreza, exclu-
sión, desintegración) (Rojas, 1995; Stavenhagen, 2004; Díaz Barriga, 2001; Dubet, 2004; Draibe, 2004).
Sin duda, uno de los mayores retos será conformar nuevos sujetos de formación en una perspectiva basada en la
práctica. Ello implicará reorientar la formación hacia ejes fundamentales, a saber: un modelo de “prácticum” reflexivo;
énfasis en la formación en el análisis de casos y solución de problemas; reimpulso de los modelos de investigación-acción;
y el fortalecimiento significativo de las capacidades de intervención. Ante esto, será importante construir capacidades
de acción colectiva en los maestros, expresadas en sus habilidades para construir comunidades educativas de reflexión
y acción que reconozcan la fuerza y vitalidad del colectivo docente, y a las escuelas como espacios de acción colectiva
(Barber y Mourshed, 2008).
También, será importante desarrollar sistemas regulatorios de calidad académica en la formación y actualización del
profesorado que consideren, de manera articulada, insumos, procesos y resultados, además de establecer políticas de
fomento, fortalecimiento y desarrollo institucional que vayan acompañadas de una reglamentación específica sobre las
necesidades, requerimientos y parámetros de calidad profesional. Esto implica aprender de la experiencia de diversos
países en el establecimiento de estándares profesionales cuidadosamente reglamentados e instrumentados que sean
transparentes, públicos y con una alta legitimación académica, a efecto de garantizar que los compromisos sociales y
estatales con la calidad educativa se respeten y se cumplan verdaderamente.

Este trabajo es el resultado de una amplia investigación desarrollada por el autor sobre experiencias internacionales de formación y actualización
3

de docentes, considerando casos de países de América del Norte, Europa, Asia y América Latina (Miranda, 2008).

4
 Por otro lado, como lo demuestran diversas experiencias internacionales –entre las que destacan Alberta, Australia,
Bélgica, Finlandia, Hong Kong, Japón, Holanda, Nueva Zelanda, Ontario, Singapur y Corea del Sur–, la agenda de priori-
dades de la reforma de la formación y actualización de profesores, requiere establecer sistemas, procedimientos y meca-
nismos de evaluación adecuados a las necesidades de cumplimiento de los marcos regulatorios y de control de la calidad
académica; evaluar con base en estándares; diseñar metodologías de evaluación pertinentes y adecuadas; impulsar los
concursos públicos para la adquisición de las licencias docentes; y definir criterios sólidos de acreditación y certificación
(Rivkin, Hanushek y Kain, 2005; Barber y Mourshed, 2008; UNESO, 2015).
Sobre todo lo anterior, debe destacarse lo que la actual coyuntura en México plantea. Así, con la reforma realizada a
los artículos 3° y 73° de la Constitución Política de los Estados Unidos Mexicanos (CPEUM) y la expedición de las leyes se-
cundarias que de ella emanan, se han establecido un conjunto de modificaciones en la estructura, planeación, operación y
evaluación del Sistema Educativo Nacional (SEN). Entre las modificaciones realizadas, la creación del Servicio Profesional
Docente, pone en la agenda pública la necesaria revisión y diseño de políticas y programas institucionales, que permitan
modificar las trayectorias formativas, la normatividad escolar, así como las condiciones laborales y las prácticas educati-
vas de los docentes.
Otra lección aprendida es que es necesario impulsar una política activa de participación de las asociaciones profesio-
nales, colegios de profesores, asociaciones civiles y autoridades educativas para que colaboren en la definición e instru-
mentación de la regulación académica de calidad. La participación profesional, civil y gubernamental tendría que estable-
cer parámetros de calidad (estándares) y sistemas de acreditación y certificación de docentes, programas de formación
de docentes y métodos de evaluación, así como comités de concertación y asesoría para el desarrollo académico de las
instituciones formadoras y actualizadoras. En este contexto, el Instituto Nacional para la Evaluación de la Educación
(INEE), como parte de sus atribuciones, está impulsando acciones estratégicas para el establecimiento de Órganos Cole-
giados y de Consulta que permitirá intercambiar información y experiencias sobre evaluación y facilitar la participación
activa y equilibrada de los actores del proceso educativo y de los sectores social, público y privado.
Así también, las revisiones realizadas plantean lo indispensable que resulta el hecho de caminar hacia la constitución
de un nuevo sistema de estímulos al trabajo docente y a la formación permanente, tomando como base la reglamentación
de la calidad profesional en función de estándares, métodos de evaluación adecuados y mecanismos legítimos de eva-
luación externa y a través del apoyo y miradas objetivas de comités conformados por investigadores, académicos de alto
prestigio y docentes en servicio con experiencia y reconocimiento en ambas áreas.
Adicionalmente, se propone mejorar los criterios de calidad académica para obtener la licencia de entrada al servicio
educativo sosteniendo la necesidad de fortalecer sistemas de concurso público o mecanismos de evaluación rigurosos,
transparentes y confiables que permitan valorar la creatividad en el trabajo docente y reconocer las capacidades acadé-
micas y profesionales (Miranda, 2008).
No será menos importante reorientar los curriculums de formación articulando la formación científica y humanística
con la formación pedagógica y la experiencia práctica en las escuelas, tomando en cuenta los campos disciplinarios y los
sectores de especialización de la educación. Al respecto se ha subrayado la conveniencia de impulsar los modelos clínicos
de residencia e internado (Fullan y Hargreaves, 1992, Perrenoud, 2001). Sobre estos temas, nuestro país tendrá que ir
dando los primeros pasos en el marco de la ruta de cambio educativo que recientemente se ha trazado.
Otra tendencia mundial fuerte, que al menos se ha instalado en México con su actual reforma educativa, es la modifi-
cación de los regímenes laborales considerando un incremento sustantivo de los salarios de entrada, transformación de
los criterios de basificación en atención al cumplimiento de los estándares de calidad y los procedimientos de evaluación,
acreditación y certificación, y la creación un sistema de reconocimiento y reemplazo decorosos al personal en edad jubi-
latoria (Carnoy y de Moura, 1997; OCDE, 2004).
En términos generales, son varias las tendencias de cambio mundial sobre la formación docente que han tenido una
importante resonancia en la actual reforma educativa en México. Destaca al respecto la regulación establecida en la Ley
General del Servicio Profesional Docente que comprende cuatro procesos clave, a saber: 1) Ingreso; 2) Promoción; 3)
Reconocimiento y 4) Permanencia. Cada uno de ellos con sus propias variantes, pero en conjunto plantean la inalienable
necesidad de implementar sólidos procesos de selección y capacitación docente que permitan garantizar la idoneidad
de los conocimientos y las capacidades necesarias de quienes se desempeñen como docentes; asegurar trayectorias de
tutoría y acompañamiento y manejar con cuidado el estatus de la profesión.

5
 CRITERIOS PARA ORIENTAR LA POLÍTICA
DE EVALUACIÓN DE DOCENTES

El reto mayor para la política educativa mexicana actual es la formación de nuevas capacidades docentes, lo cual supone
tres componentes básicos: primero, nuevas competencias que se traducen en conocimiento, habilidades y actitudes que
se requieren; segundo, nuevos recursos, que involucran no solo dinero o tecnología, sino también, ideas y experiencia; y
tercero, nuevas motivaciones que aluden a las energías que los docentes puedan desplegar y comprometer para enfrentar
los retos de equidad y calidad educativa.
Lo anterior lleva la semilla de un cambio profundo de la profesión docente como profesional autónomo que implica
varias líneas de trabajo e innovación, a saber: a) el dominio sobre un campo profesional cada vez más complejo, que
integra el conocimiento en sí y la manera de enseñarlo, lo que es necesario ante la profundidad de los cambios vividos
en lo cultural, lo político, lo social, lo económico y lo tecnológico; b) La capacidad de reflexionar y evaluar el desempeño
propio y de innovarlo y mejorarlo con base en la motivación intrínseca, más que en los estímulos externos; c) una ética
profesional renovada que sustente el compromiso, el desempeño responsable y el rendimiento de cuentas; y d) la organi-
zación profesional –no únicamente sindical– necesaria para incidir en la escala colectiva de las decisiones educativas; se
trata de una organización que se rija por la prioridad debida la calidad de la educación mexicana (Consejo de Especialistas
para la Educación, 2006)
En el marco de lo anteriormente expuesto, y con la finalidad de fijar algunos temas relevantes para una política de
evaluación de docentes en México, a continuación se señalan algunos temas que será necesario tomar en cuenta en los
procesos de evaluación docente.
La matriz epistémica de la cual se parte es la interacción entre los cambios de las principales variables sociales, polí-
ticas y económicas del proceso civilizatorio actual –marcado por la globalización, la sociedad del conocimiento, la nueva
economía de mercado, la transición a la democracia, la emergencia de la sociedad civil y la defensa de los derechos hu-
manos y la entronización de los proceso de desigualdad social y diversidad cultural–, y las nuevas demandas y exigencias
que estos cambios plantean a la formación y a la práctica docente en función de las nuevas competencias y resultados
que se exigen a los educandos y a la nueva ciudadanía. En el Cuadro 1 se presenta un bosquejo de esta matriz en la que se
ejemplifican las nuevas exigencias para el profesorado.

Cuadro 1  Matriz de relación entre cambio social y presiones al trabajo docente

Variables de cambio social Presiones hacia la formación y trabajo docente

Sociedad del conocimiento
Transición hacia la democracia como forma de gobierno
Emergencia de la sociedad civil y defensa
de los derechos humanos
Nuevas relaciones entre desigualdad y diversidad
Globalización económica basada en modelos
y estándares de calidad
Nuevas exigencias y criterios para la formación
y desarrollo de competencias
Ruptura de las formas autoritarias de la gestión pedagógica
Demandas para articular la formación y el cuidado
de los educandos
Flexibilización curricular y pedagógica para la atención
diferenciada de las necesidades de los alumnos
Estándares de calidad para la evaluación y mejora
del desempeño docente

Fuente: elaboración propia, con base en la revisión de la literatura.

Los cambios sociales le exigen mucho al sistema educativo y a los docentes, pero también tienen que ofrecerle algo a
cambio al nivel de las demandas que le hace. Lograr que la economía, la política y la cultura contemporánea cifrada en las
posibilidades de la sociedad del conocimiento para generar crecimiento con equidad apoye la formación, el trabajo y la
evaluación docente, supone construir una nueva agenda de capacidades para la nueva profesión docente en el siglo XXI.
Entre ellos pueden mencionarse los siguientes:

6
 »» Capacidad para aprender a lo largo de la vida que se expresa, entre otras cosas en el dominio de las TIC, capacidad
para la profundización y la generación del conocimiento (UNESCO, 2007).
»» Capacidad para adaptarse a los cambios sociales, con virtudes y valores, con identidad profesional y valoración
positiva de la profesión del maestro.
»» Capacidad para organizar el trabajo en el aula, dominar las técnicas básicas de comunicación e interacción y de
adaptar los contenidos de enseñanza al nivel de los alumnos; es decir, maestros con calidad humana (Fullan, 2007)
»» Que reúnan el doble registro de ciudadanía y la construcción de competencias docentes, acompañadas de implica-
ción crítica y práctica reflexiva (Perrenoud, 2001).

Así, es plausible plantear como hipótesis de trabajo que a una sociedad y economía del conocimiento debe correspon-
derle, de manera interactiva, crítica y retroalimentadora, una pedagogía del conocimiento y una gestión del conocimiento.
Desde el eje de la pedagogía del conocimiento se pueden construir y producir: i) procesos educativos basados en el apren-
dizaje y no en la enseñanza, buscando desarrollar competencias y resultados efectivos de aprendizaje y no solamente
cumplir con los objetivos curriculares; ii) pedagogías horizontales, más participativas, flexibles y constructivistas del
conocimiento; y, iii) pedagogías abiertas al mundo de la información y del conocimiento pero con estrategias adecuadas
de conducción de los procesos formativos. Desde el eje de la gestión del conocimiento, por otro lado, habrá que dinamizar
procesos que propicien: i) comunidades de aprendizaje en la escuela, para romper con la fragmentación institucional y,
sobre todo, la soledad y el aislamiento del trabajo docente; ii) sistemas menos burocratizados y cada vez con mayor liber-
tad y capacidad para impulsar proyectos de innovación y mejora; y, iii) climas de trabajo más participativos, democráticos
y de corresponsabilidad educativa y social.
Los planteamientos anteriores deberán de enriquecer los marcos actuales de la buena enseñanza, buscando ser ele-
mentos activos y dinamizadores de procesos educativos innovadores que permitan generar rutas de mejora efectiva.
Alrededor de la pedagogía y la gestión del conocimiento deberán de tejerse los entramados y propuestas de trabajo entre
la definición de estándares, los resultados de la evaluación asociados a su cumplimiento y los diversos factores que in-
fluyen en el desempeño docente. Como se muestra en el Cuadro 2, la relación entre dimensiones de la buena enseñanza,
el marco normativo para la evaluación docente actual en México y un primer acercamiento a los factores que influyen en
el desempeño docente, permite generar diversos espacios de intervención para redefinir el rol de la evaluación en línea
con las nuevas exigencias de la sociedad del conocimiento, las pedagogías del aprendizaje y la escuela como un nuevo
espacio de gestión de la evaluación y de la producción y distribución del conocimiento. Todo ello debiera reflejarse en la
construcción de una nueva autonomía de los sujetos y de los espacios formativos.
Ergo: la evaluación docente debe estar situada y significativamente estructurada en torno a tres ámbitos centrales de
construcción y desarrollo de autonomía.

Autonomía de los centros escolares y fortalecimiento de los liderazgos profesionales

Para ello es necesario que la evaluación busque hacer visible y reconocer la importancia de los siguientes aspectos: i) la
existencia de una normalidad mínima, es decir, asistir, trabajar y cumplir con la jornada escolar; ii) liderazgo del director
que conduce, coordina e impulsa trabajo colaborativo y delega tareas para el cumplimiento de las metas educativas; iii)
cohesión de los equipos docentes y la presencia de un gran “ethos académico”; iv) preocupación por la planeación curri-
cular semanal y diaria, así como por los esquemas de seguimiento y evaluación; v) acabar con el anonimato pedagógico y
atender de manera diferencial a sus alumnos de acuerdo con sus necesidades; vi) llevar a cabo procesos de actualización
desde dentro de la escuela, con base en el reconocimiento de necesidades y el uso de las capacidades diferenciadas de los
propios docentes; y, vii) establecer un vínculo estrecho con los padres de familia y con la comunidad.

7
 Cuadro 2  Marcos de la buena enseñanza y la visión de los docentes
Charlotte Danielson1
Dominios y componentes
1. Planificación y preparación
Demuestra conocimiento del contenido
disciplinar y pedagógico
Demuestra conocimiento
de los estudiantes
Establece resultados académicos
Demuestra conocimientos de los recursos
Diseña una instrucción coherente
Diseña evaluaciones de los estudiantes
2. Entorno en el aula
Crea ambientes de respeto y confianza
Establece una cultura de aprendizaje
Administra los procedimientos de aula
Administra la conducta estudiantil
Organiza el espacio físico
3. Instrucción
Se comunica con los estudiantes
Usa técnicas de preguntas y discusión
Involucra a los estudiantes
en el aprendizaje
Usa las evaluaciones en la instrucción
Demuestra flexibilidad y capacidad
de respuesta
4. Responsabilidades profesionales
Reflexiona sobre la enseñanza
Mantiene los expedientes
Se comunica con las familias
Participa en una comunidad profesional
Crece y se desarrolla profesionalmente
Muestra profesionalismo
Fuente: elaboración propia con base en la literatura revisada
Danielson, C. (2000). The handbook for enhancing professional practice. Using for framework for teaching in yopur school.
1
Association for Supervision and Curriculum Development • Alexandria, Virginia USA.
Informe de Grupos Focales sobre factores que influyen en el desempeño escolar. Documento de trabajo interno. INEE (2015).
2
8
Artículo 14 de la Ley
de Servicio Profesional La voz de los docentes2
Docente México
Aspectos principales Factores que condicionan
de la función docente el desempeño docente
1. Organización y funcionamiento escolar
1.1 Escuela multigrado
1.Planeación 1.2 Ambiente laboral
1.3 Duplicidad de funciones
1.4 Liderazgo del director
1.5 Consejos Técnicos y Reuniones de Academia
2. Dominio 1.6 Turnos escolares
de los contenidos 1.7 Procesos educativos y administrativos
3. Evaluación 2. Organización y funcionamiento del aula
de los alumnos 2.1 Tamaño del grupo
2.2 Tiempo de clase
4. Ambiente en el aula
3. Infraestructura
3.1 Instalaciones
5. Logro de aprendizaje 3.2 Mobiliario completo y materiales
de los alumnos 3.3 Tecnologías y conectividad
4. Gestión institucional
4.1 Carga administrativa
4.2 Formación inicial y desarrollo profesional
4.3 Déficit de personal
(docente, de apoyo, administrativo)
4.4 Cambios en Planes y Programas
4.5 Vinculación entre niveles educativos
4.6 Recursos financieros
4.7 Supervisores, ATP y Jefes de materia
6. Prácticas didácticas 5. Características de los estudiantes
5.1 Actitudes hacía el docente y el trabajo en aula
5.2 Motivaciones personales
7. Diálogo con los padres 5.3 Adicciones y violencia
de familia y tutores 5.4 Alumnos con capacidades diferentes
8. Colaboración 6. Padres de familia
con la escuela 6.1 Participación de los padres de familia
en la educación de sus hijos
6.2 Expectativas y nivel de escolaridad
de los padres
6.3 Desintegración familiar
Comunidad
6.4 Aspectos Culturales
6.5 Pobreza
6.6 Migración y trabajo infantil
6.7 Narcotráfico e inseguridad
 Autonomía y liderazgo profesional en los propios centros de formación inicial
y programas de formación continua

Los centros de formación inicial y los programas de formación continua deben dar un salto significativo en su consti-
tución a efecto de que puedan desarrollar ambientes de reflexión y pensamiento de vanguardia, flexible, participativo,
creativo y responsable con las exigencias del campo profesional docente y con el desarrollo del conocimiento científico
y pedagógico.

Autonomía en el ejercicio de la función

Ello implica asumir al docente como profesional autónomo, lo cual tendrá que ser reflejado en competencias como las
siguientes: i) dominio adecuado de los contenidos de su disciplina; ii) dominio de la enseñanza de esos contenidos, o sea,
dominio de las didácticas especializadas; iii) dominio de capacidades para la coordinación y conducción de grupos; y, iv)
capacidades de autorregulación y ejercicio autónomo de la profesión, junto a capacidades para el trabajo colaborativo,
impulsar proyectos de mejora y tener sensibilidad y compromiso con el cambio educativo.

CONSIDERACIONES FINALES

En virtud de que al INEE le corresponde aprobar los elementos, métodos, etapas y los instrumentos para llevar a cabo la
evaluación en el Servicio Profesional Docente (Art. 28, Fracc. VIII, Ley del INEE); se vuelve indispensable desarrollar ejer-
cicios de reflexión sobre los criterios que orientarán la evaluación de los docentes. En este sentido, destaca la relevancia
de que dichos criterios se establezcan en concordancia con un modelo de formación y actualización de profesores que se
base en algunas enseñanzas y aportaciones de la experiencia internacional y de la propia experiencia mexicana. La lógica
de la autonomía y del fomento de los liderazgos profesionales será, sin duda, una ruta prometedora para una política de
evaluación docente en México.
Sin duda, los procesos de evaluación docente y las exigencias que de ellos se derivan, necesitan estar acompañados de
un esquema de formación y actualización que brinde las herramientas necesarias para que los profesores se desempeñen
mejor en su trabajo.

BIBLIOGRAFÍA

Arnaut Salgado, A. (2004) El sistema de formación de maestros en México. Continuidad, reforma y cambio, SEP, México.
Arnaut Salgado, A. (2008) “Origen, evolución y situación actual de la profesión docente en México”, en Tlamatini, el que
sabe y comparte. Textos de divulgación No.1, México, SEP.
Avalos, b.; Cavada, P.; Pardo, M., y Sotomayor, c. (2010): “La profesión docente: temas y discusiones en la literatura
internacional”. Estudios pedagógicos XXXVI, nº 1: 235-263.
Barber, M., y Mourshed, M. (2008). Cómo hicieron los sistemas educativos con mejor desempeño del mundo para
alcanzar sus objetivos. Chile: PREAL.
Birgin, A. y S. Duschatzky (1995) "Problemas y perspectivas de la formación docente", en Filmus, D. (Comp.) (1995).
Bolívar, A. (2010): La lógica del compromiso del profesorado y la responsabilidad del centro escolar. Una revisión de la
investigación. Revista iberoamericana sobre calidad, eficacia y cambio en educación (reice), 8(2), pp.10-33.
Bolívar, A. El lugar del centro en la política curricular actual. Más allá de la reestructuración y de la descentralización.
En Pereyra, M., García, J., Gómez, A., y Beas, M. (comps.). Globalización y descentralización de los sistemas educativos.
Fundamentos para un nuevo programa de la educación comparada. Barcelona: Pomares-Corredor.

9
 Carnoy, M., y Moura, Claudio de. (1997) ¿Qué rumbo debe tomar el mejoramiento de la educación en América Latina? Do-
cumento de antecedentes para el Banco Interamericano de Desarrollo. En Propuesta Educativa, núm. 17. Buenos Aires.
CEA (Cumbre Internacional de Educación). (1997) Profesionalización docente. México. UNESCO. Instituto de Estudios
Sindicales de América.
Consejo de Especialistas en Educación (2006). Los retos de México en el futuro de la educación. SEP. México
De Ibarrola, M. (1998) "La formación de los profesores de educación básica en el siglos XX", en Latapí Sarre, P. (Coord.)
(1998), Un siglo de educación en México, F.C.E., México, Tomo II, Capítulo XX.
De Ibarrola, M. et al. (1997) Quienes son nuestros profesores (Análisis del magisterio de educación primaria en el Distrito
Federal, 1995), Fundación SNTE para la Cultura del Maestro Mexicano, México.
Díaz Barriga, A. (2001). Estabilidad y cambio en las reformas curriculares. En: Ornelas, C. (Comp.) (2001). Investigación
y política educativa: ensayos en honor de Pablo Latapí. México: Santillana.
Draibe, S. Reforma educativa y calidad de las instituciones democráticas: observaciones sobre la experiencia latinoame-
ricana reciente desde el punto de vista de las condiciones institucionales de la gobernabilidad. En: Tenti, E. (Org.).
(2004). Gobernabilidad de los sistemas educativos en América Latina. Buenos Aires: IIPE-UNESCO.
Dubet, F. ¿Mutaciones institucionales y/o neoliberalismo? En: Tenti, E. (Org.). (2004). Gobernabilidad de los sistemas
educativos en América Latina. Buenos Aires: IIPE-UNESCO.
Fullan, M., y Hargreaves, Andy. (1992). Teacher Development and Educational Change. Ontario: Routledge Falmer.
Fullan, Michael (2007) “Mejoras en Colegios: requisitos para la formación de profesores”, en Revista Pensamiento Educativo.
Pontificia Universidad Católica de Chile. Vol. 4, no. 2, Diciembre.
Galván Lafarga, L.E. (2004) “Del arte de ser maestra y maestro a su profesionalización” en Publicaciones Digitales DGSCA
UNAM, disponible biblioweb.dgsca.unam.mx/diccionario/.../sec_15.htm [Accesado el 12 de agosto de 2010].
Habermas, J. (1987) Teoría de la Acción Comunicativa, I, Taurus, Madrid.
Hargreaves, A. (1995) Profesorado, Cultura y Postmodernidad. Morata, Madrid.
Ibarrola, M. de. (1996). Siete políticas fundamentales para la educación secundaria en América Latina. Situación actual
y propuestas. En: La educación secundaria. Cambios y perspectivas. México: Instituto Estatal de Educación Pública
de Oaxaca.
Kallós, D., y Staffan, S. Formación del profesorado y trabajo de los maestros en Suecia: estrategias de la reforma y reo-
rientación profesional. En: Popkewitz, T. (1994). Modelos de poder y regulación social en pedagogía. Crítica compa-
rada de las reformas contemporáneas de la formación del profesorado. Barcelona: Pomares-Corredor.
Miranda, López Francisco (2008). Educación Internacional y análisis comparado. Praxis, México.
OCDE. (1994) Quality in Teaching. Paris, France.
OCDE. (2004) Quality in Teaching. Paris, France.
Perrenoud, P. (2001). La formación de los docentes en el siglo XXI. Revista de Tecnología Educativa. Vol. XIV, Núm. 3.
Santiago de Chile: Facultad de Psicología y Ciencias de la Educación. Pp. 503-523.
Porlán, R. y A. Rivero (1998) El conocimiento de los profesores. España. Díada.
Rivkin, S., Hanushek, E., y Kain, J. (2005). Teachers Schools and Academic Achievement. Econometrica, Vol. 73, No. 2
(March, 2005), 417–458.
Rojas, F. Educación y pobreza: un desafío de equidad. En: Pieck, E., y Aguado, E. (Coords.). (1995). Educación y pobreza.
De la desigualdad social a la equidad. México: El Colegio Mexiquense-UNICEF.
Stavenhagen, R. Tendencias del debate educativo a nivel mundial. En: Núñez, C. (2004) (Coord.). Educar para construir un
sueño. Ética y conocimiento en la transformación social. México: ITESO/CELA/UPN.
Tenti, E. y Steinberg, C. (2010). Los docentes mexicanos - datos e interpretaciones en perspectiva comparada. IIPE -UNESCO
Buenos Aires y Siglo XXI (pp. 141-161), México.
Tenti, E. (1999) El arte del buen maestro. México, Pax.
UNESCO (2007), Estándares de competencia en TIC para docentes. Londres. Enero.
UNESCO (2015). Education for All 2000-2015: achievements and challenges. UNESCO.
Vaillant, D. (2010): Iniciativas mundiales para mejorar la formación de profesores. Revista brasilera de estudios pedagógicos,
v. 91, pp. 543-561, Brasilia.
Vezub, l. (2010): el desarrollo profesional docente centrado en la escuela. Concepciones, políticas y experiencias.
IIPE - UNESCO Buenos Aires. Parte I (pp. 10-22).
10
El entramado de la educación,
la política y la evaluación del Instituto
Tecnológico Superior de Zapopan
14 de marzo de 2015
 El entramado de la educación,
la política y la evaluación del Instituto
Tecnológico Superior de Zapopan
Mercedes Guadalupe Limón Sánchez
Maestra en Desarrollo Educativo, Universidad Autónoma de Guadalajara, México.
bebalimons@yahoo.com.mx
María de Guadalupe Gómez Malagón
Maestra en Ciencias, Universidad Pedagógica Nacional, México.

PALABRAS CLAVE: P olítica educativa; evaluación y aseguramiento de la calidad educativa; participación

y gobernanza.
EJE TEMÁTICO: 1. Modelos y políticas de evaluación de docentes y de directivos escolares

Resumen
Esta comunicación ofrece un panorama sucinto del proceso y resultados de la investigación que, sobre las polí-
ticas de evaluación educativa para el aseguramiento de la calidad, ha desarrollado una de las autoras como tesis
de grado de maestría. Inicialmente se ofrece información referida a la problemática que se aborda, haciendo un
recorrido breve por la literatura que desde los campos de la política y de la evaluación educativa, apuntalan y
enmarcan la construcción del objeto de estudio, así como las rutas y límites de su análisis. Se presenta el sustento
teórico-metodológico que estructura la investigación, mismo que se inscribe en el análisis de las políticas públicas
de aseguramiento de la calidad como evaluaciones institucionales en el contexto de la construcción de un caso par-
ticular: el Instituto Tecnológico Superior de Zapopan, ubicado en el estado de Jalisco, México. Es en este referente
empírico que la participación del personal docente, organizado en cuerpos colegiados y de los directivos, resulta
fundamental y cobra sentido desde la gobernanza como eje analítico de las políticas antes mencionadas. Para
finalizar se exponen algunos datos y argumentos desarrollados a manera de análisis de resultados y de posibles
líneas de estudio posterior.

INTRODUCCIÓN

La educación, como espacio público y como sector concreto de la política social, se constituye como un ámbito de inte-
racción que regula la relación Sociedad–Estado y en el que las políticas educativas son la expresión directa de esa inte-
racción entre ambas entidades: la educación y la política. La micro-política de la institución escolar es la arena en la que
los sujetos, a través de su participación activa, pueden apropiarse de los espacios públicos y generar procesos de cambio
institucional ante las políticas educativas que les exigen sus instituciones. Esta participación colegiada de los sujetos, que
entendemos como gobernanza, es el entramado conceptual que permitió conocer los significados de la evaluación exter-
na que otorgan docentes y directivos del Instituto Tecnológico Superior de Zapopan (ITSZ)1 a la acreditación de carreras
y la certificación de procesos.

El Instituto Tecnológico Superior de Zapopan nace en septiembre de 1999 con el fin de impulsar el desarrollo de la región centro del Estado de Jalisco,
1

egresan de este instituto ingenieros en diversas ramas tecnológicas cuyo desempeño profesional se valora como competente ante las exigencias
del sector productivo. Consultar: www.itszapopan.edu.mx
2
 En la carrera por el aseguramiento de la calidad, las instituciones de educación tecnológica se encuentran bajo la
presión de las evaluaciones externas y de la exigencia de formar grupos de trabajo, como los comités de acreditación
de programas ó los comités para la calidad, vía la certificación del proceso académico administrativo por la norma ISO
9001-2000, todo esto con el objetivo de implementar los procesos de calidad para la rendición de cuentas a través de la
evaluación (SEP-PNE 2001-2006) (UNESCO, 2002).
El estudio de las políticas de la evaluación educativa para el aseguramiento de la calidad en el ITSZ, se fundamentó en la
revisión de los programas educativos gubernamentales, así como del recorrido histórico de los procesos de evaluación en
educación superior, a partir de los referentes teóricos del desarrollo de las políticas públicas y política educativa (Parsons,
1997; Aguilar, 2007 y 2008) así como del nuevo institucionalismo (Dimaggio y Powell, 1999) y de las conceptualizaciones
consideradas fundamentales sobre la evaluación (Scriven, 2005; Díaz Barriga, 1996 y 2008).

DESARROLLO

El enfoque de las políticas públicas que se suscribe, está centrado en el análisis de problemas, y en cómo estos problemas
forman parte de la agenda de políticas públicas. El cuestionamiento específico es: ¿De qué manera el problema del asegu-
ramiento de la calidad entra a la agenda del gobierno?
Los problemas públicos se enmarcan dentro de una realidad, en la que los valores las creencias, las ideologías, los
intereses y los prejuicios influyen en la recepción de la realidad. En el caso de la educación, son estos problemas los que
determinan las percepciones y construcciones que de la realidad se hacen los actores (Parsons, 2007), ya que disponen
de un contexto organizacional o gubernamental que ejerce gran influencia en la forma en que son estructurados.
La agenda pública de la educación superior que fijan organismos internacionales plantea que el aseguramiento de la
calidad es un punto imprescindible para la formación de recursos humanos con capacidades y habilidades técnicas y pro-
fesionales, así como el desarrollo de una cultura política ciudadana. Bajo este argumento, las instituciones de educación
superior (IES) y el gobierno, establecen una relación cercana, con el fin de desarrollar conocimientos en beneficio de las
instituciones, las empresas y la población en general, redefiniendo el desarrollo de las universidades y su vinculación con
el sector productivo. Ello otorga a las IES un papel estratégico en el desarrollo económico del país (Pallan, 1994).
Los principales actores que intervienen en la agenda pública de la educación superior, son el gobierno, la sociedad y
las IES. Las relaciones de gobierno y sociedad, así como la relación de las instituciones de educación superior y la socie-
dad, determinan la política pública con base en el interés público. Es a través de la gestión gubernamental que se deberán
garantizar cantidad y calidad en el servicio de estas instituciones (Valenti y del Castillo, 1997).
El problema que se plantea al gobierno, a la sociedad y a las IES, es ¿Cómo articular parámetros complejos como la
calidad y la competitividad, en contextos también complejos dados los impactos multidimensionales que se generan en
la práctica de los servicios educativos?
No es fácil responder a esta interrogante, el gobierno establece programas de rendición de cuentas vía la evaluación,
sin la intervención de los otros agentes, llevando a las instituciones educativas a cumplir con los estándares y no a esta-
blecer un modelo de calidad funcional desde la institución escolar, omitiendo así los procesos de las políticas públicas.
El problema de la calidad se situó en la agenda pública a partir de la expansión de la matrícula estudiantil y de la de-
finición de la educación como motor de desarrollo del país, de ahí que la calidad fue considerada un problema que debía
ser resuelto por las agencias gubernamentales.
Los procesos de evaluación se determinaron a partir de las recomendaciones de organismos internacionales como
la UNESCO, el Banco Mundial entre otros, condicionando el financiamiento de las instituciones a la rendición de cuentas
(UNESCO, 1998). La principal fuente de financiamiento de las IES proviene de recursos públicos, su asignación, a partir
de la modernización de la educación, se vincula a la evaluación y ésta al aseguramiento de la calidad.
Este vínculo evaluación-financiamiento, ha sido un factor decisivo en la aceptación de los procesos de evaluación
por parte de las IES ; lo que desvirtúa el significado formativo de la evaluación y su carácter de retroalimentación, al
tiempo que fortalece su carácter judicativo, venciendo la resistencia inicial derivada de la recompensa económica (Díaz
Barriga, 2008).

3
 Esto adquiere diferentes significados para las IES, dependiendo de su contexto organizacional, por lo que es desde
la nueva gestión pública que nos explicamos el impacto de la política educativa de la evaluación. El uso de componentes
organizacionales como indicadores de desempeño, de descentralización de entidades administrativas, de competencia en
el sector público, de estilos gerenciales del sector privado en el público, de disciplina y austeridad en el uso de recursos,
creación de estándares de desempeño, de rendición de cuentas, de orientación de los servicios al cliente, de productivi-
dad, lo que constituye una nueva gestión pública como modelo de gobernar (Aguilar, 2008). Es la evaluación el centro de
la política educativa, donde la profesionalización de docentes, funcionarios e instituciones, pasa a ser una constante de la
gestión educativa en la que la evaluación se orienta al control de resultados y condiciona el financiamiento.
Este contexto impacta en las instituciones de educación superior como el ITSZ, en las que el presupuesto condicionado
a la rendición de cuentas y el control de los procesos mediante las evaluaciones, ocasionan cambios radicales en las insti-
tuciones educativas, adquiriendo nuevos significados para directivos y docentes. El sentido de estos significados, su cons-
trucción e impacto institucional, permite, desde la gobernanza, indagar alternativas de cambio que desarrollen modelos
de calidad funcionales y establezcan procesos permanentes de mejora, a partir del análisis y de la investigación educativa.

Sobre la estrategia metodológica

El estudio de las políticas educativas de aseguramiento de la calidad de la educación tecnológica que imparte el ITSZ
fue de corte cualitativo, a través del análisis de políticas públicas objetivadas en el discurso de los actores. Ello permitió
analizar también, las opiniones de los actores sobre aspectos del proceso de evaluación en un caso descriptivo (Stake,
2006; Ferrini, 1997; Sánchez Moreno y López Yáñez, 1996). Este entramado conceptual fue el andamiaje utilizado para
dar cuenta de los significados que directivos y cuerpos colegiados otorgan a las políticas educativas de aseguramiento
de la calidad como la evaluación, acreditación y certificación de procesos institucionales. Una tesis central que dirigió la
búsqueda, fue que los significados que otorgan los actores son socialmente construidos a partir de sus contextos y expe-
riencias (Berger y Luckmann, 1968).
La estrategia investigativa se centró en la construcción de un estudio de caso: el ITSZ, en el que las herramientas me-
todológicas fueron la encuesta y el guión para la discusión de grupos focales. Para esto último se establecieron reuniones
con los cuerpos colegiados formados para la acreditación de carreras, y para la certificación del proceso académico-ad-
ministrativo por ISO 9001-2000. Este dispositivo permitió conocer una aproximación de cómo se dieron los procesos de
calidad en el ITSZ.

Sobre los resultados

Desde la experiencia tanto de directivos como de los cuerpos colegiados del ITSZ, se coincide en que la evaluación
generó un exceso de burocratización, puesto que las diferentes evaluaciones a las que se ven sometidos como IES, exigen
la producción de trámites diversos y la multiplicación de informes. Este exceso de tareas impide tanto el desarrollo aca-
démico de los docentes, como su dedicación a actividades trascendentales propias.
Esta condición de la evaluación establece una relación de seguimiento circular entre las IES y el gobierno, generán-
dose inconformidades y tensiones que no reflejan la condición misma o las características de la calidad de los procesos
educativos que se pretende valorar. Así, la evaluación es solamente cuantitativa y deja a un lado variables que requieren
de tiempo y sensibilidad, así como el desarrollo de estrategias de valoración académica diversas para contextos institu-
cionales diversos.
No se ha avanzado sobre las implicaciones que tienen en el campo de la política educativa, las investigaciones sobre
la evaluación de la evaluación. A este respecto, en la literatura actual se afirman que son estas implicaciones, un eje de
articulación importante en el desarrollo de los procesos de autoevaluación y evaluación institucional, condición que po-
sibilita la participación y el análisis-crítico de todos los actores involucrados en el proceso y no solo aquellos designados
desde la parte gubernamental.

4
 Hemos confirmado que los directivos de educación superior reconocen abiertamente las bondades de una política
educativa que planeta a la evaluación y autoevaluación como herramientas para conocer fortalezas y debilidades institu-
cionales, y para acercarse de mejor manera a la realidad educativa, sobre todo a la hora de diseñar los programas opera-
tivos para alcanzar las metas institucionales y nacionales. Y que, a pesar de ello, el proceso de constitución de los equipos
participantes, refleja un desinterés y poca valoración del proceso mismo (Díaz Barriga, 1996)
Constatamos también que algunos aciertos de la evaluación como política de aseguramiento de la calidad de la edu-
cación en las IES, son evidencia de la experiencia significativa acumulada por las mismas instituciones y sus actores, a
partir de las acciones estratégicas que se generan en el proceso evaluativo, experiencia que amplía el conocimiento de las
instituciones (UNESCO, 2003)
Son dos los temas que resaltan en la interpretación de los resultados: primero la falta de participación en la dinámica
del establecimiento de la política del aseguramiento de la calidad, tanto desde el personal docente, como desde los di-
rectivos de primer nivel. En segundo lugar, destacan las inconsistencias con relación a la acreditación y la certificación, la
misma terminología no está debidamente definida y en algunos casos, el director es el único que posee o puede compartir
este conocimiento.
La participación en la acreditación y certificación solo es en la implementación, el análisis del impacto al interior de
la institución no se ha desarrollado debido a los tiempos tan apretados que se manejan en las agendas internas, así como
la complejidad de los procesos y la carga de trabajo. Esto genera una competencia por lograr los estándares, no solo para
la rendición de cuentas, sino para asegurar el financiamiento que requiere el desarrollo de la institución y de manera im-
portante, también existe la preocupación permanente de perder el puesto, por no alcanzar los estándares. Esta dinámica
no permite desarrollar el análisis y el debate, que lleve a tomar mejores decisiones por parte de los directivos, mucho
menos dedicar tiempo a conocer los significados que los cuerpos colegiados le dan a la calidad y como se puede dar el
aprendizaje colectivo a partir de estos estudios.

CONCLUSIONES: LA GOBERNANZA COMO ENTRAMADO

DE LA EDUCACIÓN, LA POLÍTICA Y LA EVALUACIÓN

El análisis de los procesos de evaluación y acreditación que realizan las IES como el ITSZ, permite afirmar la necesidad
de establecer condiciones que den mayor autonomía a las instituciones y a los actores de las mismas para enfrentar los
retos, la complejidad y el constante cambio que les exige la realidad nacional y el mudo globalizado actual. Esto significa
incluir en la agenda educativa la gobernanza como estrategia y herramienta de politica educativa en educación superior,
particularmente en cuanto a los procesos evaluativos.
Importa también reflexionar sobre nuevos modelos de conducción que promuevan potencialidades institucionales
autogestivas que dentro del espacio escolar permitan a la institución designar sus propios órganos de coordinación en
función del modelo de calidad que establezca de acuerdo a su contexto. El democratizar las escuelas implica
Establecer una política educativa en la que la evaluación se considere un elemento importante de la gobernanza,
donde el aula y la institución sean el centro de la mejora del sistema educativo llevaría a democratizar a las institucio-
nes educativas de todos los niveles. Aquí la responsabilidad es un factor que da sentido a la gobernanza, en la que no
sólo el Estado es responsable de la definición, implementación y evaluación de los procesos educativos con el fin de
asegurar la calidad; el compromiso y la dedicación por parte de la comunidad educativa son variables que permiten su
desarrollo también.
En síntesis, subrayamos la necesidad de establecer una política de evaluación, donde los criterios y definiciones de
ésta, tomen en cuenta a los actores y les permita desarrollar una evaluación positiva que repercuta en la mejora educativa.
Sabemos que no es suficiente, que no es posible cambiar con palabras un territorio institucional que es fundamentalmente
político (Ibarra y Porter, 2007) por lo que es necesario fortalecer una cultura política al interior de las IES que propicie
una activa participación y refuerce nuestra capacidad de asociación o construcción de gobernanzas posibles, para pro-
poner y operar estrategias y/o modelos de evaluación que nos permitan a los actores que hacemos a las instituciones,
valorar la calidad educativa en todas sus dimensiones.

5
 BIBLIOGRAFÍA

Aguilar, L.F. (2007). La implementación de las Políticas. Porrúa. México.

Aguilar, L.F. (2008). Gobernanza y gestión pública. FCE. México.
Berger, P. L. y Luckmann, T (1968). La construcción social de la realidad. Amorrortu Editores S.A., Argentina.
Cohen, L. y Manion, L. (1990). Métodos de Investigación Educativa. Madrid: La Muralla.
Copaes. (2003). Antecedentes, situación actual y perspectivas de la evaluación y acreditación de la educación superior en
México. Documento para IESALC-UNESCO. México.
Dimaggio, P. J. y Powell. W. (1999). El nuevo institucionalismo en el análisis organizacional, FCE, México.
Díaz Barriga, Á. et al. (2008). Impacto de la evaluación en la educación superior mexicana. Edit. IISUE , México.
Díaz Barriga, Á. (1996). Contexto nacional y políticas públicas para la educación superior en México 1950-1995, Centro de
Estudios Sobre la Universidad, UNAM, México.
Ferrini, R. (1997) Metodología de elaboración de casos. México. Dirección de desarrollo académico, ITSM, México.
Ibarra, E. y Porter, L. (2007). Dilemas de la evaluación del trabajo académico: ¿estamos preparados para transitar del
castigo a la valoración? En: Díaz Barriga, A. y Pacheco MT. (comps) Evaluación y cambio institucional, México, Paidós,
págs.146-172.
Pallán, F. (1994). Los procesos de evaluación y acreditación de las IES en México en los últimos años. En: Revista de Edu-
cación Superior. No. 91. Julio-Sept.
Parsons, W. (2007). Políticas públicas. Flacso. Argentina.
Sánchez Moreno, M. y López Yáñez, J. (1996) "La metodología del estudio de casos: una aplicación a la enseñanza de la
Organización Escolar" En Zabalza, M.A. (ed.) Reforma educativa y Organización escolar, Volumen: I. Tórculo: Santiago
de Compostela.
Scriven, M. (2005). El Método evaluativo de Scriven orientado hacia el consumidor. En Evaluación sistemática. Paidos.
España. p.p. 341-373
SEP. Plan Nacional de Educación 2001-2006. 2001. México.
SEP. Plan Nacional de Educación 2007-2012. 2007. México.
SEP. Programa Institucional de Innovación y Desarrollo, ITSZ, 2007-2012. 2007. México.
Stake, R. (2006) Investigación con estudio de casos. Madrid, Morata.
UNESCO. (1995). Documento de Política para el cambio y el desarrollo de la Educación Superior. París: UNESCO.
UNESCO. (1998). La Educación Superior en el Siglo XXI. Visión y Acción (Documento de Trabajo) París. UNESCO.
UNESCO . Foro Mundial de la UNESCO . (2002). Foro Mundial sobre Garantía de Calidad, Acreditación y Reconcomiendo
de Cualificaciones en la Educación Superior. París. UNESCO.
UNESCO. Foro Mundial de la UNESCO. (2003). Internacional de la Educación Superior. UNESCO. París. UNESCO.
UNESCO. (2003). Antecedentes situación actual y perspectivas de la evaluación y acreditación de la educación superior
en México. IESALC-UNESCO
UNESCO. (2007). Aseguramiento de la calidad de la Educación Superior. APEID-UNESCO
Valenti, G. y Del Castillo, G. (1997). “Interés Público y Educación
Superior: un enfoque de política pública”, en Mungaray, A. y Valenti G. Políticas Públicas y Educación Superior. México:
ANUIES, p. 89118.

6
La práctica pedagógica de la matemática:
el caso de profesores exitosos
en educación secundaria
14 de marzo de 2015
 La práctica pedagógica de la matemática:
el caso de profesores exitosos
en educación secundaria
Ramón Leonardo Hernández Collazo
Maestría, Centro Chihuahuense de Estudios de Posgrado, México.
rlhcollazo@msn.com

PALABRAS CLAVE: Práctica docente, enseñanza de las matemáticas, educación básica.

EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo

Resumen
Se presentan los resultados de la fase exploratoria de una investigación enfocada a identificar factores asociados al
rendimiento académico en matemáticas en el estado de Chihuahua. En el estudio se determinan las características
de la práctica pedagógica de profesores de matemáticas de las distintas modalidades de secundaria considerados
como exitosos en la ciudad de Chihuahua. La investigación se ubica en un paradigma cualitativo, se buscaron iden-
tificar factores críticos de la práctica docente caracterizándola desde las acciones descritas y evidenciadas desde la
propia práctica mostrada por los sujetos, desde sus visiones y desde las fuentes materiales y testimoniales revisa-
das. El análisis de la información siguió un procedimiento inductivo sustentado en la teoría fundamentada, donde
la práctica instruccional exitosa surge de la propia evidencia empírica (práctica instalada) y no de la configuración
de la teoría existente. Los sujetos de estudio fueron aquellos docentes de matemáticas reconocidos socialmente
por su desempeño profesional. Con el estudio se identifican componentes relevantes de la práctica pedagógica
de la matemática, factores como las formas de gestión del aula, estrategias instruccionales efectivas, formas de
evaluación, secuencias didácticas y hasta imaginarios de buena práctica en matemáticas. Las lecciones permiten
ubicar patrones típicos y excepcionales de enseñanza, de organización y gestión de la clase que proponen los do-
centes. Además se reconocen los dilemas que enfrentan los profesores al tratar de responder por un lado a las
demandas de las reformas curriculares y por otra parte esconder las rutinas y tradiciones que todavía emplean
y que les resultan efectivas.

INTRODUCCIÓN

En este reporte se presentan los resultados de la fase exploratoria de un proyecto enfocado a identificar factores aso-
ciados al rendimiento académico en matemáticas en el estado de Chihuahua. Se definen las características de la práctica
pedagógica de profesores de matemáticas de las distintas modalidades de secundaria considerados como exitosos en la
región en estudio. La evidencia solo representa una muestra de las particularidades y condiciones que en la cotidianidad
enfrentan estos profesionales y que la práctica docente de la matemática no solo se deriva de la formación o capacitación
profesional, sino que se construye y reconfigura en el trabajo diario, en las acciones y reacciones que el contexto les im-
pone, y que es en la propia experiencia o práctica instalada y ejercida en el aula donde se pueden descubrir y recuperar

2
 los modelos, los haceres, las rutinas y los procedimientos que conforman su desempeño profesional. Se identifican fac-
tores críticos de buena práctica en matemáticas, la práctica pedagógica se revisa tratando de dilucidar la teoría instalada
en las aulas y desde la perspectiva y lógica de los propios profesores y de sus estudiantes. Las lecciones permiten ubicar
modelos típicos y excepcionales de enseñanza y de organización y gestión de la clase que proponen los docentes.

DESARROLLO

Planteamiento del problema

El proceso exploratorio del estudio responde a la necesidad de contar con mayor información respecto a la dimensión del
nivel de aula –donde se incluye al profesor- y los factores asociados al rendimiento, objeto de estudio que aun cuando ha
sido estudiado a nivel empírico sus aportes se focalizan al nivel de educación primaria y las variables que se reconocen
con asociaciones significativas, se orientan en aspectos sociodemográficos del docente y/o en características del grupo
clase, sin profundizar en aspectos esenciales y más cualitativos de la práctica pedagógica de la matemática instalada y
desarrollada en el aula de clase. En México, el estudio de los efectos del profesor en el rendimiento se ha centrado en va-
riables asociadas al perfil del profesor (Experiencia, ausencia/presencia, número de grados atendidos y días de trabajo)
y no en elementos inherentes a su práctica pedagógica o en su habilidad instruccional (Carvallo, 2005).

Objetivos

»» Identificar las características de la práctica pedagógica de profesores de matemáticas considerados como exitosos
en el nivel de educación secundaria.
»» Descubrir componentes y patrones de desempeño de buena práctica pedagógica de profesores de matemáticas.

Acercamiento conceptual de referencia

Profundizar en el estudio y comprensión de la práctica docente de la matemática, implica necesariamente indagar y con-
siderar aquellos referentes conceptuales que desde la evidencia empírica señalan distinguir el trabajo de los profesores
y su influencia en el rendimiento de los estudiantes.
La investigación sobre el impacto del maestro en el aprendizaje de los estudiantes ha estado más encaminada al per-
fil y características del profesor que a su práctica o habilidad docente. La formación continua, la estabilidad laboral, el
contar con altas expectativas hacia los estudiantes, la permanencia constante y la persistencia basada en el compromiso
y el esfuerzo de los docentes se ubican como aspectos críticos del profesor (Wilson, 2002, McKinney, 2007 y Montero,
Villalobos y Valverde, 2007).
Estudios enfocados en la práctica y capacidad docente identifican entre los factores más importantes: las formas
instruccionales como el partir de conocimientos previos, emplear ejemplos, iniciar con problemas o estrategias de corte
constructivista producen efectos positivos en el logro, mientras que la enseñanza centrada en la memoria, en la promo-
ción frontal y en el aprendizaje colaborativo afectan negativamente el desempeño (Hattie, 2009, Loera et al, 2005; Carva-
llo, 2006 y Wilson, 2002). Una trayectoria significativa, positiva y directa fue identificada entre enseñanza constructivista
y logro en matemáticas (Wilson, 2002). Heck (2010) identifica como mejores profesores a los que utilizan varios métodos
de instrucción (aprendizaje cooperativo, tutoría de pares, actividades en computadora).
Estudios de nivel correlacional sobre el trabajo del docente identifican asociaciones significativas en situaciones
donde se reta a los estudiantes a pensar y resolver problemas por ellos mismos o juntos como grupo, proponer ejemplos
resueltos, problemas y los pasos apropiados para su resolución reduce la carga cognitiva y promueve la concentración

3
 en el proceso de resolución y no solo en el resultado, proporcionar retroalimentación (feedback) durante la lección, la
presión académica y el hecho de dejar tarea influyen en el rendimiento (Phillip, 1997 y Hattie, 2009). Así mismo los ni-
ños pueden aprender cuando se les provee con explicaciones claras de lo que significa "dominio" del material enseñado
(conocimiento del contenido matemático) Blum, Baumert y otros (2010).

Metodología

La investigación es básicamente de naturaleza cualitativa, buscando de manera inductiva un acercamiento al objeto de

estudio. El estudio busca descubrir o generar, desde un contexto delimitado y real aquellos, factores y características
que explican el fenómeno de la práctica instruccional efectiva. La teoría fundamentada o Grounded theory que proponen
Glaser y Strauss (1967), sirve de sustento para tratar de identificar y comprender, desde los propios datos y a partir
de un procedimiento inductivo, la teoría instalada en la realidad. La teoría fundada o también llamada “emergente”
(Loera, Cazares, Hernández, y Hernández, 2005), se constituye en una metodología general para desarrollar teoría que
está basada en datos que son sistemáticamente recogidos y analizados (Strauss y Corbin, 1994), es decir para descubrir
la teoría que emerge desde los datos. La elección de los docentes considerados como exitosos (3 profesores: uno por
cada modalidad de secundaria) se basó en criterios de reconocimiento profesional hacia su trabajo y de los resultados de
aprovechamiento obtenido con sus estudiantes, para este efecto se entrevistó a directivos, funcionarios y asesores técnico
pedagógicos de secundaria y se revisaron los resultados de aprovechamiento promedio de sus estudiantes en matemáti-
cas (del grado) de los 2 últimos ciclos escolares comparándose con los resultados de otros docentes de la zona y región.
En la recolección de información se emplearon técnicas como la entrevista semiestructurada (Colás y Buendía, 1998),
cuestionarios, el diario de clase de matemáticas y el portafolio pedagógico de matemáticas (Loera, Cazares, Hernández,
y Hernández, 2005). La información recopilada se revisó mediante la estrategia de identificación de unidades conversa-
cionales (Ruíz del Cerro, 2003), también se recurrió a desarrollar análisis matricial (Miles y Huberman, 1994), donde los
datos se organizaron por categorías, subcategorías e informantes, consiguiendo con ello, una distribución y despliegue
que permitió una lectura y análisis comparativo de la misma. Por otra parte se utilizó el programa Qualrus1 para organi-
zar y comparar diferentes fuentes, permitiendo identificar patrones recurrentes y atipicidades de y desde los datos.

Resultados

Los resultados se presentan a partir de abordar los aspectos que emergen del análisis de los datos, cada categoría de aná-
lisis se desarrolla en dos sentidos, desde el ámbito de cada modalidad de secundaria seleccionada y/o de manera general,
formulando conclusiones y/o posibles hipótesis derivadas de la información.

La organización del grupo

La estrategia de organización más recurrente en los casos analizados es la distribución de los estudiantes en equipos.
Tanto docentes, estudiantes y expertos ubican esta forma de organización como la más pertinente para desarrollar la lec-
ción de matemáticas, reconocen en el trabajo por equipos una estrategia que permite intercambiar ideas, puntos de vista
y hasta formas diversas de resolución de problemas matemáticos. Profesores y expertos en matemáticas señalan además
que al trabajar en equipos o en grupos responden a la normativa que les marcan los planes y programas de la asignatura
de matemáticas. La organización donde los alumnos se ubican individualmente en filas o la tradicional organización
grupal, es otra estrategia muy utilizada por los profesores, menos reconocida en su discurso, pero de recurrente apari-
ción en la evidencia observada en la investigación (portafolios, diarios, cuestionarios y entrevistas) y en los comentarios

Qualrus: The Intelligent Qualitative Analysis Program, prestigiado programa de análisis cualitativo que presenta la peculiaridad de proponer
1

sugerencias de categorización conforme se le proporciona información.

4
 de los diferentes informantes. En el caso de la escuela secundaria técnica, la organización del grupo se establece depen-
diendo de la naturaleza del contenido a desarrollar en la clase de matemáticas, cuando se trata de un contenido simple o de
fácil comprensión para los alumnos, el docente propone el trabajo por equipos. En el caso de una clase donde se trabaja un
contenido complejo, la lección se desarrolla a partir de la explicación o introducción del contenido por parte del profesor,
mientras los estudiantes de manera grupal se ubican en filas y sentados individualmente. En telesecundaria la organiza-
ción del grupo se presenta generalmente de forma individual o en binas cuando se trata de trabajar alguna actividad del
libro o ejercicio en el cuaderno; cuando se involucra un contenido complejo y que no logran desarrollar las actividades en
equipo, el docente explica a todo el grupo. En secundaria general se organiza usualmente en equipos.

Formas de evaluación

Se identifican acciones de evaluación en el desarrollo de la lección y en momentos formales de evaluación. Estrategias

como la revisión de tareas al inicio o antes de comenzar la clase, la retroalimentación mediante correcciones, revisión de
ejercicios, sugerencias de procedimientos de resolución de problemas u operaciones, el cuestionamiento o la solicitud
de argumentación ante la presentación de resultados o en la puesta en común de productos, así como aquellas acciones de
comprobación o demostración de lo aprendido, son ejemplos de maniobras de evaluación o de monitoreo del progreso
desarrolladas por los profesores. Mientras que la consideración de criterios diversos como el examen, los portafolios de
evidencias de trabajo, los trabajos, los niveles de participación y el nivel de desempeño mostrado, se establecen como
indicadores para la calificación final o parcial de los estudiantes en la clase de matemáticas.

Formas de introducir contenidos

Dentro de las formas de enseñanza que más suelen utilizar los profesores se ubica la tradicionalmente conocida explica-
ción del contenido o procedimiento matemático. En diferentes momentos de la secuencia didáctica de enseñanza y con
características diferentes en su contenido y atributos según la modalidad de secundaria, la estrategia de introducir expli-
cando el contenido se advierte como una manera recurrente de enseñar. Se emplea cuando los contenidos de matemáticas
resultan complejos de comprender o que requieren de algún referente o conocimiento previo de los estudiantes. La expli-
cación generalmente se da de manera frontal ante el grupo de estudiantes, quienes se ubican de manera individual para
facilitar que pongan atención al docente, solo en secundaria general se organizan siempre en equipos, pero la explicación
se da al nivel de todo el grupo.
En relación al contenido de la explicación, los profesores recurren a desarrollar sus explicaciones con el apoyo de
ejemplos que ilustran el contenido trabajado, parten de graduar el conocimiento de lo más fácil a lo más difícil, otros
emplean material concreto o alternan dibujos en su explicación para facilitar el aprendizaje. De manera especial cuando
se trata de procesos de resolución de problemas o ante el manejo de fórmulas complejas, los profesores destinan buena
parte de su explicación a detallar por pasos la estrategia de resolución.
Otra estrategia de introducción de contenidos es el uso de monitores que apoyan en el proceso de aprendizaje de los
estudiantes. Los profesores seleccionan a estudiantes para que en los momentos de desarrollo de ejercicios o de activida-
des, apoyen a compañeros que no logran completar las tareas o que no comprenden el contenido.
Una alternativa más es la ejecución de un repaso de parte de los profesores, es el espacio donde se dedican a recordar
temas revisados en una secuencia de clase o al final de un bloque temático, retroalimentan conceptos o procedimientos
tratados y con ello reafirman el aprendizaje de los estudiantes y los preparan para completar el examen oficial, institu-
cionalizado en la evaluación escolar de los tres casos analizados. Los profesores de telesecundaria y de secundaria gene-
ral promueven una especie de competencias entre los estudiantes cuando resuelven problemas o realizan ejercicios, se
reconoce a quien termina primero un trabajo o al que lo hace o resuelve de mejor manera. Los profesores de secundaria
general y de secundaria técnica desarrollan actividades previas ante contenidos difíciles o que requieren conocimientos
previos de los estudiantes.

5
 Uso de material didáctico

Los materiales didácticos que más se evidencian en la práctica instruccional de la matemática son aquellos de tipo
audiovisual, como el uso de la televisión, el proyector digital y los programas de computadora. Material concreto como
recortes, objetos, formas geométricas y carteles también son utilizados, particularmente en el caso de secundaria ge-
neral. El material concreto es usualmente empleado por los estudiantes para actividades que requieren la construcción
individual o en equipo de algún objeto de apoyo al abordaje del contenido o cuando se necesita manipuleo de materiales
que favorezcan la comprensión del conocimiento matemático. Los profesores lo emplean para abordar o introducir un
contenido matemático. En otro sentido, el material instruccional se utiliza para confirmar y reafirmar contenidos revi-
sados durante la clase.

Imaginario de buena práctica pedagógica

En la visión de buena práctica pedagógica, una característica recurrente entre los profesores es el hecho de conocer al
alumno, tener información no solo de su nivel de desempeño, sino hasta cuestiones personales, virtudes y defectos, eso
permite contar con herramientas para comprenderlos, ubicar necesidades de aprendizaje y apoyarlos en consecuencia.
Ese conocimiento del estudiante viene acompañado por otro aspecto: la generación de un ambiente de confianza en los
estudiantes, la búsqueda de una relación de amistad, más que un intercambio de docente a alumno, fortalece la comuni-
cación y la confianza.
Otra cuestión que destaca es la preocupación porque los estudiantes aprendan, particularmente en la modalidad
de secundaria técnica y telesecundaria, por ejemplo al estar explicando algún contenido, darse a entender, saber que
comprendieron y no pasarse a otro tema sin antes no estar seguros de que todos lograron el conocimiento. Profesores
con iniciativa, que demuestren creatividad en las actividades y estrategias que proponen, con ello se propicia el interés
y la motivación de los estudiantes (telesecundaria y secundaria técnica). En secundaria general resulta importante una
práctica docente con sentido común, donde se pueda actuar eficazmente según la situación o el contexto que se presente.
Desde la perspectiva de los estudiantes, el mejor profesor de matemáticas es aquel que explica más y de diferentes
formas, que introduce contenidos o procedimientos a detalle, que se preocupa por el aprendizaje y atiende a los que no
entienden, que incluso explica al inicio de clase o antes de que los estudiantes traten de acercarse o descubrir por si mis-
mos el contenido. Es un docente que propicia la participación individual, de equipo y de manera grupal, particularmente
pasando al frente o al pizarrón a los estudiantes. El buen profesor hace sus lecciones dinámicas, interesantes y entreteni-
das, proponiendo actividades diversas, creativas y no monótonas.

CONCLUSIONES

En este estudio se ha tratado de profundizar en aquellos componentes de la práctica pedagógica que desarrollan profe-
sores exitosos en matemáticas. La evidencia empírica, las percepciones y los testimonios encontrados permiten delinear
algunos patrones de desempeño docente que parecen iluminar respecto a factores de la práctica pedagógica que sin pa-
recer extraordinarios pueden hacer la diferencia en procesos concretos de enseñanza y de aprendizaje de la matemática
en la escuela secundaria mexicana.
Se confirma la idea de que la práctica docente es un objeto de estudio relevante que debe abordarse si se desea com-
prender la naturaleza de la enseñanza y del aprendizaje y si se busca profundizar en los factores causales del rendimiento
académico de los estudiantes.
En una práctica pedagógica exitosa en matemáticas confluyen componentes no solo provenientes de la formación de
los profesores, sino que en la cotidianidad del aula se amalgaman la experiencia efectiva, el conocimiento matemático
y la pericia o tacto para resolver eficazmente las situaciones docentes.

6
 Situaciones que podrían catalogarse como “tradicionales” o que no encajan en los nuevos enfoques pedagógicos de la
matemática, siguen empleándose por los profesores con buenos resultados. La explicación frontal del contenido o pro-
cedimiento matemático, el uso de estudiantes monitores y la promoción de competencias y estímulos entre los alumnos
son algunas de estas acciones que continúan vigentes en estas prácticas exitosas.
La explicación del contenido o la instrucción a detalle de algún procedimiento matemático sigue siendo la estrategia
más efectiva para promover el aprendizaje en matemáticas. La explicación frontal a los alumnos como estrategia de abor-
daje se ubica con mejores resultados cuando se trata de introducir contenidos matemáticos nuevos o complejos.
Variables como la organización pertinente del grupo, formas variadas de evaluación y retroalimentación del apren-
dizaje, el repaso y la demostración de contenidos, así como estrategias eficaces de enseñanza y resolución de proble-
mas resultan efectivas cuando se proponen en el momento idóneo, con la maniobra adecuada y cuando se tiene claro el
propósito de su aplicación. El docente exitoso sabe cuándo actuar, cómo hacerlo y lo más importante reconoce por qué
intervenir de determinada manera. La práctica pedagógica por tanto, se traduce en una intervención racionalizada y con
sentido del efecto que produce, no se improvisa sino que se actúa de acuerdo a la circunstancia y a la experiencia efectiva.
Existen componentes de la práctica exitosa en matemáticas que pudieran parecer acciones recurrentes entre los pro-
fesores, lo que otorga valor agregado es el momento en el que se propone durante la secuencia didáctica y el propósito
con el que se ejecuta.
El estudio aun cuando devela situaciones concretas del trabajo en el aula, se enfoca en la práctica de profesores con
buen desempeño en matemáticas, una tarea pendiente en investigación sería contrastar con prácticas docentes de profe-
sores sin reconocimiento profesional y que obtienen menores niveles promedio en los resultados de rendimiento de sus
estudiantes, además de profundizar en la enseñanza de contenidos matemáticos específicos del nivel de secundaria. Por
otra parte sería conveniente indagar acerca de la posible interacción de factores de la práctica docente con aquellos al
nivel del docente, de la escuela y de los estudiantes y su asociación con el rendimiento académico.
Aceptar los resultados encontrados no significa que se deba dejar de lado los actuales enfoques y postulados de
la matemática y de los programas de la asignatura en secundaria, los profesores exhiben prácticas que recuperan los
nuevos planteamientos, buscan seguir la normatividad, no obstante mantienen aquellos aspectos que les ofrecen re-
sultados. En la práctica concreta se conservan rutinas exitosas y se instalan nuevos haceres que dan sentido y lógica al
accionar docente.

BIBLIOGRAFÍA

Baumert, J, Kunter, M, Blum, W, Brunner, M, Voss, T, Jordan A, Klusmann, U, Krauss, S, Neubrand, M, Tsay, Y. (2010) Teachers'
Mathematical Knowledge, Cognitive Activation in the Classroom and Student Progress. American Educational Research
Journal. 47: 133
Carvallo, M. (2005). Análisis de los resultados obtenidos en estudios de eficacia escolar en México, comparados con
los de otros países. REICE, 80-108.
Carvallo, M. (2006). Factores que afectan el desempeño de alumnos mexicanos en edad de educación secundaria: un estudio
dentro de la corriente de eficacia escolar. En REICE, Vol. 4. No. 3. P 30-53.
Colás, M., & Buendía, L. (1998). Investigación Educativa. Sevilla: Alafar.
Glaser, B., & Strauss, A. (1967). The Discovery of Grounded Theory: strategies for qualitative research. New York: Aldine
Publishing Company.
Hattie, J. (2009). Visible learning. A synthesis of over 800 meta-analyses relating to achievement. Routledge, Taylor &
Francis group. New York. 378 p.
Heck, R. (2010). "Proposing and testing a multilevel model of school and teacher effects on student achievement".
At Analyzing school contexts. Influences of Principals and Teachers in the services of students. IPA Information
Age Publishings Inc. USA. Pp. 39-69.
Loera, A., Cazares, O., Hernández, E., & Hernández, R. (2005). Reporte Nacional Fase 2 Telesecundaria. Evaluación Cualita-
tiva del Programa Escuelas de Calidad 2002-2004. S.F.: Heuristica Educativa.

7
 McKinney, S & et al (2007) Addressing urban high-poverty school teacher attrition by addressing urban high-poverty
school teacher retention: why effective teachers persevere. Educational Research and Review Vol. 3 (1), pp. 001-009.
Explorado el día 26 de mayo de 2008 del sitio http://www.academicjournals.org/ERR
Miles, M., & Huberman, A. (1994). Qualitative Data Analysis. An Expanded Sourcebook. California, USA: SAGE Publication,
Thousand Oaks.
Montero, E., Villalobos J y Valverde, A. (2007). Factores institucionales, pedagógicos, psicosociales y sociodemográficos
asociados al rendimiento académico en la UCR: Un análisis multinivel. RELIEVE, v 13, n. 2 p 215-234. Explorado el 23
de mayo de 2009 del sitio: http://www.uv.es/RELIEVE/v13n2/RELIEVEv13n2_5.htm
Phillips, M., (1997) What makes schools effective? A comparison of the relationships of Communitarian climate and Ac-
ademic climate to Mathematics achievement and attendance during middle school. American Educational Research
Journal. Vol. 34, No 4. Pp. 633-662
Ruíz del Cerro, J. (2003). La investigación cualitativa. Una metodología gráfica de las narraciones procedentes de entre-
vistas a profundidad. Encuentros en psicología social, 39-48.
Strauss, A., & Corbin, J. (1994). Grounded theory methodology: An overview. Thousand Oaks, CA: Sage.
Wilson, B and et al, (2002). The Relations Among School Environment Variables and Student Achievement: A Structural
Equation Modeling Approach to Effective Schools Research. Washington School Research Center. Technical Report #4.
November, 2002. Explorado el día 3 de junio del sitio: www.spu.edu/wsrc

8
Avaliação da política de educação no sistema
privativo de liberdade de adolescentes
14 de marzo de 2015
 Avaliação da política de educação no sistema
privativo de liberdade de adolescentes

Irandi Pereira
Doutora em Educação pela Universidade de São Paulo, docente do Mestrado Profissional Adolescente em Conflito
com a Lei da Universidade Anhanguera de São Paulo e coordenadora do Núcleo de Estudos, Pesquisa Adolescente
e Gestão Pública (Nepag), Brasil.
irandip@gmail.com

PALAVRAS- CHAVE: Educação. Política socioeducativa. Avaliação. Adolescente infrator.

PALABRAS CLAVE: Educación. Política Socio. Evaluación. Adolescente infractor.
KEYWORDS: Education. Socioeducational policy. Evaluation. Adolescent offender.
EJE TEMÁTICO 1: Modelos y políticas de evaluación de docentes y directivos escolares

Resumo
Este artigo tem como objetivo apresentar considerações sobre a avaliação da política pública de educação em
espaços de privação de liberdade em desenvolvimento no Brasil. Algumas premissas sobre avaliação são trazidas
para o debate da educação e sua relação com a política pública socioeducativa ao adolescente em conflito com a
lei. As pesquisas, tanto no trato da política de educação quanto da política socioeducativa ao adolescente privado
de liberdade, ainda são incipientes apesar de reconhecidas como direitos fundamentais e diante do interesse su-
perior de adolescentes enquanto pessoas sujeitos de direitos.

Resumen
Este artículo tiene como objetivo presentar las consideraciones sobre la evaluación de las políticas públicas en ma-
teria de educación en las zonas de privación de libertad en fase de desarrollo en Brasil. Algunos supuestos acerca
de la evaluación se ponen en la discusión de la educación y su relación con las políticas públicas socio adolescentes
en conflicto con la ley. La investigación, tanto en el trato con la política de la educación como la situación socio
política a la libertad adolescente privado, son aún incipientes aunque reconocidos como derechos fundamentales
y en los mejores intereses de los jóvenes como sujetos de derechos.

Abstract
This article objective is to present considerations about the educational public policy in development in Brazil in
places of deprivation of liberty. Some premises about evaluation are brought to debate of education and its rela-
tion with the socioeducational public policy for the adolescents in conflict with the law. Researches, both in dea-
ling with education policy as the socioeducational policy for the adolescent deprived of liberty, are still incipient,
though recognized as fundamental rights and before the best interests of adolescents as persons subject to rights.

2
 INTRODUÇÃO

Este artigo objetiva apresentar considerações sobre a avaliação da política pública de educação brasileira nos espaços de
privação de liberdade, e o recorte recai sobre seu desenvolvimento no interior do sistema de atendimento socioeduca-
tivo de adolescentes em conflito com a lei. Por adolescente em conflito com a lei entende-se a pessoa entre 12 e 18 anos
de idade, envolvida em determinadas circunstâncias de cometimento de ato infracional - seu percurso nos sistemas de
Justiça (na aplicação de medida socioeducativa) e do Executivo (na apuração do ato infracional e na execução da política
socioeducativa) e, notadamente, sobre as relações estabelecidas nesse percurso com familiares, pares, profissionais e
sociedade em geral.
Algumas premissas sobre avaliação são trazidas ao debate da política de educação e sua relação com a política socioe-
ducativa. Por política socioeducativa compreende-se o sistema de atendimento nos três âmbitos da administração públi-
ca (federal, estadual e municipal), com suas diferentes competências, atribuições e especificidades na atenção direta e/
ou indireta ao adolescente no cumprimento de medida judicial. Tais premissas encontram-se em diferentes documentos
públicos como no Plano Nacional Decenal da Educação (2011-2020), no Plano Nacional Decenal de Direitos Humanos de
Crianças e Adolescentes (2012-2021) e no Plano Nacional Decenal de Atendimento Socioeducativo (2013-2022).
A política de educação nos espaços de privação de liberdade de adolescentes é de responsabilidade do sistema esta-
dual de educação, considerando-se a natureza das políticas de direitos humanos (transversalidade) e a socioeducativa
(incompletude institucional). E, assim, deve trazer, para o interior do sistema socioeducativo, diferentes modalidades de
educação, matrizes curriculares, estratégias e metodologias de ensino, processos avaliativos, certificação e, ainda, os pro-
fissionais necessários ao desenvolvimento da educação escolar (docentes, gestores e operacionais) e material didático e
pedagógico.
Estudos e pesquisas sobre avaliação da educação no sistema socioeducativo, como da própria política socioeducativa,
são incipientes apesar do reconhecimento, na legislação brasileira, dos direitos fundamentais e do interesse superior do
adolescente na condição de sujeito de direitos, sua condição peculiar de pessoa em desenvolvimento, expressos em trata-
dos internacionais da Organização das Nações Unidas e ratificados pelo governo brasileiro.
A avaliação da educação escolar no interior do sistema socioeducativo ganha destaque a partir do ordenamento ju-
rídico-institucional, após 1988. Tem duas dimensões: a macro, que trata da avaliação do sistema socioeducativo nos três
âmbitos da administração pública brasileira, e a micro, que incide sobre a atenção direta ao adolescente em cumprimento
de medida judicial.

DESENVOLVIMENTO

Política socioeducativa e política educacional

A política pública socioeducativa é aquela voltada ao adolescente em conflito com a lei que, por decisão judicial e após
o devido processo legal, deve cumpri-la no interior do sistema de atendimento socioeducativo. A idade mínima de res-
ponsabilização penal é 18 anos e o adolescente responde por seus atos conforme determina o ordenamento jurídico e
institucional especial: as leis federais nº. 8.069/90 (Estatuto da Criança e do Adolescente – ECA) e nº 12.594/12 (Sistema
Nacional de Atendimento Socioeducativo - Sinase). As medidas têm caráter restritivo de liberdade (Prestação de Serviços
à Comunidade e Liberdade Assistida) e privativo de liberdade (Semiliberdade e Internação), além de outras1 (BRASIL,
ECA, 1990).
Na aplicação de uma medida socioeducativa é preciso considerar a capacidade do adolescente em cumpri-la, levan-
do-se em conta o princípio da dignidade humana e o respeito à sua condição peculiar de pessoa em desenvolvimento,

Art. 112 – Verificada a prática de ato infracional, a autoridade competente poderá aplicar ao adolescente as seguintes medidas: I. Advertência;
1

II. Obrigação de reparação do dano; III. Prestação de Serviços à Comunidade; IV. Liberdade Assistida; V. Inserção em regime de Semiliberdade.
VI. Internação em estabelecimento educacional; VII. Qualquer uma das previstas no art. 101, I a VI (BRASIL, ECA, 1990).

3
 a brevidade de tempo para o cumprimento da medida, a natureza dos regimes de atendimento, o caráter de responsabili-
zação e de não punição do envolvido nos espaços dos programas socioeducativos. A natureza jurídica das medidas socio-
educativas tem três dimensões: uma sancionatória e restritiva de direitos, outra de responsabilização como apropriação
ou compreensão sobre o ato praticado, seu significado pessoal e social e, ainda, como garantia dos direitos sociais pela
condição peculiar de pessoa em desenvolvimento e sujeito de direitos (BRASIL, ECA, 1990).
No caso da privação de liberdade de adolescentes, o Estado brasileiro é o responsável principal pela tutela daqueles
e por isso é impedido constitucionalmente de transferi-la a outro tipo de iniciativa. No caso do regime aberto, o acom-
panhamento poderá ou não ser realizado direta (entidades governamentais) e/ou indiretamente (entidades não gover-
namentais) desde que estas tenham programas inscritos e cadastrados em órgãos públicos responsáveis pela política
socioeducativa e mediante parceria ou convênio formal entre as partes.
A política socioeducativa é concebida transversalmente e por isso depende, para a sua execução, das demais políticas
públicas. Ela integra o sistema de garantia de direitos de modo interinstitucional (entre os Poderes Judicial, Legislativo
e Executivo), intersetorial (educação, saúde, assistência social, esporte, cultura, lazer, trabalho, moradia) e, por deco-
rrência, as práticas têm caráter interdisciplinar. Enquanto modelo sistêmico de atendimento, a execução das medidas
socioeducativas é de responsabilidade dos três entes federados com funções normativas, executivas, avaliativas e de con-
trole. O ente federado estadual é o responsável pela criação e manutenção de programas socioeducativos de privação de
liberdade (Internação, Internação Provisória e Semiliberdade), e o municipal, pelos serviços em meio aberto (Prestação
de Serviços à Comunidade e Liberdade Assistida).
No Brasil, o levantamento, ano base 2011, realizado pela Secretaria de Direitos Humanos da Presidência da República
(SDH-PR), indicava a presença, no sistema nacional de atendimento, de 107.617 adolescentes em cumprimento de medi-
das socioeducativas, sendo 19.595 em privação de liberdade e 88.022 em restrição de liberdade e, desses, 86,91% são do
sexo masculino e 13,09%, do feminino. A população total de adolescentes entre 12 e 18 anos incompletos é de pouco mais
de 20 milhões e, desses, 0,9% cumpria alguma medida privativa de liberdade (BRASIL, IBGE Censo, 2010). Tais dados são
subestimados uma vez que não figura entre eles a aplicação de outras medidas socioeducativas (Advertência e Obrigação
de Reparar o Dano) de iniciativa e finalização da Justiça da infância e da juventude e por não comportar a organização de
programas de atendimento.
A educação nos contextos privativos de liberdade (adulto e jovem) se insere no debate da diretriz “Educação para to-
dos”, já proclamada como um direito humano na Declaração Universal dos Direitos Humanos (1948), documento-referên-
cia da ONU para a edição de outros tratados complementares. A educação, enquanto direito humano, é concebida como
a realização da educação ao longo da vida, segundo a Conferência Mundial Sobre Educação para Todos (Jontien, 1990)
e a resolução nº 1.990/20 do Conselho Econômico e Social das Nações Unidas (24/05/1990), recomenda, aos privados
de liberdade, a garantia do acesso à educação (alfabetização, educação básica, formação profissional, educação física,
esporte, ensino superior, serviços de biblioteca). E, a Declaração Universal dos Direitos Humanos (1948), no artigo 26,
afirma que “toda pessoa tem direito à educação” e a Declaração Mundial sobre Educação para Todos (Jontiem, 1990), em
seu preâmbulo, defende que ainda persistem o descaso e/ou a desatenção pública com a educação escolar dos privados
de liberdade e uma educação com indicadores de qualidade.
No Brasil, com a Constituição Federal (1988), a atenção ao adolescente em conflito com a lei ganha novos contornos,
considerando-se a adoção do paradigma da doutrina da proteção integral, expresso em diversos documentos da ONU (um
conjunto de direitos para todas as crianças e adolescentes, sem nenhum traço discricionário). Esse modelo, centrado no
reconhecimento desse grupo etário como sujeito de direitos, reforçou o direito à educação pública e, com isso, a neces-
sidade de se criar mecanismos para a garantia, acompanhamento e avaliação dessa obrigatoriedade no sistema nacional
de atendimento socioeducativo.
Os artigos 205 a 213 da Carta Magna asseguram os direitos educativos aos brasileiros, incluindo os que se encontram
em contextos de privação de liberdade e aos que não tiveram acesso à educação na idade apropriada. A LDB (1996) não
contempla dispositivos específicos sobre a educação no sistema de privação de liberdade; contudo ratifica a decisão cons-
titucional da educação para todos, e a modalidade Educação de Jovens e Adultos (EJA) tem sido a mais desenvolvida nes-
ses contextos. O Plano Nacional de Educação Nacional de Educação de 2001(PNE, 2001), dentre os objetivos e metas da
educação de jovens e adultos, previu o desenvolvimento em todas as unidades de privação de liberdade (sistema prisional
(adultos) e sistema socioeducativo (adolescentes) de programas de educação para os reclusos de nível fundamental e

4
 médio e formação profissional, incluindo, também, o fornecimento de material didático e a oferta de educação a distância
(BRASIL, PNE, 2001). Já, o ECA (1990), nos incisos X e XI do artigo 94, estabelece que cabe às unidades de internação “ga-
rantir a escolarização dos internos”, e, no parágrafo único do artigo 123, estende as atividades pedagógicas à Internação
Provisória e, na Semiliberdade, as ações escolares devem ser realizadas nas escolas da comunidade do mesmo modo que
as medidas em meio aberto (PEREIRA, 2006; 2012).
Ao adolescente em privação de liberdade há uma série de documentos internacionais da ONU que trata da garantia
das necessidades básicas da pessoa menor de idade (proteção especial), e a prevenção da delinquência juvenil é parte
essencial da prevenção do delito na sociedade e o tratamento institucional deve assegurar cuidado, proteção, educação e
formação profissional com a possibilidade de que o adolescente desempenhe papel construtivo e produtivo para si e para
a coletividade. As Regras de Beijing (1990), ao remeter aos que se encontram em medidas de internação (privação de
liberdade), “assegurar seu cuidado, proteção, educação e formação profissional para permitir-lhes que desempenhem um
papel cognitivo e produtivo na sociedade”. As Regras Sobre a Proteção dos Jovens Privados de Liberdade (1990), dispõe
sobre a gestão da educação, considerando que “todo jovem em idade de escolaridade obrigatória terá o direito de receber
um ensino adaptado às suas necessidades e capacidades e destinado a prepará-lo para sua reintegração na sociedade”.
Para tanto, o ensino deve estar a cargo de “professores competentes, através de programas integrados ao sistema de
ensino público para que, quando sejam postos em liberdade, os jovens possam continuar seus estudos sem dificuldade”.
Sobre a educação, o ECA (1990), dedica parte do capítulo IV e nos artigos 53 a 58, dispõem que “a criança e o adoles-
cente têm direito à educação, visando ao pleno desenvolvimento de sua pessoa, preparo para o exercício da cidadania e
qualificação para o trabalho”. Para isso, devem ser assegurados desde o direito à igualdade de condições para o acesso e
permanência na escola ao respeito de seus educadores - o de contestar critérios avaliativos e o de recorrer às instâncias
escolares superiores e de organizar e participar em entidades estudantis - e, o mais importante, ter acesso à escola públi-
ca e gratuita, próxima de sua residência (artigo 53).
Na reafirmação do direito constitucional, presente no artigo 208, destaca-se no ECA no § 2º do artigo 54, dentre
outros deveres do Estado, que a não garantia de ensino obrigatório pelo poder público, ou mesmo a sua oferta irregular,
importa responsabilidade da autoridade competente. O artigo 56 e seus incisos I, II III, respectivamente, definem que os
dirigentes de estabelecimentos de ensino fundamental comunicarão ao Conselho Tutelar os casos de maus-tratos envol-
vendo seus alunos, a reiteração de faltas injustificadas e de evasão escolar, esgotados os recursos escolares e os elevados
níveis de repetência. O CT tem papel precípuo em zelar pelos direitos e fiscalizar a sua garantia e, nesse caso, é o articu-
lador entre a escola e o sistema de Justiça. Já o artigo 57 destaca que o poder público “estimulará pesquisas, experiências
e novas propostas relativas a calendário, seriação, currículo, metodologia, didática e avaliação, com vistas à inserção de
crianças e adolescentes excluídos do ensino fundamental obrigatório”. Nesse sentido, há a possibilidade de enfrentar o
tema da exclusão do ensino fundamental e de compreender melhor esse fenômeno e as alternativas mais adequadas para
superá-lo. A modalidade de educação escolar ofertada aos adolescentes em privação de liberdade no sistema socioedu-
cativo de atendimento tem priorizado a modalidade Educação de Jovens e Adultos (EJA); contudo, outras modalidades
poderiam ganhar destaque, como também, a oferta da educação escolar em tempo integral. O reconhecimento legal do
direito à educação para os adolescentes em privação de liberdade não tem sido acompanhado de medidas efetivas para
a sua garantia de forma sistemática e com qualidade no interior do sistema socioeducativo, segundo indicam estudos na
área (PEREIRA, 2006; PEREIRA; ZAMORA; ALAPANIAN, 2014).
Os dados levantados pelo Conselho Nacional de Justiça (CNJ), por meio do “Projeto Justiça ao Jovem” (2012), mostra-
ram descompasso entre o discurso (a lei) e a realidade encontrada nas unidades de privação de liberdade: no período de
19/07/2010 a 28/10/2011, encontravam-se em cumprimento de medida socioeducativa privativa de liberdade 17.502
adolescentes, distribuídos em 320 estabelecimentos de internação e, desses, foram entrevistados 1.838 adolescentes
(10% do total geral de internos no país), analisados 14.613 processos judiciais e visitadas todas as unidades de interna-
ção, ao todo, 320. E, dentre uma série de quesitos, a escolaridade era um deles, considerando-se que o ECA (1990) deter-
mina que as unidades de privação de liberdade tenham o dever de promover a escolarização (de responsabilidade das
Secretarias de Estado da Educação). Do total de total de entrevistados, 91% eram alfabetizados e 8%, não alfabetizados e,
na média, declararam ter parado de estudar entre oito e 16 anos de idade e interrompido os estudos aos 14 anos. Antes
da aplicação da medida de Internação, 57% declararam que não frequentavam a escola e 86% deles estavam no ensino
fundamental, entre a 5ª. e a 6ª. séries (sem a conclusão da educação básica obrigatória) e apenas 11% deles, no ensino

5
 médio. E, no cumprimento da medida, 72% declararam frequentar a escola diariamente e, um dos motivos alegados para
ausência às aulas, foi por motivos de indisciplina e que a sanção geralmente aplicada pela unidade de atendimento é a não
presença às aulas, um contrassenso ao direito humano de crianças e adolescentes (BRASIL, CNJ, 2012).

CONCLUSÃO

A partir da presente reflexão, alguns indicativos podem servir de ponto de partida para as premissas de avaliação da
política de educação no interior sistema socioeducativo:
Adoção das orientações internacionais: a primeira se relaciona as referências definidas nos tratados internacionais
e, em especial, na Conferência Mundial sobre Educação (Jontien, 1990). E, nesse sentido, é preciso verificar se e como os
conteúdos da educação - os conhecimentos, as habilidades, os valores e as atitudes – se apresentam no sistema de aten-
dimento de adolescentes privados de liberdade; a segunda se trata da garantia “a todos os reclusos” do acesso “à educa-
ção, com inclusão em programas de alfabetização, educação básica, formação profissional” segundo resolução 1.990/20
(24/05/1990) do Conselho Econômico e Social das Nações Unidas;
adoção da norma nacional: é preciso avaliar se e como a política de educação é desenvolvida ao adolescente em pri-
vação de liberdade no sentido de sua promoção e possibilidades de (re)inserção social; também se e como a aquisição
de conhecimentos se desdobra em melhores condições para a vida pessoal do adolescente na relação com o tempo de
encarceramento ou se a presença às aulas significa apenas a ocupação do tempo disponível do adolescente internado
(JULIÃO, 2013);
unidades de atendimento: avaliar se e como as unidades de atendimento do sistema socioeducativo contemplam
os processos de elaboração e desenvolvimento do PPI e a educação, com o PPP, considerando-se aproximações e dis-
tanciamentos da ação entre os dois órgãos responsáveis pelo adolescente em cumprimento de medida socioeducativa
(Justiça e educação). E, na elaboração do PIA do adolescente, se e como se dá a presença dos profissionais da educação,
dos adolescentes e seus familiares, equipe técnica das unidades de atendimento e sistema de Justiça, em torno das metas
da educação escolar, tanto pelos internos quanto pela gestão das políticas de educação e ainda da gestão socioeducativa;
censo escolar: verificar se e como os adolescentes em privação de liberdade têm tido presença no censo escolar e
participado dos espaços de avaliação da educação em diferentes níveis (nacional e estadual);
decisão da medida socioeducativa e inclusão na escola forma: esse indicador é fundamental na avaliação, consideran-
do-se que se dá no período de tempo entre a decisão judicial da medida (justiça) e a inclusão do adolescente na escola
(executivo/unidade de atendimento);
metodologias e estratégias; modalidades de ensino; produção de material didático: considerar nos processos avalia-
tivos se, como e quais metodologias e estratégias de educação são utilizadas; quais as modalidades de ensino possíveis,
considerando-se as especificidades dos adolescentes (idade, inclusão/exclusão/abandono escolar, distorção idade e série
cursada) e a privação de liberdade; o desenvolvimento, produção e uso de material didático;
condições estudo e trabalho: as condições de estudo, com salas-ambiente, oficinas, bibliotecas devem ser avaliadas,
considerando-se que o espaço das unidades de atendimento não é apropriado para o desenvolvimento da educação esco-
lar e mesmo das atividades pedagógicas complementares, a parceria entre a política de educação e a política socioeduca-
tiva: as relações entre gestores, docentes, Justiça, adolescentes, familiares, socioeducadores;
formação continuada: avaliar a existência e a qualidade de projeto político de formação continuada para o corpo de
socioeducadores (sistema socioeducativo) e para os profissionais da educação (docentes, gestores, apoio operacional);
egressos do sistema: avaliar a inserção dos adolescentes na escola formal, extramuros do sistema socioeducativo,
para continuidade de seu processo educacional, da formação profissional, para o trabalho e para a vida sociofamiliar e
comunitária, entre outros indicativos.

6
 BIBLIOGRAFIA

BRASIL. Constituição Federal da República Federativa do Brasil, 1988.

_______. Estatuto da Criança e do Adolescente (Lei Federal 8.069), 1990.
_______. Lei de Diretrizes e Bases da Educação (Lei Federal 9.394), 1996.
_______. Ministério da Educação. Plano Nacional de Educação (PNE), Brasília, DF: INEP. 2001.
_______. Sistema Nacional de Atendimento Socioeducativo (Lei Federal nº 12.594), 2012.
BRASIL - SDH-PR. Levantamento Nacional do Atendimento Socioeducativo ao Adolescente em conflito com a Lei.
Brasília: Ministério da Justiça, Secretaria Nacional de Promoção dos direitos da Criança e do Adolescente da Presidên-
cia da República, 2012. Acessado em http.www.sedh.gov.br. 12/19/2013.
BRASIL - Presidência da República. Secretaria Especial dos Direitos Humanos. Conselho Nacional dos Direitos da Criança
e do Adolescente. Resolução no. 119 – Sistema Nacional de Atendimento Socioeducativo: parâmetros pedagógicos e
arquitetônicos). Conanda /; SDH-PR, 2006.
BRASIL. Conselho Nacional de Justiça. Panorama Nacional: a execução das medidas socioeducativas de Internação
(Programa Justiça ao Jovem), Brasília, 2012.
BRASIL - Fundação Instituto Brasileiro de Geografia e Estatística. Censo 2010,
JULIÃO, E. F. Uma visão socioeducativa da educação como programa de reinserção social na política de exe-
cução penal. http://www.ufsj.edu.br/portal2-repositorio/File/vertentes/Vertentes_35/elionaldo.pdf. Acessado em
12/11/2013.
KEIL, I. M. Direitos e liberdade – princípios geradores da educação de qualidade no ensino fundamental. In UNGARETTI,
M. A. (org.) Direito de crianças e adolescentes à educação no ensino fundamental, São Paulo : ABMP, 1ª, ed.,
2012..
LIBERATI, W. D. A gestão das políticas públicas para o adolescente em conflito com a lei no Estado constitucional. In
LIBERTATI, W. D. (Coord.) Gestão da política de direitos ao adolescente em conflito com a lei, São Paulo: Letras
Jurídicas, 1ª. ed., 2012.
NOMA, A. K; BOIAGO, D. L. Políticas públicas para a educação em contexto de privação de liberdade. In http://www.
utp.br/cadernos-de-pesquisa/pdfs/cad-pesq10/5-políticas-publicas-cp10.pdf. Acessado em 12/09/2013.
ONU. Declaração Universal dos Direitos Humanos, 1948.
_______. Convenção Americana sobre os Direitos Humanos (Paco de San José), 1969.
_______. Conferência Mundial sobre Educação para Todos (Jontien), 1990.
_______. Regras Mínimas das Nações Unidas para a Infância e a Juventude (Regras de Beijing), 1990.
_______. Regras Mínimas das Nações Unidas para a Prevenção da Delinquência Juvenil (Diretrizes de Riad), 1990.
_______. Regras Mínimas das Nações Unidas para a Proteção dos Jovens Privados de Liberdade, 1990.
PEREIRA, I. O Adolescente em conflito com a lei e o direito à educação. São Paulo, Faculdade de Educação da USP
(Tese de Doutorado), 2006.
PEREIRA, I., ZAMORA, M.H. N.R, ALAPANIAN, S. Política pública socioeducativa ao adolescente em conflito com a lei.
In MALACARNE, V. et.al. Violência e educação: em busca de novos olhares. Curitiba/PR, Editora CRV, 1ª. ed., 2014.

7
¿Cómo se enseñan las matemáticas en aulas
chilenas? Un estudio exploratorio del
conocimiento pedagógico del contenido
de los profesores chilenos
14 de marzo de 2015
 ¿Cómo se enseñan las matemáticas en aulas
chilenas? Un estudio exploratorio del
conocimiento pedagógico del contenido
de los profesores chilenos1
María Beatriz Rodríguez Frías*
Psicóloga, Magister en Psicología Educacional, Mide UC, Universidad Católica de Chile.
mrodriguezf@uc.cl
Ximena Patricia Carreño Campos
Profesora de Estado en Matemática, Magister © en Educación Matemática. Mide UC, Universidad Católica de Chile.
xcarreno@uc.cl
María Herminia Ochsenius Alarcón
Psicóloga, Magister en Psicología Educacional, Licenciada en Matemática. Magíster en Ciencias Exactas,
mención Matemáticas, Doctora en Ciencias Exactas, mención Matemáticas, Chile.
hochsen@mat.puc.cl
Carmen Verónica Muñoz Correa
Profesora de Estado en Matemática
cveronicamunoz@gmail.com

PALABRAS CLAVE: Evaluación docente, conocimiento pedagógico del contenido, enseñanza de las matemáticas.
EJE TEMÁTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen
Con el fin de aportar información útil para focalizar esfuerzos por fortalecer la educación matemática en escuelas chi-
lenas, este estudio explora en la evidencia disponible, recogida por el Ministerio de Educación en el Programa de Asig-
nación de Excelencia Pedagógica (AEP), sistema voluntario de evaluación docente. Mediante el análisis de videos de
clases de matemática que los postulantes presentan en el portafolio con el que son evaluados, se explora en prácticas
de enseñanza distinguidas como indicadoras del conocimiento pedagógico del contenido matemático, utilizando pau-
tas de codificación y rúbricas construidas para estos fines. Del análisis se identifican debilidades en las dimensiones
estudiadas: aunque en sus clases desarrollan explicaciones generalmente correctas y hacen adecuado uso de recursos
pedagógicos, la presentación de contenidos se limita a un solo enfoque, y presenta escasa articulación; las ocasiones de
promoción del razonamiento matemático y la interacción pedagógica con contenido matemático, también son insufi-
cientes. Adicionalmente, los resultados de este análisis se relacionaron con los obtenidos por los profesores en la Prueba
de Conocimientos Disciplinarios que también rinden en el marco del programa, obteniéndose resultados que sugieren
una relación positiva entre el conocimiento que los docentes poseen de la disciplina y sus habilidades para enseñarla.
Finalmente, se desprenden recomendaciones para la formación inicial y continua de los docentes de matemática y se
confirma la necesidad de fortalecer la comprensión conceptual profunda de la disciplina, de modo de focalizar las es-
trategias pedagógicas que se despliegan en el aula en la promoción de los aprendizajes matemáticos en los estudiantes.

Este estudio forma parte de uno mayor, financiado por el Fondo de Investigación y Desarrollo en Educación (Fonide), del Centro de Estudios
1

del Ministerio de Educación de Chile. El estudio completo, denominado “¿Cuánto saben de matemática los docentes que la enseña y cómo se relaciona
este saber con sus prácticas de enseñanza?” fue dividido en dos secciones que, debido a su extensión, se presentan por separado para Colmee 2015.
La parte complementaria se denomina ¿Qué saben de matemática los docentes que la enseñan?, y se presenta en ficha adjunta.

*Autor principal
2
 INTRODUCCIÓN

La importancia de que los profesores conozcan bien los contenidos que enseñan está establecida. El dominio disciplinario
del docente se ha vinculado empíricamente con los resultados de los estudiantes (Monk, 1994; Frome, Lasater y Cooney,
2005) y es considerado como un componente central en la definición de la calidad docente (Leinhardt y Smith, 1985; Ball
y McDiarmid, 1990; Mullens, Murnane, y Willett, 1996; Darling-Hammond y Young, 2002; Chambliss, Graeber y Clarke,
2003). Por otra parte, diversos estudios establecen que el conocimiento matemático necesario para la enseñanza es di-
ferente del requerido por profesionales de otros ámbitos relacionados con las matemáticas (Ball, Hill y Bass, 2005; Ma,
1999; Papick, 2011).
Esta noción, relativa a formas de conocer la disciplina desde una perspectiva pedagógica, se instala a partir del trabajo
de Lee Shulman (1987), quien introduce el constructo "conocimiento pedagógico del contenido" (CPC), como comple-
mentario y distinto del conocimiento del contenido y de las habilidades pedagógicas generales (Shulman, 1987).
Liping Ma (1999) compara profesores competentes en USA y China, mediante observaciones y entrevistas. Sus prin-
cipales hallazgos se relacionan con lo que ella denomina Comprensión Profunda de la Matemática Fundamental (CPMF),
presente en niveles significativamente inferiores en los profesores norteamericanos. Se caracteriza por la presencia de 4
atributos: Conexiones, presentación de múltiples perspectivas, énfasis en ideas básicas y coherencia longitudinal
entre contenidos del currículum (Ma, 1999).
Deborah Ball y Hyman Bass, de la Universidad de Michigan, especifican la noción de Conocimiento Pedagógico del
Contenido para la Enseñanza de las Matemáticas (CME) y se focalizan en las dimensiones del conocimiento útil en la sala
de clases y en lo que los profesores requieren saber para ser exitosos con sus estudiantes. Entre sus componentes está el
Conocimiento del contenido y los estudiantes, que refiere al proceso de aprendizaje de las matemáticas, sus dificultades y
errores frecuentes (Ball et al., 2005).
El presente estudio aspira a complementar estos hallazgos, mediante un modelo de análisis de la práctica de aula,
centrado en el conocimiento pedagógico del contenido matemático. Se espera proporcionar orientaciones para la foma-
ción inicial y continua de los profesores de matemática en Chile y con ello contribuir a mejorar la calidad de la enseñanza
de esta disciplina, lo que aún constituye un desafío prioritario para los sistemas educativos de nuestro país y la región.
Se utilizará evidencia disponible, recogida por el Ministerio de Educación de este país, en el marco de uno de los
sistemas de evaluación docente: el Programa de Asignación de Excelencia Pedagógica (AEP). Este sistema voluntario de
evaluación, mediante una prueba escrita (Prueba de Conocimientos Disciplinarios y Pedagógicos) y un Portafolio, identi-
fica a los maestros de excelencia y les otorga una serie de beneficios y reconocimientos para incentivarlos a permanecer
en las aulas.

DESARROLLO

Objetivo de estudio

Identificar y caracterizar prácticas de enseñanza de las matemáticas, definidas como indicadores del conocimiento pe-
dagógico del contenido, en clases de una muestra de docentes y vincular tales resultados con su dominio disciplinario.

Metodología

Para cumplir este objetivo, se analizaron 120 videos disponibles del programa AEP, de clases de ejes del curriculum Geo-
metría y Datos y Azar, que los profesores postulantes entregan como parte de su Portafolio, y se exploró en los aspectos
del desempeño docente que son objeto de este estudio y que no son evaluados por el programa. Adicionalmente, se con-
sideraron los resultados de estos profesores en la Prueba de Conocimientos Disciplinarios que rinden en esta evaluación.

3
 Instrumentos

1. Se elaboraron pautas de codificación y rúbricas, para recodificar los videos en función de las dimensiones identifi-
cadas. El proceso de construcción de estos instrumentos se ilustra en la Figura 1:

Figura 1  Proceso de construcción de pautas de codificación y rúbricas

Una vez que se contó con el conjunto definitivo de indicadores para ambas pautas, se generaron las rúbricas para
la evaluación de la evidencia, distinguiéndose para cada indicador cuatro niveles de desempeño. Las pautas definitivas
para cada eje temático, comparten la mayor parte de los indicadores (Tabla 1).

Tabla 1  Indicadores definitivos Pauta de Análisis Estudio 2

INDICADORES EJE
Precisión conceptual de las explicaciones. Geom y D y A
Uso correcto del lenguaje matemático y su notación. Geom y D y A
Uso de variados ejemplos o representaciones. Geom y D y A
Uso de metáforas. Geom y D y A
Presentación de múltiples perspectivas en la aproximación a una solución. Geom y D y A
Relación entre los contenidos tratados. Geom y D y A
Uso correcto de recursos y tecnologías. Geom y D y A
Uso de recursos y tecnologías pertinentes para contenidos de geometría. Geom
Monitoreo de la comprensión de contenidos matemáticos. Geom y D y A
Promoción del razonamiento matemático. Geom y D y A
Seguimiento de intervenciones de los estudiantes. Geom y D y A
Tratamiento de errores y dificultades de los estudiantes. Geom y D y A
Promoción de habilidades cognitivas para la comprensión de la geometría. Geom
Consideración de los conocimientos previos de los estudiantes. Geom y D y A
Calidad de la contextualización de los contenidos tratados. DyA
Promoción de habilidades de interpretación de datos y análisis crítico de la información. DyA
Promoción de habilidades de comunicación de la información a partir de los datos. DyA

2. Prueba de Conocimientos Disciplinarios AEP: instrumento diseñado para evaluar el dominio disciplinario de los pro-
fesores postulantes al programa AEP. La prueba para docentes de matemática se compone de tres preguntas de respues-

4
 ta construida y un total de 40 ítemes cerrados. Se utiliza para este estudio el resultado en este último set de preguntas.
Procedimiento

Las pautas y rúbricas construidas fueron piloteadas y luego aplicadas en la codificación de videos en un riguroso proce-
so de corrección precedido por una marcha blanca. Un equipo de 4 codificadores, docentes especialistas y de aula, fue
capacitado y los videos, asignados en forma anónima y aleatoria. Se programó un 20% de doble corrección para verificar
acuerdo interjueces.

Resultados

De la recodificación de los videos se obtuvo una calificación del desempeño de los docentes en los indicadores definidos
como clave para la enseñanza del contenido.
Se presentan los resultados globales del conjunto de indicadores para cada eje 2, en una escala del 1 al 4, puntajes
asociados a cada uno de los cuatro niveles de desempeño en que podía ser clasificada la evidencia.

Figura 1  Resultados Prácticas de Enseñanza de la Geometría (puntajes promedio)

En las clases de Geometría, se establece que los docentes evaluados obtienen, en promedio, mejor desempeño en
el indicador Promoción de habilidades cognitivas para la comprensión de la geometría. Por otra parte, el indicador que
presenta resultados más bajos es Presentación de múltiples perspectivas en la aproximación a una solución. El promedio
se ubica en el segundo nivel de desempeño, indicando que los contenidos se abordan desde una sola perspectiva, pero
correctamente.

Se excluyen los indicadores de la pauta que eran evaluables solo en caso de observarse determinadas situaciones (Uso de metáforas, Uso de recursos
2

y tecnologías, Seguimiento de intervenciones con contenido matemático, Tratamiento de errores de los estudiantes, Promoción de la habilidad
de interpretación de datos y comunicación de la información a partir de los datos), pues en aquellos casos en los que tal situación no estaba presente,
el indicador no era calificado.

5
 Figura 2  Resultados Prácticas de Enseñanza de Datos y Azar (puntajes promedio)

En las clases de Datos y Azar, los indicadores que obtienen los mejores resultados son Uso de variados ejemplos, juegos
o experimentos. Al igual que en el eje de Geometría, el indicador Presentación de múltiples perspectivas en la aproximación
a una solución es el que presenta resultados más bajos, lo que podría indicar que la dificultad por parte de los docentes
de incorporar diversos enfoques para explicar los contenidos es transversal, y no depende del eje en el que se enseña.

Resultados en la Escala CPCM

Con los indicadores comunes a ambas pautas, se conformó una escala que denominamos Escala de Conocimiento Peda-
gógico del Contenido Matemático (CPCM) con la que se realizó un análisis factorial exploratorio, del que emergieron dos
subescalas que fueron utilizadas como variables en estudio y cuya correlación es de 0,4. Estas son:

»» Representación del conocimiento matemático: agrupa los indicadores relacionados con la presentación de los
contenidos, el rigor conceptual observado y la flexibilidad con que se opera con ellos en las explicaciones. Sus resul-
tados en las clases analizadas: explicaciones y uso del lenguaje y notación matemática mayoritariamente correctos
(se observan errores conceptuales en un 22% de las clases); ausencia casi absoluta del uso de metáforas; muy bajo
porcentaje presenta contenidos con más de un enfoque (9%); solo un tercio de los docentes establece relaciones
entre conceptos nuevos y anteriores o con conceptos básicos subyacentes.
»» Promoción del conocimiento matemático: agrupa indicadores relacionados con las acciones pedagógicas del do-
cente destinadas a promover en los estudiantes la comprensión y aprendizaje de los contenidos y procedimientos
matemáticos.

Sus resultados en las clases analizadas: menos de un tercio de los docentes realiza intervenciones en sus clases que
promueven el razonamiento matemático, un tercio realiza monitoreo de la comprensión de los contenidos matemáticos;
hay escasas intervenciones de contenido matemático de los estudiantes (12.5%) y cuando aparecen, solo en un quinto de
las ocasiones son recogidas y trabajadas por los docentes.

6
 Relación entre conocimiento pedagógico del contenido y dominio disciplinario:

Se correlacionó el desempeño en la prueba de conocimientos disciplinarios para los profesores integrantes de la muestra
y la escala CPCM. Las correlaciones obtenidas fueron bajas y ninguna de ellas estadísticamente significativa.
Complementariamente, se clasificó a los profesores evaluados por su desempeño en la escala CPCM (y en cada una de
las subescalas), usando el siguiente criterio:

»» No logrado: puntaje promedio entre 1 y 2.

»» Parcialmente logrado: puntaje promedio entre 2,1 y 2,9.
»» Logrado: puntaje promedio entre 3 y 4.

Se compararon niveles extremos (logrado y no logrado), en términos de sus desempeños promedio en la prueba de
conocimientos disciplinarios y en cada caso, se realizó un test t-student para muestras independientes. Los resultados,
en la Tabla 2.

Tabla 2  Puntaje en Prueba de Conocimientos Disciplinarios según logro en escala y subescalas CPCM

No logrado Logrado Diferencia

Escala
N Puntaje Prueba N Puntaje Prueba Puntaje Prueba Tamaño efecto
Representación 33 2,56 24 2,82 0,26 35%
Promoción 44 2,59 26 2,86 0,27 36%
CPCM 36 2,61 16 3,00 0,30* 53%

*Diferencia significativa al 10%

Tal como se aprecia en la tabla, se observa un mejor desempeño en la prueba entre aquellos profesores con un nivel
logrado, respecto de aquellos de nivel no logrado. Las diferencias representan un tamaño de efecto del orden del 35% en
ambos casos.
La comparación de los docentes de grupos extremos considerando la escala CPCM completa, revela que la diferencia
de puntaje de la prueba es del 53% de la desviación estándar de esta escala. En este caso, la diferencia se puede conside-
rar marginalmente significativa (t(50) = 1.88, p = .0654).
Aún tratándose de un grupo muy pequeño, estos resultados van en la dirección esperada: los docentes con mayor
conocimiento pedagógico del contenido matemático, presentan en promedio un mejor dominio disciplinario de los con-
tenidos que enseñan.

7
 CONCLUSIONES

El estudio explora una dimensión que en la actualidad se discute como componente del conocimiento que el docente
requiere para la enseñanza de las matemáticas: el conocimiento pedagógico del contenido, que no ha sido aún abordado
por los sistemas de evaluación vigentes en Chile. Mediante pautas construidas que operacionalizaron el constructo, se
recodificaron clases que un grupo de docentes presentó en el marco del programa AEP, poniendo el lente en las prácticas,
intervenciones, interacciones, explicaciones y acciones del docente, destinadas a la enseñanza del contenido matemático.
Los principales hallazgos, a continuación:

»» En términos de la precisión conceptual de las explicaciones y el uso correcto del lenguaje, los docentes estudiados
alcanzan mayoritariamente el nivel logrado. Abordan contenidos centrales y básicos y los desarrollan con soltura y
con escasos errores; no obstante, el énfasis en la presentación de contenidos está al servicio de la transferencia de
operatoria y procedimientos que los estudiantes deben replicar.
»» El bajo desempeño en aquellos indicadores que fueron incluidos precisamente por ser manifestaciones del Cono-
cimiento Profundo de la Matemática Fundamental (Ma, 1999) revela limitaciones en este dominio. Para Liping Ma
(1999), la capacidad de presentar varios enfoques para un procedimiento y operar con paquetes de conocimiento,
señala flexibilidad, profundidad y amplitud en la comprensión conceptual del docente. En esta muestra encontra-
mos escasas señales de dicha profundidad conceptual: explicaciones y actividades presentadas de manera fragmen-
tada, acotada, con escasa integración con contenidos previos o con los conceptos fundamentales a la base.
»» La promoción del conocimiento matemático es escasa en las clases analizadas, solo en un tercio de los casos los
docentes realizan intervenciones que promueven el razonamiento matemático y en igual proporción verifican que
los contenidos matemáticos están siendo comprendidos, lo que revela escasez de interacciones en torno al proceso
cognitivo que siguen los estudiantes y un limitado “andamiaje” de su aprendizaje por parte del docente.
»» El desempeño en el grupo de indicadores referido al componente del CPC Conocimiento del Contenido y de los Es-
tudiantes (Hill y Bass, 2008), correspondiente al conocimiento acerca de cómo aprenden los estudiantes, se observa
descendido: hay escasa anticipación a los errores de los estudiantes, ni se dispone de estrategias para abordarlos
oportunamente; tampoco se aprovechan sus intervenciones o consideran sus conocimientos previos para darle
articulación a la enseñanza.
»» Este tipo de conocimiento no es teórico, sino que se adquiere en el ejercicio de la enseñanza (Hill y Bass, 2008; Ma,
1999), por lo que la escasa interacción pedagógica que revelan estos resultados podría no solo estar limitando el
proceso de aprendizaje de los estudiantes, sino también las oportunidades del docente para enriquecer su propio
conocimiento sobre la enseñanza de su disciplina.
»» Se encontró evidencia, muy preliminar ciertamente, para señalar que el CPC estaría vinculado al dominio del con-
tenido que se enseña. Los docentes que mejor representan y promueven el aprendizaje de las matemáticas en sus
estudiantes, darían cuenta de un mayor dominio de la disciplina.

Finalmente, estos hallazgos relevan dos desafíos fundamentales para la formación inicial y continua de docentes en Chile:

»» Necesidad de generar instancias de formación inicial y continua cuyo objetivo sea promover la reflexión pedagógica
en contexto, en base al análisis de su propia práctica, con foco en el aprendizaje de los estudiantes. Esto supone
práctica guiada temprana en la formación inicial o experiencias de capacitación mejor contextualizada para los
docentes en ejercicio.
»» Necesidad de fortalecer la formación conceptual básica de las matemáticas, el dominio de las nociones básicas de
la disciplina, promoviendo en los docentes y futuros docentes un enfoque conceptual, no solo procedimental (no
basta saber el cómo de la matemática, sino también el porqué). Esta formación matemática además, debe ser
orientada a la enseñanza, lo que supone un desafío para la articulación curricular y académica entre la formación
pedagógica y de la especialidad.

8
 BIBLIOGRAFÍA

Ball, D. y McDiarmid, G. (1990b). The subject matter preparation of teachers. In W. R. Houston, M. Haberman, y J. Sikula
(Eds.). Handbook of Research on Teacher Education, (pp. 437-439). New York: Macmillan.
Ball, D., Hill, H., y Bass, H. (2005). Knowing mathematics for teaching: Who knows mathematics well enough to teach third
grade, and how can we decide? American Educator, 29(3), 14-46.
Chambliss, M., Graeber, A. O. y Clark, K. (2003, April). Does Subject Matter Matter? Paper presented at the annual meeting
of the American Educational Research Association, Chicago.
Darling-Hammond, L. y Young, P. (2002). Defining “highly qualified teachers”: What does scientifically–based research
tells us? Educational Researcher, 31(9), 13-25.
Frome, P., Lasater, B., y Cooney, S. (2005). Well-qualified teachers and high quality teaching: Are they the same? Atlanta, GA:
Southern Regional Educational Board.
Hill, H., Ball, D., y Schilling, S. (2004). Developing Measures of Teachers Mathematical Knowledge for Teaching. Elementary
School Journal, 105(1),11-30.
Leinhardt, G., y Smith, D. A. (1985). Expertise in mathematics instruction: Subject matter knowledge. Journal of Educa-
tional Psychology, 77(3), 247-271.
Ma, L. (1999). Knowing and teaching elementary mathematics: teachers understanding of fundamental mathematics in
China and the United States. N. J.: Lawrence Erlbaum.
Monk, D. (1994). Subject area preparation of secondary mathematics and science teachers and students achievements.
Economics of Education Review, 13(2), 125-145.
Mullens, J. E., Murnane, R. J., y Willett, J. B. (1996). The contribution of training and subject matter knowledge to teaching
effectiveness: a multilevel analysis of longitudinal evidence from Belize. Comparative Education Review, 40, 139-57.
Papick, I. J. (2011). Strengthening the Mathematical Content Knowledge of Middle and Secondary Mathematics Teachers.
Notices of the American Mathematical Society, 58(3), 389-392.
Shulman L. (1987). Knowledge and teaching: foundations of the new reform. Harvard Educational Review, 57(1), 1-22.

9
Diseño de un sistema de seguimiento
de egresados de la Universidad Pedagógica
Nacional Unidad 161 de Morelia, Michoacán
14 de marzo de 2015
 Diseño de un sistema de seguimiento
de egresados de la Universidad Pedagógica
Nacional Unidad 161 de Morelia, Michoacán
Rogelio Sosa Pulido
Coordinador

Cristina Salazar Guzmán

Luz Yunuén Verduzco Melchor
Carlos Elías de la Peña Gochi
2012-2014

PALABRAS CLAVE: E
 ducación, sociedad, empleo, cultura, evaluación, profesionales de la educación,
sistema, egresados.

1. PLANTEAMIENTO DEL OBJETO. DELIMITACIÓN

DEL ÁNGULO DE INDAGACIÓN. OBJETIVO.
ENFOQUE Y ESTRATEGIA METODOLÓGICA

Construir un sistema de seguimiento de egresados como instrumento para el desarrollo curricular de la Universidad
Pedagógica Nacional (UPN) en Michoacán, frente a sus retos sociales y educativos, es el foco de interés de la presente
investigación.
Con la presente investigación se pretende diseñar un sistema de seguimiento de egresados como instrumento básico
de la evaluación y el desarrollo curricular de la Universidad Pedagógica Nacional (UPN) en Michoacán.
La problemática educativa y social que vive México ha evidenciado la importancia de la evaluación en las áreas funda-
mentales de la gestión pública para el trazo de los objetivos y las políticas de desarrollo. Destaca la educación como una
de las fundamentales en tanto que función orientada a la formación para la vida y para el trabajo y elemento central del
modelo de desarrollo de las contemporáneas sociedades del conocimiento, enmarcadas todas ellas en una grave crisis de
sustentabilidad del capitalismo neoliberal de nuestros días.
En ese contexto, confirman esta tesis las experiencias de países como Corea del Sur, Taiwan, Singapur, India, Rusia,
China, Brasil y Sudáfrica, por señalar sólo algunos casos en los que la educación ha sido un factor positivo para enfrentar
los retos de la situación mundial.
El Estado Mexicano ha implementado desde el final de la Revolución una política de expansión creciente y sostenida
de la educación pública al tenor del modelo de industrialización y del desarrollo hacia adentro. Sin embargo, a partir de
1982 cambió tal política dejando crecer un rezago de múltiples facetas que arroja en la actualidad mayores disfuncio-
nalidades internas y externas del sistema educativo que las diagnosticadas en las décadas anteriores a ese año de crisis.
En los últimos treinta años se agudizó la disfuncionalidad en la relación educación y sociedad evidenciada por la in-
capacidad de responder eficazmente a la crisis económica y la descomposición social. La formación para el trabajo y para
la vida ha sido una divisa incumplida por el grave, crónico y creciente desempleo y los índices de violencia e inseguridad.
Al interior del sistema, se agudizó el aislamiento estructural en la gestión de los diversos niveles y modalidades educa-
tivos; la formación de profesionales de la educación encontró mayores obstáculos para su desarrollo como motor de cam-
bio y eficacia pedagógica en un entorno de creciente conflictividad y contradicción de intereses políticos que han envuelto

2
 al Sistema Educativo y al subsistema de formación. Ello influyó claramente en el estancamiento y regresión del papel de la
Universidad Pedagógica Nacional, tanto en sus tareas docentes, como de investigación y de incidencia social directa.
Las reformas educativas aplicadas en el último período en los diversos niveles del sistema educativo carecieron de
la perspectiva ontológica y prospectiva que permitieran retomar el papel central de la educación como factor de rever-
sión del deterioro social y se convirtió ella misma en parte del problema, más que de la solución. Dichas reformas han
adolecido igualmente de procesos insuficientes de consulta y consenso con los actores involucrados, tal es el caso de la
última reforma curricular de la educación normal.
En el panorama anterior, destaca la concepción y aplicación distorsionadas del proceso de descentralización empren-
dido a partir del Acuerdo Nacional para la Modernización de la Educación Básica de mayo de 1992, el cual ha contribuido,
sin duda, al deterioro del desarrollo de la UPN en el país y en Michoacán.
El contenido del mismo permitió la desconcentración de la administración operativa de la educación y de las relacio-
nes laborales, con lo cual se transfirieron a los estados los conflictos obrero-patronales; sin embargo, la normatividad
curricular y pedagógica siguió centralizada igual que la distribución de los recursos fiscales del gobierno federal a los
gobiernos de los estados. Los recursos de origen federal fueron reduciéndose progresivamente en términos reales y los
gobiernos estatales, en su mayoría carecieron de la capacidad financiera para sustituir la reducción de las participaciones
federales hacia el sector.
La descentralización tuvo graves implicaciones entre las que destacan dos: el rezago y deterioro progresivo de las
condiciones de operación del sistema educativo incluyendo el ingreso y las condiciones de trabajo del personal y la
conflictividad permanentes entre los tres órdenes de gobierno involucrados en la educación derivadas de la tensión
magisterial y social por el reclamo justificado ante el deterioro señalado y la transferencia significativa del gasto hacia
los padres de familia.
En las condiciones anteriores se escindió la responsabilidad del desarrollo de la educación entre los tres órdenes de
gobierno dado que también los ayuntamientos poseen facultades al respecto. En esas condiciones, ¿cómo lograr la ele-
mental coordinación para garantizar en los hechos el cumplimiento eficaz del contenido del Artículo 3º. Constitucional?.
La planeación, la operación y la evaluación son, por definición, un continuum del proceso de gestión educativa; sin
embargo, a diferencia de la situación que se presenta en otros países, como Estados Unidos, Canadá y algunos europeos,
en México, la hipercentralización normativa y financiera del sistema coloca a los gobiernos estatales principalmente en
operadores del mismo con las limitaciones ya señaladas.
El punto de partida para abordar la problemática señalada es la construcción de un modelo de evaluación educativa
que enfrente las dos grandes dimensiones del problema: la que se refiere a la identificación de la problemática que impide
al sistema educativo mexicano convertirse en el factor determinante del desarrollo nacional en los diversos órdenes de la
dinámica social y la relacionada con su problemática interna.
Una parte esencial del modelo de evaluación señalado es el SISTEMA DE SEGUIMIENTO DE EGRESADOS como herra-
mienta clave que permita dar cuenta de los resultados reales de los procesos formativos en los ámbitos educativo y social
previstos en los perfiles de egreso de los diversos planes de estudio.
Distinguimos, en efecto, entre los resultados más importantes a lograr en un eficaz sistema de esta naturaleza, por
una parte, la constatación del logro del perfil del egresado en cada programa formativo y por la otra —no menos impor-
tante— la evidencia objetiva de los ajustes a realizar al currículo respectivo y la generación de nuevas ofertas formativas
pertinentes en la dinámica del desarrollo curricular que debe caracterizar a todas las carreras y campos formativos de la
educación superior y específicamente a la formación de profesionales de la educación.
Lo anterior reviste destacada importancia si se considera que los programas académicos que ha ofrecido y que ofrece
la UPN, tanto, los de origen nacional diseñados en la instancia de la UPN Ajusco, como los que han sido diseñados en las
unidades UPN en el estado, han carecido de la adecuada evaluación y desarrollo. Los perfiles de egreso de los mismos han
carecido del efectivo seguimiento que se requiere.
El SISTEMA DE SEGUIMIENTO DE EGRESADOS (SSE) no puede ser una obra de carácter administrativo ni ser objeto
de un diseño teórico y formal solamente. Se demanda por la naturaleza de la problemática que ha de enfrentar, la reali-
zación de un proyecto de investigación que recoja los elementos principales de un diagnóstico institucional e interins-
titucional; la revisión objetiva de los procesos educativos y sociales que han transformado al Estado de Michoacán en
las últimas décadas y específicamente el comportamiento del campo de la formación de profesionales de la educación.

3
 Igualmente, es indispensable revisar críticamente las experiencias de diseño y operación de sistemas de seguimiento de
egresados de las unidades UPN en el país y de instituciones afines en México y en el mundo, de tal manera que se plantee
un SSE eficaz, flexible y ajustado a las condiciones socioeducativas de los diversos contextos en los que realizan su función
formativa las unidades UPN en el estado a fin de contribuir realmente a mejorar significativa y positivamente el impacto
de la educación en el desarrollo social de la entidad.
Se trata de tomar a la sociedad michoacana y no solamente al sistema educativo estatal y nacional como referencia
directa para establecer las pautas del SSE que se pretende construir. Ello marca una diferencia mayor frente a los estudios
y esfuerzos de evaluación y gestión ensayados en la UPN que mantienen una referencia cuasi exclusiva del sistema educa-
tivo, derivada principalmente del hecho que la institución nació para nivelar a maestros de la educación básica.

Objetivos

Los objetivos del Sistema de Seguimiento de Egresados de la UPN en Michoacán a construir son:

I. Identificar los resultados de los procesos formativos que genera esta institución como respuestas a los problemas
económicos, educativos, sociales, políticos y culturales prioritarios que atraviesa la sociedad michoacana.
II. Contar con instrumentos eficaces de retroalimentación que permitan el mejoramiento del desarrollo curricular, la
práctica pedagógica y la administración institucional de los programas académicos de los que egresan los alumnos de
la institución.
III. Contar con experiencias teórico metodológicas sólidas para realizar cotejos pertinentes con otras experiencias y pro-
cesos similares en el país y en otros países.

Enfoque y estrategia metodológica

Se abordan los criterios metodológicos en esta investigación bajo la perspectiva zemmelmiana de considerarlos como he-
rramientas que propician la apertura del pensamiento a la realidad buscando reconocer opciones posibles y sujetándose
a la exigencia de objetividad. (Zemelman, 2011) Por ello, los criterios metodológicos están abiertos a diversas formas de
instrumentalización en función de la naturaleza y dinámica del objeto.
En la perspectiva de identificar las características señaladas en el objeto, se ha establecido la vía de la problematiza-
ción del mismo con el apoyo de un sistema crítico conceptual organizado en ámbitos de orden, tanto para identificar y de-
finir los elementos sustanciales del objeto como para los conceptos con los que se abordará el ejercicio problematizador.
Pero, este posicionamiento requiere explicar por qué no se asumió aquí la vertiente positivista del método hipotético
deductivo —aún hegemónica en el ámbito académico de nuestro país— y por tanto es pertinente plantear los términos
del debate y del deslinde frente a tal perspectiva.
Efectivamente, en el marco del debate epistemológico en el campo de las ciencias sociales y las humanidades, interesa
recuperar la polémica abierta desde la perspectiva marxista hacia el positivismo y la vertiente hipotético deductiva del
mismo vigente hasta el presente especialmente en los espacios de la educación superior mexicana.
La perspectiva verificacionista del método hipotético deductivo presenta el inconveniente de encauzar el proceso
investigativo mediante el uso de hipótesis y marcos teóricos que tienen un efecto limitante por su carácter prescriptivo y
frecuentemente estrecho en objetos como el presente.
Abraham Kaplan, por ejemplo, planteaba que es factible utilizar básicamente el mismo método en las ciencias natura-
les que en las ciencias del comportamiento; según él, a pesar de que podría haber una diferencia entre la lógica “en uso”
de las diversas ciencias y la “lógica reconstruida”, el método hipotético—deductivo ofrecía la reconstrucción lógica más
aceptada si se atendía al problema de la relación de los conceptos en la teoría, al papel de las hipótesis, a la pregunta de
cómo suministrar una explicación adecuada y de qué modo lograr la verificación (Kaplan, 1964) y Adorno, por su parte,
afirma que en el positivismo hay un primado de la lógica y de la causalidad sobre lo que él denominaba la totalidad con-
creta (Adorno, 2001).

4
 En síntesis, parecía imponerse la idea de un método científico y de que el camino de la investigación desde la teoría
hacia los datos debía ser estrictamente lógico; este camino era el de la comprobación de las hipótesis dentro de una lógica
de primer orden de las proposiciones.
No obstante lo anterior, en el escenario del debate epistemológico universal, se desarrollaron a través del siglo XX y
sobre todo en la segunda parte del mismo, propuestas ajenas y contrarias a la perspectiva verificacionista. De acuerdo a
De la Garza, en este período se han delineado dos grandes vertientes en torno al debate sobre el método de las ciencias
sociales y las del espíritu: “…por un lado, las propuestas vinculadas al positivismo y al naturalismo;
por el otro, las localizadas tanto en la vertiente fenomenológica (Alfred Schütz) como en la hermenéutica (Hans Georg
Gadamer y Paul Ricœur) y en la proveniente de la teoría crítica (Theodor W. Adorno y Jürgen Habermas) al igual que en
aquéllas otras asociadas al estructuralismo y posestructuralismo (Michel Foucault, Jacques Derrida) y al pensamiento
francés (Cornelius Castoriadis, Alan Touraine, Pierre Bourdieu), al pragmatismo anglosajón —sea en la línea que pro-
viene de Charles Sanders Peirce, John Dewey y George Herbert Mead o sea en aquella otra que se remonta al poderoso
influjo del Wittgenstein de las Philosophische Untersuchungen [Investigaciones Filosóficas] (1953)— y a propuestas como
la teoría de la estructuración de Anthony Giddens.
Éstas últimas propuestas parecen compartir (según De la Garza) en común la idea de que el ámbito de objetos del
que se ocupan las “ciencias del espíritu” o, para el caso que nos ocupa, las “ciencias sociales” se halla preestructurado
simbólica, discursivamente, por lo que el acceso al mismo tiene que estar mediado por una comprensión de sentido. En
efecto, a diferencia de las ciencias naturales, las ciencias sociales investigan un mundo que ha sido producido por los seres
humanos y al cual se accede siempre desde el horizonte de una precomprensión.
Con ello se delinea lo que en la hermenéutica se denomina “el círculo hermenéutico” por medio del cual se expresa la
aparente paradoja de que la comprensión de la sociedad por parte del investigador implica siempre ya una precompren-
sión de la misma tanto por parte de él como por parte de los propios actores sociales. No hay por ello —ni puede haber—
una suerte de acceso directo e inmediato y sin una comprensión previa a la sociedad. “Este círculo”, como bien lo señala
Habermas, “no puede romperse por medio de ninguna inmediatez —sea ésta a priori o empírica— del acceso [al mundo
social], sino que debe pensarse en forma dialéctica sólo en vinculación con la hermenéutica natural del mundo de la vida
social. En lugar del nexo hipotético— deductivo entre proposiciones aparece entonces la explicación hermenéutica del
sentido; en lugar de una relación ordenada unívoca de símbolos y significados, las categorías pre comprendidas adquie-
ren su determinación en forma sucesiva con la posición que adquieren en el nexo desarrollado” (De la Garza, 2006).
Ya desde 1988 este autor planteaba, “En lugar del nexo hipotético-deductivo entre proposiciones aparece entonces
la explicación hermenéutica del sentido; en lugar de una relación ordenada unívoca de símbolos y significados, las cate-
gorías pre comprendidas adquieren su determinación en forma sucesiva con la posición que adquieren en el nexo desa-
rrollado” (De la Garza, 1988) y plantea la recuperación de la perspectiva epistemológica marxista del circuito concreto
—abstracto— concreto en donde el proceso inicia desde el concreto real representado, el objeto en relación de praxis-co-
nocimiento con el sujeto. Este concreto real se constituye como la unidad dialéctica, no identificable, entre sujeto y objeto
en relación práctica y sobre el cual se ejerce un proceso de abstracción mediante la teoría, para retornar al concreto como
concreto pensado.
En la perspectiva anterior destaca el problema de la relación sujeto objeto, en la cual, Marx no plantea como punto
de partida la referencia sensorial, pero, tampoco ignora el papel del conocimiento previo sobre el objeto. En esa idea, no
existe un conocimiento sensorial puro en los seres humanos y propone transformar intuiciones y representaciones en
conceptos, pero, la incidencia del objeto en el sujeto no es por contemplación ni como aplicación de la teoría al objeto,
sino como praxis. Ésta se concibe en un sentido histórico y social y no individual y abstracto.
Entre el concreto real y el concreto pensado se extienden las dos fases del proceso del conocimiento —la de inves-
tigación y la de exposición—. Del concreto real se avanzaría en una primera fase del proceso del conocimiento hacia lo
abstracto (la abstracción más simple). A esta primera fase le denomina Marx fase de investigación distinguiéndola de la
fase de exposición
En la fase de investigación se debe buscar asimilar detalladamente la materia u objeto de investigación analizando
sus formas de desarrollo y descubrir sus nexos internos. Una vez cubierta esta fase, se puede exponer adecuadamente el
movimiento real del objeto.

5
 En la misma perspectiva crítica de corte marxista y en un esfuerzo de concreción del proceso investigativo, Zemelman
propone los siguientes criterios metodológicos (Zemelman, 2006, 2011):

1. Definición del problema eje;

2. Delimitación de la problemática;
3. Definición de los observables:;
4. Determinación de los puntos de articulación;
5. Campo de opciones viables y elección de alternativas.

Con base en los anteriores elementos y definiciones, se plantea una posible contrastación de los procesos investigati-
vos derivados del método hipotético deductivo de matriz positivista y el planteamiento de un procesos de reconstrucción
del conocimiento e intervención sobre el objeto —de corte crítico marxista—.
Es conveniente aclarar que las secuencia que se expone en la tabla número 1, no es sino una guía factible de modifi-
carse en función de las necesidades investigativas que requiere el objeto.

Tabla 1 Dos procesos alternativos de investigación científica de lo social y de las humanidades.

Rogelio Sosa, 2012.
1. POSITIVISMO HIPOTÉTICO-DEDUCTIVO 2. DIALÉCTICO CRÍTICO RECONSTRUCTIVISTA
Denominación Denominación
Objetivo/Justificación Objetivo/Justificación
Problematización preliminar. Estado del
Definición y delimitación del objeto de investigación conocimiento.Delimitación inicial del ángulo
de indagación
Construcción del Marco Teórico del objeto. Estado del conocimiento. Problematización teórico-empírica del objeto
Especificación de los elementos sustanciales
Construcción de hipótesis
del objeto
Elección y definición genérico-específica
Definición de la estrategia de la investigación
de conceptos ordenadores
Definición de variables Matriz de problematización
Operacionalización de variables Selección de los cruces prioritarios
Problematización/interpelación al objeto
Diseño de la indagación empírica (preguntas) por campos definidos
según la naturaleza de éste
Metodología operativa y diseño del muestreo, en su caso Definición de núcleos problemáticos
Diseño y prueba de instrumentos
Determinación de indicadores.

Diseño de la indagación empírica a partir

Aplicación de instrumentos
del contenido de los indicadores
Concentración y sistematización de datos empíricos Metodología operativa y diseño del muestreo,
en su caso
Interpretación: Contrastación de los resultados, respecto a las hipótesis
Diseño y prueba de instrumentos
planteadas y a los elementos centrales del marco teórico
Conclusiones
Aplicación de instrumentos

Concentración y sistematización de datos

Bibliografía
empíricos
Interpretación: problematización de los resultados
Apéndices y anexos, en su caso. de la indagación empírica y explicación
teórica del objeto.
Conclusiones
Bibliografía
Apéndices y anexos, en su caso.
6
 A continuación y con base en la opción 2 planteada en la tabla 1, se desarrolla la secuencia observada en esta investi-
gación, dirigida a construir un Sistema de seguimiento de egresados de la Universidad Pedagógica Nacional, Unidad 161
de Morelia, Michoacán (fase 4 del proceso).

2. JUSTIFICACIÓN/PROBLEMATIZACIÓN PRELIMINAR

Motivaciones personales

Los integrantes del equipo investigador establecieron el consenso de orientar los esfuerzos de investigación y formu-
lación de trabajos recepcionales individuales hacia el objeto planteado, con la idea de contribuir a resolver uno de los
problemas estructurales visibles en la marcha de la UPN en Michoacán como es la falta de un sistema de evaluación de la
institución toda, sin lo cual, es muy difícil realizar una planeación prospectiva eficaz.
¿Cómo saber entonces el resultado del esfuerzo institucional realizado para formar una generación tras otra con los
programas educativos que ofrece, que ha ofrecido y que seguirá ofreciendo esta institución en el Estado de Michoacán a
través de sus cuatro unidades y sus 17 sedes regionales?.
¿Cómo enfatizar e impulsar los aciertos curriculares, organizacionales e institucionales en general y superar los va-
cíos, errores y deficiencias en esos ámbitos si se carece de un sistema de evaluación institucional?.
Considerando la amplitud y complejidad de ese reto, el docente que coordina este proyecto de investigación y los
alumnos asociados a él, hemos tomado la decisión de focalizar nuestro esfuerzo en el referente central del seguimiento de
egresados porque valoramos que en ello se evidencian en gran medida los resultados reales alcanzados en los procesos
formativos a que se aboca la UPN en Michoacán.
En efecto, la práctica profesional de los egresados expresa el grado de cumplimiento del perfil del egresado que todo
programa educativo se propone alcanzar. El incumplimiento parcial o total del mismo y la detección de sus causas permi-
tirá a la institución tomar las medidas pertinentes.
Si el proceso evaluativo institucional involucra al menos cinco niveles de atención como son: los alumnos, los docen-
tes, la gestión institucional, el currículo y el impacto social logrado con la práctica profesional de los egresados, interesa
entonces como foco de investigación en nuestro caso, abordar el último aspecto.
Concebimos de esta manera la construcción de un sistema de seguimiento de egresados de la UPN en Michoacán,
como una parte esencial del sistema de evaluación a construirse en la institución, tanto en el nivel de cada sede regional y
Unidad como en el conjunto de las mismas porque no advertimos razón alguna para limitar el alcance de dicho esfuerzo.
Por lo anterior, será muy motivante lograr interesar con el esfuerzo presente a la comunidad universitaria de la UPN
en el estado y a las autoridades educativas para la construcción participativa de un sistema integral de evaluación de la
institución.

Justificación social

La ausencia de un modelo de evaluación pertinente y eficaz que incorpore un sistema formal de seguimiento de egresa-
dos para la toma de decisiones ha repercutido en la acumulación de graves rezagos en el sector educativo del país y de
Michoacán.
El Instituto Nacional de Evaluación Educativa (INEE) hace esfuerzos importantes por construir no sólo procesos efi-
caces de evaluación en el sector, sino lograr que cubran la estructura y dinámica del conjunto del sistema educativo. En
su Plan Maestro 2007-2014 el INEE plantea que en el año 2014 el instituto “…será una instancia reconocida socialmente
por la calidad e imparcialidad de su trabajo; los resultados de sus evaluaciones serán referencia obligada y creíble sobre
la situación del Sistema Educativo Mexicano; junto con las demás instancias de un sistema nacional de evaluación articu-

7
 lado, será posible ofrecer bases sólidas para orientar los esfuerzos de autoridades, maestros y padres de familia hacia la
mejora educativa.”
Sin embargo, es significativo que el sistema de seguimiento de egresados sea una línea de acción estratégica poco
discutida e integrada en la visión general de la política de estado dirigida a la evaluación de la educación.
En esa perspectiva, este proyecto pretende contribuir a la meta de integrar el seguimiento de egresados como factor
clave de la evaluación educativa en lo que se refiere a la formación de profesionales en la UPN, considerando la importante
dimensión que ésta tiene en el Estado de Michoacán y contribuir a orientar el diseño, operación y evaluación de nueva
oferta educativa para este nivel en la entidad.
El beneficio educativo y social que ofrece la generación de dicho sistema se resume en lo siguiente:

»» Dotar a las comunidades de la UPN en el estado y a las autoridades correspondientes de una herramienta para cono-
cer con precisión los resultados de los procesos formativos de los diversos programas académicos que se imparten
en las unidades de esta institución, en referencia a los graves problemas económicos, educativos, sociales, políticos
y culturales que atraviesa la sociedad michoacana.
»» Contar en las unidades de la UPN en el estado con un referente continuo de retroalimentación que permita revisar
el diseño curricular, la práctica pedagógica y la administración institucional, entre otros elementos sustantivos de
los programas académicos de los que egresan los alumnos de la institución.

El SSE permitirá realizar cotejos pertinentes con otras experiencias y procesos de evaluación similares en el país y en
otros países.

Usuarios específicos de los resultados del proyecto

Los usuarios considerados de manera destacada son:

»» La sociedad michoacana y sus organizaciones sociales y profesionales usuarias de la educación ubicadas en las
áreas económica, social y cultural en el estado y los empleadores públicos y privados.
»» Los directivos de la Universidad Pedagógica Nacional en Michoacán; y sus equipos técnicos encargados de la pla-
neación, el desarrollo académico, administrativo y de vinculación y difusión.
»» Los funcionarios y equipos técnicos de la Secretaría de Educación en el Estado.
»» Las comunidades universitarias de la UPN en Michoacán.
»» Las instituciones públicas y privadas dedicadas a la investigación, innovación y seguimiento de la formación de
profesionales de la educación en Michoacán, en el país y en el extranjero.

Contenido innovador

Actualmente se carece de un Sistema de Seguimiento de Egresados que incluya los elementos e indicadores necesarios
para dar cuenta de la situación y dinámica profesional de los egresados en un proceso interactivo y permanente; tampoco
incluyen la relación directa de la institución de egreso con los usuarios de los servicios profesionales de los egresados
de la misma. El sistema que se propone construir a partir de los resultados de esta investigación, prevé integrar tales
elementos e indicadores.
El modelo incluirá los criterios, mecanismos e instrumentos pertinentes que permitan la vinculación de los resultados
con la toma de decisiones en las instancias correspondientes y la participación directa de los actores del entorno edu-
cativo y social que no han tenido ingerencia en el seguimiento de egresados o la han tenido en un grado no significativo.
Adicionalmente, el sistema que se plantea construir puede ser referencia válida para los ejercicios de seguimiento
de egresados que se realizan en otras unidades de la UPN en el país, sin que se desplacen necesariamente acciones de
seguimiento y evaluación vigentes.

8
 Aportaciones científicas

Las aportaciones más relevantes de esta investigación se refieren a la experiencia de aplicación del pensamiento comple-
jo a un objeto socioeducativo y haciendo converger en el proceso indagatorio la propuesta de la reconstrucción de matriz
marxista
Sobre la primera, el Pensamiento Complejo es una propuesta importante por sus perspectivas novedosas, desafian-
tes y su poder analítico y explicativo. En las ciencias sociales y humanas encontramos objetos de alta complejidad cuyo
abordaje con la perspectiva del conocimiento positivista tradicional ha demostrado ser claramente insuficiente y sesgado
hacia perspectivas de corte descriptivo o verificacionista.
El pensamiento complejo plantea paradigmas de gran aliento explicativo y potencial transformación de la realidad: la
perspectiva de la transdiciplinariedad como enfoque de intervención desde la naturaleza, condiciones y dinámica de los
objetos de conocimiento de la realidad más que desde prescripción y explicación de las disciplinas científicas; la Bioética
que condiciona todo esfuerzo y ejercicio de conocimiento al mejoramiento del ser humano como especie; el holismo
ambientalista que plantea la necesidad de establecer un nueva relación social que haga pertinente al ser humano frente
a la naturaleza y la epistemología hermenéutica de segundo orden que cuestiona los presupuestos cognitivos del ideal
clásico; entre otros, el presupuesto de objetividad, la dicotomía sujeto-objeto y el lugar del método en la cognición. Expo-
nentes destacados de este enfoque son, Morin, Sotolongo, Feyerabend, Maturana, Von Foerster y otros.
El proyecto de investigación se asienta así mismo en la Metodología de la Reconstrucción de matriz marxista cuyos
principales exponentes en nuestro país son Hugo Zemmelman, Enrique de la Garza, Fernando Castañeda, entre otros.
En la visión de la reconstrucción del conocimiento, la realidad es una totalidad en movimiento, que fluye en un pro-
ceso investigativo en una secuencia del concreto-abstracto-concreto Desde la definición de un concreto real (represen-
tado) seguido de una serie de abstracciones por niveles de realidad permiten reconstruir en el proceso de explicación y
potenciación del mismo, un concreto pensado, como totalidad concreta. En esta propuesta se plantea la secuencia de las
estrategias de indagación que determinan el cronograma que guía este proyecto.
Vale enfatizar que a diferencia del Positivismo Lógico, en la perspectiva dialéctica del Pensamiento Complejo y la Re-
construcción no se trata de verificar sino de transformar el objeto —reconstruirlo— desde sus potencialidades y cons-
truir teoría. Los elementos diferenciales fundamentales del enfoque dialéctico-reconstructivista son los siguientes: la con-
cepción primaria de totalidad concreta en movimiento como referente onto-epistemológico fundamental; la articulación
dialéctica, contradictoria e inseparable entre esencia y apariencia, en la que ésta es un nivel de realidad y el papel activo
fundamental de los sujetos en la realidad e incluso en la construcción y reconstrucción misma del conocimiento sobre ella.
El conocimiento de la realidad se encuentra organizado por áreas, políticas, económicas, etc. Cada una de las cuales se
encuentran vinculadas con el objeto de investigación y en cuyos espacios se definirán conceptos ordenadores que permi-
tan establecer las relaciones posibles entre conceptos del área correspondiente y entre áreas.
Se considerarán en la problematización del objeto categorías y conceptos vinculados directamente a la evaluación
educativa desde la práctica de los sujetos que han egresado de los programas formativos de la Universidad Pedagógica
Nacional en Michoacán
Se identificarán dos grados de coherencia: el primero, referido al grado de coherencia entre los elementos centrales
del perfil de egreso a lograr en cada uno de los programas académicos de las unidades UPN en Michoacán y los realmente
logrados en el período de los últimos cinco años y el segundo, el que se refiere al grado de coherencia de los perfiles de
egreso planteados en cada caso, en relación a las necesidades y expectativas planteadas desde el mercado de trabajo y
desde el desarrollo social y cultural.
En la indagación empírica se utilizarán centralmente las herramientas del análisis de contenido y la aplicación de
cuestionarios y entrevistas.

El estado del conocimiento

En este apartado se hace referencia a experiencias relacionadas con los sistemas, programas, inserción en el mercado de
trabajo y publicaciones de los actores vinculados directamente al seguimiento de egresados de instituciones mexicanas

9
 —incluyendo a la propia Universidad Pedagógica Nacional— igualmente, se consideran experiencias destacadas de otros
países, especialmente de América Latina y Estados Unidos.
Se diferencian para efectos de este proyecto un sistema y un programa de seguimiento de egresados refiriéndose el
primero a una estructura formal cuyo funcionamiento y evaluación recae en la institución interesada en desarrollar de
manera organizada y permanente el seguimiento de sus egresados, en tanto que un programa comprende —de manera ge-
neral— el funcionamiento de dicho seguimiento en términos de objetivos, metas, funciones y cronograma de actividades.
Se incluye además en el estado del conocimiento la referencia a experiencias específicas de seguimiento de inserción
en el mercado de trabajo y publicaciones representativas de los actores del seguimiento de egresados.

Referentes de sistemas y programas de seguimiento de egresados en méxico.

De acuerdo con la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES, 1998), los estudios
de egresados son el procedimiento por medio del cual una institución identifica la actividad profesional que los egresados
desarrollan, su campo de acción, su nivel de ingresos, las posibles desviaciones profesionales que han tenido así como sus
causas, su ubicación académica y su formación posterior. Se reconoce por la ANUIES las dificultades institucionales que
explican el bajo desarrollo de los sistemas y programas de desarrollo de egresados en México, dados los altos costos de
operación que implican los mismos, la falta de especialistas y equipos calificados en el seno de las instituciones y la carencia
también de una cultura institucional de evaluación curricular desde el seguimiento de egresados, entre otros factores.
Los estudios de seguimiento de egresados se ubican en el contexto de la evaluación externa del currículo. En México,
los estudios sistemáticos sobre egresados a nivel superior se registran en el área metropolitana del Distrito Federal y
fueron realizados en la década de los años sesenta, instituciones como la Universidad Nacional Autónoma de México,
la Universidad Autónoma Metropolitana Plantel Azcapotzalco, el Instituto Politécnico Nacional y la Escuela Nacional de
Estudios Profesionales Zaragoza y en el interior del país, en las universidades Veracruzana y Autónoma de Nuevo León.
A finales de los años noventa, ANUIES hizo pública su posición y concepción sobre los Estudios de Seguimiento de
Egresados. De esta manera se planteó el “Esquema básico para estudios de egresados” en el cual se establece que las Ins-
tituciones de Educación superior (IES) “deberán considerar la realización permanente de estudios sobre seguimiento de
egresados, con propósitos de retroalimentación curricular y de educación Institucional” (ANUIES, op.cit).
En el documento referido, se plantea como objetivo general “Desarrollar un esquema básico para los estudios de egre-
sados que facilite a las instituciones de educación superior la realización de este tipo de estudios y les permita obtener
información confiable y pertinente para apoyar la toma de decisiones y la planeación académica en el nivel institucional,
estatal, regional y nacional” y como objetivos específicos:
“Disponer de una metodología que permita:

»» Comparar el grado de ajuste entre los resultados obtenidos en el proceso educativo por las instituciones de edu-
cación superior y las necesidades y exigencias del campo profesional a través del análisis del desempeño de los
egresados en el mercado de trabajo.
»» Caracterizar la resultante del proceso educativo a través de la comparación del desempeño de los egresados de las
distintas instituciones que conforman el sistema de instituciones de educación superior en México.
»» Conocer la coherencia que existe entre los perfiles terminales y los objetivos de los planes y programas de estudio
de las licenciaturas que se ofrecen en el sistema de educación superior, y los requerimientos formativos actuales de
las distintas prácticas profesionales.
»» Contar con información confiable sobre el desempeño profesional de los egresados y de su relación con los aciertos
y posibles fallas en su formación, para sustentar las decisiones académicas que permitan superar en forma continua
el nivel académico del proceso formativo.
»» Conocer las nuevas exigencias que plantea el ejercicio profesional a los egresados como consecuencia de las trans-
formaciones económicas, sociales y tecnológicas, para su incorporación oportuna en los planes y programas de
estudios y el diseño de programas de educación continua pertinentes para la actualización de profesionales en
ejercicio.

10
 »» Valorar la flexibilidad de los egresados para incorporarse a ambientes diversos, en la hipótesis de un mercado la-
boral cambiante, y proponer en su caso, modificaciones a las estrategias formativas que mejoren sus perspectivas
profesionales.
»» Conocer el grado de satisfacción de los egresados respecto a la calidad de la formación recibida en la institución en
la cual cursaron sus estudios.
»» Contar con información que permita a las instituciones de educación superior, por un lado, orientar la distribución
de sus recursos hacia la solución de los problemas específicos que obstaculizan el logro de los estándares deseables
de calidad en el proceso de formación de profesionales y, por otro, concursar por recursos alternos al presupuesto
universitario para fortalecer su desarrollo y avanzar en su proceso de consolidación.
»» Contar con información pertinente y confiable para analizar las ventajas y desventajas de los diferentes modelos y
opciones educativas, para proponer su fortalecimiento o revisión.
»» Contar con información sobre las tasas de empleo en los distintos sectores del mercado laboral para afinar las po-
líticas de ingreso.
»» Contribuir a mejorar la imagen de las instituciones en su área de influencia mediante la difusión de la información
sobre el desempeño de sus egresados, a fin de fortalecer la confianza de la sociedad en sus instituciones educativas.”
En el documento señalado se destaca además un conjunto de orientaciones y recomendaciones:

“…Sobre las limitaciones para los estudios sobre el desempeño profesional de los egresados

es importante señalar que los estudios de egresados no constituyen una actividad constante entre las tareas que lle-
van a cabo regularmente la mayoría de las instituciones de educación superior por varias razones, a saber:

»» Su alto costo, que tiende a ubicarlos con una baja prioridad dentro del presupuesto institucional.
»» Su alto grado de dificultad cuando no se cuenta con una base de datos para localizar ágilmente a los egresados
»» La carencia de expertos en este tipo de investigaciones.

Los estudios de egresados que se pueden rastrear en la historia de una institución, salvo excepciones, son muy heterogé-
neos en cuanto a:

»» La metodología utilizada
»» El universo que abarcan
»» Los cortes temporales
»» Los criterios utilizados
»» Las instancias que intervienen en su ejecución

En muchos estudios se observan niveles de estratificación distintos (institución, campus, facultad, carrera) o se mezclan
diferentes intereses de información (trayectoria escolar, opinión de empleadores, estudios de género, etc.) lo cual hace
aún más difícil cualquier análisis comparativo.

»» Insuficiente atención institucional a la necesidad de contar con información confiable sobre los resultados del pro-
ceso formativo que opera.
»» Carencia de bancos de información o directorios actualizados de egresados de las instituciones.
»» Inexistencia de estadísticas de primeras entradas al mercado de trabajo de los egresados.
»» Carencia de una metodología básica para la realización de estudios sobre el desempeño profesional de los egresa-
dos en un gran número de instituciones.
»» Heterogeneidad en torno a conceptos, variables e indicadores de carácter general y de especial relevancia para su
consideración en los estudios sobre el desempeño profesional de los egresados. Incluso, el concepto de egresado
difiere de una institución a otra.

11
 »» Insuficiencia, cuando no carencia absoluta, de infraestructura física, humana y tecnológica para la realización de
estudios de egresados en muchas instituciones.
»» Ausencia de criterios respecto a los niveles de estratificación convenientes y a la periodicidad recomendable para
los estudios de egresados.
»» Inexistencia de estrategias de socialización de la información derivada de los estudios de egresados, e incluso de las
estadísticas básicas sobre trayectoria escolar y eficiencia terminal, entre los niveles de la organización institucional
que tienen bajo su responsabilidad las decisiones fundamentales para la planeación, organización, operación, con-
trol y evaluación de los procesos académicos.
»» Insuficiencia de especialistas en educación para el procesamiento y la interpretación de los resultados de los estu-
dios de egresados.

Sobre las Recomendaciones

A) Recomendaciones sobre los estudios de carácter institucional:

1. Institucionalizar los estudios de egresados en tanto herramientas cognitivas que permiten sustentar decisiones aca-
démicas para mejorar el proceso de formación de los futuros profesionales y corregir desviaciones. Las estrategias
para la institucionalización pueden adoptar distintos niveles de formalización, de acuerdo con las políticas prevale-
cientes en las instituciones (aprobación por sus cuerpos legislativos como tarea inherente al quehacer universitario o
como requisito para la aprobación de reformas curriculares profundas.
2. Institucionalizar las estrategias de socialización de la información generada por los estudios sobre el desempeño de
egresados. Es importante señalar que la institucionalización de los estudios de desempeño de egresados sólo será útil
si se acompaña de la institucionalización de estrategias de socialización de la información generada por dichos estu-
dios. Estas estrategias deberán garantizar el acceso a la información a las instancias que intervienen en las distintas
fases de la planeación, organización y operación de las actividades de la docencia mismas que, a partir de los aciertos
y desviaciones evidenciadas por el estudio, tienen a su cargo las acciones para consolidar los aspectos valiosos o rea-
lizar las acciones correctivas pertinentes.
3. Crear bancos de información sobre los egresados de cada institución y actualizarlos en forma constante, lo que cons-
tituye una necesidad de primera magnitud para la realización de cualquier estudio de egresados.
4. Realizar en forma periódica estudios de egresados. Se recomienda la realización de estudios integrales sobre el des-
empeño profesional de los egresados de todos los programas de una institución en forma periódica (cada seis años).
Este lapso permite identificar variantes en el mercado laboral y cambios en las tendencias de aceptación de los egre-
sados de las instituciones derivadas de las transformaciones económicas, políticas y sociales del entorno institucio-
nal. Lapsos menores resultarían muy onerosos y no serían útiles para detectar diferencias relevantes.
5. Definir el momento adecuado para la realización de estudios de egresados, de acuerdo con los siguientes tipos de
estudios:
5.1. Estadísticas de primeras entradas al mercado de trabajo entre las estadísticas básicas de las IES. Las estadísticas
de primeras entradas al mercado de trabajo constituyen una herramienta fundamental para medir la aceptación
de los egresados en los distintos campos profesionales, a partir de la percepción que la sociedad del área de
influencia tiene de la institución y de su reacción ante la misma.
5.2. Estudios sobre el desempeño de egresados. Para obtener información significativa sobre el desempeño de los
egresados de una institución se requiere que haya transcurrido un lapso considerable después de la fecha del
egreso (cinco años), lapso en el cual muchos nuevos profesionales consiguen un empleo estable en un área
laboral relacionada con sus estudios. En este término, aún no han acumulado suficiente experiencia en el ejer-
cicio profesional como para que esta cualidad constituya una de las variables fundamentales para su movilidad,
entendida como el acceso a puestos superiores u opciones mejores. En este caso, la calidad de la formación reci-
bida en la institución en la cual se formaron constituye la variable más relevante. Por lo anterior se recomienda
orientar el estudio hacia las cohortes que tienen alrededor de cinco años en el mercado de trabajo. En el caso

12
 de existir la intención de un estudio más amplio se recomienda incluir a egresados de generaciones o cohortes
contiguas, que hayan sido formadas con el mismo plan de estudios. En la decisión de incluir más de una cohorte
en el estudio, también deberá considerarse que no hayan ocurrido cambios trascendentales en el entorno eco-
nómico y social que pudiesen determinar diferencias en el acceso al mercado de trabajo.
5.3. Estudios de seguimiento (confirmatorios). Se estima conveniente la realización de estudios de seguimiento
sobre una muestra de la cohorte considerada en un estudio de desempeño de egresados, tres o cuatro años
después de dicho estudio, ya que sus resultados pueden arrojar evidencias adicionales sobre aspectos no sufi-
cientemente explorados en el primer estudio.
Además este tipo de investigación permite mantener el contacto con los egresados para fines diversos como
son los programas de educación continua, actualización o el establecimiento de formas de colaboración diversas.
6. Utilizar técnicas modernas para recoger la información en los estudios de egresados. Con el objeto de generar la po-
sibilidad de estudios comparativos intra e interinstitucionales, se recomienda el levantamiento de la información en
hojas sensibles al lector óptico.
De no hacerse así, el esfuerzo humano y económico invertido en la realización de estudios de desempeño de los
egresados correría el riesgo de ser desaprovechado por la lentitud y la inexactitud del procesamiento manual de la
información.
7. Consolidar la infraestructura requerida para la realización de estudios de egresados a fin de garantizar su viabilidad.
Existe la necesidad de contar con estudios regionales sobre desempeño y movilidad de los egresados, con el objeto de
ajustar la oferta educativa a la amplitud del mercado laboral de cada región. La posibilidad de emprender un estudio
de egresados de carácter estatal, regional o nacional, supone la existencia de una infraestructura básica (equipa-
miento de cómputo) para su operación. Se recomienda la consideración de una partida especial dentro del subsidio
que se otorga a las instituciones de educación superior públicas para la adquisición de la infraestructura básica en la
realización de los estudios sobre el desempeño de los egresados.
8. Establecer convenios entre las instituciones y las delegaciones regionales del INEGI para facilitar el procesamiento au-
tomatizado de las encuestas. La disponibilidad de un lector óptico por entidad se considera suficiente. Las instituciones
que cuentan con un lector óptico podrían apoyar en la lectura a aquéllas que no disponen de este equipamiento.
9. Apoyar todos los estudios de egresados en una metodología rigurosa que contemple todos los aspectos relacionados
con el diseño muestral (cohortes, año de egreso, estratificación, mecanismo de sustitución de egresados de la muestra
no localizados).
10. Conservar el esquema básico de los estudios de egresados como elemento de referencia para estudios longitudinales
y transversales en el nivel institucional, regional y nacional. Cuando sea necesaria información adicional o se conside-
re conveniente investigar otras facetas de la vida de los egresados, se recomienda ampliar los instrumentos prepara-
dos para el estudio básico conservando invariablemente el núcleo de información correspondiente a este último, a fin
de preservar su carácter referencial.

B) Recomendaciones sobre estudios especiales:

11. Realizar análisis comparativos entre resultados de diferentes estudios de egresados. La realización de estudios com-
parativos del desempeño de egresados de diferentes áreas del conocimiento o de diferentes instituciones deberá
partir de los resultados de los estudios realizados previamente por las instituciones y no interferir con los mismos.
12. Manejar en forma confidencial la información generada por estudios comparativos. Establecer mecanismos para ha-
cer llegar a las instituciones de educación superior los resultados de los estudios de carácter interinstitucional, a fin
de propiciar la adopción de las medidas orientadas a solucionar los problemas detectados en el estudio y reservar a
cada institución la decisión de hacer públicos los resultados de los mismos.
13. Realizar estudios de egresados cuando se requiera comprobar los resultados de los procesos de modificación de
planes y programas de estudio. Cuando se realicen modificaciones profundas al currículo de una licenciatura, se reco-
mienda la realización de estudios de egresados a partir del 3er. año posterior al egreso de las generaciones formadas
con el plan de estudios modificado, a fin de constatar el impacto de las reformas aplicadas.

13
 14. Generar estrategias para el análisis de la información obtenida por los estudios a egresados. Uno de los problemas
más sentidos en las instituciones es el referido a la insuficiente explotación de la información, debido a la escasez de
analistas e investigadores educativos; de hecho, gran parte de las decisiones trascendentales para la evolución ins-
titucional se toman intuitivamente o en respuesta a presiones sociales o políticas. Es recomendable aproximar a los
investigadores en educación existentes en las instituciones a las áreas de planeación para conjugar los esfuerzos de
estas últimas con la capacidad de análisis interpretativo de las primeras. Este acercamiento podría potenciarse con un
programa de estancias sabáticas para investigadores educativos que permita aprovechar la experiencia de expertos
en el campo de la educación para un mejor autoconocimiento de las instituciones de educación superior.

C) Recomendaciones de carácter operativo:

15. No diferir el desarrollo de estudios sobre egresados tratando de recuperar la información de todos los profesionales
formados a lo largo de la historia de la institución. Enfocar la atención a las últimas generaciones, que tengan cuando
menos tres años en el mercado laboral.
16. Iniciar los estudios de egresados en cuanto se tenga actualizado el directorio correspondiente para evitar el desper-
dicio de esfuerzos y recursos.

En el marco anterior, se encuentra específicamente en la UPN el panorama siguiente:

UPN Ajusco, D.F.

En el caso de la Universidad Pedagógica Nacional, Unidad Ajusco (UPN Ajusco) se ha realizado una experiencia específica
en la Licenciatura en Psicología, la cual se imparte en la modalidad escolarizada. En base en a un cuestionario aplicado
bajo el formato propuesto por la ANUIES (op.cit); el número de participantes fue de 783 egresados de las generaciones
egresadas desde 1994 hasta 2002.
Los resultados arrojaron que el 97.1% de los egresados continúan viviendo en la Zona Metropolitana de la ciudad de
México, ya que en esta zona existe mayor mercado laboral para los psicólogos educativos.
El 85.0% de los entrevistados desempeña alguna actividad en el sector laboral. De éstos, siete de cada diez trabajan
en el sector educativo, y el 7.7% tiene empresa propia y de quienes trabajan en el sector educativo el 14.8% lo hace en la
docencia. Ello, a pesar que la licenciatura no está orientada directamente a esa actividad.
Respecto a la valoración de los egresados sobre la calidad de su formación, el 21.3% la considera excelente y el 78.7%
la califica como buena.
Como puede apreciarse, el alcance de este estudio se refirió básicamente a la ubicación en el mercado laboral y a la
valoración de los egresados sobre su formación en la institución respectiva.

UPN Ecatepec, Méx.

En la Unidad 153 de la UPN en Ecatepec, Estado de México, se realizó un estudio en dos vertientes: una dimensión
interna valorando el alcance de los objetivos educativos establecidos en las líneas de Educación Inicial y Educación de
Adultos de la Licenciatura en Intervención Educativa (LIE) y una dimensión externa dirigida a valorar la aplicación del
currículo en el campo laboral en que se ubican los egresados de esta licenciatura (Huerta, J. Antonio y otros, 2010).
Los resultados en la segunda vertiente arrojaron que los egresados de ambas líneas se ubicaron laboralmente en un
porcentaje que va del 81%, al 94% y al 100% en el sector educativo en las tres generaciones consideradas en el estudio.
El segundo dato importante es que no se registró una diferencia significativa en el tipo de trabajo realizado por los
egresados de ambas líneas. Ello, tiene implicaciones importante para evaluar el impacto socioeducativo del diseño curri-
cular de la LIE y de ambas líneas.

14
 UPN Zacatecas, Zac.

En la Unidad UPN de Zacatecas, el Dr. Jaime R. Calderón López-Velarde realizó un estudio sobre los egresados de la LIE
cuyos resultados confirman la tendencia nacional (Calderón, 2009).
En el estudio de referencia se aplicó un cuestionario a los egresados en cuyos resultados se destaca que no obstante la
situación laboral desventajosa que enfrentan los mismos, correspondientes a la 1ª. Generación de la LIE de la UPN de Za-
catecas (eventualidad, alta movilidad, sueldos bajos, etc.) su valoración fue positiva. Esto se debe —según el autor— “…a
que el 90% de los egresados cuenta con empleo, pero dos de cada tres, son docentes de educación básica, situación que
se corresponde con la principal expectativa que manifestaron al elegir esta carrera. Sin embargo, este hecho, además de
cuestionar el desempeño profesional deseable del perfil de egreso y la débil relación con las líneas de profesionalización,
revela que los jóvenes egresados de la LIE no han tenido otras alternativas laborales en donde desplieguen las compe-
tencias adquiridas. La falta de identidad profesional, el desconocimiento entre los empleadores de la carrera y la escasa
inserción de los egresados en otras instituciones (asociaciones civiles, dependencias públicas federales y estatales que
desarrollan programas educativos) y en proyectos independientes de autoempleo son aspectos que requieren explorarse
más ampliamente para explicar tal desajuste.”(op.cit).
Indica en sus conclusiones el autor que “…es imprescindible que los responsables académicos de la LIE retomen los
aspectos y problemas anotados para superarlos mediante los ajustes curriculares correspondientes y, a su vez, realizar
diagnósticos educativos que fundamenten la continuidad o inclusión de nuevas líneas de profesionalización. Finalmente,
estudios cualitativos de abandono escolar y de seguimiento de egresados de la 2ª. Generación, deben ser complementa-
dos con la opinión de los empleadores.”

UPN Los Mochis, Sin.

En la UPN, Unidad 253 de Los Mochis, Sinaloa se reporta que los egresados de los programas educativos de la Unidad
han sido reconocidos en el año 2009 en el nivel 2 por los Comités Interinstitucionales para la Evaluación de la Educación
Superior (CIIES). “En la visión de esta dependencia de educación superior (DES) se plantea el logro del nivel 1 en el año
2010, tanto para licenciatura como para posgrado, y la acreditación al 2012 en sus PE de licenciatura.” (UPN Unidad 253,
2009)
Sin embargo, se aclara en el documento citado que “Aún queda pendiente continuar con el estudio del seguimiento
de egresados para medir el impacto de los programas educativos que aproximadamente cada diez años se implementan
en las Unidades UPN. En este sentido no se cuenta con estudios de satisfacción de empleadores. No hay una vinculación
constante con las instituciones educativas que emplean a los egresados y de la detección de las necesidades de actualiza-
ción, capacitación y educación.”

UPN Puebla, Pue.

Un docente investigador de la Unidad UPN 211 de Puebla, Pue, realizó un estudio de seguimiento de egresados sobre la
Maestría en Educación con Campo en Formación Docente en el Ámbito Regional de la UPN, Unidad 211 de Puebla, Pue.
(Cuamatzin, F.,2005) encontrando que en cuanto a la ubicación laboral de los egresados antes de cursar la maestría, casi
la totalidad (27/30) realizaba funciones de docencia y los demás realizaba funciones directivas en el sistema educativo.
Después de estudiar la maestría, —nos dice el autor— “…hay cambios significativos en las funciones que cumplen los
egresados en sus respectivos trabajos: 17 cumplen funciones de docencia solamente, de los cuales 10 lo hace en educa-
ción básica y 7 en educación superior; 9 de ellos ocupan puestos directivos (dos de ellos supervisores y siete directores,
de los cuales 3 son comisionados); varios de ellos (8) ha pasado a realizar funciones de coordinación y apoyo pedagógico,
cuyos puestos tiene denominaciones como: Apoyo Técnico Pedagógico, Asesor Pedagógico, Coordinador Académico y de
Fomento a la Investigación; cuatro de ellos alternan funciones directivas y docentes.

15
 La información precedente representa, por un lado, una característica importante de un programa de posgrado en
educación: los aspirantes ya cuentan con un empleo en algún nivel del sistema educativo, en este caso, casi la totalidad
realizando funciones de docencia, por lo que el estudiar un posgrado les representa la posibilidad de mantener su empleo
o mejorar sus condiciones laborales. Por otro lado, hay un cambio significativo con respecto a las funciones profesionales
que realizan los egresados con posterioridad a sus estudios de maestría, ya que 17 de ellos pasan a cumplir funciones
directivas o de coordinación y asesoría, lo que estaría expresando un impacto importante del programa educativo en las
condiciones laborales de los egresados.” (op.cit).
Es interesante la experiencia citada porque resulta replicada en varias unidades de la UPN en el país que cuentan con
programas de maestría en educación como sucede en la Unidad 161 de Morelia, Mich. Se puede inferir que tales estudios
promueven el mejoramiento de la función profesional de los egresados, cuando —como es el caso— ya se tenía una ubi-
cación laboral por parte de estos en el sector educativo y al terminar los estudios se reincorporan a las mismas funciones.
Ello, contribuye a un mejoramiento laboral en general.
Como en otros casos, el estudio comprendió la consulta a los egresados sobre sus opiniones acerca de la pertinencia
y calidad de la formación recibida en el programa educativo. Los resultados ofrecen referencias útiles para el proceso de
desarrollo curricular del mismo.
Igual sentido adquiere la consulta que se hizo en el estudio sobre la opinión de los egresados sobre el funcionamiento
general y específico de la estructura de organización y del conjunto de la gestión de la institución.
Un dato interesante resultó ser la consulta a los egresados sobre las causas de su carencia de grado a pesar de haber
concluido los cursos del programa. De ello, se pueden desprender estrategias y programas de promoción de los procesos
de graduación focalizados a superar las causas registradas en los resultados del estudio.
Así mismo, el estudio comprendió la consulta sobre la accesibilidad a programas de becas que pueden apoyar la
inscripción, permanencia y culminación de los estudios. A partir de ello, la institución puede realizar un programa de
ampliación o apertura de becas para posgrado con recursos propios y de otras dependencias locales, federales o inter-
nacionales.
En relación a los estudios realizados por los egresados con posterioridad a la Maestría, se reportó que solamente
11/30 de ellos han realizado algún tipo de estudios, cuyas características son: predominan diplomados o especialidades
en diversos temas relacionados con la educación, tales como: filosofía para niños, administración y gestión educativa,
habilidades directivas, habilidades docentes, interculturalidad, estrategias educativas.
Destacan dos de los egresados, que han continuado con estudios de Doctorado en Pedagogía: aun cuando menos del
50% de los egresados del Programa ha continuado con algún tipo de estudios, tampoco es despreciable el esfuerzo de
los que sí lo han hecho, en general con estudios relacionados con los requerimientos profesionales que enfrentan en sus
respectivos trabajos.
Este aspecto reviste la mayor importancia porque permite identificar los factores estructurales, tanto contextuales
como institucionales que están determinando en México y especialmente en el interior del país el bajo índice de matrí-
cula en programas doctorales de la educación. Ello, incide sin duda en el significativo estancamiento de la producción de
investigaciones de calidad que deben enfrentar los graves rezagos del sector.

Seguimiento de egresados de la LIE-EPJA

En el año 2012 concluyó el trabajo de campo realizado en el marco del proyecto de investigación Seguimiento de egresa-
dos de la línea de Educación de personas jóvenes y adultas de la LIE-UPN, auspiciado por la UPN, Unidad 31A de Mérida
Yuc., el cual tuvo como propósitos “…mostrar el impacto que ha tenido la UPN en este campo educativo a través de sus
egresados, así como aportar elementos para la mejora y actualización del plan de estudios de la LIE-EPJA y su gestión
académica en la Unidad 31-A y así, dar respuesta a las necesidades sociales y de este campo profesional en el estado.
Asimismo, contar con información relacionada con el impacto y la pertinencia de la LIE y de qué manera realmente
está coadyuvando al desarrollo económico, social y cultural de nuestra entidad. Otro aspecto importante es conocer qué
ventajas y dificultades han encontrado sus egresados en el mercado de trabajo, así como las condiciones en que éstos se

16
 insertan en el campo laboral; las necesidades de ajustar los resultados de la formación y las exigencias del campo profe-
sional; la movilidad laboral y social y las necesidades respecto a su educación continua.
De igual manera, es relevante el conocimiento sobre la actualización de los programas que imparte la licenciatura, so-
bre la congruencia entre la formación recibida de acuerdo con el plan de estudio de la LIE con las exigencias del desarrollo
de los nuevos conocimientos y tecnologías que requiere el mercado de trabajo, así como la formación y actualización de
la planta docente de acuerdo a los perfiles de formación requeridos para atender un programa de esta naturaleza.” (Ro-
dríguez, Ana María, 2012).
Se asumieron ocho de las diez dimensiones que propone la ANUIES (op.cit): 1) Datos generales, 2)Trayectoria acadé-
mica del egresado, 3)Valoración de la formación recibida en la UPN (Plan de estudios), 4)Opinión sobre los conocimientos
y habilidades aprendidas, 5)Opinión de los egresados sobre la formación social recibida, 6)Experiencia en el mercado
laboral, 7)Desempeño profesional (nivel de satisfacción y exigencias), 8)Recomendaciones para mejorar el perfil de for-
mación profesional de los egresados participantes.

Referencias generales en otras unidades de la UPN

En diversas unidades de la UPN en el país se ha realizado alguna experiencia relacionada con el seguimiento de egresados
de uno o varios programas educativos, sin embargo, no se trata de programas o sistemas estructurados sino de iniciativas
coyunturales en el interés especial de conocer cómo se han integrado los egresados en el mercado de trabajo relacionado
con el perfil de egreso de su programa de formación y obtener una valoración de los egresados sobre la pertinencia y
calidad del mismo.
En las experiencias señaladas se inscriben el protocolo de investigación del año 2011 sobre seguimiento de egresados
de la LIE en la Unidad de Acapulco, Gro.; la aplicación de cédula o cuestionario aplicado en 2012 a egresados de la LIE en
la Unidad 22 a de Querétaro, Qro. y en la Unidad 161 de Morelia, Mich., en 2011; la encuesta realizada en la Unidad 112 de
Celaya, Gto. a los egresados de la Maestría en Innovación en la Escuela y Educación Media Superior y Superior.

Experiencias de seguimiento de egresados en otras instituciones

de educación superior en México

Universidad de Quintana Roo

Proyecto Decimo Estudio de Egresados de la Universidad de Quintana Roo.

Este trabajo utiliza la base del cuestionario de la ANUIES para realizar el seguimiento de egresados. La información refie-
re a la opinión de los egresados sobre la información recibida, el plan de estudios, la calidad académica de los docentes
y la imagen de la universidad. Se trata de una de las experiencias en seguimiento de egresados más amplia y sistemática
de las encontradas en el estado del conocimiento de este proyecto; sin embargo, hay que destacar que para realizar el es-
tudio, la Universidad de Quintana Roo contrató los servicios de una empresa especializada: Quadra Mercados, S.A. de C.V.
Destaca en esta experiencia la carencia de una base de datos pertinente y la dificultad del contacto con los egresados
problema que se atendió realizando, además de una vinculación individual por Internet, la entrega de cuestionarios a los
egresados y a los estudiantes que están a punto de egresar incluso mediante la entrevista cara a cara en su hogar o lugar
de trabajo por encuestadores capacitados.
La experiencia de referencia constituye el décimo seguimiento de egresados de esta institución sobre una muestra de
la población de egresados de todas las generaciones.
Se centran los objetivos de su indagación en la vinculación entre educación y sector productivo dando una alta prio-
ridad al fortalecimiento de los programas de educación superior y su relación con el mercado laboral; se busca disponer
de información actualizada que pueda alimentar los procesos de planeación educativa y evaluar la pertinencia de los
programas educativos. Su objetivo general manifiesto es evaluar la preparación y calidad académica de los egresados y
su vinculación con el mercado laboral mediante la opinión de los propios egresados; así como estimar el grado de satis-

17
 facción de los egresados respecto a su formación y evaluar el plan de estudios y calidad de los programas académicos.
(Universidad de Quintana Roo, 2010).

Exalumnos en México

El sitio de internet Exalumnos.com tiene como objetivo, rescatar el contacto entre los egresados de nivel técnico, normal,
nivel medio superior y superior de toda la república mexicana mediante una página web la cual contiene datos de dife-
rentes estados con sus respectivas ciudades, al inscribirse el egresado de alguna de las escuelas puede tener acceso a las
referencias de los egresados inscritos. Este sitio es una herramienta muy útil en la obtención y creación de una base de
datos de los egresados para este proyecto de investigación sobre el diseño de un sistema para la UPN unidad 161 Morelia.
El sitio referido cubre información sobre el conjunto de los estados y ciudades de la república ofreciendo diferentes
servicios, como información sobre proyectos que están realizando, ofertas educativas y convocatorias específicas sobre
diplomados y cursos de capacitación, actualización profesional y otros.
Los beneficios más destacados son:

»» Al pertenecer a la comunidad de exalumnos.com se tiene acceso a distintos servicios y contactos con los compañe-
ros de la escuela de procedencia.
»» Incluir la fotografía del interesado o incluso un vínculo a su página web personal, para que los participantes conoz-
can los datos, perfiles, experiencias, intereses e información destacada de cada uno.
»» Revisar convocatorias para eventos especiales de cada generación y estar enterados de las últimas novedades que
tienen que ver con su escuela y generación y de procedencia.

Universidad de Colima
Programa Institucional de Seguimiento de Egresados

Este proyecto maneja un reporte general de los egresados de la generación 2006, tiene como objetivo conocer la ubi-
cación, el desempeño y el desarrollo profesional de los egresados de la institución, destaca en este reporte el proceso de
recopilación de datos generado en dos etapas; la primera con la recopilación de datos previa al egreso (ficha de preegre-
so), la segunda la búsqueda de egresados para la aplicación de encuestas. (Universidad de Colima, 2009).
Este proyecto no maneja encuestas en específico para cada carrera y la encuesta señalada se realizó a los seis meses
del egreso; tiempo no suficiente para generar datos, tales como si se generó con la realización de los estudios una mejor
remuneración y la experiencia de trabajo entre otros datos relevantes.
Los apartados que comprende son: origen socio familiar y trayectoria posterior al egreso, ritmos de incorporación al
mercado de trabajo, el empleo actual, rasgos generales del desempeño profesional por áreas de conocimiento, satisfac-
ción con la Universidad de procedencia y la carrera, recomendaciones y opiniones sobre la formación; finalizando con
algunos anexos.
El proceso de recolección de información se dividió en dos etapas. La primera fue la aplicación de una ficha de pree-
greso, realizada cuando los egresados cursaban el último semestre de la carrera, con la finalidad de localizarlos después
de egresar. La segunda fue la búsqueda de los egresados para la aplicación de la encuesta a partir de los seis meses de
haber culminado la carrera.
Los resultados más relevantes logrados con la experiencia mencionada se refieren a 1)Origen socio familiar y trayec-
toria académica posterior al egreso, 2) Ritmos de incorporación al mercado de trabajo, 3)Datos del empleo actual, 4) Ras-
gos generales del desempeño profesional, 5) Satisfacción con la universidad y la carrera, 6) Recomendaciones y opiniones
sobre la formación recibida y 7)Conclusiones sobre fortalezas y áreas de oportunidad. (op.cit).

18
 Instituto Tecnológico de Ciudad Acuña, Coahuila
Estudio sobre el desempleo de los egresados del Tecnológico de Ciudad Acuña, Coahuila.

El Desempleo es uno de los problemas que actualmente afecta a los egresados de todo el país y es un dato importante y
destacado a tomar en cuenta en cualquier sistema de seguimiento de egresados; a él se asocian datos importantes como
la inserción en el campo laboral o grado de vinculación de sus estudios realizados con la actividad profesional desempe-
ñada o en el caso de no trabajar cuales son las dificultades que han enfrentado; dicha investigación propone preguntas las
cuales obvias y carecen de un estudio o análisis personalizado para cada licenciatura.
Para formular las preguntas se planteó primeramente el diferente tipo de desempleo que se puede presentar y que se
resume en los tipos siguientes (Cruz, 2011):

“a) El desempleo cíclico: Se origina como parte de las repercusiones que se tienen a nivel laboral, en el comportamiento
económico, en función de transitar por los fases de recuperación, aumento, apogeo y descenso de la actividad econó-
mica. La contracción de ese ciclo provoca una mayor cantidad de desempleo y se denomina recesión. Si la recesión se
presenta de manera aguda y durante un tiempo considerable, se convierte en depresión; se genera en este último caso
el desempleo depresivo.
b) El desempleo estacional: Se caracteriza por prácticamente predecibles épocas del año en que la demanda laboral es
baja, producto de los ciclos de producción en determinada línea productiva. Un ejemplo ilustrativo de esto es la esta-
cionalidad agrícola y la demanda de trabajadores, en épocas de siembra y de cosecha. En épocas de mantenimiento de
cultivos y cría de ganado, se reduce la demanda de operarios.
c) El desempleo friccional: Se deriva del tiempo que se requiere para encontrar, ya sea una nueva colocación o bien de
poder conseguir el primer empleo, al ingresar en el mercado laboral. Se trata de factores que pueden estar asociados
al tipo estructural de paro.
d) El desempleo estructural: Se debe a la influencia de factores que estarán de manera más permanente en el sistema.
Entre los mismos se tiene al aumento de productividad, a las fusiones de empresas, a la contratación en otros países.
Este último factor, a pesar de que no existe mayor integración de los mercados laborales del mundo, sí permite que
países con mayores niveles de mano de obra que países industrializados, puedan competir por procesos de produc-
ción o bien prestación de servicios.
e) Tecnológico: Causado por el reemplazo de trabajadores por las máquinas o la tecnología avanzada.
f) Clásico: Cuando el salario verdadero para un trabajo se fija sobre el nivel del mercado, comúnmente con la partici-
pación del gobierno o sindicatos, aunque algo sugiere que incluso los tabúes sociales puedan evitar que los salarios
bajen al nivel del claro del mercado.
g) Marxiano: Cuando el desempleo es necesario para motivar a trabajadores para el trabajo difícil y para mantener los
salarios en un bajo nivel”

Preguntas aplicadas:
1. ¿Causas por las que no has encontrado empleo?
2. ¿La crisis económica afecta en que no se genere empleos?
3. ¿La competencia profesional es una causa del desempleo en los egresados?
4. ¿Las fuentes de empleo son suficientes?
5. ¿Cuáles son las carreras más demandadas en la localidad?
6. ¿Te afecta que las empresas requieran experiencia laboral?

Universidad Autónoma de Campeche

En el año 2008 se publicó el texto Génesis y evolución de los estudios de egresados en la Universidad Autónoma de Cam-
peche, México. (Alonzo, Diana, L. 2008) en el que se reseña el origen, en 1983 de los primeros estudios de egresados en
dicha institución. En él se da cuenta que tales estudios han evolucionado hasta contar a partir del 2008 con el “Programa

19
 Institucional de Estudio y Seguimiento de Egresados” que emplea las TIC´s para facilitar el contacto con los egresados y
ampliar la cobertura.
En lo general, el marco normativo y conceptual utilizado ha sido el “Cuestionario tipo para el estudio de egresados”
propuesto por la Asociación de Universidades e Instituciones de Educación Superior (ANUIES) el cual consta de 108 pre-
guntas divididas en 15 apartados:
1) datos generales del egresado y antecedentes socio familiares, 2) datos socioeconómicos actuales, 3) condiciones
económicas durante la licenciatura, 4) estudios de bachillerato o equivalente, 5) estudios de licenciatura, 6) elección de
carrera e institución, 7) continuación de la formación, 8) trayectoria y ubicación en el mercado laboral, 9) desempeño
profesional, 10) exigencias en el desempeño profesional cotidiano del trabajo actual, 11) opinión de los egresados sobre
la formación profesional recibida,12) recomendaciones de los egresados para mejorar el perfil de formación profesional,
13) opinión de los egresados sobre la organización académica, 14) opinión de los egresados sobre la organización insti-
tucional, 15) satisfacción con la institución y con la carrera cursada.
En el año 2002, se realizó el proyecto “Estudio de egresados como herramienta básica para la mejora permanente
de los planes y programas de estudio y la planeación académica de la Universidad Autónoma de Campeche”, el cual tuvo
como objetivo: Implantar un programa permanente de estudio y seguimiento de egresados a nivel institucional, que
permita obtener información confiable y pertinente para apoyar la toma de decisiones y la planeación académica de la
UACam; pero al igual que otras Instituciones de Educación Superior (IES) del país, inicialmente sólo realizó estudios a
nivel piloto en algunas facultades y/o escuelas superiores, que consideran la metodología propuesta por ANUIES, pero sin
lograr sistematizar y homogeneizar el programa en toda la universidad.
Este cuestionario se encuentra totalmente digitalizado y disponible en la página web de la Universidad, con lo cual
el egresado puede acceder a él, mediante su número de matrícula y los datos reportados pueden ser exportados al sis-
tema de computación estadístico “Statistical Package for the Social Sciences” (SPSS), para su procesamiento y análisis
posterior. Los resultados así obtenidos permiten proporcionar de forma oportuna datos confiables de los egresados a los
organismos evaluadores y acreditadores de los programas educativos de nuestra máxima casa de estudios.
El Programa Institucional de Estudio y Seguimiento de Egresados, ve necesario de igual manera como varios de los
diferentes estudios el empleo de las TIC´S para facilitar el contacto con los egresados y ampliar la cobertura.
Es conveniente señalar que el programa de seguimiento de egresados enunciado y el cuestionario de la ANUIES no
plantean los términos en que se puede y se debe diseñar un sistema institucional de seguimiento de egresados especifi-
cando el papel, responsabilidades, atribuciones, normas y estructura de organización del mismo. Las aportaciones de la
UACam y de ANUIES son susceptibles de recuperarse para el cumplimiento de la programación anual de un sistema de
seguimiento de egresados en marcha.

Sistema de seguimiento de egresados de la Universidad Veracruzana

En la Universidad Veracruzana se ha puesto en marcha uno de los sistemas de egresados más ambiciosos e integrales
de las experiencias revisadas en el estado del conocimiento de este proyecto. En un documento presentado en el V Con-
greso internacional de Administración Universitaria realizado en Pachuca, Hgo. En 2006, se especificaron los objetivos
del mismo:

»» “Organizar un sistema institucional y un modelo operativo

»» Fortalecer los estudios institucionales de egresados
»» Desarrollar procedimientos operativos para la sistematización y actualización de la información
»» Hacer propia la intención de ANUIES y adoptar un esquema básico es decir un modelo con metodología replicable
tanto al interior como al exterior de la institución”.

En la perspectiva anterior, se plantearon los estudios de egresados como estrategia evaluativa de las IES, según lo
propone la ANUIES; así, se consideran como prioritario identificar

20
 »» “El desempeño de los Egresados en el mercado de trabajo.
»» Los mecanismos de acceso, aceptación y evolución profesional y salarial.
»» El desenvolvimiento del egresado en el ámbito de su formación continua y estudios de posgrado.
»» Conocer la coherencia entre perfiles terminales y objetivos de planes y programas de estudio.
»» Conocer nuevas exigencias del ejercicio profesional.
»» Flexibilidad de los egresados para incorporarse a un mercado laboral cambiante.
»» Contar con información para orientar recursos a lograr estándares de calidad en la formación.
»» Conocer opiniones de los egresados sobre la calidad y la satisfacción con su formación y con la institución formadora.”

Para lo anterior, se propone, en lo general, como metas de los estudios de egresados IES:

»» “Evaluar indirectamente la calidad del proceso de educación y de la Planta Académica

»» Generar Indicadores Confiables de los programas educativos y
»» Mejorar las estrategias de pertinencia de los mismos.”

Acorde con las definiciones anteriores, se diseña el modelo que orienta el conjunto del sistema de estudios de egresados:

Modelo de evaluación

Estudios de egresados

Estudios de opinión de expertos Estudios de opinión de empleadores

sobre requerimientos actuales sobre requerimientos actuales
y futuros de formación y futuros de formación

Análisis de la organización
académica y los planes de estudio

Como indicadores de impacto a identificar se determinan los siguientes:

»» “Ritmos de Inserción de los egresados en el mercado de trabajo.

»» Tasa de Ocupación y de Desempleo abierto. Incorporación laboral y ubicación laboral.
»» Tiempo para encontrar empleo al egreso.
»» Tamaño de la organización.
»» Régimen jurídico.
»» Sector económico.
»» Nivel Jerárquico.
»» Ingresos.
»» Tipo de Contratación.”

21
 Como indicadores de desempeño y desarrollo profesional se señalan:

»» “Continuación de la Formación
»» Coincidencia entre Estudios y actividad profesional
»» Exigencias encontradas
»» Actividades y Cargos Desempeñados”

Otros indicadores a considerar, son:

»» Satisfacción con la Institución

»» Satisfacción con la Carrera

Mecanismos de vinculación:

»» Factores de empleo
»» Medios de empleo
»» Vínculos profesionales

El sistema prevé específicamente también, los instrumentos de la propuesta para su aplicación en la Universidad
Veracruzana, los instrumentos y procesos referidos a los estudios y usos de la información; formación y actualización del
directorio de egresados; el organigrama de la Coordinación de seguimiento de egresados; el mapa de los campus y locali-
dades de la Universidad Veracruzana que están en la cobertura del sistema; la integración de la información del Directorio
de Egresados en un sistema manual o automatizado; los medios de actualización; la cédula para capturar la información
individual de los egresados; la hora de ruta y secuencia de acciones realizadas; los productos a lograr en cuanto al im-
pacto; una síntesis explicativa sobre las características del Sistema de Egresados (SE); un resumen de acciones nuevas y
futuras a realizar; la integración al Sistema Integral de Información Universitaria (SIIU); el diagrama conceptual del SE y
el flujograma de su funcionamiento; la explicación gráfica sobre la entrada a la información en la página virtual corres-
pondiente; una explicación de los objetivos y funciones de la Coordinación del Programa Institucional de Seguimiento de
Egresados y la planeación administrativa del uso y explotación de la base de datos del Directorio Institucional de Egresa-
dos; explicación del acceso y navegación en la página web respectiva y una explicación sobre el Programa de la UV para
sus egresados y las conclusiones de la experiencia desarrollada.

Los sistemas de seguimiento de egresados en otros países

A continuación se hace referencia a las experiencias con mayor afinidad hacia el objeto de investigación.

A) Destaca la experiencia realizada en Centroamérica por el Consejo Superior Universitario Centroamericano en coordi-
nación con el Servicio Alemán de Intercambio Académico, en el cual se concluye (Arechavala, 2009):

Para que los estudios de seguimiento de egresados generen la información pertinente, es necesario el compromiso
serio de las instituciones bajo estudio, en particular con respecto a la creación de condiciones para la recolección y pro-
cesamiento de los datos. Este compromiso debe definirse a mediano plazo a través de la implementación de políticas y de
líneas estratégicas a nivel institucional para la instrumentalización y operacionalización de este tipo de estudios, tanto a
nivel de pregrado como de posgrado.
A corto plazo debe invertirse en la capacitación de equipos locales a través de proyectos cofinanciados para tener
profesionales capacitados en esta área de estudios de educación superior. A largo plazo, los estudios de seguimiento
requieren ser parte integral del quehacer de los programas académicos como elemento de una cultura de evaluación y
mejoramiento institucional. Además de la voluntad política de facilitar la institucionalización de estos estudios, también
se hace necesario proporcionar los recursos financieros para la realización de los mismos

22
 Debido a que estos estudios permiten el fomento de la cultura de evaluación y el mejoramiento institucional, es ne-
cesaria la definición de políticas y estrategias para la realización de los mismos. Es importante asumir la realización de
estos estudios como un mecanismo para la rendición de cuentas a la sociedad, como diagnóstico de las capacidades y
herramienta para remediar las limitaciones de las universidades. Asimismo, los estudios de seguimiento de egresados
pueden constituirse en un requisito para obtener la acreditación regional de los programas de grado y posgrado.
El trabajo en equipo y la utilización de medios de comunicación avanzados, especialmente Internet, permiten al-
canzar con mayor eficiencia los objetivos propuestos en estudios de egresados y mejorar la calidad de la información.
La comunicación por medios virtuales se constituye en forma eficiente para mantener una vía activa en la discusión y
análisis de resultados. Sin embargo, al realizar estudios de seguimiento de egresados se hace necesario planificar talleres
presenciales de trabajo en grupo, con el equipo de investigadores, en especial cuando el estudio se realiza a nivel regional.
Estos talleres permiten discutir y analizar los resultados.
…Con la finalidad de propiciar la institucionalización de los estudios de egresados e involucrar a los diferentes actores
en la realización de los mismos es importante promover mecanismos para la divulgación de los resultados de los estudios
de esta índole, con especial interés en los aspectos metodológicos, en espacios tales como: asociaciones de egresados,
grupos académicos en las universidades, congresos,…Así mismo, se hace necesario el establecimiento de mecanismos
para sistematizar la oferta de educación continua a egresados y fortalecer redes de investigadores, por parte de los pro-
gramas de posgrado regionales. Lo anterior, podrá facilitar a futuro un contacto más frecuente del graduado con su uni-
versidad y con los programas, lo cual crea nexos de pertenencia de los mismos.”

B) La Universidad Católica de Chile plantea en su Reglamento de Egresados (Universidad Católica, S/F) Resolución N°
1727-2009-CUULADECH:

a) que los graduados participan en el gobierno de la misma. Esta es una disposición importante y no vista en las institu-
ciones mexicanas.
b) les brinda programas de perfeccionamiento profesional a nivel de cursos de formación contínua, diplomados, títulos
profesionales de segunda especialidad, maestrías y doctorados;
c) promueve y estimula la organización de asociaciones de egresados con fines sociales, de investigación y de proyección
social y extensión universitaria; reconociendo dichas organizaciones y apoyando sus actividades. No se precisa el
grado de autonomía que tienen estas organizaciones respecto a la universidad.
d) las unidades académicas brindarán incentivos para estimular la participación de los graduados en las actividades de
capacitación de la universidad y
e) los egresados de la universidad tendrán derecho a un número de vacantes en el programa de formación docente.

C) En el caso del Consejo de Colegios y Universidades del Estado de Minnesota, Estados Unidos, (Minnesota State Co-
lleges & Universities, 2005) desde el 14 de junio de 2005 se estableció una política de seguimiento de graduados
estructurada en tres partes:

Parte 1. El propósito del Sistema de Seguimiento de Graduados es proporcionar a los estudiantes y prospectos a
serlo, los tomadores de decisiones y el público en general información sobre el empleo y los resultados educativos de
los graduados de los colegios y universidades del Estado de Minnesota.
Parte 2. Responsabilidad del Consejero. Deberá crear y mantener un sistema para recopilar y publicar la informa-
ción sobre el empleo y los resultados educativos de los recién graduados.
Parte 3. Responsabilidad de la Institución. Cada universidad deberá encuestar a sus graduados anualmente para
recoger la información de seguimiento de acuerdo con las normas establecidas. Cada universidad participará en el
seguimiento y llenado de la encuesta de graduados en el Sistema Integrado de Registro Estatal
La relevancia de este sistema de seguimiento de egresados estriba en la coordinación interinstitucional que prevé
para la consolidación de datos que permite ofrecer una visión de conjunto sobre el comportamiento de las cohortes
de egresados de las diversas carreras que operan en el conjunto de las instituciones implicadas.

23
 D) En el caso de El Instituto Superior de Educación Público “Ciro Alegría Bazán” de Perú, se plantea la instauración de un
Plan de Seguimiento de Egresados en la perspectiva de sustentar la autoevaluación, la planeación y el mejoramiento
de la gestión y desarrollo institucional así como calibrar y desarrollar el impacto social de las carreras profesionales
que se imparten. Explícitamente hacia los estudiantes matriculados que están próximos a egresar se pretende facilitar
la identificación de sus competencias para su empleabilidad y la autogestión.

En el Objetivo General del Plan se indica (ISP-CAB, 2008):

“Diseñar e implementarte estrategias de acercamiento del instituto Superior de Educación Publico “Ciro Alegría
Bazán “de Chepén con sus egresados, con el fin de obtener información confiable y pertinente sobre su ubicación y las
actividades que desempeñan en el ámbito laboral, el grado de satisfacción y el nivel de exigencia de los empleadores
en el desempeño profesionales de nuestros egresados, lo que permitirá apoyar la toma de decisiones y la planeación
académica en el nivel institucional”.

Tal objetivo se desglosa en los siguientes objetivos específicos:

a) Conformar y consolidar las comisiones de seguimiento de egresados y opinión de empleadores.

b) Establecer los tiempos y formas para la realización de las encuestas.
c) Contar con información confiable sobre el desempeño profesional de los egresados y de su relación con los aciertos
y posibles fallas en su formación, enriquecer con ello la toma de decisiones para implementar acciones que permitan
superar el nivel académico en el período formativo.
d) Conocer las nuevas exigencias que plantea el ejercicio profesional a los egresados como consecuencia de las transfor-
maciones económicas, sociales y tecnológicas, para su incorporación oportuna en los planes y programas de estudio,
así como para el diseño de programas de complementación continúa a nuestros egresados.
e) Conocer el grado de satisfacción de los Egresados respecto a la calidad de la formación recibida durante sus tres años
de estudio en nuestra institución.
f) Generar la información suficiente y pertinente que permita a la comisión encargada del seguimiento de egresados
revisar los planes de estudios para conocer la coherencia que existe entre los perfiles profesionales, capacidades
terminales y las competencias.

E) Igualmente en Perú, dentro de El Ministerio de Educación, La Dirección Nacional de Educación Superior y Técnico
Profesional y su Dirección de Educación Superior Tecnológica y Técnico Productiva ha construido un MÓDULO DE
SEGUIMIENTO DE EGRESADOS DE LOS INSTITUTOS SUPERIORES TECNOLÓGICOS. (MEP/DNESTP/DESTTP, 2006).

En ese módulo se plantean los ítems siguientes:

1. Año en que ingreso al Instituto Superior Tecnológico.

2. Año que terminó
3. Año que se tituló
4. Edad
5. Sexo
6. Estado civil
7. ¿Actualmente trabaja?
8. Remuneración mensual
9. Tipo de empresa
10. Actividad/rubro
11. A partir de su experiencia laboral, la formación profesional que recibió con respecto a su desempeño laboral es:
12. Desde que egresó ¿cuánto tiempo tiene sin trabajar?
13. ¿Ha recibido reconocimiento personal o profesional?

24
 El módulo está diseñado para ser operado totalmente en línea tanto por la institución como por los egresados y aun-
que es evidente que el contenido del módulo es limitado, —fue diseñado en 2006— es posible que haya sido actualizado
con nuevas versiones.

F) La Agencia Internacional de Desarrollo de la Oficina de Cooperación de la Unión Europea a través del programa ALFA
financió el proyecto Red Graduados y Asociación Columbus en cuyo marco el Instituto Tecnológico y de Estudios
Superiores de Monterrey diseñó en 2006 el “Manual de instrumentos y recomendaciones sobre seguimiento de egre-
sados”. Es un documento dirigido a las autoridades de las instituciones de educación superior y plantea como “… (El)
propósito fundamental…proporcionar un contexto general sobre la utilidad de este tipo de proyectos; cuáles son los
temas principales que abordan, cómo se planean y se llevan a cabo, por qué es importante recabar la opinión de los
empleadores de los egresados, aspectos clave para implementar estudios de seguimiento de egresados, y la detección
de áreas de oportunidad para la mejora de este tipo de actividades.” (Unión Europea-ITESM, 2006).

Según se anota en el manual: “Este Manual representa la culminación de dos años de trabajo del Proyecto GRADUA2,
el cual inició sus actividades en febrero de 2004, e incorpora la experiencia de las universidades e instituciones que lo
conformaron (10 de América Latina y 11 de Europa). Estas instituciones, que representan a 12 países, han desarrollado
una cultura de seguimiento de egresados como parte de sus programas de efectividad institucional”. En el manual de
referencia se destacan como elementos clave para el establecimiento de un sistema de seguimiento de egresados los
siguientes:

»» Es indispensable que la dirección de la institución tome conciencia de la importancia estratégica que tiene para
la misma conocer el destino posterior de sus egresados y asumir el compromiso institucional de llevar a cabo los
estudios requeridos para ello.
»» La organización del órgano ejecutor del seguimiento debe ubicarse en una posición cercana a la dirección para que
tenga influencia en todos los sectores de la institución.
»» La existencia de una cultura de evaluación en la universidad potencia o facilita la aceptación e incorporación por
parte de la comunidad universitaria de los procesos de seguimiento a egresados.
»» Es necesario que la institución defina claramente el órgano responsable de llevar a cabo el trabajo de seguimiento
y le asigne los recursos adecuados para ése fin (financieros y humanos).
»» Se deben establecer procedimientos, darlos a conocer y asegurar su aceptación en todos aquellos involucrados en
el seguimiento de los egresados.
»» La institución debe conocer experiencias exitosas de otras instituciones universitarias y adaptarlas a su contexto.

Estas recomendaciones tienen pertinencia porque derivan de conocimientos y experiencias acumuladas por las organi-
zaciones participantes en este esfuerzo internacional sobre el tema. En su momento, la Unidad 161 de la UPN puede gestio-
nar su incorporación a las actividades que dicha instancia promueve ya que se trata de un referente de instituciones serias
y confiables, si bien se trataría de contextualizar la ubicación económica, socioeducativa y política de cada una de ellas.

G) La Universidad Simón Bolívar de Venezuela —sede Cúcuta— ha elaborado un “Manual del Egresado” que constituye
una importante experiencia de funcionamiento de un sistema de seguimiento de egresados tanto en el ámbito de la
institución y como en el de los egresados y su organización en cuanto tales (Universidad Simón Bolívar, 2010).
El contenido de dicho manual se organiza de la manera siguiente:

1. INFORMACIÓN GENERAL
1.1 Misión
1.2 Servicios
1.3 Trámites de Documentos
1.4 Paz y salvo del Egresado
1.5 Perfil Profesional del Egresado

25
 1.6 Tips para Egresados
1.7 Convenios
1.8 Egresado Destacado
1.9 Relaciones Internacionales
1.10 Asesorías y Centro de Información de Estudios en el Exterior
2. POLÍTICAS Y ESTRATEGIAS DE SEGUIMIENTO DE EGRESADOS
2.1 Objetivos
2.1.1 Generales
2.1.2 Específicos
2.2 Políticas
2.3 Estrategias generales

Desde el inicio, el Programa de Egresados se propone “…establecer relaciones que permitan tanto el desarrollo ins-
titucional como el crecimiento del egresado, a partir de una formación que consulte las necesidades de la sociedad en la
cual se circunscribe para contribuir al ejercicio profesional acorde con los requerimientos del desarrollo de la Región y
del País.”
Resalta la importancia que se expresa en el documento sobre la orientación a ofrecer al egresado para realizar con
mayor eficacia su inserción en el mercado laboral. Se le plantean recomendaciones detalladas sobre cómo elaborar un
currículo u hoja de vida y cómo realizar la entrevista de selección ante empleadores con precisiones a considerar antes,
durante y después de la misma.
Igualmente, se le orienta sobre los procedimientos para legalizar documentos y homologar títulos en vistas a laborar
en el extranjero.
Se hace una exposición detallada sobre los beneficios otorgados por la institución en el portafolios de ésta a los cua-
les puede acceder como egresado y los términos de su participación en las evaluaciones curriculares de los programas
educativos de la misma.
El manual es explícito en la exposición de las actividades de actualización y capacitación (educación continua y pos-
grados) a disposición de los egresados.
Resulta significativo que la institución promueve con gran énfasis y con la inclusión de propuestas concretas la or-
ganización gremial de los egresados. Explica al respecto las ventajas de asociarse en lo académico, lo personal y lo orga-
nizativo. Señala además las opciones para que los egresados se vinculen laboralmente con la institución a través de las
políticas respectivas de reclutamiento y selección de personal en las que los egresados tienen preferencia.
El manual otorga especial atención al seguimiento de la ubicación laboral del egresado a través de las encuestas res-
pectivas y establece los criterios, mecanismos e instrumentos para identificar el impacto social y académico del egresado
en su entorno.

Programas y acciones relevantes de seguimiento de egresados

A) La Universidad Pedagógica Nacional “Francisco Morazán” de Honduras, Centroamérica que a partir de 2006 puso en
marcha su Programa de seguimiento a los graduados a nivel institucional (Proseg), constituido con un Comité Coor-
dinador Institucional para la Ejecución del Proseg el cual funciona en coordinación con la Asociación de Graduados
constituida y las redes de graduados en formación. (UPN Honduras, 2006).

“Los resultados esperados son: Directorio de graduados de la UPNFM, estudio de graduados, sistema de comunica-
ción, capacitación y actualización y asociación de egresados.
Sus objetivos generales son:

1. Consolidar y mantener un directorio de graduados.

2. Desarrollar un proceso de seguimiento y evaluación de los graduados en el marco de su desempeño laboral.

26
 3. Establecer un sistema de comunicación permanente, interactivo y de doble vía entre los graduados y la Universidad
Pedagógica.
4. Ofrecer posibilidades de capacitación y actualización para el mejoramiento del graduado.
5. Crear los ambientes propicios para impulsar las innovaciones curriculares.
6. Promover los espacios y condiciones para la organización de los graduados, a través de redes por áreas disciplinares.

Sus funciones:

1. Convocar al comité Proseg, a reuniones de trabajo y de consultas.

2. Presentar propuestas o proyectos de acción con los graduados ante las autoridades universitarias, para la aprobación
de los mismos.
3. Gestión y promoción de eventos institucionales para el beneficio de los graduados.
4. Gestionar y administrar el apoyo extra institucional para el logro de los resultados esperados con el PROSEG.
5. Servir de enlace entre el sector empleador de los graduados y la UPNFM
6. Servir de enlace entre las unidades académicas y el comité coordinador institucional.
7. Planificar y ejecutar las acciones que se emprenderán con sus respectivos graduados, tanto en la sede central como en
los Centros universitarios regionales.
8. Promover la participación de graduados de las diferentes carreras en la consecución de las acciones planteadas para
ellos mismos.”

B) Destaca en las experiencias de sistemas sobre seguimiento de egresados en Colombia, la Universidad Nacional que
cuenta en la Facultad de Ciencias Humanas con sistema estructurado con un portafolios de servicios y beneficios que
comprende:

1. Servicios para egresados de Cobertura Nacional: Sistema Nacional de Bibliotecas SINAB y editorial de la Universidad
Nacional de Colombia; acceso a información institucional; participación en actividades organizadas por la universi-
dad y cuenta de correo electrónico institucional.
Adicionalmente, otorgamiento de descuentos en los servicios y programas de divulgación cultural, publicaciones,
libros y suscripciones a publicaciones periódicas y cursos de extensión y actualización; arrendamiento de escenarios
deportivos, auditorios, salones para cursos o eventos; colaboración en la difusión de información sobre las Asociacio-
nes de Egresados; difusión de oportunidades de enlace laboral a través del Sistema de Información de Egresados y
divulgación de oportunidades de becas internacionales.
2. Servicios para egresados con cobertura en Bogotá: la Unidad de Emprendimiento Facultad de Ciencias Económicas y
el Área de cultura Bienestar Universitario.
3. Servicios para egresados con cobertura en la Facultad de Ciencias Humanas: Coordinación de Egresados Facultad de
Ciencias Humanas, Secretaría Académica, Educación continua y permanente, Centro de Psicología Aplicada: Servicio
de Atención Psicológica, (SAP) Evaluación Neuropsicológica; Laboratorio de Psicología Jurídica.
4. Servicios para egresados ofrecidos por externos: América Solidaria, Enseña por Colombia, Cooperativa de Profesores.

C) Es relevante el caso de la Universidad de la Gran Colombia, en cuya institución se han formalizado un conjunto de
Políticas y estrategias de seguimiento a egresados mediante el Decreto 1001 del 3 Abril de 2006. En él se establecen
objetivos, políticas y estrategias de gran alcance:

Objetivo general
Fortalecer la relación interactiva entre los egresados y los demás estamentos de la comunidad Gran colombiana con el
propósito de propiciar la formación continuada de los egresados y enriquecer los procesos de mejoramiento de la Uni-
versidad.

27
 Objetivos Específicos
»» Fomentar el sentido de pertenencia del egresado Gran colombiano
»» Fortalecer el posicionamiento de la Universidad a través de la cualificación de sus egresados.
»» Aprovechar la experiencia del egresado para el mejoramiento de los servicios educativos que ofrece la Universidad.

Políticas:
1. Política de Integración: Fomentar la participación y solidaridad entre los egresados a través de encuentros anuales de
egresados de cada programa.
2. Política de Empleo: Los programas a través de la coordinación de proyección social de cada facultad y de contactos
empresariales facilita la captación de hojas de vida y la divulgación de oportunidades de empleo.
3. Política de creación de Empresas: Facilita la comunicación de los egresados con los consultorios y otros entes encar-
gados de propiciar y apoyar la creación de empresas como Incubar Colombia y del programa “emprender” del Sena.
4. Política de seguimiento: Propicia la actualización de los datos de los egresados por medio de la gestión de la coordi-
nación de cada facultad.
5. Política de Medición: Cada programa hará seguimiento al desempeño laboral de sus egresados y su participación en
comunidades académicas o profesionales.
6. Políticas de asociación: La Universidad apoya todas las actividades de creación y funcionamiento de la asociación de
egresados de la Universidad La Gran Colombia.
7. Política de Capacitación permanente: La Universidad fomenta la capacitación permanente de los egresados a través de la
facultad de Postgrado y Formación Continuada a donde se le brinda a los egresados de interés con descuentos especiales.

Estrategias

1. Conformar la asociación de egresados de cada programa y de la Universidad.

2. Realizar encuentro anual de egresados por programa.
3. Mantener seguimiento al impacto y desempeño laboral de los egresados a través de encuestas diseñadas para medir
estos parámetros.
4. Difundir los servicios de extensión universitaria entre egresados.
5. Cada Facultad con Postgrados propiciará espacios para la discusión de temas de actualidad e interés disciplinar y social.
6. Facilitar los procesos relacionados con el empleo y el espíritu empresarial (a través de las coordinaciones y consultorios)
7. Sistematizar toda la información relacionada con los egresados.
8. Vincular a los egresados en los consejos y comités de la Facultad.

Destaca el compromiso explícito de la Universidad en la creación directa de empresas comunitarias y otras iniciativas
para la apertura de fuentes de empleo para sus egresados. Ello, se plantea sólo como enunciado sino que deriva en el
establecimiento de criterios, mecanismos y procedimientos para desarrollar las iniciativas valoradas como pertinentes.
La experiencia de esta institución se remonta al año 1962. A la fecha y con la experiencia acumulada, ha hecho parte
del proceso de creación de más de 5000 empresas y a través de la dirección de extensión y servicio a la comunidad sigue
mediante la información, orientación, capacitación y asesoría acompañando este programa.

Inserción de los egresados en el mercado laboral

A) Al construir un sistema de seguimiento de egresados en el campo educativo —como es el caso de la Universidad Pe-
dagógica Nacional— se debe considerar el factor antigüedad en el ejercicio profesional como elemento importante en
el momento de evaluar la inserción en el campo laboral de los mismos.

Para el caso de los egresados de las licenciaturas se presenta el problema —en la mayoría de los casos— de la carencia
de experiencia previa en el campo en que se formaron. Como se reporta en una investigación al respecto realizada en
28
 Argentina (Jaramillo, 2012) “La antigüedad y el puntaje son formas de capital cultural que adquieren algunos egresados
al participar de las reglas de juego del campo de la docencia. En este campo de trabajo la normativa (Estatuto Docente) no
solo se caracteriza por privilegiar el requisito de la antigüedad para acceder a horas vacantes, sino también por establecer
un criterio cuantitativo (puntaje) en la selección de su personal. En este contexto, aquellos egresados que cumplen estos
requisitos se encuentran con mayores ventajas para acceder a este espacio de trabajo.
En contraposición, aquellos que no poseen el atributo de la antigüedad y puntaje en la docencia —capital cultural
institucionalizado— …perciben a estos requisitos como uno de los obstáculos más difíciles de sortear.”
Una graduada interrogada sobre este asunto señalaba: “Te pedían antigüedad en la docencia pero si uno egresaba
no podía tener antigüedad, digamos, como graduada. En aquel momento creo que dos años, tres años”. En el caso de los
egresados de los programas de posgrado no se presenta esa situación mayoritariamente porque se trata de profesionales
con experiencia en el campo de formación.
Sin embargo, habrá que considerar en su caso, precisamente el factor antigüedad previa en el ejercicio profesional
para identificar y diferenciar el impacto que tuvo en él la formación adicional lograda con el posgrado, respecto al impacto
de su formación y experiencia previas en su situación laboral como egresado del posgrado en cuestión. Esta considera-
ción será útil al abordar la construcción del sistema de seguimiento de egresados de las maestrías educación, tanto en la
de educación básica y como en la de desarrollo curricular

B) En la Universidad de Valparaíso. Chile, se realizó en 2010 un trabajo de investigación denominado “Caracterización

de la inserción laboral a partir de las competencias demandadas por los empleadores a los egresados y estudiantes en
práctica profesional de la carrera de Socio economía de la Universidad de Valparaíso” (Gederlini y Valeska, 2010) de
él se desprenden, entre otras, dos conclusiones importantes:

»» El impacto de la globalización económica y la dinámica de los mercados laborales demanda a las instituciones de
educación superior una vinculación permanente con los mismos a fin de adecuar la estructura curricular de los
perfiles de egreso en sus diversos planes de estudio.
»» Si bien es necesario identificar e incorporar las competencias que se demandan en el mercado laboral y hacia la
cual las carreras pretenden dirigir la oferta de profesionales, ello no debe ser un criterio rígido en la reformulación
de los planes de estudios, dada precisamente la acelerada dinámica de los cambios que operan en los perfiles de
desempeño en los centros de trabajo.

De acuerdo con lo anterior, en el espacio de las instituciones formadoras de profesionales de la educación se deben
considerar tales elementos en tanto que el desarrollo curricular de la oferta de formación generada en las mismas requie-
re vincularse más estrechamente a la dinámica de la sociedad superando la visión endógena respecto al sistema educativo
prevaleciente en el diseño de planes y programas de estudio de estas instituciones.
En el ámbito de la inserción laboral de los egresados, específicamente de la Universidad Pedagógica Nacional, fre-
cuentemente se encuentran en espacios de mayor grado de autonomía al que se presenta en las instituciones de carácter
privado, sea dentro de la producción de bienes y servicios o sea en el ámbito educativo. Ello le da más relevancia a la
segunda de las conclusiones señaladas.

C) En el Sistema Universitario de Dakota del Norte, Estados Unidos, (NDUS, por sus siglas en inglés) en relación con el
seguimiento de egresados se hace énfasis en su absorción en el mercado de trabajo. (NDUS, 2012). Casi 68% de los
7,884 estudiantes graduados del Sistema a partir de 2009 estaban empleados o rematriculados durante el curso aca-
démico 2010. El número de graduados en tales circunstancias alcanzó a 5,260, el porcentaje mayor desde que se inició
la formulación de informes de seguimiento en 2008.

Resulta notable que la primera generación reportada un año después de su graduación en 2009, el 63,1% de los estu-
diantes (4972) estaban empleados en Dakota del Norte. El desglose de ese porcentaje por sexo de los graduados fue del
34% de mujeres y el 29,1% hombres.

29
 Se reconoce que en tales resultados influyeron el entorno económico y otros factores tales como, el mejor papel de
los colegios comunitarios (community colleges), la calidad de vida; el aumento de las oportunidades y el atractivo de los
programas de posgrado que ha aumentado el crecimiento de la inscripción en la investigación universitaria.

D) En el Sistema de Universidades Tecnológicas del Estado de Texas se realizan hace más de una década encuestas siste-
máticas con los empleadores para conocer si los egresados de las instituciones tecnológicas del nivel superior traba-
jan en ocupaciones relacionadas con su campo de estudio (UT-System, 2014).

Independientemente de las dificultades para recibir la información oportunamente por parte de los empleadores
—hay retrasos hasta de 6 meses en las respuestas— y de las deficiencias propias del instrumento como la carencia de in-
formación sobre el título profesional de la ocupación y la no especificación de horas trabajadas, se trata del mejor recurso
para documentar la dinámica del mercado de trabajo para los egresados.
La pregunta crucial sobre ¿por qué necesitamos saber la ocupación de nuestros egresados? se resuelve en función
que los evaluadores de programas curriculares necesitan saber la relación entre el perfil de egreso y el empleo real de los
estudiantes egresados y orientar más eficazmente la prestación de servicios de educación y formación.
La última encuesta fue financiada con fondos del Departamento de la Fuerza de Trabajo de los EUA. Los resultados
preliminares arrojaron 1,017 registros de las cuales 966 fueron encontrados trabajando en la ocupación de cerca o direc-
tamente relacionados con el programa que estudiaron destacando las profesiones siguientes:

»» Profesor de Inglés, Lengua y Literatura.

»» Administración y Dirección de Empresas.
»» Ingeniería Civil.
»» Ingeniero Asociado.
»» Ingeniero Mecánico
»» Mercadotecnia.
»» Contador.
»» Ingeniería Informática.
»» Analista Programador.

En cuanto a trabajos especializados, destacan los siguientes:

»» Calefacción, Ventilación, Aire Acondicionado.

»» Tecnología de Soldadura.
»» Formación en enfermería práctica.
»» Colisión, Reparación y Autoservicio.
»» Asistente de Maestro.
»» Gerente de Restaurante.
»» Diseño de Tecnología.

D) La Universidad del Estado de Florida, a través de su División de Asuntos Estudiantiles realiza cada semestre y desde
2006 una Encuesta Senior de seguimiento de egresados. (FSU-DSA, 2012) En la que corresponde al semestre 2011-
2012, incorpora datos importantes tanto de la trayectoria de los estudiantes en el período de formación y actuación
dentro de la universidad, como en relación con los términos en que se ubica dentro del mercado de trabajo. En este
caso, el porcentaje de respuesta alcanzó el 30% y en ella se incluyeron datos sobre: género, raza y lugar de residencia.

Se indagaron los planes de los egresados al dejar la culminar su carrera: tomar tiempo libre, iniciar o formar una
familia, cumplir el servicio militar, conseguir un empleo, incorporarse a la educación continua o cumplir un servicio co-
munitario o trabajo voluntario.

30
 En cuanto a las preguntas sobre la actuación dentro de la universidad, se incluyeron: la participación en una organi-
zación estudiantil, la participación en servicio comunitario o trabajo voluntario, empleo parcial fuera de la institución,
práctica profesional, competencias deportivas, participación como representante o líder estudiantil.
Destacan los datos siguientes: el 60% se incorporó a un empleo al egresar; 40% se dedicó a buscar empleo. De los
empleados, 91% lograron empleo de tiempo completo y de ellos, 4% lo hicieron en empleo por cuenta propia, 64% se
ubicaron en el Estado de Florida, 75% ocuparon un empleo que requiere título universitario y el 79% de los empleados
se ubicaron en un puesto relacionado principalmente con su campo de formación.

Publicaciones de las organizaciones de egresados.

En la Universidad Autónoma Latinoamericana de Medellín, Colombia, el boletín de los egresados ( UALC, 2012) incluye:
oferta laboral, reconocimientos a egresados destacados, eventos vinculados a la actividad profesional y al empleo, activi-
dades y eventos específicos de actualización.
Los egresados de La Universidad de Los Llanos, Colombia, (U. de los Llanos, S/F) cuenta con una revista altamente es-
tructurada denominada “Corocora” que convoca a la publicación de trabajos de investigación y colaboraciones académicas
de los egresados bajo criterios editoriales de selección y calidad. Su contenido se estructura bajo las secciones siguientes:

»» SOCIALES (2 páginas)
»» CARTA DEL EGRESADO (1 página)
»» EGRESADOS DESTACADOS (3 páginas)
»» ASOCIACION DE EGRESADOS (1 página)
»» CIENCIA Y TECNOLOGIA (1 página)
»» CARTA DEL RECTOR (1 Página)
»» UNILLANOS EN CAMINO (Noticias de la Universidad) (1 Página)
»» DIVULGACION POSTGRADOS (1Página)
»» PROMOCION PREGRADOS (1 Página)
»» FACULTADES (2 Páginas por Facultad)
»» PROGRAMA DE EGRESADOS (1 Página)
»» BOLSA DE EMPLEO (1 Página)
»» POLITICA EDITORIAL
»» PUBLICIDAD

Llama la atención la política de consolidar en una sola publicación los contenidos de interés para los egresados de
todos los planes de estudio tanto de nivel licenciatura como de posgrado e igual que en el caso de la institución anterior,
se incluye una sección de reconocimientos a los egresados destacados.

3. PROBLEMATIZACIÓN TEÓRICO-EMPÍRICA DEL OBJETO

a. Especificación de los elementos sustanciales del objeto

Éstos derivan directamente de la denominación del objeto y se ubican en tres campos básicos: contexto, —relación direc-
ta educación y sociedad— currículo y gestión institucional.
Se definen como elementos sustanciales del objeto aquellos que constituyen la naturaleza del mismo sobre la que se
realiza la problematización central del mismo y en este proyecto se pueden desagregar en los términos siguientes:

31
 Contexto: ámbitos económico, social, político y cultural.

El económico en empleadores privados, públicos y sociales. El social en familia, medios, comunidad y sociedad. El político
en afiliación a organizaciones políticas, participación política propiamente dicha y organizaciones de egresados. El cultu-
ral, se enfatiza en la formación y práctica cultural del egresado.
Currículo: Planes y programas; los que se desagregan en objetivos, perfil de egreso, líneas o campos formativos, for-
mación docente y evaluación curricular.
Gestión: se desagrega en recursos institucionales para el seguimiento de egresados, desagregados a su vez en recur-
sos humanos, financieros y materiales y dentro de la gestión se incluye la actualización de los egresados, la vinculación
institucional, la difusión y la normatividad y organización como soporte del posible sistema de seguimiento de egresados.

b. Elección y definición genérico-específica de conceptos ordenadores

La definición genérica se desprende de los cuerpos teóricos disciplinarios de los que procede cada concepto y la específi-
ca se define en función de la concreción que cada concepto tiene en el objeto de investigación. Los conceptos ordenadores
se agrupan igualmente en los campos del contexto, el currículo y la gestión.
Se procedió a realizar la definición de los conceptos ordenadores en su acepción genérica y específica. (Ver anexo 1)

c. Matriz de problematización

Es el cuadro de doble entrada en la que se cruzan cada uno de los elementos sustantivos del objeto con cada uno de los
conceptos ordenadores. (Ver anexos 2, 3 ,4 y 5)

Selección de los cruces prioritarios

La priorización de los cruces de la matriz se establece a partir de una ponderación de cada uno considerando el conte-
nido del concepto ordenador y el elemento sustancial del objeto tanto en el plano de la realidad como en el plano de la
concreción deseable. En cada uno de esos dos planos, es posible identificar un relativo nivel de importancia de un cruce
determinado en función de la naturaleza y dinámica del objeto. Para ello se usará una escala de 0 a 4 niveles posibles de
importancia. La asignación del nivel se realiza mediante una ponderación que parte 1)del estado del conocimiento del ob-
jeto y 2) de la definición de las categorías y conceptos ordenadores tanto en su definición genérica como de su definición
específica; ambos en su relación con cada uno de los elementos sustanciales del objeto.
Con el ejercicio anterior es posible definir los cruces prioritarios y realizar la problematización.

d. Problematización/interpelación al objeto (preguntas y debate teórico)

por campos definidos según la naturaleza de éste

En cada uno de los cruces prioritarios dentro de cada uno de los campos de la matriz, se formulan preguntas sobre la
situación real y las posibilidades de potenciación del objeto de investigación desde el cruce correspondiente.

e. Determinación de indicadores

Al término de la problematización de los cruces prioritarios es posible identificar núcleos en los que se asocian diversos
cruces prioritarios. Esas áreas o núcleos serán especialmente considerados para la definición de los indicadores que
guiarán la indagación empírica.

32
 Con base en la identificación de los núcleos problemáticos y el contenido de las preguntas incluidas en ellos, es posible
construir los indicadores centrales que guiarán la indagación empírica en el proceso de investigación del objeto.

f. Diseño de la indagación empírica a partir del contenido de los indicadores.

Metodología operativa y diseño del muestreo, en su caso.

En relación a la estrategia operacional para transitar de la problematización del objeto a la indagación empírica, se ex-
presa en las columnas de la Tabla No. 2.
Conviene aclarar que dado el contenido de los indicadores construidos a partir de las preguntas reflexivas de los
cruces de las matrices de problematización, se hizo pertinente sólo aplicar un tipo de instrumentos, que resultó ser el de
cuestionario.
En cuanto a los criterios estadísticos para la selección de las muestras correspondientes a cada uno de los programas
y sujetos a interpelar, se resumen en los siguientes (ver Tabla No. 3):

Tabla 3  Definición de muestras de población para la aplicación de cuestionarios por actor y programa educativo

No. PROGRAMA EDUCATIVO ACTOR MUESTRA

Egresados. 10%
Empleadores. 10%
Licenciatura en Intervención educativa,
1. terminal en Orientación Educacional 100%
Diseñadores del currículo.
(LIE-O). (universo)
100%
Autoridades UPN
(universo)
Egresados. 10%
Empleadores. 10%

2. Licenciatura en Desarrollo Comunitario. 100%

Diseñadores del currículo.
(LDC) (universo)
100%
Autoridades UPN
(universo)
Egresados. 10%
Empleadores. 10%
Maestría en Educación con campo en 100%
3. Diseñadores del currículo.
Desarrollo Curricular. (universo)
(MECDC)
100%
Autoridades UPN
(universo)
Egresados. 10%
Empleadores. 10%

4. Maestría en Educación Básica. 100%

Diseñadores del currículo.
(MEB) (universo)
100%
Autoridades UPN
(universo)

1. Se definieron en lo general los siguientes porcentajes en función de los actores: para diseñadores del currículo y au-
toridades, dado su número y accesibilidad, el conjunto del universo, 100%. Para los egresados y empleadores, el 10%
en función del número.
2. No fue posible aplicar considerar en el caso de los egresados y los empleadores el criterio de muestreo aleatorio
estratificado, por cuotas —sede UPN, sexo, generación, y ubicación geográfica de su trabajo— dada la enorme difi-

33
 cultad para localizar a estos actores y su lenta o nula respuesta en un porcentaje muy elevado de frecuencias. Se optó
por ello, en sustituir los individuos no localizados o con demora excesiva en la respuesta por individuos físicamente
accesibles y dispuestos a colaborar en esta indagación. Ello, no altera significativamente los resultados en virtud que
la presente investigación no pretende ser un ejercicio de seguimiento de egresados, sino un estudio para determinar
las condiciones institucionales y contextuales para establecer, en su caso, un sistema de egresados en la unidad UPN
especificada.
3. La aplicación de los cuestionarios se realizó indistintamente por la vía electrónica o con el llenado de los cuestiona-
rios impresos.

a. Diseño y prueba de instrumentos. (Ver cuestionarios en anexos 7-18)

b. Aplicación de instrumentos.
c. Concentración y sistematización de datos empíricos.

g. Interpretación: problematización de los resultados de la indagación

empírica y explicación teórica y transformación del objeto

Con los resultados obtenidos de la indagación empírica derivada de la previa problematización del objeto, es posible ex-
poner su reconstrucción en la perspectiva de buscar la potenciación del mismo. En este caso, la generación del diseño del
sistema de seguimiento de egresados para la Unidad 161 de la UPN en Morelia, Michoacán, México.
En la perspectiva anterior, es posible plantar una explicación teórico empírica de este objeto a partir de los resultados
de la indagación realizada con los principales sujetos involucrados —la cual derivó de la problematización previamente
realizada mediante la aplicación de los conceptos ordenadores a los elementos sustanciales del mismo—. Igualmente,
—en un segundo momento— es posible recuperar los elementos esenciales aportados por los referentes del estado del
conocimiento para construir una propuesta pertinente de un Sistema de Seguimiento de Egresados para la Unidad 161
de la UPN.
En el primero de los planos señalados se configuran los elementos relevantes siguientes:
PARA LA MAESTRÍA EN EDUCACIÓN BÁSICA (MEB):

FUENTES DE INFORMACIÓN

Adorno, T. W., (1975). Dialéctica negativa, Editorial Taurus, Madrid.

Arechavala, Ivy L.G. (Coordinadora) (2009). Estudio de seguimiento de egresados de programas de posgrado regionales
centroamericanos. Consejo Superior Universitario Centroamericano y Servicio Alemán de Intercambio Académico.
Guatemala.
Asociación de Egresados Universidad de los Llanos, Colombia (2009). Revista de la Asociación de Egresados de la Univer-
sidad de los Llanos, especificaciones y política editorial. Documento interno. Colombia.
De la Garza, E. (1988). Hacia una metodología de la reconstrucción. Editorial Porrúa. México.
De la Garza, E. (2006). Hacia dónde va la teoría social, en http://docencia.izt.uam.mx/egt/publicaciones/capituloslibros/
Hacia%20donde%20va%20la%20Teor%EDa%20Social.pdf
Florida State University, Division of Student Affairs (2012). The Senior Survey (SS) of the Graduate Follow Up Study Fall
2011 & Spring 2012. USA. En: http://www.career.fsu.edu/stats/2012SeniorSurveySummary.pdf
Gederlini, G.B. y Valeska, L. (2010). “Caracterización de la inserción laboral a partir de las competencias demandadas
por los empleadores a los egresados y estudiantes en práctica profesional de la carrera de Socio economía de la Uni-
versidad de Valparaíso” tesis de licenciatura en Ciencias Socioeconómicas, dirigida por el Profesor Sergio Balbotín
Guerrero, Universidad de Valparaíso, Chile.
34
 Instituto Superior de Educación Público “Ciro Alegría Bazán” (2008). Plan de seguimiento de egresados del ISP “Ciro
Alegría Bazán”- Chepén. Perú. En http://www.isepcab.edu.pe.
Jaramillo, D. Arnaldo (2012). La inserción laboral de los egresados en Ciencias de la Educación. Editorial de la Universidad
Nacional de Jujuy, Argentina.
Kaplan, A., (1964). The conduct of inquiry, Chandler Publishing Co., Nueva York.
Ministerio de Educación de Perú (2006) Módulo de seguimiento de egresados, Dirección Nacional de Educación Supe-
rior y Técnico Profesional, Dirección de Educación Superior Tecnológica y Técnico Productiva. Perú. En http://destp.
minedu.gob.pe/seist.
Minnesota State Colleges & Universities (2005). Graduate Follow-Up System. Board Policies, Chapter 3-Educational Poli-
cies. Internal doc. USA.
North Dakota University System, (2012). State Retention of Graduates at Highest Level NDUS y "Follow-Up on North
Dakota Education and Training". Internal bulletin. USA.
Texas State Technical College System (2014). Are TX graduates working in jobs related to their field of study?. USA. En:
http://www.texasair.org/conference/2014/presentations/D4.pdf
Unión Europea-ITESM (2006). “Manual de instrumentos y recomendaciones sobre seguimiento de egresados”. Programa
Editorial del Instituto Tecnológico y de Estudios Superiores de Monterrey y Grupo Noriega Editores. México. En www.
gradua2.org.mx
Universidad Autónoma Latinoamericana (2012). Boletín Egresados de la UNAULA, Medellín, Colombia.
Universidad Católica de Chile, (2011). Reglamento de Egresados, Resolución N°1727-2009-CUULADECH-Departamento
Académico de Responsabilidad Social, Universidad Católica de Chile.
Universidad de la Gran Colombia, (2006). Decreto 1001 del 3 Abril de 2006: Políticas y estrategias de seguimiento a egre-
sados de la Universidad la Gran Colombia.
Universidad Nacional de Colombia (2013). Portafolios de servicios y beneficios para egresados. Facultad de Ciencias Hu-
manas. Documento interno. Colombia.
Universidad Pedagógica Nacional, República de Honduras (2006). Programa de seguimiento a los graduados a nivel insti-
tucional (Proseg). Edición interna. Honduras.
Universidad Simón Bolívar (2010). Manual del Egresado. Edición de la Universidad Simón Bolívar, San José de Cúcuta,
Venezuela.
Zemmelman, H., (2006). Alternativas en el método de la investigación científica. ¿Es la prueba de hipótesis el único ca-
mino?. En De la Garza, E., Coordinador, Tratado latinoamericano de sociología. Editorial Anthropos y Universidad
Autónoma Metropolitana, Unidad Iztapalapa, México.
Zemelman, H. (2011). Conocimiento y estudio del presente. Instituto Internacional de Integración del Convenio Andrés
Bello (III-CAB). Vicepresidencia del Estado Plurinacional de Bolivia.

ENTREGABLES

1. Documento general con el contenido del Sistema de Seguimiento de Egresados de la Unidad UPN 161 de Morelia, con
los anexos siguientes: a)Documento sobre la orientación metodológica, b)Tabla comparativa de elementos destaca-
dos de los sistemas de seguimiento de egresados en las instituciones consideradas.
2. Versión para ser publicada en ediciones y medios estatales, nacionales y extranjeros.
3. Tesis de grado de maestría de los alumnos participantes en este proyecto.

El presente proyecto de investigación se aloja en la Universidad Pedagógica Nacional, Unidad 161 de Morelia, Michoacán.
La aprobación institucional ya establecida garantiza que los productos de este proyecto sean incorporados, en su caso,
al espacio de la toma de decisiones de los directivos e instancias colegiadas de decisión de esta Unidad UPN y eventual-
mente los directivos de otras unidades UPN y de las autoridades educativas del estado y de la Unidad UPN Ajusco.

35
 Se incorporan tres estudiantes de la Maestría en Educación con Campo en Desarrollo Curricular de la Unidad UPN 161
a este proyecto en el marco de la investigación para su tesis de grado. Adicionalmente, existen recursos de uso potencial
en infraestructura, equipo y el personal de apoyo necesario para el proyecto. Ello se refiere a espacios físicos, equipo de
cómputo y telecomunicaciones, apoyo logístico y administrativo y fuentes de información.

CRONOGRAMA GENERAL

CONTENIDO FECHA
Denominación, planteamiento del objeto. Delimitación del ángulo de indagación.
Enero - febrero 2013
Objetivo. Enfoque y estrategia metodológica.
Justificación/problematización preliminar. Estado del conocimiento Marzo - junio 2013
Problematización teórico-empírica del objeto. Julio - septiembre 2013
Especificación de los elementos sustanciales del objeto. Julio 2013
Elección y definición genérico-específica de conceptos ordenadores. Agosto - octubre 2013
Matriz de problematización. Noviembre 2013 - febrero 2014
Selección de los cruces prioritarios. Marzo 2014
Problematización/interpelación al objeto (preguntas y debate teórico)
Abril - julio 2014
por campos definidos según la naturaleza de éste.
Determinación de indicadores. Agosto 2014
Diseño de la indagación empírica a partir del contenido de los indicadores. Septiembre - octubre 2014
Metodología operativa y diseño del muestreo, en su caso. Septiembre 2014
Diseño y prueba de instrumentos. Septiembre 2014
Aplicación de instrumentos. Septiembre 2014
Concentración y sistematización de datos empíricos. Octubre 2014
Interpretación: problematización de los resultados de la indagación empírica
Noviembre 2014
y explicación teórica y transformación del objeto.
Conclusiones. Noviembre 2014
Elaboración del Informe de Investigación/Tesis de grado. Diciembre 2014 - Enero 2015

36
La pertinencia del portafolio
como instrumento de evaluación
desde la perspectiva de los docentes
14 de marzo de 2015
 La pertinencia del portafolio
como instrumento de evaluación
desde la perspectiva de los docentes
Leticia Pelcastre Villafuerte
Maestra en Educación, Instituto Nacional para la Evaluación de la Educación, México.
lpelcastre@inee.edu.mx
Susana Quinto Simón
Maestra en Desarrollo y Planeación de la Educación, Instituto Nacional para la Evaluación de la Educación, México.
squinto@inee.edu.mx
Claudia Navarro Corona
Doctora en Ciencias Educativas, Instituto Nacional para la Evaluación de la Educación, México.
cnavarro@inee.edu.mx
Yolanda Edith Leyva Barajas
Doctora en Educación, Instituto Nacional para la Evaluación de la Educación, México.
yleyva@inee.edu.mx
Marina Fernanda González Nava
Maestra en Análisis Experimental de la Conducta, Instituto Nacional para la Evaluación de la Educación, México.
mfgonzalez@inee.edu.mx

PALABRAS CLAVE: Evaluación, docente, portafolio, instrumento, México

EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo

Resumen
En este trabajo se presentan algunos resultados de las opiniones de docentes de educación básica y media supe-
rior obtenidos mediante grupos de enfoque realizados en nueve entidades federativas de México. Estos resultados
recogen la opinión acerca de la pertinencia y significado del portafolio como instrumento de evaluación docente.
Se presentan las diferentes concepciones de los profesores y algunas de las características que, desde su opinión,
tiene el portafolio por nivel educativo. Se encontró que para los profesores de educación básica, el portafolio es un
instrumento de evidencia de su desempeño y de los alumnos, aunque también expresaron algunas resistencias en
su uso. En educación media superior, el portafolio es considerado como una herramienta para reflexionar sobre
su práctica educativa.

2
 INTRODUCCIÓN

En México, la cultura de la evaluación se ha promovido desde diferentes programas y ejercicios de diagnóstico. En 1992
surgió el Programa Nacional de Carrera Magisterial, un sistema de promoción horizontal que tuvo como propósito reco-
nocer y estimular a los profesores de educación básica de las escuelas públicas (SEP-SNTE, 2011b). Uno de los factores
que se evaluaron fue la preparación profesional, misma que valoraba a través de un examen, las habilidades, capacidades
y conocimientos de los profesores respecto al nivel, modalidad, grado y asignatura. También se incorporaron los resulta-
dos de los aprendizajes de los estudiantes obtenidos por medio de la prueba Evaluación Nacional del logro Académico en
Centros Escolares (ENLACE) (SEP-SNTE, 2011b).
Otro programa dirigido a evaluar a los profesores fue la Evaluación Universal de Docentes y Directivos en Educación
Básica, que tuvo como objetivo mejorar las prácticas educativas a través de un diagnóstico que permitía conocer las áreas
de oportunidad de los docentes para capacitarse. Esta evaluación se constituía por dos componentes: aprovechamiento
escolar y competencias profesionales. El aprovechamiento escolar para los profesores de educación primaria fue diag-
nosticado a través de los resultados de la prueba ENLACE, en educación secundaria se evaluaba por pruebas matriciales.
Las competencias profesionales se integraban por tres elementos: la preparación profesional, el desempeño profesional
y la formación continua. La preparación profesional se evaluaba por medio de un examen estandarizado, el desempeño
profesional a través de la práctica docente en el aula con base en los Estándares de Desempeño Docente y Gestión Escolar;
y la formación continua se valoraba por los trayectos formativos de los participantes para fortalecer sus competencias
académicas (SEP-SNTE, 2011a).
En 2002 surge en Educación Media Superior, el programa de Estímulos al Desempeño del Personal Docente, el que tenía
como objetivo impulsar y reconocer la calidad, dedicación y permanencia de los profesores de Educación Media Superior
y Superior. En este programa, el proceso y los instrumentos de evaluación utilizados eran determinados por cada institu-
ción educativa (SHCP, 2002).
Tanto en el Programa Nacional de Carrera Magisterial de educación básica como en el programa de Estímulos al Des-
empeño del Personal Docente de Educación Media Superior, las evaluaciones tenían un carácter sumativo, los resultados
del desempeño docente determinaban la obtención de un estímulo. Mientras que la Evaluación Universal de Docentes y
Directivos en Educación Básica era una evaluación con sentido formativo, pues servía para orientar la capacitación que
el profesor necesitaba.
En 2010, la Organización para la Cooperación y el Desarrollo Económico (OCDE) presento el documento Mejorar las
escuelas: Estrategias para la acción en México, que tuvo como objetivo “ayudar a las autoridades educativas en México, y
a las de otros países miembros de la OCDE, a fortalecer sus sistemas educativos” (OCDE, 2010, p. 3), por medio de quin-
ce recomendaciones realizadas en los temas de enseñanza y gestión escolar. Una de sus recomendaciones fue Evaluar
para ayudar a mejorar, donde se expone la importancia de desarrollar e implementar un modelo riguroso de evaluación
docente que contemple la evaluación sumativa y formativa, “de ser un sistema puramente formativo, a uno que combine
aspectos tanto formativos como sumativos”. Su propósito es permitir la retroalimentación, asesorar y orientar a los do-
centes para que mejoren sus prácticas (OCDE, 2010).
Tanto los programas de evaluación docente de educación básica (EB) y educación media superior (EMS), menciona-
dos anteriormente, así como las recomendaciones de la OCDE daban cuenta de la importancia de la evaluación docente.
En 2013, se emprendió una Reforma Educativa en México, en la que se reconoce que la evaluación del desempeño docente
es necesaria para diagnosticar los logros y dificultades de los maestros en su práctica para garantizar la calidad educativa
(DOF, 2013a).
El Instituto Nacional para la Evaluación de la Educación (INEE) funge como la máxima autoridad en materia de eva-
luación educativa a nivel nacional, pues es responsable de coordinar el Sistema Nacional de Evaluación Educativa, cuyas
principales funciones es evaluar al sistema educativo nacional, así como contribuir a la evaluación de los procesos de
formación, actualización y capacitación de los docentes (DOF, 2013b).
Como acción inicial, en el cumplimiento de estas funciones, el INEE se dio a la tarea de recolectar las opiniones de los
maestros de EB y EMS sobre qué evaluar y cómo evaluar el desempeño docente. En el tema de cómo evaluar se pregun-
taba a los profesores sobre la pertinencia de diferentes estrategias e instrumentos de evaluación como: la observación
en clase, el portafolio, el cuestionario de autoevaluación, entrevista a padres, directores y grupos focales con alumnos.

3
 Esto se realizó a partir de una encuesta en línea alojada en un micro sitio en la página oficial del INEE. Para ampliar la
información obtenida mediante la encuesta, se llevaron a cabo grupos focales por cada nivel educativo. Estos se realizaron
en nueve estados de la República Mexicana. A partir de la información obtenida surgieron las siguientes preguntas que
orientaron el análisis de los resultados de los grupos de enfoque:

»» ¿Es el portafolio un instrumento de evaluación pertinente para el desempeño docente?

»» ¿Qué significa el portafolio para los docentes?

El objetivo de esta ponencia es presentar la percepción de los docentes de diferentes niveles educativos respecto al uso y
pertinencia del portafolio como instrumento de evaluación del desempeño docente.

DESARROLLO

Marco teórico

Características del portafolio de evidencias

El portafolio de evidencias ha sido utilizado para recopilar, anotar y reflexionar sobre la práctica docente, su integración
requiere de un esfuerzo y compromiso constante por parte de los profesores, por lo que se considera un instrumento útil
para el desarrollo profesional y para monitorear la enseñanza e introducir cambios de mejora (Martínez, 2013).
Cuando el portafolio es empleado para evaluar el desempeño docente se convierte en un instrumento de reflexión
de su práctica. De acuerdo con Atienza (2009), el portafolio permite que el docente sea consciente de su labor y pueda
ajustar su práctica:
El portafolio nace entonces como una forma de dar cabida a las distintas formas en que el profesor se acerca a re-
flexionar sobre su enseñanza con el fin de descubrir su propia identidad como docente y de transformarla, en caso de que
lo estime oportuno. Esta parece ser la cualidad distintiva del portafolio del profesor, la reflexión al servicio de la toma de
conciencia de la propia competencia docente y de la disposición al cambio (Atienza, 2009, p. 3).
Arbesú (2014) refiere que el portafolio se sustenta teóricamente en la evaluación reflexiva y comprensiva. La evalua-
ción reflexiva describe a la evaluación en, sobre y para de la práctica educativa; la reflexión en la acción es realizar un aná-
lisis para reorganizar lo que estamos haciendo; sobre la acción es verbalizar, compartir con otros lo reflexionado y para
es tomar conciencia sobre la acción para realizar mejoras a futuro. La evaluación comprensiva es de carácter cualitativa
por fundamentarse en la actividad humana; participativa, porque los actores se implican en el proceso de evaluación y
formativa, pues a través de la información obtenida se reorganiza la labor educativa.
La finalidad del portafolio es identificar los problemas o dificultades que un docente enfrenta en su práctica para
reflexionar por qué ocurren, qué importancia tienen, qué consecuencias y cuál es su origen (Atienza, 2009). Permite
comprender los conocimientos, creencias, experiencias y necesidades de las situaciones educativas a las que se enfrenta
un docente.
A través del portafolio, los maestros pueden examinar sus destrezas, reconocer sus debilidades y fortalezas, potenciar
su autonomía y autocrítica, pues este instrumento permite dar cuenta de lo que hay detrás del trabajo del profesor, revela
su pensamiento y la toma de decisiones en las estrategias y recursos didácticos que el docente utiliza en el aula.
El portafolio se caracteriza por “estimular la experimentación, la reflexión y la investigación: por potenciar el diálogo
con los problemas y los logros, por focalizar la atención en los momentos claves del proceso y por reflejar el punto de vista
personal de los protagonistas” (Atienza, 2009, p. 7), favorece el pensamiento crítico, la evaluación continua, el trabajo
colaborativo al compartir con otros docentes sus problemas y resultados, otorga una mayor responsabilidad, pues se
conocen los avances y retrocesos y es un proceso continuo de diagnóstico y de transformación.

4
 La estructura del portafolio puede ser variada, no existe un formato único. Bozu (2012) refiere que existen dos mode-
los: (a) donde se presentan evidencias sobre sus competencias docentes y (b) una recopilación de materiales. La consti-
tución del portafolio puede presentar algunos inconvenientes tales como: invertir mucho tiempo en su creación, recolec-
ción y revisión; el registro limitado de los aspectos verbales de la enseñanza (Martínez, 2013); y las prácticas deshonestas
como la selección de las mejores evidencias.

Método

La presente ponencia se realizó a partir de los resultados de dos estudios de la Dirección General de Evaluación de Do-
centes y Directivos del INEE. En el apartado Resultados de la Encuesta en línea a profesores de Educación Básica y Media
Superior sobre la evaluación del desempeño docente, se recuperó el análisis de estadística descriptiva de los cinco aspectos
que dan cuenta del desempeño docente. En el Análisis de los resultados del ejercicio de consulta a profesores mediante gru-
pos de enfoque, se rescató el análisis cualitativo de la opinión de los docentes en el cómo evaluar.
Se consideraron ambas perspectivas de análisis por ser complementarias para el estudio y comprensión de nuestro
objeto de investigación, el portafolio como instrumento de evaluación de desempeño docente.

Encuesta en línea

En los meses de junio y julio del 2014, el INEE puso a disposición de los docentes, directivos y asesores de EB y EMS, un
cuestionario en línea sobre los aspectos fundamentales de la evaluación del desempeño docente, a partir de los elementos
del perfil docente propuesto por la Secretaría de Educación Pública. El cuestionario se dividía en tres secciones: (a) qué
evaluar del desempeño docente; (b) cómo evaluar el desempeño docente; y (c) qué factores de contexto son importantes
para alcanzar un desempeño docente profesional y eficaz.
En la segunda sección del cuestionario, se presentaban diferentes estrategias de evaluación y se preguntaba al parti-
cipante su opinión sobre su pertinencia, así como los elementos que deberían considerarse en cada una.
En el mes de agosto del mismo año se realizó un análisis estadístico descriptivo donde se calculó el porcentaje de las
respuestas de los docentes y el coeficiente de variación para saber el grado de homogeneidad de los juicios (INEE, 2014).
Con las opiniones recabadas en el cuestionario hasta ese momento de 57,096, se decidió considerar sólo una muestra no
probabilística. De esta forma se analizaron solo los cuestionarios en donde se contestaron todas las preguntas y dentro
de éstos únicamente los cuestionarios respondidos por docentes, los cuales representaron el 56% de la población, 18,872
profesores de EB y 13,263 profesores de EMS (INEE, 2014).

Grupos focales

Durante septiembre y octubre del 2014, en un marco de transparencia y proximidad, el INEE realizó grupos focales en
nueve entidades federativas: Baja California, Chiapas, Durango, Jalisco, Nayarit, Nuevo León, Puebla, Sinaloa y Yucatán;
con el fin de profundizar la información obtenida a través del cuestionario en línea. En cada uno de los estados se llevaron
a cabo cuatro grupos constituidos por docentes: uno de preescolar, uno de primaria, uno de secundaria, y uno de EMS. En
total se realizaron 36 grupos focales y participaron 424 docentes.
Una vez obtenida la información, se procedió a la identificación y clasificación de unidades para codificarlas, es decir,
“asignar a cada unidad un indicativo (código) propio de la categoría en la que se considera incluida” (Rodríguez, et al.,
2005, p. 141) Las cuatro categorías fueron: qué (qué evaluar del desempeño docente), cómo (cómo evaluar) y el contexto
general de la evaluación. A partir de estas categorías se analizó la información del qué evaluar y cómo evaluar.

5
 Resultados

En este apartado se exponen los principales hallazgos obtenidos de los ejercicios de consulta, se presenta la pertinencia,
el significado del portafolio y las recomendaciones realizadas por los participantes para su uso como instrumento de
evaluación del desempeño docente.

Pertinencia del portafolio

El análisis del cuestionario en línea mostro que más del 50% de los profesores de EB y el 46% de los profesores de EMS
consideraron al portafolio como una estrategia pertinente para la evaluación docente. En la tabla 1 se muestran las opi-
niones de los docentes por nivel educativo.

Tabla 1 Respuestas de los docentes a la pregunta ¿qué tan pertinente resulta el portafolio de evidencias
para la evaluación del desempeño docente?*

Preescolar Primaria Secundaria Media superior

(%) (%) (%) (%)
Muy pertinente 36.6 38.8 40.5 45.6
Pertinente 52.8 51.7 50.6 46.1
Poco pertinente 10.6 09.5 08.9 08.3
Total 100 100 100 100

*Fuente: Elaboración propia a partir de la base de datos del cuestionario en línea

Percepción

Los resultados del análisis de los grupos focales mostraron que la conceptualización que los docentes de EB y EMS tienen
sobre el portafolio es distinta en cada nivel educativo.
Para los profesores de preescolar el portafolio representa la evidencia del desempeño de los estudiantes, por lo que
refieren: “productos y tareas de los alumnos… que de veras me den señal y me den cuenta de ese avance” (Jalisco), “el
expediente del niño…la estadística, los programas alternos” (Chiapas) y “rescatar evidencias con un proyecto, con fotos”
(Chiapas) y “nuestra evaluación es cualitativa…en estos productos de las tareas, lo que hagan los niños está perfectamen-
te bien hecho, porque no soy quien para decirle que está feo” (Baja California).
Los docentes de primaria conciben al portafolio como una colección de evidencias del propio desempeño. Respecto
a los elementos que debe incluir el portafolio, los profesores señalaron los productos que den cuenta de su práctica edu-
cativa como: “...productos, tareas y reflexiones sobre el desempeño, todo lo demás creo que va dentro de lo mismo” (Du-
rango), “Yo agregaría fotografías específicamente, porque actualmente los recursos tecnológicos vienen fechados y hay
que reconocer que muchos somos muy tramposos” (Nayarit), “…algún tipo de instrumento de evaluación, llámese rúbrica,
lista de cotejo, para poder evaluar el trabajo que hace el alumno. Nos haría falta. Yo agregaría ese aspecto” (Nuevo León).
Por su parte, los profesores de secundaria coincidieron en que el portafolio no es un instrumento pertinente para
evaluar su desempeño, y expusieron algunas razones tales como:

»» Falta de tiempo:

“... sí se dificulta en cuestión de los tiempos y tendría que ser trabajo ya extracurricular” (Sinaloa). “… yo he estado
comisionada y mi nombramiento es tecnología, tengo la preparación de inglés y he estado comisionada ahí, son clases
de 3 horas a la semana por grupo, entonces recolectar un portafolio de evidencias es algo complicado” (Puebla).

6
 »» Es un instrumento manipulable:

“El portafolio de evidencias es manipulable por eso a mí no me gusta mucho… se pueden seleccionar los mejores
trabajos de los mejores alumnos y mostrarlos como portafolios de evidencias, pero no creo que me sirva a mí para que
me evalúen porque…llega el supervisor o el director y me dice, muéstreme su portafolio y elijo los mejores trabajos”
(Nayarit).

A diferencia de los docentes de secundaria, los profesores de media superior, consideraron al portafolio como un
instrumento de evaluación pertinente, pues cuentan con cierta experiencia en su estructura y uso, “a mí las estrategias
que me gustaría que utilizaran para que me evaluaran, sería primeramente mi portafolio de evidencias” (Nuevo León),
“…yo considero que un portafolio bien estructurado, igual que nos dijeran bien cómo estructurarlo, podríamos tener evi-
dencias de todo nuestro trabajo” (Chiapas), “… y lo que es el portafolio de evidencias porque ahí es donde el maestro tiene
integrado todas las evidencias de su plan de trabajo” (Chiapas).

También expresaron algunos elementos que pueden formar parte del portafolio, tales como:

“el portafolio, es tu portafolio personal, no se asusten lo que van a llevar, es de calendario, cronograma, tu evaluación,
digo tu planeación, tu secuencia didáctica, listas de asistencias, todo eso no se asusten por el portafolio es lo más usual
y práctico, el que trabaja o no trabaja es el maestro” (Nayarit).

“Yo pienso que en el portafolio del docente no tienen por qué ir los productos ni las tareas; en el portafolio del docente
lo que debe venir de entrada es la planeación didáctica, el instrumento con el que voy a evaluar al estudiante,
la descripción de la actividad, mi avance programático, y algún anexo si le quiero agregar algún material didáctico”
(Yucatán).

Recomendaciones

A partir de las opiniones de los docentes que participaron en los grupos focales se identificaron las siguientes reco-
mendaciones:

»» Incluir encuestas realizadas a los estudiantes que sirvan como punto de partida para la reflexión docente, “pudieran
ser las encuestas de los niños tu reflexión porque tú puedes pensar que lo estás haciendo bien, pero tus alumnos
tienen otra opinión de tu trabajo” (Yucatán).
»» Incorporar los cuestionarios de autoevaluación como análisis de su desempeño, “yo incluiría en mi portafolio de
evidencias mi cuestionario de autoevaluación al inicio del semestre, a mediados del semestre y al final del semestre,
porque eso es mío nada más” (Nuevo León).
»» Comparar el portafolio del docente con el de los alumnos, “... si tú quieres evaluar la veracidad de un portafolio de
evidencias de un profesor donde debe de estar plasmada toda la planeación del semestre, debe de coincidir con el
del estudiante, el maestro debe de tener un portafolio, la diferencia es que el alumno va a tener además la descrip-
ción de la actividad” (Yucatán).
»» Anexar la planeación y material didáctico que refleje el trabajo del profesor, “en el portafolio del docente lo que debe
venir de entrada es la planeación didáctica, el instrumento con el que voy a evaluar al estudiante, la descripción de
la actividad, mi avance programático, y algún anexo si le quiero agregar algún material didáctico” (Mérida).
»» Incorporar las evidencias de trabajo de los alumnos realizadas en el aula, “si porque es mas de alguna manera más con-
fiable lo que se trabaja en el salón donde el maestro coordina, revisa, está observando las tareas que los alumnos traen
de sus casas, entonces igual habría que especificar productos elaborados durante la clase, tus evidencias” (Puebla).
»» Incluir evaluaciones diagnóstico para saber el punto de partida en los temas, “bueno lo que yo hago con mi porta-
folio de evidencias, cuando nos dan una planeación lo primero que hago es anexar una prueba diagnóstico de mi

7
 tema, para saber que ajuste le voy a hacer para calibrar a los muchachos para que todos iniciemos más o menos con
lo básico” (Nayarit).

CONCLUSIONES

A partir de los resultados del cuestionario en línea, los docentes consideraron que el portafolio es un instrumento perti-
nente para la evaluación de su desempeño.
En los grupos focales, los profesores especificaron que para que el portafolio cumpla con su función formativa es
importante percibirlo como un instrumento de reflexión de su labor educativa, enfatizando con ello su valor para la eva-
luación formativa, ya que para la evaluación sumativa, advierten de posibles desviaciones que podrían afectar la validez
de las evidencias del portafolio.
Se encontró que los docentes de EB y EMS confieren un significado diferente al portafolio y a su contenido.
En preescolar, por ejemplo, el portafolio se asocia principalmente a la idea de coleccionar los trabajos realizados por
los alumnos, por lo que se asume que su alcance permite al docente visualizar de manera más concreta el avance de los
niños y dar cuenta del desempeño docente, solamente de manera indirecta.
En primaria, el portafolio es considerado como un instrumento que brinda al profesor evidencias de su propio desem-
peño y retroalimentación sobre su planeación de clase.
En secundaria, el uso del portafolio no es considerado como un instrumento que ofrezca ventajas a los docentes, en
virtud de que durante la discusión en los grupos focales, no se logró obtener ninguna conclusión clara respecto a cómo
conceptualizan el portafolio ni al uso que pudiera tener para la mejora de su desempeño.
Finalmente, en educación media superior, de manera semejante a los profesores de primaria, el portafolio es conce-
bido como un instrumento que les permite reflexionar sobre sus áreas de oportunidad para realizar mejoras en su ense-
ñanza. Los profesores de este nivel expresaron con mayor énfasis el valor formativo de este instrumento para mejorar el
desempeño docente.
Las aportaciones expuestas son de carácter preliminar; sin embargo, identifican vetas de información para la inves-
tigación educativa en materia de la evaluación del desempeño de los profesores y son útiles para proponer líneas de
estudio que ofrezcan orientaciones metodológicas a los tomadores de decisiones.

BIBLIOGRAFÍA

Arbesú, M. (2014). El portafolio formativo. Un recurso para la reflexión y auto-evaluación en la docencia, Perfiles educa-
tivos, 36, (143), 05-123.
Atienza, A. (2009). El portafolio del profesor como instrumento de autoformación, marcoELE, revista de didáctica Español
como Lengua Extranjera, (9), 1-19.
Bozu, Z. (2012). Cómo elaborar un portafolio para mejorar la docencia universitaria. Una experiencia de formación del
profesorado novel. Barcelona: Octaedro.
Diario Oficial de la Federación. (2013a). Decreto de Reforma al Artículo 3° Constitucional, fracciones III, VII, VIII y 73° frac-
ción XXV. 26 de febrero del 2013, México.
Diario Oficial de la Federación. (2013b). Ley General del Servicio Profesional Docente. 19 de septiembre del 2013, México.
Instituto Nacional para la Evaluación de la Educación. (2014). Análisis de los resultados del ejercicio de consulta a profeso-
res mediante grupos de enfoque. Documento no publicado. México, INEE.
Instituto Nacional para la Evaluación de la Educación (2014). Resultados de la Encuesta en línea a profesores de Educación
Básica y Media Superior sobre la evaluación del desempeño docente. Recuperado de http://www.inee.edu.mx/index.
php/organos-colegiados/consejo-pedagogico-de-evaluacion/1833-prresentaciones

8
 Martínez, J. (2013). Combinación de mediciones de la práctica y el desempeño docente: consideraciones técnicas y con-
ceptuales para la evaluación docente. Revista de Investigación Educacional Latinoamericana, 50 (1), 4-20.
Organización para la Cooperación y el Desarrollo Económico (2010). Mejorar las escuelas, Estrategias para la acción en
México. México, OCDE.
Rodríguez, C., Lorenzo, O. y Herrera, L. (2005). Teoría y práctica del análisis de datos cualitativos. Proceso general y crite-
rios de calidad, Revista Internacional de Ciencias Sociales y Humanidades, Sociotam, XV, (2), 133-154.
Secretaría de Educación Pública y Sindicato Nacional de Trabajadores de la Educación. (2011a). Acuerdo para la Evalua-
ción Universal de Docentes y Directivos en Servicio de Educación Básica. Recuperado de: http://www.evaluacionuni-
versal.sep.gob.mx/acuerdo.pdf
Secretaría de Educación Pública y Sindicato Nacional de Trabajadores de la Educación. (2011b). Programa Nacional de Carre-
ra Magisterial, Lineamientos Generales. Recuperado de: http://www.sep.gob.mx/work/models/sep1/Resource/2241/1/
images/LINEAMIENTOS_GENERALES_2011.pdf
Secretaría de Hacienda y Crédito Público. (2012). Lineamientos Generales para la Operación del Programa de Estímulos
al Desempeño del Personal Docente de Educación Media Superior y Superior. Recuperado de: http://www.normate-
ca.gob.mx/Archivos/LINEAMIENTOS%20GENERALES%20PARA%20LA%20OPERACION%20DEL%20PROGRAMA%20
DE%20ESTIMULOS%20AL%20DESEMPENO%20DEL%20PERSONAL%20DOCENTE%20DE%20EDUCACION%2-
0MEDIA%20SUPERIOR%20Y%20SUPERIOR.PDF

9
 Modelo para evaluar la autenticidad de
las actividades propuestas por docentes
de primaria en la asignatura de matemáticas
Lesly Yahaira Rodríguez Martínez
Estudiante de Doctorado, Universidad Autónoma de Aguascalientes, México.
yahaira-07@hotmail.com  lesly.rodriguez@uaa.mx
María Guadalupe Pérez Martínez
Doctorado, Universidad Autónoma de Aguascalientes, México.
perez.mariag@gmail.com

PALABRAS CLAVE: Evaluación de prácticas docentes, actividades auténticas, prácticas docentes en matemáticas.
EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
La Reforma Integral de Educación Básica generalizada a partir de 2011 plantea un modelo de enseñanza enca-
minado a favorecer el aprendizaje activo, así como el diseño e implementación de actividades que promuevan la
construcción de aprendizajes significativos, contextualizados y que tomen como referencia las experiencias de los
alumnos o sus aprendizajes previos. Este tipo de actividades en la literatura se ha denominado por diferentes au-
tores con el término de “actividades o tareas auténticas” (Newmann y Wehlage, 1993; Newmann, Marks y Gamo-
ran, 1996 y Wiggins 1998), puesto que incluyen propiedades específicas como: plantear propósitos bien definidos,
establecer destinatarios reales, incluir un repertorio de recursos cognitivos, así como generar incertidumbre y
establecer restricciones que exigen al alumno un nivel de pensamiento más complejo.
De acuerdo con estos planteamientos curriculares y lo que se ha encontrado en la investigación educativa,
convendría que la evaluación de las prácticas docentes contemplara la autenticidad de las actividades que se pro-
ponen a los alumnos.
Esta ponencia tiene como objetivo describir la propuesta de un modelo para conocer y evaluar la autenticidad
de las actividades que los docentes de primaria plantean a sus alumnos en la asignatura de matemáticas. Para lo-
grar lo anterior se contemplan tres apartados principales. El primero presenta una revisión de la literatura sobre
las tareas o actividades docentes. El segundo describe la operacionalización de este constructo y las implicaciones
para su medición y evaluación. El último apartado desarrolla la propuesta del modelo de medición y evaluación,
contemplando la estrategia de validación.

2
FirstMath: los primeros cinco años
de la enseñanza de las matemáticas.
Avances de la aplicación piloto, México
14 de marzo de 2015
 FirstMath: los primeros cinco años
de la enseñanza de las matemáticas.
Avances de la aplicación piloto, México
Erika Canché Góngora
Doctora, INEE, México.
ecanche@inee.edu.mx
Emilio Domínguez Bravo
Licenciado, INEE, México.
edominguez@inee.edu.mx
Ana Laura Barriendos Rodríguez
Maestra, INEE, México.
lbarriendos@inee.edu.mx

PALABRAS CLAVE: FirstMath, matemáticas, evaluación, docentes.

EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
FirstMath es un estudio comparativo internacional que pretende conocer cómo aprenden los maestros lo ne-
cesario para enseñar matemáticas durante sus primeros años en la docencia, así como explorar la influencia que
ejerce en ellos la formación inicial, el contexto escolar y las oportunidades de aprendizaje que tienen en la práctica.
El estudio está en curso y actualmente los países participantes han concluido la aplicación piloto. México
participa en FirstMath y aplicó el piloto a finales del 2014 en el estado de Puebla con maestros de primaria,
secundaria y bachillerato.
En este trabajo se presenta información general del estudio así como algunos datos derivados de dos de los ins-
trumentos que se aplicaron en el piloto de México (las pruebas de matemáticas y de didáctica de las matemáticas
para maestros, y las pruebas de matemáticas para alumnos).

2
 INTRODUCCIÓN

FirstMath1 (FM) es un estudio comparativo entre países respecto a la manera en que los maestros principiantes ―defi-
nidos como aquellos que tienen cinco años o menos de experiencia como responsables de un grupo de alumnos y que al
momento de la aplicación enseñen matemáticas en cualquier grado de primaria, secundaria o bachillerato2― aprenden
lo necesario para enseñar matemáticas durante sus primeros años en la docencia. 15+ países entre los que se incluye
México, participan en FM.3
La importancia de FM radica en que por primera vez se contará con datos rigurosos, sistemáticos y representativos
acerca de lo que los maestros principiantes saben sobre matemáticas y sobre su enseñanza, de sus creencias, anteceden-
tes, los contextos de las escuelas en las que trabajan, las oportunidades para aprender que tuvieron antes de ingresar
a la docencia y las que se les ofrecen durante sus primeros años de servicio docente. Además, FM ofrecerá una buena
oportunidad para analizar la manera en la que estos factores influencian las prácticas de enseñanza y el aprendizaje de
los estudiantes.4 La información que el estudio obtenga buscará ayudar a comprender qué políticas educativas y prácticas
llevan a unos u otros resultados, es decir, poder contestar de manera general si ciertas políticas y prácticas producen me-
jores resultados para unas escuelas que para otras. La discusión de los resultados e implicaciones para cada país estará
en manos del mismo, y desde una mirada más global, el equipo internacional podrá proveer elementos de análisis que
permitan observar semejanzas y diferencias de acuerdo con prácticas generales, y si sería deseable hacer algún cambio
(Tatto y otros, 2014).
FM plantea dos componentes de investigación principales:

I. Estudios sobre los antecedentes, oportunidades para aprender, creencias y conocimientos (de matemáticas y de di-
dáctica de las matemáticas) de los maestros principiantes.
II. Estudios sobre las maneras en las que el conocimiento y experiencias de los maestros principiantes influencian las
prácticas docentes y el aprendizaje de los alumnos.

Para obtener los datos que permitan llevar a cabo esos análisis, se recogerá información de maestros principiantes y
de sus alumnos. Cabe aclarar que la participación de los alumnos tiene como propósito medir el reto que esos alumnos
específicos plantean al maestro principiante, y no evaluarlo en función de los resultados que los alumnos obtengan en la
prueba. Los instrumentos que FM ha desarrollados son:

»» Instrumentos para maestros. Prueba de matemáticas y didáctica de las matemáticas, Cuestionario de contexto,
Protocolo de observación de clases de matemáticas y Entrevistas.
»» Instrumentos para alumnos. Prueba de matemáticas y Cuestionario de contexto.

En México, el piloto se aplicó en el 2014 a una muestra cuidadosamente seleccionada en el estado de Puebla. En este
trabajo se describe la conformación de la muestra, por un lado; y por otro, dos de los instrumentos de FM que se aplicaron
en el piloto ― la Evaluación de matemáticas y de didáctica de las matemáticas para maestros y la Evaluación de matemá-
ticas para alumnos― y algunos de los datos iniciales obtenidos.

1
Es coordinado por el Centro Internacional de Investigación de Educación y Desarrollo Docente de la Universidad del Estado de Michigan (MSU,
Michigan State University) y la investigadora principal es María Teresa Tatto (Michigan State University). El estudio cuenta con apoyo de la National
Science Fundation NSF, Award No. DRL-0910001.
2
O equivalente de nivel medio superior.
3
En México, la coordinación del proyecto es responsabilidad del Instituto Nacional para la Evaluación de la Educación (INEE).
4
Sin embargo, es importante aclarar que no se pretende comparar una escuela con otra, un maestro con otro, ni un grupo de alumnos con otro; de hecho,
se hacen esfuerzos para asegurar que estas comparaciones a nivel individual o de escuelas no sean posibles.

3
 DESARROLLO

Aplicación del piloto

El objetivo principal del piloto de FM fue tener respuestas a una escala pequeña pero representativa con el fin de exami-
nar el proceso de aplicación y los resultados, y así prever lo necesario hacia la aplicación definitiva. México eligió aplicar
el piloto en Puebla por tener escuelas en contextos sociales, económicos y culturales variados, y debido a que la entidad
ha mostrado históricamente interés en realizar actividades que contribuyan al conocimiento y a la mejora de los procesos
y resultados educativos.
México definió las siguientes variables de estratificación para conformar la muestra del piloto: nivel educativo (ca-
tegorías: primaria, secundaria y bachillerato); financiamiento (categorías: público y privado); área (categorías: urba-
na y rural); tipo educativo (categorías: primaria general, primaria comunitaria, primaria indígena, secundaria general,
secundaria comunitaria, telesecundaria, secundaria técnica, bachillerato general, bachillerato tecnológico y profesional
técnico). El procedimiento para obtener la muestra se realizó en dos fases: 1) Obtener una muestra de escuelas a partir de
información del Formato 911 (2012-2013) y del Censo de Población y Vivienda 20135). Obtener una muestra de maestros
principiantes y experimentados mediante información proveniente de un cribado o screening en cada escuela que confor-
mó la muestra en la fase anterior. Se averiguaron datos de la plantilla docente en cada una, específicamente el número de
años frente a grupo de cada maestro que enseñaba matemáticas, su edad y género.
Por otro lado, se acordó con las autoridades educativas de la entidad incluir un segundo grupo de maestros que se
diferenciara de los principiantes en el número de años de servicio.6 El propósito fue contar con evidencia que permita
valorar si hay aspectos que puedan atribuirse a la condición de “principiante”, y si hay otros que resulten comunes a los
maestros de un mismo nivel o tipo de servicio independientemente del número de años que lleven como docentes. Al con-
formar la muestra final se buscó que los maestros principiantes y experimentados de cada estrato trabajaran en la misma
escuela (aunque no fue posible en todos los casos). La muestra final quedó conformada como se observa en la Tabla 1.

Tabla 1  Distribución de la muestra final de maestros.

Tipo Sexo Experiencia

Nivel Tipo de servicio Sostenimiento TOTAL
localidad M H Principiante Experimentado
Comunitario Público Rural 2 0 2 0 2
Indígena Público Rural 4 1 1 4 5
Primaria Urbana 9 1 2 8 10
Público
General Rural 8 3 7 4 11
Privado Urbana 4 0 2 2 4
Telesecundaria Público Rural 7 6 6 7 13
Secundaria Técnica Público Urbana 0 2 0 2 2
General Público Urbana 3 1 2 2 4
Urbana 4 5 4 5 9
Público
General Rural 3 2 3 2 5
Bachillerato
Privado Urbana 2 2 2 2 4
Prof. Técnica Privado Urbana 2 0 1 1 2
TOTAL 48 23 32 39 71

Formato 911 (2012-2013) SEP; Sistema Nacional de Información Educativa (2012-2013) SEP; Censo de Población y Vivienda 2013 INEGI.
5

El “maestro experimentado” fue definido como una persona que cuenta con entre 8 y 15 años de experiencia como maestro frente a grupo, enseñando
6

cualquier asignatura en cualquier nivel, sin importar si tiene formación pedagógica o matemática. México solicitó al equipo internacional una muestra
de maestros experimentados considerando las mismas variables de estratificación empleadas para los principiantes y, de ser posible, que trabajaran
en las mismas escuelas que los principiantes. Desarrollar la muestra con estas características no fue posible para todas las variables de estratificación,
y el equipo internacional sugirió incluir maestros que cumplieran con el parámetro “años de experiencia de 8 a 15” y que se encuentre en alguna
escuela de cualquiera de las dos muestras diseñada por MSU (ver más adelante).

4
 Todos los maestros principiantes y experimentados de la muestra contestaron la Prueba de matemáticas y didác-
tica de las matemáticas. La Prueba de matemáticas para alumnos fue respondida por los estudiantes de 16 maestros
principiantes, elegidos en función del Índice de marginación de la localidad de la escuela con la intención de probar el
instrumento con estudiantes de diversos contextos (Tabla 2). En primaria, los estudiantes cursaban de 4° a 6° grado al
momento de la aplicación.

Tabla 2  Distribución de grupos que presentaron la evaluación de matemáticas para alumnos

Experiencia profesor Nivel Número de grupos Modalidad Sostenimiento Zona
General Público Rural
Primaria 3 General Público Urbana
General Privado Urbana
Principiante General Público Urbana
Secundaria 2
Telesecundaria Público Rural
General Público Rural
Bachillerato 2
General Privado Urbana

Evaluación de matemáticas y didáctica de las matemáticas para maestros

FM desarrolló dos pruebas para maestros en las que se evalúan conocimientos matemáticos y de didáctica de las matemá-
ticas, una está dirigida a quienes enseñan en el nivel de primaria y la otra a los de secundaria y bachillerato. Las pruebas
de FM se sustentan en los dominios conceptuales del contenido matemático definidos para TIMSS (2013)7, y en los sub-
dominios cognitivos utilizados en TEDS-M.8
TIMSS considera cuatro dominios conceptuales del contenido matemático: números, álgebra, geometría y datos. Aho-
ra bien, TIMSS evalúa el conocimiento matemático de los alumnos y dicho conocimiento es cualitativamente distinto que
el que se espera que posean los maestros. Así pues, en TEDS-M se distinguen dos dimensiones al interior de los cuatro
dominios de TIMSS con la intención de caracterizar los tipos de conocimiento de los maestros: el conocimiento del con-
tenido matemático (MCK) y el conocimiento pedagógico o didáctico del contenido matemático (MPCK) por sus siglas en
inglés y siguiendo las ideas de Shulman (1987 citado en Senk y otros, 2008).
La dimensión MCK comprende definiciones, conceptos y procedimientos que hay que aprender del objeto matemá-
tico; mientras que la dimensión MPCK incluye formas útiles de representación de esas ideas, analogías, ejemplos y ex-
plicaciones de un tema, conocimientos acerca de lo que puede resultar difícil o fácil de aprender para los estudiantes,
concepciones y errores comunes de acuerdo a su edad y nivel educativo, etc. Es decir, la dimensión MPCK es claramente
una dimensión de conocimientos para la docencia (a diferencia de MCK). En las pruebas para maestros de FM, cerca de
una cuarta parte de los reactivos es de MPCK y el resto de MCK.
Con la finalidad de definir operacionalmente estas dimensiones, se distinguen tres subdominios cognitivos en la di-
mensión MCK que son Conocimiento, Aplicación y Razonamiento; y dos subdominios cognitivos en MPCK que son Plani-
ficación de la enseñanza y Enacción (enacting).9
Las pruebas de matemáticas para maestros se distribuyen como se muestra en la Tabla 3.

7
TIMSS (Trends in International Mathematics and Science Study), desarrollado por la Asociación Internacional para la Evaluación del Logro Educacional
(IEA), es un estudio que se aplica cada 4 años que permite medir los logros de aprendizaje de estudiantes de 4º y 8º (2º de secundaria) grados
de educación básica en matemáticas y ciencias a nivel internacional.
8
TEDS–M (Teacher Education and Development Study in Mathematics) es el primer estudio comparativo internacional centrado en la formación
inicial de los profesores de matemáticas de educación primaria y secundaria. Contó con el apoyo de la Association for the Evaluation of Educational
Achievement (IEA). http://www.iea.nl/teds-m.html
9
Conocimiento. Se refiere a hechos, conceptos y procedimientos matemáticos (TIMSS).
Aplicación.- Se centra en valorar la capacidad para aplicar el conocimiento y en la comprensión conceptual al momento de resolver problemas
o contestar preguntas (TIMSS).
Razonamiento.- Va más allá de la resolución de problemas rutinarios, tiene que ver con situaciones no conocidas, contextos complejos y problemas
con etapas (TIMSS).
Planificación.- Valora los vínculos entre métodos didácticos y diseños instruccionales, así como la identificación de diferentes enfoques en la resolución
de un problema.
Enacción (enacting)- requiere hacer valoraciones analíticas sobre posibles soluciones o argumentos matemáticos de los estudiantes, sus conceptos
erróneos o incluso la respuesta apropiada ante respuestas o explicaciones incorrectas.
5
 Tabla 3  Distribución de los reactivos de las pruebas para profesores

Maestros de primaria Maestros de secundaria y bachillerato

Dominio Número de reactivos Porcentaje Número de reactivos Porcentaje
Geometría 22 42 17 35
Álgebra 12 22 14 29
Datos 4 8 9 19
Números 15 28 8 17
Total 53 100 48 100
Subdominio Número de reactivos Porcentaje Número de reactivos Porcentaje
Razonamiento 6 11 18 38
Aplicación 17 32 10 21
Enacción 9 17 9 19
Conocimiento 18 34 8 16
Planificación 3 6 3 6
Total 53 100 48 100

Los reactivos se presentan en tres formatos: de respuesta construida (22% en la de primaria y 29% en la de secunda-
ria), de opción múltiple (28% y 31%) y de opción múltiple compleja10 (50% y 40%).
Los siguientes reactivos se incluyen a manera de ejemplo, no obstante, ninguno de éstos forma parte de la prueba de FM.

Ejemplo 1
Ejemplo 1 (Primaria)
Dominio: Subdominio: Formato del ítem: Dimensión:
Álgebra Aplicación MC MCK

Los objetos en la balanza se han equilibrado exactamente. En el platillo de la izquierda hay una masa de 1 kg y medio
ladrillo. En el platillo de la derecha hay un ladrillo completo.

¿Cuál es la masa del ladrillo completo?

A. 0.5 kg
B. 1 kg
C. 2 kg
D. 2 kg

Reactivos de opción múltiple con 4 o 5 “sub ítems” a su interior que también son de opción múltiple.
10

6
 Ejemplo 2
Ejemplo 2 (Primaria)
Dominio: Subdominio: Formato del ítem: Dimensión:
Geometría Planeación CR MPCK

Cuando se enseña a los niños acerca de la medición de longitud, por primera vez, la profesora [Ho] prefiere comenzar
haciendo que los niños midan el ancho de su libro con clips, y luego con sus lápices.
Dé dos razones por las que podría tener para preferir hacer esto en lugar de simplemente enseñar a los niños cómo
usar una regla.

Explicación 1

Explicación 2

Ejemplo 3
Ejemplo 3 (Secundaria)
Dominio: Subdominio: Formato del ítem: Dimensión:
Números Conocimiento CMC MCK

Determine si cada uno de los siguientes es un número irracional siempre, a veces o nunca:

Señala una opción en cada fila

Siempre A veces Nunca
A. El resultado de dividir la circunferencia o1 o2 o3
de un círculo por su diámetro.
B. La diagonal de un cuadrado con lados o1 o2 o3
de longitud 1.
C. El resultado de dividir 22 entre 7. o1 o2 o3

Evaluación de matemáticas para alumnos

Las pruebas para alumnos también se conforman en torno a los dominios conceptuales de contenido matemático de
TIMSS (excluyendo el dominio de Álgebra en el nivel primaria) y considerando únicamente los subdominios que compo-
nen la dimensión MCK (Conocimiento, Aplicación y Razonamiento).11

Todos los reactivos de la prueba de primaria fueron tomados de TIMSS para 4° grado de primaria. En la prueba de secundaria y bachillerato
11

hay reactivos tomados de TIMSS, de TEDS-M y elaborados para FM.

7
 Las pruebas de matemáticas para alumnos se distribuyen como se muestra en la Tabla 4.

Tabla 4  Distribución de los reactivos de las pruebas para alumnos.

Alumnos de primaria Alumnos de secundaria y bachillerato

Dominio Número de reactivos Porcentaje Número de reactivos Porcentaje
Geometría 5 17 16 36
Datos 4 13 8 18
Números 21 70 14 32
Algebra 6 14
Total 30 100 44 100
Subdominio Número de reactivos Porcentaje Número de reactivos Porcentaje
Razonamiento 7 23 24 54
Aplicación 12 40 13 30
Conocimiento 11 37 7 16
Total 30 100 44 100

De estos reactivos, en primaria hay 14 (47%) de respuesta construida y 16 de opción múltiple (53%). En secundaria 6
(14%) son de respuesta construida, 13 (29%) de opción múltiple, y los 26 restantes de opción múltiple compleja.

Los siguientes reactivos se incluyen a manera de ejemplo. Fueron tomados de TIMSS para 4° grado de primaria.

Ejemplo 4

Ejemplo 4
Dominio: Datos Subdominio: Aplicación

Darín pidió a sus amigos que le dijeran cuál es su color favorito. Él recogió la información en la tabla que se muestra a
continuación.

Color favorito Número de amigos

Rojo 4
Verde 2
Azul 6
Amarillo 7

Entonces Darín comenzó a dibujar un gráfico para mostrar la información. Completa el gráfico de Darín.

8
 Ejemplo 5

Ejemplo 5
Dominio: Geometría, formas y medidas Subdominio: Conocimiento

Uno de estos ángulos es un ángulo recto. ¿Cuál es?

Primeros resultados

En la Prueba para maestros de primaria el dominio en el que los maestros participantes obtuvieron mejores puntuacio-
nes fue el de Geometría con 38% de respuestas correctas en promedio, incluso considerando que 5 de los 12 reactivos
de este dominio que se incluyeron en la prueba son de respuesta construida. El dominio que resultó ser el más difícil fue
Algebra con 18% de respuestas correctas en promedio. En el caso de la Prueba para maestros de secundaria y bachillera-
to el dominio que representó un mayor desafío fue Geometría y en el que obtuvieron mejores puntuaciones fue Datos con
25% y 38% de respuestas correctas en promedio, respectivamente. En todos los dominios, los maestros participantes de
bachillerato obtuvieron mayores puntuaciones que los de secundaria.
En la Tabla 5 se resumen los estadísticos sobre el porcentaje de aciertos de los profesores en función de las dimen-
siones MCK y MPCK.

Tabla 5  Porcentajes de aciertos obtenidos por los profesores según MCK y MPCK.

MAESTROS DE PRIMARIA MAESTROS DE SECUNDARIA Y BACHILLERATO

% DE ACIERTOS % DE ACIERTOS
MPCK MCK MPCK MCK
Media 22 33 24 33
Mínimo 0 17 0 9
Máximo 50 48 71 74

Para los alumnos de primaria que participaron, el dominio más fácil fue Datos, luego Geometría y por último Números
con 55%, 41% y 34% de respuestas correctas en promedio, respectivamente. Los alumnos de secundaria y bachillerato
encontraron más difíciles los reactivos de Álgebra (13% respuestas correctas en promedio en secundaria y 10% en ba-
chillerato), y más fáciles los de Geometría (35% en secundaria y 33% en bachillerato).

9
 COMENTARIOS

El propósito central del piloto fue proveer evidencia empírica sobre la viabilidad de FM como un estudio comparativo in-
ternacional a gran escala, cuestión que se respondió afirmativamente. El análisis de los datos obtenidos estará disponible
en próximas fechas, tanto a nivel agrupado (de todos los países participantes) como por país.
En México, el piloto permitió detectar aspectos a mejorar para la aplicación definitiva. En primer lugar, la conforma-
ción de la muestra, debido a que encontrar a la población objetivo no es una tarea trivial, no obstante, el proceso puede
mejorarse. Actualmente se desarrollan procedimientos alternos al seguido en el piloto para incrementar la probabilidad
de encontrar maestros principiantes de matemáticas en los estratos definidos y además, tener una aproximación de la
población total y su distribución en las escuelas del país.
Aunque a partir de los datos del piloto no es posible hacer afirmaciones que intenten explicar las puntuaciones obte-
nidas por maestros y alumnos, sin embargo, se abren interrogantes en varios sentidos:
(a) De manera general, los instrumentos de evaluación resultaron difíciles para los maestros y alumnos participantes
aunque en ningún caso los contenidos matemáticos evaluados corresponden a programas de educación superior.12 Esto
debe tenerse en cuenta al interpretar los resultados pues poco puede afirmarse sobre el objeto de evaluación cuando una
parte muy pequeña de la población objetivo responde correctamente o cuando la tasa de reactivos no respondidos es alta.
Una vez que se concluyan los análisis del piloto de todos los países, se anticipa que será necesario reconsiderar algunos
de los supuestos con los que fueron construidas las pruebas.
(b) Respecto a los maestros que participaron en el piloto de México, de manera general obtuvieron mejores resultados
los que enseñan matemáticas en el bachillerato, tanto en los reactivos de MCK como en los de MPCK. Esto invita a explorar
varias hipótesis, entre ellas, si los mejores resultados de los maestros de bachillerato se deben a que enseñan contenidos
de un nivel más alto y por ende, tienen un mejor dominio de la asignatura y esto los coloca en una mejor posición para
contestar correctamente tanto los reactivos de MCK como los de MPCK (aunque la mayoría de ellos carezcan de forma-
ción pedagógica); si la formación inicial de los maestros de los tres niveles educativos que contempla FM es un factor
importante al responder estas pruebas; si la distribución de los reactivos de MCK (77% en primaria y 75% en secundaria
y bachillerato) y MPCK (23% y 25, respectivamente) en las pruebas no está permitiendo obtener la misma cantidad de
información sobre de uno y otro aspecto.
(c) Lo anterior no ocurrió con los alumnos de secundaria y bachillerato. En general, los alumnos de secundaria que
participaron en el piloto de México obtuvieron puntuaciones apenas por encima o iguales que los de bachillerato. Sería
deseable entonces explorar la relación entre puntuaciones obtenidas por los maestros en reactivos de MCK y MPCK y las
puntuaciones de los alumnos, y además incluir en el análisis la información que el resto de los instrumentos de FM aporte
para tratar de comprender esta relación.
(d) El análisis de los dos grupos de maestros incluidos en la muestra (principiantes y experimentados) se encuentra
en curso, no obstante, datos iniciales muestran que en lo referente a la Prueba de matemáticas y didáctica de las matemá-
ticas, la diferencia entre unos y otros no es significativa. La información obtenida en el resto de los instrumentos servirá
para seguir explorando este aspecto en la población evaluada.
Como puede apreciarse aun habiéndose abordado solamente dos de los instrumentos, FM es un estudio complejo que
supone muchos retos para el diseño, la aplicación y el análisis. No obstante, los países participantes están sumándose a
los esfuerzos conjuntos por considerarlo un estudio relevante que permitirá obtener evidencia empírica acerca de quié-
nes son los maestros principiantes y en qué contextos trabajan; qué saben, qué creen, qué apoyos tienen en sus escuelas y
de qué manera articulan lo anterior en sus clases de matemáticas. Con seguridad la información será valiosa para conocer
a esa fracción de maestros y para la toma de decisiones de política educativa.

Teniendo como referente los programas vigentes en México, en la Prueba para maestros de secundaria y bachillerato sólo 4 de los 30 de los reactivos
12

abordan temas que se estudian en el bachillerato. Hay además 7 reactivos en los que el contenido a evaluar se estudia en la secundaria aunque
no exactamente desde la misma perspectiva que la solución del reactivo demanda. Por ejemplo, Pi como la relación entre el diámetro y el radio,
o Pi como un número irracional.

10
 BIBLIOGRAFÍA

International Association for the Evaluation of Educational Achievement (IEA) (2012). Brese, Falk y Tatto, Maria Teresa
(eds.). TEDS-M 2008, User Guide for the International Database. Supplement 4. IEA Secretariat, Amsterdam.
Tatto, Teresa y otros (2014). School Coordinator Manual. Field trial. Adapted from the TEDS-M study: School Coordinator
Manual. Teacher Education in Mathematics Study TEDS-M 2008 (2006).
Tatto, Teresa; Schwille, John; Senk, Sharon; Ingvarson, Lawrence; Rowley, Glenn; Peck, Rray; Bankov, Kiril; Rodriguez,
Michael; and Reckase, Mark (2012). Policy, practice, and readiness to teach primary and secondary mathematics in 17
countries: Findings from the IEA Teacher Education and Development Study in Mathematics (TEDS-M). IEA Secretariat,
Amsterdam.
TIMSS 2011 Assessment (2013). International Association for the Evaluation of Educational Achievement (IEA). Publisher:
TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College, Chestnut Hill, MA and Inter-
national Association for the Evaluation of Educational Achievement (IEA), IEA Secretariat, Amsterdam, Amsterdam.
Senk, Sharon; Peck, Ray; Bankov, Kiril; and Tatto, Teresa (2008). Conceptualizing and measuring mathematical knowledge
for teaching: Issues from TEDS-M, an IEA cross-national study. 11th International Congress of Mathematics Education
(ICME).

11
El uso de una bitácora de preguntas abiertas.
Posibilidades para evaluar
el desempeño docente
14 de marzo de 2015
 El uso de una bitácora de preguntas abiertas.
Posibilidades para evaluar
el desempeño docente
Ana Cecilia Alvarez Loera*
Maestra en Investigación Educativa, Instituto Nacional para la Evaluación de la Educación, México.
aalvarez@inee.edu.mx
Luis Horacio Pedroza Zuñiga
Maestro en Investigación Educativa, Universidad Autónoma de Baja California, México.
hpedroza@hotmail.com

PALABRAS CLAVE: evaluación docente, práctica docente, currículo implementado.

EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
La evaluación del desempeño docente se reconoce como un elemento para la mejora de los sistemas educativos.
Los instrumentos para medir las prácticas suelen ser altamente costosos. En este trabajo se documenta la expe-
riencia de emplear una bitácora de preguntas abiertas para evaluar la congruencia de la práctica docente con
la propuesta curricular oficial. La bitácora permite indagar tres dimensiones de la práctica docente: propósitos
formativos, presencia de los enfoques pedagógicos y demanda cognitiva de las actividades. Los resultados pro-
vienen de una muestra de 2,500 docentes del nivel de educación preescolar en México. Se discute el uso potencial
de la herramienta para evaluar dimensiones complejas de la práctica docente en evaluaciones de desempeño a
gran escala.

*Autor principal

2
 INTRODUCCIÓN

Una premisa actual es que la calidad de un sistema educativo tiene como base la calidad de los docentes. Los sistemas
educativos con altos desempeño ponen particular énfasis en la selección de los aspirantes a la docencia, capacitación
y buenos salarios iniciales (Barber & Mourshed, 2008).En América Latina las políticas incluyen la evaluación de pos-
tulantes, la evaluación de la formación inicial y evaluación del desempeño profesional. En México, hasta hace poco, la
evaluación de docentes se realizaba a través de las direcciones de los centros escolares o de las supervisiones de distinto
nivel del sistema educativo y se aplicaban exámenes de conocimientos curriculares, cuya elaboración y procesamiento de
resultados estaba a cargo de federación. Esta evaluación estaba más ligada al progreso en la carrera docente y menos a un
mejoramiento de la práctica profesional (Shulmeyer, 2002).
La reciente reforma educativa México tiene como uno de sus componentes, la creación del Servicio Profesional Do-
cente, que da lugar a la evaluación para el ingreso, promoción, reconocimiento y permanencia de docentes y directivos;
dichas evaluaciones a cargo de las autoridades federales y las estatales deben desarrollarse de acuerdo con los lineamien-
tos establecidos en la materia por el Instituto Nacional para la Evaluación de la Educación (INEE).
Esta tarea de enorme envergadura requiere la articulación de diversas instituciones y actores para llevarse a cabo con
éxito, e impone algunos desafíos; uno de ellos es la definición de un marco de la buena enseñanza consensuado por di-
versos actores sociales; otro es la planeación de una estrategia nacional para la evaluación de casi 2 millones de docentes
que existen en el país; una más es el desarrollo de instrumentos adecuados para capturar la complejidad de las prácticas
docentes; además garantizar la validez de los referentes, procesos y resultados de la evaluación; y demostrar que la eva-
luación del desempeño docente sirve para mejorar los resultados del sistema educativo.
Esta ponencia abona en particular, a la discusión del desarrollo de instrumentos adecuados para evaluar el desempe-
ño docente; se presenta la experiencia en el uso de una bitácora abierta para evaluar las prácticas docentes en el marco de
un estudio de evaluación de la implementación curricular; y se muestran las posibilidades de información que se pueden
obtener con esta herramienta, así mismo, se proponen algunas consideraciones al emplear el instrumento para evaluar
el desempeño docente.

DESARROLLO

La Reforma de Educación Preescolar en México incluyó la formulación de un currículo flexible basado en el desarrollo
de competencias, y tenía como eje la transformación de las prácticas docentes. Recientemente se desarrolló en el INEE
(2013) una evaluación para conocer el grado de alineación de las prácticas docentes respecto a tres dimensiones: los
propósitos, los enfoques pedagógicos del Programa de Educación Preescolar 2004 (PEP 2004), y la demanda cognitiva de
las actividades que se desarrollan en las aulas.1
Estos elementos centrales de la evaluación: propósitos, enfoque pedagógico y demanda cognitiva, se definieron con-
siderando que el PEP 2004 orienta sus propósitos formativos al desarrollo de competencias en los niños, ofrece algunos
criterios pedagógicos generales para promover el trabajo con los seis campos formativos, y propone el fomento de la
actividad cognitiva compleja en los niños. Estas categorías de análisis de la práctica docente son relevantes para evaluar
la implementación curricular, porque la literatura señala que algunos de los elementos centrales para llevar con éxito las
reformas educativas son el conocimiento de los contenidos y el dominio pedagógico que tienen los docentes del programa
de estudios (Shulman, 1997; Fullán, 2002).
El conocimiento pedagógico del contenido se refiere al conocimiento de los contenidos curriculares para su enseñan-
za (Shulman, 1997), desde un punto de vista práctico, representa la habilidad de los docentes para hacer accesibles los
contenidos para los estudiantes.

Los resultados y procedimientos de esta evaluación se encuentran disponibles para su consulta (INEE, 2013a, 2013b).
1

3
 En el caso del PEP 2004, no existen contenidos propiamente dichos, sino que se establecen una serie de competencias
a desarrollar para cada campo formativo y queda a criterio de los docentes la selección de contenidos específicos a tratar
y el diseño de situaciones didácticas para conseguir los fines formativos.
Lo que se ha denominado en este estudio “enfoque pedagógico” se refiere a la presencia de rasgos de los enfoques pe-
dagógicos de cada campo formativo en las actividades de aprendizaje propuestas por las educadoras a los niños, a efectos
de favorecer el desarrollo de competencias en los niños.
La demanda cognitiva se entiende como los procesos cognoscitivos de los niños implicados en la realización de la ac-
tividad de aprendizaje; para dar cuenta de éstos se empleó la taxonomía de Anderson y Krathwohl (2001), que contiene
seis categorías de procesos cognitivos: recordar, entender, aplicar, analizar, evaluar y crear.
Los instrumentos para medir prácticas docentes suelen ser costosos, pues demandan inversión de tiempo y recursos
monetarios importantes, sobre todo si se trata de observación directa o mediante video (McDonald, et al., 2009; Pianta &
Hamre, 2009; Stigler, Gallimore & Hiebert, 2000); una alternativa empleada han sido las bitácoras (Porter, 2002; Rowan
& Correnti, 2009), que generalmente son cuestionarios cerrados.
Se desarrolló una variante de este último tipo de instrumento pero en una modalidad abierta; a dicho instrumento se
le denominó Bitácora para la Evaluación de la Práctica Docente (BEPP) que es un auto-registro de la práctica docente, que
permite recoger información sobre las actividades de aprendizaje desarrolladas en el aula. La tarea consiste en que las
educadoras registren durante tres días consecutivos, las actividades realizadas con los niños durante una jornada escolar.
El formato les demanda describir de cada actividad realizada: a) qué intención tenía la actividad, b) qué hicieron los niños
durante la actividad, c) cómo intervino la docente y d) duración de la actividad (ver figura 1).

Figura 1  Vista de la BEPP

El instrumento tiene un formato similar a las planificaciones docentes que suelen realizar las educadoras, en términos
de que en estas prevén los propósitos, las actividades a realizar, la metodología de trabajo y la distribución del tiempo de
la jornada escolar, por lo que su llenado resulta familiar.
Para la codificación de la información recabada, se desarrollaron rúbricas, que se validaron por un comité de exper-
tos. Las rúbricas establecían los criterios para la clasificación de la información, algunas más simples, que iban desde la
codificación de información literal del registro, como la duración de la actividad; y otras complejas como la clasificación
de la información en categorías preestablecidas; hasta la determinación de un juicio sobre la actividad descrita por las
educadoras, con base a ciertos criterios.

4
 Para la primera dimensión de evaluación, se identificó si las actividades tenían el propósito de desarrollar alguna de
las competencias descritas en el programa y el campo formativo al que correspondían. Para la dimensión de enfoque pe-
dagógico de las actividades, se establecieron una serie de acciones de los niños y de la educadora durante la actividad de
aprendizaje que indicaban la presencia de un trabajo congruente con los enfoques didácticos de cada uno de los campos
formativos del programa. Por ejemplo en Pensamiento Matemático una acción relacionada es que la actividad de apren-
dizaje incluya un planteamiento de problema matemático; en Lenguaje y Comunicación, que se propicie la exploración de
textos; en Exploración y Conocimiento del Mundo, que se promueva la observación de objetos, seres y eventos de la na-
turaleza. Para la demanda cognitiva se identificaba la máxima demanda cognitiva involucrada en la tarea de aprendizaje,
de acuerdo a la taxonomía antes señalada.
El instrumento se aplicó a una muestra piloto de 280 educadoras de preescolar de todas las modalidades educati-
vas. Previo a esta aplicación, se realizaron observaciones de aula para verificar la correspondencia con los registros;
aunque cabe señalar que no se tiene documentado este proceso, a juicio del equipo coordinador del estudio, existía una
alta correspondencia entre lo registrado por los docentes y lo reportado por observadores externos. También se pudo
identificar que elementos como el propósito de la actividad no eran susceptibles de observación, solo podían verificarse
mediante entrevista al docente, o quedaban plasmados en los registros. El levantamiento definitivo de la información se
realizó con una muestra representativa de escuelas de todas las modalidades educativas; aquí se recopilaron los registros
de 2 526 docentes de preescolar.
La codificación de la información se realizó mediante una herramienta informática. La pantalla permitía visualizar la
bitácora respondida por la educadora, previamente digitalizada y desplegaba las rúbricas para su codificación. El siste-
ma permitía el avance en la calificación de acuerdo a un diagrama de flujo que establecía el orden para la evaluación. La
sistematización de la información se realizó previa capacitación del personal; la codificación de los instrumentos de la
muestra definitiva se llevó a cabo una vez que se alcanzó un acuerdo inter-jueces de .80 (INEE, 2013).
La confiabilidad de la codificación se realizó a partir la teoría de la generalizabilidad (Shavelson & Webb, 1991). Los
resultados indicaron que para puntajes globales del instrumento el coeficiente de determinación fue superior a .86 y para
puntajes por dimensión, dos fueron menores a .50, el resto de dimensiones tuvieron un coeficiente de determinación
entre .61 y .92. Lo que muestra una aceptable confiabilidad de la codificación en los puntajes globales y la mayoría de las
dimensiones (INEE, 2013).
Una vez conformada la base de datos, la principal unidad de análisis fue cada una de las actividades desarrolladas
por las docentes, aunque también se generaron algunos indicadores a nivel de docentes. De esta manera se pudo obtener
evidencia del grado en que las actividades que se desarrollan en aula están alineadas al currículo.
En la figura 2, puede verse que solo un tercio de las actividades tiene propósitos vinculados al desarrollo de compe-
tencias que se proponen en el programa de estudios, mientras un porcentaje similar se destina a actividades de organiza-
ción escolar (recreo, activación física, honores a la bandera, entre otros).

Figura 2  Porcentaje de actividades según su propósito

Por su parte, de las actividades que sí buscaban el desarrollo de competencias, solo un porcentaje menor, se desarrolla
de acuerdo a los enfoques didácticos de los campos formativos. En la figura 3, se aprecia un mayor grado de congruencia

5
 de las prácticas en el campo formativo de Lenguaje y comunicación, donde 88% de las actividades presenta al menos una
característica del enfoque, mientras en Pensamiento Matemático el porcentaje es mínimo, las actividades no se desarro-
llan de acuerdo al enfoque de solución de problemas.

Figura 3  Porcentaje de actividades acordes con los enfoques didácticos

Otro elemento de análisis fue la demanda cognitiva de las actividades. En la figura 4, se muestra que la mayor parte de
las actividades involucran solo procesos memorísticos, dejando de lado procesos de mayor complejidad cognitiva, según
la clasificación empleada para el análisis.

Figura 4  Porcentaje de actividades según la demanda cognitiva

Por su parte, al analizar todas las actividades realizadas por las docentes se pudo identificar en qué medida se emplea
el tiempo de la jornada escolar para desarrollar las competencias del programa. Se generó el índice de práctica con-
gruente con el programa, que representa la proporción de la jornada escolar que se destina a actividades con propósitos
congruentes con el programa de estudios y de acuerdo con los enfoques didácticos.

6
 En la figura 5, se aprecia que a nivel nacional hay diferencias en la forma de implementar el currículo, pues solamente
una cuarta parte de las educadoras destina más del 75% del tiempo de la jornada escolar a actividades orientadas al de-
sarrollo de competencias. Se encontró que existen diferencias importantes por modalidad educativa, siendo las docentes
de escuelas urbanas y rurales de modalidad general quienes destinan más tiempo al trabajo con el programa; en escuelas
de cursos comunitarios e indígenas el porcentaje de educadoras que no destina tiempo a actividades congruentes con el
programa oscila entre el 23 y 33%.
Los resultados de este estudio ponen de manifiesto las diferencias en las formas de implementación del currículo, lo
que representa oportunidades desiguales para los estudiantes de desarrollar las competencias señaladas en el programa.
La bitácora aquí descrita permite recoger información sobre la forma en que se está implementando el currículo por
parte de las educadoras, y se considera,-por tratarse de un instrumento abierto en que los docentes describen su prác-
tica-, de bajo costo y potencialmente útil para evaluar algunos elementos de la práctica en evaluaciones del desempeño
docente. Una de las dimensiones aquí analizadas es el dominio del enfoque pedagógico de los campos formativo en las
actividades realizadas, que corresponde en cierta medida al conocimiento pedagógico del contenido, presente en los
modelos de evaluación del desempeño y práctica docente (Altet, 2005; García, Loredo Carranza, 2008; Manzi, González &
Sun, 2008; Shulman, 2005). Este instrumento permitiría una aproximación a esta dimensión desde el análisis de la prác-
tica de los docentes y no solo a partir de sus conocimientos teóricos medidos mediante exámenes.
De cualquier modo cabe señalar que la información recuperada mediante la bitácora permite dar cuenta de las activi-
dades que desarrollan las educadoras en una jornada escolar típica, de modo que representan una muestra de la forma en
que se desarrolla el currículo. Sin embargo para efectos de usarlo para determinar la capacidad docente de implementar
el currículo se requerirán nuevos estudios de validación que permitan determinar con qué cantidad de días de registro es
posible hacer inferencias más precisas sobre el desempeño docente, sobre todo reconociendo que en el caso de educación
preescolar, no existe una secuencia preestablecida de contenidos a tratar, que permitan medir el avance en la forma en
que se promueven las competencias, que la forma en que se desarrollan las actividades en el aula dependen también de
los conocimientos y nivel de desarrollo de los niños, entre otros factores.

Figura 5  Porcentaje de docentes según la proporción de la jornada escolar que se destina al programa de estudios

CONCLUSIONES

La complejidad para evaluar el desempeño implica necesariamente hacer uso de distintos instrumentos y fuentes de
información, las bitácoras como la aquí presentada, es uno de los instrumentos que podrían ser útiles en esta tarea.
La Bitácora para la Evaluación de la Práctica Docente se vislumbra como un instrumento potencialmente útil para
evaluar el desempeño docente, aunque es necesario realizar estudios que aporten evidencias de validez para este uso.

7
 Algunas características que sobresalen son su aplicación a bajo costo, la flexibilidad para recabar información y la posibi-
lidad de medir algunos rasgos complejos de la práctica docente.
El instrumento aquí presentado, por ser auto-administrado, permite obtener una medición de la práctica pedagógica
a un costo menor que la observación en vivo o grabada, aun considerando el costo de la codificación. Se considera que
es una alternativa adecuada en evaluaciones a gran escala, especialmente en sistemas educativos tan grandes como el
mexicano, donde el total de docentes de preescolar en el país es de alrededor de 220,000 lo que hace muy costoso poder
hacer observaciones en el aula.
Un instrumento de esta naturaleza permite identificar el tipo de prácticas a las que están expuestos los niños en el
aula, por ejemplo las demandas cognitivas de las actividades. Ello es especialmente relevante para evaluar el desempe-
ño docente, sobre todo si se considera que uno de los principios pedagógicos que rigen a los estándares de desempeño
(Council of Chief State School Officers, 2013; NBPTS, 2013), es que el docente sea capaz de promover un aprendizaje ac-
tivo por parte del alumno. Otro de los elementos complejos de la práctica pedagógica que permite evaluar el instrumento
y su codificación mediante rúbricas es el denominado conocimiento del contenido que implica que el docente no solo
conozca el contenido disciplinar sino cómo enseñarlo.
La metodología empleada en este estudio podría ser de utilidad en la evaluación de planeaciones docentes, es decir,
se podrían emplear las rúbricas para valorar los propósitos, las actividades de aprendizaje en función de su apego a los
enfoques pedagógicos, su demanda cognitiva, y la duración; además podría darse cuenta de otros elementos, como su
coherencia interna.
No obstante, los auto-reportes con preguntas abiertas como las del presente instrumento, también tienen limitacio-
nes, puesto que se basan en lo que los docentes reportan, las preguntas abiertas se ven influenciadas por las habilidades
de expresión escrita de los informantes y por el espacio disponible en el instrumento para describir la práctica. Por su
parte una consideración adicional será que el proceso de elaboración de rúbricas, capacitación y codificación es una
tarea altamente compleja y muy demandante en tiempo; lo que hace elevar un poco los costos en relación a los instru-
mentos cerrados.
Con respecto a la validación de uso de este instrumento para evaluar el desempeño docente, futuros estudios con
bitácoras deberían recolectar información de más jornadas escolares, para determinar con cuántas se pueden hacer in-
ferencias en todo el ciclo escolar. Esta estimación podría realizarse a partir de un estudio de dependencia, asegurando
un diseño que permita tener información con interacción de codificadores y días de la jornada, que ofrezcan información
sobre la variación de la práctica atribuible al evaluador. Resultados de otras bitácoras, como las propuestas por Rowan y
Correnti (2009), señalan que 20 mediciones podrían ser un número adecuado para hacer inferencias precisas del desem-
peño docentes en el ciclo escolar.

BIBLIOGRAFÍA

Altet, M. (2005). La competencia del maestro profesional o la importancia de saber analizarlas prácticas. En Paquay, L.,
Altet, M., Charlier, E. & Perrenoud, P. (Coords.).La formación profesional del maestro. Estrategias y competencias
(pp. 33-48). México: FCE.
Anderson, L. & Krathwohl, D. (Eds.) (2001).A Taxonomy for Learning, Teaching and Assessing: A revision of Bloom’s Taxon-
omy of Educational Objectives. New York: Longman.
Barber, M. & Mourshed, M. (2008). Cómo hicieron los sistemas educativos con mejor desempeño del mundo para alcanzar
sus objetivos. Chile: PREAL, McKinsey & Company.
García, B., Loredo, J., & Carranza, G. (2008). Análisis de la práctica educativa de los docentes: pensamiento, interacción y
reflexión. Revista Electrónica de Investigación Educativa [número especial], 2-14.
Council of Chief State School Officers. (2013). Interstate Teacher Assessment and Support Consortium InTASC Model Core
Teaching Standards and Learning Progressions for Teachers 1.0: A Resource for Ongoing Teacher Development. Washington,
DC: Autor.

8
 Fullán, C. (2002). El significado del cambio educativo: un cuarto de siglo de aprendizaje. Profesorado, revista de currícu-
lum y formación del profesorado, 6, 1-2.
INEE (2013a).Prácticas pedagógicas y desarrollo profesional docente en preescolar. México: Autor.
INEE. (2013b). Prácticas pedagógicas y desarrollo profesional docente en Preescolar. Reporte técnico México: Autor.
McDonald, C. et al. (2009). The ISI classroom observation system: Examining the literacy instruction provided to individ-
ual students. Educational Researcher, 38(2), 85-99.
Manzi. J., González, .R. & Sun, Y. (2008). La Evaluación Docente en Chile. Chile: Pontificia Universidad Católica de Chile-
MIDE UC.
National Board for Professional Teaching Standards (2013).Early Childhood Generalist Standards. Third Edition. Arlin-
tong: NBPTS.
Pianta, R. y Hamre, B. (2009). Conceptualization, measurement, and improvement of classroom processes: Standardized
observation can leverage capacity. Educational Researcher, 38, 109–11.
Porter, C. (2002). Measuring the Content of Instruction: Uses in Research and Practice. Educational Researcher, 31, (3).
Rowan & Correnti (2009) Studying Reading Instruction With Teacher Logs: Lessons From the Study of Instructional Im-
provement. Educational Researcher, 38:120.
SEP (2004). Programa de Educación Preescolar 2004. México: SEP.
Shavelson, R. & Webb, N. (1991). A Primer on Generalizability Theory.Thousand Oaks, CA: SagePublications.
Shulman, L (2005). Conocimiento y enseñanza: fundamentos de la nueva Reforma. Revista de currículum y formación del
profesorado, 9, 2 (2005).
Shulmeyer, A. (2002). Estado actual de la evaluación docente. Conferencia Regional “El Desempeño de los Maestros en Amé-
rica Latina y el Caribe: Nuevas Prioridades”, Brasilia, Brasil, 10-12 de julio.
Stigler, W., Gallimore, R., &Hiebert, J. (2000). Using video surveys to compare classrooms and teaching across cultures:
Examples and lessons from the TIMSS video studies. Educational Psychologist, 35 (2), 87-100.

9
Las consignas de pruebas escritas
como herramienta de evaluación
del desempeño docente
14 de marzo de 2015
 Las consignas de pruebas escritas
como herramienta de evaluación
del desempeño docente
Jennifer Vinas-Forcade*
Magister, Instituto Nacional de Evaluación Educativa (INEEd), Uruguay.
jvinas@ineed.edu.uy  jennifer.vinas@gmail.com
Cecilia Emery Bianco
Magister, Instituto Nacional de Evaluación Educativa (INEEd), Uruguay.
cemery@ineed.edu.uy  ceciliaemery@gmail.com

PALABRAS CLAVE: pruebas escritas, complejidad, adaptación curricular, evaluación

EJE TEMÁTICO: 2. Innovaciones en evaluación y medición del desempeño docente y directivo

Resumen
Reconociendo el rol clave de los docentes en la mejora de la calidad de la educación brindada por los sistemas
educativos, principalmente en los procesos de enseñanza y aprendizaje, se propone el análisis de las consignas de
pruebas escritas en la aproximación al desempeño docente y su evaluación. Se presenta la prueba escrita como
herramienta que evidencia los contenidos y modos de evaluar privilegiados por el docente y se brinda una guía
para su codificación y análisis. Se incluyen además los resultados de un estudio de estas características realizado
por el INEEd en Uruguay (2013) y recomendaciones para su uso en evaluación del desempeño docente.

*Autor principal

INTRODUCCIÓN

Ante el desafío de mejorar la calidad de la educación brindada a los estudiantes Uruguay, así como los demás países de
la región, reconoce el rol clave de los docentes en el sistema educativo, particularmente en los procesos de enseñanza y
aprendizaje. La evaluación del desempeño docente busca, en este contexto, distinguir a aquellos cuyas prácticas contribu-
yen en mayor medida a que los estudiantes logren los aprendizajes esperados. Se busca identificar, además, a los docentes
que mayores apoyos necesitan para la mejora de su desempeño profesional.
La dificultad, sin embargo, radica en cómo aproximarse a las prácticas docentes y desarrollar sistemas de evaluación
de desempeño que permitan esta adecuada diferenciación. Tradicionalmente esta evaluación es realizada por el director
del centro educativo, valiéndose principalmente de datos de la actividad computada: asistencia, licencias, puntualidad,
etc. Esto determina que se cuente con poca evidencia del desempeño real del docente en el día a día, a lo largo del año
lectivo. También a nivel de sistema la evaluación docente se basa principalmente en aquello de lo que se tiene registro:
la antigüedad en el cargo, la titulación y la certificación de capacitaciones a lo largo de la carrera, todo lo que acontece
fuera del aula.
Incluso en los casos en que se cuenta con un evaluador externo, que visita al docente y observa su trabajo en el aula,
los recursos humanos y económicos disponibles son muchas veces escasos, lo que conduce a que esta evaluación no

2
 pueda realizarse con la suficiente periodicidad.1 En el campo académico, la observación directa ha sido reemplazada en
algunos estudios por filmación del trabajo en el aula. Esta modalidad requiere también contar con recursos humanos,
económicos, técnicos y temporales suficientes, a la vez que puede presentar dificultades: resistencia del docente al regis-
tro audiovisual de sus prácticas, leyes que requieran consentimiento escrito para el registro de la imagen ajena (particu-
larmente de menores de edad).
Una vía complementaria a esta modalidad de evaluación es el análisis de las consignas de las pruebas y trabajos
escritos que los docentes proponen a sus estudiantes a lo largo del año lectivo. Esta clase de evaluación requiere menor
uso de recursos que las antes mencionadas, además de aprovechar los registros y archivos de pruebas disponibles2 en los
centros educativos. En las siguientes páginas se sintetiza el modo en que, desde el INEEd, se utilizaron pruebas escritas
para conocer las diferencias en los modos de evaluar a los estudiantes en educación primaria y media. Este instrumento
posibilita una diferenciación entre modalidades e instrumentos de evaluación en el aula que puede utilizarse, en combi-
nación con otros, como herramienta de evaluación del desempeño docente.

DESARROLLO

El estudio: incidencia de las prácticas de evaluación en el tránsito entre ciclos

La investigación realizada por un equipo técnico del INEEd3 a lo largo del año 2013, tuvo por objetivo principal la des-
cripción de las prácticas de evaluación de aprendizajes en el aula y su papel en el tránsito entre ciclos educativos, es decir,
en el pasaje del último año de educación primaria (sexto de escuela) al primer año de educación media en instituciones
públicas urbanas de Uruguay.
Para ello se consultó a los principales actores involucrados: docentes y estudiantes de ambos ciclos. Los estudian-
tes volcaron sus percepciones en una encuesta específica para cada grado, a la vez que intercambiaron perspectivas en
grupos focales. Por su parte, los docentes proporcionaron al equipo las consignas de pruebas escritas aplicadas a sus
estudiantes en los años 2012 y 2013, contextualizando estos instrumentos a través de una entrevista en profundidad y
una breve encuesta.
Atendiendo al tema central de este congreso, a continuación se hace foco en el modo en que se trabajó con las pruebas
escritas, y el uso que de ellas puede hacerse para la evaluación docente.

Antecedentes y marco teórico

Este análisis de pruebas escritas como modo de acercamiento a las prácticas docentes de evaluación y de enseñanza
en el aula haya sus principales antecedentes en los estudios de Ravela y otros en diferentes países de la región (Ravela,
2009:49-89; Ravela, 2010; Ravela y otros, 2014:20-45),
Estudiar qué y cómo evalúan los docentes en el aula remite, inevitablemente, a un segundo problema: qué es lo que
enseñan. Las propuestas de evaluación de aprendizajes que los docentes plantean a sus estudiantes constituyen una
vía privilegiada para conocer sus enfoques de la enseñanza y los tipos de aprendizajes que promueven y valoran (IEE,
2014:4).
Estos estudios, así como el que aquí se presenta, buscan visibilizar las prácticas docentes en el aula, para de este modo
contribuir a su mejora. Se parte del supuesto de que la selección de los contenidos del programa que el docente incluye

1
En educación secundaria en Uruguay, por ejemplo, hay un inspector de asignatura cada 424 profesores. El mínimo deseable, de acuerdo a los propios
inspectores, sería 1/250. El ratio actual, según indican, lleva a que solo se pueda visitar a cada docente en el aula una vez cada tres o cuatro años.
2
Incluso en caso de no contar los centros educativos con un archivo de pruebas, no requiere mayor esfuerzo establecer esta práctica, o recabar las
pruebas directamente de los docentes.
3
Vanessa Anfitti, Cecilia Emery, Fiorella Ferrando, María Noé Seijas, Jennifer Vinas-Forcade. Dirección: Federico Rodríguez. Consultoras: Silvina Larripa,
Beatriz Macedo. Codificación pruebas: Lilián Bentancour, Ivanna Centantino, Melissa Levrero, Beatriz Macedo, Wellington Mazzotti.

3
 en la evaluación, así como los modos en que estos son evaluados, ponen de manifiesto un conjunto de habilidades y con-
tenidos que este docente considera especialmente relevantes para el curso que imparte. Como señalan Díaz-Barriga Arceo
y Hernández Rojas (2003), “a pesar de los inconvenientes y las fuertes críticas que se les han hecho, las pruebas de lápiz y
papel continúan siendo los instrumentos más utilizados en la evaluación escolar” (p.379).
Analizando las pruebas escritas puede observarse en qué medida se corresponde la selección realizada por el docente
con aquello que se privilegia en el sistema educativo en que se desempeña. La normativa vigente en cada país permite un
acercamiento a esto último. También el currículum, como conjunto de regulaciones vinculadas con los procesos de selec-
ción, organización, distribución, transmisión y evaluación del contenido escolar (Gvirtz y Palamidessi, 2004), constituye
sin dudas uno de los referentes de las prácticas de evaluación de aprendizajes en el aula.
De acuerdo con Camillioni (1998), “si el docente tiene que contar con teorías explicativas acerca de cómo aprenden
los alumnos y sobre qué es enseñar, también deberá trabajar con teorías acerca de la evaluación, su relación con los pro-
cesos de enseñanza y aprendizaje, el lugar que ocupa la evaluación en la administración de un proyecto de enseñanza, qué
alcances y límites debe tener” (p.70). Para la autora, es deseable “insistir en la necesidad de que todas esas teorías sean
consistentes entre sí y conformen, en su conjunto, una base de percepción, pensamiento, sentimiento y conocimiento que
permita fundar y justificar la acción docente” (pp. 70-71).
No obstante, esto no es sencillo pues, como afirma Perrenoud (2008), la investigación didáctica tiene una deuda con la
producción de conocimiento sobre evaluación. Por otra parte, la formación docente en la región tampoco ha sabido darle
a la evaluación un espacio de tratamiento privilegiado: “la evaluación casi no es objeto de estudio durante la formación
docente” (IEE, 2011:7), pero puede ser uno de los focos del desarrollo profesional que se brinde a los docentes a lo largo
de su carrera. Una evaluación del desempeño docente que incorpore el análisis de los modos en que estos evalúan permi-
tirá identificar, entre otras, las necesidades de capacitación en el área.

La codificación de pruebas escritas

Para codificar las pruebas, se definió un manual de codificación4 que establece dimensiones para valorar cada ítem o acti-
vidad, así como al agrupamiento al que pertenece. Se definió al ítem como la unidad mínima pasible de recibir puntuación
en la prueba, o que supone la realización de una tarea identificable, que puede “recortarse” como singular en la consigna
de trabajo. El agrupamiento es el conjunto de ítems que comparten un mismo estímulo o tema.

Dimensiones a codificar

De la prueba: su periodicidad (mensual, semestral) y cantidad de versiones existentes.

Del agrupamiento: lugar que ocupa en la prueba y tema/contenido principal.
Del ítem:
»» Lugar que ocupa en la prueba y en el agrupamiento
»» Existencia o no de un estímulo / información adicional brindada y tipo: texto breve/medio/extenso, cuadro/tabla,
imagen/infografía, mapa geográfico/conceptual, etc.
»» Tipo: opción múltiple, apareamiento, verdadero/falso, ordenamiento, completamiento con/sin información dada,
producción más/menos extensa, etc.
»» Contenido evaluado y adecuación a la pauta curricular.
»» Tipo de situación presentada: trivial, disciplinar/escolarizada, disciplinar/contextualizada, cotidiana, social, expe-
rimental.
»» Procesos cognitivos evaluados: memoria, aplicación, comprensión, valoración y producción, con sus respectivos
sub-procesos.5

Ver Anexo disponible en https://drive.google.com/file/d/0B4mKhvl4HFjIbF9kZ3B4b3VrVXc/view?usp=sharing

4

Ver anexo, p.3-5, en base a Doyle 1983; Anderson y Krathwohl 2001.

5

4
 »» Tipo y sub-tipos 6 de conocimiento evaluado: factual, conceptual, procedural o metacognitivo.
»» Actualización del enfoque didáctico

Aplicando códigos para cada caso, se obtienen luego planillas por asignatura en las que cada fila representa un ítem y
cada columna representa una dimensión (ver figura 1). El procesamiento de estos datos permite conocer lo que predomi-
na para cada dimensión y asignatura. Para obtener información por docente, necesaria para su evaluación de desempeño,
debe agregarse una columna en que se ingrese, para cada ítem, el código del docente que propuso la prueba en que este
se encuentra. Esta información no fue incluida en el estudio que aquí se presenta por no tener por objetivo el análisis de
los resultados obtenidos por docente.

Figura 1  Vista parcial de la codificación de pruebas escritas de Matemática

Resultados obtenidos en el estudio

El análisis de la codificación de las pruebas escritas recabadas en este estudio reveló una preponderancia de las tareas
de memoria y repetición, en que los enunciados tienden a ser breves y requieren respuestas breves y unívocas (figura 2).
Esto se corresponde con los tipos de conocimiento priorizados en las pruebas. Predominan los ítems que buscan evaluar
la adquisición de conocimientos factuales, de terminología, detalles, elementos específicos e información literal (figura 3).

Figura 2  Ejemplo prueba de Historia

Ver anexo, p.6, en base a Anderson y Krathwohl 2001.

6

5
 Figura 3  Ejemplo prueba de Ciencias Físicas

En menor proporción se encuentran tareas de aplicación rutinaria o ejercitación de procedimientos, donde también
la memorización aparece como estrategia central de aprendizaje. Se identifican unas pocas tareas de comprensión, mien-
tras que las de valoración y de producción —entre las que se incluye la resolución de problemas o situaciones comple-
jas— son muy escasas.
En cuanto a los conocimientos, el conceptual (significados de palabras o expresiones, clasificaciones, categorías, prin-
cipios, generalizaciones, teorías, modelos o estructuras) aparece en segundo lugar, en menor proporción que el factual.
Le sigue el procedural (habilidades, algoritmos específicos y reglas, técnicas y métodos) más frecuente en primaria que
en media. No se encontraron pruebas que evalúen el conocimiento metacognitivo (estratégico, de los objetivos cognitivos,
contexto y condiciones de aprendizaje, y autoconocimiento).
La contextualización de las tareas mediante el uso de estímulos es mayor en educación primaria que en media. En
ambos ciclos, sin embargo, la mayoría de las tareas carecen de correspondencia con la vida extra-escolar. Se trata de ac-
tividades de tipo disciplinar-escolarizadas, contextualizadas en situaciones creadas en y para la escuela, aunque pueden
mantener cierta relación con el campo disciplinar de referencia (figura 4). Solo en pocos casos se proponen actividades
que buscan trascender el espacio escolar, ofreciendo oportunidades para que los estudiantes resignifiquen saberes disci-
plinares en contextos sociales más amplios (figura 5) o de la vida en sociedad en general (figura 6).

Figura 4  Ejemplo prueba de Historia

Figura 5  Ejemplo prueba de Matemática

6
 Figura 6  Ejemplo prueba de Matemática

La adecuación a la pauta curricular y actualización del enfoque didáctico fueron codificados en una escala de cuatro
puntos. En términos generales, los contenidos de las pruebas se corresponden con la pauta curricular, aunque se obser-
van diferencias epistemológicas y didácticas con lo prescrito en los marcos curriculares. Estas diferencias, sin embargo,
podrían explicarse por la poca información que el marco curricular vigente en Uruguay brinda acerca de cómo y para
qué deben ser evaluados los contenidos. Para su uso en evaluación del desempeño docente, la actualización didáctica
deseable en cada sistema educativo debería ser definida a partir de un marco teórico específico para cada asignatura o
disciplina, previo a la aplicación de la evaluación.

Consideraciones para el uso de pruebas escritas como herramienta de evaluación

del desempeño docente: Limitaciones del instrumento

Las pruebas escritas permiten un acercamiento al modo en que el docente evalúa a sus estudiantes. Sin embargo, el
análisis del discurso de los docentes participantes del estudio muestra que estas prácticas no siempre se corresponden
con la concepción de evaluación que expresa el docente o con lo que este considera deseable. A su vez, las decisiones de
calificación y promoción que toman los docentes, si bien otorgan gran importancia a las pruebas escritas, incluyen tam-
bién el desempeño de los estudiantes en otras instancias de evaluación, tales como la participación en clase o la entrega
de tareas domiciliarias.
Al momento de evaluar el desempeño del docente se debería considerar el conjunto de instrumentos y prácticas de
enseñanza y evaluación que desarrolla. El análisis de pruebas escritas es un modo de acercarse a estas últimas, que debe
utilizarse en conjunto con otras herramientas para conocer mejor el desempeño del docente, particularmente las áreas
en las que es necesario enfocar planes de mejora.
Como afirman Díaz-Barriga Arceo y Hernández Rojas (2003), “ningún instrumento es por sí mismo suficiente (aun-
que hay algunos que definitivamente son superiores que otros) si no se utiliza en forma inteligente y reflexiva” (p.361).

7
 CONCLUSIONES

El análisis de las consignas de pruebas escritas que los docentes proponen a sus estudiantes permite conocer algunos
aspectos del modo en que el docente concibe y realiza la evaluación en el aula.
El trabajo con pruebas escritas, por requerir menor cantidad de recursos humanos, económicos y técnicos que la
filmación u observación directa de aulas, se presenta como una herramienta favorable y complementaria en la evaluación
del desempeño docente. Se trata de una herramienta útil, principalmente, para detectar áreas en que el docente requiere
apoyos adicionales. No debe, sin embargo, ser utilizada como única información acerca del quehacer docente, dadas sus
limitaciones para ilustrar comprehensivamente la enseñanza y evaluación en el aula.

BIBLIOGRAFÍA
ANDERSON, L. y KRATHWOHL, D. E. (2001), A Taxonomy for learning, teaching and assessing: A revision of Bloom's taxon-
omy of educational objectives, Addison Wesley Longman, Inc, New York.
CAMILLONI, Alicia (1998a), “La calidad de los programas de evaluación y de los instrumentos que los integran” en
CAMILLONI Alicia y otros, La evaluación de los aprendizajes en el debate didáctico contemporáneo, Paidós Educador,
Buenos Aires.
DÍAZ BARRIGA ARCEO, Frida y HERNÁNDEZ ROJAS, Gerardo (2003), Estrategias docentes para un aprendizaje significativo,
McGraw-Hill, México.
DOYLE, Walter (1983), Academic work, Review of Educational Research, University of Texas, vol. 53 núm. 2, Austin.
GVIRTZ, Silvina y PALAMIDESSI, Mariano (2004), Currículum y enseñanza. El ABC de la tarea docente, Aique, Buenos Aires.
IEE -INSTITUTO DE EVALUACIÓN EDUCATIVA (2011), La evaluación en las aulas de secundaria básica en cuatro países
de América Latina, Propuesta al Cuarto Concurso del Fondo de Investigaciones Educativas FIE-PREAL, Universidad
Católica del Uruguay, Montevideo.
PERRENOUD, Phillipe (2008), La evaluación de los alumnos. De la producción de la excelencia a la regulación de los apren-
dizajes. Entre dos lógicas, Editorial Colihue, Buenos Aires.
RAVELA, Pedro (2009), “Consignas, devoluciones y calificaciones: los problemas de la evaluación en las aulas de edu-
cación primaria en América Latina”, Páginas de Educación, Vol. 2, Universidad Católica del Uruguay, Montevideo,
pp. 49-89.
RAVELA, Pedro (2010), “La evaluación de aprendizajes en las aulas de primaria en América Latina. Enfoques y prácticas”,
en WAINERMAN, Catalina y DE VIRGILIO,
Mercedes (comps.), El Quehacer de la Investigación en Educación, capítulo 5, Manantial, Universidad de San Andrés,
Buenos Aires.
RAVELA, Pedro, LEYMONIÉ, J., VIÑAS, J. y HARETCHE, C. (2014), La evaluación en las aulas de secundaria básica en cuatro
países de América Latina en Propuesta Educativa de FLACSO, Volumen 1, Año 23, pp. 20-45.

8
La IPD como modelo de evaluación
del desempeño docente orientado
a procesos de formación
14 de marzo de 2015
 La IPD como modelo de evaluación
del desempeño docente orientado
a procesos de formación
M.C. Victor Hugo Torres Fernández*
Estudiante de Doctorado en Ciencias Educativas
Instituto de Investigación y Desarrollo Docente
Universidad Autónoma de Baja California, México.
victorres5@hotmail.com

Dr. Lewis S. McAnally Salas

Investigador y docente
Instituto de Investigación y Desarrollo Docente
Universidad Autónoma de Baja California.

PALABRAS CLAVE: modelo, evaluación, desempeño docente, inteligencia práctica, formación.

EJE TEMÁTICO: 1. Modelo de evaluación docente.

Resumen
Hasta 250 palabras. Éste debe reflejar los aspectos más relevantes y ser congruente con el título, expresar la rele-
vancia teórica y práctica del trabajo.
La implementación de un enfoque constructivista en el proceso de aprendizaje en educación media superior,
requiere que el profesor desarrolle una serie de competencias, en contextos determinados. Por lo cual para orien-
tar la formación y actualización de los docentes se deben aplicar nuevos mecanismos de evaluación que lleven a
un proceso educativo de mayor calidad. En esta investigación se propone el desarrollo de un modelo conceptual
encauzado a evaluar el desempeño docente y orientado a la formación del maestro, el cual integra para su análisis
competencias docentes, elementos de contexto y factores de la práctica convencional relevantes, considerando sus
complejas interacciones, sustentado en el análisis de los procesos cognitivos del profesor y desde el enfoque de la
inteligencia practica desarrollado por Sternberg (1993). A partir de lo cual, es factible identificar, caracterizar e
integrar elementos que permitan medir fortalezas y áreas de oportunidad del profesor y generar en consecuencia
programas de formación acordes a los requerimientos del docente.

*Autor principal

2
 INTRODUCCIÓN

Dentro del esquema constructivista de educación aplicado a nivel medio superior la función del docente requiere ser
reevaluada e identificar cual es el nivel de desempeño que el profesor exhibe frente a los requerimientos del modelo
propuesto (Acuerdo 442, 2008) y en su caso generar esquemas de actualización pertinentes.
En consecuencia, la evaluación del desempeño del profesor se vuelve un recurso fundamental para orientar un
proceso de mejora, a través de la formación, actualización y capacitación para el desarrollo de las competencias docen-
tes (Acuerdo 447, 2008), integrando otros elementos recurrentes del entorno escolar analizados por diversos autores
(Dahllof & Lundgren, 1970; Clark & Peterson, 1989; Fernández, 2001; Karaagac & Threlfall, 2004; Rueda, 2004; Güemes
& Loredo, 2008; Castillo, 2009; OCDE, 2009; Ramírez et al., 2012; Andrade, 2013 y Reyes, 2014), y que están relacio-
nados con elementos del contexto escolar, como son: las creencias del docente, objetivos, recursos disponibles para
desarrollar la actividad y toda acción que permita la realización del quehacer educativo. Así como ciertos factores de la
práctica tradicional.

DESARROLLO

Problemática

La evaluación tradicional del desempeño docente se enfoca a cubrir procesos administrativos y reparto de estímulos,
pero no orienta hacia procesos de formación del maestro para implementar un proceso educativo de calidad (Cordero et.
al., 2011; Reyes, 2014). Por lo cual, es necesario la construcción de modelos que permitan identificar y analizar el grado
de desarrollo de competencias docentes con base en el modelo educativo implementado, considerando contextos especí-
ficos. Ubicando, en primera instancia, riesgos y áreas de oportunidad, con base en parámetros e indicadores establecidos
y que hagan viable la evaluación del desempeño orientado a fortalecer áreas de la formación docente que permitan opti-
mizar su actuar dentro de su labor profesional.

Objetivo

Objetivo general

»» Desarrollar un modelo conceptual con base en procesos cognitivos para evaluar el desempeño docente.

Objetivos específicos

»» Desarrollar el modelo conceptual con base en las competencias docentes, elementos de contexto y aquellos seña-
lados como relevantes.
»» Identificar e integrar a partir de las competencias docentes, el contexto y la práctica tradicional, aquellos com-
ponentes que se consideren relevantes en la construcción del modelo para evaluar el desempeño docente de
profesores de EMS.

3
 Materiales y métodos

Identificación, caracterización de componentes y construcción del modelo

La elaboración del modelo, es un desarrollo teórico que parte del análisis detallado de una serie de referentes que se
describen a continuación:
Acuerdos 442 y 447 (2008) y la Ley General del Servicio Profesional Docente (LGSPD, 2013), documentos que dan
sustento al enfoque constructivista y el necesario desarrollo de competencias por parte de los profesores, en EMS.
Estudios relacionados con las medidas para la evaluación tradicional del desempeño docente, como los elaborados
por Luna & Torquemada (2008); Luna et. al, (2011) y Reyes (2014), buscando su posible alineación al nuevo enfoque
educativo y la factibilidad de uso.
Modelos cognitivos previos que fueron elaborados a partir de considerar que el pensamiento, el lado oculto del do-
cente es el detonador de sus acciones, como los desarrollados por Jackson, (1968), Shavelson & Sterns, (1981), Nicholson,
(1996), y Clark & Peterson, (1997) y donde la estas propuestas son analizadas, como referentes en la construcción de un
modelo para evaluar el desempeño docente.
Se plantea que el contexto (todo aquello que se relaciona con su práctica profesional) influye en lo que el docente
piensa, por lo que estudios de diversos autores son analizados (Dahllof & Lundgren 1970; Clark & Peterson (op. cit.);
Fernández, 2001; Karaagac & Threlfall, 2004; Rueda, 2004; Güemes & Loredo, 2008; Castillo, 2009; OCDE, 2009; Ramírez
et al., 2012; Andrade, 2013; Nava & Rueda, 2013 y Reyes, 2014. De los cuales se consideran 5 de ellos para esta investiga-
ción, dado el impacto que tienen sobre el quehacer docente.
La subteoría de la inteligencia practica, un componente de la Teoría Triárquica, propuesto por Sternberg (1993), se
analiza de manera puntual, ya que presenta desde el enfoque de la inteligencia, muchos aspectos que se alinean con los
planteamientos de la RIEMS y que más adelante se propone y discute su representatividad para ser tomado en cuenta
como un factor integrador de los elementos que se consideran determinantes del quehacer docente en contextos especí-
ficos, y que adicionalmente ofrece alternativas validadas para la cuantificación de aquellos que la conformen.
En la elaboración de este modelo, es factible considerar la integración de otros elementos que se asuman como rele-
vantes para desarrollar una adecuada función docente. En este caso se incorporo, el llamado juicio de meritos, que desde
la perspectiva de la RIEMS, le permite al maestro y al estudiante conocer cuál es su nivel de manejo de información inicial
para interactuar con sus pares al momento de aplicar la información y construir su conocimiento en el aula. Este compo-
nente se integra a las competencias docentes e interactúa con elementos del contexto y se etiqueta como [Tradicional].

Resultados

Esta propuesta implica el desarrollo de un modelo sustentado, desde un enfoque que considera la complejidad de las
interacciones entre los elementos que impactan y determinan el desempeño, el cual permite identificar y analizar los
procesos cognitivos del docente asociados con sus competencias y referenciada en función de los elementos del contexto
y de la práctica tradicional.
En esta investigación se considera que a partir de la conceptualización de los modelos sobre procesos cognitivos,
citados previamente, es posible plantear que todo aquello que realiza un profesor es producto de lo que piensa, y solo
actúa en consecuencia. Y que adicionalmente, lo que piensa es influenciado por el contexto, como lo documentan diversos
autores ya señalados.
El estudio de los procesos cognitivos de los docentes se considera que puede ser analizada desde el enfoque particular
y relevante de la subteoría de la Inteligencia Práctica (IP) planteado por Sternberg (1985, 1995) (fig. 1), ya que permite
explicar en detalle, los procesos que requiere desarrollar el profesor al momento de realizar su práctica educativa (adap-
tación, conformación y selección), por lo que si el concepto de IP se enmarca dentro del quehacer del profesor, se llega a
elaborar un constructo al que se denomina inteligencia práctica docente (IPD) y conceptualizarla, ya sea como la capa-
cidad de articular y movilizar saberes, habilidades y actitudes, que le permiten a cada docente responder eficazmente
a demandas en su quehacer profesional de manera rápida, pertinente y creativa, movilizando los elementos necesarios

4
 para ello, dentro del proceso de aprendizaje, o expresándolo como el proceso cognitivo realizado por un maestro, referido
a través del desarrollo de sus competencias en un contexto determinado (fig.2).

Figura 1 Dimensiones de la teoría Triárquica de la inteligencia propuesta por Sternberg (1985).

Donde destaca para los fines de esta investigación la subteoría relacionada con la IP.

Figura 2 La IPD, integrada por tres factores: competencias docentes, elementos de contexto
y aspectos de la práctica tradicional.

5
 Por otra parte, Sternberg et. al. (1995) y Wagner & Sternberg (1985), han demostrado que la IP es factible de ser
evaluada a partir del llamado conocimiento tácito (CT), por medio de una metodología diseñada, estructurada y validada
a través de inventarios de conocimiento (Busch et al., 2003), lo que implícitamente representaría una medida directa del
desempeño docente.
Por lo tanto, el modelo de la IPD presenta las siguientes características:

»» Es un constructo que implica los procesos cognitivos del docente.

»» Integra aquellos elementos que se insertan en su realidad, e incluyen: las competencias docentes, aspectos de la
práctica tradicional y los componentes de contexto que impactan el quehacer educativo gestionado por el profesor.
»» Los procesos cognitivos que desarrolla un docente pueden ser identificados y analizados a partir del CT, a través de
los inventarios de conocimiento.
»» A partir de la IPD, es factible evaluar el grado de relevancia de los diferentes elementos que determinan la práctica
docente y elaborar un modelo empírico.

Componentes de la IPD

A partir de la conceptualización de la IPD, se identifican y seleccionan los componentes que la constituyen y hacen viable
el desarrollo del modelo, como se describe a continuación.
Dentro de la propuesta educativa implementada a nivel medio superior y el perfil docente requerido, determinadas
competencias resultan relevantes en la elaboración del constructo IPD y que para los fines de esta investigación son siete
competencias, las cuales se consideran (tabla 1).

Tabla 1 Competencias docentes, codificación y descripción general, consideradas como parte del la IPD y requeridas
para su valoración dentro del modelo de evaluación del desempeño docente.

Competencia docente Codificación Descripción general

1. Organiza su formación continua
2. Domina y estructura los saberes para
facilitar experiencias de aprendizaje.
3. Planifica procesos de aprendizaje
atendiendo el enfoque por competencias.
4. Aplica procesos de aprendizaje
innovadores.
5. Evalúa los procesos de aprendizaje
con enfoque formativo
6. Construye ambientes de aprendizaje
autónomo y colaborativo
7. Contribuye a generar un ambiente
propicio para el desarrollo integral
del estudiante.
Aprende, incorpora y evalúa nuevos procesos de
[Forma] aprendizaje. Se actualiza en el manejo de las TIC
y un segundo idioma.
Argumenta naturaleza, métodos y saberes. Los procesos
[Facilita]
de aprendizaje a utilizar y conocimientos a desarrollar.
Identifica conocimientos requeridos para el desarrollo
del estudiante, diseña y utiliza materiales apropiados
[Planifica]
y contextualiza su aplicación en la vida cotidiana dentro
de la comunidad a la que pertenece.
Usa las Tics dentro de sus estrategias en los procesos
de aprendizaje; acorde a las aspiraciones, necesidades
[Innova]
y posibilidades de acuerdo al marco sociocultural
del estudiante.
Establece criterios de evaluación, los comunica,
[Evalúa] aplica en los procesos de aprendizaje; fomenta la auto
y la co-evaluación entre los estudiantes.
Favorece un aprendizaje critico, reflexivo y creativo,
incentiva a los estudiantes en lo individual y en grupo,
[Construye]
propicia el uso de Tics para procesar e interpretar
información y generar conocimiento.
Practica y promueve el respeto, favorece el dialogo,
[Contribuye] estimula la participación, favorece la integración entre
los estudiantes.

6
 Práctica tradicional

La práctica tradicional, si bien no es una competencia, para el desarrollo del modelo de IPD se considera que aporta
ciertas características que pueden ser relevantes dentro del proceso de aprendizaje gestionado por el maestro, como es,
el darle la posibilidad tanto al estudiante como al profesor de conocer el nivel de manejo de la información previo a su
utilización dentro del proceso de socialización y construcción de conocimientos de los estudiantes. Por lo que conocer
el grado de dominio inicial de la información a través de cuestionarios, preguntas directas o evaluaciones individuales,
enriquece y da mayor sustento al manejo, análisis y aplicación que el estudiante haga de la información al interactuar con
sus pares durante el proceso de aprendizaje.
Considerando que esta práctica le permite al profesor identificar el nivel de actitud y habilidades iniciales (respon-
sabilidad, compromiso y familiarización y entendimiento de la información) requeridas por los estudiantes, es integrada
como un elemento a considerar dentro de los componentes de interés en esta propuesta (tabla 2), la cual interactúa con
las competencias del profesor como un elemento útil en el desarrollo de su labor.

Tabla 2  Componente de la práctica tradicional relevante dentro de la IPD, su codificación y descripción general

Componente Codificación Descripción general

Práctica educativa que identifica el grado de manejo
Práctica tradicional [Tradicional] de la información por juicio de méritos alcanzados en
cuestionamientos, preguntas o evaluaciones individuales.

Elementos de contexto

Con base en lo sugerido por diferentes autores (mencionados en la metodología) y por la relevancia que tienen en el ac-
tuar del profesor, los factores de contexto deben ser integrados en un modelo de evaluación del desempeño docente, por
lo cual y para los fines de esta investigación se considera la incorporación de los factores contextuales indicados (tabla 3).

Tabla 3  Elementos de contexto relacionados con el quehacer docente, codificación y caracterización.

Elemento de Contexto Codificación Descripción general

Los saberes que se tienen en relación a la dinámica
Conocimiento contextual [Conocimiento] escolar, grupal y social; el uso de las Tics por los
estudiantes, etc.
Creencias [Creencia] Interpretaciones sesgadas de la realidad.
Todo material, medio, estrategia que usa para
Recursos [Recurso]
conducir el aprendizaje.
Lo que desea obtener, sea en el plano personal,
Objetivos o tareas [Objetivo]
profesional o académico.
Actividades organizadas y dirigidas producto
Acciones [Acción]
de una construcción mental del docente.

Modelo de IPD

La elaboración del constructo IPD muestra una serie de avances en relación a las propuestas previamente presentadas
sobre procesos cognitivos del profesor y su posible vinculación con la evaluación del desempeño docente. A diferencia de
los modelos anteriores, en la IPD se propone:

7
 »» La IPD se propone como un constructo que orienta hacia la evaluación del desempeño docente a partir de los elemen-
tos que conforman los factores competencias docentes (CD) y contexto (fig. 3), convirtiéndose en una herramienta
que orienta cualquier proceso de intervención dirigido a la formación, capacitación o actualización del profesor.

Figura 3  Factores que conforman la IPD, como constructo que permite evaluar el desempeño docente.

»» El modelo sustentado a partir de la IPD, ofrece un enfoque cualitativo, que para su aplicación ofrecer un sustento
cuantitativo y que a partir del análisis de los datos permitiría establecer la relevancia entre los componentes que lo
constituyen, con base en referentes del enfoque educativo implementado (fig. 4).

Figura 4 Modelo de la inteligencia práctica docente propuesto para la evaluación del desempeño docente en EMS,
donde se define cada componente que será considerado para el análisis.

8
 CONCLUSIONES

»» La IPD considera un enfoque integrador de los diversos componentes que la definen.

»» La IPD permite caracterizar, identificar y medir la relevancia de los componentes que la integran y eventualmente
realizar una evaluación del desempeño docente.

El desarrollo de la IPD como alternativa de evaluación del desempeño docente está definida a partir de referentes teóricos
acordes al nuevo modelo educativo que se aplica en EMS, tales como: competencias docentes, elementos del contexto, así
como ciertos factores de la práctica tradicional.
Las competencias docentes relevantes para definir la IPD son: [Forma], [Facilita], [Planifica], [Innova], [Evalúa],
[Construye] y [Contribuye].
Los elementos de contexto que se consideran importantes en la evaluación de la IPD, son: [Conocimiento], [Creencia],
[Recurso], [Objetivo] y [Acción].
Elementos relevantes de la práctica tradicional son: conocer el grado de desempeño del estudiante por juicio de mé-
ritos a través de cuestionarios, preguntas, exámenes o evaluaciones individuales.
La IPD se propone como un constructo que permite evaluar el desempeño docente a partir de los elementos que con-
forman los factores competencias docentes (CD) y contexto.

BIBLIOGRAFÍA

Andrade, J. (2013). Creencias sobre el uso de las TIC de los docentes de educación primaria en México. Sinéctica, 41. Recu-
perado de http://www.sinectica.iteso.mx/?seccion=articulo&lang=es&id=623_creencias_sobre_el_uso_de_las_tic_de_los_
docentes_de_educacion_primaria_en_mexico
Acuerdo 442. (2008). Se establece el Sistema Nacional de Bachillerato en un marco de diversidad. Diario Oficial de la
Federación. Viernes 26 de septiembre de 2008. (Primera sección). Recuperado de http://www.sems.gob.mx/work/
models/sems/Resource/10905/1/images/Acuerdo_numero_442_establece_SNB.pdf
Acuerdo 447. (2008). Se establecen las competencias docentes para quienes impartan educación media superior en la
modalidad escolarizada. Diario Oficial de la Federación. Miércoles 29 de octubre de 2008. (Sección tres). Recupe-
rado de http://www.sems.gob.mx/work/models/sems/Resource/10905/1/images/Acuerdo_447_competencias_docen-
tes_EMS.pdf
Busch, P., Richards, D. & Dampney, C. (2003). The graphical interpretation of plausible tacit knowledge flows. Australasian
Symposium on Information Visualization, Adelaide, 2003.
Castillo, A. (2009). Los conocimientos y creencias de los profesores en relación con su práctica docente. X Congreso Nacio-
nal de Investigación Educativa, Área 16: Sujetos de la educación. Veracruz. Recuperado de http://www.comie.org.mx/
congreso/memoriaelectronica/v10/contenido/contenido0116T.htm
Clark, C. & Peterson, P. (1997).Procesos de Pensamiento de los Docentes. Capítulo VI. En Wittrock, M. (Ed.), La investiga-
ción de la enseñanza III. Profesores y estudiantes. (443-531). Paidós educador.
Cordero, G., Luna, E., Pons, R. & Serrano, J. (2011). La evaluación de los programas de formación de profesores: el caso de
un programa de Métodos de aprendizaje Cooperativo en una universidad pública estatal, Luna, E. (Ed.), Aportaciones
de la Investigación a la evaluación de estudiantes y docentes. Universidad Autónoma de Baja California. Miguel Ángel
Porrúa.
Dahllof, U. & Lundgren, U. (1970). Project Compass 23. Macro and micro approaches combined for curriculum process
analysis: A Swedish educational field project. Annual meeting of the American Educational Research Association.
Minneapolis, USA. March 1970. Recuperado de https://www.google.com/search?q=Dahllof%2C+U.+Y+Lundgren%-
2C+U.+%281970%29.+Macro+and+micro+approaches+combined+for+curriculum+process+analysis%3A+A+Swedi-
sh+educational+field+proyect.+Gutemburgo%2C+Suecia%3A+Universidad+de+Gutemburgo.+&ie=utf-8&oe=utf-8&a-
q=t&rls=org.mozilla:es-ES:official&client=firefox-a&channel=np&source=hp

9
 Güemes, C. & Loredo, J. (2008). Los Procesos de Evaluación del desempeño Docente en el nivel Medio Superior: una perspec-
tiva de mejora continua. Primera Reunión Internacional de Evaluación en Educación Media Superior y Superior. Re-
cuperado de http://www.ieia.com.mx/materialesreuniones/1aReunionInternacionaldeEvaluacion/PONENCIAS19Sep-
tiembre/4.EvaldelaDocencia%28Sesion3%29/ED.8-CarmelaGuemes-Javier%20Loredo.pdf
INEE. (2014a). Bases para la formulación del Programa de Mediano Plazo para la Evaluación del Servicio Profesional Do-
cente (2015-2017). Instituto Nacional de Evaluación Educativa. México. Recuperado de http://estudiaen.jalisco.gob.
mx/cepse/sites/estudiaen.jalisco.gob.mx.cepse/files/bases_pmp-spd_2015-2017_final.pdf
Jackson, P. (1968). Life in classrooms. Holt, Rinehart and Winston. New York. USA.
Karaagac, M.K. & Threlfall (2004). The tension between teacher beliefs and teacher practice: the impact of the work set-
ting. Proceedings of the 28th Conference of the International Group for the Psychology of Mathematics Education. 3. 137-
144. Recuperado de http://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0CCkQFjAB&url=
http%3A%2F%2Ffiles.eric.ed.gov%2Ffulltext%2FED489538.pdf&ei=8TkeVOKpBYK2ogSk1oFA&usg=AFQjCNHXHNrn
G5kppQQ-vv8ZGRDrSmKRTg&sig2=iOBX8-_jgCY_gbMeIUo6FQ&bvm=bv.75775273,d.cGU
Ley General del Servicio profesional Docente (2013). Decreto, Diario Oficial de la Federación, 11/09/2013. Recuperado
de www.diputados.gob.mx/LeyesBiblio/pdf/LGSPD.pdf
Luna, E. & Torquemada, A. (2008). Los cuestionarios de evaluación de la docencia por los alumnos: balance y perspectivas
de su agenda. Revista electrónica de investigación educativa (REDIE). 10. Recuperado de http://www.scielo.org.mx/
scielo.php?pid=S1607-40412008000300007&script=sci_arttext
 Luna, E., Arámburo V. & Cordero, G. (2011). La efectividad de la enseñanza y su relación con las características del pro-
fesor y del curso: aportaciones para el diseño de sistemas de evaluación docente. En Luna, E. (Ed). Aportaciones de la
Investigación a la evaluación de estudiantes y docentes. Universidad Autónoma de Baja California: Miguel Ángel Porrúa.
Nicholson, A. (1996). Can We Reveal the Inner World of Teachers? Some Research Issues. British Educational Research
Association (BERA) Conference, 12-15 September 1996. Lancaster University, England, U.K. Recuperado de http://www.
leeds.ac.uk/educol/documents/000000075.htm
OCDE (2009). CHAPTER 4. Teaching practices, teachers’ beliefs and attitudes. Creating Effective Teaching and Learning
Environments: First Results from Talis – ISBN 978-92-64-05605-3. Recuperado de http://www.oecd.org/education/
school/43023606.pdf
Ramírez, E., Cañedo, I. & Clemente, M. (2012). Las actitudes y creencias de los profesores de secundaria sobre el uso de
Internet en sus clases. Comunicar. 29 (38). 147-155. Revista Científica de Educomunicación. Recuperado de www.
revistacomunicar.com
Reyes, E. (2014). Validez del cuestionario de opinión de alumnos universitarios sobre la competencia docente. Tesis
doctorado en ciencias educativas. Universidad Autónoma de Baja California. Instituto de Investigación y Desarrollo
Educativo. Ensenada, Baja California, México. Junio 2014.
Shavelson, R. & Stern, P. (1981). "Research on teacher’s pedagogical judgments, decisions, and behavior." Review of Edu-
cational Research, 51, 455-498. Recuperado de http://130.154.3.14/content/dam/rand/pubs/papers/2006/P6639.pdf
Sternberg, R., Wagner, R. & Okagaki, L. (1993). Practical intelligence: The nature and role of tacit knowledge in work and
school. En Reese, H. & Puckett, J. (Eds.), Advance in lifespan development. Hillsdale, NJ: Erlbaum.
Sternberg, R., Wagner, K., Williams, M. & Horvath, A. (1995). Testing common sense. American Psychologist, 50 (11),
912-927.
Sternberg, R. (1997). Inteligencia exitosa. Barcelona: Paidos.
Sternberg, R., Forsythe, B., Hedlund, J., Horvath, A., Wagner, R., Williams, M. & Grigorenko, L. (2000). Practical intelligence
in everyday life. Oxford: Cambridge Press.
Wagner, R., & Sternberg, R. (1985). Practical intelligence in real-world pursuits: The role of tacit knowledge. Journal
of Personality and Social Psychology, 49 (2), 436-548. Recuperado de http://psycnet.apa.org/index.cfm?fa=search.
displayRecord&id=1B574B6F-EB3F-920E-9540-80F7CB52A89E&resultID=1&page=1&dbTab=pa&search=true

10
La evaluación docente.
Implicaciones para la supervisión
y asesoría en México
14 de marzo de 2015
 La evaluación docente.
Implicaciones para la supervisión
y asesoría en México
Lilia Antonio Pérez
Maestría en Ciencias de la Educación, Coordinación Nacional del Servicio Profesional Docente,
Secretaría de Educación Pública, México.
lilia.antonio@sep.gob.mx

PALABRAS CLAVE: evaluación docente, asesoría, supervisión

EJE TEMÁTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones

Resumen
Si bien la evaluación constituye una de las funciones inherentes al quehacer profesional de los equipos de super-
visión de las escuelas de educación básica en México, la promulgación de la Ley General del Servicio Profesional
Docente en septiembre de 2013, plantea retos importantes para asesores y supervisores, si se toma en cuenta
el trayecto histórico y las condiciones actuales en que estos actores educativos desarrollan cotidianamente su
trabajo con las escuelas, para hacer efectivamente de la evaluación, un dispositivo para promover el desarrollo
profesional de los docentes.
La presente ponencia tiene la intención de plantear algunos de los principales desafíos que los equipos de su-
pervisión tienen frente a la evaluación de los docentes, a partir de testimonios que dan cuenta de las condiciones
cotidianas en que desarrollan su trabajo con los planteles escolares, así como de las diferentes perspectivas de
sus protagonistas sobre las actividades de seguimiento y evaluación que ya desarrollan con los maestros; sien-
do aspectos que entran en tensión con respecto los planteamientos normativos y académicos emergentes sobre
la evaluación del desempeño docente. Estos testimonios son producto de un estudio de corte cualitativo que se
desarrolló en 2013 en una de las entidades de la República Mexicana, con la finalidad de explorar los alcances y
límites que los equipos de supervisión tienen para concretar las funciones de evaluación y asesoría a los maestros
y escuelas que se ubican en sus respectivas zonas escolares.

2
 INTRODUCCIÓN

Diversos estudios han confirmado que las prácticas de enseñanza de los docentes constituyen el factor escolar que incide
más en el aprendizaje de los niños y jóvenes que cursan la educación básica (UNESCO, 2007; Ravela, 2009), por tanto, la
generación de acciones de política educativa para fortalecer la profesión docente debe ser una de las prioridades de un
sistema educativo que busca mejorar la calidad del servicio que se ofrece en las escuelas (OCDE, 2009).
En este contexto, la profesión docente ha de pensarse como un trayecto sistemático de desarrollo profesional (Im-
bernón, 2004; Perrenoud, 2006) en donde los maestros cuenten con diversas oportunidades para el aprendizaje de la
profesión a lo largo de su carrera: desde el ingreso a una institución formadora de docentes o, en su caso, ingreso como
maestro frente a grupo en una escuela de educación básica, hasta su consolidación como un docente experto que apoya
a otros en su formación profesional.
Dentro de esta perspectiva de la profesión docente, la evaluación constituye uno de los dispositivos centrales que
pueden ofrecer insumos sustantivos de información para promover su desarrollo profesional: desde la retroalimentación
directa al propio docente con miras a mejorar su desempeño, hasta la orientación de las políticas de formación, acompa-
ñamiento y asesoría a los docentes de las escuelas de educación básica en nuestro país.
En este sentido, es innegable la potencialidad que la evaluación puede tener para promover el desarrollo profesional
de los docentes; no obstante, cabe preguntarse sobre las condiciones que actualmente tiene el sistema educativo mexi-
cano para hacer de la evaluación docente un dispositivo efectivo de mejora, entre ellas, la relacionada con quienes, por
su cercanía con las escuelas y maestros de educación básica desempeñarían un papel importante en este proceso: los
equipos de supervisión, pero… ¿Quiénes integran los equipos de supervisión en México y qué actividades desarrollan
cotidianamente con las escuelas?, ¿Cuál es su experiencia con respecto a la evaluación docente como dispositivo para el
desarrollo profesional?, ¿Qué condiciones tienen actualmente para afrontar este importante reto?
La presente ponencia busca dar algunas respuestas a estas preguntas con la finalidad de aportar a la discusión sobre
las implicaciones de implementar un modelo de evaluación docente que busca promover el desarrollo profesional de los
maestros en México, para ello se describirá brevemente la metodología empleada en el estudio, las condiciones actuales
en que desarrollan el trabajo con las escuelas, para finalmente referir algunas de las experiencias de estos equipos de
supervisión con respecto al acompañamiento y evaluación que realizan con los docentes, todo ello con la intención de
reflexionar sobre los alcances y límites que se pueden vislumbrar sobre la participación de estos actores educativos en
los procesos de evaluación docente.

1. PERSPECTIVA METODOLÓGICA

El estudio en el que se enmarca la presente ponencia, fue desarrollado por Innovación y Asesoría Educativa A.C. ante la
petición de los Servicios Educativos Integrados al Estado de México1, para realizar una investigación de corte cualitativo
sobre la forma en que los equipos de supervisión de educación preescolar evalúan y asesoran a los docentes en la imple-
mentación del actual Programa de Preescolar.
Primeramente se hizo una revisión bibliográfica y documental sobre la figura del supervisor y del asesor en el sistema
educativo mexicano. Asimismo, se realizó un seguimiento al trabajo de cuatro equipos de supervisión de preescolar sobre
el trabajo que realizan con las escuelas y docentes de su demarcación educativa, a través de dos técnicas: Observación no
participante y entrevistas a profundidad. Se realizaron 10 sesiones de observación no participante y 1 entrevista a profun-
didad a cada equipo de supervisión, dando un total de 40 registros de observación y 4 entrevistas a profundidad. Un estu-
dio de corte cualitativo busca identificar el sentido y significado que para los actores tienen sus propias prácticas. Un acer-
camiento de esta naturaleza contribuye a detectar procesos finos que se relacionan con saberes, certidumbres y conflictos
que son visibles con diálogos y observaciones de las conductas de los participantes, (Woods 1987) (Velasco y Díaz 1997).

Como integrante de Innovación y Asesoría A.C., formé parte del equipo que desarrolló el trabajo de campo, participé en el proceso de análisis
1

e interpretación de la información obtenida y en la redacción del informe final respectivo.

3
 Para ello, un punto de partida es la descripción densa de la realidad (Geertz, 1992), a partir del registro detallado de
acciones, diálogos y lenguaje no verbal de quienes son observados, en este caso, de los equipos de supervisión en su tra-
bajo cotidiano con los docentes y escuelas. Posteriormente se procedió al análisis de todos los registros de observación
y entrevistas para identificar recurrencias sobre las acciones y concepciones de estos sujetos (Heller,1977); en un ir y
venir entre el referente oficial, la literatura sobre el tema y el referente empírico, para llegar a conclusiones que permiten
identificar, con mayor precisión, algunas tendencias en lo que respecta a los sentidos y significados que estos equipos de
supervisión asignan a la evaluación y asesoría que desarrollan con los docentes.

2. SITUACIÓN ACTUAL DE LOS EQUIPOS

DE SUPERVISIÓN EN MÉXICO
Los equipos de supervisión en nuestro país tienen bajo su responsabilidad un conjunto de escuelas que comparten un
determinado territorio, nivel y tipo de servicio educativo; estos equipos se encuentran integrados por un supervisor y
personal docente con funciones de asesoría técnico-pedagógica, denominados ATP’s.
El equipo es dirigido por el supervisor quien ostenta la autoridad oficial en una demarcación territorial y constituye
formalmente el enlace entre las escuelas y la administración educativa, generalmente se ha accedido al cargo por antigüe-
dad en el servicio, méritos sindicales, capacidad para responder a las demandas de carácter administrativo y solventar
conflictos en las escuelas, lo que deriva en un perfil con énfasis en lo político-administrativo que contrasta con el matiz
técnico-pedagógico y académico que se promueve en el discurso oficial sobre la supervisión en México (SEP, 2006).
Por su parte, los asesores técnico pedagógicos usualmente han accedido al cargo por recomendación de sus supervi-
sores escolares, carecen de una plaza propia –son maestros frente a grupo comisionados-, así como de un modelo insti-
tucional de asesoramiento y de una normatividad actualizada que regule sus funciones, así como el acceso, permanencia
y promoción en la función (SEP, 2005).
Dentro de este contexto, la implementación de múltiples programas y proyectos que demanda la administración edu-
cativa, pautan gran parte del trabajo de los equipos de supervisión con las escuelas, limitando las posibilidades de un
proceso más sistemático de seguimiento y apoyo académico a las escuelas, ante la fuerte carga administrativa que se
derivan de estas acciones de política educativa (SEP, 2005).

3. LA EVALUACIÓN DOCENTE. EXPERIENCIAS

Y PERSPECTIVAS DE LOS EQUIPOS DE SUPERVISIÓN

Herederos de un sistema con poca regulación para el acceso a las funciones de supervisión y asesoría a las escuelas de
educación básica, los equipos de supervisión afrontan cotidianamente el reto de responder a los planteamientos de un
“deber ser” técnico-pedagógico presente en los discursos oficiales sobre estas funciones; entre ellas, lo relativo a la fun-
ción inherente de evaluar el quehacer profesional de los maestros frente a grupo, con miras a ofrecerles asesoría para la
mejora de su desempeño…. ¿Qué concepciones ponen en juego los equipos de supervisión al observar el desempeño de
un docente en un salón de clases?, ¿Qué propósitos vislumbran en sus visitas a aula?, ¿Cómo articulan estas visitas con
la idea de ofrecer asesoría a los docentes para mejorar su desempeño profesional?, a continuación se presentan algunas
experiencias.

a) La forma sobre el contenido en las visitas de aula

En el marco de este estudio de corte cualitativo, se tiene la siguiente explicación de una supervisora respecto al propósito
de su visita de aula en una de las escuelas:

4
 Supervisora: Estoy haciendo visita (comienza a leer el documento que trae) para fortalecer a la directora en la
evaluación y acompañamiento que ella hace a la práctica docente en la escuela, el propósito está relacionado con
las necesidades de la educadora, partiendo del diagnóstico que ya tiene la propia docente (pide a la directora su
diagnóstico para mostrármelo). (R1, p.2)

Cabe precisar que este proceso de acompañamiento a los docentes, se realizó a partir de un cuestionario de autodiag-
nóstico aplicado a las educadoras de la zona y con base en este instrumento, llevaron un seguimiento a través de visitas
de aula en donde su labor es apoyar y orientar a la directora en este proceso.

Dirigiéndose a la directora sobre su guía de observación a la práctica docente que tiene en sus manos, mientras se
encuentran observando a una educadora en su trabajo con los niños:

Supervisora: Primeramente debes cuidar que tu propósito de visita de aula lo anotes aquí… (señala la guía, mientras,
la educadora observada plantea preguntas a los niños, se nota un tanto nerviosa)…. Además de que no está
suficientemente preciso…

Directora: Pero si antes lo había revisado y lo había autorizado….

Supervisora: Sí, pero debes consultar el programa antes, recuerda que aquí debes poner la necesidad de tu educadora, y
te faltó colocar la fecha de hoy… (ambas tienen su mirada centrada en la guía).

Bajo esta dinámica de diálogo sobre el formato de visita transcurren 20 minutos más, la supervisora recibe una
llamada y ambas se retiran del salón (R4, p. 6)

Como se puede advertir en esta visita de aula, la atención parece centrarse más en precisiones sobre el llenado de la
guía de observación que propiamente en la observación del trabajo que la educadora realiza con los niños; si bien estas
precisiones pueden ser de utilidad para efectos de la documentación del proceso, éstas podrían haberse realizado de
manera previa o posterior a la visita de aula. Por cuestiones de espacio no se refieren las orientaciones que esta super-
visora brindaba de manera recurrente a las directoras (R1, R2, R4, R7, R8, R10); pero dentro de las mismas prevalecía
la preocupación sobre el llenado correcto de las guías de observación y de revisión de los planes de clase, por sobre los
necesidades de formación identificadas en las educadoras a partir de estas visitas. Pese a que las visitas a aula tienen un
amplio potencial técnico-pedagógico, en términos de identificar áreas de oportunidad sobre el desempeño docente de
las maestras de esta zona escolar, el sentido que le asigna esta supervisora es más administrativo, pues se centra más en
la forma que en el contenido, probablemente como producto de la necesidad de atender constantemente las demandas
administrativas del sistema y tal vez por la escasez de herramientas con que cuenta para promover y desarrollar procesos
de evaluación del desempeño docente encaminados a la mejora profesional.

b) Y sin embargo… puede haber contenido en las visitas de aula

En el mismo contexto de seguimiento al trabajo docente de las educadoras en esta entidad de la República Mexicana,
otro equipo de supervisión conversa sobre la forma en que se encuentran desarrollando este proceso:

Supervisora: (Dirigiéndose a la asesora) ¿Cómo elaboraste el diagnóstico?

Asesora: Las maestras se hicieron una autoevaluación a manera de cuestionario, porque de otra forma no se puede,
dicen que nunca hay tiempo, pero creo que es un buen comienzo ¿no?

Supervisora: (Mientras revisa los documentos que le entregó la asesora) ¿Cómo trabajaste lo de las competencias
profesionales?
5
 Asesora: Hice un concentrado en donde enlisté todas las competencias profesionales y la escala de evaluación que ellas
se asignaron, creo que no fueron del todo sinceras, lo que pasa es que les da miedo pensar que están en el primer nivel,
pero les digo que la idea es poderlas ayudar.(R18, p.5)

En esta conversación se puede apreciar cómo la realización del autodiagnóstico por parte de las educadoras, como
punto de partida para su seguimiento en las visitas a aula, puede ser un contenido susceptible de ser problematizado:
Tanto la asesora como la supervisora comentan que el cuestionario puede no ser suficiente para realizar un autodiag-
nóstico del trabajo de las educadoras; no obstante lo vislumbran como un buen inicio. En esta conversación también se
refieren los temores de las educadoras sobre el uso que pueden dar a la información que ellas consignen en el cuestio-
nario de autoevaluación y la manera en que la asesora les comenta el sentido que esta actividad tiene para el equipo de
supervisión: “Apoyarlas”; de esta forma, se comienza a esbozar la construcción del sentido que tendrá el seguimiento,
evaluación y apoyo al desempeño docente en esta zona escolar, entre las educadoras y el equipo de supervisión.
Es así que teniendo como punto de partida el autodiagnóstico, el equipo de supervisión realiza las visitas a aula en
las escuelas que integran esta zona escolar y, como producto de estas visitas, intercambian opiniones sobre lo observado
en las aulas:

Supervisora: Ahora que fuimos al Jardín de niños Rosaura Zapata, me parece que a las maestras todavía les hace falta
integrar varios aspectos del enfoque didáctico de los campos formativos…

Asesora: Sí, las maestras tienen su grado de maestría… ¡pero es pura teoría!, les hace falta ponerlo en práctica, veo que
pueden plasmarlo en su planeación (de clase) pero no al momento de trabajar con los niños, por ejemplo cuando hago
las visitas le ponen demasiado énfasis a la disciplina, la otra vez la maestra Martha siempre anda bien al pendiente de
que nadie hable y todos pongan atención cuando el enfoque te plantea la importancia de promover que los chiquitos se
expresen, la escuela es un medio para interactuar, más preescolar que es su iniciación en la escuela (R17, p. 7)

Como se puede apreciar en esta conversación, el equipo de supervisión conversa sobre algunas fortalezas que han
identificado en las educadoras, a partir de las visitas a aula en la zona escolar, tales como su preparación profesional y
la realización de sus planeaciones de clase; sin embargo, también ha identificado algunas debilidades en su desempeño
docente, como el reto de promover ambientes más favorables para el aprendizaje, a través de formas de interacción más
enriquecedoras con los alumnos.
De manera posterior a este tipo de conversaciones, este equipo de supervisión desarrolla algunas actividades para
atender estas necesidades de formación en las educadoras (R12, R13, R15, R17, R18, R20) que por cuestiones de espacio
no nos detendremos a analizar a profundidad; en este caso las visitas a aula constituyen, para este equipo de supervisión,
un valioso dispositivo para la identificación de necesidades de apoyo académico para mejorar el desempeño docente en
la zona escolar.

CONCLUSIONES

Las visitas a aula para observar la práctica docente, pueden tener diversidad de sentidos para los equipos de supervisión:
Desde un énfasis prioritariamente administrativo y centrado en la forma, hasta constituir un medio para detectar áreas
de oportunidad en el desempeño de los maestros en la zona escolar. Esta heterogeneidad nos da cuenta de la necesidad
de reconocer y aprovechar el capital de experiencia que los equipos de supervisión tienen en la materia, como punto
de partida para generar procesos sistemáticos de formación que recuperen y problematicen estos saberes a la luz de la
teoría y la experiencia nacional e internacional que existe sobre la evaluación docente, con la finalidad de fortalecer las
competencias profesionales de estos importantes actores educativos, para que se encuentren en mejores condiciones
de emplear a la evaluación como un efectivo dispositivo de apoyo al desarrollo profesional de los docentes de su zona

6
 o sector escolar. El camino no es fácil, pero se comienza por recuperar la experiencia de los actores educativos involu-
crados en materia de evaluación docente y por reconocer las asignaturas pendientes para fortalecer las funciones de
supervisión y asesoría en el sistema educativo mexicano.

BIBLIOGRAFÍA

Geertz, Clifford (1992). La interpretación de las culturas. Barcelona, (España), Edit. Gedisa.
Heller, Agnes (1977). Sociología de la vida cotidiana. Barcelona, (España), Edit. Península.
Imbernón, (2004). La formación y el desarrollo profesional del profesorado. Colección Biblioteca de Aula, Barcelona,
(España), Edit. Grao.
OCDE (2009). Los docentes son importantes: atraer, formar y conservar a los docentes eficientes. Traducción y edición: Gilda
Moreno y Laura Valencia.
Perrenoud, Philippe (2006). Diez nuevas competencias para enseñar. Barcelona, (España), Edit. Grao.
Ravela, Pedro (2009). Capítulo 8. La evaluación del desempeño docente para el desarrollo de las competencias profesio-
nales. En Martínez, F. (2009) Avances y desafíos de la evaluación educativa. Organización de Estados Iberoamericanos
y Fundación Santillana.
SEP (2006). Orientaciones técnicas para fortalecer la acción académica de la supervisión, Colección Documentos para
fortalecer la Gestión Escolar, México.
SEP (2005). Orientaciones generales para constituir y operar el Servicio de Asesoría Académica a la Escuela, México.
UNESCO (2007). Eficacia escolar y factores asociados en América Latina y el Caribe. Laboratorio Latinoamericano de
Evaluación de la Calidad de la Educación, Santiago (Chile).
Velasco y Díaz (1997). La lógica de la investigación etnográfica. Un modelo de trabajo para etnógrafos de la escuela. Madrid,
(España), Edit. Trotta.
Woods, Peter (1987) La escuela por dentro: La etnografía en la Investigación Educativa. Barcelona, (España), Edit. Paidós.

7
Uso de una plataforma virtual
para la recolección de datos y del Sweave
del entorno R para el análisis de datos
y elaboración de informes
14 de marzo de 2015
 Uso de una plataforma virtual
para la recolección de datos y del Sweave
del entorno R para el análisis de datos
y elaboración de informes
Analía Correa Berrueta*
Ayudante Grado 1, Centro Universitario de la Región Este UdelaR, Uruguay.
analiacorreaberrueta@gmail.com
Pilar Cecilia Rodríguez Morales
Profesora Adjunta Grado 3, Centro Universitario de la Región Este UdelaR, Uruguay.
prodriguez@cure.edu.uy
María Martina Díaz Rodríguez
Asistente Grado 2, Centro Universitario de la Región Este UdelaR, Uruguay.
lqmdiaz@gmail.com

PALABRAS CLAVE: Evaluación, TIC, Innovación, Recolección de datos, Procesamiento automatizado.

EJE TEMÁTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones

Resumen
El presente trabajo versa sobre la automatización y digitalización del proceso de recolección y análisis de datos a
través de la combinación de una plataforma virtual para la recolección de datos de evaluación de los programas
educativos del Centro Universitario de la Región Este y la utilización del Sweave del software estadístico R para su
procesamiento y posterior replicación en años sucesivos.
La plataforma virtual posibilita la obtención automática de los datos que luego se procesan a través del Sweave
de R. Este novedoso sistema permite insertar el código generado en documentos de LaTeX y actualizar paulatina­
mente los informes diseñados bajo licencia LaTeX.
Los procesos de evaluación, como forma de mejorar la calidad de la educación superior, necesitan de reco­
lección sistemática de información y generación de informes periódicos. Como forma de agilizar la recolección y
análisis de datos es necesario crear mecanismos sencillos y de gran alcance para que se pueda procesar y difundir
rápidamente la información.
Para una universidad pública de bajo presupuesto, utilizar procesos alternativos a los tradicionales de recolec­
ción de datos y su posterior procesamiento, a su vez sin costos generados de producción, son de notoria relevancia
y envergadura para la institución.

*Autor principal

2
 INTRODUCCIÓN

La invención de las tecnologías de la información y la comunicación (TIC) han propiciado múltiples cambios en la manera
de recoger, analizar y presentar datos de investigación. Para Murillo (1999) el mundo virtual que discurre por nuestro
monitor al navegar por Internet, no sólo nos acerca a los centros de documentación o nos facilita la comunicación con
otros investigadores sino que nos abre un amplio abanico de posibilidades que, sin duda, modificará nuestro ritual inves­
tigador. En este sentido la Unidad de Apoyo a la Enseñanza (UAE)1 del Centro Universitario Regional Este (CURE) de la
Universidad de la República (UdelaR) se propuso en el año 2011 cambiar el soporte de los cuestionarios de evaluación de
centro, docente y asignaturas, de papel a digital. Esto se debió a varios factores: la necesidad de acelerar el procesamiento
de la información, evitar el ingreso manual de datos, ahorrar recursos materiales y lograr la plena participación desde las
distintas sedes del Centro Regional2. Este factor fue uno de los que tuvo mayor peso a la hora de buscar una alternativa al
clásico sistema de recolección en papel y procesamiento vía scanner o de ingreso manual de datos al formato digital de
encuestas; con este nuevo sistema por primera vez se lograba la obtención automática de las respuestas y la posibilidad
de que los estudiantes pudieran acceder a realizar las evaluaciones en simultáneo en las distintas sedes.
Los procesos de evaluación, como forma de mejorar la calidad de la educación superior, permiten generar diagnós­
ticos y propuestas de mejora constante por lo que se hace necesario para la recolección de datos generar mecanismos
sencillos y de alcance universal que puedan ser procesados y difundidos rápidamente.
Para ello se estudiaron distintas técnicas y software disponibles en la red y se optó por utilizar el sistema de encuestas
que la plataforma educativa de la UdelaR ofrece dentro de cursos a distancia.
La plataforma educativa de la UdelaR está licenciada bajo el soporte del software libre Moodle. La palabra Moodle
es un acrónimo de: Module Object­Oriented Dynamic Learning Environment (Entorno Modular de Aprendizaje Dinámico
Orientado a Objetivos) (Moodle,2014). Este entorno virtual de aprendizaje ofrece distintas funcionalidades que prin­
cipalmente sirven de apoyo a las estrategias de enseñanza, investigación y extensión, algunas de ellas son: creación y
gestión de cursos, creación de espacios para grupos de trabajo, comunicación, creación colectiva, gestión de usuarios,
aprendizaje colaborativo y herramientas de evaluación (Moodle, 2014).
Según Ros (2008) la plataforma Moodle es “sencilla y potente. Ecológica y económica. Moodle se extiende exponen­
cialmente por los centros de enseñanza de todo el mundo”. Permite la autogestión del tiempo, lo que posibilita que las
personas puedan lograr mayor independencia y autonomía. Moodle puede funcionar en cualquier computador en el que
pueda correr PHP, y soporta varios tipos de bases de datos (en especial MySql).Tiene una interfaz de navegador de tec­
nología amigable, ligera, eficiente y compatible.
Por el contrario como desventajas encuentra que al no existir presencia directa de docentes es elemental que en esta
plataforma exista la comunicación y colaboración constantemente. No permite organizar los módulos para cada estu­
diante o grupo de estudiantes por lo que todos los estudiantes ven lo mismo. En el caso de las encuestas no es posible
organizarlas por módulos, grupo de preguntas, saltos de página, etc.
Sin embargo mediante este soporte se logró contar con gran cantidad de datos en formato digital en muy poco tiempo.
Esto hizo que se tuviera que revisar la forma de análisis de los datos, ya que se empezaron a generar demoras en el proce­
samiento y redacción de informes . Para mejorar este aspecto se comenzó a utilizar el software Sweave, parte del entorno
R, de forma de generar informes automatizados.

1
La Unidad de Apoyo a la Enseñanza (UAE) tiene como objetivo principal promover la mejora de la educación universitaria en la región Este.
Dentro de sus actividades se encuentran: el asesoramiento en el diseño e implementación de una oferta educativa que satisfaga las necesidades
de educación universitaria de la población y se enmarque dentro de los objetivos de desarrollo de la UdelaR y del país; la evaluación de planes
y programas para implementar mejoras; la evaluación de aprendizajes; la identificación de carencias y dificultades de los estudiantes y la creación
de programas para ayudarlos; la creación de planes de actualización pedagógica para docentes; el asesoramiento a los estudiantes; el asesoramiento
a docentes en asuntos didácticos y la evaluación de la calidad de la educación que brinda el CURE.
2
El CURE nació como un centro universitario regional que abarca tres sedes locales, cada una ubicada en un departamento contiguo, aproximadamente
cuenta con unos 2500 estudiantes y 200 docentes, hay un total de diecisiete programas educativos (ciclos o carreras) que se dictan en las distintas
sedes, cuatro de ellas se pueden cursar en más de una sede universitaria.

3
 JUSTIFICACIÓN

La decisión por la que la Unidad de Apoyo a la Enseñanza del CURE optó por salir de los métodos tradicionales de reco­
lección de datos y procesamiento de los mismos, se debe a múltiples factores.
Por un lado, el procedimiento utilizado en los primeros años de aplicación de las evaluaciones era casi por completo
manual; se utilizaba formularios en papel o para ser leídos por scanners que luego se ingresaban de forma manual para
la obtención de los datos en formato digital y, por último, eran procesados por el software estadístico SPSS. Finalmente,
se confeccionaba el informe, este proceso llevaba alrededor de 6 a 8 meses de trabajo.
El equipo de la Unidad decidió buscar alternativas a este método tradicional y rudimentario sin descuidar las suge­
rencias del Consejo Delegado Académico de la Udelar sobre el uso de software libre, donde encomienda el uso de forma­
tos abiertos estándares para el tratamiento de la información y la promoción del uso de software libre con licenciamiento
GPL en actividades de docencia, investigación y extensión.
En principio se hacía necesario cambiar el instrumento de recolección de papel a digital ya que la aplicación del
instrumento no alcanzaba la cobertura deseable dentro de las sedes del centro y generalmente no era completado en
su totalidad.
La elección de plataforma educativa de la Udelar, bajo licencia Moodle, era la opción más conveniente ya que los estu­
diantes estaban familiarizados con la herramienta y se respetaba la política educativa sobre el uso de formatos abiertos.
Con el sistema de encuestas de Moodle la obtención de los datos se lograba automáticamente, pero el procesamiento y
la elaboración de informes seguía siendo bastante lento, es por ello que se siguió investigando sobre alternativas al proce­
samiento por SPSS (software de licencia no libre). Era necesario encontrar un procedimiento que, con mínimos cambios,
pudiera ser utilizados año a año en las distintas evaluaciones. De esta forma, se buscaba que, además del análisis de los
datos, el informe se obtuviese casi automáticamente al cambiar la base de datos con la que se trabajaba. Se encontró la
posibilidad de procesar los datos a través del Sweave de R e insertar el código generado en documentos de LaTeX para
luego actualizar paulatinamente los informes previamente diseñados bajo licencia LaTeX.
Los informes obtenidos son importantes insumos de trabajo para aquellas comisiones o unidades co­gobernadas del
Centro que se encuentran relacionadas con los temas que la evaluación aborda.

DESARROLLO

Sobre la evaluación

Pérez Juste (2006:32) define a la evaluación pedagógica como “la valoración, a partir de criterios y de referencias prees­
pecificadas, de la información técnicamente diseñada y sistemáticamente recogida y organizada, sobre cuantos factores
relevantes integran los procesos educativos para facilitar la toma de decisiones de mejora.” En tal sentido, una de las fun­
ciones de la evaluación, tal vez la más importante, es la que se orienta hacia la mejora, es decir, que constituye la base para
la toma de decisiones en el plano educativo. Por este motivo es necesario contar con un proceso sistemático de recogida
de información de forma de realizar comparaciones anuales.

El objeto de la evaluación

Entendemos la evaluación en un sentido amplio y por tanto consideramos que no sólo los aprendizajes de los estudiantes
deben ser evaluados, también los centros educativos, los docentes y los planes deben ser objeto de evaluación.
En este sentido, nuestra evaluación está orientada a recoger las valoraciones de los estudiantes en torno a tres obje­
tos: el Centro Universitario, las asignaturas y los docentes.

4
 Objetivos de la evaluación

En forma global es posible inferir que con esta evaluación se pretende beneficiar a todos los actores que conforman el
centro universitario: estudiantes, docentes, autoridades, funcionarios/as y la sociedad civil en general.

En función de lo anterior, fueron establecidos los siguientes objetivos específicos:

»» Valorar la aplicación de los programas.

»» Conocer el grado de satisfacción de los usuarios con respecto a la pertinencia curricular, actuación docente, oferta
académica, acceso a tareas de investigación y extensión, sistema administrativo, cogobierno.
»» Detectar áreas a mejorar.
»» Plantear acciones de mejora en relación a estas dimensiones: propuesta curricular, actuación docente, promoción
de cultura evaluativa, calidad de la educación.

Sobre el instrumento de recogida de datos

El instrumento elegido es el cuestionario, el mismo está basado sobre el soporte Encuesta que ofrece la plataforma virtual
de la UdelaR. La encuesta es una actividad de curso a distancia que proporciona varios instrumentos de encuestación
verificada, incluyendo COLLES (Constructivist On­Line Learning Environment Survey) (Taylor & Maor, 2014) y ATTLS
(Attitudes to Thinking and Learning Survey)(Galotti et al., 1999), que han sido encontrados útiles en la evaluación y esti­
mación del aprendizaje en ambientes en línea.
La elección de este instrumento se justifica por la necesidad de recabar una cantidad considerable de datos con la
mayor facilidad posible dada las condiciones internas del centro universitario. El mecanismo anterior generaba que el
proceso de recolección de datos fuese mucho más lento y propenso a cometer errores, a su vez aumentaba la dificultad
de realización en gran escala generando costos a la institución. Por el contrario, este nuevo soporte no solo favorece un
alcance mayor a bajo costo, sino que también genera la posibilidad de la obtención de los datos instantáneamente.
Como señalan Orellana y Sánchez (2006) en las plataformas educativas los datos obtenidos se caracterizan por su
formato digital, lo que proporciona al investigador la facilidad y comodidad de su registro en forma casi instantánea y
automática mientras los datos van surgiendo, pues basta con hacer un par de «clic» para lograrlo.

Sobre la construcción del instrumento en formato digital

Las encuestas en Moodle son relativamente sencillas de abordar y la oferta de campos y escalas que ofrece se asemejan
al viejo formato en papel, entonces la construcción del instrumento no se tornó un problema para el equipo, en cambio,
la dificultad estuvo en el momento de presentar el instrumento de recolección a los estudiantes para que pudiesen com­
pletarlo y en el procesamiento posterior de los datos obtenidos.
Debido a que la plataforma educativa se creó originalmente para cursos en modalidades no presencial y semipresen­
cial (Taylor & Maor, 2000), se consideró oportuno generar un espacio tipo foro para alojar el instrumento. Este espacio se
ubicaría al inicio de la plataforma y estaría con acceso libre a los estudiantes y docentes.
Luego de generado el espacio se implementaron varios módulos de evaluación que contenían las evaluaciones del
centro, asignaturas y docentes en este orden. El primer módulo contenía un solo formulario para la evaluación del Centro,
los segundos y terceros módulos contenían varios formularios para las asignaturas del primer y segundo semestre y los
dos últimos módulos alojaron formularios suficientes para evaluar a los docentes de primer y segundo semestre. En la
siguiente figura se muestra como ejemplo la forma en que se presenta uno de los módulos.

5
 Este sistema elegido sólo posibilita al estudiante a completar un cuestionario a la vez, por lo que se debió prever la
cantidad de cuestionarios como asignaturas y docentes el estudiante deseaba evaluar. En base a este aspecto a resolver,
el equipo debió estimar cuántos cuestionarios podría completar un estudiante que cursara un año completo de univer­
sidad, estableciéndose un número de 6 cuestionarios para asignaturas cursadas durante un semestre y 12 cuestionarios
para evaluar a sus respectivos docentes.
Una vez que el espacio se conformó como tal, se prosiguió a difundir el nuevo mecanismo implantado y a promover
entre el estudiantado la cumplimentación de los cuestionarios.
En la siguiente figura se presenta el formato que toman las encuestas dentro de la plataforma:

6
 A continuación se detallan algunas percepciones que se observaron sobre este nuevo sistema:

»» Los estudiantes cuentan con el tiempo necesario para elegir o construir su respuesta sin entorpecer el tiempo
en el aula, hay más tiempo para pensar y expresar mejor lo que se quiere decir.
»» Se eliminaron los cuestionarios entregados en blanco y se redujeron enormemente aquellos cuestionarios conside­
rados inconsistentes.
»» Su naturaleza y desarrollo permite al estudiante responder los cuestionarios en diferentes ocasiones (sesiones)
sin provocar molestias en sus actividades.
»» Proporciona al equipo de investigación la posibilidad de llevar un conteo en tiempo real de los formularios recibi­
dos y hacer un seguimiento de las respuestas que se van obteniendo durante el proceso de recolección.
»» Debe hacerse hincapié en la difusión y comunicación de la herramienta.
»» El equipo técnico debe garantizar el respaldo continuo ante eventuales problemas de accesibilidad del estudiante
al cuestionario.
»» Por razones de seguridad de la plataforma virtual no es posible garantizar el absoluto anonimato del estudiante.
»» Debido a las limitantes del sistema Encuesta de Moodle una vez finalizada la obtención de datos se debe proceder
a la fusión manual de las planillas que proporciona la plataforma virtual.

Sobre el análisis de los datos

La plataforma virtual utilizada como soporte permite descargar los datos en distintos formatos (excel, ods, csv, txt) por lo
tanto puede ser levantados en cualquier software de análisis estadístico (SPSS, STATA, R).
Frente a la necesidad de obtener informes sobre los resultados de las evaluaciones en forma periódica, se buscó la
forma de automatizar los análisis estadísticos y a su vez la redacción de los informes. Para esto se comenzó a utilizar la he­
rramienta Sweave (Leisch, 2002a), que permite insertar el código del software estadístico R en documentos de LaTeX con
el objetivo de realizar los análisis de los datos. Este software permite actualizar los informes automáticamente si los datos
cambian. Se ejecuta a través de R y todas las salidas (análisis estadísticos, tablas y gráficos) se crean en ese momento y
se insertan en un documento de LaTeX, pudiendo obtener finalmente un archivo en formato Adobe.pdf (Leisch, 2002b).
Sweave es parte de la instalación del R, que es un entorno de software libre de análisis estadístico de datos. Tiene la
particularidad de compilar y ejecutar en una amplia variedad de plataformas UNIX, Windows y MacOS.
El archivo a crear contendrá partes de códigos escritos en R y partes de códigos escritos en LaTeX y se guardará con
la extensión .Rnw. Luego en R se ejecutará Sweave (“nombredelarchivo.Rnw”), creándose un archivo con extensión .tex.
Sweave también permite escribir resultados en medio de un texto. Esta funcionalidad es muy útil ya que si hay algún
cambio en los datos, los resultados cambian y con ello el resultado puesto en el medio del texto.
Se puede encontrar en Leisch (2002 a y b), Morales Rivera y Carmona (2007) descripciones detalladas de la interfase
entre Sweave y R. Lo que no se encuentra en estos textos es la forma de crear códigos que puedan ser utilizados en suce­
sivos análisis. Esto se logra a través de la creación de funciones que ofrece el R, ya sea utilizando funciones ya creadas por
los miles de usuarios de R, adaptándolas o creando las específicas para nuestra tarea.
En la siguiente figura se muestra cómo se presenta el archivo con los códigos de R y LaTeX donde se llama a la función
“cuafreq”, que calcula las frecuencias de estudiantes que completaron las evaluaciones por “Sede donde cursa “en la base
de datos “Diag”:

7
 CONCLUSIONES

Ventajas y limitaciones del uso de la plataforma virtual para la recolección de datos:

Una de las ventajas encontradas durante la implementación de este nuevo sistema de recolección de datos es que se
eliminaron los cuestionarios entregados en blanco y se redujeron enormemente aquellos cuestionarios considerados
inconsistentes ya que los estudiantes cuentan con el tiempo necesario para elegir o construir su respuesta sin entorpecer
el tiempo en el aula, hay más tiempo para pensar y expresar mejor lo que se quiere decir.
Su naturaleza y desarrollo permite al estudiante responder los cuestionarios en diferentes ocasiones (sesiones) sin
ocasionar molestias en sus actividades y proporciona al equipo de investigación llevar un conteo en tiempo real de los
formularios recibidos y hacer un seguimiento de las respuestas que se van obteniendo durante el proceso de recolección.
No es necesario invertir recursos humanos o materiales en el ingreso de los datos. Se facilita enormemente la produc­
ción de informes. Las dificultades se han presentado en la difusión y comunicación de la herramienta y en la apropiación
del espacio de evaluación por parte de los estudiantes. También se hace necesario brindar soporte técnico para garantizar
el acceso a la plataforma.
Finalmente, por razones de seguridad de la plataforma virtual no es posible que las respuestas sean anónimas como
solicitaba parte de los estudiantes. En este sentido, se trabajó con los estudiantes informando sobre la protección del
microdato.

Ventajas y limitaciones del uso del Sweave para el análisis de datos

y elaboración de informes

Sweave permite tener en un solo archivo todos los códigos para el análisis estadístico, desde los más simples, como los
análisis descriptivos, hasta aquellos más complejos, como los relacionados con la fiabilidad (correlación test­retest, alfa
de Cronbach), y validez de los instrumentos (análisis factoriales). También en el mismo archivo se escriben los códigos
para las tablas y gráficas. Permite crear los códigos a ser utilizados en diferentes análisis adaptándose perfectamente
para estudios longitudinales a gran escala. Esta es una ventaja que ayuda a ahorrar tiempo a mediano y largo plazo en los
análisis y elaboración de informes.
Las desventajas del Sweave están relacionadas con el manejo de los lenguajes LaTeX y R, que requieren de una forma­
ción específica, especialmente este último y de conocimientos de Estadística que fundamenten los análisis y su interpre­
tación (García Pérez, 2008). También se puede señalar como una limitación no poder tener una visualización inmediata

8
 de los resultados cuando se realizan modificaciones, debiéndose esperar a ejecutar el comando Sweave en el entorno R,
para luego abrir el archivo .tex y crear el pdf. Este proceso puede llevar varios minutos, dependiendo de la extensión del
archivo y la cantidad de gráficos.
Si bien se debe invertir un tiempo considerable la primera vez que se escriben los códigos, luego se hace mucho más
sencillo replicar estudios con datos nuevos. Por último, al ser R un software libre, cuenta con miles de colaboradores que
producen paquetes que facilitan algunos procesos y análisis.

BIBLIOGRAFÍA

Carmona, F. (2007). Generación automática de informes con Sweave y LaTeX. Barcelona: Departamento de Estadística.
Universidad de Barcelona.
Galotti, K. M., Clinchy, B. M., Ainsworth, K., Lavin, B., & Mansfield, A. F. (1999). A New Way of Assessing Ways of Knowing:
The Attitudes Towards Thinking and Learning Survey (ATTLS). Sex Roles, 40(9/10), 745­766.
García Pérez, A. (2008). Estadística aplicada con R. Madrid: UNED.
Leisch, F. ( 2002a). Sweave: Dynamic generation of statistical reports using literate data analysis. In Wolfgang Härdle and
Bernd Rönz, editors, Compstat 2002 Proceedings in Computational Statistics, pp. 575­580. Physica Verlag, Heidelberg.
Leisch, F. (2002b). Sweave, part I: Mixing R and Latex. R News, 2(3):28­31, December.
Moodle (2014). About Moodle. Features. Disponible en: moodle.org.
Morales Rivera, M.A. (s/f) Generación automática de reportes con R y LaTeX. Disponible en: cran.r­project.org/doc/contrib/
Rivera­Tutorial_Sweave.pdf
Murillo, J. (1999). Internet: Nuevas herramientas para la Investigación Educativa. Revista de Investigación Educativa, 17,
495­499
Orellana López, D. Sánchez Gómez, C. (2006).Técnicas de Recolección de Datos en Entornos Virtuales más Usadas en la
Investigación Cualitativa. Revista de Investigación Educativa, Vol. 24, n.º 1, pp. 205­222.
Pérez Juste, R. (2006). Evaluación de Programas Educativos. Madrid: La Muralla.
Ros, I. (2008). Moodle, la plataforma para la enseñanza y organización escolar.
Ikastorratza, e­Revista de Didáctica 2. Disponible en: http://www.ehu.es/ikastorratza/2_alea/moodle.pdf (ISSN: 1988­
5911).
Taylor, P. C. & Maor, D. (2014). The Constructivist On­Line Learning Environment Survey (COLLES). Perth, Western Australia:
Curtin University of Technology. Disponible en: http://surveylearning.moodle.com/colles/.
Taylor, P. & Maor, D. (2000). Assessing the efficacy of online teaching with the Constructivist On­Line Learning Environ­
ment Survey. In A. Herrmann and M.M. Kulski (Eds), Flexible Futures in Tertiary Teaching. Proceedings of the 9th
Annual Teaching Learning Forum, 2­4 February 2000. Perth: Curtin University of Technology.

9
Hacia una evaluación comprehensiva
de la práctica docente en la universidad,
desde la metodología mixta
14 de marzo de 2015
 Hacia una evaluación comprehensiva
de la práctica docente en la universidad,
desde la metodología mixta
Dra. Alma Ma. del Amparo Salinas Quintanilla*
Universidad Pedagógica Nacional/Universidad Autónoma de Tamaulipas, México.
salinasamparo@gmail.com
Mtro. José Guadalupe Díaz Reyes
Universidad Pedagógica Nacional/Universidad Autónoma de Tamaulipas, México.
jgpe51@gmail.com

PALABRAS CLAVE: evaluación, práctica docente, metodología mixta.

EJE TEMÁTICO: 2. Innovaciones en evaluación y medición del desempeño docente y directivo.

Refiere una propuesta para la utilización de metodología mixta en la evaluación de la práctica del docente universitario

Resumen
Evaluar la práctica docente presenta un complejo mundo de variables que inciden en ésta. Evaluar la práctica
docente en la Universidad e ir hacia su comprehensión, dibuja escenarios diversificados, que solamente se pueden
atender a través de la investigación, desde una metodología mixta. Escenarios que dibujen las líneas cuantitativas
del aula, entretejidas con las realidades abstractas de los sujetos que en ella interactúan.
La metodología mixta permite describir medidas e inferencias a través de estudios de varianza y conocer per-
cepciones y creencias del profesorado desde las subjetividades, emanadas en un grupo de discusión.
Los resultados obtenidos en esta experiencia investigativa se relacionan con variables, como: planeación di-
dáctica, prácticas cotidianas, vinculación universidad contexto e investigación. En lo subjetivo, existe una tenden-
cia a descifrar los significados que se configuran a través de las interrelaciones con los otros, en el que los aspectos
culturales, psicopedagógicos y sociales se hacen presentes.
Actualmente, la práctica evaluativa de la función docente es concebida como un proceso de representación,
formación y transformación a través del cual se le da sentido y significado al proyecto universitario. Por lo tanto,
uno de los elementos indispensables para el ejercicio de ésta es la práctica investigativa.

*Autor principal

2
 INTRODUCCIÓN

La evaluación de la práctica del docente universitario demanda estudios que permitan un análisis profundo de la cuestión.
Estudios, que describan, no solamente las causas de los problemas; si no, también que ayuden a comprehender los pro-
cesos que se viven en la práctica cotidiana. Estas prácticas exigen el uso de metodologías que permitan conocer lo que
piensan y creen los protagonistas de la tarea educativa, sus representaciones y argumentos en el ejercicio de la acción
docente. Hay que advertir que la intención por evaluar las prácticas docentes universitarias es consecuencia de la adop-
ción del enfoque por competencias que ha implicado roles distintos a los tradicionales tanto para los maestros como para
los estudiantes; y la evaluación de la práctica docente puede resultar un elemento importante en el mejoramiento de la
misma práctica y la formación continua del profesorado.
Stake (2006) señala que la evaluación comprehensiva pretende reflejar la complejidad de las prácticas educativas.
Conlleva la finalidad de encontrar soluciones a los problemas que están presentes en la cotidianidad, a través del diálogo,
la discusión y el análisis de ésta.
Por su parte, Greene (2005) considera a los métodos mixtos como una orientación de la investigación social que
permite valorar la realidad desde diversas perspectivas, considerando los aspectos objetivos y subjetivos de la misma.
Considerando que, la conceptualización de evaluación de la práctica docente que prevalece en el ámbito universitario,
es desde los resultados obtenidos a través de cuestionarios que son aplicados a los alumnos, para conocer sus percepcio-
nes acerca de la práctica de los docentes. Los rubros que abarcan estos instrumentos se relacionan con la organización y
planificación de la clase en el aula, la comunicación del profesor con los alumnos, la forma en cómo se evalúan los apren-
dizajes y con la asistencia del profesor a los horarios asignados. Es decir se asume un modelo de control burocrático, que
solo sirve para asignar una puntuación al estímulo a la carrera docente y se soslayan aspectos relacionados con la eficien-
cia de los procesos, dado que no se contempla el contexto, ni se utilizan otros procedimientos que rescaten los aspectos
subjetivos que están presentes en el quehacer diario, en el aula.
Se vislumbra un profundo divorcio entre las dinámicas escolares y la normatividad para realizar la evaluación de és-
tas. Se promueven aprendizajes memorísticos que sólo sirven para dar respuesta a exámenes estereotipados, alejados de
una realidad, que se dibuja impregnada de complejidades, en una sociedad cada vez más turbulenta.
Coincidiendo con Ardoino (1997) se plantean las siguientes interrogantes ¿cuál es el sentido de la evaluación de
la práctica docente desde las percepciones de los propios actores? ¿qué tan confiables son los datos, producto de un
cuestionario sobre la evaluación de la práctica docente universitaria? ¿este tipo de evaluación, tiene implicaciones en la
transformación de la práctica? considerando a ésta como una actividad compleja y multidimensional, que se realiza en
contextos específicos y desde la óptica de diversas perspectivas y entramado de creencias de cada sujeto.
Para ello se propone la utilización de una metodología mixta que permita la comprehensión de la práctica docente
universitaria como experiencias vividas, en las que el factor humano es sensible a las características del contexto y sus
interactuantes.

Propósitos de la investigación

Evaluar la práctica docente universitaria desde el paradigma de la metodología mixta, para conocer y describir las varia-
bles y categorías asociadas con esta tarea: al mismo tiempo, que se incursiona en un modelo integrador y comprehensivo
del fenómeno estudiado.

3
 DESARROLLO
Justificación teórica

Evaluación formativa

Para innovar hacia una nueva cultura en la evaluación de la práctica docente universitaria, se debe asumir una actitud
formativa; ya que, una evaluación formativa favorece el desarrollo personal y profesional del sujeto y con ello se logra una
comprehensión del fenómeno. Una práctica formativa de la evaluación, retroalimenta este quehacer, da voz a los actores
que participan en ella y permite la toma de desiciones de manera participativa.
Tejedor (2003) considera que,

la evaluación formativa es aceptada por la mayoría del profesorado universitario, aunque en algún caso se ponga
en duda su eficacia y la ‘cientificidad’ de los procedimientos seguidos usualmente; el profesorado se implica mucho
más en el debate sobre las estrategias a utilizar. La razón por la que los profesores aceptan este tipo de evaluación
es porque reciben información sobre los resultados, porque se les evalúa sobre comportamientos específicamente
docentes y porque cada día en mayor medida el profesorado se interesa por aquello que puede hacerle sentir mejor
profesionalmente. (p. 166).

Una evaluación de la práctica docente con carácter formativo implica el análisis del ejercicio profesional in situ, con la
identificación de fortalezas y debilidades de la misma; pero sobre todo, con la identificación de acciones de mejora que
respondan a las problemáticas enfrentadas. Este tipo de evaluación es diversificado a través de la autoevaluación, evalua-
ción entre pares (colegas) y evaluación externa. Transformar las prácticas evaluativas en procesos formativos requiere,
necesariamente, del ejercicio de prácticas investigativas, que permitan la identificación de variables tratadas estadística-
mente; pero también de procesos descriptivos e interpretativos que acerquen al profesorado hacia la comprehensión
y transformación de la práctica docente propia.

Metodología mixta

El análisis de la práctica docente universitaria se considera un proceso complejo, cuyo estudio requiere del uso de para-
digmas complementarios, que eliminen los sesgos de los enfoques galileanos o aristotélicos, que por años se han utilizado
en las prácticas investigativas en el ámbito educativo. ¿Cómo encontrar la objetividad en una realidad impregnada de
subjetivismos?
La complejidad de la práctica docente demanda estudios que permitan un análisis profundo de la cuestión, que per-
mitan describir, no solamente las causas de los problemas, si no, también los procesos que se viven de manera cotidiana.
Exigen el uso de metodologías que permitan conocer lo que piensan y creen los protagonistas de la tarea educativa, sus
representaciones y argumentos de la acción docente.
Los métodos mixtos según Tashakkori y Teddlie (2010) representan una orientación con epistemología y técnicas
específicas, con énfasis en una filosofía pragmática sobre las consecuencias de la acción en las prácticas del mundo real.
Existen fundamentalmente tres razones que pueden determinar la integración de los métodos cuantitativo y cualitati-
vo (métodos mixtos) en la investigación social: complementación, combinación y triangulación. Bericat (1998) las define
de la siguiente manera:

Existe complementación cuando, en el marco de un mismo estudio, se obtienen dos imágenes, una procedente
de métodos de orientación cualitativa y otra de métodos de orientación cuantitativa. Por lo que la estrategia de
combinación se refiere se trata de integrar subsidiariamente un método, sea el cualitativo o el cuantitativo,
en el otro método, con el objeto de fortalecer la validez de este último compensando sus propias debilidades mediante
la incorporación de informaciones que proceden de la aplicación del otro método, a tenor de sus fortalezas metodológicas.

4
 La estrategia de triangulación no trata de completar nuestra visión de la realidad en dos miradas, sino de utilizar am-
bas orientaciones para el reconocimiento de uno mismo e idéntico aspecto de la realidad social. (p. 37-38).
Por lo que, esta estrategia metodológica puede ser útil en las prácticas evaluativas comprehensivas de la función
docente del profesorado universitario.

Práctica docente universitaria

En la actualidad, hablar de la práctica docente universitaria implica un proceso de acciones complejas que comprenden
tareas de diseño curricular y planificación didáctica, estrategias de ambientes de aprendizaje colaborativo y procesos
participativos de evaluación y seguimiento de los aprendizajes.
Se exige a los profesores un amplio dominio disciplinar y pedagógico para crear ambientes de aprendizaje, desde una
perspectiva significativa, en los que los alumnos sean protagonistas de sus propios aprendizajes.
Ante estas exigencias, la práctica docente universitaria adquiere una connotación intencional (Bazdresch, 2000) que
implica el ejercicio y práctica de acciones realizadas por el profesor para facilitar que el alumno construya sus propios
aprendizajes. Schön (1994) define la práctica profesional de los profesores, como un proceso creativo, de reflexión sobre
la acción que ejerce en los contextos donde ocurre la misma. El ejercicio de una práctica docente reflexiva está relaciona-
do con las demandas de una profesionalización de la tarea del profesor.
Imbernón (1997) Prieto (2001) y Montero (2001) conceptualizan a la profesionalización docente como una compleja
trama de significaciones en torno a la educación, desde sus dimensiones teórico-prácticas, que se va construyendo y
reconstruyendo constantemente durante toda la vida profesional. Es un conocimiento que no es en absoluto único, que
admite una gradación desde el conocimiento del sentido común hasta el conocimiento especializado. El conocimiento
de sentido común o vulgar se presenta también en la estructura social, formando parte del patrimonio cultural de una
sociedad determinada, que se traspasa de generación en generación. Es por ello que los seres humanos son educados en
la familia, en la escuela y en la sociedad en general. (Salinas Quintanilla, 2013, p. 10-11).
El dominio disciplinario y pedagógico y el vínculo entre éstos y las estrategias didácticas, son elementos de la práctica
docente que deben incorporarse en los procesos de evaluación docente, con el propósito de identificar categorías, que
sirvan como referentes para establecer parámetros en la tarea evaluativa.

Aproximaciones a los resultados

Desde posturas pragmáticas y con un diseño explicativo secuencial, los métodos mixtos han permitido el análisis de la
práctica docente, considerando para ello tareas propias de ésta: planeación didáctica, desarrollo de la práctica docente,
investigación; y vinculación escuela comunidad. Cuyos resultados han sido contrastados con las percepciones que poseen
los profesores sobre sus propias prácticas. Percepciones construidas desde significados culturales, psicopedagógicos y
sociales. (Salinas Quintanilla, 2008).
En la etapa cuantitativa participaron 60 docentes universitarios (30 docentes de universidad privada y 30 docentes
de universidad pública). Muestra no probabilística dirigida, a la que se le administró un instrumento tipo escalar. En la
etapa cualitativa se realizó un grupo de discusión con la participación de 6 docentes de educación superior pública y 4
docentes de educación superior privada.
Para revisar la relación entre las variables enunciadas, se utilizó la prueba estadística de Chi cuadrada. Encontrándose
diferencias significativas, con niveles de confianza de .01 y .05 en tres de las variables estudiadas: planeación didáctica,
con una X 2 obtenida de 10.77 > 9.21 con una diferencia significativa con alpha= 0.01. Vinculación universidad contexto con
niveles de confianza de .01 = 9.21, donde X2 = 12.82. Desarrollo de la práctica docente presentó diferencias estadísticas
significativas con niveles de confianza X 2 = 23.13 > 9.21. La variable denominada investigación no presentó significancia.
Lo que permite deducir que existe una gran brecha entre la teoría y la práctica, ya que la investigación permite el acer-
camiento al conocimiento construido por otros, al mismo tiempo que brinda herramientas para el análisis de situaciones
cotidianas que están presentes en el quehacer pedagógico. Si bien es cierto que existe una preocupación por las tareas de

5
 planeación y el desarrollo de la práctica docente, así como la necesidad de estrechar los vínculos de la universidad con su
contexto, el quehacer áulico se mantiene anclado en una formación academicista.
Con el fin de comprobar las diferencias significativas entre los indicadores analizados, se utilizó el análisis de varianza
univariada (ANOVA). En cada caso se observó que el valor de p-crítico fuera menor a 0.05. Además se aplicaron las prue-
bas post hoc de Tukey y de Tamhanes para mayor precisión en este tipo de análisis. Encontrando diferencias significativas
en las variables planeación didáctica y desarrollo de la práctica docente, entre los docentes de educación superior privada
y los docentes de educación superior de una universidad pública.
De esta manera se comprueba que el quehacer áulico se constriñe a un modelo pedagógico tradicionalista, donde lo
que preocupa es que el alumno guarde en la memoria una serie de datos y acontecimientos, sin que se cuestione para qué
le sirven o qué relación guardan éstos, con el contexto.
Desde un análisis cualitativo, la práctica docente aparece conformada por dos categorías: dimensión personal y
dimensión institucional.
La categoría dimensión personal tiene que ver con el significado de ser profesor, y sobre el cómo y dónde se ha apren-
dido a serlo.

“Un docente debe ser muy alegre, optimista, creativo, debe comprender a sus alumnos y trasmitirles
sus conocimientos” (D1).

Se hace énfasis en características personales, al mismo tiempo que se dibuja la tarea del docente mediador entre los
alumnos y el proceso enseñanza aprendizaje. Entendiéndose por mediador como el sujeto que se encuentra en medio de
dicho proceso y el cual selecciona y distribuye actividades y recursos para que se desarrolle el acto cognitivo.

También, se describe al docente como un individuo que se muestra abierto a la opinión de los otros

Significa ante todo la aceptación de las ideas...de otros valores. Estar siempre abiertos al cambio...a la superación. (D1).
Nuestra labor empieza con humanizar la educación, con ayudar a los alumnos a soñar, a desear ser mejores. (D3).

Se puede observar en estas conceptualizaciones la combinación de un modelo de apostolado con una orientación
racional técnica, donde se mezclan virtudes humanas y conceptos técnicos en la definición del profesor. Priorizando la
razón instrumental, como factor dominante, lo normativo, lo formal, lo técnico, lo burocrático. (Hirsch, 1996).
El cómo y dónde han aprendido a ser profesores, alude a la dimensión personal de la práctica docente y en ese sentido
resulta fundamental identificar las diversas influencias que se reconocen en la formación y ejercicio de la docencia.
En la categoría denominada dimensión institucional se alude a los tiempos y espacios escolares y a las competencias
profesionales que caracterizan las prácticas docentes.

Considero que tenemos un amplio margen para innovar, cuando no perdemos el rumbo y no nos olvidamos
que somos maestros, que nos debemos a nuestros alumnos y que apoyándonos de todo lo que está a nuestro alcance
les proporcionamos los medios para la información. (D5).

En este discurso predomina la idea de que el docente tiene el espacio necesario para innovar, pues se debe antes que
nada al alumno y a la comunidad donde realiza la práctica docente. Caracterizando a ésta como un apostolado, donde se
necesita el esfuerzo constante y de la disposición en cualquier momento del profesor.

Si queremos, el espacio que tenemos para innovar es toda nuestra comunidad, maestros, padres de familia…
siempre haciendo un trabajo armónico para poder ser agentes de cambio de la comunidad que rodea la institución…
Esta innovación la hacemos pensando siempre en nuestros alumnos que son el futuro de nuestro país. (D3).

También existen otras opiniones, las menos, diferentes en el sentido de que el profesor se enfrenta a innumerables
obstáculos, ambiguamente mencionados y poco abundados, en lo que se precisa un poco es en el aspecto de las condicio-

6
 nes materiales del trabajo; y por otro lado, expresado de forma oral por algún participante, la dificultad en las relaciones
humanas que existen en algunas instituciones.

El maestro se enfrenta en su labor cotidiana con un gran número de obstáculos que se le presentan que le impiden
hasta cierto punto innovar, podemos vencer las limitaciones en nuestro contexto, asimismo invitar a los compañeros
a innovar. (D5).

Al hablar de innovación, no se puede ignorar que ésta lleva implícita un proceso de reflexión sobre las condiciones
personales, sociales y laborales; y que por lo tanto conlleva un trabajo colaborativo, que trae como consecuencia una
nueva cultura del trabajo docente, basada en el trabajo de academias.
Desde el punto de vista empírico, el docente universitario en el desempeño de las prácticas cotidianas no es tan crea-
tivo, como se pudiera esperar, según los elementos-condiciones materiales del trabajo, saberes particulares e historia
individual y de la institución en la que se labora, según Heller citado por (Carrizales, 1987, p. 73-74) “La vida cotidiana
está caracterizada, por la continuidad, el pragmatismo, economicismo, ultra generalización, mimesis, prejuicio, esponta-
neísmo y entonación; en ella prevalece el hábito, la costumbre, la norma, la razón, es decir la permanencia”.
A partir de todo lo anterior se puede deducir, que las relaciones que se establecen entre los sujetos de la institución
—profesores, alumnos, directivos, comunidad— le dan un sentido particular a las prácticas, mismas que no pueden ejer-
cerse como lo quiere algún individuo particular ni como lo desea la institución; sino que se entrecruzan las expectativas,
intenciones, significados, proyectos y experiencias, de quienes construyen la cotidianeidad en el trabajo y al combinarse
estos niveles de lo social en la práctica, se conforman interacciones entre los individuos, modos de pensar, maneras de ac-
tuar, entonces las prácticas educativas institucionales se constituyen en “Un espacio tiempo de concreción y conjunción,
tanto de concepciones, propósitos y lineamientos operativos derivados de las propuestas socio-educativas, así como de
experiencias, percepciones y proyectos de quienes en ella intervienen” (Zamora y Pineda, 1995, p. 8).
Por lo que, en el desarrollo de las prácticas docentes universitarias se identifican problemas básicos, que se ubican
principalmente en tres planos del conocimiento: el conceptual, el operativo y el actitudinal. El primero se refiere al
dominio de los conceptos básicos de la profesión; el segundo, al dominio de las competencias necesarias para desa-
rrollar las tareas propias de la profesión; y el último se refiere a las capacidades para relacionarse adecuadamente con
los demás en el contexto laboral. Aspectos que deben reflejarse en las prácticas evaluativas de la práctica docente
universitaria y esto solamente se puede obtener mediante la aplicación de instrumentos cuantitativos y cualitativos.
(métodos mixtos).

CONCLUSIONES

Actualmente, las prácticas de evaluación se conciben como un proceso gradual de transición desde una perspectiva tradi-
cionalista, que considera este proceso con una función esencialmente cuantitativa, hacia una perspectiva de la evaluación
integrada al propio proceso de enseñanza-aprendizaje con un carácter formativo, donde la evaluación constituya una
situación de aprendizaje.
Los resultados obtenidos en el análisis de la variable investigación, en los que se presenta una carencia de esta prác-
tica en las tareas a evaluar, denotan el ejercicio de prácticas docentes vinculadas a la teoría, priorizando este tipo de
conocimiento y soslayando el desarrollo de competencias instrumentales; y por ende, actitudinales.
Las prácticas de la evaluación, desde un modelo tradicional, persisten y son frecuentes en las instituciones univer-
sitarias. Es decir, se relaciona a la evaluación con instrumentos estandarizados, que sirven para sumar puntos y recibir
estímulos económicos. Raramente los resultados de la evaluación de la práctica docente retroalimentan el quehacer co-
tidiano que se realiza en las aulas.
Por lo que, es una necesidad urgente la migración hacia una conceptualización de la evaluación de la práctica do-
cente que permita el desarrollo autónomo de docentes y alumnos, que favorezca la creación de ambientes de aprendi-
zaje, a través de investigaciones desde una metodología mixta, en el que se entretejan los hilos de la subjetividad en la

7
 cotidianeidad de los hechos construidos empíricamente. Incorporar en las prácticas de evaluación docente, aspectos
relacionados con la dimensión personal de los sujetos, a través del significado de ser profesor y el cómo y dónde se ha
aprendido a serlo. Aspectos relacionados con el contexto institucional, desde el que se realizan las prácticas docentes,
tales como: el uso de los tiempos y espacios escolares; pero sobre todo, a las competencias profesionales que posee y
aplica el docente universitario en la realización de éstas.
Esto trae como consecuencia un cambio en la conceptualización de la enseñanza y de los aprendizajes. Un cambio de
paradigma en la planeación didáctica y en los procesos de evaluación de los procesos áulicos. Pero sobre todo, surge la
necesidad de las prácticas investigativas como un recurso para realizar una evaluación comprehensiva de los procesos
educativos.
Como respuesta a la razón instrumentalista vitoreada por la modernidad, surgen las metodologías mixtas (cuantitativo-
cualitativo) que permiten rescatar el objeto y el sujeto que interactúan en situaciones complejas (prácticas docentes)
y con ello visualizar un amplio campo de la cultura de la evaluación de éstas.

BIBLIOGRAFÍA

Ardoino, J. (1997). La evaluación en el nivel universitario. México: Universidad Iberoamericana.

Bazdresch, M. (2000). Vivir la educación, transformar la práctica. México: SEP-Conaculta.
Bericat, E. (1998). La integración de los métodos cuantitativo y cualitativo en la investigación social. Barcelona: Ariel.
Carrizales, C. (1987). Formación de la experiencia docente. En Análisis de la práctica docente. (Antología ) México: SEP-
UPN.
Greene, J. C. (2005). Synthesis: A reprise on mixing methods. En Discovering successful pathways in children’s development:
Mixed methods in the study of childhood and family life. 405-419.
Hirsch, A. (1996). Educación y burocracia. México: Gernika.
Salinas Quintanilla, A. M. d A. (2008). Percepciones del profesorado sobre la profesionalización y prácticas docentes: sig-
nificados culturales, psicopedagógicos y sociales. (Tesis doctoral inédita). Universidad Autónoma de Tamaulipas. Cd.
Victoria, Tamaulipas, México.
Salinas Quintanilla, A. M. d A. (2013). Las percepciones del profesorado y la profesionalización docente. Estudio desde la
complementariedad metodológica. Alemania: Académica Española.
Schön, D. (1994). La práctica reflexiva: aceptar y aprender de la discrepancia. Cuadernos de pedagogía, 222, 88–92.
Stake, R. (2006). Evaluación comprensiva y evaluación basada en estándares. Barcelona: Grao.
Tashakkori A, Teddlie C. (2010). Mixed Methods in Social and Behavioral Research. Los Angeles CA: Sage.
Tejedor, F. J. (1985). Problemática de la enseñanza universitaria. Revista de Investigación Educativa, 3 (6).
Zamora, A. y Pineda, J. M. (Ed.) (1995). Reflexión teórico metodológica para el estudio de la práctica docente. México: UPN.

8
Aspectos metodológicos de la encuesta
de opinión estudiantil del curso y el docente
en la Facultad de Ciencias Sociales, Uruguay
14 de marzo de 2015
 Aspectos metodológicos de la encuesta
de opinión estudiantil del curso y el docente
en la Facultad de Ciencias Sociales, Uruguay
Natalia Moreira Cancela
Licenciada y Magíster en Sociología, Universidad de la República, Uruguay,
natalia.moreira@cienciassociales.edu.uy

PALABRAS CLAVE: E valuación de los cursos, Evaluación de los docentes, Espacio Virtual de Aprendizaje,
Facultad de Ciencias Sociales, Universidad de la República.
EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
El objetivo de este trabajo es dar cuenta de las transformaciones metodológicas y de implementación por las que
ha transitado la Encuesta de opinión estudiantil del curso y el docente de la Facultad de Ciencias Sociales (FCS) de
la Universidad de la República (UdelaR) de Uruguay en el último período.
Durante el año 2013 y el primer semestre de 2014 sesionó una comisión asesora del Consejo de la FCS que
tuvo como principal cometido trabajar para la modificación de los cuestionarios utilizados para la evaluación
estudiantil, así como también analizar y proponer nuevas modalidades de aplicación de la misma. Luego de un
largo proceso institucional, en el segundo semestre de 2014 comenzó la implementación de esta nueva encuesta
de evaluación del plantel docente y de las asignaturas. Este proceso implicó la confección de nuevos cuestionarios,
así como también la realización de modificaciones en el procesamiento de la información a la interna de la FCS, y
la realización de una evaluación piloto utilizando las Tecnologías de la Información y Comunicación (TIC) dispo-
nibles en la UdelaR.
Se considera relevante presentar la evaluación de esta experiencia de transformación, ya que podría ser de uti-
lidad para otras instituciones educativas que estén repensando su sistema de evaluación docente, al tiempo que se
plantean algunas respuestas al debate sobre la implementación de estas encuestas de forma personal o utilizando
las TIC, siempre presente en lo que a este tema refiere.

2
 INTRODUCCIÓN

La Facultad de Ciencias Sociales de la Universidad de la República de Uruguay fue creada por resolución del Consejo Di-
rectivo Central en 1989 y comenzó a funcionar en 1991.1 Desde 1998 lleva adelante la denominada “Encuesta de opinión
a estudiantes sobre los cursos y el profesorado”, la cual se aplica en cada semestre lectivo a todos los cursos y docentes.
La Unidad de Asesoramiento y Evaluación (UAE) se ocupa de toda la gestión referida a esta actividad, que consiste en la
coordinación de horarios con docentes, la contratación, capacitación y supervisión de becarios que se ocupan de aplicar
la encuesta, la gestión posterior de procesamiento de formularios y la difusión de los resultados.
Durante el año 2013 y el primer semestre de 2014 sesionó la Comisión de Encuestas Estudiantiles, creada por el
Consejo de facultad por la resolución Nº 1552 de fecha 4.10.2012 con integrantes de las diferentes unidades académicas
de la facultad (Departamento de Sociología, Departamento de Trabajo Social, Instituto de Ciencia Política, Unidad Mul-
tidisciplinaria y Departamento de Economía), la UAE y el orden estudiantil. El cometido de esta comisión fue revisar el
entonces actual modelo de evaluación estudiantil, y proponer modificaciones para su mejor funcionamiento. Luego de un
largo proceso de intercambio y discusiones, se alcanzaron acuerdos y el documento elaborado por la Comisión fue apro-
bado por el Consejo de la FCS. En este segundo semestre de 2014 se comenzó con la implementación del nuevo modelo
de evaluación.

LA EVALUACIÓN ESTUDIANTIL EN CIENCIAS SOCIALES

La evaluación estudiantil entre 1998 y 2013

Desde 1998 la Facultad de Ciencias Sociales aplica la “Encuesta de opinión a estudiantes sobre los cursos y el profesora-
do” con el objetivo de relevar las opiniones de los estudiantes acerca de los cursos que se dictan en cada semestre y los
docentes involucrados.
La información recogida en esta evaluación es un insumo para el proceso continuo de mejoramiento de la actividad
de enseñanza, en tanto recoge las opiniones y percepciones vertidas por los estudiantes sobre la misma. La valoración
estudiantil de aspectos concretos y cotidianos de la enseñanza se integra a un ciclo que, conjuntamente con la opinión de
docentes, la investigación y la gestión académica, la fortalezcan en su dimensión pedagógica.
Por otra parte, se integra como un elemento en la evaluación global de la función docente en el contexto de la reno-
vación de los cargos. En este sentido es relevante el manejo cuidadoso de los informes que surgen de las encuestas en el
contexto del conjunto de la actividad del docente, la asignatura, licenciatura, entre otros.

Aspectos metodológicos y difusión de la información

La evaluación estudiantil se realiza en la Facultad de Ciencias Sociales en cada semestre lectivo y consiste en el releva-
miento de las opiniones de los estudiantes acerca de los cursos a los que asisten y los docentes que dictan las clases.
Se trata de una evaluación anónima, en donde se releva información sobre diversos aspectos vinculados a desempeño
docente en la función de enseñanza, la relación docente estudiante y las estrategias de enseñanza utilizadas.

Estas encuestas se ubican en un contexto más amplio de la evaluación de la función docente, la que comprende di-
versas modalidades, entre ellas la evaluación realizada por el superior y la realizada por los pares. Se entienden como
un insumo del proceso de evaluación docente, aportando información valiosa sobre aspectos de la función de enseñanza
desde la perspectiva de los estudiantes, sujetos directamente involucrados en esta tarea.

http://cienciassociales.edu.uy/institucional
1

3
 Esta evaluación se organiza en 2 formularios, uno destinado a la evaluación de las asignaturas, y otro para la evalua-
ción de los docentes. La opinión de los estudiantes se determina para la mayor parte de las preguntas a través de una
escala con elementos de tipo Likert de cinco puntos, donde las categorías de respuesta son “Totalmente en desacuerdo,
En desacuerdo, Ni de acuerdo ni en desacuerdo, De acuerdo, y Totalmente de acuerdo).
En el caso del cuestionario de evaluación de docentes, releva la percepción de los estudiantes en cinco dimensiones:
Requerimientos formales (2 ítems), Dominio de la asignatura (1 ítem), Organización del curso (3 ítems), Didáctica en el
aula (6 ítems) y Aprendizaje (1 ítem) (Perera el al, 2012).
El cuestionario de asignatura

“releva información relativa a aspectos de organización del curso que favorecen el aprendizaje de los estudiantes y
cuestiones de tipo motivacional en relación a la materia, así como algunas características que permiten aproximarse
escasamente al perfil del estudiante. Así se pueden organizar los ítems en las siguientes dimensiones: Organización
general de la asignatura (7 ítems), Aspectos motivacionales (4 ítems) y Perfil del estudiante (6 ítems). En este segundo
instrumento no todas las respuestas son de escala, ya que algunas preguntas deben ser agrupadas en categorías
específicas de respuesta.” (Perera el al, 2012).

Los formularios originalmente contenían una hoja adicional sobre preguntas que caracterizaban al estudiante. Ac-
tualmente no se aplican, ya que desde hace varios años fueron eliminados por el tiempo que llevaba el llenado de los
formularios.
Los formularios en papel se aplican durante las últimas 6 semanas de curso (en cada semestre), personalmente en el
salón de clase. Para realizar esta tarea se contratan 3 becarios que tienen como principal tarea la visita a cada una de las
clases, la aplicación de los formularios y la supervisión de los mismos.
La población encuestada actualmente no coincide con los inscriptos a los cursos, ya que hay estudiantes que abando-
nan por motivos personales o laborales, que obtienen bajas calificaciones en las primeras evaluaciones parciales, y que se
desvinculan del curso antes de que se aplique la evaluación.
El procesamiento de los datos se realiza fuera de la Facultad de Ciencias Sociales a través de un scanner que permite
la lectura de los datos registrados en los formularios. Este procedimiento es realizado en el Centro de Estudiantes de la
Facultad de Ingeniería de la UdelaR.
Los informes correspondientes a estas evaluaciones son enviados a los docentes que los solicitan y a los directores
de las unidades académicas. También son adjuntados a los informes de actividad docente que se presentan al Consejo de
facultad. Estos informes son uno de los elementos con los que se cuenta para la renovación de los docentes en sus cargos.
Estos documentos actualmente no presentan indicadores agregados (como promedios), sino tablas de frecuencias
(absolutas y relativas) de los valores en la escala de 1 a 5 de las respuestas, y los diagramas de barras (histogramas) co-
rrespondientes. En cada una de las preguntas se informa del número de respuestas válidas para la misma.
Algunos de los puntos débiles del sistema tradicional que fueron identificados por Biramontes y Segovia (2012) se
relacionan con: 1) la logística que requiere, 2) los costos que tiene y 3) lo lento que resulta el proceso desde su aplicación
hasta su análisis y divulgación de los resultados.
En relación al primer aspecto, la logística, se comienza a trabajar en la planificación de la evaluación desde el inicio
del semestre lectivo. Desde Bedelía de facultad se envían los datos a la UAE sobre las asignaturas, los cursos, docentes
y horarios del semestre. Esta información es corroborada con los responsables de las 4 licenciaturas que se dictan en
facultad,2 y luego se procede a la confección del calendario de visitas. Para el armado de este calendario se coordina con
los docentes sobre sus preferencias de días y horarios para la realización de la encuesta. Luego de esto se convoca a los
becarios que trabajarán en la encuesta y se los capacita para la tarea a desempeñar. Debido a que la contratación es sola-
mente por 6 semanas, algunas veces resulta complejo encontrar a becarios que estén dispuestos a asumir la tarea, y en
algunas ocasiones se producen renuncias durante el proceso de trabajo.
En cuanto al segundo punto, referido a los costos, la aplicación de esta encuesta en papel requiere costos de impresión
de formularios, los sueldos de los becarios y el procesamiento por fuera de la facultad.

Sociología, Ciencia Política, Trabajo Social y Desarrollo

2

4
 Por último, otra de las desventajas que tiene el sistema de evaluación que históricamente se aplica en la facultad tiene
que ver con los tiempos de gestión, aplicación y procesamiento de la información. Desde que se inicia el contacto con
Bedelía, para tener el acceso a la información de los cursos y docentes hasta que se entregan los informes a los docentes
pasan 6 meses. Si uno de los objetivos que tiene esta evaluación es poder generar insumos para la transformación y me-
jora de los cursos y métodos de enseñanza, es necesario contar con la información en un plazo menor, que permita actuar
rápidamente sobre los problemas detectados.

La encuesta de opinión estudiantil del curso y el docente. 2014

Luego del trabajo realizado durante el año 2013 y principios de 2014 por la Comisión asesora del Consejo en esta materia,
se aprobaron una serie de modificaciones a la anterior evaluación estudiantil.

1. Se modifica su anterior denominación, para llamarse a partir del segundo semestre de 2014 “Encuesta estudiantil de
evaluación del curso y el docente”. Esta encuesta se ocupará del desempeño docente en la función de enseñanza, la
relación docente estudiante, las técnicas didácticas y las estrategias de enseñanza, distinguiéndose claramente de la
evaluación global de un docente.
2. Se establece de forma explícita que la población objetivo cuya opinión se desea recoger es el conjunto de estudiantes
que han establecido un vínculo activo con la asignatura y el o los docentes, dejando en claro que los estudiantes que
participan de la evaluación estudiantil no son todos los inscriptos.
3. Se propone la realización en forma experimental de un relevamiento de las encuestas basado en la respuesta online
usando el Espacio Virtual de Aprendizaje (plataforma moodle de la UdelaR).3 Se propone que en el segundo semes-
tre de 2014 se ponga en práctica para un conjunto de asignaturas y se estudie los resultados de la experiencia para
evaluar su generalización.
4. La Comisión propone un conjunto de cambios en la administración de las Encuestas. Se mantendrá el secreto estadís-
tico de las respuestas individuales. No se establece en el mediano plazo la obligatoriedad de las encuestas. Se plantea
la devolución de algunos resultados en forma pública.
5. La Comisión propone que mientras las encuestas se continúen relevando en papel, el procesamiento de los formu-
larios pase a realizarse dentro de Facultad de Ciencias Sociales. El ahorro de recursos y la mejora en la calidad de la
información a través de la validación de los formularios justifican esta decisión.
6. Se realiza una propuesta de nuevos formularios de docente y asignatura, y de nuevos formatos para los informes res-
pectivos.

Nuevos formularios del curso y el docente

La estructura de la nueva encuesta de evaluación incluye tres secciones: I. Perfil del estudiante; II. Cuestionario de asigna-
tura, que a su vez incluye II.1 Organización de la asignatura, II.2 Relación con la asignatura y II.3 Aspectos motivacionales
y III. Cuestionario del docente, que contiene III.1, Actividad del docente y III.2 Didáctica y aprendizaje. Estas secciones no
aparecen identificadas en el formulario que se aplique, igual que se ha estado haciendo hasta hoy.
Estos formularios se aplicaron por primera vez durante las últimas 6 semanas del segundo semestre de los cursos de
2014. Fueron bien recibidos por los estudiantes y docentes, y a pesar de que se incluyó nuevamente un apartado destina-
do al perfil de los estudiantes no hubo un incremento de tiempo relevante.
Actualmente la Facultad ha terminado el procesamiento de los datos y se encuentra realizando la tarea de difusión
de los informes que contienen los resultados de la encuesta. En un análisis rápido hemos podido valorar la importancia
de la última pregunta de ambos cuestionarios, en donde se les permite a los estudiantes agregar comentarios que crean
pertinentes acerca de la asignatura y de cada docente evaluado. Este espacio, sobre el que no teníamos la certeza de que

eva.universidad.edu.uy
3

5
 fuera a ser utilizado por ellos, resultó de gran relevancia. Aparecieron importantes valoraciones de parte de los estudian-
tes, ya sea para premiar a algún docente, como también para dejar plasmadas sus críticas, que en la mayor de las veces
presentan argumentos. Este espacio ha permitido complementar de manera sustantiva las respuestas a las preguntas
cerradas que se incluyen en la encuesta.

Primeros resultados de la evaluación en línea

Durante el segundo semestre de 2014, además de aplicarse los nuevos formularios en papel, se realizó un piloto en donde
se seleccionaron algunas asignaturas y docentes para que participaran de la evaluación en línea. Para esta evaluación
se consideraron algunos elementes que se entendieron relevantes. Se seleccionaron cursos del ciclo inicial y del ciclo
avanzado; que pertenecieran a las mallas curriculares de las 4 licenciaturas que se dictan en facultad; y que estuvieran
dictados por docentes que tuvieran más de un subgrupo a su cargo. Este piloto de evaluación, al igual que la evaluación
en formato papel, no es obligatorio para los estudiantes, ya que no está dispuesta ninguna sanción por la no participación
de la encuesta.
En el siguiente cuadro presentamos las asignaturas seleccionadas para la evaluación piloto y las licenciaturas a las
que pertenecen.

Cuadro 1  Asignaturas seleccionadas para la evaluación piloto en línea según licenciatura

Licenciatura Asignatura
Estadística Social
Metodología de la Investigación
Historia contemporánea de América Latina
Ciclo inicial
Seminario multidisciplinario
Matemática para las Ciencias Sociales
Sociología del Uruguay
Sociología/Desarrollo/ Trabajo social Metodología cuantitativa II. Probabilidad y muestreo
Sociología/Desarrollo/ Trabajo social Cualitativa II: Análisis cualitativo
Sociología/Desarrollo/ Trabajo social Epistemología
Sociología Análisis sociológico I
Sociología/Trabajo social Teoría sociológica IV
Ciencia Política Instituciones II

Fuente: elaboración propia

Para la realización de este piloto se creó un curso en la Plataforma EVA dedicado específicamente a la evaluación estu-
diantil. Los estudiantes pertenecientes a los cursos seleccionados fueron matriculados a partir de la lista de inscriptos a
cursos y fueron comunicados directamente a su correo electrónico sobre la invitación a participar de la evaluación. Cada
uno de los estudiantes debía ingresar al sitio en EVA y automáticamente le aparecían los cursos y docentes que tenía que
evaluar. Se creó un foro de intercambio para las dudas que pudieran surgir.
La aplicación del piloto se realizó entre el 25 de noviembre y el 4 de diciembre de 2014. Durante este período se en-
viaron 2 mensajes a los estudiantes, recordando los plazos para la participación de la encuesta.
Como primeros resultados de este piloto podemos decir que tuvo muy buena repercusión de parte de los estudiantes.
En el primer día en que estuvo disponible la encuesta se recibieron casi 200 formularios. A su vez, el foro creado para las
consultas de los estudiantes tuvo una alta participación, en donde surgieron algunas inquietudes de parte de ellos, princi-
palmente a raíz de que habían cambiado de grupo y no podían evaluar al docente con el que efectivamente habían cursado.

6
 Al culminar el plazo para la realización de la evaluación en EVA se completaron 690 formularios, incluyendo evalua-
ciones de asignatura, de docentes responsables de clases teóricas y ayudantes de práctico.
A continuación presentamos un cuadro comparativo entre las evaluaciones realizadas en EVA y en papel de los docen-
tes que dictan cursos prácticos.

Cuadro 2  Comparación de evaluaciones realizadas en EVA y en papel

Formularios Diferencia
Asignatura Docente Formularios en EVA
en papel EVA -papel
Estadística - CI Docente 1 30 17 13
Estadística - CI Docente 2 21 7 14
Estadística - CI Docente 3 6 18 -12
Metodología - CI Docente 4 34 11 23
Historia del América Latina - CI Docente 5 29 39 -10
Seminario - CI Docente 6 19 28 -9
Seminario - CI Docente 7 18 16 2
Seminario - CI Docente 8 38 30 8
Sociología del Uruguay - CI Docente 9 12 19 -7
Cualitativa II. Análisis cualitativo - CA Docente 10 17 16 1
Teoría Sociológica IV - CA Docente 11 4 11 -7
TOTAL 228 212 15

Fuente: elaboración propia

Como figura en el cuadro, en las evaluaciones realizadas a los docentes de práctico, la cantidad de evaluaciones reali-
zadas en EVA superan a las evaluaciones en formato papel (228 a 212). También podemos observar en la última columna
las diferencias caso a caso, donde vemos que en más de la mitad de los casos la cantidad de las evaluaciones realizadas en
línea es mayor que las hechas en papel.

CONCLUSIONES

En este segundo semestre de 2014 comenzó a implementarse la Encuesta estudiantil de evaluación del curso y el docente
luego de las modificaciones aprobadas por el Consejo de la Facultad de Ciencias Sociales. Estas transformaciones impli-
caron la aplicación de nuevos formularios y la realización de un piloto de evaluación en línea.
Los nuevos formularios incorporan información del perfil de los estudiantes y algunos indicadores de resumen del
desempeño docente, al tiempo que se elimina información que puede ser recogida desde otros mecanismos institucio-
nales (asistencia, horario, entre otros) Incluyeron también una pregunta destinada al planteo de comentarios sobre los
docentes y las asignaturas que fue utilizada por los estudiantes para dar cuenta de sus valoraciones, presentando muchas
veces argumentos a sus planteos. Se cree que este espacio de opinión abierto es uno de los aspectos novedosos que trae
esta evaluación y que sin duda es de gran relevancia para complementar y fundamentar las respuestas que aparecen en
las preguntas cerradas. Aparecieron principalmente valoraciones muy positivas y muy negativas acerca de los cursos y
los docentes, justificando en cada caso esta opinión.
También se aplicó en este semestre el piloto de la evaluación en línea a través de la plataforma moodle de la UdelaR.
La aplicación de la encuesta bajo esta modalidad permitió independizar la contestación por parte de los estudiantes del he-
cho de asistir físicamente al curso. Asimismo eliminó la instancia de escaneado de los formularios para su procesamiento,

7
 en la cual se perdía una parte muy grande de la información de los formularios y había una gran demora en los plazos.
Los resultados de las encuestas respondidas en línea están disponibles y pre-procesados casi inmediatamente.
Si esta modalidad se aprueba de forma definitiva a partir de los resultados encontrados, se podrán reasignar los
recursos actualmente destinados a la contratación de becarios e impresión de formularios, aplicándolos a fortalecer
las capacidades de análisis y procesamiento internos en la Facultad de Ciencias Sociales.

BIBLIOGRAFÍA

Biramontes, T. y J. Segovia (2012), La evaluación docente en la FCS: consideraciones sobre  su potencial y propuestas de
mejora. Unidad de Asesoramiento y Evaluación (UAE), Facultad de Ciencias Sociales, Universidad de la República.
Moodle.org, Foro de Discusión sobre “Herramientas para Encuestas de Evaluación Docente en linea con Moodle.” https://
moodle.org/mod/forum/discuss.php?d=124016
Paramo, R. Estándares de Calidad, Accesibilidad y Usabilidad para la realización y el diseño de Encuestas por Internet
http://www.netquest.com/papers/Rparamo_Estandares_enconline.pdf
Perera, H et al (2012) “La evaluación de las actividades docentes según la opinión de los estudiantes de la FCS” UAE FCS
UdelaR. Disponible en: http://www.fcs.edu.uy/archivos/DT%20evaluacion%20actividades%20docentes%20x%20
opinion%20de%20los%20estudiantes%20de%20la%20FCS.pdf
Unidad de Asesoramiento y Evaluación (UAE) (2012). Informe acerca de la Evaluación de la función de enseñanza:
Encuesta de opinión a estudiantes sobre los Cursos y el Profesorado. (1993-2011).
U. de Burgos “Encuestas de evaluación docente on-line: Modelo de Encuesta Institucional”. http://www.ubu.es/es/
eval-docente-1

8
Instrumento para evaluar el desempeño
docente en educación secundaria
desde la percepción de los estudiantes
14 de marzo de 2015
 Instrumento para evaluar el desempeño
docente en educación secundaria
desde la percepción de los estudiantes
Autor principal: Irma Gloria Arregui Eaton
Licenciada en Ciencias de la Educación (UABC). Instituto de investigación y desarrollo educativo.
Ensenada, Baja California. México.
irma.arregui@uabc.edu.mx

Autor(es) secundario(s):

Alicia Alelí Chaparro Caso-López

Doctorado en análisis experimental del comportamiento (UNAM).
Instituto de investigación y desarrollo educativo. Ensenada, Baja California. México.
achaparro@uabc.edu.mx
Carlos Díaz López
Licenciado en Psicología (UABC). Instituto de investigación y desarrollo educativo.
Ensenada, Baja California. México.
carlos8diaz@gmail.com

PALABRAS CLAVE: Evaluación; desempeño docente; estudiantes; educación secundaria.

EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
En la actualidad, el desempeño docente es considerado uno de los ejes articuladores de los diversos procesos que
se realizan en cualquier sistema educativo formal (Estrada, 2002). En un contexto en el que lograr la calidad de
los procesos educativos es una prioridad, el estudio que se presenta se realizó con el objetivo de desarrollar un
instrumento para evaluar el desempeño docente desde la percepción de los estudiantes de secundaria, apoyado
en el Marco Para la Enseñanza de Danielson (2013). Material y método. Se diseño un banco de 128 ítems, que
fueron sometidos a un proceso de validez de contenido con la técnica de jueces expertos, en la que participaron
13 docentes en ejercicio. Las valoraciones de los jueces se analizaron a partir del índice de validez de contenido
de Lawshe (1975), resultando un banco de 110 ítems. Se piloteo el cuestionario en una muestra de 852 estudian-
tes de los tres grados de secundaria. Los datos obtenidos fueron sometidos a un proceso de optimización de la
medida con el propósito de generar un banco de ítems menor, que resultara más apropiado para evaluaciones a
gran escala. Conclusiones. Se pretende que los hallazgos aporten información relevante que contribuya al campo
de la evaluación docente, a través de la obtención de evidencias directas del desempeño docente en el aula, desde
la percepción de los estudiantes, mismas que de apoyo para encaminar la mejora del trabajo docente y con ello
contribuir al reto que implica elevar la calidad de la educación en México.

2
 INTRODUCCIÓN

En el desempeño docente, se conjugan varios elementos, que al ser evaluados contribuyen a determinar si la acción del
profesor en el aula, está dirigida eficazmente al cumplimiento de los fines del acto educativo (Romo, 2013). En general, se
reconoce que la evaluación del desempeño docente es una tarea compleja, en la que el principal dilema se ha centrado en
cómo hacerlo, quién debe hacerlo y para qué debe evaluarse (Valenzuela, 2002).
Ante la premisa de que en la mejora de los procesos educativos habrán de participar todos los actores involucrados
(Vaillant, 2008), se destaca la importancia de la participación de los estudiantes en la evaluación del desempeño docente,
principalmente en los procesos de organización y aplicación de estrategias y técnicas de enseñanza, de acuerdo con Nieto
y Portela (2008, como se citó en Román, 2010) sobre todo si se considera que son los estudiantes quienes pasan muchas
horas en el salón de clases, más de lo que ningún observador lo ha hecho ni lo hará (Ferguson, 2012).
A este respecto, cabe destacar que la participación de los estudiantes, en la evaluación del desempeño docente, de acuerdo
con la literatura especializada, es una estrategia hasta hoy empleada principalmente en el nivel superior (Rueda, 2008; Luna
y Torquemada, 2008). No obstante, toda vez que se ha reconocido el protagonismo de los estudiantes, incluidos los niveles
de educación básica, en el proceso de enseñanza-aprendizaje, se considera necesario incluirlos en los procesos de evalua-
ción del desempeño de sus profesores (Nieto y Portela, 2008).
De acuerdo con Román (2010) aunque en diversos países de Latinoamérica, se ha establecido que los estudiantes son
capaces de señalar las acciones y características de sus maestros que favorecen su interés por aprender, así como las que
influyen en su deseo por permanecer o abandonar la escuela, en otras palabras ellos representan una fuente irremplazable de
información útil para valorar la calidad del trabajo de los docentes en servicio; también se ha encontrado que la participación
de los estudiantes de primaria y secundaria, en la evaluación del desempeño de sus docentes es casi nula (Román, 2010).
No obstante, dado que la evaluación del desempeño docente se plantea el seguimiento de las acciones educativas
dentro del aula y de los avances alcanzados por los estudiantes, con el propósito de dar a conocer al propio docente sus
fortalezas y áreas de oportunidad, así como para generar propuestas de mejora (De Chaparro, Romero, Rincón y Jaime,
2008) se considera que los estudiantes podrían tener dificultades para valorar el grado de conocimientos del docente
sobre la disciplina que imparte, debido a su falta de conocimientos y criterio para ello (Elizalde y Reyes, 2008; Román,
2010) aunque, al mismo tiempo, se reconoce la importancia de incluir su participación, como parte de las estrategias para
conseguir la mejora en el desarrollo del proceso de enseñanza-aprendizaje en las escuelas, al concebirlos como principa-
les receptores del trabajo docente en el aula.
Además, ante la dificultad para definir los indicadores más eficaces para medir la calidad del desempeño docente
en el aula (Elizalde y Reyes, 2008) de acuerdo con Schmelkes y Mancera (2010) se considera relevante implementar
estrategias para la evaluación del desempeño docente apoyadas en estándares, como una forma de generar insumos
para la mejora educativa (Monja, 2012). Se destaca que en general, en los diferentes marcos internacionales se enfatiza la
importancia de cuatro áreas centrales del desempeño profesional docente, las cuales son: (a) planeación y preparación;
(b) clima de aula; (c) instrucción y (d) responsabilidades profesionales, mismas que coinciden con las que fueron delinea-
das por Danielson en el Marco para la Buena Enseñanza desde su primera edición en el año 1996 y se mantienen hasta la
edición 2013. Se subraya que este marco ha sido señalado como “el más clásico” de los marcos de estándares de desempe-
ño docente (Montt, 2011). A partir de lo expuesto, el objetivo del estudio que se presenta, fue desarrollar un instrumento
para evaluar el desempeño docente en educación secundaria, dirigido a los estudiantes.

3
 DESARROLLO

Método

El estudio comprometió dos fases, en una primera el objetivo se centró en establecer la validez de contenido de los ítems
y en una posterior, en la optimización de la medida, a través de la depuración de los ítems y del establecimiento de sus
propiedades métricas.

Participantes

Para la fase de establecimiento de validez de contenido, se involucraron 13 expertos en docencia, 11 mujeres y 2 hombres,
con un promedio de 13 años de experiencia docente. En la segunda fase, participaron 852 estudiantes de secundaria, 376
hombres y 476 mujeres con promedio de edad de 14 años.

Instrumento

Para el desarrollo del banco de ítems se empleó como punto de partida el conjunto de indicadores del marco para la en-
señanza de Danielson (2013). Dicho marco incluye un total de 103 indicadores, de los cuales al ser analizados 14 fueron
descartados como útiles para el diseño de ítems, pues se determinó que su contenido está enfocado a indagar acciones
docentes que no pueden ser fácilmente juzgadas por los estudiantes. Así, con los 89 indicadores restantes se diseñó un
banco de 128 ítems, dado que algunos de ellos pudieron utilizarse como base para el diseño de más de un ítem.

Evidencias de validez de contenido

Para estimar la validez de contenido del banco de 128 ítems se realizó un proceso de jueceo, cuyos resultados fueron ana-
lizados a partir del índice validez de contenido de Lawshe (1975), el cual consiste en la valoración grupal necesaria, útil y
esencial de cada uno de los ítems. Dada la participación de un total de 13 expertos participantes, de acuerdo con Lawshe
(1975) un índice de al menos .54 es suficiente para indicar que cada uno de los ítems ha sido valorado como esencial.
Una vez realizado el análisis, aquellos ítems con un índice menor a .54 fueron eliminados.
Cabe señalar que, como resultado de las observaciones y sugerencias de los propios jueces fue posible preservar 17
ítems cuyo índice alcanzó un IVC de 0.538, dado que fueron señalados como esenciales para medir el desempeño docente
en el aula, resultando un banco con un total de 110 ítems.

Optimización de la Medida

Con los 110 ítems resultantes de la etapa de análisis de validez de contenido, se sometieron a un proceso de optimización
de la medida, con el propósito de generar un banco de ítems menor, que resultara más apropiado para evaluaciones a gran
escala, con adolescentes. Para la realización de este proceso se efectúo el procedimiento de optimización de la medida de
constructos complejos, propuesta por Jornet, Gonzalez-Such y Perales (2012). Este procedimiento se desarrolló en tres
fases, a través de las cuales se buscó por un lado, seleccionar aquellos ítems que aportan información suficiente, con un
elevado grado de confiabilidad y validez. Y por otro, reducir la cantidad de ítems a partir de la eliminación de aquellos
que eran redundantes o aportaban menos información.

4
 Tabla 1  Ítems eliminados a partir del análisis de Lawshe.

El ítem
Congruencia Congruencia reactivo/
puede ser respondido
# Ítem (s) Ítem/sub-dimensión indicador
por los estudiantes
Jueces a favor IVC Jueces a favor IVC Jueces a favor IVC
El profesor nos devuelve los trabajos
7 de clase señalando cómo corregir 9 0.384 9 0.384 11 0.692
nuestros errores.
Mis profesores relacionan los temas
9 9 0.384 9 0.384 8 0.230
de clase con experiencias personales.
Cuando mi profesor explica su clase,
es como si me conociera muy bien
11 pues en su clase habla de cosas que 8 0.230 9 0.384 9 0.384
me suceden todos los días o sobre cosas
que mis compañeros y yo conocemos.
El profesor organiza actividades a las que
13 9 0.385 9 0.384 9 0.384
invita a participar a los padres de familia.
El profesor conoce las necesidades
14 de aprendizaje de cada uno de 9 0.385 7 0.076 7 0.076
los estudiantes de la clase.
El profesor nos explica qué vamos
15 9 0.385 7 0.076 11 0.692
a aprender en cada clase.
El profesor nos explica qué vamos
17 9 0.385 10 0.538 9 0.384
a aprender en cada clase.
El profesor propone actividades diferentes
18 8 0.230 8 0.230 8 0.230
para cada uno según nuestro avance.
El profesor utiliza materiales que
20 complementan la información de los libros
9 0.385 8 0.230 9 0.385
de texto que nos da la SEP.
El profesor realiza evaluaciones diferentes
32 a los compañeros con necesidades 8 0.230 8 0.230 7 0.076
especiales.
El profesor se acerca a nosotros
37 9 0.385 9 0.385 9 0.385
cuando nos habla.
El profesor nos pone a trabajar
53 en alguna de las actividades del día 7 0.076 9 0.385 10 0.538
mientras pasa lista.
Mis compañeros y yo nos acomodamos
59 en orden para cambiar de actividad 8 0.230 9 0.385 10 0.538
durante la clase.
El profesor consigue que todos participen
92 9 0.385 9 0.385 10 0.538
en la discusión de un tema.
El profesor invita a otros profesores
118 7 0.076 5 0.230 8 0.231
como observadores de su clase
El profesor participa como voluntario
120 en actividades de apoyo a nuestra 9 0.385 11 0.692 5 −0.230
comunidad.
122 Los estudiantes hablan de este profesor. 8 0.231 7 0.076 9 0.385
Otros profesores hablan bien
123 9 0.385 9 0.385 10 0.538
de este profesor.

5
 Tabla 2  Ítems preservados por sugerencias y observaciones de los jueces participantes.

El ítem
Congruencia Congruencia ítem/
puede ser respondido
# Ítem (s) Ítem/sub-dimensión indicador
por los estudiantes
Jueces a favor IVC Jueces a favor IVC Jueces a favor IVC
Durante la clase, el profesor va mencionado
1 los conceptos más importantes 10 0.538 11 0.692 12 0.846
de cada tema.
El profesor nos devuelve los exámenes
6 10 0.538 10 0.538 12 0.846
señalando cómo corregir nuestros errores.
El profesor incluye en los temas
12 10 0.538 10 0.538 11 0.692
de su clase cosas que nos interesan.
El profesor utiliza los libros proporcionados
19 10 0.538 10 0.538 10 0.538
por la SEP.
El profesor nos deja tareas en las que
23 nos sugiere visitar la biblioteca pública, 10 0.538 11 0.692 11 0.692
hemeroteca, museos o fábricas etc.
El profesor nos pregunta sobre las cosas
36 que hacemos el fin de semana (deportes 10 0.538 10 0.538 11 0.692
o hobbies)
Todos participamos en la organización
58 10 0.538 11 0.692 11 0.692
de la clase.
El profesor nos recuerda las reglas
62 10 0.538 11 0.692 10 0.538
de la clase.
El profesor nos premia cuando respetamos
70 10 0.538 10 0.538 11 0.692
las reglas de la clase.
71 Me siento a gusto en esta clase. 10 0.538 12 0.846 13 1.000
El salón de clases tiene el mobiliario
78 10 0.538 10 0.538 12 0.846
y material que necesitamos.
El profesor deja que trabajemos
99 10 0.538 10 0.538 12 0.846
a nuestro propio ritmo.
El profesor aprovecha cualquier situación
108 10 0.538 11 0.692 11 0.692
para enseñarnos cosas nuevas
El profesor nos pide nuestra opinión
109 sobre las actividades que hacemos durante 10 0.538 9 0.385 12 0.846
la clase.
El profesor envía reportes a nuestros padres
115 10 0.538 10 0.538 10 0.538
sobre nuestro avance.
El profesor nos organiza para que apoyemos
121 10 0.538 11 0.692 9 0.385
a nuestra comunidad.
El profesor dice que los estudiantes
126 10 0.538 10 0.538 11 0.692
somos lo más importante en la escuela.

6
 Fase 1. Análisis de consistencia interna del banco de ítems original

Se realizó un análisis de consistencia interna al total de 110 ítems, los cuales se distribuían en las cuatro dimensiones del
marco para la buena enseñanza (Planeación y preparación k = 25, Clima de aula k = 43, Enseñanza o instrucción k = 28,
Responsabilidades profesionales k = 14), el resultado que se obtuvo indicó que el conjunto de los 110 ítems registraron
un índice de consistencia interna de .98 (ver tabla 3).

Fase 2. Exploración del comportamiento de los ítems de la versión original

Esta fase permitió eliminar un total de 16 ítems que se presentaban una distribución sesgada, es decir aquellos en los que
se observaba más de1 80% de respuestas hacia un extremo de la escala de respuesta. Esto dio como resultado un total de
94 ítems distribuidos en las cuatro dimensiones del marco (Planeación y preparación k = 22, Clima de aula k = 35, Ense-
ñanza o instrucción k = 26, Responsabilidades profesionales k = 11) que conservaron un nivel de consistencia interna y
una correlación con el total de ítems original aceptables (ver tabla 3).

Tabla 3  Alfa y correlación ítem-total de cada una de las fases de optimización de la medida

Fases Total de ítems Alfa Correlación ítem total

1 110 0.98
2 94 0.98 0.997
3 71 0.98 0.993

Fuente: elaboración propia.

Fase 3. Selección de ítems a partir de criterios de calidad métrica

Con los 94 ítems resultantes de la fase 2, los cuales se consideró seguían siendo demasiados para ser empleados en pro-
cesos de evaluación del desempeño docente a gran escala y desde la percepción de los estudiantes, se determinó eliminar
aquellos ítems que presentaban una correlación punto biserial inferior a .30, así como también aquellos que registraban
una correlación inter-ítem mayor a .50, a partir de lo cual de los 94 ítems que se enlistaban al inicio de esta segunda fase,
se eliminaron un total de 23 ítems, quedando un total de 71 ítems distribuidos como sigue: Planeación y preparación k =
16, Clima de aula k =2 5, Enseñanza o instrucción k = 21, Responsabilidades profesionales k = 9, los cuales conservaban
tanto un nivel de consistencia interna, como una correlación con el total de ítems original aceptables (ver tabla 3).

CONCLUSIONES

En este trabajo se presenta una propuesta para la evaluación del desempeño docente basado en la opinión de los estu-
diantes. El primer análisis llevado a cabo, implicó el establecimiento de la validez de contenido, con base en el juicio de
expertos en docencia. Los datos obtenidos en este primer procedimiento mostraron que los ítems que integraban cada
una de las dimensiones, verdaderamente miden el constructo de interés, pues el índice de Lawshe, es una forma más ob-
jetiva de establecer que las cuatro dimensiones del Marco para la Enseñanza de Danielson (2013) están representadas en
el banco de ítems. Por lo tanto, podemos afirmar que los ítems que presentamos son válidos para la evaluación del desem-
peño docente a través de la percepción de los estudiantes. Asimismo, se considera que el instrumento, al estar basado en
el marco de Danielson, es útil para obtener información relacionada con la calidad de la planeación y preparación de las
actividades docentes, el clima de aula, las prácticas de enseñanza o instrucción, y finalmente las acciones que evidencian
la responsabilidad profesional del docente con el proceso de enseñanza-aprendizaje.

7
 Asimismo, aunque se tenía asegurada la validez de la propuesta, la cantidad de ítems es inapropiada para ser apli-
cada a estudiantes de secundaria, por lo que se consideró necesario reducir la cantidad de ítems, pero conservando sus
propiedades métricas. Así, se logró un banco de 71 ítems, que resulta más apropiado para aplicarse a estudiantes de
secundaria. Este proceso contribuyó a asegurar una propuesta evaluativa más práctica, pero que conserva el contenido
de las dimensiones originales. En conclusión, se considera que el instrumento que se propone es útil y confiable para
que los estudiantes aporten información que permita evaluar el desempeño de sus docentes. No obstante, la cantidad de
ítems que integran el instrumento es aún numeroso, por lo que se reconoce la necesidad de realizar nuevos estudios con
el propósito de obtener una versión aún más compacta, pero cuidando sus propiedades métricas. Una vez obtenida esta
versión, someterla a un nuevo proceso de validez, a través de un análisis factorial confirmatorio.
Con base en los resultados obtenidos, se considera que el instrumento diseñado constituye una herramienta útil para
recoger información que permita la valoración de la calidad del desempeño docente. Sin embargo, debe tenerse en cuenta
que este estudio, se realizo en un contexto particular, es decir, en una ciudad fronteriza cuyas características de dinámica
escolar y de la propia población, pueden influir en los resultados de la valoración docente. Por ello resultaría pertinente
tener en cuenta la necesidad de realizar estudios de validez contextual (Nsamenang, 1992) que ayuden a verificar que el
instrumento funcione igual en diferentes poblaciones, por ejemplo: estados del centro y sur de la Republica Mexicana, o
incluso en otros países.
Asimismo, se sugiere usar este instrumento en combinación con otros instrumentos y herramientas para la evalua-
ción del desempeño, a fin de recuperar más información que a su vez permita establecer las características del buen des-
empeño docente. Es decir, si bien la propuesta evaluativa que se presenta en este estudio, muestra ser una herramienta
útil para la valoración del desempeño docente, ésta no debe utilizarse como único medio de evaluación, sino que debe ser
acompañada de otros medios de verificación que ayuden a tener una visión integral del desempeño docente.

BIBLIOGRAFÍA

Estrada, L. (2002). El Desempeño Docente. Departamento de Filosofía Facultad de Ciencias de la Educación Universidad de
Carabobo-Venezuela. Recuperado a partir de https://upload.wikimedia.org/wikipedia/commons/d/dd/IMPORTANCIA_
DEL_DESEMPE%C3%91O_DOCENTE.pdf
Ferguson, R. (2012). Can student surveys measure teaching quality? Phi Delta Kappan, 94(3), 24-28.
Danielson, C. (2013). The Framework for Teaching Evaluation Instrument. The Danielson Group. Recuperado a partir de
http://danielsongroup.org/
De Chaparro, G. J., Romero, L. J., Rincón, E., y Jaime, L. H. (2008). Evaluación de desempeño docente. Cuadernos de Lingüística
Hispánica, (11), 167-178.
Lawshe, C. H. (1975). A Quantitative Approach To Content Validity.
Monja, M. I. (2012). Desempeño docente. Recuperado a partir de http://mariaisabelmonja.wordpress.com/2012/02/06/
desempeno-docente/
Román, M. (2010). La voz ausente de estudiantes y padres en la evaluación del desempeño docente. Serie Documentos de
trabajo, (49). Recuperado a partir de http://www.cide.cl/documentos/preal_49_MR.pdf
Romo, J. (2013). Evaluación Comprehensiva del Desempeño Docente. Conciencia Tecnológica, 46), 52-55.
Schmelkes, S., y Mancera, C. (2010). Recomendaciones de políticas específicas sobre el desarrollo de un marco integral para
la evaluación de maestros en servicio. Recuperado a partir de http://www.inidedelauia.org/2012/02/recomendaciones-
de-politicas.html
Jornet-Meliá, J.M., González-Such, J. y Perales, M.J. (2012). Diseño de cuestionarios de contexto para la evaluación de los
sistemas educativos: optimización de la medida de constructos complejos. Revista de la Sociedad Española de Peda-
gogía Bordón, 64 (2), 89-110. Recuperado a partir de http://www.uv.es/gem/gemhistorico/mavaco/publicaciones/
Diseno_de_cuestionarios_de_contexto.pdf
Valenzuela, J. (2002). Evaluación del desempeño docente a partir de la opinión de los alumnos (tesis de maestría).
Universidad de Sonora, Sonora, México.

8
Measuring the effectiveness
of Teaching Knowledge Test (TKT) in Mexico
14 de marzo de 2015
 Measuring the effectiveness
of Teaching Knowledge Test (TKT) in Mexico

Rosalía Valero Elizondo

Maestra en Ciencias, Cambridge English Language Assessment, México.
rosalia-valero@cambridgeenglish.mx

PALABRAS CLAVE: Evaluación, inglés, docentes, TKT, México.

EJE TEMÁTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos

Resumen
Hasta 250 palabras. Éste debe reflejar los aspectos más relevantes y ser congruente con el título, expresar la rele-
vancia teórica y práctica del trabajo.
In May 2005, Cambridge English Language Assessment introduced the Teaching Knowledge Test (TKT) for
English teachers who would like to gain an international qualification recognising their experience (see Khalifa
2008 for an account of TKT development and validation).
TKT is widely used in Mexico by different institudions in both public and private sectors. The Dirección Gener-
al de Acreditación, Incoproración y Revalidación (DGAIR) of the Secretaría de Educación Pública y Cultura (SEP)
who have recognised and approved the use of TKT (performance bands 3 and 4) in gaining an associate degree in
English Language Teaching (Técnico Superior Universitario (TSU) en Enseñanza del Inglés).
Given the extensive usage of TKT In Mexico, Cambridge English embarked in a national research project to under-
stand the effects and consequences which result from using and referring to TKT in the Mexican educational context.
The construct definition of the knowledge measured by TKT is based summarized in Tsui and Nicholson
(1999) and in Tsui (2003) as follows:

»» Subject matter knowledge, i.e., knowledge of the concepts and terminology of a subject discipline; the un-
derstanding of the facts, concepts, substantive and syntactic structures of a subject discipline.
»» General pedagogic knowledge, i.e., knowledge of general principles (strategies, beliefs and practices) of tea-
ching and learning which are applicable across subject disciplines.
»» Pedagogic content knowledge, i.e., specialised knowledge of how to represent content/subject matter
knowledge in diverse ways that students can understand (e.g. through examples, analogies).
»» Knowledge of context, i.e., knowledge of social, cultural and institutional contexts in which teaching and
learning takes place.

2
 This paper describes an initial phase of the study undertaken by Cambridge English Language Assessment to under-
stand the effects and consequences of the use of TKT within the Mexican educational context where TKT is widely used
in both public and private sectors. This investigation is in line with the concept of impact by design, which suggests that
‘assessment systems should be designed from the outset with the potential to achieve positive impacts and takes an ex
ante approach to anticipating the possible consequences of using the test in particular contexts’ (Saville 2012:5).

CAMBRIDGE ENGLISH TKT

In 2005, TKT was introduced for teachers of English who would like to gain an international qualification recognising their
teaching knowledge, enhance their career opportunities by broadening their teaching experience into specialist areas, keep their
teaching skills up to date, or for those who would like to enter the English teaching profession. The construct definition of the
knowledge measured by TKT is based on Tsui and Nicholson (1999) and Tsui (2003) and includes:

»» subject matter knowledge (the concepts, terminology and syntactic structures in a subject discipline)
»» general pedagogic knowledge (general principles of teaching and learning)
»» pedagogic content knowledge (specialised knowledge of how to represent content/subject matter knowledge in
ways that students can understand)
»» knowledge of context (the social/cultural/institutional contexts where teaching and learning take place).

TKT is divided into core and specialist modules (see Table 1). Results are reported in terms of band per-
formance with Band 1 reflecting limited knowledge of content areas, Band 2 showing basic but systematic
knowledge, Band 3 indicating breadth and depth of knowledge and Band 4 illustrating extensive knowledge
of TKT content areas.

Table 1  TKT modules

Specialist modules
Core modules

Module 1 – Background to language teaching TKT: Content and Language Integrated Learning (TKT: CLIL)
Module 2 – Planning for language teaching TKT: Knowledge About Language (TKT: KAL) 
Module 3 – Classroom management TKT: Young Learners
Practical – Assessment of teaching competence -

TKT has been adopted at governmental level in Brazil, Chile, Colombia, Ecuador, Egypt, Italy, Portugal, Thailand and Vietnam.

THE RESEARCH STUDY

The research design

The goal was to investigate the effectiveness of TKT from two key stakeholders groups perspectives: a) policy makers,
planners and implementers; and b) teachers who have taken TKT.
Quantitative and qualitative data were analysed and discussed within a mixed-methods research design, which
enabled building a rich picture, while the triangulation of information from multiple sources enhanced confidence in
the findings.

3
 A total of 660 stakeholders across all Mexico provided their views and their ratings using a Likert scale on a series of
questions. Figure 1 shows the percentage of respondents from each state in Mexico. Given the scale of this study and the
sample, the results need to be interpreted with caution and should not be seen as representative. However, these prelim-
inary findings can be seen as a potential indicator of the wider impact of TKT.

Figure 1  Survey responses by state

20%
18%
Percentage of respondents

16%
14%
12%
10%
8%
6%
4%
2%
0%

Zacatecas
Nuevo León

Baja California Sur

Tlaxcala
Baja California
Jalisco

Tabasco

San Luis Potosí

Tamaulipas
Durango

Puebla
Sinaloa
Oaxaca

Guerrero

Hidalgo
Estado de México

Quintana Roo

Coahuila

Querétaro
Michoacán

Chihuahua

Campeche
Guanajuato
Sonora

Colima
Yucatán
Distrito Federal

Nayarit
Veracruz

Chiapas

Morelos
Aguascalientes

Research participants

The first group of research participants were policy makers, planners and implementers (n=27). Structured interviews
were conducted with nine government officials, 16 respondents from the higher education sector and two from private
teacher training institutes, with an average of 8.5 years of experience within their respective workplaces.
The second group of research participants were 633 teachers who had taken TKT who completed the survey on a
voluntary basis. Most of the respondents were female (71%) and they represented various age groups with 31% aged
20-29, 34% aged 30-39, 25% aged 40-49 and 10% aged 50+. They teach in various educational settings: state and private
primary and secondary schools, language institutes and universities. Most respondents (~90%) are highly experienced
teachers, and about 40% of them have a Bachelor’s or a Master’s degree in English Language Teaching.

4
 RESULTS AND DISCUSSION

Stakeholder perceptions of TKT – Group 1

Policy makers, planners and implementers answered five interview questions:

»» What made your institution decide to adopt and/or require your academic staff to take TKT?
»» What were your expectations when you decided to adopt/require teaching staff to take TKT? What was the impact
on your institution, teaching staff, etc.?
»» What has been the impact of adopting TKT?
»» To what extent has TKT met your expectations? How?
»» If your expectations were not fulfilled, why not?

Government perspective

Within this sector, compliance with the requirements of the PNIEB (Proyecto Nacional de Inglés en Educación Básica)
programme run by SEP (the State Ministry of Education) was the main motivation for adopting TKT. The acknowledg-
ment of the number of in-service teachers who need to improve their language and teaching proficiency and the desire to
raise the standards of language teacher education at the pre-service level were also key drivers for the adoption of TKT.
Another motivating factor was the ability to partner with an internationally recognised examination board and make use
of its teaching qualification to reach the desired goal of higher standards of teacher education and to satisfy the demand
for qualified and certified teachers, e.g.:

‘It is an honor to be able to say that our public school English teachers have the profile and the teaching skills that they
need, and this is not only something that the state affirms but is certified by a formal exam applied by the University of
Cambridge. We are finally on our way to achieving our goal of being able to state that the State of Aguascalientes has
the highest quality English teachers.’(Valeria Alvarez Borrego, Instituto de Educación de Aguascalientes)

The expectations of this stakeholder group were met in terms of improvements in teaching practices and students’
language proficiency together with an improved ability to measure existing teachers’ knowledge and skills as a result of
adopting TKT. According to these respondents, adopting TKT has also resulted in a diversity of teaching strategies and a
better understanding of the learning process:

‘The teachers who certified with TKT came to realize that there is much to learn about second language teaching and
they continue to look for ways to improve their teaching skills. The results for the educational community (parents,
administrators, permanent teaching staff, etc.) have been very positive.’ (Claudia Rocío Valenzuela Ortiz, SEP, Culiacan,
Sinaloa)

Some expectations of this group were not met, especially when teachers had not taken the TKT qualifica-
tion, either due to insufficient funding or lack of interest, or being content with teacher preparation courses
which did not provide an internationally recognised qualification:

‘Our objectives were not met because our teachers did not proceed with the process; they did not get their TSU [Técnico
Superior Universitario, Associate Degree] at the end of the modules.’ (Myrna D. Segura C, SEP, Hermosillo, Sonora)

5
 Higher education perspective

The key motivating factors for implementing TKT in the higher education sector were certification, accreditation and
international recognition, which largely overlap with the goals of the government sector. Two further goals of university
decision-makers are to train teachers by offering opportunities to learn or improve their basic teaching skills as part of
their courses and to equip university students with better skills for the employment market in order to increase their
prospects. Compliance with the requirements of regulatory bodies such as SEP is as important as showing educational
leadership and offering a competitive edge when compared to universities who do not offer Cambridge English teaching
qualifications. Higher education respondents commented:

‘We also were looking to unify criteria when hiring English teachers by specifying the training and teaching experience
required… The impact has been huge and is expanding across all of Baja California. I think it has surpassed our
expectations because we have become a point of reference for other institutions both public and private.’ (Patricia
Columba Godinez Martinez, Universidad Politécnica De Baja California, Mexicali, Baja California)

‘Our expectation was to elevate the quality of our classes and in this way continue to show educational leadership in
the city of Queretaro. We also need to comply with the policies of the state education ministry, which now requires more
accreditation for English teachers in the classroom.’ (Darío Malpica Basurto, Universidad Contemporánea, Querétaro,
Querétaro)

The beneficial effects among universities are seen in good TKT exam performance, which has resulted
in an increasing number of certified teachers, and in teachers being motivated to attend professional devel-
opment events and undertake higher level study. As in the government sector, there is a belief in the higher
education sector that students’ language proficiency is a direct result of teachers’ language proficiency.
Beneficial impact is also seen in improved classroom practice, better understanding of the learning pro-
cess, higher proficiency levels, and enhanced teacher employability.

Private teacher training institute perspective

The third group of respondents who took part in structured interviews were those who have adopted TKT in private
language institutes. This group opted to offer TKT preparation courses and subsequent certification because of their
perception of TKT as an ideal initial qualification leading to further teaching qualifications.
Expectations in this sector were met:

‘Our expectations regarding the preparation courses we offer for TKT have been fully satisfied… However we have not
reached 100% certification of the teachers we prepared to take the exam, and the reasons for this range from financial
difficulties to scheduling problems.’ (Rafael Diazgonzález Plata, Instituto de Desarrollo de Habilidades Docentes SC,
Metepec, Estado de México)

Stakeholder perceptions of TKT – Group 2

The teachers who had taken TKT responded to survey questions with regard to the perceived impact of TKT on their
knowledge, skills and attitude, as well as personal and professional development. The findings arising from their respon-
ses are discussed next.

6
 Teachers’ expectations of TKT

The majority of teachers indicated professional development, international recognition and career advancement as the
main reasons why they decided to take TKT. Around a third had taken TKT because their employer required it, or because
they did not have an existing teaching qualification, whilst others took it for personal development.
Figure 2 shows what teachers initially expected to gain from taking TKT. In general, teachers expected to gain formal
recognition and evaluation of teaching knowledge and practice, with other expectations including for personal develop-
ment, for work abroad, and even to keep their current job.

Figure 2  Initial expectations of TKT

80%

70%
Percentage of respondents

60%

50%

40%

30%

20%

10%

0%
To have formal To evaluate my To get a better To start the Other
recognition of my teaching job, or have a accreditation
teaching knowledge and promotion in my process towards
experience practice current job becoming a
Técnico Superior
Universitario en
Enseñanza del
Inglés

When asked whether their expectations have been met, 93% of the respondents reported that TKT has
exceeded their expectations.

Teachers’ perception of TKT impact

This section looks at the perceived impact of TKT on teachers’ personal and professional development, pedagogical prac-
tices and beliefs.

Impact on personal and professional development

Tables 2 and 3 illustrate the positive effect of TKT as perceived by the majority of respondents. These results reflect
improved knowledge in terms of a better understanding of theoretical and practical issues, improved skills in terms of
self-reflection and self-awareness, as well as improved attitudes in terms of confidence and motivation gained.

7
 Table 2  Personal development (% agreement)

Strongly Strongly
Statement Agree Neutral Disagree
agree disagree
I feel more motivated to continue developing
63 30 6 1 0.3
as a professional teacher.
I feel more confident in presenting at TEFL seminars
37 39 21 3 0.6
and conferences.
I feel more confident to take part in discussions
49 35 13 2 0.6
about teaching and learning.
I feel more confident about my teaching skills. 55 34 9 2 0.3
I have developed greater self-awareness
46 41 11 2 0.0
of negative aspects of my teaching.
I have developed greater self-awareness
53 40 6 1 0.2
of positive aspects of my teaching.
I now reflect more on my teaching than I used to. 51 37 10 1 0.2
I find teaching more enjoyable. 53 35 10 2 0.0

Table 3  Professional development (% agreement)

Strongly Strongly
Statement Agree Neutral Disagree
agree disagree
I shall have more professional career opportunities in
44 33 18 3 0.8
other countries in the future.
I shall have more professional career opportunities in
53 33 11 2 0.5
Mexico in the future.
I can understand articles and books on TEFL more easily. 38 40 18 3 0.6
I have developed a better understanding of the
communicative approaches in current English Language 51 40 8 1 0.1
Teaching methodology.
I have developed a better understanding of the
52 40 7 1 0.2
theoretical principles underlying my teaching.

Typical comments from teachers on their personal and professional development include:

‘I'm really grateful with my TKT because it makes me feel better when teaching and I improve myself as a person and as
a professional person.’ (An experienced teacher, 40s, Estado de México)

‘The TKT tests help me a lot to get a new and better job. Now I feel more prepared and competent to teach English.’
(Teacher, 20s, Quintana Roo)

Impact on beliefs and pedagogical practices

When asked whether preparing for TKT or taking the test changed any of the respondents’ previously held beliefs and
feelings about language teaching, 50% gave a positive response, summarised in Table 4.

8
 Table 4  Changed beliefs
Thematic categories Number of respondents
Teaching methods and preparation 203
Learning new information 107
Desire for further study to improve knowledge 103
Student-centred teaching 49
Perception of ability to teach 47
Lesson planning and schemes of work 45

Figures 3 and 4 illustrate responses to statements about lesson preparation and classroom practice.

Figure 3  Impact of TKT on lesson preparation

I have more ideas for the classroom

I feel better equipped to evaluate teaching

materials

Strongly agree
My lesson planning has improved
Agree

I can identify my students' needs more

precisely

I plan for and meet my students’ needs

more effectively

0% 20% 40% 60% 80% 100%

Percentage of respondents

Figure 4  Impact of TKT on classroom practice

My students can learn more from my

lessons

I use more appropriate assessment

activities and tests with my students

I use more suitable resources, classroom

materials and teaching aids Strongly agree
My teaching methods better match the Agree
age, level and needs of my students

I use more appropriate interaction patterns

in my teaching

My teaching skills have improved

0% 20% 40% 60% 80% 100%

Percentage of respondents

9
 Respondents indicated that their teaching skills had improved across most contexts and that they can identify their
students’ needs better and can plan to meet those needs more effectively (especially in state secondary schools, as well as
in state and private primary schools). Teachers use more appropriate interaction patterns in the classroom (especially in
state and private primary schools, state secondary and private language schools); feel better equipped to evaluate teach-
ing materials (especially in state secondary schools), and they have more ideas for the classroom (particularly in private
primary and in state and private secondary schools). One of the outstanding comments received was the following:
‘TKT has had an impact on the way I communicate, especially with teachers. I am an ICT [Information and Communica-
tion Technology] Coordinator as well as an English Teacher. TKT helped me to communicate the ICT curricula to the Home-
room Teachers (subject teachers) in an easy, practical and specific way. So much in fact, that I was able to break their paper
and pencil dependency due to their inability to relate to technology as English or any other subject teachers. TKT allow me to
speak in the same language and to reach students in a more effective way. Even though TKT is designed for English teaching,
it can be easily adapted to any school subject. (An experienced teacher, 40s, Nuevo León)
Results showed that, in state primary and secondary contexts, teaching methods better match the age, level and needs
of students; in both state and private secondary schools teachers use more suitable resources, classroom materials and
teaching aids; and state secondary and upper secondary teachers use more appropriate assessment activities and tests
with their students. In state language schools teachers feel that their students can learn more from their lessons.
The above sections have dealt with stakeholders’ perceptions. In order to complement the picture emerging from the
survey and structured interviews, teachers’ performance on TKT was examined and compared to teacher performance
in the rest of the world.

Performance on TKT

Figure 5 is based on data from three consecutive academic years (2009/10, 2010/11 and 2011/12) and compares the
performance of Mexican candidates with candidates from all other countries.

Figure 5  Average percentages in each TKT band in Mexico and the rest of the world (ROW) 2009-2012

70%

60%
percentage of candidature

50%

40% 2009/10
2010/11
30% 2011/12

20%

10%

0%
Mexico ROW Mexico ROW Mexico ROW Mexico ROW

Band 1 Band 2 Band 3 Band 4

10
 This figure provides a clear indication that the standard of Mexican teachers is improving, borne out by the number
of candidates achieving Bands 1 and 2 decreasing over time, while the number of candidates achieving Bands 3 and 4
has increased.
The performance of Mexican candidates is on a par with those from all other countries as far as Band 3 is concerned
(note that Band 3 is the minimum level accepted by certain regulatory bodies in Mexico). Similarly, there is no difference
between other countries and Mexico on Band 1 performance . However, the picture differs if we look at Bands 2 or 4,
indicating that candidates from other countries are performing better than Mexican candidates.

CONCLUSIONS

This study has provided insights into the perceived effects of the adoption of TKT in Mexico. At an individual level, it is
mainly seen as a personal and professional development opportunity. At an institutional level, it is viewed as a way of
improving the quality of teaching and the ability of teaching staff – both of which have a positive impact on an institution’s
reputation and ability to deliver reform initiatives. Stakeholder comments attest to the positive effect that TKT has in
raising teaching standards.
The surveyed teachers felt that TKT had improved their understanding of theoretical and practical teaching issues
and helped them become reflective practitioners. TKT also helped with lesson planning, preparing and structuring
their work, as well as with evaluation of teaching materials. Many teachers mentioned an increased understanding
of their learners’ needs and their ability to design better teaching activities which contributed to them focusing on
learners and learning. There is strong evidence that TKT helps increase teachers’ confidence, and that teachers be-
lieve that it leads to better career opportunities in Mexico and abroad.
The study reported here was the initial phase of a longer research study. Cambridge English Language Assessment is
planning to conduct other studies to track the longer-term effects of TKT in a range of contexts.

REFERENCES

Rolwing, K (2006) Education in Mexico, World Education News and Reviews 19 (3), available online: www.wes.org/ewenr/
06jun/practical.htm
Saville, N (2012) Applying a model for investigating the impact of language assessment within educational contexts:
The Cambridge ESOL approach, Research Notes 50, 4-8.
Tsui, A (2003) Understanding Expertise in Teaching, Cambridge: Cambridge University Press.
Tsui, A and Nicholson, S (1999) A hypermedia database and English as a second language teaching knowledge enrich-
ment, Journal of Information Technology for Teacher Education 8 (2), 215-237.

11
Exámenes de egreso, validez y concecuencias
sobre los egresados: el caso chileno
14 de marzo de 2015
 Exámenes de egreso, validez y concecuencias
sobre los egresados: el caso chileno

María del Rosario Rivero Castro*

PhD en Educación, Universidad de California, Berkeley, Centro de Estudios de Políticas y Prácticas en Educación
(CEPPE). Pontificia Universidad Católica de Chile, Chile.
rosario.rivero.c@gmail.com
Constanza Hurtado
Socióloga, Pontificia Universidad Católica de Chile, Centro de Estudios de Políticas y Prácticas en Educación (CEPPE).
Pontificia Universidad Católica de Chile, Chile.
cehurtad@uc.cl
Ernesto San Martín
Phd en Ciencias, orientación en Estadística. Universidad Católica de Lovaina, Bélgica, Centro de Estudios de Políticas
y Prácticas en Educación (CEPPE). Pontificia Universidad Católica de Chile, Chile.
esanmart@mat.puc.cl

PALABRAS CLAVE: Exámenes de egreso, Prueba INICIA, evaluación docente, aseguramiento de la calidad.
EJE TEMÁTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen
Para asegurar la calidad de los docentes muchos países han avanzado en la implementación de evaluaciones de
desempeño a los egresados de pedagogía con distintos niveles de consecuencias.
Así, en Chile desde el 2008 se aplican pruebas de conocimientos de lápiz y papel a los egresados de pedagogía,
llamada INICIA. Si bien en la actualidad sus resultados se usan exclusivamente para informar a las instituciones
sobre el desempeño de sus egresados, la creciente tendencia internacional y nacional hacia el aseguramiento de
la calidad de los docentes sumado a diversas iniciativas nacionales están presionando hacia nuevos usos de estas
evaluaciones con altas consecuencias individuales (habilitación e incentivos monetarios).
Este artículo utiliza el caso chileno para estudiar la validez predictiva de los exámenes de egreso de conoci-
miento y de lápiz y papel. En particular, esta investigación analiza en qué medida el desempeño de egresados en
INICIA: 1) predicen los resultados de los aprendizajes de los alumnos, 2) predicen los resultados de los aprendiza-
jes de los alumnos en comparación a otras evaluaciones y 3) contribuyen información única a la predicción de los
resultados de los estudiantes sobre lo que informan otras evaluaciones.
Sería desfavorable para el sistema habilitar y asignar dinero a docentes con alto desempeño en una prueba de
contenido de lápiz y papel si sus alumnos no logran aprendizajes significativos. Este artículo busca contribuir con
evidencia sobre la validez de medir el desempeño de los egresados a través de evaluaciones de contenidos de lápiz
y papel para atribuir fuertes consecuencias individuales.

*Autor principal

2
 INTRODUCCIÓN

Asegurar la calidad de los docentes es uno de los pilares de un sistema educacional exitoso. Existe amplio consenso del
rol que tiene un profesor en el desarrollo de sus alumnos y la evidencia muestra sistemáticamente que la efectividad del
docente es el factor más relevante en explicar el aporte del establecimiento educacional a los aprendizajes de sus estu-
diantes (Leithwood, Seashore, Anderson & Wahlstrom, 2004).
Para asegurar su calidad muchos países han avanzado en la implementación de mayor accountability a los programas
de formación inicial docente. Dentro del conjunto de políticas de trabajo adoptadas, una línea ha sido el diseño e imple-
mentación de evaluaciones de desempeño a los egresados de pedagogía con distintos niveles de consecuencias asociadas
al desempeño. En algunos países los resultados son utilizados con el objetivo de filtrar el ingreso de nuevos profesores
al mercado laboral, permitiendo que sólo aquellos que logran un determinado estándar de calidad ejerzan la profesión.
Adicionalmente, los resultados también son utilizados como información pública relevante para el “mercado escolar”
(directores y universidades), con miras a generar competencia por calidad y/o asignar recursos o privilegios a aquellos
profesores de mejor desempeño.
Esta creciente tendencia hacia mayor accountability de los programas de educación ha estado acompañada de una
necesidad de recolectar mayor y mejor evidencia sobre el desempeño de los docentes novatos, lo que ha impulsado el de-
sarrollo de sistemas de evaluación cada vez más complejos. Por ejemplo, los países desarrollados han implementado eva-
luaciones de desempeño basadas en múltiples instrumentos que recogen evidencia de la calidad de la formación recibida
y definen la posibilidad de ejercer la profesión, entre los que destacan: portafolios, evaluaciones de prácticas, aprobación
de test de conocimientos de lápiz y papel, entre otros. Adicionalmente, en algunos casos, dichas evaluaciones de desem-
peño se insertan a su vez en sistemas de certificación docente más exigentes para quienes desean ejercer la profesión.
A su vez, diversas instituciones manifiestan la necesidad de tener indicadores válidos y confiables mas allá de la
aprobación de test de conocimientos de lápiz y papel y recomiendan que para habilitar a los docentes se deben incluir
evaluaciones del desempeño docente en el aula, de su capacidad para trabajar con estudiantes con múltiples necesidades
y de las competencias más directamente relacionadas con el aprendizaje de los estudiantes (National Academy of Educa-
tion, National Research Council, Ball and RAND Mathematics Study Panel, 2003; Darling Hammond and Baratz-Snowdon,
2005; Darling-Hammond and Bransford, 2005).
Por su parte, en América Latina hemos avanzado a tener un mayor aseguramiento de la calidad de los programas de
formación, desarrollando estándares que definen la calidad docentes orientados a la formación y sistemas de acredita-
ción de los programas de pedagogía; incluyendo evaluaciones de desempeño a los egresados, y en algunos casos sistemas
de certificación (Avalos, 2011). El caso chileno no es la excepción. Las políticas educacionales chilenas referidas a la
Formación Inicial Docente han transitado desde iniciativas de apoyo con muy escasas medidas de rendición de cuentas a
fines de los noventa, hacia una combinación éstas con medidas de accountability, altas consecuencias y mayor regulación
en el aseguramiento de la calidad de los futuros profesores, durante la última década.
En esta línea en el 2008 surgieron políticas como la instalación de evaluaciones de desempeño a los egresados de peda-
gogía con el objetivo de informar a las instituciones sobre los niveles de conocimiento de sus egresados. Para este propósito
se diseñó el examen INICIA, evaluación de desempeño constituida por pruebas de conocimientos de lápiz y papel y de res-
puesta múltiple. Este test evalúa, en distintas pruebas, conocimientos y habilidades disciplinarias y pedagógicas basadas
en los Estándares Orientadores de formación pedagógica para docentes de párvulos, enseñanza primaria y secundaria. Su
rendición es voluntaria, y se aplica cada año entregando los resultados agregados a instituciones y a la opinión pública.
Si bien en la actualidad los resultados de la prueba INICIA se usan exclusivamente para informar a las facultades de
pedagogía sobre el nivel de conocimientos de sus egresados, la creciente tendencia internacional y nacional hacia el ase-
guramiento de la calidad de los programas de pedagogía sumado a diversas iniciativas nacionales que discuten nuevos
usos de las evaluaciones de desempeño con altas consecuencias individuales1, hacen urgente estudiar la validez predicti-
va de evaluaciones de desempeño con las características de la prueba INICIA en el contexto latinoamericano.

El proyecto de ley del año 2012 propone transformar la prueba INICIA en un Examen de Excelencia Profesional Docente, y con esto hacer obligatoria
1

su rendición para aquellos profesores que busquen trabajo en el sector que recibe financiamiento estatal. En segundo lugar, el proyecto propone
una Asignación de Excelencia Pedagógica Inicial para los profesores recién egresados, lo que significa que los salarios variarán según el desempeño
relativo de los profesores en la evaluación INICIA, entre otros criterios.

3
 Las evaluaciones de desempeño definidas como pruebas de conocimiento de lápiz y papel tienen la gran ventaja de
ser simples y poco intensivas en recursos para masificar su aplicación a todo el universo de profesores recién egresados.
Sin embargo, en aquellos sistemas que han optado por usar evaluaciones de conocimientos de los egresados con altas
consecuencias (por ejemplo para habilitar a los docentes para un periodo de ejercicio o como condición para ingresar a la
certificación) han surgido dudas sobre la validez de este tipo de evaluaciones de desempeño para discriminar a aquellos
profesores mejor preparados para la enseñanza (Wilson, 2014).
En la actualidad, en Chile y otros países en desarrollo están comenzando a utilizar pruebas de conocimiento de lápiz y
papel para evaluar el desempeño y no se cuenta con evidencia sobre su validez para predecir el aprendizaje de los alum-
nos y por ende su efectividad en medir la calidad de los egresados. Usando el caso chileno, este artículo busca contestar
en qué medida las evaluaciones de desempeño de egresados basadas en pruebas de contenidos de lápiz y papel: 1) pre-
dicen los resultados de los aprendizajes de los alumnos, 2) predicen los resultados de los aprendizajes de los alumnos en
comparación a otras evaluaciones y 3) contribuyen información única a la predicción de los resultados de los estudiantes
sobre lo que informan otras evaluaciones.
Chile es uno de los países pioneros de la región en implementar de evaluaciones de desempeño docente ya sea a
recién egresados como aquellos profesores con mayor experiencia. Los resultados de este estudio pueden ser de gran
utilidad para el diseño e implementación de otros sistemas de evaluación en la región. Sería desfavorable tanto para
cada docente como para el sistema educacional habilitar y/o asignar dinero a un docente con una alta calificación en una
prueba de contenido de lápiz y papel si es que el docente no logra aprendizajes en sus alumnos. Por otro lado, sería más
desfavorable aún no habilitar a docentes con una baja calificación en la prueba si el docente logra que sus alumnos apren-
dan. En esta línea, este artículo busca contribuir con evidencia sobre la validez de medir el desempeño de los egresados a
través de evaluaciones de conocimientos de lápiz y papel para atribuir fuertes consecuencias individuales.

DESARROLLO

Revisión literatura 2

Esta investigación presenta una extensa revisión bibliográfica internacional que 1) describe los tipos de instrumentos
utilizados para evaluar a docentes recién egresados y que están asociados a altas consecuencias individuales y 2) analiza
la validez externa de las evaluaciones docentes revisadas.

Metodología

Para estudiar la validez de la prueba INICIA como medida de efectividad docente este estudio utiliza una metodología en
dos etapas. En la primera etapa se construyen dos medidas de efectividad de la escuela, llamados efectos escuela techo y
efecto escuela piso. Estas medidas intentan cuantificar la efectividad de la escuela en promover el aprendizaje asociada a
aquellos factores que son manejables por el establecimiento. Se estiman los efectos escuela piso y techo a partir de mode-
los jerárquicos lineales (HLM) de dos niveles. En un primer nivel se incluyen variables de los estudiantes (educación de
los padres e ingreso familiar) y en el segundo nivel se utilizan variables a nivel de escuela (años de educación promedio
de los padres y puntaje promedio de resultados en pruebas nacionales del año 2008) como predictores del desempeño de
los alumnos en la prueba Simce de matemáticas de cuarto grado. En base a la ecuación (1) se estimaron dos regresiones
con distintas variables de control para estimar los efectos escuela piso y techo. En la primera estimación se incluyen solo
variables a nivel de alumno, estimando a través del error θi j el efecto escuela techo. En la segunda regresión se incluyen

Por espacio solo se describe el contenido de la sección.

2

4
 variables de control a nivel alumno y a nivel escuela, estimando a través del error θi j el efecto escuela piso 3. El supuesto es
que la parte no explicada del desempeño de los alumnos en los modelos HLM debiera ser una aproximación valida de la
efectividad de la escuela.

PtjeSIMCEmathi j = �0i + Características alumnos ij + Características escuela ij + θi j (1)

PtjeSIMCEmathi j = puntaje de un alumno i en curso de profesor j.

�0i = puntaje de un alumno i en curso j con 0 años promedio educación de los padres y 0 ingresos económicos
de los padres de alumno i en curso de profesor j.
Características alumnos ij = características socioeconómicas de un alumno i en curso de profesor j
Características alumnos ij = características socioeconómicas y de desempeño de la escuela de un alumno i en
curso de profesor j.
θi j = error aleatorio asociado con estudiante i en curso de profesor j.

En la segunda etapa, basada en regresiones lineales, se estudia la asociación entre el desempeño de los profesores en
INICIA y las medidas de efectividad de la escuela construidas en la etapa anterior (efectos escuela). Se utilizan distintas
especificaciones de esta asociación para contestar las tres preguntas de investigación. Considerando que la efectividad
docente es uno de los factores que componen la efectividad de las escuelas, se espera que la prueba INICIA, como medida
valida de efectividad docente, prediga la efectividad de las escuelas, y por lo tanto, que el desempeño en INICIA se asocie
positivamente con los efectos escuelas piso y techo.
La Tabla 1 muestra parte de los resultados de la segunda etapa para la primera pregunta de investigación.

Tabla 1  Modelos puntaje INICIA disciplinaria

1 2 3 4 5 6
VARIABLES E. techo E. techo E. techo E. piso E. piso E. piso
Puntaje INICIA disciplinaria 0.0757*** 0.0761*** 0.0635*** 0.0545*** 0.0548*** 0.0552***
  0.0203 0.0203 0.0195 0.0208 0.0208 0.021
Años 0.382 0.337 0.237 0.229
experiencia
  0.557 0.531 0.574 0.575
2.NSE medio 5.898*** 1.115
Ref: NSE bajo 1.286 1.393
3. NSE alto 7.480*** -0.693
1.492 1.584
Constant 96.44*** 95.47*** 92.02*** 97.18*** 96.57*** 96.30***
1.254 1.889 1.913 1.3 1.964 2.078

Observations 291 291 291 273 273 273

R-squared 0.046 0.047 0.141 0.025 0.025 0.031

El efecto piso es menor (y más exiguente) que el efecto techo ya que mide la efectividad de la escuela controlando por variables a nivel de escuela.
3

5
 CONCLUSIONES

Este estudio entrega evidencia sobre la validez predictiva de la prueba INICIA en un escenario de altas consecuencias
asociados al desempeño individual de los docentes en esta. Las principales conclusiones son:
Acorde con la evidencia sobre la validez de evaluaciones docentes basadas en test de conocimiento de lápiz y papel,
este estudio encuentra que los resultados de INICIA disciplinaria y pedagógica tienen una relación positiva, significativa
y consistente con la efectividad de la escuela, medida por los efectos escuela piso y techo basado en los aprendizajes de
sus alumnos. En cuanto a las otras medidas de desempeño estudiadas —prueba de selección universitaria y Docente
más— los resultados muestran que la primera se asocia de manera positiva pero no consistente con la efectividad futura
de los docentes. La segunda evaluación, más compleja en sus instrumentos y aplicada a docentes que ya se encuentran en
ejercicio, muestra una asociación positiva, significativa y consistente con la efectividad escolar. Complementariamente, la
prueba INICIA es un mejor predictor al comparar con los resultados en pruebas de conocimiento aplicadas al finalizar la
formación secundaria y un peor predictor al comprar con los resultados de evaluaciones de desempeño de docentes en
ejercicio (profesores con 2 o más años de experiencia).
Los resultados permiten concluir que la información el desempeño en la prueba INICIA y por ende la formación (ya
sea disciplinarios o pedagógicos) es un buen predictor de la efectividad futura. A la vez se concluye que los indicadores
de desempeño de los docentes (INICIA, Docente Mas) que miden la calidad de la formación pedagógica y del desempeño
en el aula, son mejores instrumentos que una medida que no ha sido construida en base a los estándares docentes (PSU).
Es decir, aun cuando la PSU comparte con INICIA el conocimientos disciplinarios (en matemáticas y en lenguaje) esta
información es débil para distinguir entre profesores de mejor desempeño en el aula de otros. Este resultado contradice
la idea de que ambas mediciones son equivalentes como predictores de efectividad docente, debido a la alta correlación
entre ambas (Manzi et al., 2011).
A su vez los resultados permiten concluir que Docente Más es un buen, e incluso, mejor predictor de efectividad
docente al comparar con INICIA. Una de las posibles razones, apoyada por la evidencia revisada, es que evaluaciones
más complejas, que incluyen observaciones de aula o de portafolios, mantienen una asociación robusta con los logros de
aprendizaje de los alumnos.
Todo lo anterior permite sostener que los resultados entregan luces de que el test INICIA sí contribuye con informa-
ción única sobre el desempeño docente, siendo válido su uso para distinguir entre docentes egresados más efectivos. Aun
así, desconocemos si otorgar consecuencias a los resultados de INICIA es la mejor elección para optimizar las políticas de
mejoramiento escolar. Por esta misma razón es fundamental estudiar si los resultados se mantienen en el tiempo, o bien,
se trata de un efecto singular de los primeros años de ejercicio. Además, tal como señalan los estudios de costo-efectivi-
dad, los instrumentos de habilitación deben optimizar los recursos invertidos en las evaluaciones en función de su validez
y confiabilidad para predecir la efectividad docente.
Algunas precauciones a tomar en cuenta sobre la evidencia aquí encontrada se refiere a que el tamaño de esta mues-
tra es pequeño y que las pruebas de conocimiento aplicadas a los estudiantes solo rescatan su desempeño en un mo-
mento en el tiempo. En la medida que sea posible analizar la validez con una mayor muestra de docentes, los resultados
serán más robustos. Como observamos en este estudio, los resultados de validez de un instrumento no solo se vinculan
al formato de aplicación del test (lápiz y papel, respuestas múltiples) sino que también se explican por el constructo y su
vinculación a aspectos asociados a un mejor desempeño docente. Por este motivo, otra de las limitaciones del estudio, es
que estos resultados no son extrapolables a cualquier prueba de lápiz y papel.
Pese a lo anterior, este es un aporte al sistema nacional de evaluaciones docentes y a la realidad regional en que se
inserta Chile, caracterizada por escasos estudios de validez de evaluaciones docentes. Sobre esto, la metodología con que
se aborda el problema es una contribución para sistemas que cuentan con menos evidencia en este ámbito, ya que es una
manera novedosa de estudiar la validez externa de un instrumento y en dos escenarios, uno exigente y uno menos exi-
gente. Lo que en el futuro podría servir para evaluar el grado de consecuencias asignables a instrumentos de evaluación;
y a la vez comparar con otros instrumentos, como se hace en este trabajo.
Futuras investigaciones podrán profundizar en los estudios de validez predictiva de las otras secciones del examen
INICIA e incluir los resultados de las pruebas de pedagogía aplicadas a distintos programas de formación (parvularia y
secundaria). Asimismo, es deseable complementar estos resultados de validez con otras herramientas como la observa-
ción de clases, para aportar en comprensión de estos hallazgos.
6
 BIBLIOGRAFÍA

Avalos, B. Proyecto Estratégico Regional Sobre Docentes UNESCO-OREALC /Centro de Estudios de Políticas y Prácticas
en Educación (CEPPE)
Ball, D. L. the Rand Mathematics Study Panel (2003). Mathematical Proficiency for All Students: Toward a Strategic Re-
search and Development Program in Mathematics Education.
Darling-Hammond, L., & Baratz-Snowden, J. C. (2005). A good teacher in every classroom: Preparing the highly qualified
teachers our children deserve. Jossey-Bass Inc Pub.
Hammerness, K., Darling-Hammond, L., Bransford, J., Berliner, D., Cochran-Smith, M., McDonald, M., & Zeichner, K. (2005).
How teachers learn and develop. Preparing teachers for a changing world: What teachers should learn and be able
to do, 1.
Leithwood, K. A., Louis, K. S., Anderson, S., & Wahlstrom, K. (2004). Review of research: How leadership influences stu-
dent learning. University of Minnesota Toronto. Retrieved from http://www.sisd.net/cms/lib/TX01001452/Centricity/
Domain/33/ReviewofResearch-LearningFromLeadership.pdf
Manzi, J. (2010). Programa INICIA: fundamentos y primeros avances. In Ecos de la revolución pingüina. Santiago: Edi-
torial Pehuén. Retrieved from http://www.ciae.uchile.cl/documentos/presentaciones_seminario_3/003_Manzi.pdf
Manzi, J, Lacerna. P, Meckes. L, Ramos. I, Garcia. M, Pavez. P, Ortega. L, San Martín. E (2011) ¿Qué características de la
formación inicial de los docentes se asocian a mayores avances en su aprendizaje de conocimientos disciplinarios?
Proyecto Fonide N°: F511015. Ministerio de Educación Chile.
Wilson, M., Hallam, P. J., Pecheone, R. L., & Moss, P. A. (2014). Evaluating the Validity of Portfolio Assessments for Licensure
Decisions. Education policy analysis archives, 22, 6.

7
Factores asociados con el ingreso
al servicio profesional de docentes formados
en escuelas normales
14 de marzo de 2015
 Factores asociados con el ingreso
al servicio profesional de docentes formados
en escuelas normales
Ramón Bernal Pedraza*
Especialista en estadística aplicada, Ceneval, México.
ramon.bernal@ceneval.edu.mx
Adriana Mendieta Parra
Maestra en Psicología, Ceneval, México.
adriana.mendieta@ceneval.edu.mx
Ana Lilia Nájera Sierra
Maestra en Administración de Organizaciones, Ceneval, México.
ana.najera@ceneval.edu.mx
Héctor Dorantes Castillo
Actuario, Ceneval, México.
hector.dorantes@ceneval.edu.mx
Noemí Navarrete Aguirre
Lic. Ceneval, México.
noemi.navarrete@ceneval.edu.mx

PALABRAS CLAVE: Servicio Profesional Docente, ingreso, formación inicial, cuestionario de contexto, multinivel.
EJE TEMÁTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen
Con la intención de explorar algunos factores asociados con el desempeño en el concurso de ingreso al Servicio
Profesional Docente (SPD) obtenido por los docentes formados en escuelas normales e identificar aspectos que
permitan mejorar su formación, se relacionaron los resultados de dicho concurso con el desempeño obtenido en
una evaluación terminal y diversos factores de contexto. A través de análisis multinivel, se documentó que los
hábitos de estudio, de lectura, la percepción de prestigio de la profesión docente, el nivel socioeconómico, el nivel
de marginación, entre otros, ejercen efectos consistentes sobre los resultados en las diversas fases del concurso de
ingreso al SPD. Los resultados sugieren considerar la implementación de políticas que compensen o potencien los
efectos de algunos de estos factores. Adicionalmente, se observó que los resultados entre las diversas evaluaciones
son sumamente consistentes.

*Autor principal

2
 INTRODUCCIÓN

La Ley General del Servicio Profesional Docente establece que se debe de garantizar (a los docentes) la formación, ca-
pacitación y actualización continua a través de políticas, programas y acciones específicas (DOF, 2013). Para colaborar
con este objetivo, resulta valioso conocer los factores que se relacionan con la formación de los docentes de las escuelas
normales. Esta información puede ser obtenida a partir de relacionar los resultados de un cuestionario de contexto válido
(Herrera Ortiz, et al., 2010) con una evaluación criterial.
En este trabajo se aprovecha la evaluación realizada en 2013 a docentes egresados de alguna licenciatura en educa-
ción (Examen General de Conocimientos, EGC), además de información recabada con un cuestionario diseñado específi-
camente para contextualizar el desempeño de esta población.
Con el objetivo de conocer aquellos factores presentes durante la formación inicial de los docentes que se relacionan
con los resultados del concurso de ingreso 2014 al SPD, se buscó analizar la correlación de los resultados de los EGC con
los dos instrumentos utilizados en dicho concurso: el Examen de Conocimientos y Habilidades para la Práctica Docente
(ECHPD) y el Examen de Habilidades Intelectuales y Responsabilidades Ético Profesionales (EHIREP). Además, se anali-
zaron los factores de contexto de los docentes y las escuelas que se relacionaron con los niveles de desempeño obtenidos
en estos últimos exámenes y, además, con el cumplimiento del perfil idóneo requerido para ingresar al SPD.
Para este segundo objetivo, se aprovecharon las bondades del análisis de regresión multinivel (Abela, 2011), evitando
interpretaciones erróneas debidas a las diferencias de efectos entre las diversas escuelas y licenciaturas, permitiendo
llegar a conclusiones válidas y generalizables a toda la muestra.

METODOLOGÍA

1. Sujetos

La muestra estuvo conformada por 8,177 docentes egresados de escuelas normales en 2013 que también participaron
en el concurso al SPD en 2014. Se consideraron únicamente a aquellos participantes que contaban con la información
completa de las tres fuentes utilizadas (Concurso al SPD-2014, EGC-2013 y el cuestionario de contexto), que no presen-
taron evaluación complementaria y que concursaron para una plaza equivalente a la licenciatura en educación evaluada.
Esta muestra representó el 6.6% de los 124,223 registros de la base del concurso de ingreso al SPD. No participaron en el
EGC los estados de Oaxaca y Michoacán. Aunque existieron grandes variaciones en la proporción de representación por
entidad, la representación por nivel de marginación estatal es un poco más homogénea (entre 4.1% y 8.5% por nivel); el
detalle de esta información se presenta en el Cuadro 1. La distribución por EGC y tipo de plaza se presenta en el Cuadro 2.

2. Instrumentos

Se utilizaron 13 exámenes generales de carácter diagnóstico, se diseñaron con el propósito de proporcionar información
que retroalimente la formación del docente al finalizar su formación. Por otra parte, al ser instrumentos de alta sensibili-
dad a la instrucción formal, las estructuras de los mismos están determinadas por los cinco rasgos del perfil de egreso de
las licenciaturas en educación que se imparten en las escuelas normales.
Están conformados por entre 174 y 198 reactivos para las Licenciaturas en Educación Preescolar (LEPRE), Prima-
ria (LEPRI), y Educación Física (LEF), y por entre 263 y 274 reactivos, los correspondientes a las 10 especialidades de
la Licenciatura en Educación Secundaria (Bilogía, Español, Física, Formación Cívica y Ética, Geografía, Historia, Inglés,
Matemáticas, Telesecundaria y Química). El promedio de dificultad clásica (porcentaje de respuesta correcta) de estos
instrumentos fue de 56.14%, con discriminaciones medias (correlación punto biserial) de 0.22 y 0.27, y con consistencias
internas globales (alfa de Cronbach) entre 0.92 y 0.96.

3
 Cuadro 1 Representación de la muestra con respecto a la población de concursantes a ingresar al SPD
por entidad y nivel de marginación.

Población del Población del

Nivel de
concurso al Muestra concurso al Muestra
Entidad % marginación %
SPD n= CONAPO
SPD n=
N= N=
Chiapas 5,434 196 3.6%
Muy alto 10,234 415 4.1%
Guerrero 4,800 219 4.6%
Tabasco 3,667 80 2.2%
Veracruz 4,498 112 2.5%
Puebla 8,195 780 9.5%
Campeche 1,095 146 13.3% Alto 25,248 2,008 8.0%
Yucatán 2,952 329 11.1%
San Luis Potosí 3,455 388 11.2%
Hidalgo 1,386 173 12.5%
Morelos 3,139 104 3.3%
Sinaloa 3,973 93 2.3%
Nayarit 3,419 285 8.3%
Durango 3,544 339 9.6%
Zacatecas 2,346 236 10.1% Medio 29,234 2,476 8.5%
Quintana Roo 1,607 108 6.7%
Guanajuato 7,315 718 9.8%
Tlaxcala 1,237 233 18.8%
Querétaro 2,654 360 13.6%
Estado de México 11,282 123 1.1%
Jalisco 10,751 328 3.1%
Chihuahua 4,258 134 3.1%
Sonora 2,983 163 5.5%
Bajo 36,392 1,817 5.0%
Aguascalientes 2,092 242 11.6%
Tamaulipas 2,420 412 17.0%
Baja California Sur 1,152 158 13.7%
Colima 1,454 257 17.7%
Baja California 4,222 245 5.8%
Distrito Federal 4,756 344 7.2%
Muy bajo 20,209 1,461 7.2%
Nuevo León 4,910 342 7.0%
Coahuila 6,321 530 8.4%
124,223 8,177 6.6%

4
 Cuadro 2  Proporción de la muestra y correlación entre puntajes para cada EGC.

Correlacion de los puntajes

(Pearson)
% EHIREP - EGC - EGC -
N= n= representación
ECHPD ECHPD EHIREP
LEPRE 29,126 2,986 10.3% 0.68 0.69 0.69
LEPRI 34,623 2,074 6.0% 0.68 0.68 0.64
LEF 10,779 733 6.8% 0.64 0.63 0.63
Telesecundaria 11,086 483 4.4% 0.59 0.58 0.63
Español 6,565 446 6.8% 0.61 0.66 0.70
Licenciatura Matemáticas 6,914 366 5.3% 0.65 0.76 0.67
en Biología 4,398 306 7.0% 0.67 0.76 0.71
educación Inglés 3,503 238 6.8% 0.60 0.62 0.62
secundaria Historia 3,712 155 4.2% 0.67 0.60 0.61
especialidad Formación Cívica y Ética 8,174 148 1.8% 0.72 0.74 0.70
en… Física 1,803 97 5.4% 0.61 0.80 0.55
Geografía 1,761 79 4.5% 0.75 0.72 0.74
Química 1,779 66 3.7% 0.59 0.75 0.62
Total 124,223 8,177 6.6% 0.64 0.65 0.64

Cuadro 3  Resumen técnico de las escalas obtenidas.

5
 El cuestionario de contexto fue diseñado con base en los lineamientos estipulados por el Ceneval (Herrera Ortiz, et al.,
2009), estuvo conformado originalmente por 200 preguntas que fueron seleccionadas y agrupadas con la metodología
descrita por Herrera (2010). El puntaje de cada sustentante en las escalas, se obtuvo utilizando el Modelo de Crédito Par-
cial (Masters, 1982) con el software Winsteps. Se excluyeron de las escalas los reactivos que no ajustaron satisfactoriamen-
te al modelo por su OUTFIT —Residual cuadrático medio no ponderado estandarizado— e INFIT —Residual cuadrático
medio ponderado estandarizado— (Wright & Linacre, 1992) ubicado fuera de los rangos determinados como óptimos por
el Centro (entre 0.7 y 1.3), y aquellas escalas que no obtuvieron más de 60% de varianza explicada. Se utilizaron finalmente
58 preguntas agrupadas en 9 escalas, sus características se muestran en el Cuadro 3 y se describen a continuación.

Técnicas de aprendizaje activo (TAA)

En esta escala se consideran aspectos cognitivos que permiten a los estudiantes normalistas desarrollar y fortalecer acti-
vamente su aprendizaje “con sentido crítico sobre su actuación” (Fernández March, 2006). Esto corresponde a establecer
analogías, distinguir la información esencial de la secundaria, analizar problemáticas para intentar resolverlas, formular
nuevas hipótesis e ideas, y obtener conclusiones propias.

Costumbres en clase (CC)

Considera las variables que arrojan información sobre el rol que asumen los estudiantes normalistas durante las jornadas
de clase, como son: la participación, el respeto a sus compañeros y el uso de técnicas de estudio durante la clase.

Percepción de los formadores de docentes (PFD)

Incluye las variables relacionadas con la opinión que tienen los sustentantes acerca del desempeño de los formadores de
docentes dentro de los salones de clase. Se recoge la opinión sobre aspectos como la planeación, las competencias didác-
ticas y disciplinares, su profesionalismo y su contribución al ambiente dentro del aula.

Percepción de los servicios escolares (PSE)

Considera la opinión que tienen los estudiantes normalistas sobre la mejora de los servicios escolares en el último año
escolar; recoge aspectos como el transporte, material de apoyo didáctico, servicio médico y la administración escolar.

Percepción de las instalaciones y espacios facilitadores del aprendizaje (PI)

Incluye la opinión que tienen los estudiantes normalistas sobre la mejora de las instalaciones y espacios facilitadores del
aprendizaje (Falus & Golber, 2011) en el último año escolar, como son los talleres, las canchas deportivas, el auditorio, la
sala audiovisual, la biblioteca y el centro de cómputo.

Factores socioeconómicos (FS)

Reúne información de algunos indicadores sociales y económicos que se relacionaron consistentemente dentro de la
población de sustentantes, particularmente incorpora el nivel académico y la principal actividad de los padres o tutores,
además del ingreso familiar.

Tiempo de lectura (TL)

Comprende variables que miden las horas que los estudiantes normalistas destinan a la lectura de diversos textos, tales
como libros, periódicos, revistas e internet.

Descontento con la profesión docente (DPD)

Incluye variables que describen sentimientos o percepciones de descontento, apatía e incluso decepción respecto al que-
hacer profesional como docente.

Percepción del prestigio docente (PPD)

En esta escala se consideran las variables relacionadas con la percepción que tienen los sustentantes acerca del prestigio
y trascendencia social de la profesión docente.

6
 3. Recodificación de los datos

Se categorizaron los puntajes obtenidos en las escalas del cuestionario de contexto a partir del percentil 33 y 66 en tres
grupos (bajo, intermedio y alto). Los dictámenes sobresaliente y satisfactorio arrojados por los exámenes generales1 fue-
ron fusionados en la categoría “Aprobado”, excepto cuando se indique lo contrario. Los resultados individuales del ECHPD
y del EHIREP fueron recodificados en variables binarias fusionando los niveles de desempeño II y III (donde NI: no cum-
ple con el perfil, NII: cumple satisfactoriamente, NIII: Nivel sobresaliente); el grupo de desempeño derivado del concurso
fue considerado como idóneo (mínimo NII en los dos exámenes) y no idóneo (nivel NII en alguno de los dos exámenes)
de acuerdo con lo establecido por el INEE (DOF, 2014). Se decidió clasificar la entidad de procedencia de acuerdo con el
índice de marginación emitido por el Conapo; se utilizó esta clasificación ya que considera una visión de la marginación
como fenómeno integral y además, tiene un uso y aceptación cada vez más generalizado (Conapo, 2010).

4. Análisis estadístico

Se calculó la correlación de Pearson entre los puntajes obtenidos por los sustentantes en los tres instrumentos (EGC,
ECHPD y EHIREP). Adicionalmente, se ajustaron cuatro modelos de regresión multinivel con una función de enlace logit
de acuerdo con la metodología descrita por Pardo (2007). Las observaciones se estructuraron en tres niveles; en el pri-
mero se consideraron las variables de los sustentantes, en el segundo las licenciaturas y en el tercero a las escuelas de
procedencia. A continuación se describe cada modelo:

»» Modelo 1. Idoneidad asociada al dictamen obtenido en el EGC

Variable Respuesta: Probabilidad de que un sustentante obtuviese un perfil idóneo para el SPD
Variable Predictora Nivel 1 (sustentante): Dictamen obtenido en el EGC.
»» Modelo 2. Idoneidad asociada con factores de contexto
Variable Respuesta: Probabilidad de que un sustentante obtuviese un perfil idóneo para el SPD
Variables Predictoras Nivel 1 (sustentante): Categoría de las escalas del cuestionario (TAC, PFD, PI, FS, TL, PPD), sexo,
otros estudios, nivel de marginación.
Variables Predictoras Nivel 3 (escuela): Tipo de sostenimiento
»» Modelo 3. Nivel de desempeño en el EHIREP asociado con factores de contexto
Variable Respuesta: Probabilidad de que un sustentante obtuviese al menos el nivel II en el EHIREP
Variables Predictoras Nivel 1 (sustentante): Categoría de las escalas del cuestionario (TAC, PFD, PI, FS, TL, PPD), sexo,
otros estudios, nivel de marginación.
Variables Predictoras Nivel 3 (escuela): Tipo de sostenimiento
»» Modelo 4. Nivel de desempeño en el ECHPD asociado con factores de contexto
Variable Respuesta: Probabilidad de que un sustentante obtuviese al menos el nivel II en el ECHPD
Variables Predictoras Nivel 1 (sustentante): Categoría de las escalas del cuestionario (TAC, PI, FS, TL, PPD), otros estu-
dios, nivel de marginación.
Variables Predictoras Nivel 3 (escuela): Tipo de sostenimiento

Las variables predictoras de efectos fijos probadas en los modelos 2, 3 y 4, fueron las categorías que cada susten-
tante obtuvo en las 9 escalas del cuestionario de contexto, además se incorporaron otras variables de interés y el nivel
de marginación estatal (Conapo, 2010). Se eligieron las variables por eliminación regresiva comparado los modelos con
la Log-pseudo-verosimilitud (Faraway, 2002). Como variable de efectos aleatorios en el nivel III correspondiente a las
escuelas de procedencia se incluyó su régimen de sostenimiento en todos los modelos. Los modelos resultaron signifi-
cativos (prueba F con p < 0.001) con un ajuste aceptable (74.6%, 70.0%, 69.6% y 78.7% pronosticado correctamente).

El nivel Satisfactorio indica que el sustentante demostró los conocimientos y habilidades básicas y esenciales para el desempeño docente, mientras
1

que el nivel Sobresaliente indica que demostró los conocimientos y habilidades, que es ideal y recomendable que posea para la práctica docente. Como
complemento se encuentre el dictamen Insuficiente que indica que no hay evidencia de que el sustentante posea al menos el nivel satisfactorio.

7
 En la sección de resultados se presentan las comparaciones entre las medias estimadas para cada grupo con respecto a
la gran media (línea roja) del modelo 2, las barras amarillas representan cambios significativos y las azules indican que
no hay diferencias, las líneas moradas representan la desviación estándar.

RESULTADOS

Los estadísticos descriptivos se presentan en el Cuadro 3, en este se muestra la distribución de los 8,177 sustentantes res-
pecto a las variables consideradas en este estudio, como resultado en el EGC, la clasificación de sus puntajes de acuerdo
con las 6 escalas del cuestionario de contexto, variables personales como sexo, otros estudios y nivel de marginación de
sus estado de procedencia, así como tipo de sostenimiento de la escuela normal; está ultima variable corresponde a va-
riables a nivel de las escuelas. Adicionalmente, se presenta a modo de tabla de contingencia, la proporción de sustentaste
que alcanzaron el dictamen idóneo en cada subgrupo.

Cuadro 4  Estadísticos descriptivos

Proporción
Variable Categoría n= % Idóneos
de idóneos
Hombre 2,051 25.1% 852 0.42
Sexo del sustentante
Mujeres 6,126 74.9% 3,076 0.50
¿Tiene otros estudios de nivel Sí 419 5.1% 249 0.59
licenciatura? No 7,758 94.9% 3,679 0.47
Muy alto 415 5.1% 110 0.27
Alto 2,008 24.6% 873 0.43
Nivel de marginación del estado de
Medio 2,476 30.3% 1,154 0.47
procedencia
Bajo 1,817 22.2% 992 0.55
Muy bajo 1,461 17.9% 799 0.55
Privada 2,312 28.3% 884 0.38
Régimen de la escuela de procedencia
Público 5,865 71.7% 3,044 0.52
Insuficiente 3428 41.9% 813 0.24
Resultado en el EGC Suficiente 3442 42.1% 2021 0.59
Sobresaliente 1307 16.0% 1094 0.84
Sin técnicas 3605 44.1% 1529 0.42
Técnicas de aprendizaje activo Intermedio 2,638 32.3% 1,276 0.48
Con técnicas 1,934 23.7% 1,123 0.58
Mala 3,279 40.1% 1,593 0.49
Percepción de los formadores
Intermedio 2,521 30.8% 1,234 0.49
de docentes
ESCALAS DEL CUESTIONARIO

Buena 2,377 29.1% 1,101 0.46

Percepción de las Mala 3,290 40.2% 1,685 0.51
instalaciones y espacios Intermedio 3,293 40.3% 1,549 0.47
facilitadores del aprendizaje Buena 1,594 19.5% 694 0.44
Nivel alto 2,596 31.7% 1,324 0.51
Factores socioeconómicos Intermedio 2,807 34.3% 1,373 0.49
Nivel bajo 2,774 33.9% 1,231 0.44
No lectores 4,037 49.4% 1,840 0.46
Tiempo de lectura Intermedio 2,209 27.0% 1,089 0.49
Lectores 1,931 23.6% 999 0.52
Percepción de
3,527 43.1% 1,494 0.42
desprestigio
Percepción del prestigio
Intermedio 2,057 25.2% 1,074 0.52
docente
Percepción de
2,593 31.7% 1,360 0.52
prestigio

Total general 8,177 100% 3,928 0.48

8
 La correlación de Pearson entre los puntajes de los dos instrumentos del concurso (EHIREP y ECHPD) es de 0.64,
mientras que estos tienen valores de correlación de 0.65 y 0.64 con respecto al EGC. Al analizar el detalle de las licenciatu-
ras, la correlación mínima y máxima se presentan en la especialidad de física con 0.55 (EGC-EHIREP) y 0.8 (EGC-ECHPD).

Modelo 1

Se encontró una asociación estadísticamente significativa entre los dictámenes del EGC y la probabilidad de que un sus-
tentante se ubique en el grupo idóneo en el concurso de ingreso al SPD. Para este modelo la probabilidad promedio de que
un docente estuviera en el grupo con perfil idóneo fue de 0.56; esta probabilidad se modifica significativamente depen-
diendo del dictamen obtenido en el EGC, siendo de 0.22 para el dictamen no suficiente, 0.57 para el suficiente y aumenta
a 0.85 para los sustentantes que obtuvieron un dictamen sobresaliente, como se muestra en la Figura 1.

Figura 1. Probabilidad de idoneidad por resultado del ECG

Efectos fijos

En los modelos se incorporaron 6 de las 9 escalas obtenidas, la percepción de los servicios escolares, costumbres en clase
y descontento con la profesión docente no parecen estar relacionados consistentemente con los resultados del concurso.
En los modelos 2, 3 y 4, se incluyeron las mismas variables obteniendo resultados similares; únicamente para el ECHPD
(modelo 4), la escala de percepción de los formadores de docentes y el sexo del sustentante no se relacionaron con el nivel
de desempeño. A continuación, se describen los resultados obtenidos para predecir el resultado del concurso (modelo
2), el detalle de los parámetros estimados para el resto de los modelos se presentan en el Cuadro 4, en el que se expresan
como porcentaje de cambio con respecto a la gran media.
De las escalas incluidas en el modelo 2, resalta que el reporte del uso de técnicas de aprendizaje activo y el tiempo
dedicado a lecturas recreativas están asociados a aumentos de 22.7% y 18.6% respectivamente, con relación a los susten-
tantes que reportan no hacerlo (Figura 2).

9
 Figura 2  Probabilidad de idoneidad por tipo de técnicas de aprendizaje activo

La percepción negativa sobre los formadores de docentes y las instalaciones escolares están asociadas con mayores
probabilidades de obtener un dictamen idóneo en el concurso (13.6% y 15.8% respectivamente. Figura 3). De igual ma-
nera, una percepción de prestigio sobre la profesión docente y un mayor nivel socioeconómico se asocia con aumentos
del 13.8% y 17.7% con respecto a los grupos opuestos.

Figura 3 Probabilidad de idoneidad por tipo de percepción de las instalaciones

y espacios facilitadores del aprendizaje

10
 Las otras variables independientes incluidas en este nivel del modelo fueron el sexo del sustentante, ya que las mujeres
tienen 8.4% más probabilidades de obtener un dictamen idóneo; la realización previa de otros estudios de licenciatura
también está asociada con mayores probabilidades (20.6%). Finalmente, merecen atención especial las probabilidades
asociadas al nivel de marginación estatal, ya que aquellos sustentantes provenientes de entidades con muy alto nivel de
marginación tienen 39.8% menos probabilidades de obtener un resultado global idóneo cuando se les compara con el
promedio de la población y 65.9% menos, cuando se compara con sustentantes provenientes de entidades con muy bajo
nivel de marginación (Figura 4).

Figura 4  Probabilidad de idoneidad por grado de marginación

Finalmente, se anexaron dos covariables al modelo, el promedio obtenido en la licenciatura y el número de docentes
diferentes que le impartieron clases durante la licenciatura. Para los cálculos de los contrastes presentados se fijaron
estos valores, la media para el número de docentes fue de 17 y del promedio de licenciatura 8.7; estos valores fueron los
mismos para los modelos 3 y 4.

Efectos aleatorios
En las variables propias de las escuela, se encontró que aquellas con sostenimiento público tienen mayores probabilida-
des de aprobar 21.2%, 17.2% y 10.2%, respectivamente para los modelos 2 (Figura 5), 3 y 4.

11
 Figura 5  Probabilidad de idoneidad por régimen de la escuela de procedencia

En el Cuadro 5, se presenta el detalle de los parámetros incluidos y estimados, expresados como el cambio en la pro-
babilidad asociado a cada nivel de una variable.

Cuadro 5 Principales parámetros estimados con los modelos 2, 3 y 4. Todos los cambios de probabilidad presentados
son significativos (p > 0.05); se considera como referencia la gran media para cada modelo.

Resultado del
EHIREP ECHPD
Concurso
Grandes medias de probabilidad 0.48 0.53 0.79

Cambios en la Cambios en la Cambios en la

Variable de interés Categoría n= Probabilidad de Probabilidad de Probabilidad de
ser ídóneo superar el nivel I superar el nivel I
Sin técnicas 3,605 -11.0% -10.8% -4.3%
Técnicas de aprendizaje activo Intermedio 2,638 -3.5% n/s n/s
Con técnicas 1,934 14.5% 13.0% 5.5%
Mala 3,279 5.3% 3.7% n/s
Percepción de los formadores
Intermedio 2,521 n/s n/s n/s
de docentes
ESCALAS DEL CUESTIONARIO

Buena 2,377 -6.5% -4.7% n/s

Percepción de las Mala 3,290 7.3% 6.7% 5.3%
instalaciones y espacios Intermedio 3,293 n/s n/s n/s
facilitadores del aprendizaje Buena 1,594 -8.2% -7.3% -4.5%
Nivel alto 2,596 -9.2% -8.6% -1.4%
Factores socioeconómicos Intermedio 2,807 n/s n/s n/s
Nivel bajo 2,774 7.6% 6.9% 2.6%
No lectores 4,037 -10.0% -8.8% -3.1%
Tiempo de lectura Intermedio 2,209 n/s n/s n/s
Lectores 1,931
NIVEL 1

8.8% 7.1% 4.5%

Percepción de
3,527 -10.0% -9.1% -2.0%
desprestigio
Percepción del prestigio
Intermedio 2,057 5.7% 5.8% 2.9%
docente
Percepción de
2,593 4.5% n/s n/s
prestigio

Hombre 2,051 -4.4% -5.2% n/s

Sexo del sustentante
Mujeres 6,126 4.4% 5.2% n/s
INDEPENDIENTES

¿Tiene otros estudios de nivel Sí 419 10.3% 8.6% 4.3%

VARIABLES

licenciatura? No 7,758 -10.3% -8.8% -4.3%

Muy alto 415 -39.8% -41.0% -19.0%
Alto 2,008 n/s n/s 5.2%
Nivel de marginación del
Medio 2,476 n/s n/s n/s
estado de procedencia
Bajo 1,817 n/s 12.5% n/s
Muy bajo 1,461 26.1% 22.0% 10.3%
NIVEL 3

Privada 2,312 -10.6% -8.6% -5.1%

Régimen de la escuela de procedencia
Público 5,865 10.6% 8.6% 5.1%

12
 CONCLUSIONES

En este trabajo se ha documentado que diversos factores como los hábitos de estudio, de lectura, la percepción de presti-
gio de la profesión docente, el nivel socioeconómico y el nivel de marginación estatal, ejercen efectos consistentes sobre
los resultados obtenidos por docentes egresados de escuelas normales en las diversas fases del concurso de ingreso al
SPD. Resulta relevante estudiar causalmente estas relaciones en el futuro para identificar sobre cuáles de estos factores
sería posible implementar políticas que compensen o potencien la formación de los docentes de escuelas normales, para
que tengan mayores probabilidades de cumplir y alcanzar el perfil docente que el SPD requiere.
Simultáneamente, se ha encontrado evidencia sobre la validez de los diferentes instrumentos analizados, ya que pre-
sentan resultados congruentes. Sin embargo, resulta de gran relevancia que se comparen estos resultados con instrumen-
tos específicamente diseñados para evaluar competencias y, durante el SPD, el desempeño.

BIBLIOGRAFÍA

Abela, J. A., 2011. El análisis multinivel: Una revisión actualizada en el ámbito sociológico. Metodología de Encuestas,
13(1), pp. 161-176.
Conapo, 2010. Índice de marginación por entidad federativa y municipio 2010. [En línea] Available at: http://www.conapo.
gob.mx/work/models/CONAPO/indices_margina/mf2010/CapitulosPDF/1_4.pdf [Último acceso: 28 Noviembre 2013].
DOF, 2013. DECRETO por el que se expide la Ley General del Servicio Profesional Docente. 11 Septiembre.
DOF, 2014. CRITERIOS TÉCNICOS Y DE PROCEDIMIENTO. Diario Oficial de la Federación, 9 julio.
Falus, L. & Golber, M., 2011. Recursos, instalaciones y servicios basicos en las escuelas primarias de America Latina.
Otra forma que asume la desigualdad educativa. Cuadernos SITEAL, Issue 7.
Faraway, J. J., 2002. Practical Regression and ANOVA using R. s.l.:R.
Fernández March, A., 2006. Metodologías activas para la formación de competencias. Educatio siglo XXI, p. 9.
Herrera Ortiz, M., García Pinzón, I., Monroy Cazorla, L. & Peréz Muños, R., 2009. Cuestionarios de contexto: Una herramienta
medular para el desarrollo de investigaciones educativas. México: Ceneval.
Herrera Ortiz, M., García Pinzón, I., Monroy Cazorla, L. & Peréz Muños, R., 2010. Escalamiento de varaibles de contexto.
México: Ceneval.
Masters, G. N., 1982. A rasch model for partial credit scoring. Psychometrika, Volumen 47, pp. 149-174.
Pardo, A., Ruiz, M. A. & San Martín, R., 2007. Cómo ajustar e interpretar modelos multinivel con SPSS. Psicothema, 2(19),
pp. 308-321.
Wright, B. D. & Linacre, J. M., 1992. A user’s guide to bigsteps. Chicago: Mesa. Press.

13
Estudio comparativo entre dos versiones
(papel e informatizada) de una prueba
de diagnóstico del rendimiento
en matemáticas a estudiantes madrileños
de educación secundaria
 Estudio comparativo entre dos versiones
(papel e informatizada) de una prueba
de diagnóstico del rendimiento
en matemáticas a estudiantes madrileños
de educación secundaria
Eva Jiménez García*
Maestra, Universidad Europea de Madrid, España.
eva.jimenez@uem.es
Coral González Barbera
Doctora, Universidad Complutense de Madrid, España.
cgbarbera@edu.ucm.es

PALABRAS CLAVE: F
 uncionamiento diferencial de los ítems, test informatizados, test en papel y lápiz,
Mantel- Haenszel y Regresión logística.
EJE TEMÁTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones.

Resumen
Este trabajo evalúa la comparación entre dos versiones (papel y online) de una prueba de rendimiento en mate-
máticas en alumnos de 2º E.S.O y el efecto que tienen las dos versiones en la puntuación de cada ítem. Se utilizan
para la detección del funcionamiento diferencial de los ítems la prueba Mantel- Haenszel y la regresión logística.
El procedimiento Mantel- Haenszel, nos ofrece una prueba de contraste y la regresión logística con las medidas
del efecto, nos permiten concluir que todos los ítems que presentan DIF, éste lo es de forma irrelevante y débil.
Lo que nos lleva a concluir que, ambas versiones son equivalentes.

*Autor principal

INTRODUCCIÓN

Los avances tecnológicos a los que hoy estamos expuestos, han ocasionado un importante impacto en el formato de los
test, con la intención de adaptarse a las necesidades a las que se enfrenta la sociedad. Por ello los test convencionales
comienzan a informatizarse (Olea, Abad y Barrada, 2010).
Son muchos los estudios internacionales que incorporan la informatización de las pruebas, PISA- ERA (Electronic
Reading Assessment), OCDE e ICILS ­(International Computer and Information Literacy Study), PISA (Programme for Inter-
national Student Assessment) y PIAAC (Programme for International Assessment of Adult Skills).
En este trabajo, presentamos los datos de la Evaluación de Diagnóstico de 2010, concretamente la evaluación del do-
minio cognitivo de Matemáticas en 2º de Educación Secundaria Obligatoria de la Comunidad de Madrid. Dicha evaluación
tiene la peculiaridad de ser aplicada en formato tradicional (papel y lápiz) o informatizada.
La preocupación principal cuando utilizamos diferentes modo de aplicación (papel o informatizado) de un test, es el
posible sesgo que puede originar en las puntuaciones de los sujetos.
Son muchos los autores que han estudiado el tema, sin llegar a un acuerdo. Existen algunos partidarios de que el modo
de aplicación afecta al rendimiento, unos a favor de las pruebas en papel (Choi y Tinkler, 2002; Ito y Sykes, 2004; Bennett
et al., 2008) y otros a favor de las pruebas informatizadas (Arribas, 2004).
2
 Pero la mayoría de autores concluyen la no existencia de diferencias en los resultados en función del modo de aplica-
ción, por tanto concluyen la equivalencia entre ambas pruebas (Taylor, Jamieson, Eignot y Kirsch, 1998; Pearson, 2002-
2003; Wang, 2004; Johnson y Green, 2006; Kim y Huynh, 2007; Wang, Jiao, Young, Brooks, y Olson, 2007-2008.
Ante esta controversia, es fundamental llevar a cabo un análisis pormenorizado de cada uno de los ítems que confor-
man la prueba y verificar así la equivalencia de ambas pruebas. Siendo por tanto el objetivo de este trabajo la detección
a través de una muestra representativa de alumnos, el Funcionamiento Diferencial de los Ítems1 en ambas versiones.
Pretendiendo conocer si el modo de aplicación de un test afecta o no al funcionamiento diferencial de los ítems.
Esencialmente cuando se llevan a cabo estudios del Funcionamiento Diferencial de los Ítems (de ahora en adelante DIF)
principalmente se utilizan para llevar a cabo estos estudios variables de carácter demográfico como género (Hamilton,
1999), raza (Scheuneman y Grima, 1997), tipo de escuela de los alumnos (Scheuneman y Grima, 1997). O relacionadas
con características del test, en especial relativas al tipo de ítem (Thissen y Steinberg, 1997; O’Neill y McPeek, 1993), o el
grado de dificultad de la prueba (Arribas, 2004).
Aún son pocos los estudios que utilicen metodología DIF valorando el modo de aplicación de la prueba, algunos a
destacar serían los llevados a cabo por Puhan, Boughton y Kim (2007), Keng, McClarty, y Davis (2008) y Poggio et al.,
(2005); con los mismos resultados, mostrando la equivalencia entre ambas pruebas dado que son mínimos los ítems que
presentan DIF y si lo hacen es con tamaños del efecto pequeños y no significativos.

DISEÑO DE INVESTIGACIÓN

Participantes

La población objeto de estudio corresponde a los alumnos matriculados en 2º ESO de la Comunidad de Madrid. En la tabla
1 se resume el conjunto de datos disponibles:

Tabla 1  Resumen de datos en función del tipo de centro y el modo de aplicación

Tipo de centro Test papel y lápiz Test informatizado

Público 20205 828
Privado Concertado 19327 885
Privado 4663 513
Total 44195 2226

Teniendo en cuenta los datos de la aplicación informatizada, hemos realizado una muestra aleatoria de la prueba en
papel y lápiz con el mismo número de sujetos que los disponibles en la prueba online según el tipo de centro al que asiste
el alumno (público, privado o concertado). De tal forma que la muestra resultante queda recogida en la tabla 2.

Tabla 2  Resumen de la muestra

Tipo de centro Test papel y lápiz Test Informatizado

Público 828 828
Privado Concertado 885 885
Privado 513 513
Total 2226 2226

Acrónimo, en inglés del Differential Item Functioning.

1

3
 Instrumentos

Las pruebas de Evaluación de Diagnóstico de 2010 de la Comunidad de Madrid, se tratan de pruebas proporcionadas
por la Consejería de Educación.
El instrumento consta de 40 ítems de opción múltiple, en los que se evalúa la competencia en Matemáticas para 2º
Educación Secundaria Obligatoria.
Esta evaluación fue aplicada por los propios centros y profesores, que pudieron responder a las pruebas de manera
convencional (papel y lápiz), o a través de la aplicación informatizada.
Para llevar a cabo la aplicación online, que requiere internet, es imprescindible garantizar la seguridad y la protección
de los datos.
Ante esta necesidad, se ha requerido la creación de unas directrices para el diseño y la elaboración correcta de los
test informatizados, habiendo un apartado especial en International Test Commission (2005), para las aplicaciones vía
internet. Proponen una serie de aspectos que hemos tenido en cuenta cuando la aplicación es llevada a cabo a través
de internet (descripción y pruebas tanto del hardware como software, guías para la correcta aplicación, bloque acceso
a internet durante la aplicación, pantalla no sobrecargada, instrucciones adaptadas, aplicación supervisada y garantía
de seguridad y protección de datos por medio de claves).

Diseño y recolección de la información

El diseño utilizado en este trabajo es la encuesta, técnica cuantitativa que nos permite recoger información sobre varia-
bles concretas. Esta recolección de la información ha sido posible mediante el uso de un test de rendimiento matemático
elaborado tanto en papel como online.
El modo de realizar la prueba no fue mediante asignación aleatoria, sino por selección de la propia escuela según sus
intereses y los recursos tecnológicos disponibles, siendo la versión en papel la más elegida. Por este motivo, se tomó la
decisión de realizar una muestra aleatoria de los datos en papel estratificando por el tipo de centro al que asiste el sujeto,
con la finalidad de obtener el mismo número de sujetos en centros públicos, concertados y privados que en la prueba
online (véase tabla 2).
Para mejorar las estimaciones de la distribución muestral, hemos llevado a cabo el procedimiento bootstrap. Procedi-
miento de remuestreo elaborado por Bradley Efron en 1979, donde cada remuestra tiene el mismo número de elementos
que la muestra original, pero al realizar la reposición, cada muestra puede incluir datos más de una vez. Así, “cada obser-
vación individual tiene una probabilidad 1/n de ser elegido cada vez” (Gil, 2005, p.253).
Con el método bootstrap, la muestra es considerada como si fuera la población; y nos permite dar un enfoque sobre
el uso de los estadísticos a la hora de hacer inferenciassobre los parámetros (Efron y Tibshirani, 1993).

Análisis estadísticos

Han sido utilizados varios procedimientos para la detección del DIF, con la intención de garantizar una mejor estimación
y proporcionar conclusiones más consistentes y aproximadas que si se utiliza un único método de detección.
Se ha llevado a cabo el procedimiento de Mantel- Haenszel que tiene una considerable limitación ante su escasa
potencia estadística para la detección del DIF no uniforme (Mellenbergh, 1982; Rogers y Swaminathan, 1993). Por ello,
y siguiendo a Swaminathan y Rogers (1990) hemos utilizado como alternativa, la regresión logística, como método de
análisis del DIF uniforme y no uniforme. Ambos han sido realizados utilizando el procedimiento bootstrap con el pro-
grama SPSS, 19.
Para evitar problemas relativos al amplio tamaño muestral con el que se trabaja en este estudio (2226 sujetos en cada
muestra), el nivel de significación establecido ha sido de 0,01.

4
 RESULTADOS

Prueba Mantel-Haenszel

En la tabla 4 presentamos los valores del coeficiente αMH de la prueba de contraste ( X 2 MH), y las clasificaciones para
el DIF en los 40 ítems de la prueba.

Tabla 4  Resumen de los coeficientes αMH, Ln (αMH) y MH X2 y funcionamiento diferencial de los ítems

α MH Ln (αMH) MH X2 Clase de DIF

Ítem 1 1,022 0,022 0,100 DIF Irrelevante
ítem 2 1,135 0,127 3,648 DIF Irrelevante
Ítem 3 1,089 0,085 1,702 DIF Irrelevante
Ítem 4 1,200 0,182 6,498 DIF Irrelevante
Ítem 5 1,002 0,002 0,000 DIF Irrelevante
Ítem 6 0,971 -0,029 0,154 DIF Irrelevante
Ítem 7 0,994 -0,006 0,004 DIF Irrelevante
Ítem 8 1,166 0,154 5,125 DIF Irrelevante
Ítem 9 1,153 0,142 4,772 DIF Irrelevante
Ítem 10 1,272 0,241 10,284 DIF Irrelevante
Ítem 11 0,992 -0,008 0,010 DIF Irrelevante
Ítem 12 1,138 0,129 4,224 DIF Irrelevante
Ítem 13 1,105 0,100 2,139 DIF Irrelevante
Ítem 14 1,407 0,342 25,095 DIF Irrelevante
Ítem 15 1,213 0,193 8,160 DIF Irrelevante
Ítem 16 1,016 0,016 0,042 DIF Irrelevante
Ítem 17 0,771 -0,260 15,191 DIF Irrelevante
Ítem 18 1,008 0,008 0,009 DIF Irrelevante
Ítem 19 0,839 -0,176 4,361 DIF Irrelevante
Ítem 20 1,408 0,342 26,207 DIF Irrelevante
Ítem 21 1,070 0,068 0,883 DIF Irrelevante
Ítem 22 0,962 -0,038 0,287 DIF Irrelevante
Ítem 23 0,811 -0,209 6,883 DIF Irrelevante
Ítem 24 0,795 -0,230 10,307 DIF Irrelevante
Ítem 25 0,942 -0,060 0,621 DIF Irrelevante
Ítem 26 0,868 -0,142 4,269 DIF Irrelevante
Ítem 27 0,891 -0,116 1,572 DIF Irrelevante
Ítem 28 0,826 -0,191 7,260 DIF Irrelevante
Ítem 29 1,172 0,158 0,509 DIF Irrelevante
Ítem 30 1,052 0,050 0,509 DIF Irrelevante
Ítem 31 1,201 0,183 7,261 DIF Irrelevante
Ítem 32 1,111 0,106 2,442 DIF Irrelevante
Ítem 33 0,830 -0,187 8,544 DIF Irrelevante
Ítem 34 0,834 -0,182 5,974 DIF Irrelevante
Ítem 35 0,896 -0,110 2,680 DIF Irrelevante
Ítem 36 0,984 -0,016 0,042 DIF Irrelevante
Ítem 37 0,731 -0,314 13,944 DIF Irrelevante
Ítem 38 0,697 -0,362 27,172 DIF Irrelevante
Ítem 39 0,880 -0,128 3,395 DIF Irrelevante
Ítem 40 0,805 -0,217 11,075 DIF Irrelevante

Nota: En cursiva se indican α HM > 1 el ítem favorece al grupo que hizo la prueba en papel. En negrita se indican α HM < 1
el ítem favorece al grupo que hizo la prueba online. | Ln (αMH) | = 0 o < 1 (DIF irrelevante).
5
 A pesar de obtener valores del coeficiente αMH diferentes a 1 y por tanto concluir que existe DIF en todos los ítems,
la transformación logarítmica del coeficiente αMH nos indica que este funcionamiento diferencial de los ítems es irrele-
vante en los 40 ítems que conforman la prueba.
En consecuencia aceptamos la tercera hipótesis ya que el DIF es irrelevante y por tanto no favorece a ningún grupo
sea cual sea el modo de aplicación de la prueba.

Regresión Logística

Los resultados recogidos en la tabla 5 nos muestra los ítems que presentan DIF, 17 ítems, porque la diferencia entre el R2
del modelo 1 y del modelo 3 es significativo (p < 0,01).
Estos ítems presentan DIF uniforme a favor del grupo focal (versión online) dado que la diferencia entre los valores
R2 obtenidos en el modelo 2 y 3 es pequeña.
A pesar de que aparentemente estos ítems presenten DIF, la medida del efecto del DIF, nos permite conocer su inten-
sidad. Podemos apreciar como en todos los casos la presencia del DIF es muy débil (valores inferiores a 0,035).
Por tanto, aunque la prueba X2 sea significativa, el tamaño del efecto es muy pequeño, lo que nos lleva a considerar que
ningún ítem presenta funcionamiento diferencial relevante y por tanto de nuevo aceptamos la tercera hipótesis.
Llevado a cabo el estudio del DIF, podemos concluir de forma global, que existen ítems que presentan DIF (normal-
mente favorables a la prueba online). Pero la clase de DIF con el que nos encontramos es débil e irrelevante, lo que nos
lleva a aceptar la hipótesis tercera planteada y concluir que el modo de aplicación de un test no afecta significativamente
al funcionamiento diferencial de los ítems.

Tabla 5  Regresión Logística y funcionamiento diferencial de los ítems

Regresión Logística (R Nagelkerke)

ITEM Diferencia Diferencia

-2Log -2Log -2Log
DIF X2 R2 Modelo R2 Modelo Clase de DIF
Modelo 1 Modelo 2 Modelo 3
2-3 3–1
Ítem 1 0,130 0,130 0,133 11,632 (p = 0,003) -0,003 0,003 DIF Débil
Ítem 2 0,138 0,140 0,140 5,054 (p = 0,080) 0,000 0,002 No DIF
Ítem 3 0,058 0,059 0,06 6,584 (p = 0,037) -0,001 0,002 No DIF
Ítem 4 0,262 0,263 0,263 5,980 (p = 0,050) 0,000 0,001 No DIF
Ítem 5 0,230 0,23 0,231 1,703 (p = 0,427) -0,001 0,001 No DIF
Ítem 6 0,237 0,237 0,237 1,517 (p = 0,468) 0,000 0,000 No DIF
Ítem 7 0,134 0,134 0,134 0,151 (p = 0,927) 0,000 0,000 No DIF
Ítem 8 0,248 0,250 0,250 6,572 (p = 0,037) 0,000 0,002 No DIF
Ítem 9 0,151 0,153 0,154 11,398 (p = 0,003) -0,001 0,003 DIF Débil
Ítem 10 0,201 0,204 0,204 11,764 (p = 0,003) 0,000 0,003 DIF Débil
Ítem 11 0,103 0,103 0,104 4,231 (p = 0,121) -0,001 0,001 No DIF
Ítem 12 0,001 0,003 0,004 11,089 (p = 0,004) -0,001 0,003 DIF Débil
Ítem 13 0,130 0,131 0,132 4,637 (p = 0,098) -0,001 0,002 No DIF
Ítem 14 0,112 0,119 0,121 29,089 (p = 0,000) -0,002 0,009 DIF Débil
Ítem 15 0,249 0,251 0,251 8,923 (p = 0,012) 0,000 0,002 DIF Débil
Ítem 16 0,179 0,179 0,180 3,112 (p = 0,211) -0,001 0,001 No DIF
Ítem 17 0,019 0,024 0,027 26,490 (p = 0,000) -0,003 0,008 DIF Débil
Ítem 18 0,106 0,106 0,106 0,227 (p = 0,893) 0,000 0,000 No DIF
Ítem 19 0,170 0,172 0,175 15,421 (p = 0,000) -0,003 0,005 DIF Débil

6
 Regresión Logística (R Nagelkerke)

ITEM Diferencia Diferencia

-2Log -2Log -2Log
DIF X2 R2 Modelo R2 Modelo Clase de DIF
Modelo 1 Modelo 2 Modelo 3
2-3 3–1
Ítem 20 0,236 0,242 0,242 26,564 (p = 0,000) 0,000 0,006 DIF Débil
Ítem 21 0,277 0,277 0,278 2,827 (p = 0,243) -0,001 0,001 No DIF
Ítem 22 0,211 0,211 0,211 1,346 (p = 0,510) 0,000 0,000 No DIF
Ítem 23 0,164 0,166 0,168 13,485 (p = 0,001) -0,002 0,004 DIF Débil
Ítem 24 0,347 0,35 0,350 13,327 (p = 0,001) 0,000 0,003 DIF Débil
Ítem 25 0,416 0,416 0,420 22,146 (p = 0,000) -0,004 0,004 DIF Débil
Ítem 26 0,262 0,263 0,263 4,678 (p = 0,096) 0,000 0,001 No DIF
Ítem 27 0,016 0,017 0,018 6,396 (p = 0,041) -0,001 0,002 No DIF
Ítem 28 0,093 0,096 0,096 80903 (p = 0,012) 0,000 0,003 No DIF
Ítem 29 0,209 0,211 0,211 5,968 (p = 0,051) 0,000 0,002 No DIF
Ítem 30 0,248 0,249 0,250 6,318 (p = 0,042) -0,001 0,002 No DIF
Ítem 31 0,236 0,239 0,24 12,654 (p = 0,002) -0,001 0,004 DIF Débil
Ítem 32 0,226 0,227 0,227 3,731 (p = 0,155) 0,000 0,001 No DIF
Ítem 33 0,095 0,097 0,098 9,234 (p = 0,010) -0,001 0,003 DIF Débil
Ítem 34 0,253 0,254 0,254 4,314 (p = 0,116) 0,000 0,001 No DIF
Ítem 35 0,146 0,147 0,147 2,847 (p = 0,241) 0,000 0,001 No DIF
Ítem 36 0,141 0,141 0,141 1,825 (p = 0,401) 0,000 0,000 No DIF
Ítem 37 0,090 0,096 0,097 19,836 (p = 0,000) -0,001 0,007 DIF Débil
Ítem 38 0,290 0,296 0,296 28,189 (p = 0,000) 0,000 0,006 DIF Débil
Ítem 39 0,253 0,254 0,254 4,314 (p = 0,116) 0,000 0,001 No DIF
Ítem 40 0,163 0,166 0,168 17,053 (p = 0,000) -0,002 0,005 DIF Débil

Nota: En negrita se indican Diferencia R Modelo 3 - Modelo 1 significativa (p > 0,01) (presenta DIF). En cursiva se indican ítems
2

con DIF uniforme. Medida del efecto < 0,035 (DIF débil).

CONCLUSIONES

En lo que respecta al objetivo planteado en este trabajo, podemos concluir, que el modo en el que se han aplicado las
pruebas no afecta significativamente al funcionamiento diferencial de los ítems.
A la vista de las técnicas expuestas para la detección del funcionamiento diferencial de los ítems, el procedimiento
Mantel- Haenszel a pesar de que el coeficiente αMH no es igual a 1 y por tanto concluir que existe DIF, la transformación
logarítmica del coeficiente αMH nos indica que este funcionamiento diferencial de los ítems es irrelevante en los 40 ítems
que conforman la prueba.
Lo mismo sucede cuando utilizamos la regresión logística como procedimiento para la detección del DIF. Los 17 ítems
que presentan DIF lo hacen de forma muy débil.
Con estos procedimientos podemos por tanto concluir que el modo de aplicación de las pruebas (versión papel y
online) no afecta significativamente al funcionamiento diferencial de los ítems. Y por consiguiente nos lleva a determinar
que ambas versiones (papel y online) son equivalentes.
Comprobada esta equivalencia, las pruebas en papel y lápiz elaboradas para la Evaluación de Diagnóstico 2010 po-
drán ser remplazadas por las pruebas online. De esta forma nos veremos favorecidos por muchos de los beneficios que
las versiones informatizadas nos ofrecen (menor coste, menores errores de grabación, menor número de ítems, menor

7
 tiempo de aplicación, permite fijar el tiempo de exposición de preguntas, automatización de puntuaciones e informes,
entre otras).
Por último, queremos señalar que este trabajo de investigación presenta algunas limitaciones, fundamentalmente de-
bidas a la no asignación aleatoria del modo de aplicación de la prueba. Para solventar este aspecto y de cara a futuras
líneas de investigación sería interesante utilizar procedimientos “propensity analysis”, propuesto por Rosembaum y Rubin
(1983). Métodos para controlar y reducir el sesgo de selección debido a la no asignación aleatoria del sujeto al grupo,
como sucede en nuestro estudio.
Al igual que sería interesante estudiar el efecto que tiene el modo de aplicación controlando el tipo de centro al que
asiste el estudiante (público, privado y concertado).

BIBLIOGRAFÍA
Arribas, D. (2004). Diferencias entre los test informatizados de primera generación y los test en papel y lápiz: influencia
de la velocidad y el nivel de destreza informática. Acción Psicología, 3, 91-100.
Bennett, R.E., Braswell, J., Oranje, A., Sandene, B., Kaplan, B., Yan, F. (2008). Does it matter if I take my mathematics test on
computer? A second empirical study of mode effects in NAEP. Journal of Technology, Learning, and Assessment, 6, 1-39.
Choi, S.W. y Tinkler, T. (2002). Evaluating comparability of paper and computer-based assessment in a K–12 setting. Paper
presented at annual meeting of the National Council on Measurement in Education, New Orleans, LA.
Efron, B y Tibshirani, R. J. (1993). An introduction to the Bootstrap. Nueva York, Chapman Y Hall/CRC.
Gil. J (2005). Aplicación del método bootstrap al contraste de hipótesis en la investigación educativa. Revista de Educación,
336, 251-265.
Hamilton, L. S. (1999). Detecting gender-based differential item functioning on a constructed response science test.
Applied Measurement in Education, 12, 211-235.
International Test Commission (ITC) (2005). International Guidelines on Computer-Based and Internet- Delivered Test-
ing. Disponible en: http://www.intestcom.org/Downloads/ITC%20Guidelines%20on%20Computer%20-%20ver-
sion%202005%20approved.pdf
Ito, K. y Sykes, R.C. (2004). Comparability of scores from norm-referenced paper-and-pencil and web-based linear tests for
grades 4-12. Ponencia presentada en la reunión anual de American Educational Research Association, San Diego, CA.
Johnson, M., y Green, S. (2006). On-line mathematics assessment: The impact of mode on performance and question
answering strategies. Journal of Technology, Learning, and Assessment, 4, 1-35.
Keng, L., McClarty, K. L., y Davis, L. L. (2008). Item-level comparative analysis of online and paper administrations of the
Texas assessment of knowledge and skills. Applied Measurement in Education, 2, 207-226.
Kim, D., y Huynh, H. (2007). Comparability of Computer and Paper-and-Pencil Versions of Algebra and Biology Assess-
ments. The Journal of Technology, Learning, and Assessment, 6, 1-31.
Mellenbergh, G. (1982). Contingency table models for assesing item bias. Journal of Educational Statistics, 7, 105-118.
Olea, J., Abad, F. y Barrada, J. (2010). Test informatizados y otros nuevos tipos de test. Papeles del Psicólogo. 31, 94-107.
O’Neill, K. A. y McPeek, W. M. (1993). Item and test characteristics that are associated with differential item functioning
(pp. 255-276). En P. W. Holland y H. Wainer (Eds.), Differential Item Functioning. New Jersey: Lawrence Erlbaum
Associates.
Pearson. (2002). Final report on the comparability of computer-delivered and paper tests for Algebra I, Earth Science and
English. Austin, TX: Author.
Pearson. (2003). Virginia standards of learning web-based assessments comparability study report – Spring 2002 adminis-
tration: Online & paper tests. Austin, TX: Author.
Poggio, J., Glasnapp, D.R., Yang, X., y Poggio, A.J. (2005). Comparative evaluation of score results from computerized and
paper & pencil mathematics testing in a large scale state assessment program. Journal of Technology, Learning,
and Assessment, 3, 1-30.

8
 Rogers, H. J., y Swaminathan, H. (1993). A comparison of the logistic regression and Mantel-Haenszel procedures for
detecting differential item functioning. Applied Psychological Measurement, 17, 105-116.
Rosenbaum, P. y Rubin, D.B. (1983). The Central Role of the Propensity Score in Observational Studies for Causal Efects.
Biometrika, 70, 41-55.
Scheuneman, J. D. y Grima, A. (1997). Characteristics of quantitative Word items associated with differential performance
for female and black examines. Applied Measurement in Education, 10, 299-319.
Swaminathan, H., y Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures.
Journal of Educational Measurement, 27, 361-370.
Taylor, J., Jamieson, J., Eignor, D., y Kirsch, I. (1998). The relationship between computer-familiarity and performance on
computer-based TOEFL test tasks (TOEFL Research Report #61). Princeton, NJ: Educational Testing Service.
Thissen, D. y Steinberg, L. (1997). A response model for multiple-choice ítems (pp. 51-65). En W. J. Van der Linden y R. K.
Hambleton (Eds.), Handboock of Modern Item Responde Theory. New York: Springer-Verlag Inc.
Wang, S. (2004). Online or paper: does delivery affect results? Administration mode comparability study for Stanford
diagnostic Reading and Mathematics tests. San Antonio, TX
Wang, S., Jiao, H., Young, M. J., Brooks, T. E., y Olson, J. (2007). A meta-analysis of testing mode effects in Grade K–12
mathematics test. Educational and Psychological Measurement. 67, 219-238.
Wang, S., Jiao, H., Young, M. J., Brooks, T. E., y Olson, J. (2008). Comparability of computer-based and paper-and-pencil
testing in K-12 assessment: A meta-analysis of testing mode effects. Educational and Psychological Measurement.
68, 5-24.

9
The quality of teacher evaluation systems:
Validity evidence based on relations
to other variables
 The quality of teacher evaluation systems:
Validity evidence based on relations
to other variables
Sandy Taut*
Ph.D, Profesora Asistente, Escuela de Psicología, MIDE UC, Pontificia Universidad Católica de Chile, Chile.
staut@uc.cl
Daniela Jiménez y Alejandra Barrientos
Escuela de Psicología, MIDE UC, Pontificia Universidad Católica de Chile, Chile.
daniela.jimenez@uc.cl / apbarrie@uc.cl

PALABRAS CLAVE: Evaluación de desempeño docente, validez, estándares de medición.

EJE TEMÁTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones

Resumen
La validez es un criterio de calidad clave para sistemas de medición y evaluación educacional. Existen están-
dares internacionales de las asociaciones profesionales que describen los criterios de calidad y las evidencias
necesarias para validar instrumentos y sistemas de medición, siempre en el contexto de interpretaciones y usos
específicos de los resultados. Esta presentación tiene como foco principal la validación de sistemas de evalua-
ción docente, con énfasis en la evidencia que da cuenta de su relación con otras variables como son el estudio en
profundidad del desempeño docente en aula usando instrumentos alternativos, sus conocimientos disciplinares,
la perspectiva y el aprendizaje de los estudiantes, entre otros. En concreto, se presentan ejemplos de estudios
de validación de la Evaluación Docente (Docentemás) en Chile, incluyendo (a) un estudio comparando a grupos
extremos (docentes evaluados como insatisfactorios y destacados), y (b) un estudio comparando grupos adya-
centes (docentes evaluados como básicos y competentes), ambos utilizando evidencias empíricas adicionales de
estudios en profundidad de una muestra de profesores, además de (c) un estudio a gran escala relacionando el
nivel de desempeño docente con el progreso en el aprendizaje de sus estudiantes en la prueba nacional SIMCE.
La presentación concluye con un llamado a incluir los estudios de validación como tarea permanente en la pla-
nificación de sistemas de evaluación docente, sobre todo considerando la relevancia ética de la validez en el
contexto de la evaluación de desempeño profesional.

*Autor principal

2
 INTRODUCTION

Improving teacher effectiveness has become a major focus of educational reform policy in many countries. However,
existing efforts to measure teacher effectiveness and use the information as a tool to improve teacher and student perfor-
mance have not been thoroughly evaluated. The experiences of educational researchers in Chile, who are implementing
and validating a national teacher evaluation system (NTES, or Docentemás), can prove useful for researchers and policy-
makers in other Latin American countries.
Given the importance assigned to teacher evaluation and improvement policies and the resources devoted to them,
it is appropriate that they be thoroughly evaluated. The Standards for Educational and Psychological Testing, as well
as a number of researchers, call for a comprehensive validation agenda regarding large-scale educational assessments,
especially those with high-stakes consequences (American Educational Research Association, American Psychological
Association, & National Council on Measurement in Education, 1999; Joint Committee, 1988; Linn, 2006; Kane, 2006).
However, comprehensive validation of assessment and improvement systems is not an easy task. These systems are com-
plex entities that include standards describing quality performance, strategies for measuring performance, classification
of effectiveness, and differential consequences, ranging from incentives for good performance, to supports for improve-
ment, to sanctions (even dismissal) for poor performance. Evaluating the validity of such a system is an equally complex
process (Wolming & Wikström, 2010; Gaertner & Pant, 2011).
The scope of the effort may explain why comprehensive validation efforts regarding large-scale teacher assessment
systems have not been documented extensively in the literature. There are a few exceptions, including the National Board
for Professional Teaching Standards (NBPTS) certification of teaching excellence, as well as the Performance Assessment
for California Teachers (PACT) (National Research Council, 2008; Ingvarson & Hattie, 2008; Pecheone & Chung, 2007;
Goldhaber & Anthony, 2007; Harris & Sass, 2009). Some district-level teacher evaluation systems, for example the one in
Cincinnati, also count with a number of validation studies (Milanowski, 2004; Kane, Taylor, Tyler & Wooten, 2010).
This contribution comes out of the validation agenda that was implemented in the case of the large-scale teacher per-
formance assessment system in Chile, the national teacher evaluation system (NTES, or Docentemás; for more informa-
tion see Manzi, Gonzalez & Sun, 2011; www.docentemas.cl). The paper presents the validity evidence regarding relations
with other variables (also known as convergent and discriminant validity). According to the Standards for Educational
and Psychological Testing (AERA, APA & NCME, 1999) validation research must include studies about relations with other
variables. Such studies provide either confirming or disconfirming evidence regarding the validity of the teacher evalua-
tion system by using other relevant criterion variables.
We present three such validity studies: the first compares the teaching practices, disciplinary knowledge and stu-
dents´ learning progress of teachers evaluated by the NTES as either unsatisfactory or outstanding (the extreme points of
the scale); the second compares these same types of evidence for teachers evaluated by the NTES as showing either basic
or competent performance (the adjacent points of the scale). Both of these studies are based on in-depth evidence from
a sample of teachers that was collected with a range of methods. The third is a large-scale study that examines the rela-
tionship between teachers´ NTES results and their students´ learning progress as measured by the national standardized
achievement testing system (SIMCE). We conclude with a call to include validation as a permanent task in the planning
and implementation of large-scale assessment systems, particularly in the context of teacher performance assessment
systems with high stakes consequences.

3
 RESEARCH QUESTIONS

1. Do the highest and the lowest performing teachers (as determined by NTES) show meaningful differences in their
teaching performance when applying alternative instruments measuring similar, as well as complementary aspects
of teacher performance?
2. Do teachers obtaining adjacent performance categories (as established by NTES) show meaningful differences in
their teaching performance when applying alternative instruments measuring similar, as well as complementary as-
pects of teacher performance?
3. How does students‘ learning progress in mathematics and Spanish language (as measured by the national standard-
ized achievement testing system SIMCE) relate to their teachers’ NTES results?

METHODS

In order to answer the first two research questions, we performed correlational analyses and group comparisons. In or-
der to study teacher performance with other measures, we conducted classroom observations and analyzed video-taped
lessons using different observational protocols, supervised expert assessments of alternative portfolios, asked teachers
to complete a subject and pedagogical knowledge test, and applied student testing at the beginning and at the end of the
school year, as well as for a particular teaching unit. The first study was conducted with a sample of N = 32 outstanding
and N = 26 unsatisfactory teachers, and the second with a sample of N = 22 basic and N = 29 competent teachers. In the
first study, these were Spanish or mathematics teachers between first and fourth grade, while for the second study we
recruited only seventh grade mathematics teachers.
In order to answer the third research question, we used a sample of teachers evaluated by NTES in 2006, had stayed
with the same group of students in 2005 and 2006, and for whom we had available these students’ SIMCE achievement
data in both 2004 (pre-test) and 2006 (post-test) (N = 150 mathematics teachers; N = 162 Spanish teachers). We first
applied value added methodology in four different two-level hierarchical regression models (Raudenbush & Bryk, 2002),
controlling for student prior achievement and other student-level variables, as well as variables characterizing the whole
group of students, in order to determine the level-two residual as the teacher effect (Braun, 2005; McCaffrey et al., 2003).
We then correlated the teacher effects on student learning with the teachers’ NTES results.

RESULTS

Study 1

We found that “outstanding” teachers had significantly better outcomes than the “unsatisfactory” teacher on half of the
performance indicators, and showed positive but not significant differences on the remaining indicators (see Table 1 for
details on the performance indicators and the effect sizes). We found especially strong and practically significant differ-
ences related to time on task during lessons, lesson structure, student behavior, and classroom assessment materials.
We also found moderate correlations (r ranging from 0.3 to 0.6, p < 0.05) between the results these same teachers had
obtained one year earlier in NTES and some indicators from the classroom observations, teaching materials binder and
teachers´ standardized test performance. These indicators were most strongly correlated to the NTES portfolio results.
Classroom observations and binder assessments also correlated significantly with the NTES supervisor and peer eval-
uations. The NTES self-evaluation results showed the lowest correlations with the performance on the validity study’s
instruments (see Santelices & Taut, 2011).

4
 Table 1  Effect sizes (Cohen’s d) for t-tests that showed significant mean differences.

Instrument Indicator/sub-scale Cohen’s d

Teachers’ content and Multiple-choice items 0.58
pedagogical knowledge test Open-ended items 0.48
Proportion of time in which less than 75% of students were on-task 0.98
Observation log
Proportion of time in which more than 95% of students were on-task 0.86
Lesson structure 1.11
Post-observation
Especially stimulating instruction 0.62
questionnaire
Appropriate student behavior teaching 1.05
Instructional materials (holistic assessment) 0.46
Student evaluation design (continuous indicators) 1.21
Binder with materials Student performance (continuous indicators) 0.58
Student evaluation design and student performance (holistic assessment) 0.95
Own practice reflection (holistic assessment) 0.75

Study 2

Data collection was completed in December, 2014. First results are expected in March 2015.

Study 3

We present the correlation coefficients between the VA estimates from the four value-added models, and teachers’ scores
on each evaluation instrument separately (self-evaluation, peer interview, supervisor questionnaire, portfolio – differen-
tiated between video and written part, as well as the combination of both parts), as well as the final combined and weight-
ed evaluation score. We also included, as an additional point of comparison besides the VA estimates, students’ post-test
scores (“status”) and the simple difference between pre- and post-test scores (“diff”). Table 2 presents the results for the
mathematics teachers in our study (N = 150).
For the Mathematics teachers the results show similar trends to those of Spanish teachers but the coefficients are
larger in size, the strongest reaching 0.31. We found weak and non-significant correlations between VA indicators of
teacher effectiveness and teachers’ self-evaluation and peer interview results, but somewhat larger and marginally signif-
icant correlations with the supervisor assessment. In the case of the portfolio, Mathematics teachers’ results in both the
written part and the video part are equally and significantly related to their VA indicators. For the overall evaluation re-
sult, correlations with VA indicators reach 0.29. Similar to the results for Spanish, the simple difference between students’
pre- and post-test scores is just as related to teachers’ evaluation results as the VA indicators of teacher effectiveness. But
contrary to what we find in Spanish, Mathematics teachers’ evaluation results also correlate as much with students’ post-
test scores (status measure) as they correlate with VA indicators. This seems to indicate that those Mathematics teachers
who obtain the highest (lowest) teacher evaluation results teach students with a high (low) post-test score (indicating
non-random assignment of teachers and students) and at the same time are the teachers who add the most (least) value,
as indicated by value added indicators of teacher effectiveness.

5
 Table 2  Correlations between NTES evaluation results and teachers’ VA estimates in Mathematics (N = 150).

Status Diff (∆) Model 1 Model 2 Model 3 Model 4

Self-evaluation -.02 .03 .01 .08 .07 .10
Peer interview .11 .08 .10 .07 .03 .03
Supervisor questionnaire .08 .13 .14 .14 .17* .17*
Portfolio .20* .28** .26** .31** .24** .26**
Written part .16* .22** .19* .24** .18* .20*
Videotaped lesson .16* .20* .20* .24** .20* .21*
Overall evaluation result .21** .27** .26** .29** .23** .25**

Note: * p < .05. ** p < .01

We also calculated teachers’ results for six underlying portfolio factors (as determined by an exploratory factor anal-
ysis) and their VA indicators. We found highly significant correlations of 0.21 between VA indicators and “Pedagogical
interaction1”, for both Spanish and mathematics teachers. For all other factors, the correlations with VA indicators are
slightly higher in math than in Spanish. For both subjects, there are statistically significant correlations between VA indi-
cators and “Classroom management” as well as “Reflection and analysis.” “Lesson planning” seems to be the dimension
that is least related to student achievement (see Taut, Valencia, Palacios, Santelices, Jiménez & Manzi, 2014).

CONCLUSIONS

The first research question addressed the differences in teaching practice between the highest and lowest performing
teachers as measured by alternative instruments using both similar and complementary indicators. The NTES process
reveals real differences between these two groups of teachers. The study of pedagogical practices showed substantial
differences (measured by effect size) between the performance of “unsatisfactory” and “outstanding” teachers, in terms
of relevant aspects of their pedagogical work in the classroom. In addition, the study found that three of the four instru-
ments used in the NTES (especially the portfolio) have a moderate association with the instruments used in the research
study (only the NTES self-assessment is unrelated). Our results comparing teachers evaluated by two similar programs
(NTES and AEP), both based on the Guidelines for Good Teaching [MBE] (Ministry of Education, 2004) and including
portfolios, provide additional positive validity evidence. First findings from the study comparing adjacent performance
categories (basic versus competent) are expected for March 2015.
Another important criterion for establishing the validity of the NTES is the learning progress shown by students
taught by the evaluated teachers. In the context of our validation agenda for the Chilean national teacher evaluation, the
results of the third study provide evidence in support of the validity of this assessment program. We find correlations
between value added estimates of teacher effectiveness and these teachers’ overall result on the teacher evaluation that
are just slightly below expected levels, as derived from studies from other contexts (see Milanowski, 2004; Hill, Kapitula
& Umland, 2011; Kane et al., 2010; Grossman, Loeb, Cohen, Hammerness, Wyckoff,
Boyd & Lankford, 2010). Another relevant finding of our study is that the portfolio instrument, which is based on
direct classroom evidence, correlated more strongly with value-added teacher effects than supervisor, peer and self-as-
sessments. Our study thus confirms the validity of this portfolio and serves as an argument in favour of its continued
inclusion in the evaluation process and of placing most weight of the final performance categorization on teachers’ port-
folio results.

Indicators loading on this factor included: “Quality of explanations”; “Quality of pedagogical interactions”; “Monitoring of pedagogical activities
1

depending on student learning”.

6
 We close with an urgent call in favour of including validation efforts in the planning and implementation of teach-
er evaluation systems, especially those with strong consequences for teachers. Important considerations in this re-
gard include:

»» what is the optimal timing for validation research;

»» how to deal with the “corruptive influence” of high stakes on examinees´ behavior and test use (Brennan, 2006);
»» on the one hand, how to consider assessment system modifications due to external (non-technical) issues, but on the
other hand, the difficulty to introduce technical modifications once the system is in use;
»» in a complex political context, who sets the validity research agenda, who funds it, who decides how research re-
sults are comunicated, and who decides what modifications are suggested based on research results?

From our point of view it is a paramount responsibility of the assessment developer to perform validation research
and we ourselves performed large part of our validation research from underneath the same roof as the assessment
developer. Therefore, our validation results might be subject to suspicions. Notwithstanding this legitimate criticism, we
hope to have contributed to NTES’ legitimacy as a tool for educational policy making, and we hope our experiences are
helpful to other researchers responsible for validating similar assessment and improvement systems in Latin America
and beyond.

REFERENCES

American Educational Research Association, American Psychological Association, and National Council on Measurement
in Education (AERA, APA & NCME) (1999).
Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association.
Bill and Melinda Gates Foundation (2011). Learning about teaching. Initial findings from the measures of effective teaching
project. Retrieved from: https://docs.gatesfoundation.org/Documents/preliminary-findings-research-paper.pdf
Bill and Melinda Gates Foundation (2012). Gathering feedback for teaching. Combining high-quality observations with
student surveys and achievement gains. Retrieved from: http://www.metproject.org/downloads/MET_Gathering_
Feedback_Practioner_Brief.pdf
Braun, H. (2005). Using Student Progress to Evaluate Teachers: A Primer on Value-Added Models. Education Testing Service.
Retrieved from: http://www.ets.org/Media/Research/pdf/PICVAM.pdf
Brennan, R. L. (2006). Perspectives on the evolution and future of educational measurement. In R. L. Brennan (Ed.),
Educational measurement (4th ed., pp.1-16.). Westport, CT: Praeger.
Gaertner, H., & Pant, A. (2011). How valid are school inspections? Problems and strategies for validating processes and
results. Studies in Educational Evaluation, 37, 85-93.
Grossman, P., Loeb, S., Cohen, J., Hammerness, K., Wyckoff, J., Boyd , D. & Lankford, H. (2010). Measure for measure:
The relationships between measures of instructional practice in middle school English language arts and teachers’
value-added scores. (Working Paper Nº 16015). Retrieved from: National Bureau of Economic Research Working
Paper website: http:/www.nber.org/papers/w16015
Hill, H. C., Kapitula, L. & Umland, K. (2011). A validity argument approach to evaluating teacher value-added scores.
American Educational Research Journal, 48(3), 794–831. doi:10.3102/0002831210387916
Joint Committee on Standards for Educational Evaluation (1988). The Personnel Evaluation Standards: How to Assess
Systems for Evaluating Educators. Newbury Park: Corwin.
Kane, M. T. (2006). Validation. In R. L. Brennan (Ed.), Educational measurement (4th ed., pp. 17–64). Westport, CT: Praeger
Publishers.
Kane, T. J., Taylor, E. S., Tyler, J. H. & Wooten, A. L. (2010). Identifying effective classroom practices using student achieve-
ment data (NBER Working Paper No. 15803). Cambridge, MA: National Bureau of Economic Research.

7
 Linn, R. (2006). Educational accountability systems (CSE Technical Report No. 687). Los Angeles, CA: University of Califor-
nia, National Center for Research on Evaluation, Standards, and Student Testing (CRESST).
Manzi, J., González, R., & Sun, Y. (Eds.) (2011). La evaluación docente en Chile. Santiago, Chile: Facultad de Ciencias Socia-
les, Escuela de Psicología, PUC.
McCaffrey, D. F., Lockwood, J. R., Hamilton, L. & Koretz, D. (2003). Evaluating Value-Added Models for Teacher Account-
ability. Santa Monica, CA: RAND.
Milanowski, A. (2004).The relationship between teacher performance evaluation scores and student achievement:
Evidence from Cincinnati. Peabody Journal of Education, 79(4), 33-53. doi: 10.1207/s15327930pje7904_3
Ministry of Education (2004). El Marco Para la Buena Enseñanza. Santiago, Chile: Ministry of Education.
National Research Council (2008). Assessing accomplished teaching: Advanced - level certification programs. Committee on
Evaluation of Teacher Certification by the National Board for Professional Teaching Standards. Milton D. Hakel, Judith
Anderson Koenig, & Stuart W. Elliott, editors. Washington, D.C.: The National Academies Press.
Pecheone, R. & Chung, R. (2006). Evidence in teacher education: the performance assessment for California teachers
(PACT). Journal of Teacher Education, 57 (1), 22-36. doi: 10.1177/0022487105284045
Raudenbush, S. W. & Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods. Thousand
Oaks, CA: SAGE.
Santelices, M. V., & Taut, S. (2011). Convergent validity evidence regarding the Chilean standards-based teacher evalua-
tion system. Assessment in Education: Principles, Policy & Practice, 18(1), 73-93. doi:10.1080/0969594X.2011.534948
Taut, S., Valencia, E., Palacios, D., Santelices, V., Jiménez, D. & Manzi, J. (2014). Teacher performance and student learning:
Linking evidence from two national assessment programs. Assessment in Education: Principles, Policy & Practice,
DOI: 10.1080/0969594X.2014.961406
Wolming, S., & Wikström, C. (2010). The concept of validity in theory and practice. Assessment in Education: Principles,
Policy and Practice, 17(2), 117-132.

8
Tiempo de aprender.
El uso y organización del tiempo
en las escuelas primarias en México
 Tiempo de aprender.
El uso y organización del tiempo
en las escuelas primarias en México
Ana Elizabeth Razo Pérez
Doctora en Políticas Públicas, Centro de Investigación y Docencia Económicas, México.
ana.razo@alumnos.cide.edu

PALABRAS CLAVE: Tiempo de instrucción, observación, videograbación.

EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen
Por más de treinta años, en México, la forma en como el tiempo de clases es utilizado y organizado ha permaneci-
do sin explorarse. Sabemos que el tiempo en la escuela y el tiempo de aprendizaje no son sinónimos. Sin embargo
muy poco sabemos del tamaño de la brecha que existe entre ambos. En esta ponencia se abordan los resultados
del estudio sobre el uso y organización del tiempo en las escuelas primarias del país. Desde una combinación de
métodos, se describe 1) el uso del tiempo de instrucción en la escuela, 2) el tipo de actividades educativas desarro-
lladas por el profesor durante la jornada escolar y el tiempo que destina en ellas, así como 3) los factores asociados
ayudan a explicar la organización del tiempo del tiempo del profesor. Los datos de este estudio fueron obtenidos a
partir de observación videograbada de la práctica de aula en ocho escuelas primarias —cuatro matutinas y cuatro
vespertinas—. Las actividades educativas fueron grabadas durante una semana completa de clases, logrando un
total de 160 horas de clase analizadas, y codificadas siguiendo los protocolos diseñados. Los resultados muestran
que sólo una tercera parte del tiempo de instrucción es dedicado en interacciones educativas entre maestros y
alumnos. En tanto que la mitad de la jornada se destina en actividades educativas. Así, el estudio del tiempo va
más allá de la duración del día escolar. El énfasis se coloca en los periodos que los estudiantes están expuestos a
experiencias educativas de calidad en la escuela.

2
 INTRODUCCIÓN

El tiempo escolar es un concepto que ha sido permanentemente asociado con el mejoramiento educativo a partir de su
influencia, silenciosa pero fundamental, para alcanzar los propósitos de la educación. Sin embargo, un número importan-
te de estudios enfatizan que el efecto positivo del tiempo en la escuela proviene de su uso y aprovechamiento para lograr
aprendizajes, más que en el solo transcurrir de los periodos. Es decir, la relevancia del tiempo en la educación no está
solamente en su dimensión cronológica medible, sino en su potencial como un medio que, en función de su utilización,
genera oportunidades de aprendizaje.
Si el supuesto que la influencia del tiempo está en la forma en cómo se utiliza y no en la cantidad destinada a una cierta
actividad, entonces la atención debe centrarse en lo que ocurre dentro de la escuela y del salón de clases. Sin embargo,
muy poco se conoce sobre la distribución y organización del tiempo durante la jornada escolar y sobre el aprovechamien-
to de los periodos destinados para las actividades pedagógicas. Es decir, ¿qué ocurre durante ese tiempo dentro del salón
de clases?
Y si desconocemos la forma en cómo se utiliza el tiempo en la escuela, entonces ¿cómo valorar si el tiempo disponible
para la enseñanza es suficiente? De igual manera, es posible suponer la existencia de una brecha entre la cantidad de
tiempo asignado para la enseñanza de los niños en la escuela y el tiempo efectivo que se utiliza dentro de ella para aten-
der actividades con intencionalidad pedagógica. Esta diferencia podría representar una fuga y un derroche de recursos
humanos y financieros. Sin embargo, el detrimento más grave se encuentra en el desaprovechamiento irreversible del
tiempo y de las oportunidades de aprendizaje de los niños.
El caso de México resulta inquietante. En nuestro país, los datos sobre el uso del tiempo de instrucción son escasos y
remotos. Las últimas dos exploraciones realizadas se remontan a finales de los años setenta1. Así, a más de treinta años
de la investigación más cercana, se vuelve imprescindible estimar información actual sobre el uso y la organización del
tiempo en las escuelas públicas de educación primaria.
Dicho de otro modo, para aumentar las experiencias educativas durante la jornada escolar disponible, el primer paso
—indispensable— es conocer como se está utilizando y organizando el tiempo en la escuela.
A través de esta investigación se busca estimar el tamaño de la brecha que existe entre el tiempo asignado para la
enseñanza y el tiempo efectivo utilizado en instrucción. Saberlo nos permitirá profundizar en la comprensión de las for-
mas en cómo se utiliza el tiempo en las escuelas públicas de nivel primaria desde la combinación de tres perspectivas:
a) como un acontecer físico/cronológico medible en parámetros numéricos -¿Cuánto tiempo de la jornada escolar en las
escuelas primarias es dedicado a actividades de enseñanza?; b) como fenómeno que se vive, en donde pueden ocurrir
interacciones propicias para la enseñanza y el aprendizaje -¿Cómo utiliza el profesor de primaria el tiempo de instrucción
disponible en la escuela?-; y c) como el resultado de elementos contextuales -¿Cuáles son los factores asociados a la forma
en que los profesores de primaria organizan y distribuyen el tiempo disponible en la escuela?

DESARROLLO

A. La estructura del tiempo en la experiencia escolar: el uso del tiempo de instrucción

Para los familiarizados con la práctica docente —maestros, educadores, investigadores- no es de sorprender dos carac-
terísticas relevantes que emergen al observar el uso del tiempo en el aula: la relatividad y lo cambiante. La primera se
relaciona con la percepción del tiempo utilizado por el maestro en función de los propósitos definidos. Es decir, veinte
segundos pueden parecer una eternidad en el aula cuando no se identifica una estructura clara en el proceso pedagógico,

El estudio de Paradise, R., Gálvez, G., Rockwell, E., y Sobrecasas, S. (1981). El Uso del Tiempo y de los Libros de Texto en Primaria.
1

Cuadernos de Investigaciones Educativas No.1, junto con el trabajo de Muñoz Izquierdo, C., Rodríguez, P., Restrepo, P., y Borrani, C. (1979).
El síndrome del atraso escolar y el abandono del sistema educativo, representan las últimas exploraciones sobre el uso del tiempo en México.

3
 ni se visualizan los fines de la actividad. En cambio, los mismos veinte segundos podrían pasar volando cuando los objeti-
vos son manifiestos para todos y logran interesar e involucrar a los alumnos. El cambio de comportamiento es la segunda
característica que claramente se distingue en la observación continua de la jornada escolar. Al interior del salón de clases
la conducta del grupo y del profesor puede modificarse grandemente de una hora a otra sin alguna razón aparente. Y por
supuesto, también de día a día. La actividad escolar cotidiana es cambiante.
El aprendizaje efectivo depende en última instancia de la manera en que el tiempo se organiza, de la proporción de
tiempo dedicado a la perseverancia de los estudiantes, o de su completo compromiso en el aprendizaje, así como del tiem-
po que los estudiantes con diferentes aptitudes y niveles de motivación requieren para internalizar conceptos y elaborar
ideas (Carroll, 1989 citado en OECD, 2011).
De esta manera y para el presente estudio, se define Tiempo de Instrucción como la cantidad de tiempo que el
profesor destina, de manera consciente y deliberada, a las actividades con intencionalidad pedagógica en la es-
cuela para influir en las oportunidades de aprendizaje de los niños.

Esquema 1  Relación y definición de los tipos de tiempo en la escuela

Tiempo asignado al ciclo

• Días de clase en el ciclo escolar
escolar
Tiempo asignado a la escuela • Horas de la jornada escolar diaria

Tiempo asignado a la clase • Horas destinadas a impartir clase

• Cantidad de tiempo que el profesor destina de
Tiempo de Instrucción manera consciente y deliberada en actividades con
intencionalidad pedagógica
• Periodo en el cual los estudiantes participan y se
Tiempo Comprometido involucran en actividades de aprendizaje durante
el tiempo de instrucción

Tiempo de Aprendizaje • Periodo preciso en donde los estudiantes reciben

Académico instrucción escolar que está alineada con su
preparación y el aprendizaje ocurre

Fuente: Elaboración propia

De las actividades escolares

El uso del tiempo del maestro fue clasificado en segmentos de actividades —pedagógicas y no pedagógicas— a lo largo de
la jornada escolar. Estos periodos se codificaron en alguna de las 25 actividades que el maestro podría estar realizando
al interior del aula:

4
 Tabla 1  Resumen de grupos de actividad escolar

Grupos de actividad Usos del tiempo de instrucción

Inicio y cierre de la jornada escolar.
Transiciones e Interrupciones.
Interacción activa del maestro: conduce,
guía y se involucra en las diferentes
actividades pedagógicas que se realizan
en clase.
Interacción pasiva del maestro: no está
involucrado en la actividad de los alumnos,
realiza otro tipo de tareas (diferentes
a las de enseñanza) dentro del aula.
Gestión de clase
Evaluación
Actividades fuera del salón de clases
(Ausencias)
Recreo
Inicio de la jornada escolar y saludo
Transición a otra actividad
Cierre de la jornada escolar y despedida
Interrupción no planeada
Interrupción planeada
Lectura en voz alta (individual o en grupo)
Exposición y explicación de clase
Trabajo en pequeños grupos
Discusiones, debates, preguntas y respuestas de clase
Ejercicios de práctica
Supervisión activa de las actividades de aprendizaje
Trabajo en pequeños grupos
Ejercicios de práctica individual
Prácticas de memorización
Escribir en el pizarrón
Lectura en silencio
Apoyo de instrucción
Supervisión pasiva
Gestión y organización de clase (instrucciones)
Acciones disciplinarias
Valoración de los aprendizajes de los estudiantes
Docente fuera del aula, alumnos involucrados en actividades de aprendizaje
Docente fuera del aula, alumnos no involucrados en actividades de aprendizaje
Atención a padres de familia
Recreo

La distribución del tiempo de instrucción en las escuelas participantes

En las clases observadas suceden muchas cosas. Algunas de ellas pueden entenderse a partir de lo que se registra en la video-
grabación del aula y otras tantas requieren de ser consideradas en un contexto más amplio. Así, los resultados cuantitativos
relacionados a la distribución del tiempo se acompañan, en cada caso, de los factores y dimensiones que, a partir de las con-
versaciones con profesores y directivos, ayudan a entender el sentido de las acciones desarrolladas dentro del salón de clases.
Sólo una tercera parte del tiempo de instrucción es utilizado en el tipo de actividades de aprendizaje asociadas con
mayores efectos en el logro educativo de los alumnos. Es decir, en el conjunto de actividades categorizadas en el grupo
Instrucción activa, se concentran aquellas acciones pedagógicas en donde el profesor está involucrado activamente con
las actividades de enseñanza de los alumnos. Sin embargo este grupo absorbe tan sólo el 35.45% del tiempo disponible
para el aprendizaje.
El segundo grupo de actividades con mayor porcentaje de tiempo utilizado es el de Gestión, en donde 13.52% del
tiempo se destina a organizar al grupo, dar instrucciones e indicaciones para las actividades a desarrollar y promover el
orden y la disciplina entre los alumnos. El grupo de actividades en Interacción pasiva, con 12.54%, ocupa el tercer uso del
tiempo de instrucción. Aquí, los alumnos están desarrollando actividades escolares, pero el profesor no estará involucra-
do en ellas. El cuatro destino más frecuente del tiempo está identificado en los periodos de inicio y término de la jornada
escolar, así como en las interrupciones y transiciones de actividad en donde se dedica 12% del tiempo. En cuanto al recreo,

5
 el periodo de media hora destinado para el descanso de maestros y alumnos, su duración promedio es de 30 minutos,
representando un total de 11.12% de la jornada diaria. En las acciones de evaluación se destina 8.88% del tiempo. Aquí
sobresale la revisión y calificación de los cuadernos de los niños como la principal actividad de los maestros para la valo-
ración de los aprendizajes de los estudiantes. En las ausencias y atención a padres se localiza 6.50% del tiempo.
Estas cifras no pueden, ni deben, analizarse en aislado. Muchos son los factores que se involucran y que se asocian con
esta distribución del tiempo. Es indispensable señalar que, si bien el tipo de tiempo que se asocia a mayores efectos de
aprendizaje en los alumnos ocupa un porcentaje pequeño de la jornada escolar, esto no puede explicarse como una falta de
voluntad y de intención del maestro. Al menos en los profesores observados en esta investigación, la totalidad se distingue
por un alto grado de compromiso con sus alumnos. Con esto no se pretende justificar la erosión del tiempo. La intención es
colocar el énfasis en las competencias docentes más que en un juicio anticipado de desinterés del maestro hacia sus alumnos.
El tiempo de instrucción de las jornadas escolares observadas, se distribuyen de la siguiente manera:

Gráfica 1  Uso del tiempo de instrucción por grupos de actividad

Es posible proyectar la distribución de las actividades y los tiempos de instrucción del maestro en un día regular de clase:

Gráfica 2  Distribución promedio del tiempo en un día regular de clases (4.5hrs), por grupo de actividad

6
 La distribución del tiempo por grupos de actividades es tan sólo un punto de partida en la exploración del aprovecha-
miento y organización de los periodos escolares.

El tiempo de instrucción y la evaluación

Esta investigación no intenta proponer que el tiempo de instrucción deba ser evaluado. El uso del tiempo de instrucción
es el reflejo y el resultado de un conjunto de factores que, ciertamente interesa que sean evaluados. Dicho de otro modo,
la forma en como se usa el tiempo es el efecto de competencia y habilidades docentes tales como el dominio de los con-
tenidos, el repertorio de estrategias didácticas, la gestión y organización del grupo y la planeación de las actividades en
la jornada considerando el contexto del grupo, por sólo mencionar algunos. De esta forma, la efectividad en el uso del
tiempo en la escuela es sólo un reflejo de otras variables en las que es fundamental una valoración sobre su alcance, pero
también una evaluación de las condiciones que se brindan para lograrlas.
La relación entre el tiempo y la evaluación en la escuela no está en el cumplimiento de horarios. Lo que para esta in-
vestigación debe evaluarse no es el cumplimiento de bloques de asignaturas con duración de 50 minutos. La evaluación
del tiempo pasa por saber que cada minuto es aprovechado en experiencias educativas significativas para los alumnos.
Una estrategia efectiva para valorar los factores que influyen en el uso del tiempo es la observación en aula. La ob-
servación de la práctica pedagógica debe incluirse como parte de las experiencias cotidianas en la escuela. Es necesario
trabajar en conjunto para desarraigar la idea de la observación punitiva y fiscalizadora y ubicarla como un componente
de apoyo y acompañamiento eficiente, empático, justo y solidario con la tarea del maestro. Cierto que la observación
promete ser un buen elemento para la evaluación del desempeño docente, pero en un primer momento deberá ser enten-
dida como un instrumento para mejorar la práctica. En otras palabras, antes de ser utilizada como un instrumento que
modifique las relaciones laborales de los maestros, su posición y sus beneficios en el sistema educativo, la observación
–conducida con rigor y profesionalismo- debe ser utilizada para retroalimentar, de manera específica y pertinente, la
actividad pedagógica del maestro.

CONCLUSIONES

Esta investigación confirma un supuesto sobre el tiempo escolar en nuestro país. El tiempo de instrucción no está donde
nos gustaría, pero lo cierto es que tampoco está donde creíamos.
Menos de la mitad del tiempo disponible en la jornada escolar es utilizado en interacciones educativas intencionales
con los alumnos. La otra mitad del tiempo se distingue por acciones de gestión que no ocurren fuera del salón de clases o
en una manifestación evidente por no enseñar.
Los maestros observados ofrecen evidencias contrarias al estigma de docentes indiferentes de su práctica y despreo-
cupados porque sus alumnos aprendan. Pero también, es cierto que se identifican pocas estrategias docentes para orga-
nizar y desarrollar las actividades de aula, y prevalece un énfasis en la cultura escolarizante, de procedimientos y formas,
más que una cultura centrada en el aprendizaje.
Los maestros no son acompañados y orientados en su práctica. Nadie los observa en sus actividades docentes y ellos,
a su vez, no observan a nadie como parte de experiencias de enriquecimiento a su profesión. Para los profesores, la obser-
vación se relaciona con un acto punitivo y de fiscalización, mucho más vinculado con acciones de coerción que de mejora
y retroalimentación de la actividad pedagógica. Es fundamental desarrollar estrategias para modificar la percepción y el
uso de la observación de la práctica en aula. Antes de posicionarla como un medio de evaluación docente, es primordial
referirla como una estrategia de mejora y retroalimentación.
Esta investigación mostró referencias y evidencias para entender que la relación entre el tiempo y el logro de los
estudiantes no es lineal. Su efecto estará en función de la calidad de las interacciones y las experiencias educativas que
desarrollen durante la jornada en la escuela. El reto está en maximizar las oportunidades de los alumnos en interaccio-
nes significativas. Así, más allá de modificar la duración de la jornada escolar, debemos detener la erosión del tiempo de

7
 instrucción y las oportunidades de aprendizaje que se diluyen en los periodos distintos a los educativos durante el día de
clases, para impulsar condiciones y estrategias hacia el mejor uso del tiempo escolar que ahora disponemos. El tiempo
escolar es importante, pero aprovecharlo es imprescindible.
La evaluación del tiempo en la escuela debe ser una medición cautelosa para interpretar la efectividad de la tarea
docente. Es relevante recordar que el tiempo es sólo un reflejo de las variables realmente fundamentales y a las que de-
bemos enfocar los insumos para impulsarlas y los recursos para evaluarlas.
El tiempo de instrucción como recurso utilizado intencionalmente en el aprendizaje, es una variable poderosa, de bajo
costo y con posibilidad de estar bajo el control de los maestros. Necesitamos mayor conciencia y claridad para reconocer
la enseñanza —y el tiempo usado en ella— como el objetivo principal de la escuela.

BIBLIOGRAFÍA
Abadzi, H. (2007). Absenteeism and Beyond: Instructional Time Loss and Consequences (Policy Research Working Paper
4376). The World Bank.
Aronson, J. (1995). Stop the Clock: Ending the Tyranny of Time in Education. Office of Educational Research and Improve-
ment, FarWest Laboratory.
Bellei, C., Muñoz, G., Pérez, L., y Raczynsky, D. (2004). Escuelas Efectivas en Sectores de Pobreza: ¿Quién dijo que no se
puede? Gobierno de Chile-UNICEF.
Berliner, D. (1978). Allocated Time, Engaged Time and Academic Learning Time in Elementary School Mathematics Instruc-
tion. National Council on Teaching Mathematics.
Bill and Melinda Gates Foundation (2013). Ensuring fair and reliable measures of effective teaching: culminating find-
ings from de MET Project's Three-Year Study. Measures of Effective Teaching Project Policy and Practice Brief.
Estados Unidos.
Carnoy, M. (2010). La Ventaja Académica de Cuba ¿Por qué los estudiantes cubanos rinden más? México: Fondo de Cultura
Económica.
Carroll, J. (1963). A Model of School Learning. Teachers College Record, 64 (8), 723-733.
Casabianca, J., McCaffrey, D., Gitomer, D., Bell, C., Hamre, B., y Pianta, R. (2013). Effect of Observation Mode on Measure
of Secondary Mathematics Teaching. Educational and Psychological Measurement 73 (5), 757-783.
Center on Education Policy (2008). Instructional Time in Elementary Schools: A Closer Look at Changes for Specific
Subjects. Arts Education Policy Review, 109 (6), 23-28.
Fisher, Ch. y Berliner, D. (1985). Perspectives on Instructional Time. Ed. Longman, Estados Unidos.
Fullan, M. y Hargreaves, A. (2001). La escuela que queremos. Los objetivos por los que vale la pena luchar. Biblioteca para
la actualización del maestro, SEP.
Givvin, K. (2007). “Evaluating teaching practice through video: examining purpuses, methodologies, and findings”, en
Alicia Rivera (Ed.). Evaluación de la práctica pedagógica a través del video. UPN, México.
Hattie, J. (2009). Visible Learning: A Synthesis of Over 800 meta-analyses relating to achievement. Routledge.
Hill, H. y Grossman, P. (2013). Learning from Teacher Observations: Challenges and Opportunities Posed by New teacher
Evaluation Systems. Harvard Educational Review, 83(2), 371-384.
Karweit, N. y Slavin, R. (1980). Time on Task: Issues of Timing, Sampling and Definition. Center for Social Organization
of Schools, The John Hopkins University.
Loera, A., Näslund-Hadley, E. y Alonzo, H. (2013). El desempeño pedagógico de docentes en Nuevo León: hallazgos de un
estudio basado en videos de lecciones de matemáticas y ciencias. Revista Latinoamericana de Estudios Educativos 43
(2), 11-41
Martinic, S. (1998). Tiempo y Aprendizaje. Banco Mundial, Departamento de desarrollo Humano, Paper No. 26.
Manzi, J., Preiss, D., y Flotss, P. (2007). “Uso del video para la evaluación de profesores y la investigación de patrones
de enseñanza: la experiencia chilena”, en Alicia Rivera (Ed.). Evaluación de la práctica pedagógica a través del video.
UPN, México.

8
 Muñoz Izquierdo, C., Rodríguez, P., Restrepo, P., y Borrani, C. (1979). El síndrome del atraso escolar y el abandono del
sistema educativo. Reeditado en Revista Latinoamericana de Estudios Educativos (2005), 35 (3-4), 221-285.
Murnane, R. y Ganimian, A. (2014). Improving Educational Outcomes in Developing Countries: Lessons from rigorous
evaluations. Working Paper 20284. National Bureau of Economic Research. Estados Unidos
National Educational Commission on Time and Learning (1994). Prisoners of Time. Consultado el 23 de abril de 2011 en
http://www2.ed.gov/pubs/PrisonersOfTime/index.html
OECD (2011). Quality Time for Students. Learning in and out of school. OECD, París.
O´Sullivan, M. (2006). Lesson observation and quality in primary education as contextual teaching and learning processes.
International Journal of Educational Development, 26, 246-260.
Paradise, R., Gálvez, G., Rockwell, E., y Sobrecasas, S. (1981). El Uso del Tiempo y de los Libros de Texto en Primaria. Cua-
dernos de Investigaciones Educativas No.1, DIE, IPN, México.
Pianta, R. (2012). Implementing Observation Protocols. Lessons for K-12 Education from the Field of Early Childhood. Center
for American Progress, Estados Unidos
Rosenshine, B. (1979). Content, time and direct instruction. En Peterson, P. y Walberg, H. (Eds.), Research on teaching:
Concepts, findings and implications. MrCutchan, Estados Unidos
Sarason, S. y Gtazek, S (2007). Productive Learning. Corwin Press
Scheerens, J. (Ed.) (2014). Effectiveness of Time Investments in Education. Insights from a Review and Meta-Analysis.
Simon, A. y Boyer, E. G. (1974). Mirros for behavior III. An Anthology for Observation Instruments. Comunication Materials
Center, Estados Unidos