Está en la página 1de 496

PONENCIAS

13 y 14 de marzo de 2015

Gestin y evaluacin:
de la resistencia al desarrollo prximo
13 de marzo de 2015

Gestin y evaluacin:
de la resistencia al desarrollo prximo
Miguel Angel Castillo Fuentes
Maestra en Educacin Bsica. UPN-096. Mxico, D.F.
macasti_2000@yahoo.com
PALABRAS CLAVE: Gestin, Paradigma, Evaluacin cualitativa, Resistencia docente, Zona de Desarrollo Prxima.
EJE TEMTICO: Modelos y polticas de evaluacin de docentes y de directivos escolares.

Resumen

El presente trabajo plantea que la posibilidad de modificar la cultura de la evaluacin entre los profesores, depende mucho del cambio del modelo de gestin que la construye. De acuerdo a los antecedentes del concepto gestin
y su estrecha relacin con la perspectiva tcnica e instrumental se configur un paradigma dominante desde el
management y la administracin clsica escolar. De ello devino evaluacin tecncrata, estandarizada y con fuerte
tendencia hacia lo cuantitativo. As desde el agotamiento del paradigma clsico que fue la racionalidad que sostuvo el modelo actual de gestin en el sistema educativo mexicano, se prefigura un cambio paradigmtico. En esta
dinmica conceptual y de la praxis, el docente como agente central reacciona manifestando su actitud hacia las
polticas educativas y en especfico hacia las formas de evaluar y sobre todo al ser evaluado. Se identifican ciertas
resistencias del magisterio y sus posibles fuentes que confirman la necesidad de repensar el modelo que subyace
a las prcticas docentes actuales. El trabajo propone recuperar las anomalas y defectos que el paradigma clsico
exhibe para construir nuevos horizontes de la evaluacin que apuntan hacia la evaluacin cualitativa, como una
va para mejorar las prcticas educativas y por lo tanto la calidad educativa. Para transformar las resistencias, una
posibilidad es el ejercicio del concepto zona de desarrollo prximo en el saln de clases, para el aprendizaje del
propio docente, considerando el acompaamiento y retroalimentacin de evaluadores-docentes. Convergen tanto
la evaluacin cualitativa como la perspectiva sociocultural.

INTRODUCCIN:
EL CONTEXTO DE LA GESTIN
El sistema educativo en Mxico atraviesa como otros en el mundo, y en diferentes momentos de su historia reciente,
cuestionamientos hacia la calidad del sistema por los resultados obtenidos en los distintos niveles que lo componen en
las escuelas del pas. Son resultados palpables en los actos pedaggicos donde interactan en distintos niveles, alumnos,
docentes, directivos, padres de familia, diseadores de poltica educativa, especialistas e investigadores en la materia y
desde luego quienes encabezan la Secretara de Educacin Pblica (SEP).
El punto de reflexin conduce entre otras acciones a la suposicin de que tal vez algo puede y debe hacerse mejor; que
requerimos incorporar elementos indeterminados y omitidos dentro del anlisis del amplio y complejo sistema educativo. Entre los supuestos que representan las afirmaciones anteriores, se identifican dos dimensiones. Una alude a lo pedaggico pues sabemos que seguimos con puntuaciones en el plano internacional y nacional, que nos colocan con notorias
diferencias en comparacin a otros pases y comunidades educativas del mundo.
La segunda dimensin abarca el terreno de lo social y cultural donde se expresa la emergencia de mejorar la habilidad
de los ciudadanos mexicanos para recomponer sus relaciones cotidianas, en la calle, en los trabajos, en los planteles escolares, en casa y con la familia: la indispensable convivencia entre personas que colaboren entre s, que se correspondan
en respeto, tolerancia y dilogo. Son en s mismos valores de la democracia que la escuela como institucin social aspira
a construir de manera legtima como una forma de garantizar el derecho a la educacin.
En este sentido reflexivo y a partir de ambas dimensiones, se extiende un discurso comn en la literatura sobre los
asuntos de la educacin y la enseanza, que identifican ciertas tendencias hacia un cambio del paradigma vigente en las
sociedades mundiales. Por ello cabe mencionar en esta introduccin, algunos antecedentes conceptuales y epistemolgicos en la construccin de la gestin como concepto emergente dentro del sistema educativo mexicano (Navarro, 2004).
Dicho concepto dirige el objetivo de este trabajo, en tanto se articula a dos componentes torico-metodolgicos:
El primero es la exploracin de las actitudes y la resistencia docentes hacia la evaluacin, que encuentra un nivel de
concrecin muy especfico en el saln de clases. La segunda articulacin es con el concepto de Lev Vygotsky, la Zona de
Desarrollo Prximo (ZDP).
Mediante esta triple articulacin terico-metodolgica y situada, entre gestin-actitud-zona de desarrollo prximo
se pretende reconocer a la evaluacin cualitativa y en particular la autntica, no slo como elemento constitutivo del
currculum sino en especial como una estrategia para la mejora de las prcticas docentes y en consecuencia de la
calidad educativa. Por ello se pondrn a consideracin algunas aportaciones tericas sobre la gestin, diferentes al
concepto tradicional.

1. Del management a la gestin cultural y antropolgica

Se dice tradicional porque la gestin naci vinculada a la nocin que nos hered Taylor y Fayol desde el managment y
el accountability. Fue una prescripcin que domin buena parte del siglo XX y que sin desaparecer sigue presente en
nuestros sistemas sociales, econmicos y desde luego en las escuelas mexicanas. A finales del siglo XX se determin que
la gestin era una herramienta y estrategia para que las organizaciones escolares lograran la tan anhelada calidad educativa, mediante la eficacia y la eficiencia.
En la actualidad contamos con visiones de la gestin desde miradas alternas que parecen responder mejor a la problematizacin de las ciencias sociales y la educacin. Diversos autores (Aktouf 1998, Chanlat, 1994 y 2006; Shepard, 2006,
Ravela, INEE 2014) sealan la bsqueda de rutas diferenciadas de la mirada gerencial con que se piensa la organizacin
de la escuela, visin ligada al culto a la empresa que se ha trasladado a los planteles educativos. Sugieren centrar los
procesos y estudios organizacionales hacia modelos del tipo cultural y antropolgico que den voz al interaccionismo
simblico como expresin humana que se expresa en cada saln de clase y en cada patio escolar.
En particular Ravela (INEE, 2014) sostiene que en ese traslado que se hizo del mandato empresarial hacia el mandato
pedaggico, radica uno de los orgenes de las resistencias del magisterio al enfrentarse a la diversificacin de las prcticas
de evaluacin.

Agencias internacionales como la UNESCO (2000) se aproximan a estas miradas cuando presenta su anlisis de cmo
la gestin nacida de la Administracin Clsica Escolar se considera como un paradigma que debe renovarse y buscar
desde la prcticas educativas y la investigacin, un cambio de paradigma hacia rutas emparentadas a las racionalidades
sociocrticas y antropolgicas.
De esta manera y dadas las condiciones, resultados y tendencias dentro y fuera del sistema educativo, es posible una reflexin sobre la vigencia y pertinencia de prefigurar un cambio paradigmtico sobre el modelo de gestin que rige a nuestro
sistema educativo y del que se derivan, entre otras prcticas, formas particulares y conservadoras de evaluar el aprendizaje.
En una obra clsica, Khun (2012) nos anunci que la revolucin de la ciencia es posible en tanto sus defectos; rasgo
que coloca al digamos, viejo paradigma, en la tensin de transitar hacia uno nuevo desde sus propias anomalas. De ah
que podamos confirmar el pensamiento de Zemelman (1992) quien nos invita a mirar los lmites de la razn; de esa frontera en la lgica de la administracin clsica que en su agotamiento promueve una potenciacin de nuevos horizontes
epistemolgicos para la gestin de una evaluacin cualitativa y de tipo autntica.
En estos campos de transicin se visualiza un espacio de deconstruccin y reconstruccin donde los agentes educativos se plantan de frente a los cambios que impone una reforma educativa; ante los efectos que por naturaleza trae
consigo una poltica educativa. En los agentes reside mucho la posibilidad de un pensamiento transformador del sistema
educativo, que demanda una evaluacin exhaustiva de las condiciones en que desempean su funcin los docentes.

DESARROLLO:
EL DOCENTE ANTE LA EVALUACIN Y SER EVALUADO
Si partimos del hecho que el docente es uno de los agentes principales para hacer posible la transformacin del sistema
educativo y de las actuales formas de evaluacin, es justo poner a consideracin su respuesta, favorable o no, y el grado
de disposicin que expresa hacia el objeto socioeducativo en cuestin como es la evaluacin.
Al respecto hay que reafirmar que, de acuerdo al estudio Talis (OCDE, 2009),una parte del magisterio manifiesta
actitudes positivas; es una muestra que habla bien de la disposicin de los profesores mexicanos. Por lo menos existe
esa aceptacin a ser evaluados y en relacionar la evaluacin con la mejora de sus prcticas docentes, desde procesos de
capacitacin y actualizacin. En una idea complementaria Ravela (INEE, 2014) afirma que si bien la cultura del docente
hacia la evaluacin muestra ciertas resistencias, lo cierto es que no depende totalmente del profesor.
En el quehacer profesional e interaccincon profesores de educacin bsica, se les escucha decir que si desean ser
evaluados y se les observa aplicar rbricas y portafolios de evidencias, sin embargo el propio sistema de cumplimiento
con ciertos criterios normativos y el tiempo que se les exige para ello, limita mucho su innovacin. Pretendo resaltar as
que, tanto por las tendencias tericas como por la experiencia del convivir profesional con profesores, es posible afirmar
que hay disposicin favorable entre el magisterio. Que su actitud conserva componentes que determinan una respuesta
positiva hacia los objetos socioeducativos que provienen de cierta reforma o poltica educativa, en particular hacia la
evaluacin y el ser evaluados.

1. La resistencia docente ante la evaluacin: confusiones y propuestas

Sobre las resistencias, Ravela (INEE, 2014) nos ofrece un interesante anlisis desde la subjetividad que representa hablar
de la evaluacin del docente. Luego hace una diferenciacin sobre las posibles confusiones que l denomina: conceptuales, deincentivos y de la meritocracia. Explica que estas confusiones envuelven de forma negativa a la prctica de la evaluacin.En mi experienciaconozco a profesores y profesoras para quienes lo importante es saber para qu, con qu fines se
evaluar y cules sern las consecuencias de dicha evaluacin.
En esta realidad confluyen tanto Talis (OCDE, 2009) como Ravela (INEE, 2014); enla importancia de definir primero
estas preguntas bsicas y comenzar un trabajo gradual para cambiar esta cultura que tenemos en Mxico quienes nos
dedicamos a la docencia, donde destaca la incorporacin de cdigos lingsticos y prcticas procedentes del Managment.

Lo interesante est en la coincidencia conceptual entre Talis (OCDE, 2009) y Ravela (INEE, 2014) en que el profesor
tiene, al menos cognitivamente, la apertura necesaria a este escabroso tema de ser observado. En la realidad cotidiana de
las aulas cuando uno observa la accin pedaggica del profesor durante su clase, se ratifica que conductualmente operan
con disposicin. Luego, es posible que emocionalmente tambin lo sientan as. De ser cierto esto, entonces tendramos
una visin integral de su actitud, pues se incorporaran los tres elementos que la conforman.
As uno de los retos para el sistema educativo est en concretar un cuerpo profesional de docentes-evaluadores quienes entre otras tareas gestionarn para que gradualmente se introduzcan estrategias (conceptuales, prcticas y actitudinales) que favorezcan el cambio hacia una zona de desarrollo prximo en el terreno de la evaluacin cada vez ms
autntica, sin descuidar la medicin y el uso de ciertos instrumentos necesarios. Desde luego que ser un camino largo,
pues hay una fuerte tradicin y creencia social de que evaluar es aprobar; de que evaluar es presentar un examen impreso
en papel.

2. Cmo enfrentar la resistencia?


Uno de los puntos nodales para definir hacia dnde se orientar la actitud del docente ante el ejercicio de ser o no evaluado, es su temor y desconfianza. Son muchos aos de creer que la evaluacin los va a remover del puesto o que tal o cual
prueba les acarrear diversas sanciones u oficios de extraamiento. El propio sistema educativo contribuy en ello y fue
construyendo la cultura que hoy conocemos sobre las prcticas de evaluacin.
El magisterio ha sido evaluado de manera explcita muchas veces y de manera constante. Tambin es real que hay un
escrutinio social, muchas veces implcito, hacia la tarea docente, donde influyen mucho los medios masivos de comunicacin. En particular la televisin y la radio. Lo que debe difundirse tambin pero de manera veraz es sobre el uso y los
fines que se le han dado a esas pruebas. As que la discusin sobre el tema de evaluar o no evaluar, no es el dilema... sino
los usos y costumbres; el temor y la desconfianza que se han construido socialmente en torno a la evaluacin docente.
Algunas propuestas prcticas de afrontar la resistencia y recuperar de forma gradual la confianza es reducir las confusiones entre lo que es evaluar y medir. Es necesario abandonar el uso de la evaluacin como forma administrativa de
control, as como evitar que evaluacin cumpla mltiples objetivos (el que mucho abarca, poco aprieta). Ser importante desalentar que la evaluacin sea un instrumento para sostener la meritocracia y por ltimo, evitar evaluaciones
descontextualizadas que ofrecen poca o nula retroalimentacin a la comunidad.
Para reconstruir la confianza ser indispensable que los evaluadores definan con el colectivo docente, qu se puede
y cmo se debe evaluar; que potencien sus habilidades comunicativas y de gestin para dejar una clara nocin sobre los
fines y objetivos de la evaluacin, principalmente enfocada hacia la autntica. Ser muy recomendable utilizar no uno,
sino varios instrumentos que enriquezcan la obtencin de datos de la realidad educativa, as como asociar su uso a la
obtencin de incentivos de desarrollo social y de tipo cultural. Para concluir, se considera necesario promover prcticas
evaluativas realizadas en comn acuerdo in situ; de manera que fortalezcan la retroalimentacinen el mismo saln de clases, tendientes hacia la mejora de las prcticas docentes y la transferencia, que se entiende como esa capacidad de aplicar
y concretar en el aula los aspectos tericos y metodolgicos de la evaluacin.
Hasta el momento se ha hecho alusin a una evaluacin autntica, que por su metodologa puede ser hasta ms amable para el evaluado pues se sustenta en prcticas de mediacin y andamiaje que nos conducen al pensamiento de Lev
Vygotsky, especficamente cuando sugiere educar desde la zona de desarrollo prximo.

3. La Zona de Desarrollo Prximo: espacio para la mejora de la prctica docente

Sugiero ahora, despus de sealar la actitud docente como un componente a orientar y que parece como un reto de
mediano o largo plazo, reflexionar en una propuesta que concretiza tanto en la teora pero sobretodo en la prctica cotidiana del saln de clases, como se ejemplificar al trmino de este apartado. Me refiero a la propuesta de Carles Monereo
(2011) quien nos invita de forma implcita a indagar diversos aspectos de nuestra praxis educativa, desde el concepto
de Zona de Desarrollo Prximo (ZDP): Por ejemplo, cmo pensamos que un evaluador puede contribuir a la evaluacin

y a la retroalimentacin realizada a un profesor, que se caracterice por su relevancia y proximidad? yluego es posible
aplicar o transferir el concepto de ZDP, en la bsqueda de mejores prcticas de los docentes a partir de la evaluacin?
Para responder la primera cuestin, es necesario incorporar la propuesta del propio Monereo (2011) sobre el uso
de un esquema de cuadrantes y ejes. Donde la tendencia cultural y profesional del evaluador estara dirigida hacia ese
cuadrante donde precisamente se localiza a la evaluacin autntica, que abarca prcticas dentro del saln de clase, incorporando los problemas que enfrenta el profesor y potenciando la retroalimentacin centrada en la prctica situada
del docente.
Entre ms prximo y realista sea el mtodo de evaluar, ms aprendizaje podr construirse en el proceso metacognitivo del profesor. Pensemos, si un maestro que se enfrenta a un grupo donde hay un alumno con alguna discapacidad (sordera), le sera recomendable auto-observarse (en comn acuerdo con el evaluador), para conocer qu formas de evaluar
utiliza y cmo enfrentara este reto. Para despus recibir sugerencias y ejercicios primero simulados de cmo monitorear
al alumno sordo y cmo ayudarlo a acceder a la currcula (lenguaje de seas mexicana; el uso de imgenes para aproximar
la comprensin de textos). Si bien la retroalimentacin ya ha empezado, se consolida en el momento en que se observa
in situ al profesor interactuar con el alumno e implementar algunas de las formas de evaluacin sugeridas y reunirse de
nueva cuenta para retroalimentar. Se asume como una prctica de mejora constante y que como seala Monereo (2011)
siempre es perfectible.
Sobre la segunda pregunta relacionada con el concepto zona de desarrollo prximo que se retoma de la teora de
Lev Vygotsky, puede verse desde la interaccin entre dos momentos pedaggicos bsicos: Uno de salida (real) y el otro de
llegada (potencial). De manera que para lograr la transferencia, el evaluador requiere conocer dnde est el profesor y
con base en la retroalimentacin estirar, como dice Monereo (2011), junto con el docente el punto de salida de su praxis
hasta donde sea posible con el objetivo de aproximarse a lo potencial.

CONCLUSIONES:
CUNDO EMPEZAR ESTE PROCESO?
Hasta aqu hemos recuperado cierta evidencia cientfica de que un paradigma agotado que influye no slo en la construccin de polticas educativas sino tambin en las prcticas educativas de las que proceden las prcticas de evaluacin que
persisten hasta el momento. Es el vrtice en que confluyen tanto los elementos estructurales donde reposan las polticas
educativas y las prcticas docentes.
La perspectiva tcnica arropa al pensamiento pedaggico derivado de la tecnocracia, con sus respectivas teoras y
modelos. Bajo esta forma de pensar y mirar la realidad, tanto la investigacin como la realidad social nos devuelven una
problematizacin comn: esta cultura y su paradigma tcnico e instrumental de la Administracin Clsica y Cientfica
Escolar se agot.
Pero este agotamiento no se dio por decreto, es una enunciacin que da voz a las anomalas y defectos de dicho
paradigma. Rasgos que dan luz a los posibles nuevos conceptos y propuestas tericas surgidas de la investigacin.
Que en ese devenir de la construccin y reconstruccin del conocimiento configuran prenociones y nociones de un
paradigma distinto.
Desde esa posible mirada alterna, se entiende que la resistencia del docente no slo provenga del sujeto sino de
toda la estructura; esto no niega la posibilidad de cambio sino que en funcin de la resistencia se puede visualizar un
avance gradual y estratgico para poder lograr esa articulacin, tal vez lenta hacia sistema y sobre todo respetuosa
del sujeto que conforman la cultura presente ante y para la evaluacin. Este actuar gradual y respetuoso debe reflejarse en la capacitacin y actualizacin docente.
Es un proceso largo y fundamental, pues las investigaciones nos indican que el cambio se tiene que dar hacia un paradigma distinto. Primero en la perspectiva que se tiene de la gestin, en esa racionalidad y epistemologa de las cuales
derivan no slo la evaluacin si no otras prcticas educativas y docentes.
6

BIBLIOGRAFA
Aktouf, O. (1998). La administracin entre la tradicin y la renovacin. Ed. Artes Grficas Univalle. Cali, Colombia.
Chanlat, J.F. (1994). Hacia una antropologa de la organizacin. Revista: Gestin y Poltica Pblica, Vol. III, No.2, Segundo
semestre. CIDE
Chanlat, J.F. (2006). Ciencias Sociales y Administracin. En defensa de una antropologa general. Fondo Editorial Universidad Eafit, Medelln.
Kuhn, T. (2012). La estructura de las revoluciones cientficas. Fondo de Cultura Econmica. Mxico.
Monereo, C. (2011). Conferencia La evaluacin autntica de competencias https://www.youtube.com/watch?v=
nTGFI8K21CI, 6 de mayo de 2011 (obtenido el 20 octubre, 2014)
Navarro, M. (2004). La gestin escolar: Conceptualizacin y revisin crtica del estado de la literatura. En Torres, M. Compiladora (2004). La gestin educativa. Experiencias de formacin y aportaciones a la investigacin e intervencin
(Memoria). Coleccin Los trabajos y los das. Universidad Pedaggica Nacional. Mxico, D.F.
OCDE . (2009). Estudio Internacional sobre Docencia y Aprendizaje (Teaching and Learning International Survey. Talis.)
16 de junio. Mxico.
Ravela, P. La evaluacin del desempeo docente para el desarrollo de las competencias docente. Documento del Curso
de Formacin Inicial para Evaluadores. INEE 2014.
Shepard, L. (2006). La evaluacin en el aula. Instituto Nacional de Evaluacin Educativa. Mxico.
UNESCO-IIPE. (2000). Gestin educativa estratgica. Diez mdulos destinados a los responsables de los procesos de transformacin educativa. Buenos Aires.
Zemelman, H. (1992). Los horizontes de la razn. Tomo II . Historia y necesidad de la utopa. Ed. Anthropos. ColMex.
Captulo IV : El mtodo como actitud ante la realidad.

Cmo operacionalizar el marco


de buen desempeo docente,
con pertinencia de gnero e interculturalidad?
Un anlisis de las rutas del aprendizaje producidas para los docentes en Per
13 de marzo de 2015

Cmo operacionalizar el marco


de buen desempeo docente,
con pertinencia de gnero e interculturalidad?
Un anlisis de las rutas del aprendizaje producidas para los docentes en Per
Magrith Mena Portocarrero*
Magster en Ciencias Sociales, Bachiller en Economa, GRADE, Per.
mmena@grade.org.pe
Martn Mlaga
Bachiller en Humanidades con mencin en Filosofa, GRADE, Per.
martin.malaga.m@gmail.com

PALABRAS CLAVE: Buen desempeo docente; Instrumentos Curriculares; Gnero; Interculturalidad.


EJE TEMTICO: Modelos y polticas de evaluacin de docentes y de directivos escolares.

Resumen

En el contexto de la operacionalizacin del Marco del Buen Desempeo Docente en Per, el estudio analiza la pertinencia de la incorporacin de los enfoques de gnero e interculturalidad en el principal instrumento curricular
puesto a disposicin de los docentes: las Rutas del Aprendizaje. Dichas Rutas contienen diferentes estrategias de
enseanza propuestas a los docentes para lograr el aprendizaje de los estudiantes.
En tanto, por un lado, las categoras de gnero e interculturalidad histricamente se han empleado en la legitimacin y reproduccin de las diferencias sociales, y por otro lado, los diferentes instrumentos que produce el
sector educativo deben apuntar a la construccin de una sociedad democrtica, donde se erradique la exclusin,
discriminacin y desigualdad de oportunidades, la potencialidad del estudio radica en su abordaje a desafos
conceptuales, vinculados a cmo se concretizan u operacionalizan las relaciones de gnero e interculturalidad
en las Rutas.
El anlisis identifica cuatro dispositivos de representacin de las relaciones de gnero e interculturales: i. No
existe un solo discurso (sino varios) de gnero e interculturalidad en las Rutas, ii. Individualizacin de responsabilidades en problemticas de carcter social, iii. Grupos poblacionales presentados en categoras cerradas y
excluyentes, y iv. Invisibilizacin de sujetos (en especial mujeres e indgenas). De esta manera, se concluye que la
incorporacin de los enfoques de gnero e interculturalidad como ejes transversales en los materiales estudiados
es parcial, fragmentado, de modo que existe un amplio espacio para mejoras en su diseo.

*Autor principal

INTRODUCCIN
La publicacin del Marco del Buen Desempeo Docente, a cargo del Ministerio de Educacin (MED) en el ao 2012, marc
un hito importante en el establecimiento de estndares del trabajo docente. Este documento establece las competencias
y desempeos que caracterizan una buena docencia; entendiendo que sta tiene como fin lograr el aprendizaje de todos
los estudiantes (MED, 2012:17).
En este contexto, se disearon instrumentos curriculares dirigidos a docentes y vinculados al referido Marco. Entre
estos materiales sobresalen las Rutas del Aprendizaje, pues ellas constituyen el principal instrumento curricular puesto
a disposicin de los docentes del pas existe otro instrumento, cuya difusin ha sido bastante ms reducida. Estas Rutas
buscan dar orientaciones a docentes, a manera de apoyo de su trabajo pedaggico; concretamente, contienen una serie
de estrategias de enseanza.
Es importante subrayar que tanto el Marco como las Rutas hacen referencia a un horizonte-marco ms amplio, que
apunta al Desarrollo Humano como objetivo de la educacin en el pas. As, en la medida que ste se entiende como un
proceso de expansin de las capacidades y derechos de las personas (MED y CNE, 2007:24), que entre otras importantes
cuestiones busca la construccin de una sociedad democrtica a travs de la erradicacin de la exclusin, discriminacin
y desigualdad de oportunidades (MED y CNE, 2007:24), los instrumentos curriculares deben cumplir con caractersticas
(estndares) que apunten en esta direccin.
En tanto histricamente el gnero y la pertenencia a una determinada cultura constituyen categoras clave para legitimar y reproducir las desigualdades sociales en el Per y en el mundo, se espera que estos dos conceptos sean ejes
transversales en las Rutas. As, dichos materiales deben ser pertinentes en materia de gnero e interculturalidad -de
hecho, existe todo un marco normativo que respalda esta afirmacin. Pero, qu quiere exactamente decir esto?, qu
caractersticas especficas debe cumplir un material pertinente en estos dos campos?
Estas preguntas plantean desafos conceptuales en el marco de la definicin de estndares de desempeo docente,
y en particular, en la definicin de estndares de materiales que el MED produce para ellos. Ms aun, estas preguntas
resultan clave en tanto el gnero y la interculturalidad son conceptos que atraviesan el diseo de las polticas educativas
del pas y la regin, y sin embargo aun resultan polismicos, considerados incluso como nebulosos o difciles de operacionalizar, por ms de un funcionario del sector educativo en Per (Muoz y otros, 2006; Mena, 2014).

DESARROLLO
Objetivo
El estudio busca responder a la pregunta Cmo son representadas las relaciones de gnero, as como las que se dan entre
diferentes culturas, en las Rutas del Aprendizaje producidas el ao 2013? As, el objetivo principal fue determinar cules
son los dispositivos de representacin de hombres y mujeres, as como de personas indgenas y no indgenas; atendiendo
a la posible presencia de estereotipos de gnero y/o interculturales en las Rutas.

Metodologa

El estudio desarrolla un anlisis crtico del discurso (ACD) de las i) las imgenes y ii) estrategias de aprendizaje de las
Rutas del Aprendizaje publicadas en 2013. Las imgenes aluden a toda representacin grfica con al menos un personaje
humano; las estrategias, a una serie de actividades concretas propuestas a los docentes para el logro de aprendizajes con
sus estudiantes (contenidos en los captulos 3 de cada Ruta).
Analizamos las Rutas correspondientes a los Ciclos de enseanza II, V y VII -correspondientes a los niveles de inicial
(3 a 5 aos), primaria (5to y 6to grado) y secundaria (3ro a 5to ao); en las reas de Comunicacin Escrita, Comunicacin

Oral, Matemticas y Ciudadana. Las Rutas analizadas corresponden a la Educacin Bsica Regular (EBR) y a la Educacin
Intercultural Bilinge (EIB). El corpus de anlisis abarca 13 Rutas, que contienen 813 imgenes y alrededor de 60 estrategias de aprendizaje.
Empleamos tcnicas cuantitativas y cualitativas de anlisis. Se cuantific personajes por sexo, indgena/no indgena,
espacio donde se ubican, emocin expresada, ocupacin que ejercen, entre otros. Asimismo, se hizo una lectura crtica de
las caractersticas sistemticamente atribuidas a hombres/mujeres, indgenas/no indgenas, y a las relaciones entre ellos.
En tanto este trabajo se enmarca en una discusin ms amplia sobre estndares de los instrumentos curriculares
dirigidos a docentes, un desafo metodolgico importante fue abordar la pregunta cmo deben representarse las relaciones de gnero e interculturalidad en los materiales analizados? Es decir, cmo se debe dar contenido concreto a los
enfoques de igualdad de gnero e interculturalidad en los materiales? Para esto se revis la normativa del sector, as como
los principales aportes realizados desde las Ciencias Sociales. Concretamente, bajo los parmetros de anlisis empleados,
se espera que las Rutas: i) representen a personas de diferente sexo y de diferentes culturas; ii) eviten la representacin
acrtica de estereotipos que refuercen prcticas discriminatorias y/o de (re)produccin de jerarquas entre grupos poblacionales, iii) representen a los sujetos en un marco de convivencia democrtica, apuntando a relaciones igualitarias.

Premisas tericas
El gnero se entiende como las diferencias construidas socialmente entre mujeres y hombres, basada en sus diferencias
biolgicas (Giddens, 2009); la interculturalidad, como un proyecto democrtico orientado a la consecucin de relaciones
igualitarias entre grupos culturales distintos. Adicionalmente, se tiene presente que existen interacciones entre las culturas, de modo que las fronteras de las mismas se consideran abiertas (Appadurai, 2004). Para ambos conceptos, con base
en Foucault, se tiene en cuenta su articulacin con el poder -rechazando el entendimiento del mismo como unificado,
coherente y centralizado, dando as espacio para la agencia humana y el cambio social.
Adicionalmente, el lenguaje tambin es entendido como una construccin social, y por tanto, remitente a relaciones
de poder. En esta lnea, el ACD se entiende como una disciplina que se propone investigar de forma crtica la desigualdad
social tal como viene expresada, constituida y legitimada por los usos del lenguaje el discurso (Wodak, 2001).

Resultados
El anlisis identific cuatro dispositivos de representacin de las relaciones de gnero e interculturales.

1. No existe un solo discurso de gnero e interculturalidad. En las Rutas es posible identificar ms de una forma incluso contradictorias- de entender la igualdad de gnero y la interculturalidad. Estos dos conceptos no se abordan de
manera coherente; antes bien, se tiene mltiples voces hablando a la vez sobre ellos.
2. Individualizacin de responsabilidades sociales. Las diferencias de gnero e interculturales son vistas como no
deseables, pero ellas (en no pocos casos) son abordadas asignando responsabilidades a determinados sujetos, invisibilizando el marco de relaciones de poder en las que la discriminacin por gnero e intercultural se inscribe.
3. Grupos poblacionales presentados en categoras cerradas. Los juegos, las tareas de cuidado infantil y las ocupaciones laborales de los personajes adultos, en general aluden a la tradicional divisin sexual del trabajo: con escasos
puntos de encuentro, las mujeres se ocupan de tareas domsticas y los hombres de aquellas de carcter pblico. As,
que queda poco espacio para imaginar distintas formas de ser hombre y ser mujer. Por otra parte, no se subraya
la posibilidad de una identidad cultural mltiple o plural en un individuo, se acaba as por asignar una identidad
unvoca, casi puramente indgena en el caso de los sujetos estudiados. Adicionalmente, se encuentra una paulatina
exotizacin de los mbitos rurales, hacia el final de la EBR acaban siendo vistos como aquello que se explora, que no
pertenece al mundo de la escuela.
4. Invisibilizacin de sujetos. Se habla de los sabios en comunidades indgenas, invisibilizndose a las mujeres que
ocupan estos roles; del trabajo campesino con referencias fundamentalmente masculinas; de esclavitud, sin mencio-

nar a las esclavas mujeres tradas del frica; al hablarse del boom de la comida peruana, no se hace una sola mencin
a cmo esto deviene del conocimiento producido histricamente por diferentes mujeres.

Por razones de espacio, slo profundizaremos el anlisis de los dos primeros dispositivos.

1. No existe un solo discurso sobre gnero, ni sobre interculturalidad


La incorporacin de los enfoques de gnero e interculturalidad como ejes transversales en los materiales estudiados es
parcial, fragmentada. Esto se basa en dos proposiciones.
a. Existen distintas nociones, incluso contradictorias, de representar las relaciones de gnero y entre culturas.

Existen remarcables avances en la representacin de lo femenino/ lo masculino, as como de lo culturalmente


diferente:

Un igual nmero de personajes hombres y mujeres, a nivel de las imgenes y de personajes en los dilogos; y

nios y nias se representan con igual tendencia a participar (1.2 y 1.4 intervenciones en promedio por dilogo).
As, se ha evitado una sobre-representacin masculina en los personajes; marcando una diferencia con materiales
anteriores (Anderson, 1987; Benavides y Crdova, 2003; Espinosa, 2006). Por otra parte, los personajes indgenas
se encuentran en el 10% del total de imgenes, lo que se aproxima al porcentaje de poblacin indgena en el pas
(15%) (Benavides y otros: 2010).
Una referencia explcita a la valoracin y respeto de la diferencia, incluyendo las de gnero e interculturales. Algunos ejemplos: empleo de Lenguaje Inclusivo (que visibiliza a las mujeres en referencias grupales tradicionalmente
redactadas en gnero masculino); se mencionan diferentes culturas originarias del pas, incluso las relativamente
poco conocidas o pequeas en trminos de nmero de pobladores.
Existen referencias puntuales a la deconstruccin de los supuestos bajo los cuales se legitiman las diferencias sociales, incluyendo las de gnero e interculturales.
No se tiene un discurso sistemticamente androcntrico ni sistemticamente racista. De hecho, existen personajes
cuyas acciones cuestionan viejos estereotipos en ambos enfoques. La siguiente imagen es ilustrativa.

EIB Ashninka (p11). Un hombre indgena ejerce el cuidado de un nio pequeo.

Sin embargo, cada uno de los puntos anteriores encuentra serias limitaciones:

Al desagregar a los personajes por sexo y edad, se tiene que el mundo de los estudiantes conserva una mayora masculina (53%) en especial para la EIB (58%)-; y el de los docentes, es predominantemente femenino (59%) en
especial en el ciclo II (99%).
El valor de la diferencia resulta meramente enunciativo, superficial. A nivel grfico, en el eje de interculturalidad, los
lugares de encuentro entre lo indgena y lo no indgena no slo son escasos, sino que se encuentran revestidos
de un carcter extra-ordinario como una festividad especial en la escuela (ver imagen), donde los personajes aluden a una convivencia ms bien artificial.

Ciudadana V y VII (p9) Nios de diferentes culturas se saludan, con expresiones sonrientes rgidas.

La deconstruccin de supuestos resulta relativamente aislada (en pocas estrategias), y no considera las interacciones entre las categoras gnero e interculturalidad. Adicionalmente, estas estrategias, a diferencia de las que abordan otros temas, no contienen pautas ms concretas sobre conducir la reflexin en estos temas.
Existen no pocas referencias que ms bien reproducen viejos estereotipos de gnero e interculturales; sin la inclusin de referencias en paralelo que permitan cuestionar dichas representaciones. Ver siguiente imagen.

Oralidad VII (p112) Una pareja asiste a una feria donde se compra en miniatura lo que uno desea alcanzar;
l muestra deseos de viajar, hacer dinero, manejar tecnologa (computadora), estudiar; ella, casarse por la iglesia, hijos, un auto.

b. Los dos conceptos se encuentran ausentes en lugares donde su visualizacin resulta crucial.

El siguiente ejemplo resulta ilustrativo. La Ruta Oralidad VII inicia con una historieta, desarrollada en un saln de
clase de una regin andina. Se busca ilustrar cmo las diferentes variaciones dialectales del castellano son igualmente
valiosas. Para esto, la profesora lee con los estudiantes un poema escrito en castellano andino, que da cuenta del caso

de una mujer quechua-hablante abusada sexualmente durante el conflicto armado interno 1980-2000. Sin embargo,
en ningn momento se seala a las violaciones sexuales como un problema de gnero, ni de cmo esta situacin no
fue un hecho aislado durante la poca sealada, sino una prctica sistemtica de las fuerzas militares y senderistas
(Theidon, 2004). Adicionalmente, no se subraya el carcter intercultural de esta injusticia en tanto la mayor parte de
vctimas fueron mujeres quechua-hablantes.

2. Individualizacin de responsabilidades sociales


Si bien existen referencias a entender las diferencias sociales basadas en el gnero y la interculturalidad como socialmente producidas, esto se hace a travs de dos referencias aisladas. stas, adems, entran en contradiccin con la individualizacin de las responsabilidades de estos problemas sociales. Profundizaremos esto en base a dos ejemplos.
En la Ruta de Comunicacin Escrita VII (p44), se presenta un afiche para ilustrar cmo las imgenes amplan y complementan la informacin escrita. El afiche hace alusin al Da Internacional de la Eliminacin de la Violencia contra la
Mujer, en l figuran tres personajes, que en realidad representan a la misma mujer, tapndose los ojos, los odos y la boca
de forma anloga a los tres monos sabios de la cultura China. El texto que sigue a esta imagen es el siguiente: [Estas
imgenes] nos dicen que la mujer, vctima de la violencia verbal, fsica e institucional, no debe callarse ante el maltrato,
no debe ceder ante el abuso, tampoco dejar de escuchar a quienes le aconsejan que debe defender su derecho a una vida
sin violencia.
El abordaje a las situaciones de violencia contra las mujeres, entonces, se centra en las responsabilidades de la mujer
vctima, en las cualidades que ella debe tener (no callar, no ceder, saber escuchar), representndolas como las nicas vas
para eliminar la violencia. En esta estrategia no se encuentra una referencia a la responsabilidad de las personas (usualmente hombres) que agreden a estas mujeres, as como a las instituciones que formalmente deben protegerlas. Esto abre
espacio para la pregunta, Acaso la eliminacin de la violencia contra la mujer nicamente requiere de que ellas sean ms
valientes para denunciar el hecho, y ms sabias para escuchar a quienes las aconsejan?
Por otra parte, en la Ruta Ciudadana V (p.37) se tiene una estrategia que busca Enfrentar la discriminacin en el
aula; en ella se dice a los docentes: Pero sabemos que es un tema difcil de abordar, sobretodo porque los peruanos y las
peruanas no reflexionamos lo suficiente sobre nuestras identidades. No es un terreno en el que nos guste entrar, quiz
porque no tenemos una identidad bien afirmada. Muchos de nosotros mismos, los docentes, no nos atrevemos a mirarnos
al espejo y decir en voz alta cmo nos reconocemos. Pero es importante que afrontemos este tipo de indefiniciones con
relacin a nuestra identidad. Alejndonos del problema o huyendo de l no vamos a resolver nada. Enmascarndonos
bajo una identidad que no es la nuestra, no nos vamos a sentir mejor ().
De manera anloga al ejemplo anterior, en este caso se aborda una problemtica social la discriminacin basada en
la pertenencia cultural hacindose nfasis en la responsabilidad individual de los docentes quienes deben asumir su
identidad. Esto resulta problemtico pues parte de la premisa que los docentes huyen o no quieren asumir su identidad
lo que alude a un pre-juicio; y por otra parte, deja por fuera el marco de relaciones de poder que permean las relaciones
sociales en el pas. En esta estrategia resultara necesario subrayar que en nuestro pas existen referentes culturales
hegemnicos, que corresponden a la llamada cultural occidental, y que lo que se entiende aqu como no asumir la propia
identidad, corresponde muchas veces a las viejas fracturas del pas, en las que ser indgena se asocia a ser un ciudadano
inferior. Como sabemos, adems, la escuela no ha sido ajena a este proceso de jerarquizacin de las culturas otras frente
a la occidental (Ames, 2002).

CONCLUSIONES
La transversalizacin del enfoque de gnero e interculturalidad en las Rutas del Aprendizaje es parcial y fragmentada,
dejando un amplio espacio para la mejora del diseo de las mismas. Si bien existen ciertos avances en la representacin
de lo femenino/lo masculino, y de lo indgena/lo no indgena, tales como una ausencia de sobre-sobre-representacin masculina en los personajes, o la mencin de diferentes culturas en un marco que valora la diversidad, aun se
encuentran serias limitaciones en la representacin de estas cuatro categoras, y las relaciones entre ellas.
Estos resultados son importantes de socializar y tener en cuenta en el diseo de los siguientes materiales curriculares, en tanto las cuestiones de gnero e interculturalidad aun resultan claves para explicar las asimetras en las relaciones
sociales. En otras palabras, ellas resultan fundamentales para explicar la imposibilidad de una convivencia democrtica
genuina y de la construccin de ciudadana, que es el objetivo principal de la educacin peruana.

BIBLIOGRAFA
Appadurai, A. (2004) The Capacity to Aspire: Culture and the Terms of Recognition, En Rao, V. y M. Walton (eds.), Culture
and Public Action. California, Stanford University Press, pp. 59-84.
Ames, P. (2002). Para ser iguales, para ser distintos. Educacin, escritura y poder en el Per . Lima: IEP, Coleccin Mnima,
N 52.
Anderson, J. (1987). Imgenes de la familia en los textos y vida escolares En: Revista peruana de Ciencias Sociales.
Vol. 1 No. 1.
Benavides, M. y L. Crdova. (2003) Hablan las imgenes: la construccin del gnero en los textos escolares. Mimeo
Benavides, M., M. Mena y C. Ponce (2010) Estado de la Niez Indgena en el Per. Lima, Unicef
Espinosa, G. (2006) El currculo y la equidad de gnero en la primaria: estudio de tres escuelas estatales de Lima.
En P. Ames (ed).: Las Brechas Invisibles. Desafos para una equidad de gnero en educacin. Lima, IEP.
Giddens, A., (2009) Sociology. Cambridge, Polity Press
MED (2012) Marco del Buen Desempeo Docente, Lima.
MED y CNE (2007), Proyecto Educativo Nacional al 2021, Lima.
Mena, M. (2014) Estado de la cuestin en el Desarrollo de Polticas de Igualdad de Gnero en la Gestin Educativa. Lima:
Consultora desarrollada para Grade. Mimeo.
Muoz, F., P. Ruiz-Bravo y J. Rosales (2006) El gnero y las polticas educativas en el Per: 1990- 2003. En P. Ames (ed).:
Las Brechas Invisibles. Desafos para una equidad de gnero en educacin. Lima, IEP.
Theidon, K. (2004) Entre prjimos. El conflicto armado interno y la poltica de la reconciliacin en el Per. Lima: IEP.
Wodak, R. y M. Meyer (2001), Methods of Critical Discourse Analysis. Barcelona, Gedisa.

Dilemas y retos del INEE


para la evaluacin docente en Mxico:
algunos temas para la agenda institucional
13 de marzo de 2015

Dilemas y retos del INEE


para la evaluacin docente en Mxico:
algunos temas para la agenda institucional
Francisco Miranda Lpez
Doctor en Sociologa por el Colegio de Mxico; Instituto Nacional para la Evaluacin de la Educacin, Mxico.
fmiranda@inee.edu.mx
Arcelia Martnez Bordn
Doctora en Poltica por la Universidad de York, Reino Unido;
Instituto Nacional para la Evaluacin de la Educacin, Mxico.
amartinezb@inee.edu.mx

PALABRAS CLAVE: E
 valuacin docente, evaluacin formativa, evaluacin sumativa, evaluacin contextualizada,
Servicio Profesional Docente, INEE, Mxico, contexto.
EJE TEMTICO: Modelos y polticas de evaluacin de docentes y de directivos escolares.

Resumen

Si bien la legislacin seala que la evaluacin docente debe ser justa y tomar en cuenta el contexto en donde trabajan los y las maestras, lo cierto es que evaluar el desempeo de los docentes es una tarea que implica un alto nivel
de complejidad, que est sujeta a una serie de dilemas y retos que ser necesario afrontar en los meses por venir.
En este documento se analizan los principales dilemas y retos que enfrenta el INEE para la evaluacin docente en
Mxico. Entre estos, se destacan la difcil tarea de involucrar activamente a los sujetos evaluados en la planeacin
y desarrollo de la evaluacin, ampliar el espectro de la evaluacin hacia dimensiones no cognitivas, desarrollar
evaluaciones integrales y sistmicas, as como combinar en una sola evaluacin dos propsitos que, en principio,
parecen contraponerse: la funcin formativa y la sumativa. Lo anterior en razn de que uno est planteado con
miras al rediseo, retroalimentacin y aprendizaje, a crear un clima de autorreflexin; y el otro tiene como fin
ltimo la rendicin de cuentas y, por tanto, la posibilidad de sancionar y de tener consecuencias de alto impacto.

Recientemente participamos en el desarrollo y conduccin de dilogos regionales con autoridades educativas de las entidades federativas. El objetivo de dichos dilogos1, organizados por el Instituto Nacional para la Evaluacin de la Educacin, fue propiciar espacios de reflexin colectiva que ayuden a la construccin de la Poltica Nacional de Evaluacin
Educativa (PNEE), por lo que se les pidi a los y las participantes proponer acciones para el diseo, implementacin y
seguimiento de las principales atribuciones que la reforma constitucional le confiri al INEE autnomo.2 Los dilogos
tambin buscaron generar un espacio abierto de conversacin en el que las autoridades reflexionaran sobre los alcances
y retos de la evaluacin educativa y de la reforma educativa en curso.
En los dilogos hubieron muchas coincidencias respecto a las temticas que les preocupan a las entidades federativas, y particularmente respecto a la evaluacin de los docentes. Los participantes coincidieron en que hay un desnimo
y una preocupacin generalizada entre los y las maestras, porque en el centro de la reforma educativa se ha puesto a los
docentes, a quienes los medios de comunicacin y la sociedad en su conjunto parecen responsabilizar de la mala calidad
de la educacin y del bajo logro educativo de los alumnos. Al respecto, las autoridades educativas sealaron que la evaluacin que se haga a los docentes, particularmente para medir su desempeo, deber tomar en cuenta el contexto en el
que ocurre el proceso de enseanza-aprendizaje, porque este no es neutral e impone retos importantes a quienes, por
ejemplo, trabajan en escuelas multigrado, con pocos docentes y muchos nios a su cargo, o a quienes trabajan con nios
con necesidades educativas especiales o procedentes de contextos indgenas, sin haber recibido para ello una capacitacin especfica.
En paralelo a estos dilogos, se realizaron tambin grupos focales con docentes de educacin bsica y media superior
con el objetivo de conocer sus opiniones y perspectivas sobre qu significa ser un buen docente y qu es una buena enseanza, as como qu factores de la escuela y del contexto afectan su prctica y su desempeo en el aula.3 La mayora de
ellos, sin importar el nivel educativo en el que laboran preescolar, primaria, secundaria y media superior- coincidi en
que la evaluacin docente que propone la reforma no parece tomar en cuenta que muchos docentes trabajan en condiciones muy precarias, sin los recursos y/o preparacin necesarias.
Con base en estos insumos de informacin, y frente a una de las mayores inquietudes de los docentes: que no se les
evale de manera justa y, en consecuencia, se tomen decisiones de alto impacto si no califican como idneos, en este artculo se analizan los principales dilemas y retos que enfrenta (y enfrentar) la evaluacin del desempeo docente.
Nuestras reflexiones toman en cuenta el trabajo que viene realizando el INEE desde comienzos de 2014, un ao de
cambios y proyectos encaminados a dar cumplimiento a las nuevas atribuciones que la reforma constitucional le ha
conferido al Instituto, as como el trabajo que hemos realizado desde la Unidad de Normatividad y Poltica Educativa, la
que adems de organizar los dilogos regionales y los grupos focales en comento, ha emitido lineamientos para la evaluacin de ingreso al Servicio Profesional Docente en educacin bsica y media superior, y para la promocin a cargos de
direccin; ha esbozado una ruta de trabajo para la emisin de directrices para la mejora de la educacin; y, ha diseado
el Programa de Formacin Inicial de Evaluadores del Desempeo Docente, que participarn, en 2015, en la evaluacin de
desempeo docente.
A continuacin se plantean los principales dilemas y retos, que en nuestra perspectiva, enfrenta la evaluacin de los
docentes en Mxico, y sobre los que habr que trabajar en los meses por venir, para lograr que la evaluacin de su desempeo sea justa y aceptada por los que se consideran los principales artfices del cambio educativo.
Los dilogos se llevaron a cabo en el mes de octubre de 2014, en Mazatln, Sinaloa, Puerto Vallarta, Jalisco, e Ixtapa-Zihuatanejo, Guerrero. Al finalizar
estos encuentros, hubo un cuarto dilogo con autoridades educativas de la federacin, a quienes se les expusieron las conclusiones de los dilogos
regionales y se les pidi plantear tambin su perspectiva sobre los alcances y retos de la reforma educativa
2
Estas son: construir las mediciones y evaluaciones que permitan mejorar el Sistema Educativo Nacional; elaborar los lineamientos que normarn los
procesos de evaluacin del Instituto; generar y difundir informacin, y a partir de ello emitir directrices para la mejora de la educacin; y coordinar el
Sistema Nacional de Evaluacin Educativa.
3
Se realizaron 72 grupos focales con docentes de educacin bsica y media superior, en nueve estados de la repblica y 12 grupos focales, en el Distrito
Federal, con docentes indgenas, directores de bsica y media superior, supervisores y Asesores Tcnico Pedaggicos de otras entidades federativas.
Si bien se realiz un operativo conjunto entre la Direccin General de Evaluacin de Docentes y Directivos (DGEDD) y la Direccin General de
Directrices para la Mejora de la Educacin (DGME), cada direccin general elabor un guin de entrevista y moder con dicho guin un total de 36
grupos focales en los estados visitados, y 6 grupos en el caso del Distrito Federal. As, mientras que a los grupos la DGEDD se les pregunt qu y cmo
evaluar, utilizando como fundamento parte de los resultados del cuestionario en lnea, la DGDME indag cules son las perspectivas de los docentes
sobre lo que significa ser un buen docente y lo que entienden por una buena enseanza, as como sobre los factores, escolares y de contexto,
que afectan su desempeo.
1

CLARIFICAR CUL ES EL PROPSITO


DE LA EVALUACIN DOCENTE
Se habla de que la evaluacin docente es una condicin necesaria para mejorar la prctica docente, y en consecuencia,
el logro educativo. Si bien no existe un consenso sobre qu peso especfico atribuirle al docente en el proceso de logro
educativo de los alumnos, lo cierto es que el docente ocupa un lugar central en la literatura y en la reforma educativa, y,
por ende, en la agenda de evaluacin educativa.
Se hace alusin a una evaluacin que permita valorar los conocimientos, habilidades pedaggicas y didcticas del
docente, y su capacidad para entender el contexto y planear sus clases. En suma, a una evaluacin integral que tenga un
carcter formativo y que permita fortalecer conocimientos y habilidades a travs de la instrumentacin de procesos de
capacitacin y formacin. Pese a ello, la Ley General del Servicio Profesional Docente le imprime otras dimensiones a
la evaluacin: hace referencia a una evaluacin con consecuencias si el docente no logra alcanzar un nivel denominado
idneo, lo cual remite a un modelo de evaluacin sumativa.
Se evala entonces con la aspiracin de lograr mejorar la prctica docente, y por ende, el logro educativo que como
sabemos, no slo depende del docente, sino de muchas otras condiciones del contexto y de la escuela misma- y si esta no
mejora entonces surge la figura de la sancin al mal desempeo. Si bien el INEE se ha pronunciado reiteradamente por
una evaluacin formativa, que permita identificar reas de oportunidad para el acompaamiento del docente y la mejora
de su prctica, lo cierto es que est latente, ms all del INEE, la realidad que plantea la ley: aquel docente que pasados
tres procesos seguidos de evaluacin no obtenga resultados satisfactorios tendr que renunciar a serlo. Por ende, resulta
crucial que la evaluacin efectivamente se acompae de acciones inmediatas y certeras de capacitacin y formacin, que
apoyen a aquellos docentes que no resulten idneos.

INCLUIR A LOS DOCENTES EN LA CONSTRUCCIN


DEL MARCO CON EL CUAL SERN EVALUADOS
La evaluacin del docente debe partir de una definicin clara de lo que se entender por un buen docente -aunque, como
seala Felipe Martnez Rizo (en prensa), no exista una definicin nica de buen docente pues los rasgos del buen docente
cambian segn el contexto- y de diversos ejercicios de consulta con los docentes sobre lo que es la buena docencia. Al
respecto, la literatura seala que la participacin del docente en la construccin de un marco de referencia sobre lo que
se espera de un buen docente no slo permite que el docente se identifique y apropie de dicho marco, sino que acepte de
manera ms natural la evaluacin y sus consecuencias.
En este sentido, es importante sealar que el INEE no slo se est construyendo un marco de referencia, a partir de la
revisin de la literatura y de los casos de Estados Unidos, Reino Unido, Chile, Ecuador y Colombia, sino que tambin se ha
iniciado un proceso de consulta a travs de la autoaplicacin de un cuestionario en lnea de autoseleccin- para recuperar las opiniones de los docentes sobre la buena docencia y sobre el qu y cmo evaluar. Este ejercicio se complement,
hace unos meses, con la realizacin de grupos focales con docentes de educacin bsica y media superior, que tuvieron
como objetivo refrendar los primeros hallazgos de esta consulta, particularmente, en la temtica de qu evaluar y cmo
evaluar, y conocer, por otro lado, la percepcin de los docentes sobre los factores del contexto escolar y extraescolar- que
afectan su prctica y desempeo en el aula.
Con todo, es necesario que estos ejercicios de consulta se realicen de forma peridica y se incluyan procesos ms
amplios y representativos ms all de la consulta en lnea que den lugar a la participacin de los docentes de todos
los rincones del pas. El mayor reto, por otro lado, no slo es realizarlos, sino sistematizarlos y utilizar los resultados de
estos para el diseo de los procesos de evaluacin particularmente para la emisin de lineamientos y criterios tcnicos,
de los cuales es responsable el INEE.

EVALUAR DISTINTOS ASPECTOS DE SU DESEMPEO,


NO SLO SU DOMINIO DISCIPLINAR
En paralelo a la definicin del marco de la buena docencia, se deben establecer las dimensiones que se van a evaluar. As,
lo primero, segn lo refiere Schmelkes (en prensa), es evaluar su dominio de conocimientos. Pero tambin, seala, importa evaluar su prctica pedaggica, su didctica especfica la que necesita, por ejemplo, para poder ensear matemticas
de la mejor manera, y su capacidad para planear y adaptarse al contexto y a sus alumnos. La evaluacin, por tanto, no
puede reducirse a exmenes de conocimientos, sino que se deben establecer rbricas que contemplen, como lo est valorando el INEE, evaluacin de pares, evaluacin de portafolios, etctera.

DEJAR DE VER AL DOCENTE DE FORMA AISLADA,


VINCULARLO A LA ESCUELA Y AL CONTEXTO DONDE TRABAJA
Al docente se le sigue viendo de forma individual y por no decir, aislada. Sin embargo, su desempeo no slo depende de l,
de su formacin y preparacin, sino de otros factores de la escuela y del contexto. Esto es particularmente cierto en el caso de
los docentes que trabajan en contextos de alta marginacin y/o con alumnos que tienen necesidades educativas especiales o
que son hablantes de lengua indgena. Sin embargo, dada la premura en la implementacin de estos procesos de evaluacin,
la discusin ha estado ms centrada en los tiempos y esquemas para llevarla a cabo, y menos en las otras cosas dimensiones
que deberan evaluarse para entender mejor porqu el docente no est desempeando de mejor manera su trabajo.
Por lo tanto, un cambio de sentido, implicara, como algunos de los especialistas lo sealan, en primera instancia
mirar al cuerpo de docentes que trabajan en la escuela, y determinar qu se necesita de forma integral, dentro de la escuela, para que esta logre la normalidad mnima, la autonoma en sus decisiones y el tener docentes ms participativos y
comprometidos con su formacin profesional y con el logro educativo de sus alumnos.
Este es, sin duda, uno de los mayores retos. Que la evaluacin de los docentes mire el contexto, y, concretamente,
la escuela en la que trabajan.4 Ahora bien, si bien es cierto que INEE est trabajando en la construccin de una nueva
generacin de evaluaciones de logro que sustituirn a Excale y Enlace, todava enfrenta el reto de construir una
evaluacin integral que vincule los resultados de las evaluaciones de logro, escuelas, docentes, polticas y programas. Por
el momento, es importante sealar que, a travs de sesiones de trabajo con el Consejo Tcnico Especializado ad hoc para
la contextualizacin de las evaluaciones, instituido de forma temporal para apoyar las tareas del INEE, se ha avanzado
en la articulacin de las distintas direcciones generales que tienen como principal atribucin la evaluacin de uno o ms
componentes del sistema educativo, para reflexionar sobre cmo se puede contextualizar la evaluacin educativa y si es
posible definir un marco o referente contextual comn.

EVALUAR A LAS ESCUELAS NORMALES AUNQUE


NO SEA UNA ATRIBUCIN DIRECTA DEL INEE
Otro dilema no menor es la evaluacin de las escuelas normales. Si bien al INEE slo le corresponde evaluar al sistema
educativo obligatorio educacin bsica y media superior parecera urgente conocer los principales retos que enfrentan estas instituciones formadoras para transformarse y responder a las exigencias de preparacin y vanguardia
que enfrentan los docentes. En los grupos focales con docentes se escucharon muchas voces que expresaban que la
escuela normal no los prepar para enfrentar realidades de alta complejidad, como por ejemplo, la que que se vive en
escuelas multigrado:
Hay que mencionar que lo que se espera de un docente tambin depender del momento en que se encuentre en su trayectoria laboral
si es recin egresado, ya lleva aos frente a grupo o est a punto de retirarse (Schmelkes, en prensa).

siempre nos tocaba ir a prcticas a escuelas alrededor. Nunca se le ocurri a la directora ni al subdirector ni nada
mandarnos a una escuela unitaria, ni bidocente, ni mucho menos tridocente. Cuando yo llego te presentan,
ms no te dicen que te tienes que preparar para tres salones, tres grados, nada nadie me dijo en la Normal que poda
ser maestra de tres tenemos que buscar las estrategias, todo de lo que podemos echar mano para sacar adelante
este grupo de tres grados y no puedes tener tres pizarrones. (Docente de primaria en Grupo Focal, Sinaloa, Octubre de 2014).
Desde la mirada de los docentes entrevistados, uno de los aspectos que deben de revisarse y evaluarse- son los planes y programas de formacin inicial docente pues es evidente la desvinculacin entre los aspectos tericos y la prctica
en los contextos diferenciados y complejos: creo que s es fundamental revisar los programas de las Normales ves muchas materias que estn muy padres y muy lindas pero que no son prcticas ni operativas (Docente de preescolar en Grupo
Focal, Yucatn, Septiembre de 2014).

EL MAYOR RETO:
CONSTRUIR UN MODELO DE EVALUACIN INTEGRAL Y OPORTUNO
Finalmente, es importante sealar que a los dilemas y retos expuestos se suma otro mayor: desarrollar evaluaciones
justas e integrales que tomen en cuenta otros factores y componentes del sistema educativo para poder comprender la
realidad a la que se enfrentan los docentes y otros actores educativos en su quehacer cotidiano-, y, que sean oportunas
y permitan las transformaciones necesarias en el corto y mediano plazos. Esto ltimo implica generar resultados oportunos que sean factibles de traducir en el rediseo y propuestas de mejora de la poltica educativa, docente en este caso.
Los tiempos de la evaluacin son, sin embargo, apremiantes. Es un hecho que para dar cumplimiento al calendario
de evaluacin docente que establece la Ley General del Servicio Profesional Docente, se han apresurado procesos que, en
otra coyuntura, seguramente tomaran ms tiempo. Si bien al INEE le corresponde cumplir con lo que la Ley estipula, en
los tiempos que se han dispuesto para ello, no debe soslayarse que la profesionalizacin del gremio docente requiere de
polticas integrales y coherentes entre s, que vinculen la formacin inicial y continua, que atraigan a los mejores perfiles
al ejercicio de la docencia, que brinden estmulos y salarios dignos, y que ayuden a mejorar la escuela y su entorno, para
que todas estas acciones, juntas, redunden en un mejor desempeo docente y en un mayor logro educativo. Se requiere,
por tanto, evaluar de manera integral y sistmica una serie de acciones y componentes escuela, programas, polticaspara valorar los retos que enfrenta el docente en su quehacer cotidiano, las ventanas de oportunidad para mejorar su formacin inicial y continua y, por tanto, su desempeo, y los apoyos que requiere la escuela para cumplir con la normalidad
mnima que establece la ley, entre otras cosas.

COMENTARIOS FINALES
Los dilemas y retos del INEE para la evaluacin docente en Mxico que hemos planteado en este artculo deben formar
parte de la agenda institucional del INEE y discutirse entre distintos actores acadmicos, funcionarios y docentes-. Su
relevancia no es menor. Su atencin y solucin no puede postergarse. Es necesario que el docente participe en la construccin de su transformacin y slo lo har si percibe que la evaluacin es justa y que toma en cuenta el contexto y
circunstancias escolares en las que opera.
Como lo seala Arnaut (en prensa), uno de los rasgos menos atractivos de la LGSPD es que, hasta ahora, son mucho
ms visibles las normas referidas al control, la evaluacin y los incentivos negativos. Adems de que las reformas
jurdicas hoy siguen siendo acompaadas por un entorno meditico que ha promovido en la opinin pblica una
profunda desconfianza y hasta estigmatizacin de la escuela pblica y sus maestros. Al INEE le corresponde, por tanto,
disear un modelo de evaluacin que, sin dejar de tener consecuencias, tenga como mxima la mejora, el rediseo y la
transformacin de la educacin incluidos los docentes.

BIBLIOGRAFA
Arnaut, A. (en prensa). El Servicio Profesional Docente en educacin bsica, en Guevara, G., Melndez, M.T., Ramn, F.E.,
Snchez, H. y Tirado, F. (coords.). (en prensa). Evaluacin del desempeo docente en Mxico: INEE-OEI.
Bruns, B. y Luque, J. (2014). Profesores excelentes. Cmo mejorar el aprendizaje en Amrica Latina y el Caribe. Resumen.
Washington D.C., Banco Mundial.
Del Castillo, G. y Valenti, G. (coords.) (2014). Reforma educativa. Qu estamos transformando? Evaluacin y poltica
educativa. Mxico. FLACSO Mxico.
Guevara, G., Melndez, M.T., Ramn, F.E., Snchez, H. y Tirado, F. (coords.). (en prensa). Evaluacin del desempeo docente en Mxico: INEE-OEI.
Hunt, B. (2009). Efectividad del desempeo docente. Una resea de la literatura internacional y su relevancia para mejorar la educacin en Amrica Latina, Chile, PREAL.
IIEP-UNESCO (2011). Los docentes mexicanos. Datos e interpretaciones en perspectiva comparada. Siglo XXI-UNESCO-IIPE;
Mxico.
INEE (2014). El Derecho a una Educacin de Calidad. Informe 2014. Mxico: INEE.
Leu, E. (2005). The Role of Teachers, Schools, and Communities in Quality Education, en Hunt, Efectividad del desempeo
docente. Una resea de la literatura internacional y su relevancia para mejorar la educacin en Amrica Latina.
Luna, M. (2005). El rol de los docentes en el cambio educativo. Buenos Aires, PRELAC, No. 1, p.172. Consultado en:
http://unesdoc.unesco.org/images/0014/001446/144666s.pdf el 25/11/2014.
Martnez, F. (en prensa). La evaluacin del desempeo docente. Una propuesta para la educacin bsica en Mxico, en
Guevara, G., Melndez, M.T., Ramn, F.E., Snchez, H. y Tirado, F. (coords.). (en prensa). Evaluacin del desempeo
docente en Mxico: INEE-OEI.
Nava, M. y Rueda, M. (2013). La evaluacin docente en la agenda pblica. Revista Electrnica de Investigacin Educativa,
16(1), UABC, pp. 1-11. Recuperado de http://redie.uabc.mx/vol16no1/contenido-nava-rueda.html
OECD (2012). Avances en las reformas de la educacin bsica en Mxico: Una Perspectiva de la OCDE. OECD Publishing.
OECD (2014). Talis 2013 Results An International Perspective on Teaching and Learning. OECD Publishing.
PRELAC, (2005). Protagonismo docente en el cambio educativo, UNESCO; Chile. Recuperado de: http://unesdoc.unesco.
org/images/0014/001446/144666s.pdf
Robalino, M. (2005). Actor o protagonista?, dilemas y responsabilidades sociales de la profesin docente. Revista
PRELAC, No. 1. Oficina Regional de Educacin de la UNESCO para Amrica Latina y el Caribe, Grupo sobre Desempeo Docente de OREALC /UNESCO . Santiago, Chile.
Schemelkes, S. (en prensa). Desempeo docente: estado de la cuestin, en Guevara, G., Melndez, M.T., Ramn, F.E.,
Snchez, H. y Tirado, F. (coords.). Evaluacin del desempeo docente en Mxico: INEE-OEI.
Segob (2013). Decreto por el que se expide la Ley General del Servicio Profesional Docente. Diario Oficial de la Federacin. Distrito Federal, Mxico: SEGOB.
Secretara de Educacin Pblica (2014a). Perfil, Parmetros e Indicadores para Docentes y Tcnicos Docentes y Propuesta
de etapas, aspectos, mtodos e instrumentos de evaluacin. Mxico, CNSPD, SEP.
Secretara de Educacin Pblica (2014b). Perfil, Parmetros e Indicadores para el ingreso a las funciones docentes y tcnico
docentes en la Educacin Media Superior. Mxico, CNSPD, SEP.
Vezub, L.F. (2010). El desarrollo profesional docente centrado en la escuela: concepciones, polticas y experiencias.
http://www.udelas.ac.pa/biblioteca/librospdf/El_desarrollo_prof_docente_centrado_en_la_escuela.pdf

Broken gears:
The Value Added of Higher Education
on Teachers Academic Achievement
13 de marzo de 2015

Broken gears:
The Value Added of Higher Education
on Teachers Academic Achievement
Carlos Felipe Balczar1
Poverty Global Practice
The World Bank Group
1818 H St. NW, Washington D.C.
United States of America

Hugo opo
Education Division
Inter-American Development Bank
1300 New York Ave. NW, Washington D.C.
United States of America
JEL CODES: I2, I21, J24
KEY WORDS: Teacher performance, career choice, self-selection, relative learning mobility.

Abstract

A growing literature establishes that good teachers are essential for high quality educational systems. However,
little is known about teachers skills formation during their college years. In this paper we use a novel panel data
set combining two standardized tests for Colombian students: one that is taken at the end of senior year in high
school and the other when students are near graduation from college. Accounting for selection into majors we test
for the extent to which education majors relatively improve or deteriorate their skills in comparison to students
in other programs. We analyze three sets of skills: quantitative reasoning, native language (Spanish) and foreign
language (English). After around 5 years of college, teachers skills vis--vis those in other majors deteriorate
in quantitative reasoning, although they deteriorate less for those in math-oriented programs. For native and foreign
language we do not find evidence of robust changes in relative learning.

Corresponding author at: the World Bank Group, 1818 H St. NW, Washington D.C. United States of America. Phone: (1) 202 458 14 97. Email:
cbalcazarsalazar@worldbank.org (Carlos Felipe Balczar).

The comments of Mariana Alfonso, Fernando Fernndez, Catherine Rodrguez and Emiliana Vegas are specially acknowledged. Daniel Alonso provided
valuable research assistance The findings herein do not necessarily represent the views of the Inter-American Development Bank, The World Bank
Group, or their Boards of Directors.

INTRODUCTION

This document builds upon two literatures of high policy relevance, not only in the developing world but also in the
developed one: teacher quality and value added of higher education. It does it by providing evidence for Colombia on the
difference in skill-acquisition between students in education majors and students in other majors. To do so we compare
test score-rankings between these two groups of students using a novel panel data set that combines two standardized
tests, one before and one near the end of college studies. We measure test score-rankings using the z-scores of subjects
assessed in both tests and compare changes in the relative position of students in the distributions of skills.
A growing body of literature establishes that teachers are essential for a high-quality educational system (Goldhaber
and Brewer, 1997; Hanushek, 2002; Eide et al., 2004; Rockoff, 2004; Rivkin et al., 2005; Hanushek and Rivkin, 2006; Clotfelter et. al., 2007; Kukla-Acevedo, 2009; De Paola, 2009). More recently, Chetty et al. (2013a and 2013b) find that, after
controlling for socio-demographic characteristics, those students who had high quality teachers during their school years
are more likely to attend higher education, to go to a better university and to obtain higher labor earnings. Nonetheless,
despite that the literature has extensively addressed the role of the quality of teachers on social and academic outcomes,
we know little about the role of higher education on the production of those teachers.
Evidence from successful educational systems (Finland, Singapore, Korea, China) highlights the importance of teachers and their formation. In Finland, for instance, only the best and brightest manage to become teachers on that system,
after demanding undergrad and masters programs (OECD, 2011; Sahlberg, 2011). This has been claimed as an important
stepping stone for their impressive improvement between the 60s and the early 21st century: from having educational
outcomes comparable to those of developing economies, Finland now ranks amongst the top performers in educational
achievement and attainment in the world (Sahlberg, 2009, 2011).
In most educational systems, however, the best and brightest do not choose education majors. Teachers academic performance and potential is lower than that of their peers who choose to attend other programs (Giesen and Gold, 1993; Hanushek
and Pace, 1995; Podgursky et al., 2004; Denzler and Wolter, 2008). In this context, competitive salaries and benefits, as well as
a meaningful and challenging career path for teachers are crucial for attracting and retaining high-quality teachers (Murnane
et al., 1991; Ballou and Podgursky, 1997; Odden and Kelley, 1997; Dolton, 1990, 2006; Dolton and van der Klaauw 1999).
Countries that pay low salaries to their teachers (relative to the earnings distribution of the countrys population) show lower
pupil performance as measured by international student assessments (Dolton and Marcenaro-Gutierrez, 2011).
In Latin America, and particularly in Colombia, the situation is no different. Talented people might get discouraged
from choosing a career in education to avoid getting trapped in a profession with low social prestige, bad academic
reputation and low salaries (Mizala and opo, 2011; Garca et al., 2014). As it has been shown, in Colombia, those who
graduate as school teachers from university or technical programs are more likely to have scored at the bottom quintiles
of the Colombian college admission test, Saber 11 (Barn and Bonilla, 2011; Barn et al., 2013).
There is solid evidence that self-selection plays a role on teachers quality. Granted, but, what about the role of higher
education? Even if prospective teachers start at disadvantage compared to their peers in other careers, does higher education level the playing field? To address these questions we analyze relative learning mobility, understood as the change
in score-rankings between two periods, for students who are close to graduate from a university program in education
(which we will also call throughout the paper: teachers) vis--vis students that are also about to graduate, but from other
university academic programs (which we will also call throughout the paper: other professionals). We use data from two
standardized tests: Saber 11 and Saber Pro, which provide information on educational outcomes and socio-demographic
characteristics for students in Colombia at their senior year of high school and near the end of their college education. In
this sense this paper not only deals with teachers academic competence but also contributes to the value added of higher
education literature (Klein et al, 2005; Liu, 2011; Saavedra, 2009; Saavedra and Saavedra, 2011; Cunha and Miller, 2014).
Our results indicate that after around 5 years of academic training, teachers skills vis--vis those in other professions
deteriorate in quantitative reasoning, although they deteriorate less for those in math oriented programs. We do not
find evidence of a statistically significant change in relative learning for native language (Spanish) and foreign language
(English). The rest of the paper proceeds as follows. In the next section we introduce the data sources and present some
descriptive statistics. Section three introduces the concept of relative learning mobility. In the fourth section we present
the main empirical analysis. In the fifth section we conclude.

DATA AND DESCRIPTIVE STATISTICS


The data comes from Instituto Colombiano para el Fomento de la Educacin Superior (ICFES). We use data from two
national standardized tests: Saber 11 (2002-2007) and Saber Pro (2011). Saber 11 assesses senior year high school students academic competences in language (Spanish), mathematics, biology, chemistry, physics, social sciences, philosophy, and foreign language (English). Saber Pro assesses the academic competences of higher education students who have
completed at least 75% of their academic programs, on program specific areas (e.g., engineers are assessed in engineering; economists in economics; biologists in biology, and so on). The novelty that makes this paper feasible is that since the
second semester of 2011 Saber Pro also assesses all students, regardless of their major, in quantitative reasoning, reading,
writing and English as foreign language.2
Saber 11 is mandatory for all senior year high school students who wish to obtain their school degree, and serves as
an input for college entrance. In fact, in many universities this is the sole admission criterion (Saavedra and Saavedra,
2011). Saber Pro is mandatory for those students who wish to earn their college degrees. Furthermore, employers might
use Saber Pro scores to screen applicants for a (professional) job position (Saavedra, 2009). Nonetheless, schools and
universities cannot retain students based on their scores.
Saber 11 and Saber Pro share three components, which allow us to compare the change in students learning: native
language, quantitative reasoning and foreign language. Language in Saber 11 is comparable to Reading in Saber Pro as
both evaluate academic competences in Spanish (reading skills). In this paper we use Native Language to refer to both.
Mathematics in Saber 11 is comparable to Quantitative Reasoning in Saber Pro. In this paper we use Quantitative
Reasoning to refer to both. The foreign language component in both tests evaluates proficiency in English. In all three
cases, the level of difficulty is higher in Saber Pro, capturing the fact that students should develop their academic skills
during higher education. We will not compare scores in both tests in a direct way. Instead, we will use the individuals
position on the distribution of scores (z-scores), analyzing the changes from on test to the other.
ICFES provided researchers the possibility of linking both tests using a unique key that identifies individuals. These
keys are available for Saber 11 from the first semester of 2002 to 2010, and for Saber Pro from the first semester of 2007
to 2011. However, we do not use data from Saber 11 from the second semester of 2007 on due to changes in the survey
structure, and from Saber Pro from the first semester of 2011 backwards given that quantitative reasoning, native language and foreign language were not assessed.
We restrict ourselves to students attending on-campus programs at their 4th year of college or above, who at the time
of the test had completed at least 75% of their academic programs, whose identification key allows tracing them in both
Saber 11 and Saber Pro, and with no missing values in the variables of interest. This comprises 67% of the full sample
of college students who took Saber Pro in the second semester of 2011 (60% of the education majors and 68% of those
in other majors). Those students for which tracing is possible and show no missing values on the variables of interest,
that is, those in the 67%, scored above the remaining 33% in the three subjects (on average): 0.26 standard deviations
in quantitative reasoning, 0.26 standard deviations in native language, and 0.30 standard deviations in foreign language.
The sample of interest is then biased towards higher performing students but such bias is similar for both education and
other majors.
Table 1 shows the sample distribution of the 67% of students by the semester in which they took Saber 11, split by
group: teachers (students majoring in education, 8% of the sample) and other professionals (students majoring in other
programs). The bulk of students in the second semester of each year is explained by the fact that most students at the national level (85%) are enrolled in the A school calendar, which goes from February to November. Students in the B school
calendar (2% of the population of interest), which goes from August/September to June, take the test in the first semester
of the year. The remaining 13% corresponds to flexible calendar students (sabbatine, fast-tracks, etc.). From these, 77%
usually take the test on the second semester of each year and the remaining 23% on the first one.

See: http://www.icfes.gov.co/examenes/

Table 1 Sample size


Teachers
Other professionals
Year Semester Number of Percentage Number of Percentage
observations
(%)
observations
(%)
I
36
0.87
393
0.84
2002
II
300
7.22
3038
6.52
I
55
1.32
585
1.25
2003
II
485
11.67
4362
9.36
I
58
1.40
830
1.78
2004
Saber 11
II
700
16.85
6773
14.53
I
101
2.43
1310
2.81
2005
II
958
23.06
10288
22.07
I
103
2.48
2133
4.58
2006
II
1278
30.76
14649
31.42
2007
I
81
1.95
2256
4.84
4155
46617
Saber Pro 2011
II
100.00
100.00
Test

Source: Authors compilations based on ICFES data.

1. Differences in socio-demographic characteristics between teachers and other professionals


Table 2 presents socio-demographic characteristics for students of education majors and students of other programs. The
share of females studying to become teachers is higher than in other programs. Also, students of education majors are
more likely to come from larger families; they have less educated parents/guardians; they are less likely to migrate to another administrative unit to pursue their studies; they are more likely to have studied in public schools; and also they are
more likely to enroll in public universities and in programs with lower tuition fees. This reaffirms the idea that teachers
are more likely to come from a disadvantaged socioeconomic position compared to their peers (Mizala and opo, 2011).
Table 2 Descriptive statistics

a. Characteristics at the student level


Variables
Socio-demographic characteristics (%)
Gender (Female, as measured by Saber 11 and Saber Pro)
Familiy size (more than 5 persons, as measured by Saber
Pro)
Max education of the parents/guardians (as measured by
Saber Pro)
Secondary incomplete or less
Secondary complete or tertiary incomplete
Technical or technician education complete
Universitary education complete
The student moved to another administrative unit for his/her
higher education (as measured by a difference in the
administrative unit of residence in Saber 11 and Saber Pro)
Semester of study in current university program (as
measured by Saber Pro)
7 or 8
9 or 10
11 or 12

(Continues on next page)


5

Difference between
groups

Other professionals

Teachers

58.10
(0.23)
14.30
(0.16)

66.60
(0.73)
22.30
(0.65)

***

19.70
(0.18)
28.10
(0.21)
12.10
(0.15)
40.00
(0.23)
37.90
(0.22)

39.70
(0.76)
34.20
(0.74)
10.30
(0.47)
15.80
(0.57)
27.10
(0.69)

***

11.20
(0.15)
77.70
(0.19)
11.10
(0.15)

9.10
(0.45)
81.80
(0.6)
9.10
(0.45)

***

***
***
***
***

***
***
***

b. Characteristics at the high school level


Variables

Other professionals

Teachers

Difference between
groups

High school characteristics (%), as measured by Saber 11 unless otherwise noted

48.00
(0.23)

School administration (public)


School type (mixed gender)

Morning
Afternoon
Night
Weekend
School Calendar (A calendar)

***

(0.19)

(0.51)

87.7

***

32.30
(0.22)
51.70
(0.23)
14.50
(0.06)
1.40
(0.02)
0.10
(0.16)
82.10
(0.18)

23.90
(0.66)
51.80
(0.78)
21.10
(0.26)
2.90
(0.08)
0.30
(0.63)
87.30
(0.52)

***

78.40
(0.15)
19.10
(0.19)
2.60
(0.18)

69.40
(0.45)
21.40
(0.6)
9.20
(0.64)

79.1

School day
Complete

74.80
(0.67)

***
***

***

Degree type (as measured by Saber Pro)


Academic
Technical
Superior normal school

***
***
***

c. Characteristics at the university level

Variables

Other professionals

Teachers

Difference between
groups

University characteristics (%), as measured by Saber Pro


University administration (public)
University fee (academic semester)
None
Less than 1,000,000 COP
Between 1,000,000 and 3,000,000 COP
Between 3,000,000 and 5,000,000 COP
More than 5,000,000 COP

34.60
(0.18)

73.80
(0.56)

***

1.00
(0.05)
27.30
(0.21)
30.90
(0.21)
20.80
(0.19)
20.00
(0.19)

1.40
(0.19)
72.90
(0.69)
23.20
(0.66)
2.30
(0.23)
0.20
(0.08)

*
***
***
***
***

Standard errors in parentheses. * Significant at ten percent; ** significant at five percent; *** significant at one percent.
Colombia has two regular school calendars: The A calendar, which goes from February to November; and the B calendar,
which goes from August to June.
COP: Colombian Peso. The average exchange rate for the second semester of 2011 was 1856 COP/USD.
Source: Authors calculations based on ICFES data.
6

As mentioned above, the common components in Saber 11 and Saber Pro are not directly comparable. Although
they evaluate the same subjects, the scores have different metrics. To perform the comparisons we use standardized
test scores (z-scores), analyzing the changes in the students rankings between the two tests. Figure 1 shows the average
standardized scores (and confidence intervals for the means) for teachers and other professionals in both tests and the
three subjects assessed. As it is clear from the figure, teachers underperform in comparison to their peers in all the three
subjects in both tests.
Low scores in Saber 11 might also work as incentives for underachievers to choose the teaching profession, as admittance cut-off scores for teaching careers are low. Indeed, Figure A1 in the appendix shows that the probability of being
a teacher is lower the higher the score attained in Saber 11 for our three common subjects. Therefore, low scores and
socioeconomic disadvantage might narrow some students possibilities when choosing a college program. This is the
non-random selection into teaching that we will control for in our empirical strategy.
Figure 1 Average scores of teachers and non-teachers in Saber 11 and Saber Pro
a. Saber 11
Other Professionals

Teachers

0.10
0.00
Quantitative reasoning

Native language (Spanish)

Foreign language (English)

Z-score in Saber 11

-0.10
-0.20
-0.30
-0.40
-0.50
-0.60

b. Saber Pro
Other Professionals

Teachers

0.10
0.00

Z-score in Saber Pro

Quantitative reasoning

Native language (Spanish)

-0.10
-0.20
-0.30
-0.40
-0.50
-0.60

Source: Authors calculations based on ICFES data.


Note: Confidence intervals at 95% added.

Foreign language (English)

RELATIVE LEARNING MOBILITY


Relative learning mobility is assessed by the change in z-scores in quantitative reasoning, native language and foreign language between Saber 11 and Saber PRO. Figure 2 illustrates such relative learning mobility for some selected university
programs. The education majors are grouped into four categories, according to their emphasis: quantitative reasoning
(mathematics, physics, biology, etc.), native language (Spanish, social sciences, humanities, philology), foreign language
(mainly English, although there are students of some other foreign languages), and others (preschool, arts, sports and
others).3 Among the four groups of education majors, only those emphasizing native language and foreign languages
show a sizeable improvement in the English and Spanish skills of their students. For all other groups of teaching careers
their average z-scores fall. Out of the 53 non-teaching careers, in contrast, many improved their z-scores: 30 in quantitative reasoning, 24 in native language and 30 in foreign language (not shown but available upon request to the authors).
For the selected majors shown, the figure makes evident that after around five years of college, gaps in quantitative
reasoning between school teaching programs and other (selected) academic programs have widened.4 That is, teachers
skills in quantitative reasoning either deteriorate or do not improve as much as those of professionals in other areas of
knowledge. That is, teachers skills in quantitative reasoning either deteriorate or do not improve as much as those of
professionals in other areas of knowledge.
Figure 2 Distribution of standardized test scores in Saber 11 and Saber Pro, selected programs highlighted

a. Quantitative reasoning

Chemical eng.

Geology

Teacher (quant. reas.)


Teacher (for. lang.)
Nutrition

-1

Teacher (other areas)


Teacher (nat. lang.)

.4

Frequency

Saber 11 (2005-I to 2007-I)

Scores in quantitative reasoning (z-scores)

Chemical eng.

Geology

Nutrition

Teacher (quant. reas.)

Teacher (for. lang.)

Teacher (nat. lang.)

Teacher (other areas)

-1

.4

Frequency

Saber PRO (2011-II)

Scores in quantitative reasoning (z-scores)

(Continues on next page)

We selected those programs with the highest changes in their z-scores between Saber 11 and Saber Pro for our illustrative purposes.
We selected those programs with the highest changes in their z-scores between Saber 11 and Saber Pro for our illustrative purposes.

3
4

Source: Authors calculations based on ICFES data.

Scores in foreign language - English (z-scores)

Teacher (for. lang.)

Political Science

Geology

Teacher (nat. lang.)


Philosophy

Teacher (quant. reas.)

Teacher (other areas)

-1

.4

Frequency

Political Science

Teacher (for. lang.)

Geology

Philosophy

Teacher (nat. lang.)

Teacher (other areas)


Teacher (quant. reas.)

-1

.4

Frequency

Anthropology

Philosophy

Nutrition
Teacher (for. lang.)

Teacher (nat. lang.)

Teacher (quant. reas.)

Teacher (other areas)

-1

.4

Frequency

Anthropology

Nutrition
Teacher (for. lang.)
Philosophy

Teacher (nat. lang.)

Teacher (quant. reas.)

Teacher (other areas)

-1

.4

Frequency

b. Native language (Spanish)

Saber 11 (2005-I to 2007-I)

Scores in native language - Spanish (z-scores)

Saber PRO (2011-II)

Scores in native language - Spanish (z-scores)

c. Foreign language (English)

Saber 11 (2005-I to 2007-I)

Scores in foreign language - English (z-scores)

Saber PRO (2011-II)

To assess relative learning mobility we estimate:

yi,1 = 1 + 2 t i,1 + 3 yi,0 + 4(t i,1*yi,0) + i (1)

where yi,1 represents the z-score attained in Saber Pro by individual i; t i,1 is a dummy variable that takes the value 1 if the
individual i is found in saber PRO as an education major and 0 if she/he is in another program; yi,0 is the z-score attained
in Saber 11 by i; i is an idiosyncratic error term.
Given that some education majors emphasize on the subjects assessed, we proceed to capture this particularity by
adding a dummy variable, hi,1 , that takes the value 1 if the individual i is studying an education major that makes emphasis in either quantitative reasoning, native language or foreign language in accordance with the dependent variable.
Therefore (1) becomes:
yi,1 = 1 + 2 t i,1 + 3 yi,0 + 4(t i,1*yi,0) + 5 hi,1 + 6 (hi,1*yi,0) + i (2)

However, both (1) and (2) may suffer from selection bias. We address selection on observables by using two approaches: The first one allows us to address the differences in the distribution of characteristics between teachers and
other professionals by modelling self-selection on observables into the regression equation: a (two-step) heckit model
(Heckman, 1979; Maddala, 1983). The second approach: a non-parametric matching, allow us to address the differences
in the distribution of observable characteristics in and out of the common support between teachers and other professionals (opo, 2008). We compare teachers and other professionals on the basis of the same observable characteristics
thus, in the common support. We describe both approaches next.

1. Two-step model (Maddala, 1983)


To address self-selection, researchers usually resort to Heckman self-selection correction models. Heckman proved that,
under incidental truncation, including the inverse of the Mills ratio would provide consistent estimators (Heckman,
1979). Later on, Maddala (1983) proved that Heckmans approach also provides consistent estimators in the presence of
self-selection but the absence of incidental truncation. Therefore, the impact of selection bias is neither thrown away nor
assumed to be random; we model it into the equation estimating the outcome regression.
In the first step we estimate the selection equation
t i,1 = Xi,1 + i,1, (3)
where Xi,1 denotes the vector of observable characteristics. Thus, we are able to obtain
and

Prob(t i,1 = 1|Xi,1 ) = (Xi,1)

Prob(t i,1 = 0|X i,1) = 1 (Xi,1),

and compute the inverse of the Mills ratio, i.e.

(Xi,1)
1 (Xi,1)

Given sample selection (t endogenous) we plug into (1) and estimate

(Xi,1)
+ i . (4)
1 (Xi,1)
(Xi,1)
yi,1 = 1 + 2 t i,1 + 3 yi,0 + 4 (t i,1 yi,0) + 5 hi,1 + 6 (hi,1yi,0) +
+ i . (5)
1 (Xi,1)
yi,1 = 1 + 2 t i,1 + 3 yi,0 + 4 (t i,1 yi,0) +

10

2. Non-parametric matching (opo, 2008)


There might be combinations of characteristics for which we can find a teacher, but not another professional. These differences in observables might lead to biased estimates given the differences in the supports of the distribution of observable characteristics. opo (2008) propose a way to solve this problem, by comparing individuals in the common support.
The matching procedure goes as follows:

Select one teacher from the sample (without replacement).


Select all non-teachers that have the same observable characteristics as the teacher previously selected.
Put the observations of both individuals (the synthetic teacher and non-teacher) in their respective new samples of
matched individuals, reweighting the observations.

Repeat until exhausting the original teachers sample.

We use gender, year of birth, year and semester in which Saber 11 was taken, parents education, school type (public or
private), type of university (public or private) and scores in Saber 11 (as deciles of the distribution of scores), as variables
for the matching. Therefore, we not only compare individuals on the basis of the same observable characteristics but also
on the same proxy of academic ability before college education.
By matching on observables we obtain a new distribution of observable characteristics for other professionals that
mimics the one for teachers. (See opo, 2008, for further methodological details.) Therefore, we proceed to estimate:
yi,1 wmatching = [1 + 2 t i,1 + 3 yi,0 + 4 (t i,1yi,0) + i,1 ]wmatching

and (subsequently)

(6)

yi,1 wmatching = [1 + 2 t i,1 + 3 yi,0 + 4 (t i,1yi,0) + 5 hi,1 + 6 (hi,1yi,0) + i,1]wmatching , (7)

where wmatching denotes the weights after matching (that is, after the differences in the distribution of observable characteristics have vanished).

RESULTS
Table 3 shows the estimates of relative learning mobility for 9 specifications; each triplet of columns corresponds to a
subject: quantitative reasoning, native language and foreign language. The first column of each triplet shows the results
obtained after estimating (1) through Ordinary Least Squares (OLS); the second column after estimating the two-step
estimators described by equation (4),5 and the third column shows the results obtained from estimating (6).6
Being enrolled in an education major is negatively related to scores in quantitative reasoning and native language in
Saber Pro. Interestingly, being enrolled in an education major is positively related to performance in foreign language in
Saber Pro. As we will uncover next, when estimating Equation (2) instead of Equation (1), most of this result is explained
by the skill gains of those who study to become English teachers.
Table A2 in the appendix shows the size of the common support after adding each matching variable at a time. After controlling for the full set of
observable characteristics we are left with 2/3 of the teachers sample and around 15% of the other professionals sample. We compute the p-values
of Kolmogorov-Smirnov tests for the two distributions: teachers and other professionals, to guarantee we are comparing individuals with the same
characteristics, including academic performance. After controlling for all observable characteristics the distributions of scores in Saber 11 between
teachers and other professionals are statistically the same in each subject
6
Table A2 in the appendix shows the size of the common support after adding each matching variable at a time. After controlling for the full set of
observable characteristics we are left with 2/3 of the teachers sample and around 15% of the other professionals sample. We compute the p-values
of Kolmogorov-Smirnov tests for the two distributions: teachers and other professionals, to guarantee we are comparing individuals with the same
characteristics, including academic performance. After controlling for all observable characteristics the distributions of scores in Saber 11 between
teachers and other professionals are statistically the same in each subject.
5

11

It comes as no surprise that performance in Saber 11 is a good predictor of performance in Saber Pro across the
board. For the performance of teachers in quantitative reasoning, however, the evidence is less favorable. The interaction
between scores in Saber 11 and being a teacher shows a robust statistically significant negative value on the regressions.
That is, on average, teachers skills in quantitative reasoning relatively deteriorate compared to those of their peers in
other university programs. We do not find similar evidence of a statistically significant change in teachers relative learning in native language (Spanish) and foreign language (English).
The evidence of selection on observables is highlighted by the high significance of the inverse of the Mills ratio ().
This also means that under OLS , on average, the conditional z-scores of a teacher are lower than those from another
professional with similar observable characteristics drawn at random from the sample. That is, under OLS 2 is biased
downwards.
Table 3 Relative learning mobility

Variable
Teacher
Saber 11 scores in
Quantitative reasoning

Dependent variable: Z-scores in Saber PRO


Quantitative reasoning
Native language (Spanish)
Ordinary
Ordinary
Least
Least
Squares
Squares
Two-step
Matching
Two-step
Matching
-0.4220***
-0.3588***
-0.3874***
-0.1644***
-0.0613***
-0.0902***
(0.0151)
(0.0156)
(0.0226)
(0.0146)
(0.0150)
(0.0221)
0.4962***
(0.0043)

0.4660***
(0.0047)

0.4535***
(0.0164)

Native language

0.5028***
(0.0041)

0.4654***
(0.0042)

0.5044***
(0.0149)

Foreign language

0.6580***
(0.0046)

0.6044***
(0.0051)

0.4928***
(0.0156)

-0.0113
(0.0144)

0.0574**
(0.0280)
-0.0020
(0.0034)

0.1584***
(0.0322)
-0.1825***
(0.0114)

9605

50772

0.0327
(0.0279)
0.5022***
(0.0190)
-0.9784***
(0.0356)
50772

Teacher * Saber 11 scores in


Quantitative reasoning

-0.1457***
(0.0177)

-0.1603***
(0.0180)

-0.1000***
(0.0267)

Native language

0.0319**
(0.0138)

0.0057
(0.0137)

0.0141
(0.0221)

Foreign language
Constant

0.0301***
(0.0040)

Observations

50772

0.3089***
(0.0180)
-0.5421***
(0.0339)
50772

Foreign language (English)


Ordinary
Least
Squares
Two-step
Matching
0.0452**
0.1570***
0.2104***
(0.0186)
(0.0188)
(0.0243)

0.0440***
(0.0144)

0.0143***
(0.0040)

9743

50772

0.4512***
(0.0169)
-0.8486***
(0.0318)
50772

10312

Robust standard errors in parentheses. * Significant at ten percent; ** significant at five percent; *** significant at one percent.
Note: Programs with emphasis in mathematics are those related to the study of mathematics, physics, biology and the like; programs
with emphasis in native language are those related to the study of social sciences, humanities, philology and the like; programs with
emphasis in foreign language are those that are focused on the study, mainly, of a foreign language (including English).
Source: Authors calculations based on ICFES data.

12

Not all teachers receive the same training while in college. Some of them specialize in teaching math, some others in
teaching Spanish, some others in teaching English and so on. It is reasonable to expect different learning gains in different
subjects of Saber Pro according to their fields of specialization. Table 4 shows estimations exploring such differences in
relative learning mobility. That is, when analyzing relative learning gains in quantitative reasoning we will pay special
attention to those education majors emphasizing on math teaching. Similarly, when analyzing relative learning gains in
native language (foreign language) we will pay special attention to those education majors emphasizing on Spanish (foreign languages) teaching.
Similar to Table 3, Table 4 shows the estimates of relative learning mobility for 9 specifications: each triplet of columns corresponds to a subject; the first column of each triplet shows the results obtained after estimating (2) through

OLS; the second column after estimating the two-step regression model (5), and the third column shows the results ob-

tained from estimating (7).


As in the previous estimations, being a teacher is negatively correlated to performance in Saber Pro, but there are
some differences with the results shown in Table 3. For quantitative reasoning and native language this correlation is
more negative. For foreign language, this correlation, which was positive, becomes negative. Nonetheless, the results
indicate that being an English teacher (as opposed to a teacher in other subjects) has a strongly positive correlation with
performance in English in Saber Pro. Along similar lines, Spanish teachers also show a positive performance with respect
to the average. This is not the case for teachers in programs with emphasis in quantitative reasoning. The coefficient corresponding to the hi,1 dummy is positive and significant, but the total effect 2 + 5 is still negative.
The results on the predictive power of Saber 11 across the board (3) and the smaller learning mobility of teachers
with emphasis in quantitative reasoning (4) still hold. Such smaller learning mobility of teachers, nonetheless, gets
counterbalanced among those teachers whose programs emphasized math. They show higher mobility than the other
teachers (6 > 0), although their mobility is still smaller than that of other professionals (4 + 6 > 0). The most intriguing
and possibly discouraging result, however, is that learning mobility in native language (foreign language) for teachers in
programs whose emphasis is in Spanish (English) is smaller than that of other teachers (6 < 0). That is, the more able
an education major student showed to be in native language (foreign language) in Saber 11, the smaller her/his relative
progress in native language (foreign language) skill acquisition, as measured by Saber Pro.
We explored this result further by estimating Equation (2) using quantile regressions. Figure 3 shows the coefficients
of 6 by percentiles of the residuals of the regression. In the case of foreign language, the results clearly show that this
effect is more pronounced at the higher percentiles of the distribution of residuals of the regression. That is, it is more
pronounced among the good performers in Saber Pro. Interestingly, this is not the case among teaching majors that emphasize in neither math nor native language (Spanish). This reduces the scope for an explanation based on a regression to
the mean argument. A plausible interpretation for this result, on the other hand, could come from the existence of (negative) peer effects. The few able and talented students who choose a career in English education see their skills relatively
reduced as a result of such choice.
Table 4 Relative learning mobility controlling for career emphasis for teachers

Variable
Teacher
Saber 11 scores in
Quantitative reasoning

Dependent variable: Z-scores in Saber PRO


Quantitative reasoning
Native language (Spanish)
Ordinary
Ordinary
Least
Least
Squares
Squares
Two-step
Matching
Two-step
Matching
-0.5154***
-0.4572***
-0.4712***
-0.2273***
-0.1275***
-0.1456***
(0.0163)
(0.0166)
(0.0239)
(0.0167)
(0.0170)
(0.0240)
0.4962***
(0.0043)

0.4647***
(0.0047)

0.4535***
(0.0164)

Native language

0.5028***
(0.0041)

0.4650***
(0.0042)

0.5044***
(0.0149)

Foreign language
Teacher * Saber 11 scores in
Quantitative reasoning

-0.2003***
(0.0191)

-0.2122***
(0.0192)

0.0409***
(0.0157)

0.0186
(0.0155)

(Continues on next page)

13

0.4259***
(0.0351)

0.6031***
(0.0050)

0.4928***
(0.0156)

-0.0882***
(0.0315)
1.6211***
(0.0506)

-0.1100***
(0.0315)
1.6544***
(0.0489)

0.0274
(0.0323)
1.5936***
(0.0646)

0.0369
(0.0239)

Foreign language
0.3874***
(0.0359)

0.6580***
(0.0046)

-0.1401***
(0.0282)

Native language

Teacher program has


emphasis in the assessed
subject in Saber PRO

Foreign language (English)


Ordinary
Least
Squares
Two-step
Matching
-0.1683***
-0.0549***
0.0147
(0.0189)
(0.0189)
(0.0236)

0.3454***
(0.0424)

0.2418***
(0.0316)

0.2608***
(0.0311)

0.2105***
(0.0378)

Dependent variable: Z-scores in Saber PRO


Quantitative reasoning
Native language (Spanish)
Ordinary
Ordinary
Least
Least
Squares
Squares
Two-step
Matching
Two-step
Matching

Variable
Teacher program has
emphasis in the assessed
subject in Saber PRO *
Saber 11 scores in
Quantitative reasoning

0.1454***
(0.0420)

0.1249***
(0.0437)

0.0906*
(0.0507)

Native language

-0.0681**
(0.0304)

-0.0871***
(0.0304)

-0.1095***
(0.0376)

Foreign language
Constant

0.0301***
(0.0040)

Observations

50772

0.3209***
(0.0180)
-0.5654***
(0.0340)
50772

Foreign language (English)


Ordinary
Least
Squares
Two-step
Matching

0.0440***
(0.0144)

0.0143***
(0.0040)

9743

50772

0.4560***
(0.0167)
-0.8579***
(0.0313)
50772

-0.0113
(0.0144)

-0.1496***
(0.0559)
-0.0020
(0.0034)

9605

50772

-0.1858***
(0.0539)
0.5150***
(0.0178)
-1.0032***
(0.0333)
50772

-0.1678***
(0.0611)
-0.1825***
(0.0114)

10312

Robust standard errors in parentheses. * Significant at ten percent; ** significant at five percent; *** significant at one percent.
Note: Programs with emphasis in mathematics are those related to the study of mathematics, physics, biology and the like; programs
with emphasis in native language are those related to the study of social sciences, humanities, philology and the like; programs with
emphasis in foreign language are those that are focused on the study, mainly, of a foreign language (including English).
Source: Authors calculations based on ICFES data

Figure 3Relative learning mobility of teacher majors.

Values of 6 from Equation (2) obtained from quantile regressions

a. Quantitative reasoning
1

Estimated value of

0.5

0
0

10

20

30

40

50

60

70

80

90

-0.5

-1

-1.5

14

Percentiles of the distribution of residuals in the quantitative reasoning quantile


regression

b. Native language (Spanish)


1

Estimated value of

0.5

0
0

10

20

30

40

50

60

70

80

90

-0.5

-1

-1.5

Percentiles of the distribution of residuals in the native language quantile regression

c. Foreign language (English)


1

Estimated value of

0.5

0
0

10

20

30

40

50

60

70

80

90

-0.5

-1

-1.5

Percentiles of the distribution of residuals in the foreign language quantile regression

Source: Authors calculations based on ICFES data.


Note: Robust confidence intervals at 95% added.

15

CONCLUSIONS
It is unquestionable that teachers are essential for a high quality educational system. Nonetheless, there is evidence of
negative selection into teaching as students from disadvantaged socioeconomic environments with low academic performance are more likely to enroll into programs in school education. This study builds onto that providing another piece
of evidence. The skills of students in education majors deteriorate in comparison to those who enroll in others. This is
specially the case for: (i) those who enroll in education majors with emphasis in math (physics, mathematics, biology, and,
in general, the sciences) and (ii) those who show better skills in English before entering college and enroll in education
majors with emphasis in English. After nearly 5 years of academic training, learning gaps between teachers and other professionals widen in favor of the latter. The results hold even after accounting for differences in observable characteristics
and academic performance before college. This raises an additional red flag regarding the quality of education for teachers.
What can be done? Perhaps the most obvious place to look at is precisely the programs that nurture the future teachers. It could be the case that the teaching bodies of the future teachers, or the curricula they follow, or their pedagogical
approaches, need some reforms. There is also room for action on the selection of students into teaching, such as stricter
admission standards. This may work positively by two channels: a direct effect on the skills of students in teaching majors
and an indirect effect through peers. Nonetheless, better teacher education programs and higher admissions standards,
alone, most likely will have only modest effects. Or, more generally, to think that the solution to the problem of an inadequate teaching force lies only within the teaching community would be extremely myopic. It is necessary to push for
ambitious policies aimed at making the teaching profession more attractive so that the most talented youngsters opt to
teach and develop a good career path.
The recent decades have seen innovation and progress in teacher policies both in the developed and developing
world. Many of them have been fortunately accompanied by rigorous impact evaluations. Thus, although perhaps we are
still away from answering the question of the design of optimal policies for the teaching profession in different contexts,
knowledge is in the making (Vegas and Ganimian, 2013).

REFERENCES

16

Ballou, D., & Podgursky, M. (1997). Teacher Pay and Teacher Quality, W.E. Upjohn Institute for Employment Research,
Kalamazoo, MI.
Barn, J. D., & Bonilla, L. (2011). La calidad de los maestros en Colombia: Desempeo en el examen de Estado ICFES y la
probabilidad de graduarse en el rea de educacin, Documentos de Trabajo sobre Economa Regional 152, Banco de
la Repblica, Colombia.
Barn, J. D., Bonilla, L., Cardona-Sosa, L., & Ospina, M. (2013). Qunes eligen la disciplina de la educacin en Colombia?
Caracterizacin desde las pruebas Saber 11, Borradores de Economa 785, Banco de la Repblica, Colombia.
Chetty, R., Friedman, J., & Rockoff, J. (2013a). Measuring the Impacts of Teachers I: Evaluating Bias in Teacher ValueAdded Estimates, NBER Working Papers 19423, National Bureau of Economic Research, Inc.
Chetty, R., Friedman, J., & Rockoff, J. (2013b). Measuring the Impacts of Teachers II: Teacher Value-Added and Student
Outcomes in Adulthood, NBER Working Papers 19424, National Bureau of Economic Research, Inc.
Clotfelter, T., Ladd, H. F., & Vigdor, J. L. (2007). Teacher credentials and student achievement: Longitudinal analysis with
student fixed effects, Economics of Education Review 26(6): 673-682.
Cunha, J., & Miller., T. (2014). Measuring value-added in higher education: Possibilities and limitations in the use of
administrative data, Economics of Education Review 42: 6477
Denzler, S., & Wolter. S. (2008). Selbstselektion bei der Wahl eines Lehramtsstudiums: Zum Zusammenspiel individueller
und institutioneller Faktoren, Beitrge zur Hochschulforschung, 30(4): 112-141.
De Paola, M. (2009). Does Teacher Quality Affect Student Performance? Evidence From An Italian University, Bulletin of
Economic Research, 61(4): 353377.
Dolton, P. (1990). The economics of UK teacher supply, Economic Journal, 100: 91104.

17

Dolton, P. (2006). Teacher supply, chapter 19 in E. Hanushek and F. Welch (eds.), Handbook of the Economics of Education vol. 2, Elsevier, The Netherlands.
Dolton, P., & Marcenaro-Gutierrez, O. (2011). If you pay peanuts do you get monkeys? A cross-country analysis of teacher
pay and pupil performance, Economic Policiy, 26(65): 5-55.
Dolton, P., & van der Klaauw, W. (1999). The turnover of teachers: A competing risks explanation, Review of Economics
and Statistics, 81(3): 543550.
Eide, E., Goldhaber, D., & Brewer, D. (2004). The Teacher Labour Market and Teacher Quality, Oxford Review of Economic
Policy, 20(2): 230244.
Garca, S., Maldonado, D., Perry, G., Rodrguez, C., & Saavedra., J. (2014). Tras la excelencia docente: Cmo mejorar la
calidad de la educacin para todos los colombianos. Fundacin Compartir. Bogot, Colombia.
Giesen, H., & Gold, A. (1993). Leistungsvoraussetzungen und Studienbedingungen bei Studierenden verschiedener
Lehrmter, Psychologie in Erziehung und Unterricht, 40: 111124
Goldhaber, D., & Brewer, D. (1997). Why dont schools and teachers seem to matter?: Assessing the impact of unobservables on educational productivity, Journal of Human Resources 32(3): 505523.
Hanushek, E. A., & Pace, R. (1995). Who Chooses To Teach And Why? Economics of Education Review, 14(2): 101117
Hanushek, E. A. (2002). Publicly provided education, chapter 30 in A. J. Auerbach and M. Feldstein (eds.), Handbook of
Public Economics, vol. 4, Elsevier, The Netherlands.
Hanushek, E. A., & Rivkin, S. G. (2006). Teacher Quality, chapter 18 in E. Hanushek and F. Welch (eds.), Handbook of the
Economics of Education, vol. 2, Elsevier, The Netherlands.
Klein, S. P., Kuh, G., Chun, M., Hamilton, L., & Shavelson, R. (2005). An approach to measuring cognitive outcomes across
higher education institutions, Research in Higher Education, 46: 251276.
Kukla-Acevedo, S. (2009). Do teacher characteristics matter? New results on the effects of teacher preparation on student achievement, Economics of Education Review 28(1): 49-57.
Liu, O. (2011). Value-added assessment in higher education: A comparison of two methods, Higher Education, 61(4):
445461.
Maddala, G. S. (1983). Limited-Dependent and Qualitative Variables in Econometrics, Cambridge University Press, New York.
Mizala, A., & opo, H. (2011). Teachers Salaries in Latin America. How Much are They (under or over) Paid?, IZA Discussion Papers 5947, Institute for the Study of Labor (IZA).
Murnane, R., Singer, J., Willett, J., Kemple, J., & Olson, R. (1991). Who Will Teach? Policies that Matter, Harvard University
Press, Cambridge, MA.
opo, H. (2008). Matching as a Tool to Decompose Wage Gaps, Review of Economics and Statistics, 90(2): 290-299.
Odden, A., & Kelley, C. (1997). Paying Teachers for What They Know and Do: New and Smarter Compensation Strategies
to Improve Schools, Corwin Press, Thousand Oaks, CA.
OECD (2011). Finland: Slow and steady reform for consistently high results in Strong Performers and Succesful Reformes in Education, Lessons from PISA for the United States, OECD Publishing.
Podgursky, M., Monroe, R., & Watson, D. (2004). The academic quality of public school teachers: an analysis of entry and
exit behavior, Economics of Education Review, 23(5): 507518
Rivkin, S., Hanushek, E., & Kain, J. (2005). Teachers, Schools, and Academic Achievement, Econometrica, 73(2): 417-458.
Rockoff, J. E. (2004). The Impact of Individual Teachers on Student Achievement: Evidence from Panel Data, The American Economic Review, 94(2): 247252.
Saavedra, J. (2009). The learning and early labor market effects of college quality: a regression discontinuity analysis,
Mimeo, Harvard University.
Saavedra, A., & Saavedra, J. (2011). Do colleges cultivate critical thinking, problem solving, writing and interpersonal
skills? Economics of Education Review, 30(6): 15161526.
Sahlberg, P. (2009). Educational Change in Finland in A. Hargreaves, M. Fullan, A. Lieberman, and D. Hopkins (Eds.),
International Handbook of Educational Change, Springer, The Netherlands.
Sahlberg, P. (2011). Finnish lessons. What can the world learn from educational change in Finland? Teachers College
Press, New York.
Vegas, E., & Ganimian, A. (2013). Theory and Evidence on Teacher Policies in Developed and Developing Countries, IDB
Working Paper Series No. IDB-WP-438.

APPENDIX A
Figure A1 Probability of being a teacher by deciles of the z-score distribution

.16
.12
.08
.04
0

Probability of being a teacher

.2

a. Quantitative reasoning

10

10

10

Decile of the quantitative reasoning-scores distribution

95% confidence intervals

.04

.08

.12

Probability of being a teacher

.16

.2

b. Native language (Spanish)

Decile of the native language-scores distribution

95% confidence intervals

.04

.08

.12

Probability of being a teacher

.16

.2

c. Foreign language (English)

Decile of the foreign language-scores distribution

95% confidence intervals

Source: Authors calculations based on ICFES data.


18

Table A1 Likelihood of choosing an education major (marginal effects after probit)

Dependent variable: 1 if student studies a


program in education, 0 if not
Quantitative
Native
Foreign
reasoning
language
language
Socio-demographic
Gender (Female)
Age
The student moved to another
administrative unit
Familiy size (more than 5
persons)
Max education of the
parents/guardians
Secondary complete or tertiary
incomplete
Technical or technician education
complete
Universitary education complete
School characteristics
School administration (public)
School type (mixed gender)
School calendar (A calendar)
School type
Technical
Superior Normal school
Saber 11 scores in
Quantitative reasoning

0.0153***
(0.0021)
0.0026***
(0.0005)
-0.0335***
(0.0028)
0.0180***
(0.0030)

0.0188***
(0.0021)
0.0027***
(0.0005)
-0.0339***
(0.0029)
0.0181***
(0.0030)

0.0187***
(0.0021)
0.0027***
(0.0005)
-0.0338***
(0.0028)
0.0178***
(0.0030)

-0.0205***
(0.0022)
-0.0303***
(0.0024)
-0.0615***
(0.0025)

-0.0202***
(0.0023)
-0.0302***
(0.0024)
-0.0618***
(0.0025)

-0.0203***
(0.0022)
-0.0304***
(0.0024)
-0.0609***
(0.0025)

0.0451***
(0.0024)
0.0188***
(0.0025)
-0.0119
(0.0079)

0.0460***
(0.0025)
0.0187***
(0.0026)
-0.0113
(0.0080)

0.0443***
(0.0025)
0.0182***
(0.0026)
-0.0128
(0.0081)

-0.0026
(0.0025)
0.1081***
(0.0093)

-0.0028
(0.0025)
0.1116***
(0.0095)

-0.0037
(0.0025)
0.1079***
(0.0093)

-0.0173***
(0.0012)
-0.0118***
(0.0011)

Native language
Foreign language
Pseudo R2
Observations

0.13
50772

0.12
50772

-0.0133***
(0.0014)
0.12
50772

Standard errors in parentheses. * Significant at ten percent; ** significant at five percent; *** significant at one percent. We also
control for dummies that capture when Saber 11 was taken and dummies per administrative unit where the university is located.
The student moved to another administrative unit for his/her higher education.
Colombia has two regular school calendars: The A calendar, which goes from February to November; and the B calendar,
which goes from August to June.
Source: Authors calculations based on ICFES data.
19

Table A2Size of common support and Kolmogorov-Smirnov tests


(p-values after adding observables characteristics)

Variables
Gender
+ year of birth
+ semester and year in which Saber 11 was taken
+ parents' max education
+ the student moved to another administrative unit
+ type of school
+ type of university
& Quantitative reasoning scores deciles
& Native language scores deciles
& Foreing language scores deciles

Percentage of students
Teachers
Other professionals
100
100
99.90
99.82
99.25
98.28
98.58
94.09
97.98
90.99
96.80
82.84
92.95
58.64
64.89
15.12
64.09
14.89
66.45
16.20

The Kolmogorov-Smirnov test corresponds to the test of equality of two distributions.


Source: Authors calculations based on ICFES data.

20

KolmogorovSmirnov P-value
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.99
0.49
0.15

Evaluacin docente: un programa consolidado


en busca de mejora y mayor pertinencia
sustentada en metaevaluacin
13 de marzo de 2015

Evaluacin docente: un programa consolidado


en busca de mejora y mayor pertinencia
sustentada en metaevaluacin
Leticia Elizalde Lora*
Maestra en Psicologa Educativa, Universidad Autnoma del Estado de Hidalgo,
Direccin General de Evaluacin, Mxico.
lelizalde@uaeh.edu.mx

Patricia Bezies Cruz


Doctora en Filosofa y Ciencias de la Educacin, Universidad Autnoma del Estado de Hidalgo,
Direccin General de Evaluacin
bezies@uaeh.edu.mx

PALABRAS CLAVE: metaevaluacin, evaluacin de profesores


EJE TEMTICO: 1 Modelos y polticas de evaluacin de docentes y de directivos escolares (metaevaluaciones).

Resumen

En la Universidad Autnoma del Estado de Hidalgo la evaluacin es una accin primordial para la mejora continua
del quehacer educativo. Particularmente, a travs de la evaluacin de la docencia se emiten juicios de valor sobre
el compromiso, dedicacin y calidad con los que uno de los actores centrales de la vida de las instituciones educativas, el profesor, asume el cumplimiento de su funcin. Debido a la importancia de tal actividad y el nivel de involucramiento de los participantes, as como la naturaleza del proceso, se reconoce la necesidad de implementar metaevaluaciones, a fin de contar con informacin vlida para que la evaluacin se realice en las mejores condiciones.
Desde 2004 en la UAEH se han implementado diversas experiencias para valorar cmo se evala a los profesores y en el presente trabajo se reportan los resultados del proceso de metaevaluacin 2013 en el que participaron
24,537 alumnos y 2,097 profesores. Para ello, se analizan las valoraciones emitidas a travs de un cuestionario
enfocado a dimensiones tales como: valoracin general del proceso, aciertos, problemticas, impacto, aspectos a
mejorar y grado de satisfaccin.
La metaevaluacin refuerza el rigor, validez y calidad de las evaluaciones, as como la credibilidad, confianza
y profesionalidad del evaluador y en la medida en que se realicen ejercicios formales, se estar en condiciones de
consolidar y mejorar permanentemente los procesos evaluativos, contar con modelos estadsticos y contribuir con
experiencias especficas al estado de conocimiento sobre esta temtica.

*Autor principal

INTRODUCCIN
El proceso de evaluacin docente institucional de la UAEH se fundamenta en su modelo educativo y en aquellos elementos identificados en la literatura como indicativos de una enseanza de calidad en el nivel de educacin superior. Como
parte de la revisin permanente del proceso se efecta su metaevaluacin. Para efectos del presente trabajo, metaevaluacin se supone como la investigacin sistemtica que tiene como propsito emitir un juicio acerca de la calidad o mrito
de un proceso de evaluacin. Su alcance consiste en averiguar hasta qu punto la evaluacin ha logrado sus objetivos, ha
cumplido con su misin y si los instrumentos utilizados son adecuados. Para ello, es indispensable incluir no slo la opinin de los tomadores de decisiones, sino tambin la de otras audiencias involucradas en el proceso como los estudiantes
y los propios profesores. Independientemente de los criterios seleccionados para valorar la propia evaluacin, se debe
atender al rigor metodolgico respecto a la obtencin de la informacin y a la consistencia durante el anlisis de datos,
generando as procesos de reflexin que permitan la comprensin relevante del objeto evaluado. Indudablemente, la propia naturaleza de la evaluacin condiciona su anlisis y en la medida en que la evaluacin es, ante todo una investigacin,
la tarea que habr de valorar el metaevaluador ser la capacidad de explicacin de la investigacin evaluativa.

DESARROLLO
Planteamiento de la problemtica
En virtud de su relevancia, la metaevaluacin requiere de una valoracin suficiente por parte de los propios evaluadores y
evaluados. Por ello, se buscaron mecanismos y disearon instrumentos propios para tomar en cuenta la opinin de estudiantes y directivos que evalan y de los profesores evaluados, para que de forma vlida y confiable aporten informacin
para el anlisis crtico y mejora del proceso.

Metaevaluacin como parte fundamental de la evaluacin


La evaluacin es entendida como un proceso documentado de recogida sistemtica de datos e informacin precisa y relevante que permiten la emisin de un juicio de valor con relacin al mrito de su objeto de inters. Se puede afirmar, que
la evaluacin es una actividad altamente especializada, con presencia en las Instituciones de Educacin Superior a partir
de la valoracin no slo del aprendizaje, sino tambin de los profesores, de la calidad de los Programas Educativos y de
los procesos de gestin (Fernndez, 2008).
Daz (2013), asume como necesaria la identificacin de tres momentos de un proceso de evaluacin. El primero,
considera la valoracin de la evaluabilidad para determinar su viabilidad, con la finalidad de planificar y prever si los
resultados de la evaluacin sern tiles para mejorar aquello que se desea valorar. El segundo, incluye los tipos de evaluacin, los cuales se determinan por su momento de aplicacin. As, el tercer momento tiene como punto de inters la
metaevaluacin. A Scriven (2009) se le atribuye la autora del trmino, el cual consiste en identificar la naturaleza de la
evaluacin en s misma, (Garca, 2000). Al respecto, Stake (2014), precisa que si bien el trmino es antiguo, los sistemas
de metaevaluacin son recientes, en la medida que se requiere determinar la calidad de las evaluaciones identificando sus
fortalezas y debilidades. La metaevaluacin no es esencialmente un proceso tcnico, tiene una naturaleza poltica y tica,
por lo cual debe informar de la mejor manera los resultados (Scriven, 2009).

Instrumentacin de la metaevaluacin
Inicialmente, la valoracin de la evaluacin consisti en la aplicacin de listas de comprobacin para integrar un juicio
de valor (Daz, 2013). Un ejemplo se identifica en la KEC (Key Evaluation Checklist) creada por Scriven, donde se detalla
meticulosamente el proceso y los diversos elementos de la evaluacin.
Para Letichevsky, Vellasco, Tanscheit y Castro (2005), la recomendacin de implementar las evaluaciones desde las
perspectivas formativa y sumativa, tambin debe ser considerada para la metaevaluacin, ya que stas de cierta forma
se complementan. Los aspectos a considerar para llevar a cabo la metaevaluacin, pueden estar referidos a cuestiones
formales tales como presentacin, estilo, uso del lenguaje; tcnicas e instrumentos, las actitudes y conducta del evaluador,
de sus clientes y de los evaluandos; los valores implicados y la tica en general. Al respecto, desde la apreciacin de Santos
y Moreno (2004), sera insuficiente incluir exclusivamente evidencias sobre la calidad de los datos recabados o sobre el
rigor de los mtodos para extraer informacin, siendo preciso valorar la naturaleza de la iniciativa.

Valoracin del proceso de evaluacin docente de la UAEH


La evaluacin del profesorado en la UAEH es un proceso sistemtico coordinado por la Direccin General de Evaluacin
(DGE) desde el 2003. Actualmente, la evaluacin docente est fundamentada tanto en los aportes tericos sobre el tema,
como en los perfiles de los profesores referidos en el Modelo Educativo de la Universidad para las distintas modalidades
de enseanza (presencial y virtual) y niveles educativos (bachillerato, licenciatura y posgrado), incluidas las actividades
artsticas y deportivas de la educacin medio superior y la enseanza de lenguas extranjeras.
Aunado a lo anterior, se ha considerado la importancia de implementar evaluaciones multirreferenciales a partir de
la informacin proporcionada por distintas audiencias tales como directivos, el propio profesor a travs de la autoevaluacin y los alumnos. Para ello, se emplean cuestionarios de creacin institucional, atendiendo a los criterios de validez y
confiabilidad. Los instrumentos de evaluacin, fueron diseados para ser aplicados a travs de la web y con ello se tiene
la posibilidad de evaluar desde cualquier equipo de cmputo con acceso a internet. De este modo, se incorporan los sistemas de informacin como estrategia esencial para el desarrollo y aplicacin de los procesos evaluativos institucionales.
Es conveniente enfatizar, que la evaluacin de los profesores se concibe como un proceso dinmico, caracterizado por
su diversificacin y revisin permanente a partir de diversas experiencias metaevaluativas desde el ao 2004 (Bezies,
Elizalde y Olvera, 2012). Con fundamento en stas, se han tomado decisiones de mejora tanto en la difusin, como en la
valoracin de la prctica docente referida a los perfiles institucionales y en la diversificacin de los instrumentos orientados por nivel, modalidad y rea de conocimiento.
A partir de este marco contextual, el presente trabajo tiene como propsito informar acerca de una fase de la metaevaluacin del proceso de evaluacin docente institucional, con base tanto en la opinin de los estudiantes, reconociendo
la confiabilidad de stos como evaluadores (Schmelkes, 2014), como de los profesores de la UAEH, identificando as sus
fortalezas y reas de oportunidad.

Mtodo
En 2013, durante 7 semanas se recab la opinin de 2,097 profesores y 24,537 estudiantes de todos los niveles educativos en los que se imparte clase en la universidad (Bachillerato, Licenciatura y Posgrado). Durante el perodo de
evaluacin docente, estas audiencias tuvieron acceso al cuestionario de metaevaluacin en la pgina web institucional.
Se consideraron dimensiones tales como: valoracin general del proceso, aciertos, problemticas, impacto, aspectos a
mejorar y grado de satisfaccin. As, el cuestionario para profesores estuvo integrado por 40 preguntas y el de alumnos
por 33, las cuales en funcin del aspecto a valorar fueron de respuesta dicotmica, tipo likert, de jerarquizacin o bien
de respuesta mltiple.
4

Resultados
En este apartado se refleja la opinin y la valoracin del proceso de evaluacin docente de acuerdo con las dimensiones
del cuestionario por profesores y alumnos. En cuanto a la valoracin general del proceso (tabla 1), existe un importante
grado de acuerdo con el hecho de realizar la evaluacin en lnea, en la duracin del proceso durante siete semanas, as
como del contenido de mecanismos de difusin como carteles, radio y trpticos.
Tabla 1 Valoracin general del proceso

Aspectos

Porcentaje de aceptacin
Profesores
N = 2097

Alumnos
N=24,537

Media

Evaluacin en lnea

94.6

91.2

92.9

Difusin en radio

77.3

73.9

75.6

Carteles

81.7

79.0

80.4

Trpticos

72.1

71.0

71.6

Informacin de los medios impresos

77.4

77.7

77.6

Duracin del proceso

92.9

89.9

91.4

Evaluacin en las fechas establecidas

41.5

24.1

32.8

Evaluacin al concluir el semestre

37.9

49.8

43.9

En la tabla 2 se aborda la jerarquizacin de algunos factores de acuerdo con el grado de acierto dentro del proceso de
evaluacin docente en opinin de los profesores.
Tabla 2 Aciertos del proceso jerarquizados

Aspectos
Profesores
N = 2097

Jerarqua

La valoracin es acorde a los perfiles de los profesores

Acceso de todos los alumnos para evaluar a todos sus profesores

Cuestionarios de alumnos por rea de conocimiento y nivel educativo

Existencia de un Comit

Metaevaluacin

Proceso certificado

Consulta electrnica de resultados

La duracin del proceso

Las audiencias

10

Personal de la DGE

Los principales aciertos se relacionan con el uso de los perfiles como referente para evaluar la prctica de los profesores, as como con el hecho de atender a la diversidad tanto de reas de conocimiento, como de los niveles educativos.
Entre lo menos acertado, se precisan las audiencias que participan, situacin que representa un aspecto a profundizar,
considerando la importancia otorgada por la institucin a la realizacin de evaluaciones multirreferenciales.
Los alumnos (tabla 3), al igual que los profesores, destacan la evaluacin basada en los perfiles docentes. Asimismo,
se percibe como favorable el acceso de todos los estudiantes al sistema y la diversidad de instrumentos de licenciatura
en funcin de las reas de conocimiento.

Tabla 3 Aciertos del proceso en la opinin de los alumnos


Aspectos
Alumnos N = 24537

Jerarqua
1

La valoracin es acorde a los perfiles de los profesores

Todos los alumnos pueden evaluar a todos los profesores

Cuestionarios de alumnos por rea de conocimiento y nivel

La duracin del proceso

Las personas que evalan

Participacin de los alumnos

Hacer la evaluacin en la pgina de internet universitaria

Llama la atencin lo referente al uso de la pgina de internet, ya que en la valoracin general un alto porcentaje considera adecuado realizar la evaluacin en lnea.
Triangulando, se incluye en la tabla 4, la ponderacin otorgada por los profesores a las problemticas asociadas con
el proceso de evaluacin docente.
Tabla 4 Problemticas de la evaluacin en la opinin de los profesores

Factores
Profesores N = 2097

Jerarqua
1

Los resultados no son tomados en cuenta

Los directivos no evalan

La duracin del proceso

Las audiencias que evalan

Consulta electrnica de resultados

Participacin de los alumnos

Acceso a la pgina Web para realizar la evaluacin

Personal de la DGE

Desde su apreciacin, los resultados no se usan para la toma de decisiones relacionada con la docencia, aunado a la
incompleta participacin de los directivos para evaluar su desempeo. Entre lo menos problemtico, se identifica el acceso a la pgina web institucional y el personal de la DGE.
A diferencia de los profesores, los estudiantes (tabla 5) perciben como problemtico el acceso a la pgina web. Lo
anterior, puede estar asociado al hecho de que en el ltimo ao sta tuvo cambios en su estructura y por consiguiente la
liga para ingresar a los cuestionarios present distintas ubicaciones visuales.
Tabla 5 Problemticas de la evaluacin docente con base en la opinin de alumnos
Factores
Alumnos N = 24537

Jerarqua

Acceso a la pgina Web para realizar la evaluacin

Los profesores se quejan de la evaluacin de los directivos

Falta de objetividad por parte de las personas al evaluar

Los resultados no son tomados en cuenta

La duracin del proceso

Los profesores dicen que ellos saben quin los evalu

Presin acadmica si no evalas

El gran nmero de preguntas de los cuestionarios

No pasa nada si evalas mal a algn profesor

10

Los alumnos no conocen el perodo de evaluacin

Adems, se posiciona como un aspecto a atender, la evaluacin por parte de los directivos y entre otros aspectos, el
uso de resultados de evaluacin sigue siendo una demanda. De acuerdo con la posicin que ocupa, no representa un problema el conocimiento sobre el perodo de evaluacin.
Enseguida, se representa la opinin sobre aquellos aspectos en los que ha impactado la evaluacin de los profesores.

Tanto para los profesores, como para los alumnos, tal impacto se refleja esencialmente en la calidad de la prctica
docente con 21.6% y 18.7% respectivamente. Por el contrario, impacta minoritariamente en procesos de evaluacin
externa, en la entrega de reconocimientos a los profesores con mejor valoracin y en la asignacin de cargas acadmicas.
Particularmente, los profesores opinan que a travs de la evaluacin se mejora el conocimiento que tienen sobre su prctica pedaggica.
En la figura 2, se representan aquellos aspectos susceptibles de mejora.

Para los profesores resulta prioritario lo referente a los cuestionarios y al igual que en la dimensin de problemticas, se
reitera el uso institucional de los resultados. Con menor porcentaje, se seala la duracin del perodo de valoracin (7.9%).
La figura 3 contiene desde la perspectiva de los alumnos los elementos del proceso a mejorar.

Destaca la consideracin de quienes participan (19.5%) y el uso de los resultados para la toma de decisiones institucionales (18.4%). En menor medida, se percibe la necesidad de mejorar los instrumentos (12.5%).
Por ltimo, en la dimensin grado de satisfaccin, ocho de cada diez estn conformes con la realizacin de la evaluacin docente institucional en trminos generales. Particularmente, el 24.6% manifiesta poca satisfaccin con el uso de
los resultados.

CONCLUSIONES

A partir del trabajo realizado, se pueden identificar como aciertos de la evaluacin de los profesores la referencia a los
perfiles docentes, con lo cual se atiende a la diversidad de situaciones de enseanza.
Los cuestionarios son sin duda objeto de controversia, ya que si bien para los profesores son un aspecto susceptible
de mejora, para los estudiantes stos constituyen uno de los elementos con menor problemtica.
El hecho de que los alumnos sean conscientes de realizar la evaluacin de todos sus profesores, estn de acuerdo con
la duracin y conozcan el perodo de evaluacin revela que asumen el proceso como algo importante y por consiguiente
como parte de su vida en la institucin. Resulta alentadora la apreciacin por parte de ambas audiencias de que la evaluacin ha impactado mayoritariamente en la calidad de la prctica educativa y en la mejora de los Programas Educativos
ofertados por la universidad.
Uno de los retos del proceso de evaluacin docente en la UAEH est relacionado con la consolidacin del uso institucional de los resultados. As, para contrarrestar el escepticismo de los usuarios de los resultados y de las audiencias que
participan, es necesario pasar del discurso a acciones que le otorguen a la docencia su justo valor. Se analizar el uso de
las calificaciones otorgadas (medidas de valor agregado) aunque se coincide con la postura de Schmelkes (2014) en que
son producto de diversos factores y no slo de l.
La participacin de los directivos en el proceso de evaluacin es percibida como una problemtica a atender, ya que
invariablemente quedan profesores sin evaluar. Cabe precisar, que en un trabajo posterior se reportarn los resultados de
la metaevaluacin 2014 dirigida a recabar la opinin de los directivos sobre la evaluacin docente institucional.

Desde este trabajo, se enfatiza que el fin de la evaluacin es la mejora y la metaevaluacin es el propio mecanismo de
perfeccionamiento de la evaluacin. Por ello, la evaluacin sin su correspondiente proceso valorativo se considera como
parcial e inconclusa. Asimismo, a travs de este tipo de experiencias, los profesores tienen la posibilidad de analizar la
relevancia de ser evaluados, valorar el impacto que ha tenido en ellos para su prctica profesional y, sobre todo, apreciar
que la evaluacin es un proceso que incide favorablemente en todos los participantes de la comunidad universitaria.
En este orden de ideas, es fundamental implementar metaevaluaciones sistemticas (Rueda, 2011), de tal forma que
la informacin obtenida a travs de instrumentos diseados ex profeso de vala al proceso, redunde en la mejora del mismo y que tenga consecuencias especialmente las positivas. Finalmente, una vez efectuada, es indispensable valorar sus
efectos, consecuencias y cambios generados.

BIBLIOGRAFA
Bezies, C. P., Elizalde, L. L. & Olvera, B. I. (2012). Recuento Metodolgico del Proceso Evaluativo Docente en la UAEH.
Un Estudio de Metaevaluacin para Visualizar y Comparar el Sistema. Revista Iberoamericana de Evaluacin Educativa,
5 (2), 9-25. Recuperado de http://www.rinace.net/riee/numeros/vol5-num2/art1.pdf
Daz, L. F. (2013). La metaevaluacin y su mtodo. Revista de Ciencias Sociales, (92-93).
Fernndez, S. J. (2008). Valoracin de la calidad docente: El profesorado. Un modelo de evaluacin circular. Madrid: UCM,
Editorial Complutense.
Garca, S. E. (2000). Metaevaluacin. Universidad Carlos III de Madrid.
Letichevsky, A. C., Vellasco, B.R.M.M., Tanscheit, R. & Castro, S. R. (2005). La categora precisin en la metaevaluacin:
aspectos prcticos y tericos en un nuevo enfoque. Ensaio: aval. pol. pbl. Educ., 13 (47), 255-268.
Rueda, B. M. (2011). Evaluar para controlar o para mejorar?. Valoracin del desempeo docente en las universidades.
Mxico, IISUE. UNAM
Santos, G. M. . & Moreno O. T. (2004). El momento de la metaevaluacin educativa? Consideraciones sobre epistemologa, mtodo, control y finalidad. Revista Mexicana de Investigacin Educativa, IX (23), 913-931. Recuperado de http://
estudiosterritoriales.org/articulo.oa?id=14002307
Schmelkes, S. (2014). Conferencia Magistral: Evaluacion del desempeno docente: estado de la cuestion. V Coloquio Iberoamericano de Investigadores sobre Evaluacin de la Docencia. RIIED, Universidad Autnoma de Baja California.
Recuperado de http://www.ustream.tv/recorded/52290135
Scriven, M. (2009). Meta-evaluation revisited. Journal of Multidisciplinary Evaluation, 6, (11), iii-viii. Recuperado de
http://journals.sfu.ca/jmde/index.php/jmde_1/article/viewFile/220/215
Stake, R. (2014, septiembre). Conferencia Magistral Metaevaluacin. V Coloquio Iberoamericano de Investigadores sobre Evaluacin de la Docencia. RIIED, Universidad Autnoma de Baja California. Recuperado de: http://www.ustream.
tv/recorded/53076609

Prova docente: o processo de elaborao de


itens do pr-teste para a rea de organizao
e gesto do trabalho pedaggico
13 de marzo de 2015

Prova docente: o processo de elaborao de


itens do pr-teste para a rea de organizao
e gesto do trabalho pedaggico
Camylla Portela de Araujo
Mestrado em Educao, Brasil
camylla.araujo@inep.gov.br

Paola Matos da Hora


Doutoranda em Educao, Brasil
paola.hora@inep.gov.br
Vanessa Cardoso Tomaz
Mestrado em Educao, Brasil
vanessa.tomaz@inep.gov.br

PALABRAS CLAVE: Prova Docente, Organizao do Trabalho Pedaggico.


EJE TEMTICO: Modelos y polticas de evaluacin de docentes y de directivos escolares

Resumen

A Prova Nacional de Concurso para o Ingresso na Carreira Docente, chamada de Prova Docente destinada aos
candidatos que desejam ingressar na carreira docente, na educao infantil, anos iniciais do ensino fundamental,
nas modalidades regular e Educao de Jovens e Adultos (EJA-primeiro segmento), das redes pblicas da educao bsica.
O documento norteador da Prova Docente a Matriz de Referncia. Esta se constitui por dois eixos que delineiam o perfil profissional do docente ingressante na carreira do magistrio: o Eixo dos Conhecimentos e o Eixo
dos Processos. O Eixo dos Conhecimentos apresenta-se dividido em onze reas de saberes relacionados docncia
e dentre elas est a Organizao e Gesto do Trabalho Pedaggico (OGTP). O Eixo dos Processos relaciona-se a forma como os sujeitos administram recursos cognitivos, sociais e afetivos para enfrentar uma determinada situao
no seu exerccio profissional. Em setembro de 2012, foi realizado um pr-teste com itens das reas de conhecimento da Prova Docente, tendo em vista a validao da Matriz de Referncia da Prova.
Dentro desse tema, o presente estudo busca descrever como foi realizado o processo de elaborao de itens
para o pr-teste na rea de OGTP, a partir da pesquisa documental, com base em documentos disponibilizados
pelo Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP).

INTRODUCCIN
Este estudo foi realizado a partir da pesquisa documental de documentos disponibilizados pelo Instituto Nacional de
Estudos e Pesquisas Educacionais Ansio Teixeira (INEP). Segundo Gil (2008) a pesquisa documental desenvolvida com
base em documentos e em materiais j elaborados.
A Prova Nacional de Concurso para o Ingresso na Carreira Docente, chamada de Prova Docente, uma iniciativa do
INEP no mbito das polticas pblicas do Ministrio da Educao (MEC) relacionada valorizao dos profissionais do
magistrio do pas. Os estudos referentes implementao da Prova Docente envolvem a participao de equipe tcnica
do INEP1, da Comisso Assessora de Especialistas2 e do Comit de Governana3 (INEP, 2015).
A Prova Docente4 foi instituda pela Portaria Normativa GM/MEC n 03, de 02 de maro de 2011, com os seguintes
objetivos:
I

Subsidiar os Estados, o Distrito Federal e os Municpios na realizao de concursos pblicos com o intuito de selecionar docentes para a educao bsica;
II Conferir parmetros para autoavaliao dos participantes da Prova, com vistas continuidade de sua formao e
insero no trabalho docente (resguardado o sigilo individual dos candidatos);
III Fornecer subsdios qualitativos formulao e avaliao de polticas pblicas de formao inicial e continuada de
docentes (BRASIL, 2011, p. 1).

A Prova Docente foi planejada para ser aplicada de forma descentralizada em todo o pas, para aqueles candidatos
ao ingresso na carreira docente, na educao infantil, anos iniciais do ensino fundamental, nas modalidades regular e
Educao de Jovens e Adultos (EJA-primeiro segmento), das redes pblicas da educao bsica. Ao considerar o regime
de colaborao entre os entes federados, a participao das secretarias de educao (municipais, estaduais e a do Distrito
Federal) foi prevista de forma facultativa a cada gestor na adeso Prova Docente e na forma de utilizao dos resultados
dos participantes da Prova em seus concursos pblicos (INEP, 2015).

DESARROLLO
1. Matriz de referncia
A Matriz de Referncia o documento norteador, composto pela descrio dos conhecimentos a serem privilegiados na
Prova Docente e, portanto, orienta a elaborao dos itens e a preparao dos candidatos na realizao do processo seletivo.
A Matriz de Referncia constitui-se por dois eixos que delineiam o perfil profissional do docente ingressante na carreira
Servidores do rgo.
A Comisso foi instituda por meio da Portaria INEP n 338, de 9 de setembro de 2010, seguida da Portaria INEP n 74, de 1 de abril de 2011 e da
Portaria n 125, de 07 de maio de 2012. Sua composio abrange um grupo diversificado de especialistas organizados em grupos, divididos por eixos
dos objetos de conhecimento. A principal atribuio da Comisso consiste em sugerir e discutir com a equipe tcnica do INEP a proposta da Matriz
de Referncia para a Prova Docente.
3
O Comit foi institudo pela Portaria Normativa n 3, de 02 de maro de 2011. A composio do Comit envolve diversas entidades representativas
e rgos governamentais da rea educacional: INEP, Secretaria de Educao Bsica (SEB/MEC), Secretaria de Educao Superior (Sesu/MEC),
Coordenao de Aperfeioamento do Pessoal de Nvel Superior (CAPES), Conselho Nacional dos Secretrios de Educao (Consed), Unio Nacional
dos Dirigentes Municipais de Educao (Undime), Confederao Nacional dos Trabalhadores da Educao (CNTE), entidades de estudos e pesquisas
em educao e Frum Nacional de Diretores de Faculdades de Educao ou Equivalentes das Universidades Pblicas Brasileiras (Forumdir). O Comit
tem funo consultiva, dentre suas principais atribuies destaca-se a avaliao da Matriz de Referncia da Prova e os diversos aspectos referentes
implementao da Prova, tais como procedimentos de adeso dos entes federativos, inscrio de participantes, divulgao e utilizao dos resultados,
entre outros.
4
A Prova Nacional de Concurso para o Ingresso na Carreira Docente havia sido instituda pela Portaria n 14, de 21 de maio de 2010, sendo denominada
de Exame Nacional de Ingresso na Carreira Docente. Por essa razo, nos documentos anteriores Portaria Normativa n 3, de 02 de maro de 2011,
que substituiu a Portaria n 14, de 21 de maio de 2010, encontra-se a denominao Exame e no Prova.
1
2

do magistrio. O primeiro, o Eixo dos Objetos de Conhecimento, foi planejado com 11 reas5 de saberes relacionados
docncia, das quais 10 reas foram includas no pr-teste: i) Polticas Educacionais; ii) Organizao e Gesto do Trabalho
Pedaggico; iii) Desenvolvimento e Aprendizagem; iv) Lngua Portuguesa e seu Ensino; v) Matemtica e seu Ensino; vi)
Histria e seu Ensino; vii) Geografia e seu Ensino; viii) Cincias da Natureza e seu Ensino; ix) Educao Fsica e seu Ensino;
x) Arte e seu Ensino (INEP, 2014).
Este eixo articula-se a um segundo, o Eixo dos Processos. Composto por seis processos, cada um deles refere-se a
aspectos relacionados prtica docente (INEP, 2015).
O Processo 1 (P1) trata da articulao de conhecimentos para compreenso de aspectos culturais, ambientais, polticos, econmicos, cientficos e tecnolgicos da sociedade contempornea.
O Processo 2 (P2) compreende a promoo dos direitos humanos e educativos de todos, mediante aes de incluso,
valorizao da diversidade e respeito singularidade dos alunos no contexto da comunidade escolar.
O Processo 3 (P3) aborda o planejamento do trabalho pedaggico para orientar os processos de construo de conhecimento.
O Processo 4 (P4) evidencia o desenvolvimento de metodologias e recursos pertinentes para alcanar os objetivos do
trabalho pedaggico.
O Processo 5 (P5) discute a organizao de procedimentos avaliativos que permitam reorientar a prtica educacional.
E por fim, o Processo 66(P6) engloba a comunicao com coerncia e coeso por meio de textos escritos.
Desta maneira, o perfil profissional do professor composto pela articulao entre os Objetos de Conhecimento e o
conjunto dos Processos. Sendo que o agrupamento dos Processos compem as Dimenses7 do perfil. Desse modo, busca-se a conexo entre teoria e prtica. A Matriz representa um modelo de dupla entrada, em que o Eixo dos Processos apresenta-se de forma transversal ao Eixo dos Objetos de Conhecimento. Dada esta preocupao, a construo do pr-teste foi
pensada de maneira a conseguir aproximar-se, ao mximo, da complexidade do perfil profissional docente ingressante
nas redes pblicas de ensino. Cada item do pr-teste deveria permitir a identificao da capacidade dos participantes de
mobilizar conhecimentos, habilidades e competncias para promover a ao educativa a partir de situaes-problemas
realsticas (INEP, 2015).

Organizao do trabalho pedaggico


No caso especfico do Objeto de Conhecimento denominado de Organizao e Gesto do Trabalho Pedaggico (OGTP),
apenas os Processos de nmero 3, 4 e 5 foram contemplados na elaborao de itens (BRASIL, 2015). Este Objeto de Conhecimento foi subdividido em cinco tpicos (INEP, 2014):
i) T1-Projeto Poltico Pedaggico e Gesto Escolar: finalidades e funes;
ii) T2-Planejamento;
iii) T3-Currculo;
iv) T4-Teorias Pedaggicas;
v) T5-Avaliao educacional: aprendizagem institucional e de larga escala.
Os tpicos que integram a rea de OGTP do origem aos subtpicos8 que possibilitam o desbobramento das temticas
a serem desenvolvidas na Prova Docente.
A rea de Fundamentos de Educao foi planejada como um objeto de conhecimento, porm no foi includa como rea de conhecimento especfico
no pr-teste. Atualmente, os Fundamentos da Educao perpassam toda a Matriz e est em debate pela equipe tcnica do INEP em conjunto com a
Comisso Assessora de Especialistas da Prova Docente para sua especificao (BRASIL, 2014).
6
No pr-teste no foram elaborados itens deste Processo, o qual est relacionado questo discursiva.
7
Dimenso 1: Articulao da educao e a sociedade contempornea (P1 e P6); Dimenso 2: Promoo dos direitos educacionais (P2); Dimenso 3:
Prtica pedaggica (P3, P4, P5).
8
1.1 Concepo, princpios e eixos norteadores do Projeto Poltico Pedaggico;1.2 A gesto educacional decorrente do Projeto Poltico Pedaggico;
1.3 Trabalho coletivo e formao docente; 1.4 Dimenses, componentes e elaborao do planejamento educacional; 1.5 Teorias curriculares
(tradicional, crtica e ps-crtica); 1.6 Currculo integral; 1.7 Adequaes curriculares; 1.8 Principais Tendncias pedaggicas: pedagogia tradicional,
escolanovista, tecnicista e crtica; 1.9 Avaliao da aprendizagem; 1.10 Avaliao institucional; 1.11 Avaliao de larga escala ou de rede; 1.12 Funes
da avaliao: diagnstica, somativa, classificatria e formativa.
5

2. Elaborao de itens a partir da matriz de referncia


No que se refere elaborao de itens, aps a chamada pblica do INEP publicada em 2011 (INEP, 2010), foram capacitados 235 professores das 10 reas de conhecimento que compe a Matriz da Prova Docente, bem como revisores de
Lngua Portuguesa. Para as oficinas de elaborao e reviso de itens foram convocados 99 colaboradores (INEP, 2015).
Para a elaborao e a reviso de itens na rea de OGTP foram selecionados 36 professores. Esses elaboraram 363 itens
da rea. Na segunda etapa, os itens foram analisados pela Comisso Assessora, pela equipe tcnica do INEP e passaram
por reviso de Lngua Portuguesa. Na terceira etapa, foram novamente analisados e alguns itens precisaram ser alterados
para atender aos critrios tcnicos bem como, para corrigir equvocos tericos-conceituais. Do total de itens elaborados
para a rea 291 foram descartados, 40 aproveitados e 32 no completaram o fluxo dos itens (INEP, 2015).
No processo de elaborao de itens da rea de OGTP infere-se que cada Processo apresentou determinadas peculiaridades. O Processo 3, que trata do planejamento do trabalho pedaggico, obteve um maior nmero de itens elaborados.
Isso pode ter ocorrido por vrias razes, dentre as quais se destacam duas especficas: primeiramente, pelo fato de o tema
estar muito presente no cotidiano pedaggico do professor. Segundo, devido herana advinda da viso tecnicista que
prevaleceu e ainda prevalece na formao do professor. Essa concepo privilegia o instrumental tcnico, dando nfase
ao planejamento como um instrumento racional. O que confirmado por Contreras (2002), ao afirmar que na tendncia
tradicional o professor tcnico, sua personalidade profissional se identifica na eficcia e eficincia da aplicao de mtodos e tcnicas, previamente previstas.
Quanto ao Processo 4, que aborda o desenvolvimento de metodologias e recursos pertinentes para alcanar os objetivos
do trabalho pedaggico foi evidenciado que este Processo, est diretamente vinculado ao Processo 3 que trata do planejamento do trabalho pedaggico para orientar os processos de construo do conhecimento. Nesse sentido, foi apontado que
o P4 pode ser considerado uma complementao do P3. De acordo com a perspectiva terica de GANDIN, 1998; LIBNEO,
2001; PADILHA 2007 e VASCONCELLOS, 2008, ao tratar de planejamento, mesmo que indiretamente, aborda-se os componentes de ensino que englobam: os objetivos e contedos de ensino, as metodologias, os recursos e a avaliao da aprendizagem. A desvinculao das metodologias e dos recursos, do contexto do planejamento, fragmentou o ato de planejar e
comprometeu sua compreenso. A partir dessa constatao, a sugesto que se promova a discusso a respeito da possvel
juno do Processo 3 com o Processo 4. Infere-se que a separao desses dois Processos pode ter levado o elaborador a
encontrar dificuldades para elaborar o item, uma vez que os Processos apresentam caractersticas muito semelhantes.
O Processo 5, que analisa a organizao de procedimentos avaliativos que permitem reorientar a prtica educacional,
teve um nmero menor de itens em relao aos demais Processos. Talvez isso tenha ocorrido em decorrncia do tema
abordado por esse Processo requerer do elaborador a apropriao dos conhecimentos tericos especficos sobre a avaliao. Portanto, em relao avaliao, so visveis as lacunas existentes na formao. Na maioria das vezes, os cursos
de formao de professores no abordam em seus currculos os conhecimentos da avaliao e, quando o fazem, tratam os
trs pilares do processo de ensino, da aprendizagem e da avaliao de maneira desconexa e desarticulada. Foi apontado que nos itens elaborados nesse Processo, prevaleceu o pragmatismo pedaggico e o reforo do discurso decorrente,
tendo como base o senso-comum.

3. Processo de elaborao de itens

No processo de reviso dos itens de OGTP, infere-se que havia dificuldades tanto nos aspectos pedaggicos como nos
aspectos tcnicos.
Quanto s dificuldades relacionadas aos aspectos pedaggicos, muitas delas podem ser atribudas s fragilidades da
formao dos elaboradores. Estas so causadas pela reduo do espao dos fundamentos epistemolgicos e cientficos da
educao nos processos formativos, e pela prevalncia de uma concepo conteudista e pragmtica, ancorada na epistemologia da prtica e na lgica das competncias. Diversos estudos tm sido realizados sobre a problemtica da formao,
entre os quais destacamos: os que tratam da desarticulao entre a realidade prtica e os contedos acadmicos do futuro professor (PERRENOUD, 1997, 2001; PEREIRA, 2000); e os que tratam da separao entre as disciplinas especficas e
as pedaggicas (CARVALHO, 1988; PIMENTA, 1994, 1996, 1997; PEREIRA, 2000).

O quadro 1 elenca as dificuldades mais evidentes, detectadas nos documentos do INEP a respeito do processo de
reviso dos itens de OGTP:
Quadro 1 Dificuldades relacionadas ao processo de formao do professor
Dificuldades relacionadas ao processo de formao do professor
Pouco aprofundamento terico-cientfico;
Pouco domnio das teorias da educao;
Viso pragmtica e fragmentada dos saberes;
Dicotomia entre ensino e pesquisa;
Distanciamento da formao com a realidade social;
Dificuldade em perceber os condicionantes scio-histrico e cultural que perpassam a construo do conhecimento;
Pouca articulao com as demandas da educao bsica;
Viso reducionista da docncia, centrada apenas na sala de aula;
Concepo tecnicista de aprendizagem;
Currculo pautado na racionalidade tcnica;
Desvalorizao dos conhecimentos pedaggicos;
Disperso entre as disciplinas que compem a rea de formao pedaggica;
Desarticulao entre os saberes da experincia, os saberes pedaggicos e os saberes especficos;
Separao entre as disciplinas pedaggicas e as de conhecimento especfico;
Centralidade nos contedos acadmicos dos conhecimentos especficos.

Mesmo com a realizao das oficinas e com o auxlio do Guia de Elaborao de Itens (INEP, 2011), nos documentos
foram identificados que os elaboradores apresentaram diversas dificuldades referentes aos conhecimentos tcnicos da
elaborao que englobam o contexto, o enunciado e as alternativas, de acordo com o quadro 2.

Quadro 2 Levantamento dos pontos frgeis dos itens revisados


Dificuldades relacionadas aos conhecimentos tcnicos
Falta de criatividade e criticidade;

Referncia centrada na escola, mais especificamente na sala de aula;


Desconhecimento das normas da ABNT;
Desarticulao entre o contexto e o enunciado. O item pode ser respondido independente do contexto;
Situaes demasiadamente extensas;
Contexto

Reforo do discurso recorrente sobre situaes pedaggicas;


Pouca articulao com o objetivo do item;
Anlise restrita de imagens, textos e citaes;
Informaes insuficientes;
Dispensvel, com carter de mero acessrio;
Desvinculado da funo docente.
No constituiu um desafio;

Enunciado

Complemento do contexto com o acrscimo de informaes adicionais;


Desarticulado do contexto;
No se caracteriza como uma situao problema ao ser condensado ao contexto do item.
Apresentam erros muito evidentes;
Ancoradas no senso comum, no demandam conhecimentos tericos;

Alternativas

Desconsideram os conhecimentos e os eixos do objeto de conhecimento;


Sem conectividade com o enunciado e com o contexto;
Distratores no condizentes com o enunciado.

4. Pr-Teste Da Prova Docente


Em setembro 2012, realizou-se o primeiro estudo com caractersticas de Pr-teste a fim de aprimorar o processo. O instrumento foi aplicado em 42 municpios de todas as regies brasileiras. No total participaram 10.553 pessoas divididas
em duas amostras: 8.536 professores dos anos iniciais do ensino fundamental de escolas pblicas e 2.017 estudantes do
ltimo ano de pedagogia. Foram includos no pr-teste 36 itens de OGTP, distribudos 12 itens no P3 e a mesma quantidade no P4 e P5 (INEP, 2015).
Os resultados do pr-teste foram tratados, exclusivamente, como dados de pesquisa, o que possibilitou a validao
da Matriz de Referncia, a partir de parmetros pedaggicos e psicomtricos(INEP, 2015). Alm disso, esses resultados
contribuiro na melhor conduo dos processos de elaborao, reviso e validao de itens para a composio do Banco
de itens da Prova.

CONCLUSIONES
Quanto ao processo de elaborao de itens da rea de OGTP, pode-se afirmar que fragilidades relacionadas aos aspectos
pedaggicos e tcnicos foram evidenciadas. No cerne desta questo est a formao dos elaboradores. Em relao aos
aspectos pedaggicos, observou-se nos itens um distanciamento da formao com a realidade social, o que acarretou uma
desarticulao entre realidade, conhecimentos e prticas pedaggicas. Tal fato acarreta prejuzo para a produo de itens
de uma prova que tem com intuito a seleo de professores para ingresso na carreira docente.
No que se refere questo tcnica observou-se que os elementos constituintes do item (contexto, enunciado e alternativas) necessitavam de articulao. Devido a uma viso reducionista da prtica pedaggica, desarticulada da realidade
social, os contextos exerceram em grande parte uma funo acessria, em que a aspectos crticos e criativos foram negligenciados. O contexto deveria apresentar um cenrio favorvel reflexo e tomada de decises e o enunciado deveria
evidenciar o desafio. Verificou-se que os itens no se constituram como desafios realsticos, pois estavam desarticulados
de questes pedaggicas essenciais que orientam o fazer pedaggico do docente.
Assim, infere-se que preciso discutir sobre a formao dos elaboradores de itens da rea de OGTP para que estes
possam produzir itens que possam auxiliar na seleo de um perfil profissional que seja capaz de articular os saberes
com a prtica pedaggica. importante tambm ampliar a viso dos elaboradores de item para alm da sala de aula, pois
os docentes esto inseridos no ambiente escolar que permeado por inmeras situaes que no se restringem apenas
a este espao.
No que tange aos Processos, foi identificado que os Processos 3 e 4 apresentam caractersticas muito semelhantes.
O Processo 4 est diretamente vinculado ao Processo 3 e o complementa. Recomenda-se a discusso a respeito da possibilidade de juno do Processo 3 com o Processo 4, tendo em vista que a sua separao parece ter levado o elaborador
a encontrar dificuldades para elaborar o item.

BIBLIOGRAFA

BRASIL. Portaria Normativa GM/MEC n 03, de 02 de maro de 2011.


. Portaria INEP n 338, de 9 de setembro de 2010.
. Portaria INEP n 74, de 1 de abril de 2011.
. Portaria INEP n 125, de 07 de maio de 2012.
. Portaria INEP n 14, de 21 de maio de 2010.
CARVALHO, A. M. P. A formao do professor e a Prtica de Ensino. So Paulo: Pioneira, 1988.
CONTRERAS, Jos. A autonomia de professores. So Paulo: Cortez,2002.

Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP). Relatrio tcnico para subsidiar decises
acerca do processo de desenvolvimento e implementao da Prova Nacional de concurso para ingresso na carreira docente (Prova Docente). Braslia, 2015.
. Guia de elaborao e reviso de itens. Vol I. Braslia, 2011.
. Guia de elaborao e reviso de itens. Braslia, 2014.
. Edital de Credenciamento de Especialistas para o Banco Nacional de Itens (BNI) da Prova Nacional de Concurso para o ingresso na carreira docente. Braslia. 2010. Disponvel em: <http://portal.inep.gov.br/provadocente> 2010.
GANDIN, D. A prtica do planejamento participativo. 6.ed. Petrpolis: Vozes, 1998.
GIL, A. C. Como elaborar projetos de pesquisa. 4. ed. So Paulo: Atlas, 2008.
LIBNEO, J.C. Organizao e gesto escolar: teoria e prtica. 4 ed. Goinia: Alternativa, 2001.
PADILHA, Paulo Roberto. Planejamento dialgico: como construir o projeto poltico-pedaggico da escola. 7 ed. So Paulo:
Cortez, 2007.
PEREIRA, J. E. D. Formao de professores: pesquisa, representaes e poder. Belo Horizonte: Autntica, 2000. Cad.Bras.Ens.
Fs., v.20, n.1: 43-62, abr. 2003.
PERRENOUD, P. Prticas pedaggicas, profisso docente e formao: perspectivas sociolgicas. Lisboa, Publicaes Dom
Quixote, 1997.
. Ensinar: Agir na urgncia, decidir na incerteza. Porto Alegre: Artmed, 2001.
PIMENTA, S. G. O estgio na formao de professores: unidade, teoria e prtica. So Paulo: Cortez, 1994.
PIMENTA, S. G. Formao de professores Saberes da docncia e identidade do professor. Revista da Faculdade de Educao,
So Paulo, v. 22, n. 2, p. 72-89, jul/dez. 1996.
PIMENTA, S. G. Didtica e formao de professores: percursos e perspectivas no Brasil e em Portugal. So Paulo: Cortez, 1997.
VASCONCELLOS, Celso dos Santos. Planejamento: Projeto de Ensino-Aprendizagem e Projeto Poltico-Pedaggico. 18 ed.
So Paulo: Libertad Editora, 2008.

Estudio comparativo de discriminacin


de reactivos mediante el uso Teora Clsica
y Teora de Respuesta la Reactivo
13 de marzo de 2015

Estudio comparativo de discriminacin


de reactivos mediante el uso Teora Clsica
y Teora de Respuesta la Reactivo
Mtro. Diego Armando Luna Bazaldua*
Teachers College, Columbia University, Estados Unidos
dal2159@tc.columbia.edu

Mtra. Lauren Fellers, Dr. Bryan Keller, Dra. Young-Sun Lee


Teachers College, Columbia University, Estados Unidos
laf2156@tc.columbia.edu
bsk2131@tc.columbia.edu
yslee@tc.columbia.edu

PALABRAS CLAVE: Anlisis de reactivos, discriminacin, dificultad, Teora Clsica.


EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

Este estudio analiza las caractersticas de varios estimadores de discriminacin de reactivos previamente propuestos en la literatura de la Teora Clsica. El modelo base para la simulacin de Monte Carlo es una extensin
del estudio desarrollado por MacDonald y Paunonen (2002), mismo que se centra en la generacin de datos simulados bajo los modelos logsticos de un parmetro dificultad y de dos parmetros dificultad y discriminacin de la Teora de Respuesta al Reactivo. La extensin aqu presentada incluye la comparacin de medidas
de discriminacin no consideradas por dichos autores. Los resultados encontrados sealan que la correlacin
biserial es consistentemente el estimador con la mayor correlacin con el verdadero parmetro de discriminacin
comparado con los otros tres estimadores: correlacin punto-biserial, correlacin punto-biserial sin el reactivo
incluido, e ndice de discriminacin. Las cuatro medidas de discriminacin estn altamente relacionadas entre s
cuando los valores reales de los parmetros de dificultad y discriminacin se definen en un intervalo muy cerrado
de valores. Adems, se encuentra evidencia sugiriendo que la propiedad de invarianza de los estimadores no se
mantiene en algunas condiciones.

*Autor principal

INTRODUCCIN
Distintas metodologas existen para la evaluacin de docentes, entre las cuales destacan las pruebas estandarizadas
(Wayne & Youngs, 2003). Dichas pruebas deben cumplir con altos estndares psicomtricos si se utilizan para la toma
de decisiones en poltica educativa. Sin embargo, dentro de la propia Psicometra no hay un claro consenso respecto a
algunos criterios psicomtricos ptimos.
Las dos perspectivas principales en teora psicomtrica son la Teora Clsica de los Test (TCT) Teora de Respuesta
al Reactivo (TRI). A pesar de compartir algunos elementos en comn, ambos modelos son fundamentalmente diferentes
(Embretson, 1996). Mientras que los modelos de TCT se basan en estadsticas de correlacin asociadas a la perspectiva
Pearsoniana en estadstica, los modelos de TRI definen formas funcionales como una alternativa para el anlisis de reactivos (Baker y Kim, 2004). Sin embargo, han se han dado intentos de analizar aspectos en comn entre ambas perspectivas; por ejemplo, Lord (1952) demostr que varios constructos de la TCT pueden ser expresados como funciones de los
parmetros en TRI.
Tanto la TCT como la TRI han desarrollado mtodos para determinar la dificultad y discriminacin de los reactivos, as
como la habilidad latente de los examinados. En el caso de la TRI existen diversos modelos para determinar definir los parmetros de los reactivos (por ejemplo, modelo de curva normal de ojiva y modelo de curva logstica), as como mtodos
para su estimacin (Baker y Kim, 2004). En el contexto de la investigacin aqu presentada, los datos fueron generados
bajo el modelo logstico de 2 parmetros de la TRI, definido como
Pi(j ) =

e1.7*i(j i)
(1)
1 + e1.7*i (j i)

donde i es el parmetro de discriminacin y i es el parmetro de dificultad del i-simo reactivo, mientras que j es el
parmetro de habilidad del j-simo examinado. Adems, la constante de normalizacin D = 1.7 es comnmente utilizada
para aproximar los valores estimados y parmetros del modelo logstico a los equivalentes del modelo de curva normal
de ojiva. De esta manera, el modelo indica la probabilidad de que un examinado con un determinado nivel de habilidad j
conteste correctamente el reactivo, el cual cuenta con niveles especficos de dificultad y de discriminacin.
La dificultad bajo el modelo de TCT se estima al calcular la proporcin de examinados que contestan correctamente el
i-simo reactivo y es usualmente expresado como p o valor p (McDonald, 1999). Adems, se han propuesto varios estimadores de discriminacin de reactivos basados en la TCT, los cuales intentan determinar en qu medida el reactivo puede
distinguir entre examinados con alto desempeo con respecto de aquellos con bajo desempeo en el constructo medido
(Crocker y Algina, 1986). El coeficiente de correlacin punto biserial es uno de dichos estimadores, el cual mide el grado
de asociacin entre cada reactivo dicotmico y el puntaje total en la prueba utilizando la frmula

PBis =

+ X
p

(2)
X
(1 p)

donde + es el puntaje promedio de los examinados que contestaron el i-simo reactivo correctamente, X es el puntaje promedio de la prueba para toda la muestra de examinados y X es su correspondiente desviacin estndar, y p es la
dificultad del reactivo (Crocker y Algina, 1986). Dado que el reactivo por s mismo contribuye con el puntaje total en la
prueba, se vuelve redundante calcular la discriminacin del reactivo pues ambos puntajes no son independientes, por lo
tanto se ha propuesto una extensin de este coeficiente de correlacin excluyendo el i-simo reactivo del puntaje total.
Esta correccin se expresa en la frmula

i(X i) =

Xi X i
(3)
i2 + X2 2Xi X i

donde Xi corresponde a la correlacin entre el i-simo reactivo y el puntaje total, X es la desviacin estndar del puntaje
total, y i es la desviacin estndar del i-simo reactivo (Crocker y Algina, 1986).
El coeficiente de correlacin biserial se ha propuesto como un tercer estimador de discriminacin. Este coeficiente
asume una variable latente con distribucin normal que subyace a los reactivos dicotmicos. La correlacin biserial se
expresa como

PBis =

+ X p
(4)
Y
X

donde Y es la ordenada de la curva normal estandarizada en el puntaje z asociado con el parmetro de dificultad del
reactivo (Crocker y Algina, 1986).
Finalmente, otro estimador es el ndice de discriminacin que se calcula al agrupar examinados en extremos del puntaje total utilizando puntos de corte. El ndice es calculado utilizando la frmula
Dindex = pu pl (5)

donde pu es la proporcin en el grupo con alto puntaje total que contestaron correctamente el i-simo reactivo y pi es la
proporcin en grupo con bajo puntaje total que contestaron correctamente el reactivo. Es comn determinar los puntos
de corte para los grupos utilizando los percentiles 27 y 72 de la distribucin del puntaje total (Kelley, 1939; citado en
Crocker y Algina, 1986).
Mientras que en la TRI los estimadores son independientes de los reactivos que toman la prueba, en TCT los estimadores dependen de la muestra de examinados y a pesar de ello son ampliamente utilizados para el anlisis de reactivos
(MacDonald & Paunonen, 2002). Con el fin de determinar cmo difieren las caractersticas de los reactivos desde ambas
perspectivas, investigacin previa ha comparado el uso de estimadores de discriminacin en TCT tanto con datos empricos como simulaciones de datos. Estos estudios han resaltado varias cualidades de estos estimadores, de entre las cuales
destacan: los estimadores de discriminacin parecen medir diferentes dimensiones cuando se utilizan datos empricos
(Oosterhof, 1976); las diferencias en los valores estimados utilizando diferentes estimadores son triviales cuando se
controlan la dificultad y factores latentes en estudios de simulacin (Beuchert y Mendoza, 1979); y la correlacin punto-biserial no es una medida adecuada de discriminacin cuando la verdadera discriminacin es simulada utilizando los
modelos logsticos de TRI con uno o dos parmetros (MacDonald y Paunonen, 2002).
Por lo tanto, la literatura deja ver que no hay un claro consenso respecto a que realmente miden los distintos estimadores de discriminacin propuestos bajo la TCT y en qu medida estn relacionados con el verdadero parmetro de discriminacin que intentan estimar. Con estos antecedentes tericos y empricos, la pregunta de investigacin es: qu estimador
de discriminacin de reactivo, desarrollado bajo la TCT, es la mejor medida del verdadero parmetro de discriminacin? El
propsito de este estudio es comparar las propiedades de diferentes estadsticas de discriminacin de reactivo utilizando
mtodos de Monte Carlo para la simulacin y manipulacin de parmetros de discriminacin, as como otros parmetros
relevantes como son: la dificultad de los reactivos, la extensin de la prueba, y la habilidad de los examinados.

DESARROLLO

El diseo de simulacin del estudio sigue los mismos lineamientos utilizados en la investigacin Monte Carlo de MacDonald y Paunonen (2002), al mismo tiempo que consideramos la propuesta general sugerida por Harwell, Stone, Hsu
y Kirisci (1996). A pesar de que la investigacin realizada por MacDonald y Paunonen (2002) promueve de ideas para
el anlisis de reactivos y la construccin de pruebas, los autores nicamente compararon uno de varios estimadores de
discriminacin de reactivos propuestos por la TCT. Por lo tanto, el presente estudio extiende su simulacin al incluir
otros estimadores de discriminacin: correlacin punto-biserial, correlacin punto-biserial sin el reactivo incluido en el
puntaje total, correlacin biserial e ndice de discriminacin.

Diseo de simulacin
El diseo de investigacin utiliz una distribucin normal estandarizada para el parmetro de habilidad y diferentes intervalos de valores para los parmetros de discriminacin y de dificultad de los reactivos bajo modelos logsticos de uno
y de dos parmetros.
Cada condicin dentro del estudio fue realizada con 100 rplicas distintas con tamaos de muestra N = 1000 en cada
una de estas rplicas. Los factores que determinaron cada una de las condiciones en el estudio fueron:

Extensin de la prueba: 20 reactivos 40 reactivos.


Intervalo de dificultad de los reactivos: [2.5, 2.5], [2, 1], [1, 2], [1, 1], o [0.5, 0.5].
Intervalo de discriminacin de los reactivos: [1, 2], [0.5, 2.5], o todos los reactivos tomando valores iguales 1 (en
cuyo caso correspondera al modelo de Rasch).

Tres elementos fueron analizados como parte de los resultados:

Exactitud del estimador. Medido al calcular la correlacin promedio entre el estimador y el verdadero parmetro

en cada una de las rplicas.


Comparabilidad entre estimadores. Medido al calcular la correlacin promedio entre cada par de estimadores en
cada una de las rplicas.
Invarianza de los estimadores. Para medir esta propiedad, un segundo conjunto de datos fue generado utilizando
los mismos parmetros de reactivos y tamao de muestra, pero con una nueva muestra de examinados en cada
rplica. La habilidad de los examinados en esta segunda muestra tambin se modela con una distribucin normal
estandarizada. Por lo tanto, la correlacin entre los estimadores de ambas muestras se calculan para cada una de las
cuatro estadsticas de discriminacin. Si se observan altas correlaciones promedio entre las distintas muestras con
examinados equivalentes, se puede concluir que un estimador especfico presenta pequea varianza.

La simulacin fue realizada en el software estadstico R (R Development Core Team, 2010). Dentro del cdigo, las
libreras psychometric (Fletcher, 2010) y polycor (Fox, 2010) fueron utilizadas para obtener las cuatro estadsticas
de discriminacin de reactivos. Para validar los datos generados en R, algunas bases de datos simulados fueron tambin
analizadas con el software Bilog-MG (Muraki, Mislevy & Bock, 1998) y los resultados fueron muy similares.

Resultados
Exactitud de los estimadores. Consistentemente en las distintas condiciones de estudios, los resultados muestran que la
correlacin biserial present la ms alta correlacin con el verdadero parmetro de discriminacin de TRI comparado
con los otros tres estimadores. De opuesto, el ndice de Discriminacin present la correlacin ms baja con el verdadero
parmetro de discriminacin.
Tal como se muestra en la tabla 1, entre las distintas condiciones de estudio, los cuatro estimadores de discriminacin
presentaron correlaciones ms altas con el verdadero parmetro cuando la dificultad de los reactivos fue definida en un
intervalo de valores ms cerrado (por ejemplo, dificultad entre 0.5 y 0.5) comparado con condiciones con un intervalo
ms amplio (por ejemplo, dificultad entre 2 y 2). De modo similar, las correlaciones entre estimadores y parmetro son
ms altas cuando el verdadero parmetro de discriminacin se define en un intervalo ms amplio de valores (por ejemplo, discriminacin entre 0.5 y 2.5) con respecto a un intervalo ms cerrado (por ejemplo, discriminacin entre 1.0 y 2.0).
Dichas correlaciones tambin tendieron ser ligeramente ms altas cuando el nmero de reactivos en la prueba era grande
(m = 40) que pequeo (m = 20).
5

Comparabilidad entre estimadores. Tal como se muestra en la tabla 2, las correlaciones entre el estimador punto-biserial, punto-biserial sin el reactivo e ndice de discriminacin, tendieron a ser altas y con baja variabilidad (medida con
la desviacin estndar de las correlaciones) a travs de las distintas condiciones. A pesar de que la correlacin biserial
consistentemente present las correlaciones ms altas con el verdadero parmetro de discriminacin como se mostr
en la tabla 1, la correlacin entre dicho estimador con los otros tres tendi a ser moderada (con la correlacin punto-biserial y la correlacin punto-biserial sin el reactivo) o baja (con el ndice de discriminacin) en la mayora de las
condiciones de estudio. nicamente se encontr una correlacin alta entre los cuatro estimadores cuando el parmetro
de dificultad fue definido en un rango de valores entre 0.5 y 0.5.
Invarianza de los estimadores. La tabla 3 muestra las correlaciones de cada estimador en muestras equivalentes de
examinados. Los cuatro estimadores tienden ser invariantes (medido por una alta correlacin) cuando los parmetros
de correlacin y dificultad se definen en un intervalo amplio de valores. La longitud de las pruebas parece no afectar la
propiedad de invarianza en los cuatro estimadores.
Tabla 1 Correlaciones promedio entre parmetros verdaderos de TRI y estimadores de discriminacin de TCT

Estimador
Extensin de
la prueba

Dificultad de
reactivos

Discriminacin de
reactivos

PBis
(D.E.)

i(X-i)
(D.E.)

Bis
(D.E.)

DIndex
(D.E.)

20

-2.0 to 2.0

1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1

.130 (.210)
.422 (.206)
NA
.272 (.214)
.549 (.193)
NA
.274 (.224)
.605 (.182)
NA
.632 (.132)
.834 (.083)
NA
.902 (.047)
.932 (.020)
NA
.212 (.140)
.485 (.148)
NA
.320 (.151)
.591 (.134)
NA
.321 (.155)
.623 (.107)
NA
.672 (.089)
.858 (.041)
NA
.905 (.026)
.937 (.014)
NA

.180 (.210)
.506 (.187)
NA
.326 (.210)
.617 (.174)
NA
.328 (.214)
.665 (.162)
NA
.662 (.123)
.848 (.076)
NA
.906 (.045)
.935 (.019)
NA
.238 (.138)
.525 (.140)
NA
.348 (.148)
.623 (.126)
NA
.349 (.153)
.655 (.099)
NA
.685 (.086)
.864 (.039)
NA
.906 (.026)
.938 (.014)
NA

.610 (.187)
.851 (.075)
NA
.715 (.130)
.881 (.060)
NA
.703 (.161)
.887 (.055)
NA
.850 (.066)
.913 (.032)
NA
.924 (.036)
.937 (.016)
NA
.715 (.107)
.881 (.044)
NA
.743 (.094)
.886 (.032)
NA
.753 (.094)
.890 (.040)
NA
.866 (.040)
.924 (.016)
NA
.926 (.019)
.942 (.012)
NA

-.036 (.199)
.057 (.226)
NA
.050 (.234)
.157 (.228)
NA
.054 (.239)
.193 (.246)
NA
.305 (.212)
.589 (.175)
NA
.812 (.082)
.907 (.032)
NA
.033 (.144)
.136 (.176)
NA
.096 (.152)
.196 (.157)
NA
.094 (.153)
.209 (.156)
NA
.368 (.133)
.650 (.104)
NA
.823 (.048)
.917 (.022)
NA

-2.0 to 1.0

-1.0 to 2.0

-1.0 to 1.0

-0.5 to 0.5

40

-2.0 to 2.0

-2.0 to 1.0

-1.0 to 2.0

-1.0 to 1.0

-0.5 to 0.5

Nota. Las condiciones de estudio donde la discriminacin de los reactivos es igual a 1 equivale al modelo de Rasch. PBis refiere a
la correlacin punto-biserial, i(X i) corresponde a la correlacin punto-biserial sin el reactivo, Bis refiere a la correlacin biserial, y
DIndex corresponde al ndice de discriminacin.
6

Tabla 2 Correlaciones promedio entre los estimadores de discriminacin de TCT

Extensin
de la
prueba
20

Dificultad
de
reactivos
-2.0 to 2.0

-2.0 to 1.0

-1.0 to 2.0

-1.0 to 1.0

-0.5 to 0.5

40

-2.0 to 2.0

-2.0 to 1.0

-1.0 to 2.0

-1.0 to 1.0

-0.5 to 0.5

Discriminacin
de reactivos

PBis, i(X-i)
(S.D.)

PBis, Bis
(S.D.)

1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1

.997 (.001)
.992 (.006)
.997 (.001)
.996 (.003)
.993 (.003)
.996 (.002)
.995 (.003)
.994 (.003)
.996 (.002)
.998 (<.001)
.999 (<.001)
.997 (.001)
.999 (<.001)
.999 (<.001)
.999 (<.001)
.999 (<.001)
.998 (<.001)
.999 (<.001)
.999 (<.001)
.998 (<.001)
.998 (<.001)
.998 (<.001)
.998 (<.001)
.998 (<.001)
.999 (<.001)
.999 (<.001)
.999 (<.001)
.999 (<.001)
.999 (<.001)
.999 (<.001)

.605 (.180)
.670 (.142)
.767 (.144)
.487 (.265)
.644 (.188)
.480 (.272)
.409 (.280)
.679 (.187)
.484 (.298)
.875 (.057)
.958 (.023)
.841 (.075)
.989 (.006)
.997 (.001)
.974 (.010)
.614 (.152)
.703 (.116)
.764 (.095)
.450 (.221)
.699 (.112)
.500 (.225)
.461 (.217)
.710 (.112)
.490 (.228)
.901 (.029)
.967 (.013)
.862 (.047)
.990 (.003)
.997 (.001)
.978 (.007)

Nota. Los smbolos tienen el mismo significado que en la tabla 1.

Estimators
PBis, DIndex
i(X-i), Bis
(S.D.)
(S.D.)

i(X-i), DIndex
(S.D.)

PBis, DIndex
(S.D.)

.921 (.057)
.861 (.089)
.962 (.034)
.890 (.109)
.821 (.120)
.942 (.038)
.872 (.108)
.803 (.154)
.936 (.045)
.866 (.085)
.886 (.065)
.897 (.070)
.949 (.032)
.987 (.007)
.870 (.066)
.937 (.042)
.882 (.054)
.964 (.019)
.890 (.064)
.823 (.092)
.923 (.046)
.885 (.100)
.802 (.117)
.925 (.053)
.890 (.049)
.911 (.034)
.907 (.043)
.958 (.016)
.990 (.004)
.891 (.033)

.899 (.072)
.807 (.120)
.947 (.048)
.854 (.144)
.764 (.147)
.915 (.057)
.832 (.138)
.747 (.183)
.906 (.065)
.843 (.096)
.872 (.072)
.867 (.085)
.946 (.033)
.987 (.008)
.858 (.071)
.928 (.048)
.860 (.062)
.958 (.023)
.873 (.072)
.798 (.100)
.907 (.056)
.868 (.115)
.774 (.129)
.909 (.065)
.880 (.052)
.906 (.036)
.893 (.048)
.957 (.016)
.989 (.004)
.886 (.034)

.318 (.268)
.260 (.253)
.602 (.231)
.142 (.420)
.172 (.314)
.224 (.358)
.017 (.419)
.192 (.343)
.212 (.378)
.541 (.207)
.728 (.133)
.552 (.192)
.904 (.057)
.976 (.012)
.777 (.104)
.361 (.233)
.330 (.185)
.597 (.155)
.074 (.310)
.228 (.217)
.188 (.342)
.092 (.349)
.209 (.250)
.183 (.347)
.620 (.109)
.783 (.076)
.596 (.134)
.918 (.030)
.980 (.008)
.811 (.055)

.653 (.161)
.746 (.106)
.803 (.123)
.554 (.237)
.719 (.157)
.548 (.243)
.482 (.252)
.746 (.157)
.553 (.274)
.897 (.046)
.966 (.018)
.877 (.060)
.991 (.005)
.997 (.001)
.982 (.007)
.639 (.145)
.739 (.104)
.782 (.088)
.486 (.210)
.733 (.102)
.538 (.209)
.497 (.204)
.744 (.101)
.528 (.213)
.910 (.027)
.970 (.012)
.879 (.042)
.991 (.003)
.997 (<.001)
.981 (.005)

Tabla 3 Correlaciones promedio entre los estimadores de discriminacin de TCT en muestras equivalentes

Extensin
de la
prueba
20

Dificultad de
reactivos

Discriminacin de
reactivos

(S.D.)

-2.0 to 2.0

1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1
1 to 2
0.5 to 2.5
1

.963 (.030)
.966 (.023)
.913 (.038)
.961 (.023)
.965 (.016)
.880 (.056)
.956 (.021)
.967 (.017)
.871 (.067)
.902 (.055)
.965 (.017)
.554 (.161)
.883 (.056)
.969 (.015)
.124 (.232)
.963 (.018)
.968 (.014)
.910 (.025)
.954 (.020)
.967 (.011)
.862 (.044)
.954 (.024)
.965 (.014)
.860 (.048)
.914 (.027)
.967 (.009)
.539 (.111)
.886 (.030)
.972 (.009)
.093 (.142)

-2.0 to 1.0

-1.0 to 2.0

-1.0 to 1.0

-0.5 to 0.5

40

-2.0 to 2.0

-2.0 to 1.0

-1.0 to 2.0

-1.0 to 1.0

-0.5 to 0.5

PBis

Estimador
PBis/wi
Bis
(S.D.)

(S.D.)

.956 (.037)
.963 (.026)
.884 (.049)
.954 (.026)
.964 (.016)
.834 (.072)
.948 (.024)
.966 (.018)
.823 (.086)
.898 (.057)
.965 (.017)
.493 (.172)
.883 (.055)
.969 (.015)
.109 (.231)
.959 (.019)
.967 (.014)
.895 (.029)
.950 (.022)
.966 (.011)
.838 (.051)
.950 (.026)
.964 (.014)
.835 (.057)
.912 (.027)
.967 (.009)
.507 (.116)
.886 (.030)
.972 (.009)
.085 (.142)

.842 (.139)
.949 (.036)
.434 (.211)
.869 (.075)
.956 (.025)
.281 (.240)
.873 (.061)
.960 (.022)
.288 (.235)
.870 (.060)
.967 (.017)
.146 (.219)
.884 (.055)
.970 (.014)
.054 (.222)
.844 (.075)
.953 (.020)
.416 (.170)
.862 (.054)
.957 (.023)
.330 (.162)
.859 (.063)
.963 (.015)
.327 (.166)
.886 (.030)
.969 (.010)
.126 (.164)
.886 (.029)
.973 (.009)
.020 (.147)

DIndex
(S.D.)

.987 (.008)
.984 (.010)
.972 (.013)
.986 (.007)
.984 (.008)
.968 (.015)
.985 (.010)
.984 (.009)
.970 (.014)
.937 (.038)
.959 (.019)
.816 (.080)
.856 (.060)
.956 (.020)
.303 (.225)
.987 (.004)
.984 (.006)
.971 (.008)
.986 (.005)
.984 (.006)
.965 (.012)
.986 (.004)
.984 (.006)
.967 (.009)
.940 (.020)
.958 (.013)
.807 (.052)
.863 (.041)
.962 (.012)
.263 (.139)

Nota. Los smbolos tienen el mismo significado que en la tabla 1.

CONCLUSIONES

Los resultados aqu encontrados resultan relevantes desde un punto de vista terico ya que se encuentra evidencia adicional sobre la relacin entre TCT y TRI y son consistentes con lo reportado por MacDonald y Paunonen (2002), adems
de generalizar sus resultados a otras medidas de discriminacin de reactivos. La relevacin de estos resultados puede
generalizarse en el contexto de la evaluacin con pruebas estandarizadas y la psicometra aplicada.
Los principales resultados pueden ser resumidos as: la correlacin biserial es el estimador que present la ms alta
correlacin con el verdadero parmetro de discriminacin en las distintas condiciones de estudio; las cuatro estadsticas mostraron alta correlacin entre s nicamente en condiciones muy especficas que podran no ser adecuadas para
evaluaciones reales donde se cuenta con reactivos con distintos niveles de dificultad y de discriminacin; la propiedad de

invarianza de los estimadores no se mantiene en un modelo de Rasch con parmetro de dificultad en un intervalo corto
de valores.
Estos resultados pueden ser utilizados en el anlisis y seleccin de reactivos cuando se disea una nueva prueba para
la evaluacin de actores escolares (por ejemplo, estudiantes o docentes). En situaciones donde solo estimadores de TCT
estn disponibles, la correlacin biserial debera ser preferida sobre los otros tres estimadores dado su nivel de exactitud.
Si los elaboradores de pruebas estandarizadas tienen informacin disponible acerca de las estadsticas de reactivos
en dos o ms aplicaciones independientes de una prueba con muestras equivalentes de examinados, se esperara que
encuentren valores muy similares para cada estimador de discriminacin. La excepcin a esto son situaciones dnde
subyace un modelo de Rasch con un intervalo muy estrecho para la dificultad de los reactivos en la prueba, en cuyo caso
no se encontraran valores consistentes de los estimadores de TCT entre las distintas aplicaciones.
Cabe considerar como una limitacin que los datos aqu simulados asumen un modelo subyacente de TRI logstico y
unidimensional. Mientras que esta es una caracterstica terica deseada en muchos modelos de TRI, as como en pruebas
que intentan medir un constructo especfico, las pruebas psicolgicas y educativas usualmente se ven afectadas por el
hecho de que no poder substraer un nico constructo de inters de otros constructos con los que ste est relacionado,
tampoco hay garanta de que una prueba real siga este modelo en especfico.
Otra limitacin del presente estudio es que las simulaciones se basan en tamaos de muestra N = 1000. Por lo tanto,
los resultados no pueden ser utilizados para tomar decisiones acerca de reactivos con tamaos de muestra menores. El
mismo razonamiento y limitaciones aplican a las pruebas diseadas con menos de 20 reactivos. Investigacin futura debera enfocarse en las limitaciones aqu sealadas con el fin de generalizar estos resultados.

BIBLIOGRAFA
Baker, F. B., & Kim, S. H. (2004).Item response theory: Parameter estimation techniques. CRC Press.
Beuchert, A., & Mendoza, J. L. (1979). A Monte Carlo comparison of ten item discrimination indices.Journal of Educational
Measurement,16(2), 109-117.
Crocker, L. M., & Algina, J. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart and Winston.
Embretson, S. E. (1996). The new rules of measurement. Psychological Assessment, 8(4), 341-349
Fletcher, T. D. (2010). psychometric: Applied Psychometric Theory. R package version 2.2. http://CRAN.R-project.org/
package=psychometric
Fox, J. (2010). polycor: Polychoric and Polyserial Correlations. R package version 0.7-8. http://CRAN.R-project.org/
package=polycor
Harwell, M., Stone, C. A., Hsu, T. C., & Kirisci, L. (1996). Monte Carlo studies in item response theory.Applied psychological
measurement, 20(2), 101-125.
Lord, F. M. (1952). A theory of test scores. New York: Psychometric Society.
McDonald, R. P. (1999). Test theory: A unified approach. New Jersey: Lawrence Erlbaum Associates
Macdonald, P. & Paunonen, S. V. (2002). A Monte Carlo Comparison of Item and Person Statistics Based on Item Response
Theory versus Classical Test Theory. Educational and Psychological Measurement, 62 (6), 921-943
Muraki, E., Mislevy, R., & Bock, R. D. (1998).BILOG-MG. M. F. Zimowski (Ed.). Scientific Software International.
Oosterhof, A. C. (1976). Similarity of various item discrimination indices.Journal of Educational Measurement, 13(2),
145-150.
R Development Core Team. (2010). R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing. Retrieved from http://R-project.org
Wayne, A. J., & Youngs, P. (2003). Teacher characteristics and student achievement gains: A review. Review of Educational
research, 73(1), 89-122.

Primer concurso de ingreso


al Servicio Profesional Docente:
resultados, retos y perspectivas
13 de marzo de 2015

Primer concurso de ingreso


al Servicio Profesional Docente:
resultados, retos y perspectivas
Laura Delgado Maldonado*
Maestra en Metodologa de la Ciencia, IPN, Mxico
ldelgado@inee.edu.mx

Edgar Ignacio Andrade Muos


Fsico, UNAM, Mxico
eandrade@inee.edu.mx

Rafael Enrico Snchez Mayorga


Psiclogo social, UAM, Mxico
rsanchezm@inee.edu.mx
PALABRAS CLAVE: Evaluacin, Docentes, Servicio Profesional Docente, Ingreso.
EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente.

Resumen

El objetivo de este trabajo es proporcionar informacin de los principales resultados del Concurso de Oposicin
para el ingreso al Servicio Profesional Docente 2014-2015, en Educacin Bsica y Media Superior, as como del
Concurso de promocin a cargo de Directores. La parte esencial de esta primera experiencia consisti en que
los instrumentos diseados fueron de carcter criterial, lo cual signific que los resultados alcanzados por los
sustentantes se compararon con un estndar definido previamente por un grupo de expertos en los contenidos
evaluados por los distintos instrumentos de evaluacin. En este concurso se cont con la participacin de 165834
aspirantes. Los resultados generales del concurso de Educacin Bsica mostraron que 40.4% de sustentantes
alcanzaron un resultado Idneo considerando los dos exmenes nacionales, en tanto que aquellos en donde se
consider adems de estos un examen complementario, el resultado fue de 24.2% de Idneos. Asimismo, se publicaron dos tipos de convocatorias: una para egresados de Escuelas Normales y otra, abierta y pblica. En Educacin
Media Superior para Docentes del Componente Disciplinar, el resultado de Idneos fue 31.5%, para los Docentes y
Tcnicos docentes fue 38.9% y para funciones de direccin, solo el 28.1% de Idneos. De esta manera, se describe
cules fueron los principales exmenes que presentaron una mayor dificultad para los sustentantes de cada convocatoria. Estos resultados indican un nivel de exigencia alto para los aspirantes, lo que ha permitido identificar a
los mejores candidatos para su insercin a la prctica docente y que estos cumplen con lo requerido a partir de los
Perfiles, parmetros e indicadores para el Ingreso al Servicio Profesional Docente.

Autor principal

INTRODUCCIN
Uno de los grandes retos que se tena en materia de educacin, fue el de efectuar un proceso de evaluacin de ingreso
de docentes que cumpliera con los estndares deseables de un buen docente. Con base en lo anterior, se llev a cabo por
mandato constitucional el primer Concurso de ingreso al Servicio Profesional Docente, con el objetivo de garantizar la
idoneidad de los conocimientos y las capacidades de los sustentantes que aspiraban a ocupar una plaza de docentes dentro de la Educacin Bsica y Media Superior.
La Ley General del Servicio Profesional Docente, reglamentaria de la fraccin III del Artculo 3 Constitucional y promulgada en septiembre de 2013, estableci que las funciones docentes, dentro de la Educacin Bsica y Media Superior
estuvieran orientadas a brindar una educacin de calidad, contando con referentes bien fundamentados, que implicaran
una mejor prctica profesional.
El Instituto Nacional para la Evaluacin de la Educacin (INEE), como organismo constitucional autnomo, fue el
encargado de establecer los lineamientos y criterios tcnicos, as como de aprobar los instrumentos y de acompaar cada
proceso hasta la emisin de resultados, para llevar a cabo la evaluacin en el Servicio Profesional Docente.
Los resultados que arroj esta primera experiencia del proceso de ingreso al Sistema Educativo Nacional permitieron
apreciar una situacin compleja en trminos de la preparacin de los docentes que presentaron esta evaluacin, ya que
un porcentaje importante de los aspirantes tanto en Educacin Bsica y Educacin Media Superior, resultaron An no
idneos. Sin embargo, esto nos permite vislumbrar los nuevos retos y perspectivas encaminadas a mejorar los desafos
de los siguientes concursos de ingreso al Servicio Profesional Docente.

DESARROLLO1
En el presente documento se muestran algunos de los resultados del ingreso al Servicio Profesional Docente en Educacin Bsica y Educacin Media Superior y para la promocin a cargos con funciones de direccin en Educacin Media
Superior, para el ciclo escolar 20142015, mismos que se realizaron en julio de 2014. En este proceso de evaluacin, en
el uso de sus atribuciones legales, al INEE le correspondi determinar los criterios tcnicos conforme a los cuales se realiz el anlisis e integracin de los instrumentos de evaluacin; la puntuacin mnima requerida que deban alcanzar los
sustentantes en cada tipo de examen y los estndares de desempeo correspondientes; la ponderacin de cada aspecto
a evaluar, considerando los distintos exmenes y los dominios contemplados en cada uno de ellos; el criterio conforme al
cual un sustentante poda alcanzar un resultado Idneo en el proceso de evaluacin, as como la manera en que se conformaron las listas de prelacin y los criterios con los cuales se evitaron los empates en estas listas . Las caractersticas de
los exmenes empleados fueron instrumentos de evaluacin criterial (referidos a un estndar de desempeo) y la forma
en cmo se integraron los grupos de desempeo corresponde a la cantidad de instrumentos considerados en el proceso
de evaluacin indicado en el concurso y la combinacin de los resultados especficos en cada uno de ellos.
Se efectu el establecimiento de uno o ms puntos de corte que dividieron el rango de calificaciones para diferenciar
entre dos o ms niveles de desempeo. Para los instrumentos de evaluacin del Servicio Profesional Docente se consideraron dos puntos de corte, el primero permiti diferenciar entre los niveles NI y NII, el segundo distingui entre los
niveles de desempeo NII y NIII. El punto de corte se estableci a partir de lo que un comit de expertos defini como lo
mnimamente aceptable, para ubicarse en cada nivel de desempeo (NII y NIII). Cabe mencionar que las metodologas
que se emplearon son aplicadas ampliamente en el mbito internacional para el establecimiento de estndares de desempeo (Angoff modificado, 1971; Beuk, 1984).
Una vez que se determin el punto de corte, y con el fin de contar con un marco de referencia comn para los distintos
instrumentos de evaluacin, se establecieron descriptores genricos de los niveles de desempeo que se emplearon para
Instituto Nacional para la Evaluacin de la Educacin (2014).Criterios tcnicos y de procedimiento para el anlisis de los instrumentos de evaluacin,
el proceso de calificacin y la definicin de las listas de prelacin de los Concursos de oposicin para el ingreso al Servicio Profesional Docente en
Educacin Bsica y Media Superior y para la promocin a cargos con funciones de Direccin en Educacin Media Superior, para el ciclo escolar
20142015. (Diario Oficial de la Federacin R. -392761). Recuperado de: http://www.inee.edu.mx/index.php/servicio-profesional-docente

orientar el trabajo de los Comits Acadmicos en el desarrollo de los descriptores especficos de cada instrumento. Para
todos los instrumentos se utilizaron tres niveles de desempeo posibles: Nivel I (NI), Nivel II (NII) y Nivel III (NIII). Los
descriptores genricos para cada uno de ellos se indican en la tabla 1.
Tabla 1 Descriptores genricos de los niveles de desempeo
Nivel de desempeo

Descriptor

Nivel I (NI)

Dominio insuficiente de los conocimientos y habilidades contemplados en el instrumento,


que se juzgan indispensables para un adecuado desempeo docente.

Nivel II (NII)

Dominio suficiente y organizado de los conocimientos y habilidades contemplados


en el instrumento, que se juzgan indispensables para un adecuado desempeo docente.

Nivel III (NIII)

Dominio suficiente y organizado de los conocimientos y habilidades contemplados


en el instrumento, que se juzgan indispensables para un adecuado desempeo docente,
con amplia capacidad de generalizacin a situaciones didcticas novedosas y complejas.

Todos los exmenes que se utilizaron en el Concurso de Oposicin para el ingreso al Servicio Profesional Docente fueron sometidos a un escalamiento de sus puntuaciones para crear una escala comn; por lo que el primer punto de corte
se estableci en 100 puntos, es decir, los sustentantes debieron haber obtenido, por lo menos, dicha puntuacin para
alcanzar el nivel de desempeo II (NII). Para determinar el resultado del proceso de la evaluacin que permiti establecer
la idoneidad de los sustentantes, se integraron los resultados de todos los instrumentos de evaluacin afrontados, bajo
el criterio de que:
El sustentante Idneo es aquel que obtuvo, al menos, el nivel de desempeo II (NII) en todos y cada uno de los
instrumentos de evaluacin que constituyen el proceso de evaluacin, segn se define en los lineamientos del Concurso.

Lo anterior obedece a que los instrumentos de evaluacin son de carcter criterial, como ya se indic con anterioridad, por lo que la puntuacin mnima (100 puntos) representa un punto de inflexin que necesariamente debe establecerse para identificar quines logran alcanzar el nivel de desempeo requerido y quines no, por lo que, en ningn caso,
puede sumarse la puntuacin obtenida de cada examen para generar una puntuacin global compensatoria de todo el
proceso de evaluacin.
Sin embargo, con el conjunto de sustentantes que obtuvieron un resultado de la evaluacin Idneo, se conformaron
grupos de desempeo de acuerdo con el nmero de exmenes que constituy el tipo de evaluacin y la combinacin de
resultados en los niveles II y III de los mismos.

Integracin de las listas de prelacin

En las listas de prelacin se incorporaron, en primer lugar, los sustentantes del grupo de desempeo A, luego los del B,
y as sucesivamente. Se ordenaron a los sustentantes al interior de cada grupo de desempeo, considerando, en primer
trmino, la puntuacin obtenida en el examen de mayor relevancia o jerarqua dentro del conjunto de instrumentos
implicados en el proceso de evaluacin respectivo y, de haber algn empate, se continu el ordenamiento, considerando
la puntuacin de aquel instrumento que haya quedado definido en segundo orden de relevancia y as, sucesivamente en
aquellos procesos de evaluacin en donde se consideraron tres o ms exmenes. En el caso de que prevaleciera algn
empate, una vez agotado el procedimiento anterior, se llev a cabo un ordenamiento de tercer nivel que se realiz considerando las reas o subreas (para Educacin Bsica y Educacin Media Superior, respectivamente) de los instrumentos
en los que se organizaron sus contenidos, iniciando por la puntuacin obtenida en el rea o subrea ms importante del
instrumento de mayor relevancia en el proceso de evaluacin, y as sucesivamente. Finalmente, las listas de prelacin se
integraron dividiendo a la poblacin sustentante, atendiendo a las caractersticas especficas de los Concursos de oposicin, tanto en Educacin Bsica como en Media Superior.

Datos generales del concurso


Incluyendo a todos los sustentantes de los niveles educativos y tipos de evaluacin, en el pre-registro se tuvieron 287594
candidatos, de los cuales se registraron un total de 194639 aspirantes (esto es, el 32.3% menos de los pre-registrados).
En el proceso de evaluacin se cont con la participacin de 165834 aspirantes (14.8% de los menos de los registrados):

130512 (78.70%) fueron de Educacin Bsica (Docentes y Tcnico docentes).


35322 (21.30%) de Educacin Media Superior, de los cuales 34415 fueron Docentes o Tcnico docentes y 907
aspirantes a cargos con funciones de direccin.

Principales resultados en Educacin Bsica


Considerando los procesos de evaluacin que integraban dos instrumentos, el resultado a nivel nacional fue de 40.4% de
sustentantes Idneos. Las entidades que obtuvieron la mayor diferencia con respecto al resultado nacional fueron Quertaro con un 17.4% y Colima con 16.6%, por arriba del referente nacional.
Grfica 1Diferencia en el porcentaje de sustentantes con resultado Idneo en las entidades federativas
con referencia al resultado nacional

En la distribucin de resultados de la evaluacin (An no idneo y grupos de desempeo) por tipo de evaluacin, en los
exmenes nacionales se observa que el mayor porcentaje de resultados Idneos fue obtenido por los sustentantes a docentes de Secundaria (Fsica) con un 49.4%.
5

Grfica 2Distribucin de resultados de la evaluacin (An no idneo y grupos de desempeo) por tipo de evaluacin
exmenes Nacionales

En la distribucin de los resultados de los exmenes nacionales que incluyen los tipos de convocatoria, se observa que
los sustentantes que egresaron de Escuelas Normales obtuvieron un mayor porcentaje de resultados Idneos con una
diferencia de 11.6% con respecto a los sustentantes de la Convocatoria pblica y abierta.
Grfica 3 Distribucin de los resultados de los exmenes nacionales que incluyen los tipos de convocatoria

En el caso de los docentes, adems de los dos exmenes Nacionales que se aplicaron a todos los sustentantes, las entidades
tuvieron el derecho de definir si era necesario aplicar un examen complementario de acuerdo con la asignatura especfica
de cada entidad; de esta forma, 7474 sustentantes de diversas disciplinas presentaron otro instrumento de evaluacin.

El mayor porcentaje de sustentantes con resultado Idneo que presentaron los dos exmenes Nacionales y un complementario, fueron los de la convocatoria de docentes de Secundaria (Geografa) con un 47.4% (19 sustentantes).
Grfica 4Diferencia en el porcentaje de sustentantes con resultado Idneo en las entidades federativas con referencia al resultado nacional con exmenes complementarios

Los resultados de idoneidad fueron menores a los presentados en las evaluaciones Nacionales, con un porcentaje de
24.2% y de 40.4%, respectivamente. El Distrito Federal obtuvo la mayor diferencia en porcentaje de resultado Idneo con
17.9%, por arriba del resultado nacional.
Por otra parte, en el caso de los sustentantes que presentaron examen complementario, en ambas convocatorias
(egresados de Escuelas Normales y Convocatoria pblica y abierta) tuvieron resultados similares en cuanto a su distribucin en los grupos de desempeo y respecto al total de sustentantes Idneos, los porcentajes son los mismos (24.2%).
Sobre la dificultad observada en los instrumentos administrados a nivel nacional, el examen de Habilidades Intelectuales y Responsabilidades tico-profesionales fue el que present una mayor dificultad (53.7% en NI) y, observando la
distribucin por tipo de convocatoria, esta aumenta para los sustentantes que presentaron un tercer examen (complementario) con 57.8% de sustentantes ubicados en NI.
Por otra parte, tambin se observa que los aspectos evaluados a travs de los instrumentos de conocimientos y habilidades para la prctica docente, los egresados de las Escuelas Normales presentan un mejor desempeo que los de las
Instituciones de Educacin Superior que participaron en la Convocatoria pblica y abierta. Esta diferencia es particularmente notable para los concursos con exmenes Nacionales, donde el 71.8% de los egresados de las Escuelas Normales
obtienen NII o NIII.

Grfica 5Distribucin de los sustentantes por niveles de desempeo del examen de Habilidades Intelectuales
y Responsabilidades tico-profesionales por convocatoria para docente

Nota: En las evaluaciones que incluyen un examen complementario, la diferencia entre el nmero de sustentantes total y en cada
uno los exmenes se debe a que algunos sustentantes no presentaron los tres exmenes.

Principales resultados en Educacin Media Superior


En el caso de Educacin Media Superior, se presentaron los siguientes grupos de aspirantes para el ingreso al SPS: Docente del Componente Disciplinar (82.7%), Docente Profesionales Tcnicos (14.2%) y Tcnico docentes (3.1%). Todos
ellos de un total de 34415 sustentantes. En el Concurso para la promocin a cargos con funciones de direccin en EMS,
se presentaron 907 aspirantes.

Principales resultados en EMS: Docentes del Componente Disciplinar


En general, el resultado nacional del porcentaje de sustentantes Idneos es de 31.5%. De la distribucin de resultados de
la evaluacin (An no idneo y grupos de desempeo) a nivel nacional, se observa que de las disciplinas con ms de 30
sustentantes, el desempeo ms alto corresponde a Lectura-expresin oral y escrita con 44.9% de sustentantes Idneos.
Se hace mencin del caso de Etimologas grecolatinas con un 73.3% de Idneos, aun cuando el nmero de aspirantes
fue muy reducido (15).
Sobre la diferencia en el porcentaje de sustentantes con resultado Idneo en la evaluacin Docente del Componente
Disciplinar de EMS con referencia al resultado nacional, las entidades que obtuvieron la mayor diferencia fueron Quertaro con un 27.3% y Baja California Sur con 14.8%, por arriba del referente nacional.

Grfica 6Distribucin de resultados de la evaluacin para Docentes del Componente Disciplinar en Educacin Media
Superior (An no idneo y grupos de desempeo) a nivel nacional

Nota: La asignatura de Etimologas grecolatinas no se muestra en la grfica debido a que el nmero de sustentantes
es menor a 30

Grfica 7Diferencia en el porcentaje de sustentantes con resultado Idneo en la evaluacin de Docentes


del Componente Disciplinar de Educacin Media Superior con referencia al resultado nacional

Considerando el conjunto de la evaluacin para los Docentes del Componente Disciplinar, se observa que el examen
con mayor dificultad fue el Plan de clase, seguido del Exprese, Conocimientos disciplinares (especfico para cada disciplina, pero integrado con fines comparativos) y, finalmente, Habilidades docentes.
Grfica 8Distribucin de los sustentantes en niveles de desempeo de los exmenes por convocatoria de docentes

10

Por ser el examen con mayor dificultad (41.7 % en NI), se hace un espacio para conocer mejor este instrumento. El
propsito de Plan de clase fue identificar si los docentes contaban con habilidades para planificar los procesos de enseanza y aprendizaje; atender el enfoque por competencias y, como docente, poder colocarse en contextos disciplinares,
curriculares y sociales amplios. Este instrumento (al igual que el Exprese) est constituido por reactivos de respuesta
construida, con un producto final, mismo que fue calificado por dos jueces a travs de una rbrica.
Considerando que en el Componente Disciplinar hubo 30 o ms sustentantes, se observa que los aspirantes con mejores resultados fueron los de las disciplinas de Geografa, seguido de Lectura y expresin escrita y textos literarios, como
se muestra en la siguiente grfica.
Grfica 9Distribucin de los sustentantes en niveles de desempeo de los exmenes por convocatoria de docentes

Nota: La asignatura de Etimologas grecolatinas no se muestra en la grfica


debido a que el nmero de sustentante es menor a 30.

Principales resultados en EMS: Docentes y Tcnico docentes


de las disciplinas asociadas al Componente Profesional Tcnico

11

Integrando los resultados de estos dos grupos de aspirantes (5938 sustentantes en total), se encontr que el 38.9% quedaron
en alguno de los grupos de desempeo, alcanzando un resultando Idneo. Las entidades que obtuvieron la mayor diferencia
con respecto al resultado nacional fueron Baja California Sur con un 16.6% y Oaxaca con 13.0%, por arriba del referente.

Grfica 10Diferencia en el porcentaje de sustentantes con resultado Idneo en Docentes y Tcnico


docentes de las disciplinas asociadas al Componente Profesional Tcnico

Sin embargo, separando los grupos, se observan diferencias en el desempeo de ambos, ya que los docentes del Componente Profesional Tcnico tuvieron 41.8% de resultados Idneos, en comparacin con el grupo de aspirantes a Tcnico
docente, que obtuvieron 25.8%, es decir, 16% menos de sustentantes con resultado Idneo.
Grfica 11Distribucin de los de sustentantes con resultado Idneo en Docentes y Tcnico docentes
de las disciplinas asociadas al Componente Profesional Tcnico

12

En la revisin de los tres exmenes comunes para este conjunto de aspirantes, se observa que el grupo de Docente Profesional Tcnico obtuvo mejor desempeo en todos ellos, especialmente en el examen de Habilidades docentes, donde la
diferencia entre ambos es de ms de 15 puntos porcentuales.
Grfica 12Distribucin de los sustentantes en nivel de desempeo de los exmenes, por convocatoria Docente
y Tcnico docente de las disciplinas asociadas al Componente Profesional Tcnico

Principales resultados en EMS: promocin a cargos de funciones de direccin


En el resultado nacional, el 28.1% de los sustentantes a cargos directivos obtuvieron un resultado Idneo. Las entidades
que alcanzaron la mayor diferencia con respecto al resultado nacional fueron San Luis Potos con un 18.6% y Baja California con 18.3%, por arriba del referente.
De los dos exmenes que aplicaron los sustentantes de promocin a cargos de funciones de direccin, el examen de
Plan de mejora fue el que present mayor dificultad, ya que de los 907 sustentantes totales, el 71.9% se ubicaron en el
Nivel I.
Este examen tuvo como propsito identificar si los sustentantes contaban con las siguientes habilidades para desarrollar funciones de direccin: a) identificar las reas de oportunidad del plantel considerando las caractersticas del entorno; b) disear estrategias creativas y factibles de corto, mediano y largo plazo para la mejora del plantel; c) identificar
mecanismos para integrar a los docentes, personal administrativo, estudiantes y padres de familia a la toma de decisiones
para la mejora del plantel; d) identificar acciones para fomentar estilos de vida saludables y opciones para el desarrollo
humano, a travs de diversas actividades complementarias; e) identificar acciones para mejorar las condiciones fsicas e
higinicas del plantel escolar; f) aplicar conocimientos generales de gestin y administracin de recursos pblicos.
Este examen, al igual que el Plan de Clase y el Exprese, est diseado a partir de reactivos de respuesta construida,
cuyo producto entregable fue calificado por dos jueces a partir de una rbrica.
13

Grfica 13Diferencia en el porcentaje de sustentantes con resultado Idneo en la evaluacin para promocin a cargos de funciones de direccin en Educacin Media Superior.

El examen de Habilidades directivas (diseado a partir de reactivos de opcin mltiple), tuvo un papel muy limitado
en el proceso de seleccin, ya que solo excluy a dos sustentantes adicionalmente a los que ya haban sido excluidos a
partir del Plan de Mejora (650 aspirantes con resultado An no idneo).

CONCLUSIONES
Este Concurso marc un hito en la historia de la evaluacin para la obtencin de una plaza docente en Mxico debido
a que por primera vez, los instrumentos diseados fueron de carcter criterial, lo cual representa que los resultados
alcanzados por los sustentantes se comparaba con un estndar definido previamente por un grupo de expertos en los
contenidos evaluados por los distintos instrumentos de evaluacin. De los resultados generales, se observa lo siguiente.

Resultados en Educacin Bsica


El resultado general en Educacin Bsica fue de 39.5% de Idneos. Diferenciando entre los procesos de evaluacin

14

que consideraron solo los dos exmenes Nacionales, el resultado fue de 40.4%, en tanto que aquellos en donde adicionalmente se consider un examen complementario, el resultado fue de 24.2% de Idneos.
En el proceso de evaluacin que consideraba solo los exmenes Nacionales, se encontr que los sustentantes egresados de Escuelas Normales obtuvieron mejores resultados que los sustentantes de la Convocatoria pblica y abierta, con una diferencia de 11.6% de sustentantes Idneos con respecto a los sustentantes de la Convocatoria pblica
y abierta.

Se observa que los aspectos evaluados a travs de los instrumentos de conocimientos y habilidades para la prctica

docente, los egresados de las Escuelas Normales presentan un mejor desempeo que los de las Instituciones de
Educacin Superior participantes de la Convocatoria pblica y abierta. Esta diferencia es particularmente notable
para los concursos con los dos exmenes nacionales, donde el 71.8% de los egresados de las Escuelas Normales
obtienen obtiene NII o NIII.
En el caso de los procesos de evaluacin que consideraban, adems de los dos instrumentos Nacionales, afrontaron
un tercer instrumento de evaluacin complementario. Para este conjunto, se observ que la diferencia entre egresados de Escuelas Normales y Convocatoria pblica y abierta fueron iguales en el porcentaje de sustentantes Idneos
(24.2%), sin embargo, se observan ligeras diferencias en la conformacin de los grupos de desempeo (A, B, C o D).
Para toda la poblacin de Educacin Bsica, el examen que present mayor dificultad para los sustentantes fue el
de Habilidades Intelectuales y Responsabilidades tico-profesionales. Especialmente lo fue para los docentes de
Educacin Preescolar Indgena y Educacin Primaria Indgena, con ms del 70% en el nivel de desempeo I (NI) en
ambos casos.

Resultados en Educacin Media Superior


El resultado para la Convocatoria a Docentes del Componente Disciplinar en Educacin Media Superior fue 31.5%
de los sustentantes que se ubic en alguno de los grupos de desempeo (A, B, C, D o E).

Considerando el conjunto de la evaluacin para los Docentes del Componente Disciplinar, se observa que el examen

con mayor dificultad fue el Plan de clase, seguido del Exprese, Conocimientos disciplinares (especfico para cada
disciplina, pero integrado con fines de referencia) y, finalmente, Habilidades docentes.
El 38.9% de sustentantes a Docentes y Tcnico docentes de las disciplinas asociadas al Componente Profesional
Tcnico quedaron en alguno de los grupos de desempeo, alcanzando un resultando Idneo. Diferenciando a los
Docentes del Componente Profesional Tcnico el resultado fue de 41.8%, en tanto que Tcnico docentes, el resultado fue menor con 25.8% de Idneos.
En la revisin de los tres exmenes comunes para aspirantes a Docentes y Tcnico Docentes de las disciplinas asociadas al Componente Profesional Tcnico, se observa que el grupo de Docente Profesional Tcnico obtuvo mejor
desempeo en todos ellos, considerando NII y NIII, principalmente, en el examen de Habilidades docentes, donde la
diferencia entre ambos es de 15.2 puntos porcentuales.

Resultados promocin a cargos de funciones de direccin


en Educacin Media Superior
El resultado nacional para los sustentantes de la convocatoria de promocin a cargos de funciones de direccin fue 28.1%
de Idneos.
De los dos exmenes que aplicaron los sustentantes de la convocatoria de promocin a cargos de funciones de direccin, el examen de Habilidades directivas y Plan de mejora, este ltimo fue el que present mayor dificultad, ya que de los
907 sustentantes, el 71.7% se ubicaron en el Nivel I.

Retos y perspectivas

15

Un reto importante es generar estrategias y seguimientos para fomentar la participacin de los aspirantes, ya que en esta
primera experiencia se detect un porcentaje del 32.3%, que no concluy su registro y un 14.8% de inasistencia al proceso de evaluacin. De manera particular, en algunas entidades del pas, es importante poder incidir en los factores que
impactan en la disposicin y oportunidad que tienen los docentes para que se presenten a las sedes designadas ya que en
algunos estados se requiri, incluso, trasladar a los aspirantes a una sede fuera del lugar de su entidad.

Los resultados obtenidos en esta primera experiencia apuntan a la necesidad de fortalecer la congruencia entre el
perfil de egreso de las instituciones de formacin inicial de docentes, con los conocimientos, habilidades y competencias
que se consideran indispensables para el inicio del ejercicio profesional docente.
Sin embargo, tambin es necesario destacar que los resultados no son un referente para evaluar el egreso de las instituciones de procedencia de los sustentantes, ya que el proceso de evaluacin est diseado a partir de los referentes
del ingreso.
Finalmente, si bien, los resultados indican un nivel de exigencia alto para los aspirantes, estos aportan elementos de
confianza de que los concursos de ingreso a la Educacin Bsica, Media Superior, han permitido identificar a los mejores
candidatos para su insercin a la prctica docente y adems cumplen con lo requerido a partir de los Perfiles, parmetros
e indicadores para el Ingreso al Servicio Profesional Docente.

BIBLIOGRAFA
Angoff, W. H. (1971). Scales, norms, and equivalent scores. In R. L. Thorndike (Ed.), Educational Measurement (2nd ed.).
Washington, DC: American Council on Education.
Beuk C. H. (1984). A Method for Reaching a Compromise between Absolute and Relative Standards in Examinations. Journal
of Educational Measurement, 21 (2) p. 147-152
Instituto Nacional para la Evaluacin de la Educacin (2014).Criterios tcnicos y de procedimiento para el anlisis de los
instrumentos de evaluacin, el proceso de calificacin y la definicin de las listas de prelacin de los Concursos de
Oposicin para el ingreso al Servicio Profesional Docente en Educacin Bsica y Media Superior y para la promocin a
cargos con funciones de Direccin en Educacin Media Superior, para el ciclo escolar 20142015. (Diario Oficial de la
Federacin R. -392761). Recuperado de: http://www.inee.edu.mx/index.php/servicio-profesional-docente
Instituto Nacional para la Evaluacin de la Educacin (2014). Criterios Tcnicos para el Desarrollo y uso de Instrumentos de Evaluacin Educativa, 2014-2015 Recuperado de: http://www.inee.edu.mx/images/stories/2014/criterios/
Criterios_t%C3%A9cnicos.pdf
Diario Oficial de la Federacin 11 de septiembre de 2013. Ley General del Servicio Profesional Docente. Secretara de Gobernacin. Mxico.
SEP (2013)1. Informacin general del Concurso Nacional para el Otorgamiento de Plazas Docentes, Mxico. Recuperado
de: http://Concursonacional.sep.gob.mx/CONAPD13/content/pdf/informacion/info_general_01.pdf

16

Metodologa y procedimientos en
la evaluacin de la instrumentacin
de la RIEMS
13 de marzo de 2015

Metodologa y procedimientos en
la evaluacin de la instrumentacin
de la RIEMS
Dra. Evangelina Lpez Ramrez*
Universidad Autnoma de Baja California, Mxico.
evangelinalopez@uabc.edu.mx
Dra. Ysabel Camacho Norzagaray
SEBS-BC, Mxico
ysabel_camacho@yahoo.com.mx
M.C. Susana Espinosa Velzquez

UABC, Mxico

sespinosav2003@uabc.edu.mx

PALABRAS CLAVE: Metodologa, instrumentacin, procesos.


EJE TEMTICO: Modelos y polticas de evaluacin de docentesy de directivos escolares.

Resumen

Este documento refiere los fundamentos metodolgicos y procedimentales que se siguieron para posibilitar la
realizacin del proyecto denominado "Evaluacin de la instrumentacin de la Reforma de la Educacin Media
Superior en Baja California".
En el mbito de la evaluacin educativa y ms particularmente la evaluacin de los procesos educativos, se
observa una dificultad importante para abordar este tipo de objetos investigativos. De ah que este documento
pretenda mostrar con cierto detalle los fundamentos metodolgicos as como los procedimientos especficos que
se utilizaron durante el desarrollo del citado proyecto que ha sido financiado por el Fondo INEE SEP Conacyt.
El propsito es entonces facilitar a quienes lo consulten, el desarrollo de actividades evaluativas en sus centros educativos.

*Autor principal

INTRODUCCIN
El proyecto Evaluacin de la instrumentacin de la RIEMS en Baja California se enmarca en los esfuerzos que se realizan
en Mxico y Latinoamrica concentrados en generar informes con resultados de evaluacin que posibiliten la definicin
de estadios de avance en los compromisos establecidos por los gobiernos en materia de educacin. Especficamente es el
caso del Estado de Baja California y al establecimiento del Sistema Nacional de Bachillerato (SNB), expuesto en el Acuerdo
442 publicado el 26 de septiembre 2008 (Diario Oficial de la Federacin) mismo que como medida estratgica promovi
un proceso de Reforma Integral de la Educacin Media Superior (RIEMS) implementado en cuatro ejes:

Marco Curricular Comn


Definicin y regulacin de las modalidades de la oferta
Mecanismos de gestin
Certificacin complementaria del sistema nacional de bachillerato.

Para el desarrollo de este proyecto se tom como referente al Dr. De la Orden (1989) quien explica que la evaluacin, a
diferencia de la investigacin, es un proceso que busca informacin para la valoracin y la toma de decisiones inmediata;
se centra en un fenmeno particular y no pretende generalizar a otras situaciones, objetos o circunstancias.

DESARROLLO
La finalidad que orient la investigacin, Evaluacin de la instrumentacin de la Reforma de la Educacin Media Superior en Baja California, fue valorar los procesos de gestin directiva, curriculares, instructivos y de evaluacin de los
aprendizajes asociados a la instrumentacin de los ejes principales de la RIEMS para emitir juicios sobre el avance en la
implementacin que se han ido concretizando en las instituciones de educacin media superior en la entidad.
Como toda evaluacin, obedeci a un propsito fundamental; construir informacin relevante que permitiese plantear sugerencias relativas a las medidas de que se requiere realizar para consolidar la congruencia entre los planteamientos de la poltica educativa y su aplicabilidad en las instancias correspondientes, una adaptacin o acomodacin de
una cosa/objeto (RIEMS) respecto de otra (niveles de concrecin implementados) que est estrechamente vinculada a la
primera (Ackoff, 1997).

1. Justificacin del tipo de investigacin y el enfoque metodolgico utilizado


El tipo de evaluacin desarrollado fue el de investigacin evaluativa con enfoque en poltica educativa pblica. Mc Millan
y Schumacher explican que la investigacin evaluativa se ocupa de una prctica concreta en una situacin o situaciones
determinadas. La prctica puede ser un programa, un producto o un proceso, pero la situacin es crucial juzga el mrito
y elcoste de una prctica concreta en funcin de los valores que priman en la situacin (2005, p. 25).
Ciertamente (Escudero,1997) se ha tratado con ligereza el asunto de la definicin de Modelo dentro de las investigacin evaluativa, ya que se ha hecho referencia a enfoques, metodologas etc., que no son modelos en el sentido riguroso.
En ese gran marco referencial se reconoce la existencia de cinco grandes bloques de agrupamiento de los modelos de
evaluacin de centros. Estos cinco bloques son los siguientes (Escudero, 1997).

a)
b)
c)
d)
e)

Los que enfatizan los resultados (outputs).


Los que enfatizan los procesos internos a la propia organizacin.
Los que postulan criterios mixtos o integradores.
Los que se centran sobre los aspectos culturales de la organizacin.
Los que intentan evaluar la capacidad de la propia organizacin para auto transformarse (evaluacin para cambiar).

Ante estas referencias, se consider que el modelo de De la Orden corresponde al segundo bloque ya que enfatiza los
procesos internos de las organizaciones o instituciones educativas, para adherirse al enfoque formativo de la evaluacin.
Para este estudio fue de vital importancia referenciar el modelo de evaluacin propuesto por el Dr. De la Orden, para
orientar metodolgicamente el proyecto; El reconoce que la evaluacin a centros educativos no puede realizarse atendiendo a modelos generales sino que cada investigacin requiere adecuarse a las condiciones particulares para adaptarse
al caso especfico. La categora central de este modelo es la conceptualizacin de calidad educativa como relacin de
coherencia de cada uno de los componentes del sistema, estableciendo la proximidad estructural o funcional entre los
componentes relacionados. El modelo se conforma con factores o procesos identificados con criterios y predictores de
funcionalidad, eficacia y eficiencia.

2. Diseo metodolgico del estudio


En materia de investigacin evaluativa convergen diversidad de perspectivas y enfoques de la investigacin, debido a
que su principal propsito no es evaluar estrictamente hablando, sino obtener informacin sobre el objeto definido con
antelacin para apoyar en la constitucin de propuestas de mejora, apoyar la toma de decisiones o conocer de forma ms
precisa las problemticas en las que el objeto se desenvuelve. Actualmente, aclarando que el debate no ha sido resuelto,
se considera a investigacin evaluativa como una transdisciplina; esto se expuso en el III Congreso Internacional de Ciencia, Tecnologa y Cultura (2013). La base de esa aseveracin fue que la investigacin evaluativa se alimenta no solo de la
transferencia de metodologas de una disciplina a otras, sino que tanto la investigacin como la evaluacin al formar parte
de diversas disciplinas les aporta y enriquece con el conocimiento que genera. Otro argumento es que al utilizar la investigacin evaluativa en el contexto educativo, su carcter transdisciplinario permite fundamentar una praxis diagnstica,
orientadora y evaluativa (Sabiron, 2006).

3. Estrategia investigativa
Este tipo de estudio se inserta dentro de las ciencias sociales pero al ser un estudio apoyado de un proceso investigativo de
evaluacin el marco de accin de los evaluadores-investigadores es complejo. Como lo menciona Suchman (1967, p. 119),
"la investigacin evaluativa es un tipo especial de investigacin aplicada, en la que el principal nfasis esta puesto en la
utilidad de la informacin que genera". En consecuencia se tuvieron en cuenta las siguientes directrices:

a) Acceso al campo

Se entiende como el levantamiento de informacin o datos de un espacio fsico o social en el que tiene lugar el objeto
investigado, que este caso fue de 60 Instituciones de Educacin Media Superior de todo el Estado de Baja California. Para
el ingreso a ellas se concert el paso con los directivos mediante oficios emitidos por las Subsecretaria de Educacin Superior, Media Superior e Investigacin.
Poblacin
La constituyeron 60 Directivos, 2769 Profesores y 60 grupos de estudiantes del ltimo semestre vigente en cada
bachillerato que integran las Instituciones de educacin media Superior en la entidad.
La muestra se calcul con un 95% de confianza.
El procedimiento para obtencin de la muestra
La frmula para calcular la muestra de profesores fue la siguiente:
n=
4

Z 2pqN
NE 2 + Z 2pq

Es el tamao de la muestra

No se conoce el valor

Es el nivel de confianza

1.96 con 5% de margen de error

Es la variabilidad positiva

0.5

Es la variabilidad negativa

0.5

Es el tamao de la poblacin

3480
Cantidad de profesores que laboran en las instituciones de nivel
medio superior en B.C.

Es la precisin o el error

0.05

Aunque se tuvo como referencia este dato muestral se tom en cuenta que las escuelas invitaron a todos sus profesores a participar en las encuestas, se consider que siendo una evaluacin, la mayor participacin enriquecera los
resultados, por lo que la poblacin encuestada de profesores fue de 2769.

b) Aplicacin de los instrumentos de recogida de datos e informacin

Los cuestionarios, encuestas y entrevistas se aplicaron por diferentes equipos de trabajo acompaados por el coordinador del proyecto. La dinmica de aplicacin para los profesores consisti en la preparacin de un espacio fsico; posteriormente se les dio una breve explicacin a los participantes sobre las finalidades de cada instrumento, formas de
contestacin y el uso que se le dara a la informacin recabada. En el caso de los estudiantes, se solicit a cada Director la
asignacin de un grupo de estudiantes que estuvieran cursando el semestre ms avanzado vigente en el ciclo lectivo. La
forma de recabar la informacin fue a travs de entrevista grupal. En el caso del instrumento para Directores, se emiti
un oficio por el Subsecretario de Educacin Media Superior, Superior, Evaluacin y Formacin Docente de la SEBS BC,
invitndolos a contestar cuestionario por va electrnica.

4. Diseo de instrumentos para la recogida de datos e informacin


Para disear los instrumentos fue necesario analizar que las investigaciones evaluativas con enfoque en polticas pblicas
utilizan la evaluacin de proceso ya que son las que ofrecen informacin para mejorar procesos de gestin o autogestivos.
El estudio se realiz durante el periodo 2012/2014, de tal forma que en ese espacio de tiempo ya se poda contar con una
visin de cmo se est asumiendo la RIEMS por los diferentes actores y cul es la opinin sobre los procesos desarrollados hasta entonces.
Para explorar en el campo de estudio se formularon 4 instrumentos que abordaron los 4 procesos de inters:

a) Cuestionarios

Se adapt un primer cuestionario asociado a la evaluacin de la Gestin Directiva, diseado originalmente por Sevilla,
Medrano y Gaete , que forma parte del Modelo de Aseguramiento de la Calidad de la Gestin Escolar (SACGE) del Ministerio de Educacin de Chile (2005). Se plantea en escalas de Likert con un total de 121 tems. A este cuestionario se aplic
el Alfa de Cronbach obtenindose un coeficiente alto de fiabilidad (0.959).
Un segundo cuestionario diseado para valorar los procesos instructivos, curriculares y de evaluacin del aprendizaje
contiene 52 tems (4 de respuesta abierta y el resto de respuesta cerrada) y fue revisado por dos expertos y piloteado
con un grupo de profesores del plantel Cobach Las principales observaciones que se realizaron estuvieron asociadas a
la extensin del cuestionario atendiendo el hecho que originalmente haba 10 cuestionamientos de respuesta abierta. Se
atendi la recomendacin y se redujo el nmero de preguntas abiertas y se retiraron las preguntas que a los profesores
les parecieron poco claras.
El tercer cuestionario es una variante del anterior adaptado para los directores, tocando bsicamente los mismos
rubros que el de profesores.
Por ltimo, se dise una cdula de entrevista para los grupos de estudiantes y se pilote antes de su aplicacin en un
grupo de jvenes de quinto semestre de un plantel del Subsistema Cobach.
5

5. Modelo de evaluacin
El modelo que se tuvo como referencia para sustentar esta evaluacin ha sido el propuesto por De la Orden (1997). Este
modelo propone identificar las relaciones entre los componentes de contexto, input, proceso, producto y propsitos del
sistema y valorarlos en funcin de un conjunto de reglas bien establecido que para nuestro caso apareceran en los programas sectoriales de educacin tanto nacional como estatal.
Para los fines de este trabajo, el modelo se adapt en lo relativo al objeto de estudio, ya que la propuesta est elaborada originalmente para la educacin universitaria. Los procesos se mantuvieron ya que se consider que estos son
perfectamente ubicables en la educacin media superior (Figura 1).
Figura 1

Nota: Esta figura contiene las adaptaciones realizadas para la realizacin de este estudio. El modelo original est disponible
en la direccin http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm

De acuerdo con la propuesta de De la Orden, la calidad de la educacin supone una relacin de coherencia de cada
uno de los componentes del sistema representado en un modelo, con todos los dems. Explica que en unos casos, esta
relacin de coherencia o incoherencia ser patente, dada la proximidad estructural y/o funcional entre los componentes
relacionados.

Especificacin de procesos
a) Contexto
Siguiendo a De la Orden (1997) el contexto es determinante de las demandas sociales que debe satisfacer la educacin
media superior que a su vez, son determinantes de las funciones asignadas a la misma.

b) Procesos e indicadores

Con base en la descripcin que De la Orden (1997) realiza se exploraron los procesos que se citan a continuacin y sus
correspondientes indicadores:

Gestin directiva
Para la evaluacin de la Gestin directiva, se consideraron las siguientes dimensiones propuestas por Sevilla, Medrano y Gaete (2005)
Liderazgo : capacidad del docente directivo para orientar a los actores del proceso educativo al logro de los objetivos y metas de la institucin
Gestin Curricular: cmo asegurar el aprendizaje efectivo en las aulas, considerando la propia cultura institucional
y el Proyecto Educativo.
Gestin de Recursos: generacin de mecanismos de obtencin de recursos para la adecuada administracin, con
el fin de potenciar las actividades de enseanza, los resultados institucionales y los aprendizajes de calidad para
todos los estudiantes.
Gestin de Clima Organizacional y Convivencia: generacin de climas institucionales y una convivencia escolar adecuada para potenciar el PEI y desarrollar los aprendizajes.

Procesos curriculares
De la Orden (1997) los define como la interaccin de los elementos -personales y materiales- que constituyen el centro, encaminada a la toma de decisiones y a la planificacin de las actividades docentes.
Procesos instructivos
Refieren, segn De la Orden (1997), la interaccin entre los elementos -personales y materiales- dirigida a la toma
de decisiones sobre estrategias y procedimientos instructivos y a la puesta en marcha de actividades tutoriales y
docentes.

Procesos para la evaluacin de los aprendizajes


Estos se asocian a la interaccin entre los elementos -personales y materiales- que conlleva la determinacin de consecucin y logro de objetivos educativos.

6. Representacin e interpretacin de la informacin


a) Representacin de la informacin
Una condicin que se debe reconocer para la representacin de los datos es que estos no hablan por si mismos, de ah
que se consideraron las caractersticas de los datos y lo que se dese destacar de cada uno de ellos, editndolos de forma
visual por medio de tablas de contenido, grficas de ejes de coordenadas y de rea. Tambin se atendi a los requisitos de
sencillez y claridad sobre los datos para facilitar la lectura a los usuarios de la informacin (INEGI, 2011).

b) Interpretacin de la informacin

Desde la perspectiva de la evaluacin externa la interpretacin de la informacin se concentr en identificar la relacin


entre los indicadores de los procesos estudiados conforme al modelo y las respuestas arrojadas en los distintos instrumentos aplicados. Miles y Huberman (1994) recomiendan sobre el empleo de matrices y realizar con ellas un procedi-

miento de inspeccin sistemtico que permita sintetizar la variedad de resultados en principales hallazgos y emitir las
recomendaciones pertinentes. Asimismo se conceptualiz "hallazgo" como la informacin emergente derivada de los
anlisis sobre los procesos y de los cuales hay evidencia emprica que lo sostiene; y se entiende por "recomendacin" a la
formulacin de propuestas de accin o lneas de accin sujetas a ser consideradas por los responsables para orientar el
proceso de aseguramiento de la calidad.

CONCLUSIONES
La instrumentacin metodolgica en todo proyecto de investigacin implica un reto importante para los equipos de trabajo, de ah el inters nuestro por aportar una experiencia en un campo en el cual an hay mucho que sistematizar. Asimismo compartimos algunos hallazgos derivados de la aplicacin de estos procedimientos.

Gestin del clima organizacional y convivencia


Los resultados obtenidos respecto a la gestin del clima organizacional y convivencia, muestran que los docentes perciben que el trabajo de gestin de la direccin es apropiado para incentivar el trabajo, incluso existen sistemas y procedimientos de seguimiento al personal docente, en funcin de las metas planteadas y los resultados de desempeo en el aula,
aunque esta prctica tambin genera competencia, desconfianza y limita el trabajo en equipo.

Liderazgo
En relacin al liderazgo del director, los resultados en promedio muestran que los directores si hacen su trabajo pero los
profesores perciben no saber los planteamientos del proyecto educativo institucional (PEI) lo que representa un liderazgo vertical, que incide sobre la productividad de los planteles, adems de mostrar una pobre visin proactiva. Se muestra
tambin que aunque los directores soliciten a los docentes y estudiantes poner en prctica las propuestas de la reforma
educativa, expresan los docentes no conocer en qu consiste la propuesta, por tanto, trabajan con una visin anterior
a esta normativa.

Sobre organizacin institucional de la enseanza


El reconocimiento al rezago acadmico con el que se recibe a los estudiantes del nivel previo, genera la necesidad consiente y apremiante de un gran porcentaje de docentes de apoyar la formacin de los estudiantes con acciones especficas. La propuesta de los docentes es atender esta condicin de los alumnos y sobre todo de los que cursan los primeros
semestres para as, mejorar los ndices de permanencia y el desempeo acadmico de los jvenes en la EMS. Esto muestra
la falta de vinculacin entre los distintos niveles de educacin y obstaculiza la eliminacin de secuencias didcticas rgidas y su trnsito a espacios transdisciplinarios integradores tal como se plantea en la RIEMS para atender el principio de
flexibilidad curricular.

BIBLIOGRAFA
Ackoff, R. (1984) "Rediseando el futuro" Limusa, Mxico
Ackoff, R. (1997) "Un concepto de planeacin de empresa". Limusa. Mxico.
Actas de las III Jornadas Nacionales de Didctica Universitaria "Evaluacin y Desarrollo Profesional", Servicio de Publicaciones de la Universidad de Las Palmas de Gran Canaria.
Cook, T.D. y Reichardt, C.S. (1986) "Mtodos cualitativos y cuantitativos en investigacin evaluativa". Madrid. Morata.
De la Orden, A., Asensio, I., Carballo, R., Fernndez Daz, J., Fuentes, A., Garca Ramos, J.M. y Guardia, S. (1997). Desarrollo
y validacin de un modelo de calidad universitaria como base para su evaluacin. RELIEVE, vol. 3, n. 1. Consultado en
http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm en 3-2-2012
Escudero, T. (1997). "Enfoques modlicos y estrategias en la evaluacin de centros educativos". RELIEVE, vol. 3, n. 1. Consultado en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_1.htm en 11-11-2012
Huberman, M. y Miles, M.B. (1994) Mtodos para el manejoy anlisis de datos en Norman Denzin &Yvonnas Lincoln
Eds., Handbook of Qualitative Research, Sage publications.
McMillan, J.H. y Schumacher, S. (2005) "Investigacin educativa" Madrid: Pearson.
Navarro, L. (2007) "Aseguramiento de la calidad de la gestin escolar: De qu estamos hablando?" en Revista Reflexin
pedaggica No. 31 Consultado en http://www.revistadocencia.cl/pdf/20100731211150.pdf en 5-5-2012
Sabirn, F. (2006). "Mtodos de investigacin etnogrfica en ciencias sociales", Zaragoza: Mira editores.
Sevilla, M.A., Medrano,P. y Gaete, M. (2005) "Evaluacin de directivos: marcha blanca" Educarchile, Mineduc
Suchman, E. A. (1967). Evaluative Research: Principles and Practice in Public Service and Social Action Programs. New York:
Russell Sage Foundation.
Tiana, A. (1996) La evaluacin de los sistemas educativos, Revista Iberoamericana de Educacin, n 10, pp. 37-61
Unidad de Gestin y Mejoramiento Educativo Divisin Educacin General Mineduc (2005) "Sentidos y componentes
del sistema de aseguramiento de la calidad de la gestin escolar" Litografa Valente, Chile consultado en http://ww2.
educarchile.cl/UserFiles/P0001%5CFile%5CSentidos%20y%20componentes%20SACGE.pdf en 12/11/2013

Acciones nacionales y modelos locales


para la formacin continua de los docentes
de educacin bsica: elementos
para la construccin de indicadores
13 de marzo de 2015

Acciones nacionales y modelos locales


para la formacin continua de los docentes
de educacin bsica: elementos
para la construccin de indicadores
Vernica Medrano Camacho
Doctora en educacin. Direccin de Indicadores Educativos- DGIAI,
Instituto Nacional para la Evaluacin de la Educacin, Mxico.
vmedrano@inee.edu.mx

Medardo Tapia Uribe


Doctor en educacin. Centro Regional de Investigaciones Multidisciplinarias- UNAM, Mxico
medardo@servidor.unam.mx
PALABRAS CLAVE: Formacin continua, docentes, educacin bsica, indicadores.
EJE TEMTICO: 1 Modelos y polticas de evaluacin de docentes y de directivos.

Resumen

Esta ponencia presenta los resultados de dos estudios referentes a los procesos de formacin continua y superacin profesional en los que participan los docentes de educacin bsica, realizados entre los aos de 2012-2014,
como parte del trabajo para el mantenimiento y desarrollo del sistema de indicadores educativos del INEE. Ambas
investigaciones tienen como objetivo general la construccin de marcos normativos, tericos y referenciales a
partir de los cuales se logren identificar aspectos clave y problemticas que sirvan para la definicin y diseo de
indicadores educativos, en temas con menor desarrollo, en este caso referente a la formacin continua y superacin profesional de los docentes.
Las investigaciones se llevaron a cabo en ocho entidades federativas, exploran las percepciones de los docentes
sobre la implementacin de los servicios del Sistema Nacional de Formacin Continua y Superacin Profesional
y, el segundo, adems, recupera los modelos de formacin continua in situ desarrollados por los docentes en sus
escuelas, zonas escolares y estados.
Los hallazgos delinean temticas de inters para el desarrollo de indicadores respecto a las caractersticas de
la oferta formativa, los dispositivos para su implementacin, el perfil profesional de los formadores de docentes,
los recursos materiales disponibles, las temticas de los cursos y, en general, el impacto de las actividades de formacin continua en la mejora de las prcticas de los docentes.

INTRODUCCIN
Este documento integra los resultados de dos estudios articulados dentro de una lnea de investigacin sobre formacin continua y superacin profesional de docentes de educacin bsica, desarrollados entre 2012-2014, como parte
del programa de actividades de la Direccin de Indicadores Educativos (DIE) de la Direccin General para la Integracin
y Anlisis de Informacin (DGIAI), INEE. El objetivo general al que contribuyen es a la construccin de marcos tericos,
referenciales y normativos sobre los procesos de formacin continua y superacin profesional de docentes, a travs de
los cuales se identifiquen aspectos claves para su adecuado desarrollo e impacto. A travs de estos marcos se lograr la
identificacin de temticas y el diseo de indicadores educativos para el seguimiento y evaluacin de dichos procesos.
El primer estudio se llev a cabo entre 2012-2013, contemplaba la revisin de las percepciones que los directores
y docentes tenan sobre los servicios del Sistema Nacional de Formacin Continua y Superacin Profesional (SFCSP) en
cinco estados; esto con el propsito de analizar la pertinencia de la oferta de actualizacin, capacitacin y superacin
profesional.
El segundo estudio, desarrollado durante el 2014, revisaba la forma en que los docentes y escuelas de manera local
o in situ solucionaban sus necesidades de formacin continua y superacin profesional. El propsito de la investigacin era identificar prcticas de formacin continua (FC) in situ en escuelas, zonas y entidades federativas; reconstruirlas
y sistematizarlas; y reconocer algunos criterios que podran servir para la evaluacin de dichas prcticas. El trabajo de
campo se realiz en cuatro entidades.
A continuacin se presenta una sntesis de los hallazgos ms importantes y los avances en la definicin de temticas
con el objetivo de integrar constructos referentes a la FC al sistema de indicadores.

HACIA LA CONSTRUCCIN DE INDICADORES


SOBRE FORMACIN CONTINUA
El desarrollo y mantenimiento del sistema de indicadores para apoyar la evaluacin de la calidad de la educacin, requiere de la identificacin de marcos normativos y la revisin y construccin de marcos terico referenciales, para que
los indicadores que se diseen permitan tanto dar cuenta de los procesos, como sealar aspectos claves y problemticas
importantes (ver Morduchowicz, 2006 y Martnez et al, 2007). Una de las tareas de la DGIAI-INEE, es avanzar en el mejoramiento del sistema de indicadores en las reas con menor desarrollo, en este caso, las actividades de FC en las que participan los docentes de educacin bsica, para lo cual se consideran las caractersticas de sus dispositivos, sus recursos
financieros, materiales y humanos, sus contenidos y el impacto de los procesos.
La FC aqu incluye la actualizacin, capacitacin, profesionalizacin, capitalizacin de la experiencia, trabajo colegiado y dems procesos que contribuyen a la mejora de la prctica pedaggica. A travs de la induccin al servicio docente,
el perfeccionamiento pedaggico, la atencin a las necesidades derivadas de la prctica, el acompaamiento para el desarrollo de innovaciones, la implementacin de programas y reformas y la atencin ante la carencia de formacin inicial.
El diseo de la FC, de acuerdo con los autores revisados, debera considera algunos elementos fundamentales como
la etapa de la vida profesional de los docentes (ver cuadro 1), el tipo de estrategias segn sea el objetivo perseguido
(cursos, talleres, trabajo colegiado, coaching) y su duracin1, as como la atencin a los mbitos disciplinar (cientfico),
pedaggico, cultural y valoral. Es decir deben abarcar el dominio del qu saberes y contenidos y el cmo ensear
saber hacer: mtodos y tcnicas resolviendo las necesidades de los docentes en el plano de la llamada racionalidad
instrumental, adems de la reflexin sobre el carcter democrtico, el dilogo crtico y la responsabilidad que implica la
labor pedaggica, a travs del reconocimiento del otro, correspondiente a los dominios del saber ser y el saber convivir
(Yurn, Navia y Saenger, 2005: 22-24 y Martnez Martn, 2001: 23-29).
1

Por ejemplo, los cursos de induccin para docentes debern desarrollarse durante los primeros dos a tres aos de prctica, ser intensivos, alineados
al trabajo escolar cotidiano y al que los docentes realizan con sus estudiantes y debern comprometer al docente con lo que implica el aprendizaje
activo de contenidos especficos que posteriormente van a ensear (Darling-Hammond, et al., 2010).

Cuadro 1 Etapas de la vida profesional docente

Vonk, 1989
a) Fase pre
profesional

Huberman, 1995

a) S
 obrevivencia
y descubrimiento

Day et al, 2006

Primera etapa:
De cero a cinco aos de
experiencia/Programa
de iniciacin y bsico

0-3 aos de trabajo fuerte


compromiso, ya saben lo
que significa un desempeo
profesional eficaz

c) Edificacin de
la competencia

Segunda etapa:
De seis a 10 aos de
experiencia/Programa
prctico de actualizacin

Entre los 4-7 aos se ingresa


en la fase en la
que los docentes construyen
la identidad profesional
y desarrollan la eficacia
en el aula

d) Entusiasmo
y crecimiento

Tercera etapa:
De 11 a 20 aos
de experiencia/
Programa sobre
problemticas educativas
(perspectiva especfica)

Entre los 8 a los 15 aos


aparece una etapa en la que
surgen tensiones crecientes y
transiciones en la cual algunos
docentes ocupan cargos de
responsabilidad y deben
tomar una serie de decisiones
acerca del futuro de su carrera

a) Educacin inicial
(preservice)
b) Induccin

b) Fase de ingreso
c) Fase de
crecimiento
al interior
de la profesin

Consejo para la Educacin


de Maestros en Servicio
japons, 1987

Fessler y
Christensen, 1992

b) Estabilizacin

d) Primera fase
profesional

e) Fase de
reorientacin
de s mismo
y de la profesin

f) Segunda fase
profesional

g) Fase de
declinamiento

c) E
 xperimentacin
y diversificacin
inventario e
interrogantes
a mitad de
la carrera

d) Serenidad
conservadurismo

e) Retiro

e) Frustracin
f) Estabilidad

g) Etapa
preparatoria
al retiro y

Cuarta etapa:
21 aos de servicio en
adelante/programa sobre
problemas educativos
(perspectiva global)

h) Retiro

Cuando los docentes alcanzan


entre 16 y 23 aos de vida
profesional, se inicia una fase
en la que surgen problemas
tanto en la motivacin como
en el compromiso
A los 24 - 30 aos de actividad,
surgen mayores desafos
para mantener la motivacin
Con 31 o ms aos de
actividad, la motivacin
desciende notoriamente
debido a la proximidad del
retiro y jubilacin

Fuente: Elaboracin propia a partir de Lpez Tinajero, N. (1999) y Day et al. (2006).

La informacin con la que se cuenta actualmente, corresponde a estadsticos descriptivos que permiten realizar algunas inferencias sin lograr concretar problemticas importantes. Los resultados de Talis 2013 muestran que docentes
de primaria y secundaria tienen altos porcentajes de participacin en actividades de FC: al menos nueve de cada diez
docentes sealaron haber participado en alguna actividad, 96.9% de los de primaria y 96.1% de los de secundaria. Este
porcentaje no presenta variaciones segn sus aos de experiencia, situacin laboral, horas de trabajo a la semana, ni el
tamao de la localidad donde se ubica la escuela, en todos los casos 95% o ms (Backhoff y Prez-Morn, 2015).
Los tipos de actividades a las que ms asisten los docentes (Talis 2013) fueron: cursos y talleres (90.9% de primaria
y 90.7% de secundaria); programas de estudio que otorgan algn reconocimiento, como diplomados o especialidades
(55.1% de primaria y 43.4% de secundaria) y la investigacin individual o en colaboracin (50.9% y 49.7%, respectivamente). Lo anterior es parecido con los datos del Catlogo Nacional de Formacin Continua y Superacin Profesional
(2011-2012): de los 1 115 programas formativos, 505 eran cursos, 357 diplomados, 51 especialidades y, el resto, posgrados (SEP, 2012: 31).
En cuanto a las temticas de las actividades destacan: el conocimiento del plan y programas de estudios (94.1% en
primaria y 90.2% en secundaria), las competencias didcticas para la enseanza de los contenidos (90.8% en primaria
y 89.4% en secundaria) y su conocimiento y comprensin (91.7 y 89% respectivamente) (Talis 2013, Backhoff y Prez-Morn, 2015). En el informe 2011-2012 de la SEP destacaban tres programas: el de Pensamiento Lgico Matemtico

y Aplicacin a la Ciencia de la Vida, el Curso Bsico Transformacin de la Prctica Docente y la profesionalizacin en


funcin de la Reforma Integral de la Educacin Bsica (SEP, 2012: 29-30).
Estos ejemplos muestran cmo las estadsticas permiten describir la estructura del sistema y su relacin con la participacin de los docentes, pero no permiten focalizar problemticas de pertinencia, eficacia, suficiencia, equidad y calidad
de los procesos. Para avanzar en ello, los estudios exploran las diferencias estatales en la implementacin de dichos servicios logrando avanzar en su caracterizacin y analizando los esfuerzos locales para suplir las necesidades.

Acciones nacionales de formacin continua y superacin profesional


Entre 2011-2013 la DIE-INEE desarroll el estudio sobre La formacin continua y el desarrollo profesional de los docentes
de educacin secundaria: una propuesta de indicadores para su seguimiento 2 el cual revisaba la implementacin estatal de
los servicios del SFCSP. En este marco se entrevist a directores o sus representantes de 54 secundarias (Tabla 1).
Tabla 1. E
 ntrevistas realizadas a los directores de educacin secundaria por entidad federativa
y tipo de servicio (2012)

Entidad
federativa

Municipios

Jalisco

Zapopan, Zapotlanejo, Tlaquepaque,


Tonal y Guadalajara

Tipo de servicio

Total

General

Tcnica

Telesecundaria

16

Morelos1

Cuernavaca, Tlayacapan y Ayala

Puebla

Puebla

Quertaro

Quertaro, San Juan del Ro, Cadereyta


de Montes y Peamiller

11

Zacatecas

Vetagrande, Trancoso, Guadalupe,


Villanueva, Villa de Cos, Calera, Fresnillo
y Zacatecas

11

22

Subtotales

21

19

17

18

54

Tambin se entrevist a un Apoyo Tcnico Pedaggico de un Centro de Maestros.

Los resultados mostraron diversas problemticas de implementacin del SFCSP en cuanto a la suficiencia, pertinencia
y calidad de los recursos humanos y materiales; contenidos, horarios y calendarizacin de las actividades; as como de
los efectos adversos de la articulacin de los cursos con estmulos de escalafn o carrera magisterial, que incrementaba la
participacin de los maestros en cursos sin considerar su pertinencia. Se encontr que no exista consenso sobre la relevancia de los cursos, colocndolos como actividades a lo ms interesantes, de los que algo aprendieron o con los que cumplieron una actividad obligatoria. Slo en dos entidades mencionaron cursos que haban respondido a sus necesidades:
el Programa Nacional de Pensamiento Lgico Matemtico y Aplicacin a la Ciencia de la Vida, diseado por el CinvestavIPN de acceso limitado y el de trabajo con tutoras de la Estrategia Integral para la Mejora del Logro Educativo 3. En el
trabajo de campo se identific que algunas de las escuelas desarrollaban sus propias actividades de FC:
Este ao por primera vez hicimos una capacitacin a los maestros en cuestin de la tecnologa de la informacin
en la comunicacin. La hicimos de acuerdo a sus horarios, en los tiempos libres, y de acuerdo al nivel de conocimiento
Se trabaja con todos los maestros del matutino y turno vespertino [88 profesores]. Por ponerte un ejemplo, tenemos un

Coordinado por Benilde Garca, de la Facultad de Psicologa-UNAM y el equipo DIE-INEE: Hctor Robles, Vernica Medrano y Laura Zendejas.
El trabajo por tutoras supone que el inters y la necesidad de compartir saberes genera dinmicas en las que los docentes, estudiantes y supervisores
se involucran para seguir avanzando concentrndose en aprender lo que uno sabe y al otro le interesa (Cmara, 2010: 127).

grupo en la academia de espaol que est manejando cmputo bsico. Es una academia que tiene un nivel elemental
en cuestin de un manejo de cmputo. El rea de ciencias, es una rea muy avanzada, son gente muy joven, y ellos
estn trabajando directamente con el programa de HDT (Habilidades Digitales para Todos). Entonces estamos
empalmando los conocimientos o los programas que maneja el HDT, en relacin a ciencias con ellos.
Cmo lo hacemos? Los maestros del rea de cmputo en servicios educativos o salas de medios tienen la obligacin
de capacitar a los maestros una vez a la semana en mdulos de 50 minutos o dos de 50 minutos, con [profesores
de] ciencias y espaol. Hay otro grupo que entran de chile con huevo por el horario, pero estn hablando de cmo
manejar el Internet o utilizar esas herramientas, blogs o Wikipedia y todos esos programas que les auxilian a ellos
[A los profesores de] talleres se les est dando una capacitacin en AutoCad para que puedan manejar el dibujo
tcnico de manera grfica con el equipo de cmputo. As estn los compaeros en este proceso, aunque ha sido
un poquito complicado porque muchos ni siquiera saban prender una computadora, pero podemos decir que al final
del ciclo escolar se ha avanzado mucho (Director, Secundaria Tcnica, Puebla, 18/05/2012).
La continuidad a la lnea de investigacin en 2014 incluy un estudio dedicado a entender cmo los docentes generaban sus propios procesos de FC, sus alcances y resultados.

Modelos locales de formacin continua y superacin profesional


El estudio para La identificacin de modelos de formacin continua de maestros en servicio, de educacin primaria y de
criterios e indicadores para su evaluacin se desarroll en 20144 a solicitud de la DGIAI-INEE. Para su desarrollo se realizaron 87 entrevistas (Tablas 2 y 3).
Tabla 2 Entrevistas realizadas (2014)
Estados

Municipio/ Institucin

Entrevistas

Ensenada
Mexicali
Baja California

Tecate
Tijuana

Guanajuato

Irapuato

Pnjamo

3*

Cuautla

Tlaxcala

11
7

Instituto de la Educacin Bsica del Edo. de Morelos

Sanctrum de Lzaro Crdenas

Secretara de Educacin Pblica del Estado

*Incluye a los integrantes de grupos de enfoque en Baja California y la comunidad de aprendizaje en Guanajuato.

Ayala

TOTAL

Desarrollado por Medardo Tapia, investigador del CRIM-UNAM.

1
18*

Secretara de Educacin de Guanajuato

Tetela del Volcn

Morelos

1
19*

2
87

Tabla 3 Cargo de los entrevistados


Cargo

Entrevistas

Funcionarios

16

Docentes

37

Supervisores

21

Directores

13

Total

87

A travs del estudio se ofrece la descripcin de los procesos mediante los cuales se construyen las opciones de FC in
situ a nivel de escuela, zona y entidad.
Los especialistas han sealado las ventajas de la formacin in situ, o como se le conoce ms, centrada en la escuela.
Entre las ventajas se sealan: mayor transferencia de lo aprendido en la prctica, el protagonismo de los docentes para su
propio desarrollo profesional, mayor compromiso, mayor pertinencia, se incrementa la posibilidad de innovar y mejorar
en la prctica, se capitaliza la experiencia profesional. Entre las desventajas se encuentran dos importantes: el programa
de formacin puede quedar restringido al nivel de una sola escuela y las urgencias de la tarea escolar cotidiana se imponen y dejan de lado los espacios de reflexin planificados (Vezub, 2010).
Las antecedentes de estos modelos in situ, a decir de los entrevistados, parten del reconocimiento a la variedad de
contextos de las escuelas que implica distintos problemas y necesidades; la capitalizacin de la experiencia y trayectoria
de los supervisores, ATP y docentes que, como participantes e instructores de cursos, encontraron temticas repetitivas,
tericas, sin relacin con la prctica, a cargo de instructores sin capacitacin o seleccionados entre los participantes de
los cursos; tambin sealaron la debilidad del seguimiento de docentes a cargo de los Centros de Maestros con asesores
sin formacin ni instrumentos adecuados; la ineficacia de las reuniones sin productos, el acompaamiento en lnea o
seguimiento desde la lejana; adems de la evaluacin sin transparencia, ni entrega de resultados, ni retroalimentacin
de aciertos y errores.
Desde las oficinas regionales o direcciones educativas, tambin se encontr que los reportes de acciones de FC no
correspondan con lo que realmente se realizaba en las zonas y en las escuelas; adems del peso de la dictadura de las
prcticas, es decir, de resolver las necesidades inmediatas que no permiten la profesionalizacin.
En general, se encontr que las acciones de FC construidas in situ a partir de la insatisfaccin ante los cursos ofrecidos normativamente parten de iniciativas de docentes, directores, supervisores, jefes de sector o autoridades estatales,
y tienen mucho tiempo funcionando as. Cuando surgen de la iniciativa de los profesores frente a grupo, inicia con un
diagnstico que permite la identificacin de los problemas; sigue con la bsqueda del apoyo de un especialista o la investigacin sobre el tema. El problema se comparte con el colectivo; se trabaja en la construccin de estrategias para su
atencin y se aplican. Todo fuera del horario escolar. El colegiado trabaja el tiempo necesario un mes, dos meses, todo
el ciclo escolar dependiendo de la situacin, hasta su evaluacin en el aula, escuela y colegiado que d cuenta que se ha
resuelto el problema. Entonces se hace un receso del colegiado, hasta que surge un nuevo problema y reinicia el proceso.
Es muy frecuente que el director escolar encabece el proceso de FC in situ, pero tambin surge del liderazgo de algn
docente, excepcionalmente de un supervisor o ATP de los Centros de Maestros. Es muy importante destacar que estos
procesos son de colegiados, como el Consejo Tcnico de la Escuela; este espacio puede utilizarse, capitalizando su carcter institucional, incrementando la frecuencia de las reuniones y extendiendo el horario. Los participantes pueden
agruparse en equipos, por grado, por asignatura, conformando crculos de estudio; tambin, aprovechando alguna estrategia nacional normativa, como los horarios y actividades de Escuelas de Tiempo Completo o la Ruta de Mejora Escolar.
Aunque la iniciativa y la pertinencia del proceso de diagnstico, estrategia de FC y su evaluacin son construccin de
los docentes in situ.
En la investigacin, se propuso identificar y reconstruir estos modelos in situ a nivel de supervisin escolar, para
revisar ms que esfuerzos excepcionales a nivel de aula y escuela. Cuando la supervisin se involucra, da seguimiento a
travs de visitas y revisando los avances, con el propsito de identificar las necesidades desde las propias escuelas. La

iniciativa de involucrar a la supervisin puede venir de los directores y docentes de varias escuelas donde se presentan
problemas similares, pero es frecuente que provengan de supervisores o ATP excepcionales. En este caso se buscan espacios y recursos humanos para llevar a cabo los procesos de formacin a nivel de zona escolar.
El gran valor de estas prcticas que se constituyen como modelos de FC in situ es que responden con pertinencia y
especificidad a necesidades de los estudiantes y docentes, aspectos que los programas nacionales, por ms diversos que
parezcan, no pueden responder. Por eso fue que los problemas identificados por los informantes fueron muy diversos
en las cuatro entidades: estudiantes con discapacidad o con necesidades educativas especiales, problemas de atencin y
aprendizaje, bajos resultados acadmicos y con problemas socioeconmicos. Los productos elaborados son: estrategias
de atencin diferenciada, cuadernillos de trabajo y diversos materiales de alta calidad; as como la obtencin de recursos.
Cuando la FC se desarrolla por iniciativa de la supervisin y jefatura de sector (considerada como nivel estatal), inicia
tambin con el diagnstico, identificacin de problemas, trabajo colegiado, clarificacin de objetivos, desarrollo de estrategias y aplicacin. Pero en este caso los problemas pueden ser: identificacin de docentes nuevos que no saben leer;
profesores que confunden las metodologas de trabajo; o bien, los supervisores descubrieron que necesitaban dar una
intensa FC a sus cuadros de ATP e instructores de Centros de Maestros porque como lo han sealado los docentes por
muchos aos, no estn preparados para impartir los cursos y para asesorarlos. Todos los trabajos descritos no tienen
valor escalafonario ni en Carrera Magisterial.
Estos esfuerzos exitosos de FC in situ necesitan ser validados o certificados para los diversos requerimientos
normativos; tambin para que les apoyen con recursos necesarios, algunos de ellos externos. Cmo podran disearse
evaluaciones nacionales realizadas en escuela y zona escolar, como las realizadas colegiadamente in situ, de diagnstico
y de impacto o mejora?

CONCLUSIONES
Se destacan slo cuatro aspectos claves de los hallazgos: 5

Las opciones de desarrollo profesional existentes normativas no consideran en la mayora de los casos las caracte-

rsticas profesionales y laborales de los docentes (edad, antigedad, especialidad; caractersticas y problemas de
alumnos y escuelas: rural, urbano, indgena, migrante; tipo de contratacin, horarios).
Los formadores de docentes no estn capacitados, no tienen un perfil deseable para su labor, y en gran medida no
forman parte de la estructura de las instituciones encargadas de la FC, pueden no recibir incentivos ni monetarios
ni de apoyo en sus labores frente a grupo cuando son maestros invitados como capacitadores.
Los contenidos de los cursos, talleres o diplomados nacionales responden a prioridades limitadas, generalmente
ligadas a las reformas educativas. Los contenidos se aprecian como lejanos, tericos y sin relacin con la prctica,
con falta de pertinencia y especificidad a la compleja heterogeneidad de problemas y necesidades de aulas, escuelas
y regiones. Pocos programas son diseados para la atencin de problemticas, como la enseanza de las matemticas o la estrategia de tutora.
La infraestructura y servicios de las instituciones encargadas de la FC son insuficientes e inadecuadas. Los recursos
no siempre alcanzan para la distribucin de materiales entre todos los docentes.

A partir de estos hallazgos, algunas preguntas y temticas para el desarrollo de indicadores son:

Cuenta el sistema educativo con formadores de docentes capacitados para impartir actividades de FC?

Perfil profesional de los formadores habilitados para impartir actividades de FC.

Los reportes de los estudios contienen una definicin mayor de elementos claves para el desarrollo de indicadores; sobre ellos se preparan materiales
para su publicacin en 2015.

Cuntas escuelas requieren mayor apoyo para la FC de sus docentes? Cuntos docentes tienen las caractersticas
ms favorables para involucrarse en modelos de formacin innovadores?
Nmero de escuelas pblicas que agrupan todas las caractersticas de vulnerabilidad
Perfil de los docentes que renen las condiciones para contribuir al desarrollo de modelos de FC centrados en
la escuela.
Son suficientes los recursos humanos, materiales y financieros de que dispone el SEN para la FC?

Caractersticas de los centros de maestros


Perfil profesional del personal adscrito a los centros de maestros

Cuntos docentes obtienen resultados satisfactorios en las evaluaciones sobre los contenidos de las actividades de FC?
Porcentaje de docentes segn nivel de desempeo en el dominio de los contenidos de las actividades de FC.

BIBLIOGRAFA
Backhoff y Prez-Morn (Coords.) (2015). Segundo Estudio Internacional sobre la Enseanza y el Aprendizaje (Talis 2013).
Resultados de Mxico. Mxico: SEP-INEE.
Cmara Cervera, Gabriel (2010). Un cambio sustentable. La comunidad de aprendizaje en grupos de maestros y alumnos
de educacin bsica. Perfiles educativos, vol. XXXII, No. 130. IISUE-UNAM, pp. 122-135.
Day, Christopher; Stobart, Gordon; Sammons, Pam; Kington, Alison; Gu, Qing; Smees, Rebecca and Mujtaba, Tamjid (2006).
Variations in Teachers Work, Lives and Effectiveness. Research Report RR743, Department for Education and Skills.
Darling- Hammond, L, Chung Wei, R., Adamson, F. (2010). Professional Development in the United States. Trends and
Challenges. Phase II a Three-Phase Study. National Staff Development Council and the Stanford Center for Opportunity Policy in Education as part of their multi-year study, The Status of Professional Development in the United States.
Lpez Tinajero, Natividad (1999). Los centros de maestros en Japn. Una alternativa para asegurar la actualizacin permanente de los docentes. Revista Latinoamericana de Estudios Educativos, Ao/Vol. XXIX, primer trimestre, No. 001.
Pp. 93-116.
Martnez Martn, M. (2001). El contrato moral del profesorado. Mxico: SEP, 1era reimpresin.
Martnez, F.; H, Robles; J. M. Hernndez; L. Zendejas y M. Prez (2007). Propuesta y experiencias para desarrollar un sistema nacional de indicadores educativos. Mxico, D.F., INEE.
Morduchowicz, A. (2006). Los indicadores educativos y las dimensiones que los integran. Buenos Aires, IIPE-UNESCO. Recuperado el 13 de febrero de 2014 de http://www.iipe-buenosaires.org.ar/_pdf/documentos/indicadores_educativos.pdf
SEP (2012). Sexto informe de labores. Secretara de Educacin Pblica. Mxico: Autor.
Vezub (2010). El desarrollo profesional docente centrado en la escuela. Concepciones, polticas y experiencias. UNESCO,
International Institute for Educational Planning.
Yurn, Mara Teresa; Cecilia Navia y Cony Saenger (coords.) (2005). Ethos y autoformacin del docente. Anlisis de dispositivos de formacin de profesores. Barcelona: Pomares.

Nociones que privilegian los instrumentos


utilizados para la evaluacin de
la docencia universitaria por los estudiantes:
aportes para transformarlos
en fuentes adecuadas de informacin
13 de marzo de 2015

Nociones que privilegian los instrumentos


utilizados para la evaluacin de
la docencia universitaria por los estudiantes:
aportes para transformarlos
en fuentes adecuadas de informacin
Juan Vicente Ortiz Franco
Director del Centro de Evaluacin de la Fundacin Universitaria Los Libertadores
Colombia
Calle 147C No. 98-15 Bogot-Colombia, Tel. 7530974
misjuanes2000@yahoo.es

PALABRAS CLAVE. Evaluacin, Docencia, Evaluacin de la Docencia, Instrumentos, Concepciones.

Resumen

Uno de los soportes que involucra la concepcin y prctica de la evaluacin en el mbito de la educacin, es la tarea
de seleccin, recogida, procesamiento, anlisis y socializacin de informacin vlida, confiable y oportuna, orientada a contribuir con la transformacin y mejoramiento del desempeo docente; ello requiere la construccin de
instrumentos concordantes con las concepciones de docencia y evaluacin planteadas en proyectos educativos.
Sin embargo, en el contexto universitario colombiano, se estructuran descontextualizadas e improvisadas, afectando la toma de decisiones y el mejoramiento de las prcticas docentes.
Esta investigacin indaga sobre los atributos incluidos en 13 instrumentos utilizados para evaluar el desempeo
de profesores en igual nmero de universidades, identificando competencias que se privilegian, nociones de docencia y correspondencia con los presupuestos tericos que soportan los proyectos evaluativos de las universidades.
En los instrumentos, se identifican referentes tericos de docencia, evaluacin, nociones, atributos e intencionalidades. Los resultados fueron procesados con tablas de frecuencia, dispersin y comparaciones con prueba chi
cuadrado; posteriormente, mediante un enfoque analtico, crtico, contrastativo, se identifica el nivel de coherencia con propuestas actuales para una docencia renovada, expuesto en el espacio europeo de la educacin superior,
las nociones de competencias de Perrenoud, P. (2004) y Zabalza, M. (2003), Tobn, S. (2008). Se encontr en los
resultados, que concepciones de docencia y evaluacin de docencia difieren entre instituciones, no estn contextualizadas en proyectos educativos, faltan derroteros sobre atributos para evaluar la docencia, coherencia entre lo
plasmado en instrumentos y concepciones de buena docencia. La evaluacin tiene carcter sancionatorio.

INTRODUCCIN
La evaluacin de la docencia universitaria en Colombia es una prctica impulsada en los ltimos veinte aos por las exigencias de la Ley 30 de 1992, de Educacin Superior; el Decreto 1295 de 2010 sobre condiciones bsicas de calidad de
las universidades y lineamientos para la acreditacin de programas del Consejo Nacional de Acreditacin y supeditada
a exigencias de organismos de control y vigilancia del estado propuestos desde la Constitucin de 1991, distante de
ser prctica propia, autnoma, concordante con el sentido de reflexin y construccin propias de la universidad. Esta
carencia repercute en la estructuracin de proyectos evaluativos y en la construccin de sus instrumentos con visin
de transformacin pedaggica, coherentes con lineamientos misionales de las universidades que dificultan acciones de
mejoramiento. Profundizar en prcticas de evaluacin de la docencia, indagar sobre qu marcos de discusin terica se
llevan a cabo, la manera como se entiende la evaluacin, intencionalidades, y cmo responden los instrumentos utilizados
en la recoleccin de informacin desde estudiantes, es un ejercicio requerido por los proyectos universitarios y tendencias de docencia contempornea.
La evaluacin como prctica permanente, segn Gimeno, J. (1996:334), es una actividad en la cultura institucional,
que se desarrolla siguiendo prcticas con mltiples funciones; se apoya en ideas y maneras de realizarla y se enmarca en
usos e intencionalidades. Roa Varelo, A. (2004:4), afirma que una cultura evaluativa en el interior de las instituciones, facilita asumirla y legitimarla por cada integrante de la comunidad universitaria, como mediacin til para la administracin
y realizacin de procesos acadmicos y administrativos. As, considerarla como una organizacin que aprende, conlleva,
segn Gairn, J., en su artculo Cambio de cultura y organizaciones que aprenden de la Revista Educar No. 27 (2000:37),
entenderla como: aquella que facilita el aprendizaje de todos sus miembros y continuamente se transforma a s misma;
el aprendizaje es la base fundamental de la organizacin; el desarrollo institucional se fundamenta en la persona y en su
capacidad para incorporar experiencias y potencialidades.
La indagacin se concentra sobre 13 instrumentos suministrados por las instituciones, para recoger la evaluacin
desde estudiantes sobre desempeo docente, fundamentando que los instrumentos reflejan la identidad pedaggica,
tanto en la forma en que estn planteados, como en rasgos del profesor, que se asocian con el buen desempeo. Investigaciones realizadas por Medley y referenciadas por Garca Garduo, J.M. (2008:40, 48 compilado por Rueda Beltrn, M.),
sobre el desarrollo de la investigacin en el campo de la evaluacin de la docencia, la relaciona en Estados Unidos, con
rasgos personales y habilidades en el desempeo del profesor y el uso a comienzos de 1980 de instrumentos centrados
en el dinamismo del profesor, preparacin del tema, criterios de evaluacin, puntualidad y asistencia, respeto a los alumnos, dominio de la materia, motivacin general al estudiante y cumplimiento del programa.
Luna y Torquemada en su artculo Evaluacin de la Docencia Universitaria (2008:75 compilado por Rueda Beltrn, M),
identifican el modelo de enseanza que evidencian los cuestionarios y las intencionalidades plasmadas en ellos. Las
autoras muestran resultados sobre anlisis de instrumentos a partir de la opinin de docentes y estudiantes, as como
la efectividad de medirla, es uno de los campos que ha tenido amplia dinmica investigativa en la educacin superior.
Plantean que la mayor controversia tiene que ver con la manera como se jerarquizan las dimensiones de la evaluacin
de la docencia y el modelo pedaggico presente en los instrumentos. Garca Garduo, J.M. (2000:46 compiladores Rueda
Beltrn, M. y Daz Barriga, F), en su artculo Las dimensiones de la efectividad docente, validez y confiabilidad de los
cuestionarios de evaluacin de la docencia, encontr que cuando se evala su efectividad, el mayor peso se confiere al
aprendizaje logrado en el curso; observ coincidencias al momento de disear el instrumento, sobre atributos de docencia, a saber: claridad del profesor, planeacin y organizacin del curso, logro de objetivos y beneficios en el aprendizaje.
No se encontr relevante en los instrumentos sobre dificultad del curso, uso de ayudas didcticas, frecuencia y calidad de
la retroalimentacin. Murillo Torrecillas, J. (2007:103), resalta ocho procedimientos para la obtencin de informacin en
la evaluacin externa de los desempeos de los profesores: observaciones de aula, cuestionarios y entrevistas a docentes,
informes de direccin del centro, cuestionarios dirigidos a estudiantes, pruebas estandarizadas, portafolio del profesor,
pruebas de rendimiento a los alumnos y procedimientos de autoevaluacin.
Los hallazgos muestran variabilidad de caractersticas que se pueden incorporar en instrumentos, concordantes con
intencionalidades de la evaluacin y soportes sobre desempeos docentes, privilegiados en el modelo de evaluacin de
las instituciones.
3

Para identificar nociones destacadas en los instrumentos, se aplic al anlisis un enfoque Cualitativo, Analtico y Crtico, involucrando tres estrategias: primera; anlisis casustico intrainstitucional, describe caractersticas y componentes
de los instrumentos utilizados en cada universidad; semejanzas y diferencias entre atributos, nociones y prcticas de
evaluacin expresadas por 517 estudiantes y 217 profesores, propuestas observadas por autoridades universitarias en
documentos oficiales; segunda, contrastacin de resultados entre instituciones, denominada casustico interuniversitario
y tercera, tratamiento crtico valorativo, para observar coherencias entre prcticas institucionales de evaluacin, incorporadas en instrumentos y demandas actuales. Como resultado, se proponen alternativas orientadas a asumir la construccin tcnica de instrumentos, para transformarlos en estrategias de mejoramiento de la docencia. Daz Barriga, A.
(2013:157) afirma: se trata de avanzar en la medicin, ms all de ser referente nico y sostn del discurso relacionado
con la evaluacin, hacia un recurso y una fase que sirve de soporte al anlisis de la informacin sistematizada.

DESARROLLO
1. Referentes Metodolgicos
El universo para el levantamiento de la informacin, estuvo conformado por 17 universidades, 13 de ellas facilitaron
instrumentos utilizados para evaluar desempeos docentes por estudiantes; la informacin oficial de las instituciones
acerca de los sustentos epistmicos en las cuales respaldan sus prcticas de evaluacin de la docencia y cmo las reflejan
en las polticas y acciones en el campo, fue compilada por 15 autoridades universitarias que corresponden a los Vicerrectores Acadmicos o pares con igual funcin.

2. Procedimiento Estadstico
Caractersticas y dimensiones fueron analizadas mediante procedimiento descriptivo, obteniendo tablas de frecuencia
para variables de tipo categrico y medidas descriptivas: tendencia central, dispersin y forma para variables de tipo
cuantitativo. Se realizaron anlisis comparando prcticas, concepciones y percepciones segn el tipo de universidad,
gnero, tamao de la institucin, ubicacin, programa y participantes. Estas comparaciones se llevaron a cabo mediante
la prueba chi cuadrado, a partir de la respuesta a atributos de estudiantes, profesores; expresados en documentos institucionales y en componentes de instrumentos utilizados para evaluar desempeos docentes. Se presentaron comparaciones estadsticamente significativas, las que registraron un nivel menor o igual a 0,05. Para el procesamiento de la
informacin se utiliz el paquete estadstico SPSS versin en 15.0.
Se adelant comparacin entre atributos de buena docencia, intencionalidades de la evaluacin contenidos en documentos oficiales e instrumentos de evaluacin. Para establecer el acuerdo entre tipos de respuesta dados en instrumentos, se observ relacin en lo expresado por diferentes actores, teniendo en cuenta el porcentaje de aciertos. Las categoras comunes de anlisis, concentraron habilidades, aptitudes y otras caractersticas que debe tener un buen profesor
para ejercer la docencia.

3. Resultados

Las dimensiones que se indagan con mayor peso porcentual, corresponden a dominio de estrategias pedaggicas y didcticas (46.1%) equivalente a 149 preguntas sobre dicho atributo, de 323 formuladas en 13 instituciones; en segundo lugar,
se enfatizan rasgos personales que deben tener los profesores (22.6%) y 73 preguntas sobre este atributo; como tercera
dimensin, dominio de la disciplina (12.7%) y 41 preguntas y en la categora de otros rasgos, (8%), 19 caractersticas y
26 preguntas. Con reducido peso porcentual (0.9%), el manejo de nuevas tecnologas, poseer habilidades comunicativas,

identidad del profesor con su institucin (1.2%) con cuatro preguntas. Se confiere menor trascendencia al nfasis en valores y principios ticos del profesor (3.4%), 11 preguntas, a la capacidad de compromiso y servicio (4%) y 13 preguntas.
Los atributos segn subdimensiones, se agruparon en nueve categoras, la ltima corresponde a otros, con un total de
226. El mayor peso se observa en rasgos personales, en atributos que tienen que ver con relaciones amistosas y respetuosas estudiantes y profesores, cumplimiento y puntualidad (4.86%). La segunda categora, dominio de estrategias pedaggicas y didcticas, evidencio el mayor nmero de preguntas en los instrumentos y corresponden con uso de metodologas
y didcticas adecuadas a los ritmos de aprendizaje (4.42%), al igual que brindar retroalimentacin a la evaluacin. En
esta misma, se encuentra el uso de estrategias evaluativas pertinentes y justas y la preparacin, secuencia y entrega del
desarrollo temtico, con nueve preguntas (3.98%). Se referencia en nueve preguntas (3.54%) el conocimiento y dominio
de la asignatura del profesor, que corresponde a la dimensin del dominio disciplinar, crear ambientes propicios para el
aprendizaje, incentivar la participacin del estudiante en la construccin del conocimiento, buscar coherencia entre la
evaluacin, propsitos y temas de aprendizaje y avanzar en el contenido de acuerdo con lo programado. Finalmente, en
siete preguntas de los cuestionarios, (3.10%), se incluye cumplir con la programacin y entrega de evaluaciones, utilizar
recursos y experiencias disponibles para facilitar el desarrollo de los temas.
Se evidenci en los resultados, una mayor inclinacin porque los instrumentos verifiquen, especialmente, el cumplimiento y puntualidad, conocimiento y dominio de la asignatura, uso de metodologas y didcticas adecuadas y especialmente acatamiento de normas institucionales para la entrega de evaluaciones.
En el conjunto de los instrumentos, se prefiere incluir preguntas relacionadas con las relaciones amistosas y respetuosas, cumplimiento y puntualidad, dominio de la asignatura, uso de metodologas y didcticas adecuadas, brindar retroalimentacin a la evaluacin, uso de estrategias evaluativas pertinentes y justas, preparacin, secuencia y desarrollo
temtico, el avanzar en contenidos de acuerdo al programa, ser coherente entre fines de aprendizaje y mecanismos de
evaluacin, incentivar la participacin del estudiante y crear ambientes propicios para el aprendizaje. Sobre estos rasgos,
descansa el contenido de los instrumentos evidenciando que reviste un reducido inters indagar aspectos sobre identidad
institucional, el compromiso que se genere en el estudiante con la profesin, los valores y principios ticos del profesor,
las habilidades comunicativas que tenga para el desarrollo del proceso de enseanza, ni el manejo de nuevas tecnologas.

CONCLUSIONES
1. No se evidencia cmo las prcticas evaluativas en las instituciones del estudio, respondan a posturas claras y definidas en documentos sobre lineamientos que guan el quehacer universitario; se encontr desarticulacin entre prcticas evaluativas, atributos privilegiados como de buena docencia en los instrumentos y las nociones de educacin y
docencia; aparecen tmidamente aproximaciones a enunciados de lo entendido y asumido como buenas prcticas, en
objetivos planteados en el diseo de instrumentos de evaluacin. Estos hallazgos muestran debilidades al estructurar
proyectos de evaluacin del desempeo de la docencia, puesto que si no se identifica qu es docencia, cmo tiene
apropiado el concepto de evaluacin y cules son los atributos que se asumen como de buena docencia, difcilmente
se pueden construir proyectos de evaluacin e instrumentos confiables y coherentes con la postura que sobre educacin tenga la institucin. En este sentido, se requiere replantear la necesidad de innovar los modelos de evaluacin,
para mejorar la docencia universitaria.
2. Se evidenci la ausencia en los instrumentos de las 13 universidades de preguntas que antecedan a los proyectos
evaluativos a saber: para qu se evala, qu se evala, quin debe adelantar la evaluacin, cmo debe hacerse el proceso, en qu momento, quines son los usuarios de la evaluacin, a travs de qu medios se recoge la informacin. Sin
estos referentes, se muestra cmo la evaluacin de la docencia adolece de los elementos tcnicos, metodolgicos y de
personal formado. Se evidenci el inters por respaldar decisiones de carcter sancionatorio, como la continuidad de
los profesores y menos por la efectividad de los procesos docentes desarrollados. Los instrumentos deben entenderse como medios para la recoleccin de informacin y no como la esencia del proceso, requieren estar soportados en
las concepciones que sobre atributos docentes identifique la institucin, como parte de un trabajo consensuado y
5

3.

4.

5.

6.

7.

construido por la comunidad universitaria y demostrar las concepciones que sobre atributos de buena docencia sean
reconocidos para plasmarlos en la construccin instrumental.
La diversidad en las maneras de entender la buena docencia desde profesores y estudiantes; las de autoridades universitarias, las explcitas en los instrumentos diseados por las instituciones, concuerdan con los planteamientos de
autores referenciados, en el sentido de la complejidad que conlleva unificar criterios frente a las caractersticas de
un buen desempeo docente, sin que ello sea bice para plantear rasgos fundamentales que debe reunir un buen
docente: manejo de estrategias pedaggicas, concordantes con las caractersticas de los estudiantes, rasgos personales compatibles con una relacin respetuosa clida entre docentes y estudiantes, que satisfaga las necesidades de
los aprendientes, dominio y actualidad del campo disciplinar que tiene bajo su responsabilidad, dominio y uso pertinente de las tecnologas de la informacin y comunicacin como recurso para hacer aprehensible el conocimiento,
capacidad para atender necesidades diferenciadas de ritmos de aprendizaje, tener disponibilidad para reflexionar
sobre su prctica, participar en el desarrollo del proyecto de la institucin, vincular a padres de familia en procesos
formativos, generar estrategias de evaluacin continua y orientada a la mejora de los aprendizajes, entre otros. Se
ratifica lo expuesto por Pablo Vain frente a que la docencia universitaria es el resultado de mltiples entrecruzamientos, implicando campos de tensin permanente acerca de la poltica el trabajo, la profesin, la enseanza, experticia
y prctica. Igualmente el abordaje de las dimensiones de competencia de Phillipe Perrenoud, Miguel Zabalza, Javier
Loredo y Frida Daz-Barriga.
Las preferencias por desarrollar prcticas evaluativas en aspectos administrativos y atributos referidos a tres dimensiones: dominio disciplinar, uso de estrategias pedaggicas y didcticas y atributos personales que faciliten relaciones adecuadas con sus estudiantes, demuestran la necesidad de involucrar nuevas dimensiones que respondan a
tendencias internacionales, como las recogidas por Perrenoud, P. y su propuesta de diez ncleos de atributos que se
involucran a las tradicionales asignadas al profesor.
El carcter confesional de las instituciones, las tendencias ideolgicas, el tipo de estudiante de acuerdo al programa
acadmico al que pertenece y la ubicacin misma de la institucin, inciden en el surgimiento de otras subdimensiones
que permiten identificar heterogeneidad en la presencia de atributos y en los cuales se privilegian condiciones particulares de las instituciones, algunas de las cuales no tienen que ver explcitamente con desempeos, reafirmando la
postura de Tenti Fanfani, E. (2006 compilador), en el sentido de que la evaluacin de la docencia debe responder al
desempeo integral concentrado en lo que es propio del oficio docente.
Los hallazgos muestran poca incidencia en acciones transformativas, orientadas al cambio, al apoyo y al acompaamiento del profesor que se esperara produzcan estos ejercicios evaluativos. El concentrarlos slo en acciones sancionatorias y en la participacin exclusiva de estudiantes, limita la triangulacin de informacin para la adecuada toma
de decisiones. Se requiere incluir otras fuentes, la autorreflexin de los profesores, la participacin de las autoridades
acadmicas y de pares colaborativos docentes, entre tantas otras formas, para enriquecer la compleja tarea de evaluacin de la docencia universitaria.
La innovacin en los procesos de evaluacin de la docencia universitaria, requiere la construccin de nuevos modelos
que formen parte de la reflexin permanente de las instituciones y no se soporten solo en los requerimientos de la
acreditacin, trazados por organismos gubernamentales y privados. Las intencionalidades y usos de los resultados,
deben concentrar el esfuerzo de las instituciones y orientar la evaluacin a la implementacin de acciones transformativas del proyecto universitario.

REFERENCIAS BIBLIOGRFICAS
Daz Barriga, A. (2013). Didctica y Currculum. Paids Educador. Mxico.
Gairn, J. (2000). Cambio de Cultura y organizaciones que aprenden. Revista Educar No.27, p.31-85, Departamento de
Pedagoga Aplicada, Universidad Autnoma de Barcelona, Espaa.
Gimeno Sacristn, J., Prez Gmez, A. (1996). Comprender y transformar la enseanza. Editorial Morata, Espaa.
Loredo Enrquez, J. (2000). Evaluacin de la Prctica Docente en Educacin Superior, Universidad Anhuac. Editorial
Porra, Mxico.
Murillo Torrecilla, J. (2007). Evaluacin del desempeo y carrera profesional docente. OREALC-UNESCO, estudio comparado entre 50 pases de Amrica y Europa, 2 edicin, Andros Impresores, Chile.
Perrenoud, P. (2004). Diez Nuevas Competencias para Ensear. Editorial Grao, Barcelona, Espaa.
Roa Vrelo, A. (2004). Hacia un modelo de aseguramiento de la calidad en la educacin superior en Colombia: estndares
bsicos y acreditacin de excelencia. http://www.cna.gov.co/1741/articles-186502_doc_academico8.pdf, noviembre 15,
2014.
Rueda Beltrn, M. (2008). Compilador. La evaluacin de los profesores como recurso para mejorar su prctica. Instituto
de Investigaciones sobre la Universidad y la Educacin, Universidad Autnoma de Mxico. Editorial Plaza y Valds,
Mxico D.F.
Rueda, M. y Daz Barriga, F. (2000). Compiladores. Evaluacin de la Docencia: Perspectivas actuales. Editorial Paids,
Mxico.
Tenti Fanfani, E. (2006). Compilador El Oficio de docente: Vocacin, Trabajo y Profesin en el Siglo XXI. Editorial Siglo
XXI, Buenos Aires-Argentina.
Tobn, S. (2008). Formacin basada en competencias. 2 edicin, Editorial Ecoe, Bogot, Colombia.
Vain, P. (2004). La Evaluacin de la Docencia Universitaria: Un problema complejo. Universidad Nacional de Misiones.
Buenos Aires, Argentina.
Zabalza, M.. (2003). Competencias docentes del profesorado universitario Narcea Ediciones, Madrid Espaa.

Factores contextuales del desempeo


docente, desde la perspectiva
de los evaluados
13 de marzo de 2015

Factores contextuales del desempeo


docente, desde la perspectiva
de los evaluados
Dra. Claudia Navarro Corona
Doctora en Ciencias Educativas, Instituto Nacional para la Evaluacin de la Educacin, Mxico
cnavarro@inee.edu.mx
Dra. Yolanda Edith Leyva Barajas
Doctora en Educacin, Instituto Nacional para la Evaluacin de la Educacin, Mxico
yleyva@inee.edu.mx

Mtra. Marina Fernanda Gonzlez Nava


Maestra en Anlisis Experimental de la Conducta, Instituto Nacional para la Evaluacin de la Educacin, Mxico
mfgonzalez@inee.edu.mx
PALABRAS CLAVE: Contexto, Evaluacin docente, Mxico.
EJE TEMTICO: Modelos y polticas de evaluacin de docentes y de directivos escolares (opinin y perspectivas
de los sujetos evaluados considerando contextos de diversidad sociocultural).

Resumen

En 2013 se aprob en Mxico la Ley General del Servicio Profesional Docente (LGSPD), en la que se establece
la evaluacin del desempeo docente y se mandata la consideracin del contexto, de acuerdo a distintos fines:
(1) la caracterizacin de las condiciones en las que la prctica docente se realiza, (2) la identificacin de marcos contextuales para las que se requieren competencias docentes especficas y (3) la consideracin del contexto
para la comprensin de los resultados de la evaluacin y (4) la incorporacin del contexto, como derecho de los
evaluados, a los procesos de evaluacin. El cumplimiento de estos fines requiere una definicin del concepto y la
identificacin de factores incidentes en la prctica.
A partir de la consulta en grupos focales a profesores de los niveles preescolar, primaria, secundaria y media
superior, el presente trabajo identifica los factores que desde la opinin de los evaluados, inciden en el desempeo
docente. Como resultado se identificaron factores que describen cuatro tipo de condiciones: del entorno, familiares, institucionales y de los alumnos. Siguiendo la postura Austin (2000) para la comprensin del contexto de
Austin (2000), se presenta un modelo conceptual derivado de las aportaciones de los profesores participantes que
es til como base para la definicin del contexto del desempeo docente.

INTRODUCCIN
En 2013 se aprob en Mxico la Ley General del Servicio Profesional Docente (LGSPD), misma que tiene por objeto: (I)
regular el Servicio Profesional Docente (SPD) en la educacin bsica y media superior (MS); (II) establecer los perfiles,
parmetros e indicadores; (III) regular los derechos y obligaciones derivados del SPD, y (IV) asegurar la transparencia y
rendicin de cuentas en el SPD (DOF, 2013, Art. 2).
En concordancia con las recomendaciones de la OCDE (2010), la LGSPD establece la evaluacin docente con propsitos de ingreso, promocin, reconocimiento y permanencia de los profesores al SPD (DOF, 2013, Art. 7). Quienes desempeen tareas docentes, de direccin o supervisin deben reunir las cualidades personales y competencias profesionales
para que dentro de los distintos contextos sociales y culturales promuevan el mximo logro de aprendizaje de los educandos (DOF, 2013, Art. 12).
La misma Ley establece que para alcanzar los propsitos, los perfiles establecidos deben permitir identificar caractersticas bsicas de desempeo del personal del SPD en contextos sociales y culturales diversos, para lograr resultados
adecuados de aprendizaje y desarrollo de todos en un marco de inclusin (DOF, 2013, Art. 14, III). Adicionalmente, las
consideraciones sobre el contexto en los procesos de evaluacin, tambin representan un derecho de los sujetos evaluados: la LGSPD estipula que quienes participen en el SPD tendrn como derecho que durante el proceso de evaluacin sea
considerado el contexto regional y sociocultural (DOF, 2013, Art. 68, Fracc. VI).
En este tema y de manera particular, el Instituto Nacional para la Evaluacin de la Educacin (INEE) tiene la encomienda de planear y supervisar la realizacin de evaluaciones del trabajo docente y directivo, que consideren la diversidad de
contextos socioeconmicos, culturales y escolares en los que ste ocurre (INEE, 2013a, art. 66, Fracc. I). Asimismo, las
Autoridades Educativas, en el mbito de su competencia, deben proponer al Instituto criterios de contextualizacin que
orienten el diseo y la interpretacin de las evaluaciones (INEE, 2013b, Art.15, Fracc.V).
En este marco normativo se vislumbra que el tema del contexto tiene distintos fines: (1) la caracterizacin de las condiciones en las que la prctica docente se realiza, (2) la identificacin de marcos contextuales para las que se requieren
competencias docentes especficas, (3) la consideracin del contexto para la comprensin de los resultados de la evaluacin y (4) la incorporacin del contexto, como derecho de los evaluados, a los procesos de evaluacin. El cumplimiento de
estos fines requiere una definicin del concepto y la identificacin de factores incidentes en la prctica.
La presente ponencia expone resultados parciales de los estudios desarrollados en la Direccin General de Evaluacin
de Docentes y Directivos del INEE. El antecedente es la aplicacin de una encuesta en lnea durante junio y julio de 2014,
y la posterior validacin de resultados mediante distintos grupos focales con profesores de diferentes niveles (preescolar,
primaria, secundaria y media superior) y tipos educativos (preescolar, primaria, secundaria y media superior), realizados
en nueve estados de la repblica: Nayarit, Yucatn, Sinaloa, Durango, Baja California, Puebla, Jalisco, Chiapas y Nuevo
Len. En tales sesiones, los temas discutidos fueron el perfil docente y los instrumentos de evaluacin; sin embargo, los
docentes tambin expresaron las dificultades que enfrentan en su desempeo docente. El objetivo del presente trabajo es
identificar los factores de contexto que, desde la perspectiva de los profesores, inciden en el desempeo docente.

DESARROLLO
El concepto de contexto

El contexto es considerado una lnea de estudio de la investigacin educativa sobre eficacia escolar, al igual que los resultados escolares, el trabajo docente y directivo. Para Fernndez (2004) y Fernndez, Benegas y Blanco (2004) el concepto
representa las condiciones externas al objeto evaluado y que lo influyen. Desde una perspectiva sociolgica, el contexto
refiere al entramado o tejido de significados provenientes del entorno (Austn, 2000). Dado que dicho entramado no es
inamovible y que la delimitacin del concepto est en funcin del objeto de inters, su significado no es esttico (Fernndez y otros, 2004). El concepto tampoco es monoltico; se compone de distintas dimensiones o niveles (Fernndez, 2014;
Fernndez y otros, 2004; Canales, Leyva, Luna y Rueda, 2014; Jornet, Gonzlez y Snchez, 2014).

Jornet y otros (2014), sostienen que existen dos niveles al considerar el contexto del desempeo docente. Uno es el
saln de clases, ste incluye al alumnado, la infraestructura y los materiales. Otro es el contexto institucional; incluye el
centro escolar y el sistema educativo. Adicionalmente refiere dos contextos sociales: el inmediato, que refiere el nivel socioeconmico, la estructura social y de convivencia, y la estructura econmica de las familias que componen la poblacin
atendida por la escuela; y el mediato, que refiere las caractersticas poblacionales socioeconmicas y culturales del pas
en general o de la regin.
Canales y otros (2014), estructuran el contexto en tres niveles, que se circunscriben a las condiciones internas del
aparato educativo. El nivel micro incorpora los elementos y condiciones del aula que son inmediatos a la prctica y que
influyen directamente en el desempeo. El meso incluye los elementos institucionales que configuran las condiciones
de trabajo del docente, como son las normas que regulan la actividad docente, los programas en los que participan,
entre otros. Por ltimo, el nivel macro integra las polticas nacionales e internacionales que orientan los propsitos de
la educacin.

Mtodo
De acuerdo con Austin (2000), estudiar el contexto en el que ocurre cualquier fenmeno de inters para la investigacin,
implica dos niveles de comprensin. El primero, requiere de la definicin de las condiciones que enmarcan el objeto estudiado; esto es la identificacin de elementos que integran el concepto. El segundo, es la medicin en funcin de tales
elementos; este paso supone decisiones metodolgicas que slo proceden una vez que se haya delimitado la definicin
del concepto. As, para posibilitar la comprensin del contexto en la que se realiza el desempeo docente, se requiere la
definicin del concepto. Con este fin se llevaron a cabo grupos focales en nueve estados de la repblica mexicana, del 25
de septiembre al 10 de octubre de 2014. Los participantes fueron contactados mediante las autoridades educativas estatales. En cada entidad participante se integraron cuatro grupos focales, uno con cada nivel educativo desde preescolar
hasta media superior. Cada grupo se compuso por, al menos, diez docentes. Se procur que al menos la mitad fueran mujeres, que cinco tuvieran menos de tres aos de experiencia y cinco, ms de diez; que provinieran de distintas regiones de la
entidad y que al menos tres trabajaran en reas rurales. En total, participaron 93 docentes de preescolar, 92 de primaria,
93 de secundaria y 84 de media superior. Todos los grupos fueron audio grabados y transcritos.
La discusin de los factores contextuales en los grupos focales se considera un tema emergente, ya que la discusin
estuvo basada en un guion que indagaba la percepcin de los participantes sobre el perfil docente y sobre la pertinencia
de diversos instrumentos y tcnicas de evaluacin; 1 por tanto, la primera fase consisti en seleccionar las unidades
de anlisis por ncleos de significado (Porta y Silva, 2003). En esta tarea participaron tres analistas.2 Siguiendo las
recomendaciones de Woods (2010), cada una revis el corpus de un nivel educativo e identific estructuras iniciales de
organizacin de la informacin. Luego, estas estructuras fueron revisadas y comparadas: Las estructuras contenan
temas nombrados con distintos significantes, pero, con el mismo significado. Esta regularidad permiti definir una
estructura general que guiara la seleccin de los fragmentos a analizar bajo un esquema que integrara cuatro tipo de
condiciones: locales, familiares (del alumno), institucionales y del alumno.

En la segunda fase las cuatro condiciones fueron tomadas como categoras. Se revis el contenido de cada una y
se verific que las unidades hubieran sido clasificadas adecuadamente. Posteriormente, se realiz una categorizacin
abierta. De acuerdo a los planteamientos de Mayring (2000), Strauss y Corbin (2002), se procur que los cdigos fueran
excluyentes y apegados a la informacin proporcionada por los participantes. Finalmente se realiz una codificacin axial
en la que se identificaron relaciones entre las categoras o entre los cdigos.
El tema del contexto fue tratado en mayor profundidad en la investigacin realizada en la Direccin General de Directrices para la Mejora Educativa,
quienes organizaron grupos de discusin especficos para este fin.
2
Mtra. Leticia Pelcastre Villafuerte, Mtra. Susana Quinto Simn, Lic. Ariana Fragoza Gonzlez.
1

El contexto del desempeo docente


Los participantes concuerdan con Jornet y otros (2014) y Canales y otros (2014) en que la prctica docente es incidida
por factores contextuales de diferente naturaleza. Estos son de carcter interno y externo al sistema educativo y se encuentran interrelacionados. Adems, unos se configuran a partir de la presencia de otros: aqu se describen brevemente
y se ejemplifican a partir de las expresiones de los docentes.

Condiciones del entorno local


Las caractersticas socioculturales (28-menciones) son el factor mayormente referido. De acuerdo con los participantes, somos productos de una crianza (Jalisco-preescolar); por tanto, todo lo que tengan los nios dentro del aula viene
de afuera (Sinaloa-primaria).
Si bien, los componentes de este factor no son planteadas de forma especfica, los profesores expresan que las costumbres, la ideologa, las prcticas, la lengua y los cdigos de comunicacin de la comunidad deben ser consideradas por
incidir en el proceso de enseanza. De acuerdo con los profesores no es lo mismo trabajar en la ciudad que trabajar all
[comunidad rural], no tienen las mismas ideas ni los mismos conceptos los nios, ni piensan igual (Nayarit-primaria),
por lo que si ests en una comunidad indgena cmo te vas a comunicar?, o en un contexto marginal conoces los cdigos de comunicacin que hay ah con los padres? (Durango-preescolar).
Las condiciones climticas (8-menciones) son referidas como factor en estados con tener temperaturas extremas
o desastres climatolgicos. Los docentes expresan que tales condiciones no suelen ser consideradas en los procesos de
evaluacin, aun cuando en algunas regiones llegan a interferir en el desarrollo de las actividades escolares. El calor
() si se descompone el aire acondicionado o si se fue la luz, eso causa un imprevisto en mi clase que altera mi situacin
(Sinaloa-preescolar). El huracn Manuel nos destruy. Inund nuestro jardn (). Los paps no nos llevaban a los nios
porque la barda [est destruida]. Estamos a nivel de carretera, se nos metan animales y todo, y no nos llevaban a los nios
(Sinaloa-preescolar).
El da que fueron a aplicar el examen a los nios call un tormentn horrible. De tener 45 a 50 nios, tuvimos 10
alumnos en un saln, 5 en otro. La [persona] que fue a aplicar el examen dijo: si no tienen 25 [alumnos] no hay
evaluacin para el maestro () Qu va a pasar con esos maestros [que no fueron evaluados]? (Jalisco-primaria).

Los servicios disponibles en la localidad y la distancia de otras comunidades (3-menciones), son referidos como
elementos que obstaculizan el desempeo docente. Sucesos especficos son narrados para ejemplificar:
Por ejemplo, en mi comunidad [], los maestros les dejan actividades en donde ellos [los estudiantes] pueden utilizar
las tecnologas de la informacin; pero tiene que dejrselas, no s 15 o 20 das antes para que ellos puedan hacerlas
(). La lejana de las comunidades para llegar al municipio y hacer las actividades (). Pierden toda la tarde o se van
a otro lado porque no hay transporte para que regresen a sus comunidades (Puebla-Ms).

Condiciones familiares del alumno

El apoyo y acompaamiento en casa a la educacin de los hijos (22-menciones), se integran hbitos que promueven
el aprovechamiento, por ejemplo la lectura el hbito tiene que fortalecerse mucho por parte de los paps, pero si los
paps no leen, no saben leer, qu inters pueden tener en que los hijos puedan leer junto con ellos?(Sinaloa-secundaria)
y la falta de acompaamiento de los padres en el proceso educativo. Los profesores afirman que nunca hay colaboracin
con padres de familia, no hay un plan para () para que ese nio vaya avanzando (Nayarit-secundaria).
En la convivencia familiar (19-menciones) los docentes enfatizan las interacciones que los estudiantes mantienen
con otros miembros de la familia como un componente que afecta el logro de los estudiantes y que dificulta el desempeo

docente: No puedes evaluarme a m cuando t no sabes si ella [una alumna] tiene pap y mam, si es de familia divorciada. Cmo me pides un estndar educativo en el saln si no conoces a mi grupo? (Puebla-preescolar). Ahora hay muchos
padres divorciados lleg el pap, golpe a la mam y el nio viene psicolgicamente no en buenas condiciones [sic],
tiene que estar consciente el maestro (Sinaloa-primaria).
El factor estrato socioeconmico familiar (4-menciones) integran tanto la condicin econmica en s misma, como
las actividades econmicas a las que la familia se dedica:
Tenemos alumnos hijos de personas que se dedican a actividades ilcitas, otro tambin de campesinos, de vaqueros,
de agricultores o campesinos, y eso hace que el entorno del alumno no sea en las mismas condiciones que el que tiene qu
comer en su casa, que abre el refrigerador (Sinaloa-secundaria).

Condiciones institucionales
La escasez de recursos, materiales y condiciones del plantel (58-menciones) es referida por los docentes de todos los
niveles. Las malas condiciones de las instalaciones son referidas como el principal obstculo para el desempeo docente
ptimo: las condiciones de mi plantel no son las adecuadas para poder dar un servicio de calidad (Nuevo Len-MS),
refieren que la SEP no te satisface [las necesidades] en el momento a largo plazo haces la gestin hoy y te llega en
tres aos (Nayarit-preescolar). Ejemplifican que cuando no es un tubo, se fue la luz, la subestacin ya no sirve, mil
cosas (Sinaloa-preescolar). En mi saln no hay clima, no hay aire, no hay nada, est muy caliente, a los nios se les baja
la presin! (Nuevo Len-secundaria).
Tambin se refiere la falta de recursos para el sostenimiento cotidiano, de mobiliario y de materiales para la enseanza: tampoco podemos obligar a un estudiante a ir sin sillas y sentarse en el piso (Nuevo Len-MS). Hay algo que ahora
est perjudicndonos muchsimo en secundarias: los recursos electrnicos con los que cuenta. Es un grave problema
(Durango-secundaria). No tiene los mismos recursos y ni siquiera tiene un libro(Nayarit-preescolar).
En el factor funcionamiento de la escuela y organizacin de los actores (17-menciones), los docentes expresan que
la calidad educativa no es un asunto individual de profesor no nada ms depende de m la calidad educativa, depende
de todo un sistema educativo. Habra que ver () la organizacin en cuanto las cuestiones administrativas, la cuestin de
asignacin de recursos (Sinaloa-preescolar).
Se enuncia la existencia de una estructura institucional incompleta: no tenemos () psiclogos u otro tipo de personas. Ese trabajo nos corresponde a nosotros (Jalisco-secundaria), afecta a sus hijos la falta de intendente: baos
limpios agua limpia (Nayarit-preescolar). En las escuelas que no son completas, el profe se tiene que dividir en varias
actividades: como conserje, profesor, vigilante; es decir, no hay las condiciones idneas para este profesor (Baja California-preescolar).
Respecto a la organizacin los docentes exponen la asignacin de responsabilidades, por ejemplo: te piden las cuestiones administrativas y como maestra descuidas al grupo por estar atendiendo cosas administrativas, yo hablo por m,
por mi grupo y por mi plantel (Sinaloa-preescolar); y la distribucin de los estudiantes en los turnos que imprimen
caractersticas en los grupos, por ejemplo:
a pesar de que son del mismo pueblo, a pesar de que son vecinos; como que los que se siente ms reprimidos, los que
se sienten ms pobres, los que se sienten menos protegidos son los alumnos que van en la tarde (Sinaloa-secundaria).

El factor, condiciones para la enseanza (6-menciones), integra la poca adaptacin de los contenidos programados
al contexto y el insuficiente tiempo para la clase. Los participantes refieren que en los programas vienen prcticas diferentes cosas en los materiales de los libros, () no hay en las comunidades donde nos encontramos (Durango-secundaria), o que:
Hay [programas] viejos, como mi escuela, que tiene ms de 50 aos, es una escuela tcnica donde algunas
de las carreras dejaron de ser atractivas para el empresario, es una escuela federal alejada de lo que se vive
en Monterrey y quedaron obsoletas (Nuevo Len-MS).

Particularmente los docentes de media superior indicaron que los tiempos no nos permiten aplicar alternativas
planeadas (Sinaloa-MS) ya que en una hora de 50 minutos tener que tomar asistencia me reduce mi espacio de enseanza.
Te preguntas por qu tienes que hacerlo en un espacio de 50 minutos? (Nuevo Len-MS).
El factor condiciones laborales (13-menciones) apenas se esboza de forma incipiente. Si bien, el nmero de menciones es comparable con el de otros factores, integra una variedad mayor de componentes entre los que destacan el apoyo
del director, horario de trabajo saturado, que suelen convertirse en barreras para participar en la formacin docente,
distintas polticas escolares (como la de no reprobar estudiantes) y la insuficiencia de los salarios e incentivos. Si bien,
en el anlisis se trat como un tipo de condiciones, dado el nmero de menciones y para fines de este reporte, se integra
como uno de los factores institucionales.

Condiciones de los alumnos


El factor diversidad cultural en el aula (36-menciones), referida especialmente en secundaria, integra la lengua, las necesidades y competencias para el aprendizaje e identidad. Se encontr que tenemos alumnos coras, huicholes y tepehuanos (Nayarit-secundaria); hay una influencia muy grande de los municipios vecinos que hablan lenguas maternas
y eso representa una gran dificultad para el maestro y para el alumno porque no se puede establecer una comunicacin
efectiva (Chiapas-secundara). Los usos, las costumbres, la propia identidad de nuestros alumnos que es sagrada para
ellos (Nayarit-secundaria). Los alumnos tienen diferentes ritmos de aprendizaje, diferentes capacidades (Jalisco-secundaria).
El factor hbitos escolares (13-menciones) integra la [in]asistencia e [im]puntualidad, la poca disposicin hacia la
experiencia de aprendizaje y la mala conducta y disciplina. A este respecto, los docentes dicen que si el nio de 25 das
del mes asisti dos das, pues obviamente no va a tener los mismos aprendizajes (Jalisco-preescolar). Los retardos va
deteniendo [al maestro] en el avance de sus actividades y a los alumnos tambin, a los que s asisten temprano tambin
los va limitando (Durango-primaria), que los estudiantes simplemente no quieren trabajar (), se neg a hacer la actividad, no trabaja diario (Nuevo Len-primaria). Me mandaron cuatro nios, que son los peores de toda la escuela, han
golpeado a otros (Nuevo Len-secundaria). A m me han tratado de amedrentar (). Un muchacho me quiso golpear,
tuve que detenerle la mano (Nuevo Len-secundaria).
Los alumnos trabajadores y migrantes (10-menciones), puede asociarse a la ausencia de los estudiantes en clase.
Refieren los nios se van a la pisca y dos meses no asisten a clase (Jalisco-preescolar); los alumnos trabajan y ni en un
tiempo ni en el otro van a la escuela (Yucatn-secundaria); es un lugar donde llegan muchas comunidades migrantes a
trabajar tanto en la pesca como en la agricultura (Sinaloa-secundaria).
Las condiciones de salud y alimentacin (9-menciones) se refieren como obstculos para el logro de resultados:
van al jardn sin desayunar no () asisten con toda la disposicin para aprender (Nayarit-preescolar); hay unos que
ni comen (Sinaloa-secundaria); muchas veces los muchachos no llevan ni para una torta (Nayarit-MS). Tenemos un
nio enfermo y qu hacemos con ese nio enfermo?, nos puede contaminar ah todo el grupo, toda la escuela (Durango-preescolar).

Modelo conceptual de contexto derivado de la perspectiva de los profesores


y los fines para los que se mandata la consideracin del contexto
Los factores contextuales identificados en las aportaciones de los profesores, no son enunciados de manera aislada, sino
que los participantes establecen conexiones entre los diferentes elementos que permiten la derivacin de un modelo
conceptual. Dicho modelo se esquematiza en la Figura 1.

Figura 1 Modelo conceptual de los factores de contexto del desempeo docente.

Aunque en este trabajo los diferentes factores identificados se han presentado de forma aislada, se sume que en la
realidad estos se encuentran entrelazados conformando un todo complejo; no obstante, al analizarlos desde un planteamiento conceptual se podran asociar diferentes grupos de factores con distintos fines para los que la LGSPD mandata la
consideracin del contexto.
El modelo conceptual de contexto del desempeo docente que se deriva de las opiniones de los profesores se compone de factores internos y factores externos al sistema educativo. Los primeros se organizan en dos mbitos: el de las
condiciones del aula y el de las condiciones institucionales, tanto en la escuela como en el sistema. Este mbito incorpora
elementos laborales, de organizacin, distribucin de responsabilidades, acceso a materiales y recursos, entre otros, cuya
medicin y anlisis permitira caracterizar las condiciones en las que los docentes realizan su prctica.
Los factores externos, tambin se organizan en dos mbitos: uno es el de las condiciones familiares de los estudiantes
y otro es de las condiciones del entorno local en el que se encuentran las familias y que determinan las caractersticas
del estudiantado. En este marco, los alumnos son un elemento que puede ubicarse dentro del sistema; no obstante, de
acuerdo a las relaciones establecidas en las aportaciones de los participantes, sus caractersticas son determinadas por el
entorno familiar y de la comunidad. Es posible plantear que la diversidad cultural en el aula, los hbitos de estudio de los
alumnos, la disposicin hacia el aprendizaje, los recursos que la comunidad ofrece y con los que la familia cuenta para que
los estudiantes cumplan los compromisos estudiantiles y las asignaciones escolares exigen competencias especficas de
los docentes para la prctica de su profesin. En este sentido, se plantea que el anlisis de este grupo de factores posibilita
el cumplimiento de los fines para el que se mandata la consideracin del contexto.
Finalmente, dado que en Mxico, la consideracin del contexto en los procesos de evaluacin del desempeo es, por
ley, un derecho de los docentes, se considera que el estudio y anlisis de los factores permitira esclarecer rutas para la
incorporacin del contexto en los procesos evaluativos.

CONCLUSIONES
La definicin del contexto en el que se realiza la labor docente requiere de la consideracin de diferentes factores internos
y externos al sistema educativo. En conjunto, configuran condiciones con caractersticas especficas en las que los profesores desarrollan su funcin docente: la atencin a grupos numerosos de estudiantes, la escasez de materiales y recursos,
el limitado apoyo recibido por parte de otros actores, la multiculturalidad en el aula y las limitaciones en el entorno de
la comunidad son algunos de los retos percibidos por lo profesores y que, desde su consideracin, dificultan el ptimo
desempeo de la docencia.
De acuerdo con Austin (2000), se asume que la identificacin inicial de los factores de contexto que sirven para
delimitar el concepto constituye el primer paso para su comprensin. Se requiere adems de construccin de slidos
fundamentos tericos y del desarrollo de investigaciones y estudios que ofrezcan evidencia emprica de la relacin entre
los factores que este trabajo expone y el desempeo de los docentes.
Se vislumbra que para cumplir la caracterizacin de las condiciones en las que la prctica docente se realiza, la identificacin de marcos contextuales para las que se requieren competencias docentes especficas, la consideracin del contexto para la comprensin de los resultados de la evaluacin y la incorporacin del contexto a los procesos de evaluacin
como derecho de los evaluados; fines para los que se mandata la consideracin del contexto, se requiere de un anlisis
sistemtico de tales elementos.

BIBLIOGRAFA
Austin, T. (2000). Para comprender el contexto de cultura. UNAP Educacin y Desarrollo, 1.
Canales, A., Leyva, Y., Luna, E. y Rueda, M. (2014). Condiciones contextuales para el desarrollo de la prctica docente.
Revista Iberoamericana de Evaluacin Educativa, 7 (2): 171-183.
Diario Oficial de la Federacin. (2013). Ley General del Servicio Profesional Docente. Mxico: DOF.
Fernndez, T. (2004). Distribucin del conocimiento escolar: clases sociales, escuelas y sistema educativo en Amrica
Latina. Colegio de Mxico.
Fernndez, T. Benegas, I. y Blanco, E. (2004). Fundamentos tericos de los conceptos propuestos a ser observados en los
mdulos permanentes del Sistema de Cuestionarios de Contexto para el ciclo de evaluaciones 2005-2008. Versin
preliminar.
Instituto Nacional para la Evaluacin de la Educacin (2013a). Estatuto Orgnico del Instituto Nacional para la Evaluacin
de la Educacin, Mxico: Autor.
Instituto Nacional para la Evaluacin de la Educacin (2013b). Ley del Instituto Nacional para la Evaluacin de la Educacin, Mxico: Autor.
Jornet, J. M.; Gonzlez-Such, J.; y Snchez-Delgado, P. (2014). Factores contextuales que influyen en el desempeo docente.
Revista Iberoamericana de Evaluacin Educativa, 7 (2), 185-195.
Mayring, P. (2000, June). Qualitative Content Analysis [28 paragraphs]. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research [On-line Journal], 1(2). Disponible en: http://www.qualitative-research.net/index.php/fqs/
article/view/1089/2385
Porta, L. y Silva, M. (2003). La investigacin cualitativa: El anlisis de contenido en la investigacin educativa". IC-Investigacin Cualitativa. Red de recursos acadmicos en investigacin cualitativa.
Strauss, A. y Corbin, J. (2002). Bases de investigacin cualitativa. Tcnicas y procedimientos para desarrollar la teora
fundamentada. Medelln: Universidad de Antioqua-Contus.
Woods, P. (2010). La escuela por dentro. La etnografa en la investigacin educativa. Barcelona: Paids.

Sistemas de informacin para la evaluacin


educativa: diseo conceptual del Sistema Integral
de Resultados de las Evaluaciones del INEE
13 de marzo de 2015

Sistemas de informacin para la evaluacin


educativa: diseo conceptual del Sistema Integral
de Resultados de las Evaluaciones del INEE
Autor principal: Dr. Arturo Cervantes Trejo
Mdico Cirujano por la UNAM, Maestro y Doctor en Salud Pblica por la Universidad de Harvard.
Institucin de pertenencia: Instituto Nacional para la Evaluacin de la Educacin, Mxico
cervantes@post.harvard.eduacervantes@inee.edu.mx
Segundo Autor: Luis Chias Becerril
Licenciado y Maestro en Geografa por la UNAM, Doctor en Geografa Universidad de Toulouse.
Institucin de pertenencia: Instituto de Geografa de la UNAM, Mxico
luis.chias@gmail.com
Co-autores del Instituto Nacional para la Evaluacin de la Educacin

Agustn Caso Raphael


Lic. en Economa del Instituto Tecnolgico Autnomo de Mxico (ITAM)
Maestro en Artes, Escuela del Servicio Exterior, Universidad de Georgetown.
Institucin de pertenencia: Instituto Nacional para la Evaluacin de la Educacin, Mxico
acaso@inee.edu.mx
Carlos Anzaldo Gmez
Licenciado en Diseo de Asentamientos Urbanos por la UAM.
Institucin de pertenencia: Instituto Nacional para la Evaluacin de la Educacin, Mxico
canzaldo@inee.edu.mx

Roberto Sols Gonzlez


Licenciado en Actuara por la UNAM y Maestro en Ingeniera por la UNAM.
Institucin de pertenencia: Instituto Nacional para la Evaluacin de la Educacin, Mxico
rsolis@inee.edu.mx
Co-autores de la Universidad Nacional Autnoma de Mxico

Jess Olvera Ramrez


Ingeniero Gelogo por el Instituto Politcnico Nacional
Institucin de pertenencia: Instituto de Geografa de la UNAM, Mxico
jesusolvera54@gmail.com
Rodrigo Jimnez del Valle
Licenciado en ciencias de la computacin
Institucin de pertenencia: Instituto de Geografa de la UNAM, Mxico
rodrigo.gits@gmail.com
Hctor Daniel Resndiz Lpez
Maestro en Ingeniera por la UNAM
Institucin de pertenencia: Instituto de Geografa de la UNAM, Mxico
hresendizl@gmail.com
Agradecimiento: Los autores desean agradecer a la maestra Vernica Lpez Guerra, Jefa de Proyecto A, del Instituto
Nacional para la Evaluacin de la Educacin, por su apoyo en la integracin final de este manuscrito.
2

CONTENIDO
Resumen 3
Introduccin 4
Marco legal 4
Marco Terico del SIRE: Gestin del conocimiento 4
Propuesta tcnica 7
Elementos bsicos 7
Objetivo general 8
Metodologa 8
Fases del Proyecto
10
Resultados: Primera fase
11
Requisitos de acceso
11
Estructura del portal
11
Pruebas de estrs
12
Descripcin de la prueba
12
Resultado de las pruebas
13
Conclusiones 14
Referencias bibliogrficas
14
PALABRAS CLAVE: S
 istema de informacin, resultados de las evaluaciones, gestin de datos, datos geoespaciales,
cultura de la evaluacin, tecnologas de informacin.
EJE TEMTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones

Resumen

En el marco de la reforma constitucional en materia educativa y de las nuevas atribuciones del INEE, la construccin del Sistema Integral de Resultados de las Evaluaciones (SIRE) provee a los tomadores de decisiones de
instrumentos de anlisis que coadyuven al mejoramiento de la calidad de la educacin. El SIRE es un proyecto
estratgico para el resguardo, anlisis y gestin de datos, informacin y conocimiento relacionados con el Sistema
Nacional de Evaluacin Educativa (SNEE), basado en servicios tecnolgicos de alto nivel. Como sistema de gestin
de datos de los resultados de las evaluaciones, permitir socializar, mediante diversos perfiles de usuario, el banco
de datos disponible. Esto permite que en forma rpida, econmica y funcional, un nmero importante de usuarios
est en posibilidades de hacer uso de la informacin, tanto estratgica como de gestin, la cual es til para la toma
de decisiones en el mbito del ciclo planeacin-programacin-presupuestacin-ejercicio-control-evaluacin-rendicin de cuentas.
El SIRE se define como un conjunto de personas, hardware, software, redes y recursos para recolectar, manejar y diseminar la informacin del SNEE. El desarrollo e implementacin del SIRE se basan fundamentalmente en
el sistema de datos-informacin-conocimiento, la geotecnologa y la arquitectura institucional del INEE. La construccin del SIRE incluye el desarrollo de una herramienta geotecnolgica de bajo costo accesible desde Internet
para que diferentes tipos de usuarios consulten los bancos de datos y estn en posibilidad de obtener respuestas
a diversas necesidades de informacin. Adems el SIRE incluye la resolucin de problemas de flujos, restricciones,
usos, responsabilidades y otros aspectos inherentes a los datos; as como elevar el conocimiento geotecnolgico
en el INEE. Por otra parte, el desarrollo de un proceso de cambio cultural y de desarrollo geotecnolgico la interior
del INEE es otro de los requerimientos para gestionar los resultados de las evaluaciones.
3

INTRODUCCIN
La evaluacin educativa en Amrica Latina ha estado sujeta a cambios relevantes durante los ltimos aos (OECD, 2003).
Estos cambios han sido producto, entre otras causas, de la necesidad de evaluar las reformas al sistema educativo, con
nfasis en el anlisis de los resultados e impacto de las polticas pblicas en educacin en el contexto de la modernizacin
del Estado y del paradigma de la gestin para resultados en la Administracin Pblica Federal (Norris y Kushner, 2007).
Asimismo, han sido producto de la descentralizacin educativa y de una mayor participacin de la sociedad en las decisiones polticas relacionadas con la calidad de la educacin (Neirotti, 2012).
El cambio de enfoques en torno al sistema educativo, privilegia la obtencin de resultados en calidad (eficacia en los
resultados obtenidos, eficiencia en la utilizacin de los recursos y rendicin de cuentas), produciendo retos importantes
en el mbito metodolgico, y entre ellos de manera sobresaliente, en el uso de la informacin que producen los sistemas
de evaluacin para la toma de decisiones en diversos mbitos (Martinic, 2012). La implementacin de sistemas de evaluacin educativa de amplio espectro demanda que los sistemas de informacin de resultados de las evaluaciones estn
construidos conceptual y tecnolgicamente de tal forma que los tomadores de decisiones puedan vincular la evaluacin
educativa con la conformacin de polticas pblicas en este mbito.
De acuerdo con Martinic (2012), la generalidad de los sistemas de evaluacin est organizada con el propsito de proveer de informacin a los actores principales del sistema educativo. Si consideramos a la evaluacin como una disciplina
que investiga los componentes, los procesos, el desempeo, los logros y el impacto de polticas pblicas y, muy especialmente, de programas, proyectos y actividades (Subirats Humet, J. 2008), la informacin que proporciona es crtica para
mejorar la calidad de la educacin. En este sentido, la definicin y construccin de un sistema de evaluacin educativa y
de su sistema de resultados depende del marco legal y del andamiaje institucional existente.

MARCO LEGAL
En el caso de Mxico, la reciente reforma constitucional, las nuevas leyes ordinarias y las modificaciones a las leyes
ordinarias existentes, ampliaron el marco normativo de la educacin, otorgando especial importancia a la evaluacin
educativa. En el marco de la ley educativa y de las atribuciones del INEE, la ley del INEE establece que los resultados de
las evaluaciones forman parte del Sistema Nacional de Evaluacin Educativa.
El SIRE tiene como finalidad aportar elementos de anlisis que coadyuven al mejoramiento de la calidad del SEN. En
particular, el SIRE deber integrar informacin til para las autoridades educativas, contribuyendo al anlisis, sistematizacin, administracin y difusin de informacin que contribuya a evaluar los componentes, procesos y resultados del
SEN y que adems sirva como auxiliar para verificar el grado de cumplimiento de los objetivos y metas de ste. En este
marco, el SIRE deber aportar informacin y conocimiento relevantes para la toma de decisiones y la formulacin de polticas pblicas dirigidas a la mejora efectiva de la equidad, pertinencia y calidad de la educacin bsica y media superior.
El SIRE es un proyecto estratgico para el resguardo, anlisis y gestin de datos, informacin y conocimiento relacionados con el SNEE, basado en servicios tecnolgicos de alto nivel. Se caracterizar por ser un sistema de gestin de informacin que contribuye a evaluar los componentes, procesos y resultados del SEN, as como a la formulacin de polticas
integrales, sistemticas y continuas en materia de evaluacin educativa; con capacidad de representacin estadstica y
geogrfica de los atributos de los educandos, docentes y autoridades escolares, as como de las caractersticas de las instituciones, polticas y programas educativos.

MARCO TERICO DEL SIRE: GESTIN DEL CONOCIMIENTO

La creacin y difusin del conocimiento se ha convertido en la actualidad en un elemento clave para impulsar el desarrollo ecnomico y social. La definicin de gestin del conocimiento, desde la perspectiva del proceso y la tecnologa, es

el mecanismo bajo el cual la informacin se convierte en conocimiento para la accin y puesta a disposicin en forma
utilizable para las personas que lo requieren (Information Week, 1 de septiembre, 2003). En este sentido, el SIRE debe
ser un articulador clave para la gestin de conocimiento dentro del SNEE y proporcionar informacin estratgica para la
mejora del sistema educativo.
Diversos modelos del ciclo de gestin del conocimiento han sido desarrollados e implementados en el mundo. El
desarrollo del SIRE retoma el modelo de Mayer y Zack (1996), por ser particularmente til en el conocimiento explcito,
formal y codificado y porque sigue procesos similares a los productos de informacin. Este modelo asigna las principales
etapas de desarrollo de un repositorio de conocimiento a un ciclo de gestin del conocimiento, haciendo nfasis en la
nocin de valor agregado, el cual es necesario para aprovechar el conocimiento de una organizacin.
En el ciclo de gestin del conocimiento propone cinco etapas: adquisicin, refinamiento, recuperacin de almacenamiento, distribucin y presentacin (ver figura 1).
Figura 1 Ciclo de Gestin del conocimiento de Meyer y Zack

Fuente: Darkir, K. (2005). Knowledge Management in Theory and Practice, Elsevier USA.

El SIRE, al considerar el ciclo de gestin de conocimiento de Meyer y Zack como marco conceptual, est en posibilidad
de hacer uso del proceso conocido como Datos, Informacin, Conocimiento, Sabidura (DICS o DIKW, por sus siglas en
ingles), Ackoff (2005) y Belliger (2004). El proceso DICS permite pensar en una transformacin de forma piramidal, que
requiere de un momento de valoracin y entendimiento para cada transicin entre categoras: para la transicin de datos
a informacin se requiere entender la clase de relaciones entre grupos de datos; para la transicin de informacin a conocimiento, el entendimiento puede referirse a la identificacin de patrones entre varios tipos de informacin relacionada;
para la transicin de conocimiento a sabidura, el entendimiento se refiere a la capacidad de formular los principios rectores bajo los cuales se desarrollan los procesos del sistema analizado, el educativo por ejemplo. En todos los momentos
de entendimiento de cada transicin, el denominador comn implica pensar en la dimensin dual espacio-tiempo (ver
figura 2).
5

Figura 2 La jerarqua Datos Informacin Conocimiento Sabidura en forma de pirmide.

Fuente: Instituto de Geografa UNAM, adaptado de Ackoff (2005) y Belliger (2004).

El proceso DICS requiere la transicin de informacin a conocimiento. Esta transformacin requiere para operar de
un modelo de creacin de conocimiento, a fin de que las actividades puedan ser coordinadas para producir los beneficios
esperados.
El modelo de Nonaka y Takeuchi (1995), plantea la creacin de conocimiento como un modelo en el que existen cuatro pasos fundamentales: socializacin, exteriorizacin, combinacin e interiorizacin y cinco facilitadores o condiciones
organizativas: intencin, autonoma, fluctuacin, redundancia y variedad requerida. De acuerdo a Nonaka y Takeuchi
existen dos formas en que se manifiesta el conocimiento: tcita y explcita. El conocimiento tcito es personal y de un
contexto especfico y, por lo tanto, es difcil formalizarlo y comunicarlo. El conocimiento explcito o codificado es aquel
que puede trasmitirse utilizando el lenguaje formal y sistemtico (manuales, planos, etc.).
El conocimiento tcito y el explcito no son entidades separadas, sino complementarias. Hay una interaccin y un intercambio entre ellos en las actividades creativas de los seres humanos. El modelo dinmico de creacin de conocimiento
se fundamenta en el supuesto de que el conocimiento se crea y expande a travs de la interaccin social de conocimiento
tcito y conocimiento explcito.

Figura 3 Ciclo de generacin del conocimiento

Fuente: Nonaka y Takeuchi. La Organizacin creadora de conocimiento.


Cmo las compaas japonesas crean la dinmica de la innovacin (1999).

Para Nonaka y Takeuchi el papel de la organizacin en el proceso de creacin de conocimiento es el de proveer el contexto apropiado para facilitar las actividades grupales y la creacin y acumulacin de conocimiento en el nivel individual.
El desarrollo del SIRE bajo el ciclo de gestin del conocimiento de Meyer y Zack y la aplicacin del proceso DICS con su
transformacin de forma piramidal basada en el modelo de creacin del conocimiento de Nonaka y Takeuchi, facilitar
que el SIRE responda directamente al mandato del INEE.

PROPUESTA TCNICA
El diseo, desarrollo e implementacin del SIRE se fundamentarse en diversos componentes tales como el sistema datos-informacin-conocimiento-sabidura, la geotecnologa y la arquitectura institucional del INEE.
A continuacin se presenta una sntesis de la propuesta tcnica para la conceptualizacin, diseo y puesta en operacin del Sistema Integral de Resultados de las Evaluaciones que se desarrolla a travs de un Convenio Especfico de
Colaboracin con el Instituto de Geografa de la UNAM.

Elementos bsicos
La construccin del SIRE contempla los siguientes elementos bsicos:

Una herramienta geotecnolgica de bajo costo


Una norma para la gestin de datos estructurados y geoespaciales al interior del INEE.
Elevar el nivel de conocimiento geotecnolgico.
Desarrollar un proceso de cambio cultural y de desarrollo geotecnolgico
Integrar un grupo de trabajo altamente especializado

Objetivo general
El SIRE tiene como objetivo dotar al INEE de un Sistema de Informacin, que permita la integracin, almacenamiento y
explotacin de los datos e informacin necesarios para responder a sus requerimientos institucionales en materia de gestin estratgica de los resultados de las evaluaciones, con apoyo de la informacin del contexto geogrfico, demogrfico,
social, econmico y cultural del Sistema Educativo Nacional (SEN).

Metodologa
A continuacin se describen los elementos metodolgicos a desarrollar. La construccin del SIRE se desarrollar conforme al siguiente esquema conceptual propuesto:
Figura 5 Esquema conceptual para el desarrollo del SIRE

Caractersticas tcnicas y componentes del SIRE: algunos avances


El SIRE est desarrollado en tecnologa de cdigo abierto.
Incluye un conjunto de herramientas que permitirn generar, integrar, administrar, analizar, visualizar y explotar
datos e informacin.

El sistema satisface las necesidades tcnicas y estratgicas en materia de consultas y reportes.


El uso del SIRE no requiere de conocimientos especializados en computacin y sistemas de informacin geogrfica,

pues cuenta con una interfaz de usuario amigable y sencillo.


El SIRE es para uso interno y externo del INEE y deber ir incrementando sus funcionalidades en funcin de los
requerimientos de los usuarios y podr adoptarse y evolucionar.
Para el segundo ao de desarrollo (2015), el servidor deber garantizar la consulta de mltiples usuarios en forma
concurrente.

Repositorio de datos (datawarehouse) y subconjuntos de datos (datamarts)


El repositorio de datos corporativo del SIRE es el lugar que integra distintos datos que se decidan de comn acuerdo
entre el INEE y el IGg-UNAM.

En los casos que sea pertinente se realizar el modelo relacional correspondiente que permita minimizar la redundancia de datos.

El repositorio de datos constituir la base de datos que se explotar con las herramientas capaces de generar anlisis y reportes estratgicos.

Los datos que se integren al repositorio de datos sern espaciales (georreferenciados) y no espaciales (estadsticos).
Para cada conjunto de datos se seguir un esquema de tipo estrella en el que cada estrella tendr una temtica
particular. De esta forma el repositorio de datos estar conformado por un cmulo de estrellas y a partir de cada
una, o de la generacin de alguna relacin entre estas estrellas se formarn los subconjuntos de datos concentran e
integran informacin de un tema en particular pudiendo contener datos resumidos.
El repositorio de datos ofrecer un mecanismo para explorar datos histricos, crear, modificar y utilizar los subconjuntos de datos, adems permitir contar con un mecanismo para la organizacin de diferentes orgenes de datos.
El repositorio de datos del SIRE deber estar alineado con la Arquitectura Institucional y el Modelo de Gobierno
del INEE.

Mdulo de administracin de usuarios


El mdulo de administracin de usuarios permitir gestionar al menos cinco niveles de usuarios que podrn visualizar diferentes categoras de informacin con perfiles especficos de acceso o administracin del sistema.

Este mdulo podr conectarse con el SIRE y las herramientas del repositorio de datos para gestionar los niveles de
acceso de los diferentes usuarios que defina el INEE.
El mdulo de administracin de usuarios tambin gestionar el acceso a los geo-proyectos y diversas funcionalidades.

Servidor de datos geoespaciales


El servidor de datos geoespaciales tiene como objetivo socializar selectivamente la base de datos geoespacial (geo-

database) para que en forma rpida, econmica y funcional un nmero importante de usuarios (pblico en general
y diversos tipos de usuarios al interior del INEE) estn en posibilidades de generar preguntas en torno a los resultados de las evaluaciones, el medio fsico geogrfico y los factores socioeconmicos. Adems el servidor tiene el
propsito de ser el detonador de una cultura geoespacial para la consulta de datos cartogrficos y estadsticos que
requiere el INEE y la sociedad en materia de evaluacin educativa y la rendicin social de cuentas.
El sistema se basa en un modelo de herramienta geo-informtica de bajo costo basado en software de cdigo abierto y libre distribucin, con funcionalidades especializadas, basadas en el manejo, mapeo y anlisis de datos cartogrficos y estadsticos.

Geoproyectos
Cada geoproyecto estar integrado por un conjunto de datos geoespaciales y sus respectivos metadatos que com-

parten una temtica en particular y se organizan mediante un rbol de contenidos con la capacidad de contener y
agrupar cualquier nmero de coberturas geogrficas y se disearn segn las necesidades del INEE.
Cada geoproyecto tendr asociado un conjunto de herramientas geoespaciales que permitirn la interaccin de los
usuarios con los datos para su visualizacin, edicin, consulta y anlisis.
El administrador de usuarios gestionar los diferentes accesos a los geoproyectos y sus herramientas geoespaciales.

Minera de datos (Data mining)


La Minera de datos incluir herramientas y datamarts para la generacin de reportes, grficos y estadsticas a partir de
los datos contenidos en el repositorio de datos. Tendr una interfaz amigable que permitir disear reportes y producir
datos e informacin valiosa en lnea. Incluir conexin a los distintos subconjuntos de datos, dando como resultado grficos circulares, grficos de barras, lneas y dispersin de puntos, y la extraccin estadstica de datos (mximos, mnimos,
media, entre otros). Las herramientas de minera de datos estarn conectadas al mdulo de administracin de usuarios.
Los informes sern diseados con base en los requerimientos entregados por el INEE.

FASES DEL PROYECTO


El desarrollo del SIRE se divide en tres fases:

La primera (2014) ha implicado la construccin y desarrollo de capacidades, el diseo, programacin y puesta en marcha
del Servidor de Datos Geoespaciales y de tres geoproyectos con su respectivo visualizador, as como el diseo y la construccin de la arquitectura de datos, y del mdulo de administracin de usuarios, a partir de los requerimientos del INEE
y la consolidacin de la tecnologa del servidor de datos geoespaciales.
La segunda etapa (2015) corresponde a la consolidacin de la arquitectura de datos al integrar el repositorio de datos
y liberar los primeros subconjuntos de datos y productos de informacin. La tercera etapa (2016) corresponde a la consolidacin e implantacin del sistema en las instalaciones del INEE. Durante el desarrollo de las tres fases se realizarn
actividades para construir capacidades y transferir el conocimiento necesario para su uso y administracin. Asimismo,
cada una de las fases del ciclo de desarrollo del sistema considerar la alineacin con la arquitectura institucional del
INEE, una etapa de pruebas (unitarias, de sistema, integrales, stress y de aceptacin por parte de los usuarios) y la puesta
en produccin.

10

RESULTADOS: PRIMERA FASE


En diciembre de 2014, se dio la liberacin de portal de Sistema Integral de Resultados de las Evaluaciones. El SIRE integra
informacin til para las autoridades educativas, la plataforma contribuye al anlisis, sistematizacin, administracin y
difusin de informacin.
La informacin est integrada mediante 16 funciones geotecnolgicas, una base de datos geoespacial integrada. El
repositorio institucional incluye datos del Excale 2009, 2010 y 2012; de PISA 2003, 2006, 2009, y 2012 y del Servicio
Profesional Docente 2014; as como del Panorama Educativo 2003-2014 y del Cemabe 2014. De igual forma ntegra datos
de UNESCO, INEGI, OCDE, Coneval, Conapo, Sedesol, Secretaria de Salud y de la SEP.

Requisitos de acceso
Para ingresar al geoportal slo es necesario contar con un navegador de internet. Se debe ingresar a la siguiente direccin
en la barra de direcciones: www.sire.igg.unam.mx/geoportal

Estructura del portal


A continuacin se muestra la vista general del portal:

Los elementos principales del portal son los siguientes:

Barra de herramientas: Contiene diferentes funciones disponibles en el proyecto geocartogrfico.


Selector de cartografa base: Permite seleccionar el servicio de cartografa base sobre el cual se mostrarn las capas
geogrficas.

Selector de capas: Despliega un listado de todas las capas del proyecto actual, as como informacin asociada a ellas.
Mapa de referencia: Muestra la ubicacin del rea geogrfica visualizada en pantalla, en un contexto ms amplio.
Barra de datos geogrficos: muestra las coordenadas latitud y longitud de la posicin del cursor del mouse sobre el
mapa. Estas coordenadas de muestran en grados decimales y en notacin sexagesimal.

11

Visor de capas: Permite visualizar los datos de las capas elegidas en el Selector de Capas.

Existen distintos tipos de capas o conjuntos de datos, algunas representan un tipo particular de entidad geogrfica
o bien diversas clases de datos. Cada tipo de capa tiene distintos mecanismos para su visualizacin, adems incluyen la
simbolizacin de sus contenidos y los metadatos. Estos ltimos, incluyen la descripcin del conjunto de datos, la fuente
de datos, el diccionario de variables, entre otros. Las capas de datos se han elaborado de acuerdo con las especificaciones
que establece la Norma Tcnica para la Elaboracin de Metadatos Geogrficos, publicada por el INEGI.

PRUEBAS DE ESTRS
Adems, al portal del SIRE se le han aplicado pruebas de carga o estrs para ver cul sera su comportamiento en caso
de que el flujo del sitio se incremente considerablemente. Una prueba de estrs se utiliza normalmente para romper una
aplicacin. Consisten en aumentar el nmero de usuarios que se agregan a la aplicacin y se ejecuta una prueba de carga
hasta que se rompe. Este tipo de prueba se realiza para determinar la solidez de una aplicacin en los momentos de carga
extrema y ayuda a los administradores a determinar si una aplicacin rendir lo suficiente en caso de que la carga real
supere a la carga esperada.
Apache JMeter puede ser utilizado para probar el rendimiento tanto en recursos estticos como en dinmicos. Se
puede utilizar para simular una carga pesada en el servidor, grupo de servidores, la red o para analizar el rendimiento
general de un objeto (aplicaciones web) bajo diferentes tipos de carga. A continuacin se muestran una serie de pruebas
que se realizaron con la ayuda de Apache JMeter al geoportal SIRE con las siguientes caractersticas del servidor en donde
se instal para las pruebas:
HARDWARE

Servidor

Cliente

Arquitectura

64 bits

64 bits

Procesador

Intel Core(TM) i7-2600 @ 3.40GHz

Intel Core(TM)2 Quad @ 2.33GHz

Memoria

8GB DDR3 1333 MHz

4GB DDR2 880MHz

Disco duro

500GB 7200RPM

500GB 7200 RPM

Ancho de banda

100 Mbps

5 Mbps

SOFTWARE
Servidor

Cliente

Sistema operativo

Debian GNU/Linux 7.8 (wheezy)

Windows 7

Lenguaje de programacin

Java(TM) 1.8.0_25

N/A

Servidor de aplicaciones

Glassfish 4.1

N/A

Navegador

N/A

Google Chrome 40.0.2214.111 m

Descripcin de la prueba
La prueba consiste en simular un conjunto de peticiones que comnmente realizaran los usuarios dentro del portal.
Primero se ejecut el plan de pruebas simulando 50 usuarios concurrentes y despus se ejecut con 100 usuarios concurrentes.
Los resultados de las pruebas estn calculados tomando el tiempo total que ha tardado la prueba (la ejecucin de 50
usuarios y 100 usuarios respectivamente), por lo tanto, cuanto ms muestras haya ms tiempo total de ejecucin. Para
cada caso del plan de pruebas tenemos:

12

Muestras: Nmero de peticiones que se envan al servidor.


Min: Tiempo (en milisegundos) mnimo que demora una muestra en acceder a una pgina.

Max: Tiempo (en milisegundos) mximo que demora una muestra en acceder a una pgina.
Media: Tiempo (en milisegundos) promedio en milisegundos para el conjunto de resultados.
Mediana: Tiempo (en milisegundos) invertido por cada muestra. Esto significa que el 50% de las muestras tardaron menos del valor reflejado.

%Error: Porcentaje de muestras con error (no pudieron ser procesadas).


Rendimiento: Nmero de muestras procesadas en una unidad de tiempo, que puede ser horas, minutos o segundos.
Kb/sec: Nmero de datos (en Kbytes) procesados por segundo de las muestras realizadas.
Media en bytes: Tamao medio de respuesta del servidor (en bytes).

Resultado de las pruebas


Mediana

%Error

Rendimiento

Kb/sec

Media bytes

Inicio

Caso

50

338

7236

1192

836

0.00%

6.9/sec

111.06

16476

Prender capa: Estados

50

96

6332

1883

1558

0.00%

7.1/sec

155.49

22409

Informacin capa: Estados

50

46

1368

256

88

0.00%

8.3/sec

4.09

503

Dicc. de variables de la capa: Estados

50

30

2901

257

63

0.00%

8.6/sec

8.53

1010

Prender capa: Municipios

50

88

4586

940

372

0.00%

6.8/sec

148.26

22427

Informacin capa: Municipios

50

57

2060

318

87

0.00%

7.0/sec

16.36

2405

Dicc. de variables de la capa: Municipios

50

29

2172

215

43

0.00%

7.0/sec

6.91

1010

Prender capa: Carreteras

50

78

2232

441

232

0.00%

7.0/sec

152.35

22343

Informacin capa: Carreteras

50

85

1858

276

122

0.00%

7.1/sec

35.40

Dicc. de variables de la capa: Carreteras

50

30

820

173

40

0.00%

7.3/sec

10.00

500

29

7236

595

196

0.00%

51.2/sec

474.86

9506.236

TOTAL

Min.

Max.

Media

5077.40
1402

Caso

Muestras

Min.

Max.

Media

Mediana

%Error

Rendimiento

Kb/sec

Media bytes

Inicio

100

108

12972

2457

2062

0.00%

7.4/sec

119.7

16476

Prender capa: Estados

100

114

23446

2278

1791

0.00%

4.2/sec

92.9

22409

Informacin capa: Estados

100

51

9486

703

300

0.00%

4.4/sec

2.2

503

Dicc. de variables de la capa: Estados

100

29

12542

638

Prender capa: Municipios

100

71

13075

2058

Informacin capa: Municipios

100

57

2804

Dicc. de variables de la capa: Municipios

100

29

6171

Prender capa: Carreteras

100

78

Informacin capa: Carreteras

100

86

Dicc. de variables de la capa: Carreteras

100

TOTAL

265

0.00%

4.5/sec

4.4

1010

1108

0.00%

4.6/sec

99.8

22427

465

242

0.00%

4.8/sec

11.2

2405

305

68

0.00%

5.0/sec

4.9

1010

5976

906

506

0.00%

5.0/sec

109.4

22343

8287

606

161

0.00%

5.2/sec

25.6

31

1372

261

59

0.00%

5.7/sec

7.8

1000

29

23446

1068

335

0.00%

41.1/sec

381.5

9506.200

Kb/sec

Media bytes

5076.90
1402

Caso

Muestras

Min.

Max.

Media

Mediana

%Error

Rendimiento

Inicio

150

154

51811

7211

4554

0.00%

2.8/sec

45.8

16476

Prender capa: Estados

150

84

11671

1948

1410

0.00%

2.8/sec

62.3

22409

Informacin capa: Estados

150

27378

1096

179

0.00%

2.9/sec

1.4

512

Dicc. de variables de la capa: Estados

150

28

8331

730

133

0.00%

2.9/sec

2.9

1010

Prender capa: Municipios

150

67

11534

1336

716

0.00%

2.9/sec

64.1

22427

Informacin capa: Municipios

150

55

8898

855

129

0.00%

3.0/sec

7.0

2405

Dicc. de variables de la capa: Municipios

150

29

6958

456

65

0.00%

3.0/sec

3.0

1010

Prender capa: Carreteras

150

62

6418

849

349

0.00%

3.0/sec

66.2

22343

Informacin capa: Carreteras

150

82

6032

763

162

0.00%

3.1/sec

15.1

Dicc. de variables de la capa: Carreteras

150

30

4934

524

54

0.00%

3.1/sec

4.2

1500

51811

1577

233

0.00%

28.0/sec

259.6

TOTAL

13

Muestras

5082.80
1402
9507.700

CONCLUSIONES
El diseo, la construccin y operacin del Sistema Integral de Resultados de las Evaluaciones, en esta primera fase
permite una adecuada gestin de los datos provenientes de los sistemas de gestin educativa, adems de mejorar las
posibilidades de anlisis con base en informacin vlida y confiable. La integracin de informacin til a disposicin de
autoridades educativas y actores clave contribuye al mejoramiento de la calidad del Sistema Educativo Nacional. Proporcionar a los diferentes usuarios (educandos, educadores, autoridades educativas y padres de familia, entre otros)
capacidad de consulta y de anlisis de la informacin sobre los resultados de las evaluaciones realizadas al SEN, adems
de informacin del contexto social, econmico, demogrfico, cultural y poltico. Por otra parte, el SIRE contribuir al
propsito de fortalecer y fomentar la cultura de evaluacin, haciendo posible la consulta y la bsqueda de datos e informacin generada por el SNEE.

REFERENCIAS BIBLIOGRFICAS
Ackoff, R.L. (1989), "From Data to Wisdom", Journal of Applied Systems Analysis, Volume 16, p. 3-9.
Bellinger, G., D. Castro and A. Mills (2004), Data, Information, Knowledge, and Wisdom, disponible en: www.systemsthinking.org/dikw/dikw.htm [ Consulta: 16 de mayo 2014]
Caso Raphael, Agustn (2014), Hacia la construccin de un Sistema Integral de Resultados de las Evaluaciones. INEE,
Mxico.
Cervantes, A., Anzaldo, C., (2014) Diseo conceptual y plan estratgico para el desarrollo del Sistema Integral de Resultados de las Evaluaciones (SIRE) Unidad de Informacin y Fomento de la Cultura de la Evaluacin; Direccin General
del Sistema Integral de Resultados de las Evaluaciones, INEE.
Dalkir, K. (2005), Knowledge Management in Theory and Practice, Elsevier Butterworth-Heinemann, Burlington.
Information Week (Sept. 1, 2003). Ten Principles for Knowledge Management Success. Available at http://whitepapers.
informationweek.com
Martinic, S. (2012), Emergent evaluation and educational reforms in Latin America, in S. Kushnet & E. Rotondo (Eds.),
Evaluation Voices from Latin America. New Directions for Evaluation, 134, 17-28.
Meyer, M, and M. Zack (1996), The Design and Implementation of Information Products, Sloan Management Review,
37(3): 4359.
Neirotti, N. (2012), Evaluation in Latin America: Paradigms and practices, in S. Kushner & E. Rotondo (Eds.), Evaluation
voices from Latin America. New Directions for Evaluation, 134, 7-16.
Nonaka, I., Konno, N., (1998), The concept of Ba: building a foundation for knowledge creation, California Management
Review, vol. 40, n 3, Spring, pp. 40-54.
Nonaka, I., Takeuchi, H., (1995), The knowledge-creating company: How Japanese Companies Create the Dynamics of Innovation. Oxford University Press. New York-Oxford.
Norris, N., & S. Kushner (2007), The new public management and evaluation, in S. Kushner & N. Norris (Eds.), Dilemas of
engagement: Evaluation and the new public management, Advances in Program Evaluation (Vol. 10, pp. 1-16). Oxford,
United Kingdom: Emerald Group Publishing Limited.
OECD (2003), Knowledge research. New challenges for educational research. Paris, France: OECD-CERI Publishing.
Subirats Humet J., Varone, F., Larrue, C., (2008) Analisis y gestion de politicas publicas, Espaa, Editorial Ariel: 288 pgs.

14

Actores y acciones educativas:


una mirada integral de la evaluacin
13 de marzo de 2015

Actores y acciones educativas:


una mirada integral de la evaluacin
John Sal Gil Rojas
Magister en Lingstica y Espaol. Profesor Titular de la Universidad del Valle, Cali, Colombia.
johnsaul.1@hotmail.com
PALABRAS CLAVE: Evaluacin, proceso, formacin integral.
EJE TEMTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones.

Resumen

Se presenta un esquema bsico del tema de la evaluacin educativa, los antecedentes generales de investigacin
al respecto a nivel latinoamericano y algunos elementos de orden terico al respecto. Se propone orientar la reflexin hacia la pregunta sobre la relacin entre evaluacin integral y formacin de manera que se involucre a los
distintos actores de la comunidad educativa. La indagacin propuesta parte del planteamiento segn el cual en
nuestro contexto, la prctica evaluativa en educacin poco considera los elementos que definen el proceso formativo de manera integral y se limita en muchos casos a tomar como referencia de su calidad los resultados de logros
educativos en pruebas estandarizadas. La ausencia de actores distintos a los gubernamentales y de elementos
cualitativos en la concepcin, orientacin, diseo, aplicacin y valoracin de los resultados de la evaluacin, disminuye las potencialidades del proceso evaluativo y aporta muy poco a ubicarlo en beneficio de los procesos de
mejora educativa. Al final se hacen algunas recomendaciones.

INTRODUCCIN

La aproximacin a los actores y acciones educativas en el marco de una mirada integral a la evaluacin que se propone en
esta ponencia, se inscribe en el marco de un trabajo de investigacin ms amplio en el cual interesa describir, analizar e
interpretar las prcticas de evaluacin y las representaciones sociales de la misma en un contexto escolar determinado,
para notar cmo se constituyen esa prcticas, qu significa la evaluacin para maestros, directivos, estudiantes y padres
de familia en ese contexto, cul es el marco epistemolgico, conceptual y metodolgico de las mismas, qu se hace o se
propone hacer con sus resultados, cmo se comunican y socializan entre la comunidad educativa esos resultados, entre
otros aspectos de su concepcin, implementacin y desarrollo.
Se trata entonces de lograr una aproximacin desde la propia comunidad educativa a los modos de evaluar y a las
concepciones sobre la evaluacin por parte de sus actores principales, en el entendido de que la evaluacin constituye
una dimensin no resuelta y presente en la discusin educativa, particularmente en Amrica Latina, de la cual surgen
muchas preguntas respecto de su sentido y modos de orientacin preferente. Por eso, al intentar responder estas preguntas, se propone destacar de qu manera la consideracin de la evaluacin como parte integral del proceso formativo y no
solamente como un momento aislado del mismo, tiene implicaciones didcticas, pedaggicas, curriculares y de gestin

institucional (adems de otras referentes a poltica pblica y reconocimiento social), que resultaran favorables, ya que
dicho reconocimiento ubica el trabajo de la escuela, del maestro y de los propios estudiantes, en la dimensin de complejidad necesaria que define dicho proceso.
Reconocer entonces la dimensin integral de la evaluacin, afectara favorablemente a los estudiantes, a los maestros
y a la propia institucin escolar ya que permitira validar y generar procesos formativos conducentes al mejoramiento
de la calidad educativa travs de orientaciones didcticas, pedaggicas y curriculares coherentes desde el punto de vista
metodolgico y conceptual, adems de definir la coherencia o no del proceso formativo tanto de estudiantes como de
maestros, en la perspectiva de la formacin integral como principio fundamental del trabajo de la escuela.

DESARROLLO
Antecedentes
Es notable como el discurso sobre la evaluacin ligado a la calidad de la educacin en Amrica Latina tom cierta relevancia a partir de los aos 80 del siglo XX, muy ligado a polticas macroeconmicas derivadas del modelo neoliberal y de
apertura econmica que posteriormente devino en el orden mundial de la economa conocido como globalizacin.
En este contexto, algunas de las preocupaciones gubernamentales sobre evaluacin en educacin se han dirigido a la
evaluacin educativa, para referirse sobre todo a los niveles macro del proceso evaluativo propiamente dicho (resultados
de pruebas estandarizadas nacionales e internacionales, eficiencia del gobierno y la administracin escolar, evaluaciones
macro de aprendizaje y logros educativos, etc.), cuando no a la evaluacin docente, entendida como el proceso acadmico
administrativo por el cual se capacitan y califican para efectos de su permanencia o ascenso en los distintos niveles del
escalafn magisterial.
La tendencia es a observar un aspecto del proceso de la evaluacin educativa en particular (los resultados del rendimiento escolar o la gestin administrativa misma de la escuela) y no a abordar de manera integral el conjunto de elementos que le otorgan un carcter integrado y de conjunto (calidad del gobierno escolar, estructura curricular, proyecto
pedaggico, formacin docente, contexto sociocultural de la escuela, etc.). De acuerdo con lo anterior, se podra decir que
tres elementos generales definen el problema de la evaluacin educativa en el contexto latinoamericano, los cuales pueden leerse en un orden inclusivo entre s que los ubica como interdependientes:

El nfasis de los gobiernos y de las autoridades educativas sobre evaluacin est dado a partir de los resultados

de pruebas censales y estandarizadas. Esta tendencia a las evaluaciones estandarizadas omite su sentido integral,
dado que no las consideran como resultado de variables sociales, culturales, pedaggicas, curriculares y poltico
institucionales que dan lugar a modos particulares de concebir y desarrollar los procesos formativos.
En general, las prcticas evaluativas no son consistentes con una concepcin de la evaluacin como proceso integral. Ni los maestros ni los estudiantes ni la comunidad educativa en su conjunto tienen una nocin clara sobre la
evaluacin como elemento determinante de la formacin, no solo en el orden acadmico curricular, sino en lo que
tiene que ver con sus principios epistemolgicos, tericos y metodolgicos y su lugar en la configuracin del proyecto social y cultural que se propone la escuela.
A pesar de los recientes esfuerzos acadmicos e institucionales para orientar la evaluacin educativa de manera
coherente con los principios antes mencionados, no se reconoce por parte de las comunidad educativa un marco
claro de articulacin entre la evaluacin y los propsitos pedaggico curriculares y los componentes conceptuales
y/o disciplinares. Incluso, es posible encontrar marcadas diferencias y contradicciones entre lo que se considera
que es la evaluacin por parte de los distintos actores de la comunidad educativa, las prcticas evaluativas de aula
y las orientaciones institucionales al respecto.
3

Perspectiva terica

Bustamante & Jurado (1998), hacen una pregunta inicial que es necesario plantearse en este punto: Qu es evaluar?
En un sentido general y extendido entre las comunidades educativas, dicen, evaluar en educacin es sinnimo de medir
unos resultados de aprendizaje. Es decir, confrontar unos objetivos y unos resultados luego del proceso de enseanza. No
obstante, precisan, como a toda definicin le subyace un modelo interpretativo que aqu se hace necesario develar para
comprender los alcances y limitaciones que ella conlleva- se trata de analizar por lo menos tres elementos o aspectos
primordiales que comporta esta definicin: 1) los modelos subyacentes; 2) los objetivos ; y 3) los resultados. (p. 135).
Respecto a los modelos subyacentes, para estos autores, la idea de que de acuerdo con unos objetivos se obtendran
ciertos resultados y no otros, no tiene en cuenta que explicitar un plan (lo que se identifica con teora) no implica que
los procesos (lo que se identifica con realidad o prctica) se rijan por l. En este sentido, sealan que al no ser la evaluacin lineal, no puede hablarse de objetivos y resultados de la evaluacin como si no tuvieran mediaciones. El problema,
dicen, radica en que los objetivos se plantean desde un sistema interpretativo complejamente constituido por diversos
modelos; y los resultados son aprehendidos desde una mirada selectiva constituida tambin por un sistema interpretativo (que slo en algunos casos coincide con el que plantea los objetivos). (p. 138-140).
Sobre los objetivos, estos autores plantean que en el concepto de evaluacin que se discute aparecen en primera instancia, pues comparados con ellos se miran los resultados. En este punto, se plantean la necesidad de discutir sobre los
objetivos explcitos e implcitos de la evaluacin. Para ellos, si una evaluacin parte de asignar veracidad a los objetivos
explcitos, de considerar que la comunicacin se agota en el enunciado, ya est viciada desde el principio: o bien concepta con el mismo modelo que propone los objetivos y, por lo tanto, no tiene otro fin que el de perpetuarlo; o bien, no le
interesa cuestionar nada. (p.143-145).
En relacin con los resultados de la evaluacin, los autores referidos sealan que, desde una perspectiva, se juzga fcil
la comparacin entre objetivos y resultados para decir en qu porcentaje se lograron los primeros; desde otra, se revela
que los resultados pueden ser diversamente interpretados, hasta el punto de tomarse de manera distinta, incluso opuesta (los resultados de una prueba, por ejemplo, pueden ser analizados desde distintos modelos psicomtricos). (Ibd., p.
149-150).
Como se ha tratado de establecer a partir de estas aproximaciones tericas y analticas, se propone una mirada de la
evaluacin escolar en trminos de los componentes del proceso de enseanza y aprendizaje que le dan lugar. Vale acotar
que en muchos de los anlisis ms recientes sobre la evaluacin, existe una fuerte tendencia a centrar la mirada casi exclusivamente en el aprendizaje y sus mecanismos, en una perspectiva cognitiva o cognitivista con lo cual se evita (o ignora?)
asumir la educacin como prctica social cuyos condicionamientos histricos y culturales definen las formas, los estilos
pedaggicos y modelos curriculares fundamentales de la enseanza y del mismo aprendizaje.
Desde esta ltima orientacin, por ejemplo, para Martn (2001), la idea de vincular la evaluacin del alumno y el
proceso educativo presupone que esa relacin es posible. sta, sin embargo dice el autor, no es una idea que pueda
considerarse como aceptada por todos (o lo ha sido histricamente, ni seguramente lo es an para muchos) (). Es obvio,
dice, que esta es una idea moderna y propia de los nuevos tiempos renovadores en educacin en los que adems del
aprendizaje del alumno, la educacin debe tomar como referente al propio proceso de enseanza. Sin embargo, las concepciones existentes sobre evaluacin son efectivamente diversas, del mismo modo que distintas son tambin las ideas
sobre el proceso educativo en su conjunto. (p. 155).
En una perspectiva ms pragmtica, para Elola & Toranzos (2009) resulta oportuna, en trminos generales, la definicin propuesta por T. Tenbrink, segn la cual, evaluacin es el proceso de obtener informacin y usarla para formar
juicios que a su vez se utilizarn en la toma de decisiones. Y en cuanto a la finalidad de la evaluacin, sealan, constituye
uno de los ejes centrales junto con la definicin del objeto a ser evaluado. En trminos generales y en funcin de las
definiciones adoptadas, identifican algunas finalidades principales de todo proceso evaluativo: diagnstico, pronstico,
seleccin y acreditacin, finalidades que no necesariamente se plantean como excluyentes pero s determinan opciones
metodolgicas diferenciales. Sobre los mbitos de la evaluacin, definen como bsicos: el de los aprendizajes;el de las
instituciones; el del sistema educativo; y el de los programas o proyectos. (p.15).
Bertoni, Poggi & Teobaldo (2009), por su parte, proponen una serie de elementos tericos, conceptuales y metodolgicos que resignifican el sentido de la evaluacin y sustentan la necesidad y posibilidad de nuevas prcticas evaluativas.

La evaluacin educativa, dicen, nos confronta con el abordaje de un espacio de conflicto, que permite analizar articulaciones o fracturas entre supuestos tericos y prcticas pedaggicas. En efecto, todo proceso de evaluacin pone en
evidencia mltiples aspectos, relacionados con las caractersticas y procesos de la institucin educativa, los proyectos
institucionales, los estilos de gestin, las propuestas curriculares y editoriales, las particularidades de los docentes y de
los alumnos, etc.(p.7).
Al remitir la evaluacin a otros espacios extraescolares, los autores sealan su carcter sobredeterminado y multidimensional. Esto significa, dicen, que aun cuando los docentes no vinculen directamente estas realidades a su propia
actividad, sta resulta de alguna manera evaluada; particularmente los malos o insuficientes resultados que alcanzan sus
alumnos suelen llevarlos a cuestionar la pertinencia social de su tarea en el campo social y su rentabilidad en el campo
econmico. (p.9).
Para estos autores, la multidimensionalidad de los actos evaluativos, producto de sus articulaciones y sobredeterminaciones, conduce a poner en duda la unidad y coherencia de lo que se designa con el trmino evaluacin. Algo similar,
dicen, ocurre cuando se analizan los diversos usos sociales que se hacen de sta ya que cuando se considera el problema
de la utilizacin de los resultados, puede observarse que el empleo de ellos est vinculado bsicamente a diferentes intereses y motivaciones, como por ejemplo, las intenciones de la evaluacin ylas acciones derivadas de los resultados. (p.9).

CONCLUSIONES
Se requiere proponer, disear e implementar modelos de evaluacin que surjan de las dinmicas propias de las comunidades escolares y se articulen las necesidades y perspectivas pedaggicas, curriculares y socioculturales de sus contextos
formativos.
En este sentido, se hace necesario indagar de manera sistemtica por las actuaciones reales de evaluacin (sus prcticas) y por la manera como la evaluacin es concebida por parte de quienes intervienen en ella y la definen en un contexto
determinado (sus representaciones sociales), ya que estos dos elementos podran definir una articulacin necesaria para
dar coherencia al proceso.
De acuerdo con lo anterior, se propone valorar y posicionar el lugar de la evaluacin como un conjunto de prcticas y
reflexiones vinculadas al proceso formativo de la educacin en su dimensin integral en el cual directivos y docentes ocupan un lugar estratgico, en tanto que agentes reguladores del orden pedaggico, curricular e institucional de la escuela.
Al respecto, vale destacar que Ravela et al. (2008), por ejemplo, pese a reconocer que su estudio sobre la importancia de las evaluaciones nacionales de logros educativos se centra en evaluaciones de aprendizaje1 a travs de pruebas
estandarizadas y que no pretenden orientar acerca de otros aspectos tambin importantes de la evaluacin del quehacer
educativo, aceptan que estos ltimos aspectos (las evaluaciones del desempeo docente, de las polticas educativas, de los
centros educativos o aquellas que realizan los docentes en las aulas, entre otras), deben hacer parte de este proceso, con
propsitos pedaggicos curriculares e institucionales distintos, aunque complementarios, es decir, que tambin tienen
importancia la evaluacin realizada en el aula por los docentes, la evaluacin del desempeo docente, la evaluacin de
los centros educativos, la evaluacin de las polticas educativas, la evaluacin del uso de los recursos, la evaluacin de la
relevancia del currculo, etc. (pp. 5-9).
En este mismo sentido, es importante reconocer opciones sobre la mirada del ejercicio evaluativo como las propuestas por Jurado et al. (2010), a partir de la propuesta de un sistema institucional de evaluacin de los estudiantes, entendido como el proceso regulativo acordado por los miembros de la comunidad educativa, en la perspectiva de valorar los
aprendizajes de los estudiantes y las acciones internas de la institucin educativa, valoracin que incluye, si es del caso,
los aspectos todava ausentes en sus aprendizajes y en el desarrollo del Proyecto Educativo Institucional. (p. 24).

Definidas como el cambio ocurrido en los conocimientos y capacidades de cada estudiante a lo largo del ao lectivo-y/o de logro educativo, entendido
como la acumulacin de conocimientos y capacidades a lo largo de toda la vida del estudiante.

Con base en estos planteamientos y el diagnstico anterior, se proponen las siguientes acciones estratgicas:

Disear, elaborar y presentar planes locales de mejoramiento y actualizacin docente a partir de proyectos de in-

vestigacin sobre evaluacin educativa, en los cuales puedan participar activamente los docentes a partir de sus
propias experiencias de aula.
Promover actividades de socializacin entre las comunidades educativas dirigidas a concientizar sobre la necesidad
de explicar e investigar el sentido y los resultados de la evaluacin, las implicaciones pedaggicas, curriculares e
institucionales derivadas de la misma y la manera de enfrentar esas implicaciones a travs de propuestas de mejoramiento asociadas al mejor desempeo de los estudiantes y de los docentes.
Presentar a las autoridades educativas locales proyectos de mejoramiento del desempeo escolar vinculados a distintos modos de evaluacin, en los cuales se propongan compromisos institucionales sobre polticas de desarrollo
educativo en trminos de investigacin, seguimiento e implementacin de innovaciones didcticas, pedaggicas y
curriculares que permitan un mejora del proceso formativo.

BIBLIOGRAFA
Alicia Bertoni, A., Poggi, M., & Teobaldo, M. (2009). Evaluacin:nuevos significados para una prctica. En Hacia una
cultura de la Evaluacin (7-14). Buenos Aires: ONE-Censo, Direccin Nacional de Informacin y Evaluacin de la
Calidad Educativa.
Bustamante, G. & Jurado, F. (1998). Reflexiones sobre la evaluacin, a propsito del lenguaje en la escuela. En Bustamante,
G. & Jurado, F. Evaluacin y Lenguaje (133-164). Bogot: Sociedad Colombiana de Pedagoga.
Elola, N. & Toranzos, L. (2009). Evaluacin educativa:una aproximacin conceptual. En Hacia una cultura de la Evaluacin
(15-16). Buenos Aires: ONE-Censo, Direccin Nacional de Informacin y Evaluacin de la Calidad Educativa.
Jurado F., Ardila O., Ardila, O., Rodrguez, C., Rodrguez., Pea, J., Nasif, Y., Rodrguez, C., Rodrguez, N., Nio, S., Gmez, L.,
Ramrez, D. Bermdez, H., Prez, A., lvarez, J., Taylor, L., Bedoya, B., Muoz, L., Jimnez, O. & Cabrera, A. (2010). Sobre
el sistema de evaluacin del aprendizaje de los estudiantes. Coleccin Cuadernos del Seminario en Educacin, N 15.
Bogot: Facultad de Ciencias Humanas. Universidad Nacional de Colombia.
Martn G., Mariano (2001). Evaluar el aprendizaje, evaluar la enseanza. En Lomas, Carlos (comp.) Educar o segregar?
Materiales para la transformacin de la educacin secundaria. (155-178). Bogot: Editorial Magisterio.
Ravela, P., Arregui, P., Valverde, G., Wolfe, R., Ferrer, G., Martnez, F., Aylwin, M. & Wolff, L. (2008). Las evaluaciones educativas que Amrica Latina necesita. Serie Documentos, N 40. Santiago de Chile: PREAL.

Evaluacin orientada a la mejora


del desempeo docente.
Una experiencia en la Universidad de Colima
13 de marzo de 2015

Evaluacin orientada a la mejora


del desempeo docente.
Una experiencia en la Universidad de Colima
Sara Gricelda Martnez Covarrubias
Doctorado, Universidad de Colima, Mxico.
saragris@ucol.mx
Mireya Isabel Cortez de la Mora
Maestra, Universidad de Colima, Mxico.
mmora@ucol.mx

Sandra Yuriana Valadez Pintor


Licenciatura, Universidad de Colima, Mxico.
svaladez@ucol.mx
PALABRAS CLAVE: Evaluacin docente, Evaluacin para la mejora, Educacin superior.
EJE TEMTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen

En la Universidad de Colima se dispone de un sistema de evaluacin de la prctica docente, y uno de sus componentes principales es la evaluacin por los estudiantes. El instrumento de aplica en lnea y los alumnos acceden
a l desde sus telfonos celulares o cualquier otro dispositivo con acceso a internet. Una cuestin abierta y voluntaria al final del instrumento precisa: Lo mejor de este profesor es y como complemento, Lo que debera
mejorar es A partir de la revisin de los comentarios de todos los estudiantes, se identific a personal docente
cuyos alumnos de forma reiterada sealan con requerimientos en temas como relaciones interpersonales, dificultades de comunicacin con el alumnado, faltas de respeto, agresividad, actitudes autoritarias, problemas para
mantener un clima propicio para el aprendizaje en el aula, etc. Se procedi a generar una propuesta de formacin
para apoyar estas temticas, invitando a los docentes a incorporarse a las actividades. En la ponencia se detalla el
proceso seguido y los resultados obtenidos un semestre despus de la intervencin, cuando nuevamente se realiz
la evaluacin de la prctica docente.

INTRODUCCIN
Existe consenso en la idea de que el fracaso o el xito acadmico de una institucin de educacin superior (IES) dependen
en gran medida de la calidad del desempeo de sus docentes. Se podrn perfeccionar los planes de estudio, tener excelentes instalaciones y adecuados medios de enseanza, pero sin docentes eficientes no se elevar la calidad de la educacin.
En este sentido, en la Universidad de Colima la evaluacin docente tiene como finalidad orientar los esfuerzos personales e institucionales hacia la mejora, as como incentivar y reconocer las buenas prcticas del profesorado en el aula,
laboratorio, taller y en general, en todos los espacios en los que se desarrollan los procesos de enseanza aprendizaje.
En la revisin de la literatura especializada, encontramos dos posturas en relacin al propsito o la finalidad de la
evaluacin docente, una centrada en el control y otra orientada al desarrollo o perfeccionamiento (Zabalza, 1990). El
trabajo que aqu se presenta es el resultado de una propuesta bajo el enfoque de la evaluacin formativa, que promueve
una cultura de evaluacin para la mejora y perfeccionamiento de la prctica docente. Se da mayor importancia al anlisis
de los resultados del ejercicio de la evaluacin, siendo esta la plataforma para el diseo y la operacin de programas y
acciones especficas que contribuyen a la mejora de dicha prctica.
Se fundamenta en los aportes de la Red Iberoamericana de Investigadores sobre Evaluacin de la Docencia (RIIED) y
la Red de Investigadores sobre la Evaluacin de la Docencia (RIED), lo que ha permitido generar una propuesta que rompa con una tendencia de no utilizar los resultados de la evaluacin docente para la mejora de la enseanza e ir ms all
de asociar la evaluacin del desempeo docente con la asignacin de estmulos econmicos y propsitos administrativos.

DESARROLLO
El Sistema de Evaluacin Docente (SED) de la Universidad de Colima
El perfil docente establecido en el modelo educativo de la Institucin intenta fortalecer la actuacin del profesor y al mismo tiempo facilitar los procesos de profesionalizacin de la docencia, pues considera el papel del docente como experto
en su disciplina y mediador en el encuentro del estudiante con el conocimiento.
En este tenor, a partir del 2013 se implement una propuesta sistemtica y participativa para evaluar la prctica
docente, la cual integra las perspectivas de los estudiantes, docentes y del rea de gestin de los planteles (director,
subdirector, coordinador acadmico, asesor pedaggico, jefe de carrera), quienes realizan la evaluacin desde cualquier
dispositivo con acceso a la internet, ingresando al SED a travs del enlace http://sed.ucol.mx con su clave de usuario y
contrasea.
Los instrumentos de evaluacin de la prctica docente se caracterizan por:

Estar centrados en el deber ser del perfil docente del modelo educativo.
Tener un nmero reducido de preguntas.
Estar diseados de manera sencilla, con la intencin de que no resulten tediosos, cansados y al final, poco productivos.
Ser de aplicacin general para todos los cursos de la Institucin.
Disponer de una autoevaluacin docente y la evaluacin del rea de gestin por profesor, no por asignatura.

Evaluacin por estudiantes

Permite conocer los elementos clave del proceso de enseanza aprendizaje que son comunes a los distintos niveles
y tipos de propuestas curriculares; lo que ayuda a lograr la comparabilidad de los resultados a nivel institucional. El
instrumento est dirigido a estudiantes de nivel medio superior, superior y de posgrado. Se compone de 14 tems organizados en 4 dimensiones: competencias profesionales, habilidades y estrategias didcticas, evaluacin del aprendizaje

y actitudes y valores. As mismo incluye una cuestin abierta sobre lo mejor de este profesor y lo que debera de
mejorar. Finalmente, el estudiante califica en una escala mximo a ninguno el esfuerzo realizado en el curso y en una
escala de 0 a 10, le asigna una nota a cada profesor.

Autoevaluacin docente
El docente como protagonista del proceso de enseanza valora su propio desempeo en funcin de sus capacidades y
limitaciones, lo que queda plasmado en su autoevaluacin. Es de carcter voluntario, y una vez realizada presenta al profesor sus resultados contrastados grficamente con los de la evaluacin realizada por los alumnos y con el reporte global
del rea de gestin acadmica. El instrumento se compone de 23 tems organizados en dos dimensiones (mi trabajo con
los estudiantes y participacin en la gestin escolar), as como de tres apartados que cuestionan sobre el proceso de enseanza aprendizaje, reas prioritarias de formacin docente y los cambios a realizar para mejorar la prctica docente. Un
aspecto a resaltar es que los profesores a travs de un portafolio electrnico pueden conocer los resultados de su evaluacin al final de cada semestre, mismos que se van acumulando y esto le permite el seguimiento de su desempeo docente.

Evaluacin de la actividad docente por el rea de gestin acadmica del plantel


El equipo directivo tiene una percepcin directa del desempeo de los docentes, es el grupo indicado para identificar
con precisin los aspectos a modificar en la prctica docente y otras actividades relacionadas directamente con ella,
mediante acciones especficas. El director de cada plantel es el responsable de la realizacin de esta evaluacin auxilindose de los dems integrantes del cuerpo directivo (subdirector, coordinador acadmico, asesor pedaggico y jefe
de carrera). El instrumento se compone de 14 tems organizados en 3 dimensiones (actitud hacia el trabajo docente,
participacin en la gestin escolar, y compromiso con los valores institucionales), as como una seccin para comentarios u observaciones.

Usuarios del SED

Los estudiantes evalan a sus profesores cada semestre, en los meses de mayo y noviembre, mientras que los docentes
realizan de manera voluntaria su autoevaluacin y el rea de gestin acadmica de cada bachillerato, escuela o facultad,
evala a los profesores una vez al ao, en el mes de noviembre.
Adems del profesorado, que es el destinatario ms importante del SED, el Sistema tambin es consultado por dependencias responsables de reas sustantivas de la Institucin, instancias que coordinan los servicios educativos institucionales y reas de gestin de los recursos humanos vinculadas al quehacer del profesorado. La Direccin General de
Desarrollo del Personal Acadmico (DiGeDPA) es la instancia responsable de operar el proceso de evaluacin.
La DiGeDPA como administradora general del SED, accede a reportes y estadsticas de avance de la evaluacin, resultados por nivel educativo, por plantel, profesor, asignatura, etc. Similar acceso tienen la Direccin General de Educacin
Superior (con acceso a los datos de licenciatura y posgrado) y la Direccin General de Educacin Media Superior (con
acceso a los datos de todos los planteles de bachillerato). La Coordinacin General de Docencia y la Direccin General de
Recursos Humanos cuyo alcance es institucional.
A su vez, cada director/a de plantel cuenta con clave como usuario y contrasea que le permite acceder al sistema y
consultar los resultados de la evaluacin realizada por los estudiantes, as como evaluar a los profesores del bachillerato,
escuela o facultad de que se trate.
Es importante sealar que los resultados cuantitativos del SED se utilizan para la toma de decisiones en los siguientes procesos: reconocimiento anual a los mejores docentes, puntuaciones acreditables en programas de estmulos a los
profesores de tiempo completo, procesos de ratificacin de contratos en las nuevas plazas de tiempo completo, y como
insumo para otras decisiones en casos especficos.

Los resultados del SED


Desde su primera aplicacin el SED ha presentado buenos resultados. Las puntuaciones obtenidas por el profesorado en
general han sido ms elevadas que con el instrumento que fue utilizado hasta el 2012.1 Lo anterior puede resultar un poco
sospechoso e inducir a pensar que el profesorado ha mejorado sustancialmente su prctica docente, como se aprecia
en el cuadro siguiente:
Cuadro 1 Resultados institucionales del SED, considerando algunos tems
tem

2013-1

2013-2

Demuestra dominio en los temas del curso (puntuacin mayor)

93.1

93.6

2014-1
93

Promueve el uso de las tecnologas de la informacin y comunicacin (puntuacin menor)

82.7

83.2

84.2

En particular destacan los tems que a nivel institucional tienen los puntajes extremos. El alumnado reconoce en lo general el expertise docente en trminos de manejo de las temticas y contenidos del curso, y de igual forma, los resultados
ms bajos a nivel institucional son los referentes a la incorporacin de las TIC en el proceso de enseanza-aprendizaje,
asociados sin duda a las desiguales condiciones de acceso a este tipo de recursos ya que la institucin tiene planteles
incluso en zonas rurales y por otro lado, los procesos de capacitacin y actualizacin en esta materia no han sido impulsados fuertemente en los ltimos aos, entre otras varias razones.2 Estos resultados se mantienen como los tems con
puntuaciones extremas en los tres semestres analizados.

Lo mejor y lo peor
A partir de la informacin recuperada en la evaluacin docente realizada por los estudiantes en el semestre 2013-1, se
revisaron los comentarios expresados en la pregunta abierta Lo mejor de este profesor es y lo que debera mejorar.
El anlisis de la informacin permiti identificar aspectos recurrentes en los comentarios de los estudiantes, y para ratificar las apreciaciones reiteradas, se contrastaron los datos con los resultados del semestre 2013-2, ya que existe muy
reducida movilidad docente y en general se trat de los mismos profesores, salvo alguna jubilacin o situacin particular.
En lo mejor, es constante el reconocimiento a la gran mayora del profesorado, por su dominio de los temas, formas
de trabajo docente, preparacin de clases, apropiada actitud, y afortunadamente, un largo etctera.
En cuanto a los aspectos que el profesorado debe mejorar, los cuales representan la preocupacin principal de la
DiGeDPA como instancia responsable de la formacin y actualizacin del profesorado en la institucin, se identificaron
seis temas recurrentes como reas de oportunidad:

Asistencia y puntualidad
Dominio de la disciplina
La forma de explicar la clase
Planeacin y desarrollo de la materia
Evaluacin del aprendizaje
Comunicacin docente-alumno y relaciones interpersonales

La presencia de estas observaciones es variable, aqu nos interesa destacar especficamente la ltima de ellas, al respecto de la cual, del total de profesores en el periodo considerado (1791), recibieron este tipo de apreciaciones negativas
de forma reiterada el 5.9% (107 profesores).
La Universidad de Colima ha realizado procesos sistemticos de evaluacin docente desde hace 30 aos, primero en formato impreso y posteriormente
en un sistema en lnea que tuvo diferentes versiones.
2
En marzo de 2014, para iniciar la bsqueda de opciones de mejora en esta materia se realiz un diagnstico aplicando la prueba Competencia Digital
para la Educacin y el Trabajo (Codiet), y sus resultados constituyen un insumo para el diseo de la estrategia de formacin docente que debe
emprenderse en la Institucin.
1

La estrategia de mejora
Como resultado de este anlisis, se programaron acciones formativas especficas. Se identific a los docentes que deberan fortalecer la relacin/convivencia con los estudiantes, lo anterior de acuerdo las apreciaciones generadas en el SED.
Para ello se disearon cursos-taller que tuvieron como propsito central fortalecer las habilidades de liderazgo necesarias para interactuar en el saln de clases, reconociendo la esencia o identidad de los alumnos como seres nicos y
valiosos. Esta accin se realiz con la colaboracin con la Direccin General de Orientacin Educativa y Vocacional, as
como con la participacin de docentes de la Facultad de Psicologa y de un facilitador externo.
Los docentes en cuestin fueron invitados a participar en los cursos-taller de manera directa. En la siguiente grfica
se especifica el nmero de profesores convocados y los que finalmente participaron en la formacin.
Grfica 1 Docentes convocados y asistentes por nivel educativo

La realizacin de los cursos-taller no estuvo exenta de problemas. Uno de ellos fue la resistencia a participar de los
docentes, por sentirse sealados o atacados al recibir una invitacin personal en la que aun cuando se cuidaron las formas, era claro, fue motivada por las quejas del alumnado, de tal suerte que del total de docentes convocados nicamente
se cont con la participacin del 58 profesores (54.2%).
No obstante, la calidad de los instructores y la forma apropiada de manejar la temtica en general rindi buenos
resultados, que se manifestaron en los comentarios finales de los participantes al cierre de los cursos y en la evaluacin
de los mismos.

Los resultados
Los resultados de los docentes que participaron en los cursos-taller fueron los siguientes:
Cuadro 2Apreciacin de la mejora, expresada por los estudiantes
en la evaluacin posterior al curso-taller (2014-1)

Resultado en el tem: Lo mejor de este


profesor/a es y Lo que debera mejorar
Sin cambios
Cambio moderado

Nivel
Medio superior
Nm.

Total

Superior
Nm.

Nm.

27

11

11

19

13

43

13

46

26

45

Cambio acentuado

30

12

43

21

36

Total de profesores

30

100

28

100

58

100

La modificacin en la percepcin estudiantil del desempeo en el rea de relacin interpersonal y comunicacin docente-alumno fue muy evidente, ya que en el 81% de los que acudieron a las actividades de formacin hubo mejora en las
actitudes, ms notables en el profesorado del nivel superior.
Como ejemplo de ello de los comentarios recibidos antes y despus de la intervencin, se puede ver el siguiente cuadro, relativo a un docente del nivel superior.
Cuadro 3 Ejemplos de comentarios recibidos por un profesor que particip en los cursos-taller
Evaluaciones 2013-1 2013-2 (antes)
Lo que debera mejorar

Evaluaciones 2014-1 (despus)


Lo mejor de este profesor es

Su carcter y actitud.

Para mi es de los mejores que tiene la facultad.

Es no ser prepotente ni sentir que todo lo puede, debe ser


humilde porque es muy credo.

Siga con ese entusiasmo de ver triunfar a los alumnos.

Su actitud ms flexible para los alumnos.

Que siempre est ah para esclarecer nuestras dudas,


sin importar que sea en tiempo fuera de clase.

Sinceramente, solamente he recibido de usted solo insultos


tanto como a mi persona como, a mi formacin profesional,
es un maestro sin tica, sin principios, que no lleva al alumno
a creer en l, si no lo contrario, lo nico que hace es hacerte sentir
que no sabes nada, para m es un maestro malo.

Da la confianza a sus alumnos de expresar ideas


y puntos de vista promueve la interaccin y el buen
ambiente entre los alumnos buen profesor.

La comunicacin hacia los alumnos.

Es un profesor fenomenal.

Desafortunadamente, de los 107 docentes en quienes inicialmente se detectaron necesidades de formacin en comunicacin docente-alumno y relaciones interpersonales en el aula, solamente se pudieron lograr mejoras en 47 de ellos, lo
que representa el 44%. Se debe insistir en la atencin del resto de este grupo docente y adicionalmente, continuar con el
apoyo a quienes ya emprendieron este proceso de mejora.

CONCLUSIONES
El SED ha permitido integrar las perspectivas de actores bsicos en el proceso de valorar la prctica docente: alumnos,
profesores y el rea de gestin. La parte ms rica de estos procesos no es la asignacin de puntuaciones, sino los elementos cualitativos que permiten llegar a identificar con mayor detalle las reas a mejorar. Sin embargo, los usos del
SED, asociados tambin a otras necesidades institucionales centrados en las puntuaciones, han sido hasta ahora los ms
generalizados.
El SED permite cerrar el crculo de diagnstico toma de decisiones, intervencin orientada a la mejora retroalimentacin, en un proceso que puede ayudar a la Institucin a la mejora continua del profesorado. Es necesario fortalecer
este uso de la evaluacin orientado a la mejora, rescatando no solamente lo que se afirma debe mejorar el profesorado,
sino tambin las buenas prcticas que se reconocen en la gran mayora de los profesores, para que ellos ejerzan un efecto
positivo en los colegas con mayores reas a mejorar. En otros casos, la intervencin requiere formacin especializada:
didctica, evaluacin, etc.
Los procesos de formacin deben ser continuos y contar con el apoyo de los tomadores de decisiones para garantizar
que la totalidad del profesorado que lo requiera se involucre en las actividades de mejora, siendo stas obligatorias.

BIBLIOGRAFA
Aguirre et al. (2000). Evaluacin integral de la docencia: una propuesta formativa y humanista. Evaluacin de la prctica
docente en Educacin Superior (Compendio). Mxico: Porra.
Audirac Augusto Carlos Camarena (2011).Sistematizacin de la Prctica Docente: posturas personales ante la educacin,
enfoque de la prctica docente, evaluacin reflexiva, estrategias educativas aplicadas. Mxico, Trillas.
Arbes Garca, Mara Isabel y Alma Elena Figueroa Ruvalcaba (2003). La evaluacin docente como un proceso de dilogo, comprensin y mejora de la prctica. En Rueda Beltrn Mario, Frida Daz- Barriga Arceo y Mnica Daz Pontones.
Evaluar para comprender y mejorar la docencia en educacin superior (161-174). Mxico: UAM, UNAM, UABJO.
Bolsegu, Milagros y Antonio Fuget Smith (2006). Cultura de la evaluacin: Una aproximacin conceptual. Revista de Investigacin y Postgrado, ao/vol. 21 nmero 001. Universidad Pedaggica Experimental Libertador. Caracas, Venezuela.
Cortez de la Mora, Mireya Isabel (2013). Propuesta para evaluar la prctica docente en la Universidad de Colima. (Tesis
de Mster/Especialidad, programa de doble grado, no publicada) Universidad de Barcelona/Universidad de Colima.
Daz- Barriga Arceo, Frida (2003). Aspectos ticos de la evaluacin de la docencia. En Rueda Beltrn Mario et al. Evaluacin
para comprender y mejorar la docencia en educacin superior. Mxico: UAM/UNAM/UABJO
Memorias del I Coloquio Iberoamericano. La Evaluacin de la Docencia Universitaria y No Universitaria: Retos y Perspectivas. Revista Iberoamericana de Evaluacin Educativa 2010 - Volumen 3, Nmero 1e.
Monroy Faras, Miguel y Daz Pontones, Mnica (2003). La evaluacin de la docencia a travs de la reflexin de las teoras
y creencias docentes. En Rueda Beltrn Mario, Frida Daz- Barriga Arceo y Mnica Daz Pontones. Evaluar para comprender y mejorar la docencia en educacin superior (227-236). Mxico: UAM, UNAM, UABJO.
Rueda Beltrn Mario, Edna Luna Serrano, Benilde Garca Cabrera y Javier Loredo Enrquez (2010). La evaluacin de la docencia en las universidades pblicas mexicanas: un diagnstico para su comprensin y mejora. Revista Iberoamericana
de Evaluacin Educativa 2010 - Volumen 3, Nmero 1e.
Rueda Beltrn Mario y F. DazBarriga (Coord.) (2011), La evaluacin de la docencia en la universidad. Perspectivas desde
la investigacin y la intervencin profesional. Segunda edicin Mxico, iisue.
Rueda Beltrn Mario (Coord.) (2011) Evaluar para controlar o para mejorar?: Valoracin del desempeo docente en las
universidades. Mxico, iisue.
Universidad de Colima (2010). Modelo Educativo en Visin 2030. Ejes para el desarrollo institucional.
Universidad de Colima. Sistema de Evaluacin Docente. Disponible en: http://sed.ucol.mx
Zabalza, M.A (1990). Evaluacin orientada al perfeccionamiento, en Revista Espaola de Pedagoga.

Caractersticas de los estudiantes


asociadas a la evaluacin del desempeo
docente en bachillerato
13 de marzo de 2015

Caractersticas de los estudiantes


asociadas a la evaluacin del desempeo
docente en bachillerato
Julio Herminio Pimienta Prieto
Esteban Flores Daz
Isabel Rodrguez Rebolledo

PALABRAS CLAVE: N
 ivel medio superior, evaluacin de la docencia, percepcin de los estudiantes,
caractersticas de los estudiantes.
EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

En esta ponencia se presenta un avance resultante de un piloteo para una investigacin que entre otras cuestiones,
pretende asociar algunas caractersticas de los estudiantes a los niveles de desempeo de profesores de bachillerato, producto de la aplicacin de un cuestionario a los alumnos. Para ello se ha utilizado un modelo de regresin
logstica multinomial que aunque pertinente, denota la necesidad de encontrar mejores estimadores para optimizar la clasificacin. En el estudio han participado un total de 418 estudiantes de un bachillerato particular (de nivel
socioeconmico medio bajo) de la Ciudad de Mxico, que han evaluado la actuacin de su profesor de matemticas
utilizando un cuestionario tipo escala de Likert con rango entre uno y cinco. Los resultados apuntan a una clara
preferencia a evaluar en niveles bajo y medio el desempeo de los profesores, a estudiantes que viven con ambos
padres y poseen computadora en casa, lo que nos habla de un cierto nivel socioeconmico, poseen una escasa
biblioteca y su rendimiento acadmico es medio o bajo. Por otro lado, se asocian a la evaluacin de altos niveles
de desempeo, a estudiantes que viven con ambos padres, proceden de escuelas privadas, el nivel escolar de los
padres llega a licenciatura o ms y sus promedios del nivel escolar anterior son medios altos o altos (8 puntos o
ms en una escala de 10). Lo anterior nos lleva a confirmar la necesidad de utilizar este tipo de cuestionarios como
parte de una evaluacin integral de la docencia y fundamentalmente con un fin formativo.

INTRODUCCIN
El impacto de la actuacin docente en el rendimiento acadmico de los estudiantes ha sido muy estudiado en el ltimo
tiempo, es bien conocido y lgico, el que los profesores con alto nivel de competencia generan altos niveles de logro en sus
estudiantes. Estudios actuales constatan la relacin de las encuestas de evaluacin docente con el rendimiento acadmico
de los alumnos (La Serna, et al., 2014), cuestin que nos habla de la actualidad y relevancia del tema; sin embargo, una
cuestin asociada que llama nuestra atencin y que consideramos escasamente estudiada, hasta lo que hemos revisado
en este momento, es la referida a cules son las caractersticas de los estudiantes que evalan a los docentes en niveles
altos de competencia. Ello, por el llamado que nos hace un grupo importante de serios investigadores que advierten de
esta situacin (Pramo, 2008; La Serna, et al., 2014), y que denotan la carencia de objetividad en estos instrumentos como
medio para la obtencin de informacin que permita la toma de decisiones trascendentes con los docentes.
El presente trabajo en el marco de un estudio piloto, pretende por un lado, obtener una clasificacin del desempeo
de los docentes desde la percepcin de los estudiantes: en alto, medio y bajo y, por otro, determinar las caractersticas
de los alumnos que se asocian con esta clasificacin; entendiendo que en este momento las caractersticas medidas a los
estudiantes constituyen una exploracin dentro de un grupo de deseables y que por la limitacin del muestreo, pudieran
no ser las relevantes a tomar en cuenta en el estudio definitivo.
Para evaluar el desempeo docente, Perrenoud (2007, 2012), Mateo (2006) , Zabalza y Zabalza (2010, 2012) mencionando algunos autores, han planteado que es posible valorar la actuacin del profesor considerando una serie de rasgos
dentro de una gran gama de posibilidades; pero, que de forma general, dan una buena idea de cmo se desempea este
importante actor y qu considerar para proceder a su evaluacin.
Muoz, Ros y Abalde (2002) en su estudio sobre la revisin de instrumentos que se han utilizado en diversas universidades espaolas, han propuesto uno para evaluar la docencia desde la perspectiva de los estudiantes, mismo que si lo
comparamos con lo que pretende la reforma educativa emprendida en Mxico para el nivel medio superior, no dista tanto
de lo que se propone como competencias deseables en el docente en este nivel.
A propsito, el Acuerdo 447 de la Secretara de Educacin Pblica de Mxico, marca que las competencias docentes
son las que formulan las cualidades individuales, de carcter tico, acadmico, profesional y social que debe reunir el
docente de la EMS (Educacin Media Superior), y consecuentemente definen su perfil. (SEP, 2008, 2), estableciendo con
ello, una gama de actuaciones que debe poseer este profesional de la educacin, que mencionamos a continuacin:
1. Organiza su formacin continua a lo largo de su trayectoria profesional.
2. Domina y estructura los saberes para facilitar experiencias de aprendizaje significativo,.
3. Planifica los procesos de enseanza y de aprendizaje atendiendo al enfoque por competencias, y los ubica en contextos disciplinares, curriculares y sociales amplios.
4. Lleva a la prctica procesos de enseanza y de aprendizaje de manera efectiva, creativa e innovadora en su contexto
institucional.
5. Evala los procesos de enseanza y de aprendizaje con un enfoque formativo.
6. Construye ambientes para el aprendizaje autnomo y colaborativo.
7. Contribuye a la generacin de un ambiente que facilite el desarrollo sano e integral de los estudiantes.
8. Participa en los proyectos de mejora continua de su escuela y apoya la gestin institucional.

Como es posible advertir, no es factible evaluar todas las actuaciones anteriores considerando la perspectiva de los
estudiantes; pero, la inmensa mayora (seis de los ocho), si se pueden poner a consideracin de los alumnos. Hemos considerado no enfrentar las actuaciones deseadas 1 y 8 al juicio de los estudiantes.
Tomando en cuenta lo anterior, hemos utilizado un instrumento basado en uno validado con anterioridad por Pimienta (2014) y que est conformado por 26 afirmaciones que los estudiantes deben valorar sobre las actuaciones que
aprecian en sus profesores, en un continuo entre 1 y 5, considerando que el 1 significa estar muy en desacuerdo y el 5,
muy de acuerdo.
3

Presentamos a continuacin las dos dimensiones que conforman el instrumento y sus respectivos indicadores.

Tabla 1 Especificaciones del Cuestionario de Alumnos para Evaluar la Docencia (CAED)


Dimensiones

Indicadores

Pretensiones del programa.


Relacin clases programa.
Lgica de las sesiones.
Percepcin del dominio de las competencias pretendidas.
Cumplimiento del programa.
Reactivacin de saberes previos.
Mediacin necesaria para el logro de las competencias.
Organizacin de los saberes.
Aplicacin de los saberes.
Situaciones de aprendizaje.
Participacin de los estudiantes en las evaluaciones.
Retroalimentacin sobre las evaluaciones.
Evaluacin oportuna.
Relacin evaluacin programa sesiones.
Interdisciplinariedad.
Trabajo individual y colaborativo.
Recursos pertinentes.
Utilizacin de la tecnologa.
Estrategias propiciadoras de aprendizaje.

73

Equidad en el trato.
Claridad de la comunicacin.
Ambiente propicio para el aprendizaje.
Prctica de valores ticos.
Involucramiento de los estudiantes en las tareas.
Empata.
Respeto a la diversidad.

27

Didctica

Ambiente modificante

DESARROLLO

A continuacin describimos la muestra de estudiantes participantes en el estudio.


Casi la mitad de estudiantes son hombres, 49.8% (208) y la otra, el 50.2% (210) mujeres. La mayora proviene de
escuelas secundarias particulares, el 75.1% (314); mientras que el 24.9% (104) proviene de escuelas gubernamentales.
Atendiendo al nivel escolar del padre: el 1.7% (7) no ha terminado la primaria, el 3.8% (16) posee primaria, el 13.6%
(57) secundaria, el 32.1% (134) secundaria, el 34.9% (146) posee licenciatura, el 8.4% (35) posee maestra y el 5.5%
(23) posee doctorado. Con respecto a las mams, la distribucin del nivel escolar se diferencia en que en estas ltimas,
encontramos mayor cantidad en los niveles de secundaria y preparatoria: el 1.9% (8) no ha concluido la primaria, el 5%
(21) primaria, 21.1% (88) secundaria, 36.4% (152) preparatoria, 26.1% (109) licenciatura, el 6.7% (28) maestra y solo
el 2.9% (12) doctorado.
La mayora de los estudiantes vive con ambos padres 74.6% (312), el 19.9% (83) vive con la madre y el 3.8% (16) con
el padre, el 1.7% (7) vive con algn otro familiar. En casa la inmensa mayora posee computadora 92.3% (386), contra un
7.7 (32) que no la poseen. El 42.6% (178) reporta tener hasta 50 libros en casa, el 28.7% (120) posee entre 51 y 100, el
12.4% (52) reporta que posee hasta 150 libros en casa, mientras que el 10% (42) manifiesta que posee hasta 200 ejemplares y el 6.2% (26) plantea tener hasta 300 libros.
Con la intencin de realizar la clasificacin del desempeo docente, hemos aplicado un modelo de regresin logstica
multinomial (Hosmer & Lameshow, 2000; Kleinbaum y Klein, 2010).
Para cada reactivo se determinaron las frecuencias de cada una de las opciones y se pudo apreciar que son similares
en cuanto a su distribucin. La Fig. 1, muestra las grficas de violn en las que se puede distinguir lo anterior. La nica
diferencia la encontramos en el R3 (reactivo 3), en el que la mayora ha seleccionado las opciones 3 y 4.

Figura 1 Grficas de violn para cada uno de los reactivos

Posteriormente se procedi a realizar un anlisis de correlacin entre los tems. Se calcularon las matrices de correlacin de Pearson, Spearman y Kendall, con lo cual determinamos que las variables no se encuentran significativamente
relacionadas. A continuacin mostramos un ejemplo de grficas de correlacin spider, que muestran lo planteado.
5

Figura 2 Grficas de correlacin

Para la construccin de la variable respuesta se ha tomado en cuenta la distribucin de frecuencias de cada reactivo
de la escala.
Tabla 2 Distribucin de frecuencias para los valores de la escala
Valor
1

Frecuencia absoluta

Frecuencia relativa

Frecuencia acumulada

Frecuencia acumulada relativa

352

0.032

352

0.032

703

0.065

1055

0.097

2074

0.191

3129

0.288

4461

0.410

7590

0.697

3293

0.303

10883

Total

10883

Tabla 4 Distribucin de frecuencias para los niveles de desempeo


Valor

Frecuencia absoluta

Frecuencia relativa

Frecuencia acumulada

Frecuencia acumulada relativa

Bajo (1y 2)

1055

0.097

1055

0.097

Medio (3 y 4)

6535

0.600

7590

0.697

0.303

10883

Alto (5)
Total

3293
10883

1.0

La variable respuesta (YD) vara entonces entre 26 y 130, de ello se establece que la proporcin acumulada se encontrar entre 0 y 1, con un 9.7% de evaluaciones de bajo desempeo, 60% medio y 30,3% alto.

Finalmente, las proporciones finales para la variable respuesta son:

Tabla 5 Variable de respuesta YD

Puntaje Final
Clasificacin

Variable respuesta

Lmite Inferior

Lmite Superior

Frecuencia

YD

26

79

39

0.093

80

110

250

0.692

111

130

129

Total

418

Bajo
Medio
Alto

Encontrndonos ante una medida ordinal, hemos formado un conjunto de variables de diseo, como plantean Homer
y Lameshow (2000), con lo que solventamos la anterior situacin.
Tabla 6 Variables de diseo
Categora

MPi,1

MPi,2

MPi,3

MPi,4

Muy en desacuerdo (1)

En desacuerdo(2)

Ni en acuerdo, ni en desacuerdo(3)

De acuerdo (4)

Muy de acuerdo (5)

Hemos utilizado un modelo de regresin logstica multinomial, puesto que tenemos en nuestro caso, tres categoras
que expresan los niveles de desempeo docente.
En la regresin logstica la variable dependiente, ha sido la funcin de distribucin acumulada logstica, definida como:
F(x) = P (X x) =

donde F(x) denota una probabilidad en el rango en [0,1], y

e g(x)
1 + e g(x)

g(x) = 0 + 1 x 1 + 2 x 2 + + p x p

El modelo de regresin logstica multinomial queda definido como


donde:

F(MP) =

e g(MP)
1 + e g(MP)

MP = MP1 + + MP26 , y cada MPi = MPi,1 + MPi,2 + MPi,3 + MPi,4 , por lo que cada una de las variables ordinales se reemplaza
por sus variables de diseo definidas anteriormente, finalmente:
g(MP) = 0 + 1, 1 MP1, 1 + 1, 2 MP1, 2 + 1, 3 MP1, 3 + 1, 4 MP1, 4 +
+ 26, 1 MP26, 1 + 26, 2 MP26, 2 + 26, 3 MP26, 3 + 26, 4 MP26, 4

Se han encontrado los estimadores de los coeficientes Bi,j , en esta regresin se determin que solo 48 coeficientes son
significativos, mismos que corresponden a los reactivos: 2, 5, 6, 8, 11, 13, 15, 17, 22, 23, 24 y 26.
Una vez obtenido el modelo de regresin logstica se procede a pronosticar la evaluacin despus de la intervencin
educativa, es decir con las evaluaciones en las que participaron los alumnos al finalizar el ciclo escolar.
Los cambios en las evaluaciones se muestran en la Tabla 7, ahora la frecuencia ms alta la tiene la categora Alto con
un 57.7%, despus le sigue Medio con un 36.8% y al final la clasificacin Bajo con tan solo el 5.5%.

Tabla 7 Frecuencias y porcentajes atendiendo a los niveles de desempeo


Clasificacin Posterior
Clasificacin Previa
Bajo
Medio
Alto
Total

Total

Bajo

Medio

Alto

14

22

39

13.0%

9.1%

9.1%

9.3%

13

101

136

250

56.5%

65.6%

56.4%

59.8%

39

83

129

30.4%

25.3%

34.4%

30.9%

23

154

241

5.5%

36.8%

57.7%

418

Los estudiantes que evaluaron en un nivel bajo el desempeo de los profesores y que no cambiaron su percepcin,
13% (puesto que se aplic el cuestionario tres semanas despus de comenzar el curso y al finalizar) acerca de la evaluacin, viven con ambos padres, cuentan con computadora en casa y presentan una cantidad reducida de libros en el hogar
(entre 1 y 50). Los que evaluaron como de nivel medio a su profesor (65.6%) y se mantuvieron en esa clasificacin, son
principalmente mujeres que viven con ambos padres, la escuela de procedencia es privada, el nivel escolar de la madre
es por debajo de preparatoria, en el caso de los padres la mayora tiene licenciatura o ms y el promedio obtenido en
secundaria est por debajo de 7.8 puntos.
Ahora se vern las caractersticas en los casos extremos, primero los alumnos que inicialmente evaluaron bajo y al
final alto, en su gran mayora viven con ambos padres, la escuela de procedencia con ms peso en este grupo es la oficial,
el nivel escolar de la madre est en promedio por debajo de la preparatoria y el del padre a lo sumo, llega a la licenciatura,
en ambos casos hay presencia de niveles escolares bajo hasta Preprimaria y Primaria en la escolaridad de los padres.
El otro caso extremo sera cuando antes evaluaron alto y posteriormente, bajo, las caractersticas encontradas son:
proceden de escuelas particulares, el nivel escolar de la madre est entre secundaria y preparatoria, y del padre entre
preparatoria y universidad.

CONCLUSIONES

Por el momento consideramos que es viable la clasificacin de los estudiantes mediante un modelo de regresin logstica multinomial; sin embargo, es pertinente tomar la decisin de trabajar en un modelo con mayor robustez, lo que
redundar en que se optimice la clasificacin en los niveles de desempeo de los profesores por parte de los estudiantes.
Ello, debido a que el modelo que mida la percepcin de los alumnos debe ser tal que capture y sea capaz de resistir a
respuestas atpicas de los estudiantes, como por ejemplo, el que seleccionen solamente la opcin ms baja, la ms alta o
combinaciones no aleatorias de las posibilidades de la escala.
Se denota una clara preferencia a evaluar en niveles bajo y medio el desempeo de los profesores, a estudiantes que
aunque viven con ambos padres y poseen computadora en casa, lo que nos habla de cierto nivel socioeconmico, poseen

una escasa biblioteca y su rendimiento acadmico es medio o bajo. Por otro lado, se asocian a la evaluacin de altos niveles de desempeo, a estudiantes que viven con ambos padres, proceden de escuelas privadas, el nivel escolar de los
padres llega a ser de licenciatura o ms y sus promedios del nivel anterior son medios altos o altos (8 y ms puntos).
Consideramos que deben considerarse con mesura los resultados que arrojan este tipo de cuestionarios para tomar
decisiones, sobre todo ahora con la reforma constitucional en Mxico que considera la permanencia en el Servicio Profesional Docente y para lo cual, este tipo de herramientas podra ser utilizado (Cordero y Luna, 2014). Estudios clsicos han
documentado que grupos de estudiantes que obtuvieron puntajes altos en los exmenes evalan mejor a sus profesores
(Garca Garduo, 2008), cuestin que se va registrando, tambin, en nuestro estudio. Una implicacin de esta incipiente
investigacin para la mejora de la prctica docente, pudiera vislumbrarse en el sentido de considerar que la evaluacin de
la docencia por parte de los estudiantes se relaciona ntimamente con la percepcin de logro de los mismos. Finalmente,
es muy limitado el aporte que presentamos, considerando que es un piloteo en el que adems, no han sido significativas
variables relevantes como caractersticas de los estudiantes que pudiramos relacionar, por ejemplo, procedencia de una
escuela privada. (La Serna, et al., 2014)

REFERENCIAS

Bravo, D., Falck, D. Gonzlez, R., Manzi, J. y Peirano, C. (2008). La relacin entre la evaluacin docente y el rendimiento de los alumnos: Evidencia para el caso de Chile. En: http://www.ceppe.cl/images/stories/recursos/publicaciones/
Jorge%20Manzi/La-relacin-entre-la-evaluacion-docente-y-el-rendimiento-de-los-alumnos.pdf
Cordero, G. y Luna, E. (2014). El Servicio Profesional Docente en la perspectiva de los sistemas nacionales de formacin de
profesores y de evaluacin. El caso de Mxico. Revista Iberoamericana de Evaluacin Educativa, 7(2), 75-84.
Garca Garduo, J. (2008). La investigacin sobre efectividad docente en Estados Unidos y el uso de los cuestionarios de
evaluacin. En: Rueda, M. (Coord.). (2008). La evaluacin de los profesores como recurso para mejorar su prctica.
Mxico: ISUE. Universidad Nacional Autnoma de Mxico.
Hosmer, D. y Lameshow, S. (2000). Applied Logistic Regression. New York, USA: Wiley.
Kleinbaum, D. y Klein, M. (2010). Logistic Regression. A Self-Learning Text. New York, USA: Springer.
La Serna, K., Becerra, A., Beltrn, A. y Zhang, H. (2014). La relacin de las encuestas de evaluacin con el rendimiento
acadmico: La evidencia emprica en la Universidad del Pacfico. Revista Iberoamericana de Evaluacin Educativa.
7, (2), 105-116.
Luna, E. y Rueda, M. (2008). Estado del conocimiento sobre la evaluacin de la docencia universitaria 1990-2004. En:
Rueda, M. (Coord.). (2008). La evaluacin de los profesores como recurso para mejorar su prctica. Mxico: ISUE.
Universidad Nacional Autnoma de Mxico.
Mateo, J. (2006). La evaluacin educativa, su prctica y otras metforas. Lima, Per: Alfaomega.
Muoz, J., Ros, M y Abalde, E. (2002). Evaluacin docente vs. evaluacin de la calidad. Revista Electrnica de Investigacin
y Evaluacin Educativa (Relieve), 8(2), 103-134.
Pramo, P. (2008). Factores psicosociales asociados a la evaluacin del docente. Educacin y Educadores, 11(1), 11-30.
Perrenoud, P. (2012). Cuando la escuela pretende preparar para la vida. Desarrollar competencias o ensear otros saberes?
Distrito Federal, Mxico: Gra.
Perrenoud, P. (2007). Diez nuevas competencias para ensear. Distrito Federal, Mxico: Gra.
Pimienta, J. (2014). Elaboracin y validacin de un instrumento para la medicin del desempeo docente basado en competencias. Revista de docencia universitaria, 12(2), 231-250.
S.E.P. (2008). Acuerdo nmero 447 por el que se establecen las competencias docentes para quienes impartan educacin
media superior en la modalidad escolarizada. Mxico: Diario Oficial.
Zabalza, M. y Zabalza, Ma. A. (2012). Profesoras, profesores y profesin docente. Entre el ser y el estar. Madrid, Espaa:
Narcea.
Zabalza, M. y Zabalza, Ma. A. (2010). Planificacin de la docencia en la universidad. Elaboracin de guas docentes de las
materias. Madrid, Espaa: Narcea.

Modelo para anlisis de pruebas


aplicadas a varias poblaciones
13 de marzo de 2015

Modelo para anlisis de pruebas


aplicadas a varias poblaciones
Diana Stella Antonio Rojas
Maestra en Estadstica, Universidad Nacional, Colombia.
dsantonior@unal.edu.co
PALABRAS CLAVE: T
 eora de respuesta al tem, modelos jerrquicos, funcionamiento diferencial del tem,
dimensiones de los trazos latentes.
EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

Se propone un modelo para analizar datos resultantes de la aplicacin de una prueba multidimensional a varias
poblaciones, entre las cuales se presentan diferencias en los parmetros de los tems. Se presentan resultados de
la aplicacin del modelo propuesto a datos simulados y a una muestra de datos reales provenientes del Primer
Estudio Internacional Comparativo sobre Lenguaje, Matemtica y Factores Asociados en Tercero y Cuarto Grado
(PERCE), que fue aplicada por el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin. Los
datos fueron suministrados por el Instituto Colombiano para la Evaluacin de la Educacin (ICFES). Se usa una
muestra de datos de tres pases: Bolivia, Colombia y Cuba.

INTRODUCCIN

En ocasiones se aplican pruebas a poblaciones agrupadas internamente, donde, por diversas razones, como: sistemas
de educacin, diferencias culturales, de idioma, entre otros, se presentan diferencias entre las personas que pertenecen
a cada grupo de poblacin. Un ejemplo de ello es la prueba PERCE, que se aplic en 1997 a estudiantes de 13 pases
latinoamericanos, con el objetivo de percibir los logros educativos de los pases a travs de enfoques comparados, que
permitieran generar indicadores comunes (Casassus & Cusato 1998b, pp. 7).
A travs de la informacin aportada por la aplicacin de pruebas internacionales, es posible evaluar los sistemas de
educacin de los pases participantes, en los temas contenidos en la prueba. De esa manera, es posible percibir los procesos y resultados de los pases en el campo educativo (Casassus & Cusato 1998b, pp. 5). El anlisis a fondo de los resultados
de las evaluaciones, aporta informacin para disear y poner en prctica polticas pblicas adecuadas para la atencin de
los problemas descubiertos y de esta manera mejorar la calidad de los sistemas educativos (OCDE 2006, pp. 29). Teniendo
en cuenta el fuerte vnculo entre la calidad de la educacin y el progreso de los pases, ya reconocido internacionalmente,
estas acciones son de gran importancia y pueden tener alto impacto en el desempeo de los pases en muchos aspectos.
En el diseo de una prueba internacional se tiene en cuenta que los resultados deben ser comparables entre los pases
evaluados, para cumplir el objetivo de su aplicacin. En estos casos, para el correcto anlisis de los resultados se requiere
un modelo que establezca una escala de medicin comn. El modelo diseado en sta investigacin responde a la necesi-

dad de anlisis de resultados de este tipo de pruebas, porque establece una escala de medicin comn para su anlisis e
interpretacin. ste modelo podr lograr resultados ms veraces en el anlisis de los test que se aplican a una poblacin
de un pas, o su equivalente en otras reas del conocimiento, como pruebas diseadas para evaluar la competencia docente y directiva en contextos diversos.
A partir de los resultados de la aplicacin del modelo, es posible hacer la validacin los de instrumentos de medicin,
para los casos en que se requiera que stos sean invariantes entre poblaciones a las cuales se apliquen.
En este trabajo, se usa un modelo jerrquico para modelar las diferencias en los parmetros de los tems entre los grupos de personas. Se asume que las diferencias entre los grupos de poblacin provienen de los tems, no de las personas.
Por lo anterior, el modelo no identifica el FDI (Funcionamiento Diferencial del Item).
En el modelo propuesto se incluye la estrategia jerrquica en el modelo multidimensional de TRI (TRIM) (Reckase
2009, pp. 86), teniendo en cuenta que un tem puede ser sensible a diferencias en las personas en mltiples dimensiones.
Cuando las dimensiones son objetivo de la evaluacin, los resultados sirven como indicadores vlidos de las dimensiones de inters. Cuando grupos de una poblacin tienen diferencias en dimensiones que no son objetivo de la evaluacin,
pueden incluir sesgo en el tem. Los anlisis con modelos TRIM pueden ayudar a aclarar tanto las diferencias entre las
poblaciones, como las razones del FDI (Reckase 2009, pp. 74-75).
En el modelo propuesto, se estiman parmetros de los tems especficos en cada grupo. Al mismo tiempo, se conserva
una escala de medicin comn, porque se estima un parmetro global, que corresponde a la media de toda la poblacin,
que sirve como parmetro de comparacin de las diferencias en el funcionamiento del tem entre cada grupo y la media
global. Con el clculo de parmetros de los tems en cada poblacin, no es necesario que los tems sean invariantes, ni es
necesario clasificarlos como invariantes o no invariantes (Fox 2010, pp. 193).
El objetivo de esta investigacin es el diseo de un modelo Multidimensional Jerrquico de Teora de Respuesta al
tem, para modelar los parmetros de los tems cuando se tienen poblaciones agrupadas.
La metodologa para el desarrollo de la investigacin es: disear un modelo multidimensional jerrquico, que tenga
en cuenta varios grupos de poblacin, disear un algoritmo para implementar el modelo elaborado, realizar pruebas de
desempeo al algoritmo, a travs de simulaciones, evaluar los resultados de las simulaciones, aplicando el algoritmo desarrollado a un conjunto de datos reales, y evaluar el modelo con estadsticas de ajuste para los datos y los trazos latentes.

DESARROLLO
En este trabajo se generaliza el modelo unidimensional de TRI con efectos aleatorios (Fox 2010), en el sentido de incluir
dos conjuntos de parmetros de los tems en el modelo TRIM (Reckase 2009, pp. 86). Para estimar los parmetros del
modelo propuesto, se desarroll un algoritmo en base a la metodologa descrita en Bolt (2003). Se usaron tcnicas Bayesianas, como lo han hecho autores como Fox (2010).
Se simularon datos a travs de un procedimiento desarrollado en R, a los que se aplic el modelo TRIM (Reckase
2009) y el modelo propuesto para recuperar los parmetros simulados. Se compararon los resultados y se evalu la calidad de la recuperacin de los parmetros usando el algoritmo con el que se implement el modelo.
Se aplic el modelo propuesto a un conjunto de datos reales, tomados del Primer Estudio Internacional Comparativo
sobre Lenguaje, Matemtica y Factores Asociados en Tercero y Cuarto Grado (Casassus & Cusato 1998a), suministrados
por el ICFES. Se us un diseo de muestreo aleatorio simple, para tomar la muestra de tres pases: Bolivia, Colombia y
Cuba, correspondiente al seis por ciento del total de datos en cada pas.
Para determinar el nmero de dimensiones de los trazos latentes se desarroll un anlisis paralelo (Horn 1965), (Reckase
2009, pp. 215) a la muestra de datos reales. Para estimar los parmetros del modelo propuesto se implement un algoritmo
en Winbugs. Winbugs fue desarrollado conjuntamente por la MRC Biostatistics Unit, Cambridge y el Imperial College School
of Medicine at St Marys, Londres, se encuentra disponible para descargar en la pgina http://www.mrc-bsu.cam.ac.uk/bugs/
winbugs/contents.shtml.

Se estimaron los parmetros de los tems usando el modelo TRIM clsico (Reckase 2009, pp. 86), con el objetivo de
comparar el ajuste de los dos modelos. Se compararon los resultados de la aplicacin de los modelos con el Deviance
Information Criterion (DIC) (Carlin 2009, pp. 71). Se evalu el desempeo del modelo propuesto con los mtodos Conditional Predictive Ordinate CPO y CPO inverso (Ntzoufras 2009, pp. 344).

Modelo Multidimensional Jerrquico de dos Parmetros TRIMJ


En el "Modelo Multidimensional Jerrquico de dos Parmetros TRIMJ", se estiman dos conjuntos de parmetros de los
tems: globales y locales; y los parmetros de las personas estn compuestos por un vector de trazos latentes para cada
individuo.
El conjunto de parmetros globales se denota k = (ak , dk ), donde a k es el vector de parmetros globales de discriminacin del tem k, y dk es el parmetro de intercepto global del tem k. a k corresponde a un vector de L parmetros,
donde L denota el nmero de dimensiones del espacio de los trazos latentes, hay un parmetro de discriminacin en cada
dimensin.
El conjunto de parmetros locales se denota kg = (akg, dkg), donde a kg es el vector de L parmetros de discriminacin
del tem k en la poblacin g, y dkg es el parmetro de intercepto del tem k en la poblacin g.
Los parmetros a kg conforman un vector de K parmetros en cada dimensin l, y estos vectores conforman una matriz
de L vectores en cada poblacin g. El modelo incluye K*G*L parmetros de discriminacin en total. Los parmetros dkg
conforman un vector de K parmetros en cada subpoblacin, donde K es el nmero total de tems. El modelo incluye en
total una matriz de K*G parmetros de intercepto, donde G es el nmero total de subpoblaciones.
El vector de trazos latentes se denota ig , donde i corresponde al individuo y g a la poblacin a la cual pertenece. El
vector ig est compuesto por L parmetros para cada individuo i. Se denota ng al nmero de personas que conforman la
subpoblacin g, y el nmero de personas de la poblacin total se denota N. Es decir, N = (n1 + n2 + n3 + + nG ). En total,
se estiman N*L parmetros .
A partir de la anterior descripcin de los parmetros, el modelo TRIMJ se define:
P(Yigk = 1|ig , kg ) =

e a'kgig + dkg
, (3)
1 + e akgig + dkg

donde Yigk denota la variable aleatoria que representa la respuesta del individuo i de la subpoblacin g al tem k, para
i = 1, , ng , g = 1, , G y k = 1, , K. Se usa enlace logstico en el modelo TRIMJ porque facilita el proceso de estimacin,
y las diferencias en los resultados con el enlace normal son mnimas (Reckase 2009, pp. 95).
El exponente expandido de e se escribe como:
a kgig + d kg = akg1ig1 + a kg2ig2 + akg3ig3 + + a kgLigL + d k = L = 1 L a kgligl + d k

el exponente es el predictor lineal latente del modelo TRIMJ.

Aplicacin a una muestra de datos de la prueba PERCE

Para este trabajo se tom una muestra aleatoria de datos del Primer Estudio Internacional Comparativo sobre Lenguaje,
Matemtica y Factores Asociados en Tercero y Cuarto Grado (PERCE) (Casassus & Cusato 1998b). Los datos fueron suministrados por el ICFES. La prueba PERCE fue aplicada por el Laboratorio Latinoamericano de Evaluacin de la Calidad de
la Educacin (LLECE) (Casassus & Cusato 1998b, pp. 7). La muestra se tom de respuestas del cuestionario B, de tres de
los pases evaluados. El tamao de la muestra corresponde al seis por ciento de los estudiantes de cada pas, se obtuvieron para Bolivia 252 estudiantes, Colombia 194 estudiantes y Cuba 156 estudiantes.

Estimacin de los parmetros de los tems


Se estimaron dos conjuntos de parmetros de los tems con el modelo TRIMJ: los parmetros globales, que en adelante se
nombran parmetros internacionales, y los parmetros locales, que corresponden a un conjunto de parmetros en cada
pas, que en adelante se nombran parmetros nacionales.

Estimacin de los trazos latentes bsicos


En el modelo TRIMJ las diferencias son modeladas con la estrategia usada en los modelos jerrquicos. Siguiendo a Fox
(2010), se asumi que los trazos latentes provienen de una nica distribucin. Para estimar los trazos latentes, se fij la
matriz de covarianza como la identidad.

Estimacin de los trazos latentes principales


En este trabajo, se us la transformacin de Wang (1986) para calcular el trazo latente unidimensional, G. En este caso G
corresponde al trazo latente asociado a la subprueba (matemtica o lenguaje). Sea A 1 la matriz cuyas columnas son los
vectores de parmetros de discriminacin de la subprueba de matemtica, para calcular el trazo latente asociado a la
componente de matemtica G1, se calcul el primer vector propio de la matriz A 1*A 1, que corresponde a la direccin principal de la subprueba de matemtica, que se denotara w1. Sea A2 la matriz cuyas columnas son los vectores de parmetros
de discriminacin de la subprueba de lenguaje, para calcular el trazo latente asociado a la componente de lenguaje G2 , se
calcul el primer vector propio de la matriz A 2*A 2, el vector la direccin principal de la subprueba de lenguaje, que se denotara w2 . Se calcul un trazo latente unidimensional G para cada pas, con los parmetros de discriminacin nacionales,
y un trazo latente G internacional, con los parmetros de discriminacin internacionales.
A continuacin, se describen los resultados de cada una de las subpruebas. En Bolivia (izquierda) y Colombia (centro)
hay poca dispersin, lo que muestra que los estudiantes con igual puntaje clsico tuvieron valores similares del trazo
latente G1. Adems, se observa que pocos estudiantes obtuvieron puntajes clsicos altos en la prueba. En Cuba (derecha),
se observa que los estudiantes tuvieron puntajes clsicos ms altos que los estudiantes de los otros pases, la mayora de
los estudiantes se ubican en los promedios de la mitad hacia arriba del puntaje clsico. Hay mayor dispersin en la grfica
de Cuba, donde estudiantes con el mismo puntaje clsico tuvieron diferente valor de G1, incluso cuando este es igual a 1,
lo que muestra el impacto de la correlacin entre las estimaciones de los trazos latentes principales.

Evaluacin del ajuste del modelo TRIMJ

Para la evaluacin de la calidad del modelo TRIMJ, se tuvieron en cuenta varios criterios: el Deviance Information Criterion DIC comparado con el modelo TRIM clsico, el Conditional Predictive Ordinate CPO y el CPO inverso. El cdigo usado
para estimar el CPO fue tomado de Kang (2006, pp. 169). Como criterio de bondad de ajuste, se us la evaluacin de las
predicciones. El cdigo usado en winbugs para la estimacin de bondad de ajuste fue tomado de Fox (2010, pp. 111).
Para detectar los outliers y valores extremos, se us el criterio de CPO y CPO inverso (Ntzoufras 2009, pp. 344). Asumiendo normalidad aproximada, los valores de CPO inverso mayores de 40 se pueden considerar como posibles outliers
y mayores de 70 como valores extremos (Ntzoufras 2009, pp. 376). Los valores de CPO inverso del modelo resultaron en
un 0.09 por ciento de outliers y un 0.04 por ciento de valores extremos. Dado que el porcentaje de outliers es inferior al
5 por ciento, este resultado no es motivo de preocupacin (Fox 2010, pp. 111).
En el anlisis de CPO inverso en cada pas, los resultados fueron los siguientes: en Bolivia, 0.03 por ciento de outliers y
0.01 por ciento de valores extremos; en Colombia, 0.03 por ciento de outliers y cero valores extremos; y en Cuba, 0.2 por
ciento de outliers y 0.12 por ciento de valores extremos. En Cuba, el porcentaje de outliers y valores extremos es aceptable de acuerdo con Fox (2010), sin embargo, es marcadamente superior a los otros pases.

Para seleccionar el mejor modelo, se us el DIC (Carlin 2009, pp. 71). El valor total del DIC para el modelo TRIMJ fue de
31099.5, inferior al DIC estimado para el modelo TRIM (Reckase 2009), 31556.4, lo que indica un mejor ajuste del modelo
TRIMJ. Estos resultados pueden leerse en la tabla siguiente:
Tabla 1 Comparacin DIC modelos TRIMJ y TRIM
Parmetro

a1

a2

a3

Response

Total

TRIM

66.542

66.542

66.542

31356.7

31556.4

TRIMJ

66.542

30.115

53.012

30875.5

31099.5

Como criterio de bondad de ajuste del modelo, se us la evaluacin de la prediccin (Fox 2010). Se calcul un p-valor
para estimar la compatibilidad del modelo con los datos observados, resultando un total de 0.08 por ciento de los p-valores menores a 0.05, y con el criterio de 0.1, se encontraron 0.38 por ciento de p-valores menores. Por lo anterior, se
considera que el modelo se ajusta adecuadamente a los datos.
Se desarrollaron anlisis de dimensionalidad de los datos previas al ajuste del modelo TRIMJ, que sugirieron el uso
de tres dimensiones de los trazos latentes de los individuos. Los parmetros de los items tuvieron diferentes valores
en cada pas, resultado coherente con lo encontrado por los evaluadores de la prueba PERCE en el informe Casassus &
Cusato (2001). Estos resultados confirmaron los supuestos de este trabajo: los trazos latentes son multidimensionales y
los parmetros de los tems varan entre pases, lo que mostr que los supuestos del modelo de Rasch no se cumplen en
la prueba PERCE, por lo que los anlisis desarrollados en los informes Casassus & Cusato (1998b) y Casassus & Cusato
(2001) con el modelo de Rasch, no son vlidos desde el punto de vista terico.

CONCLUSIONES
Se aplic el modelo TRIMJ a una muestra de datos reales de la prueba PERCE (Casassus & Cusato 1998) de tres pases:
Bolivia, Colombia y Cuba. El ajuste del modelo TRIMJ fue adecuado de acuerdo con los resultados de los criterios de evaluacin aplicados, y se verifico el cumplimiento de los supuestos. Se uso adems el modelo TRIM clsico, para comparar
los resultados de los dos modelos con los datos reales. Al comparar el DIC de los dos modelos resulto seleccionado el
modelo TRIMJ como mejor modelo. Los parmetros de los tems mostraron diferencias entre pases. Las diferencias ms
marcadas en los parmetros de los tems en las dos sub pruebas se presentaron en Cuba.
En el anlisis de la muestra de la prueba PERCE se cumplieron los supuestos del modelo propuesto, a saber: multidimensionalidad de los trazos latentes y diferencias de los parmetros de los tems de los pases con los parmetros
internacionales. Por lo anterior, los resultados de los anlisis de las pruebas multidimensionales aplicadas a varias poblaciones pueden ser ampliamente mejorados con la aplicacin del modelo TRIMJ.
Los individuos de la muestra de datos reales que respondieron igual a los tems de una subprueba, tuvieron diferentes
trazos latentes. Lo anterior puede deberse a que en la muestra de datos reales seleccionada, los trazos latentes estimados tuvieron una alta correlacin entre las dos subpruebas. Los estudiantes que tuvieron mayor cantidad de respuestas
correctas en una subprueba, tuvieron un trazo latente ms pequeo respecto a otros estudiantes que tuvieron un puntaje
clsico mayor en la otra subprueba.

BIBLIOGRAFA
Bolt, D. (2003), Estimation of compensatory and noncompensatory multidimensional tem response models using markov chain monte carlo, Applied Psychological Measurement 26(6), 395414.
Carlin, B. (2009), Bayesian methods for data analysis, 3 edn, CRC Press: Taylor y Francis Group. Casassus, J., F. J. P. J. &
Cusato, S. (1998a), Primer Estudio Internacional Comparativo sobre Lenguaje, Matemtica y Factores Asociados en
Tercero y Cuarto Grado, Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin.
Casassus, J., F. J. P. J. & Cusato, S. (1998b), Primer estudio internacional comparativo sobre lenguaje, matemtica y factores asociados en tercero y cuarto grado - primer informe de laboratorio, informe 1, Laboratorio Latinoamericano de
Evaluacin de la Calidad de la Educacin, Oficina Regional de Educacin Para Amrica Latina y El Caribe.
Fox, J. (2010), Bayesian tem response modeling, Springer Science+Business Media, LLC, 233 Spring Street, New York, NY
10013, USA.
Horn, J. (1965), A rationale and test for the number of factors in factor analysis, Psychometrika 30(2), 179 185.
Ntzoufras, I. (2009), Bayesian Modellins Using WINBUGS, John Wiley and Sons.Inc.
Patz, R., Yao, L. & Hanson, B. (2002), More efficient markov chain monte carlo estimation in irt using marginal posteriors,
Unknown.
Reckase, M. (2009), Multidimensional tem response theory, Springer Science+Business Media, LLC, 233 Spring Street,
New York, NY 10013, USA.
Stout, W. (1990), A new tem response theory modeling approach with applications to unidimensionality assessment and
ability estimation, Psychometrika 55, 293325.
Wang, M. (1986), Fitting a unidimensional model to multidimensional tem response data, University of Iowa.
Yen, W. (1985), Increasing tem complexity: A possible cause of scale shrinkage for unidimensional tem response theory,
Psychometrika pp. 399410.

Evaluacin de las competencias directivas


13 de marzo de 2015

Evaluacin de las competencias directivas


Efran Meja Cazapa
Dr. en Educacin, Universidad Autnoma de Guerrero, Mxico
efrain_476@hotmail.com
PALABRAS CLAVE: Gestin, competencias y evaluacin.
EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

Desde la dcada de los noventa del siglo pasado, en las escuelas mexicanas, la evaluacin se ha focalizado principalmente en los docentes y en los estudiantes; con el objetivo de empezar a conocer el valor de las competencias
de los directores, el presente trabajo es una propuesta que expone argumentos tericos y metodolgicos para
realizar esta tarea.

INTRODUCCIN
Como resultado de la reconstruccin del campo de la administracin educativa, se ha elaborado un trmino ms amplio e
integrador llamado gestin de los procesos educativos. Cuando su grado de concrecin es un sistema educativo nacional
se le conoce como gestin educativa; mientras que a nivel de institucin educativa como gestin escolar y cuando est
vinculado a la interaccin entre estudiantes y profesores, como gestin pedaggica.
El sentido de la gestin escolar es diverso, pero se asume como el conjunto de acciones que los directores de las instituciones educativas realizan en cuatro dimensiones: 1) pedaggica curricular; 2) organizativa-operativa; 3) administrativa-financiera y 4) vinculacin con la comunidad.
En Mxico, la gestin escolar empez a desarrollarse a partir de la dcada de los noventa del siglo XX. Inicialmente
como parte de la descentralizacin y desconcentracin del Sistema Educativo Nacional (SEN); mientras que posteriormente como eje de las reformas de la educacin bsica y media superior caracterizada por dos aspectos fundamentales:

El papel preponderante que se le asigna al estudiante como gestor de su propia formacin y


El rol que se le asigna al director como gestor potencial de los procesos educativos centrados en el estudiante y en
el aprendizaje.

A pesar de estos escenarios positivos, la gestin de los directores no ha sido estudiada oportunamente. Hay informacin oficial de la Secretara de Educacin Pblica (SEP) acerca de la reprobacin y desercin escolar, pero no existen datos
sobre cmo impacta la gestin directiva en los procesos educativos.

Igual que en la mayora de los estados del pas, en Guerrero, la gestin escolar no ha sido evaluada de forma sistemtica, pues no se cuenta con informes de investigacin o reportes de las instancias educativas estatales o federales, que
indiquen el estado del arte de la temtica.
En este sentido, el propsito general del presente trabajo es:
Evaluar a la poblacin de directores del Sistema Educativo del Estado de Guerrero, mediante la opinin de docentes
para construir una propuesta que mejore su gestin.

DESARROLLO
a) Antecedentes
En Espaa, F. Javier Murillo Torrecilla y Raquel Barrio Hernndez (1999), investigaron cmo distribuyen su tiempo los
directores de instituciones pblicas y privadas de primaria del sistema educativo espaol. Los principales resultados de
la investigacin muestran que los directores:

Adscritos a centros pblicos dedican ms tiempo a las tareas administrativas, que los directivos de centros privados.
Los directivos menos experimentados que laboran en centros pblicos dedican ms tiempo a las tareas administrativas, que los directivos poco experimentados de centros privados.

Que le dedican ms tiempo a las tareas administrativas son los de centros pblicos de tamao medio con poca
experiencia.

Que dedican menos tiempo a estas tareas pertenecen a los centros privados pequeos.

En Mxico, Araiza et al (2014), evaluaron la gestin de directivos de escuelas secundarias federalizadas del Estado de
Chihuahua a partir de ocho estndares de desempeo, considerando cuatro niveles de desempeo. Los resultados muestran que los directivos tienen un buen desempeo, aunque con algunas limitaciones. Los estndares con ms altas evaluaciones fueron liderazgo efectivo y comunicacin del desempeo, y el ms bajo, Redes escolares. La correlacin de Pearson
entre los resultados de estndares con antigedad en el servicio y ltimo nivel de estudios cursados no es significativa.
En el bachillerato mexicano, Bastarrachea y Cisneros (2006), estudiaron la influencia del contexto sociocultural en
el liderazgo de los directores de siete Escuelas Preparatorias de Yucatn, Mxico: cinco dependientes de la Secretara de
Educacin Pblica Estatal, otra del Colegio de Bachilleres y una privada.
La informacin, la obtuvieron con entrevistas y observaciones realizadas a los directores de las mencionadas instituciones. Mediante las observaciones, hallaron que la mayora de los directores:

Mantiene relaciones distantes con los miembros de las comunidades escolares.


Son poco tolerantes con la incertidumbre, pues dan soluciones inmediatas a partir de la aplicacin de reglas y normas institucionales.

Con las observaciones, descubrieron que la mayora de los directores:

Considera que la mxima autoridad de una escuela debe ser un hombre; incluso, las directoras prefieren trabajar
con hombres, que con mujeres.
Asume una postura paternalista y algunas veces autoritaria, principalmente de las directoras.

Finalmente, Francisco Galaz Fontes y Esperanza Viloria Hernndez (2004), investigaron cmo se toman las decisiones
en una universidad pblica mexicana. As, con una encuesta aplicada a una muestra de docentes, descubrieron que la

administracin central universitaria influye considerablemente en el diseo y operatividad de los planes y programas de
estudio, as como en los procesos de formacin del personal acadmico y seleccin de los estudiantes de nuevo ingreso
a la universidad. De igual forma, hallaron que la universidad est administrada por lderes autocrticos que piensan que
no requieren la participacin de la comunidad universitaria, para tomar decisiones en los mbitos de las funciones sustantivas de la universidad.

b) Fundamentos conceptuales
1) Evaluacin educativa
De acuerdo con Poggi (2008), la evaluacin educativa es la construccin del objeto de evaluacin, a partir de un proceso que
incluye las etapas de diseo y ejecucin del plan de evaluacin, as como otra de divulgacin de los resultados obtenidos.
En la organizacin escolar, los sujetos que pueden evaluar a los directores son los estudiantes, los docentes, los padres
de familia o las autoridades educativas superiores; sin embargo, de esta lista, los profesores son la mejor alternativa, pues
son los que tienen ms tiempo de tratarlos, as como mejor conocimiento de la gestin escolar.
Cuando se trata de trabajos de investigacin evaluativa, el investigador es quin define al sujeto o sujetos educativos
que van a evaluar la gestin del director, sin que ello, demerite la calidad de su trabajo. Por tanto, en un mismo proceso
de evaluacin, pueden participar los docentes o los estudiantes e inclusive, de forma simultnea, la totalidad de los
sujetos educativos.

2) Gestin escolar

Segn Pozner (2000), la gestin escolar es una de las instancias desde donde se toman decisiones acerca de las polticas
educativas de un pas. La que aplica las polticas educativas a la unidad educativa, adecundolas a sus necesidades y a
las de su entorno. Es el mbito de lo micro poltico de la gestin y se focaliza en cada escuela (Escamilla, 2006, p.187).
Acorde con Pozner (2000), las dimensiones de la gestin escolar son cuatro: 1) pedaggica curricular, 2) Administrativa-financiera, 3) organizacional-operativa y 4) comunitaria o de vinculacin con la comunidad.
La dimensin pedaggica - curricular es el espacio a partir del cual, el director se involucra en la gestin de los recursos didcticos y pedaggicos que requieren los docentes para centrar su trabajo en el estudiante y en el aprendizaje.
La que busca la coherencia pedaggica donde participan los alumnos, as, la escuela se preocupa por las metodologas y
estrategias que ponen en marcha las intervenciones de cada uno de sus docentes (Escamilla, 2006, p. 191).
Por su parte, la dimensin organizativa-operativa se refiere tanto a la forma en que se designan las tareas y/o responsabilidades, como a la calidad con la cual se realizan. Segn Escamilla (2006), es la logstica que posibilita el funcionamiento del resto de las dimensiones de la gestin, otorgndoles su apoyo, articulacin y construccin.
Por otro lado, la dimensin administrativa-financiera es un proceso planeativo mediante el cual, se atiende la formacin de los estudiantes de acuerdo con las necesidades de la sociedad. En este sentido, la funcin de la administracin
en una institucin educativa sera el planificar, disear, e implementar un sistema eficiente y eficaz para el logro de la
enseanza-aprendizaje en un entorno social en el que se imparte el servicio, para que responda a las necesidades de los
alumnos y de la sociedad (Martnez, 2012, p. 11).
La dimensin comunitaria o de proyeccin con la comunidad apunta a las relaciones entre sociedad y escuela y,
especficamente, entre la comunidad local y la escuela (Campos et al, 2009, p. 36). Es decir, hace referencia al modo
en el que la institucin se relaciona con la comunidad de la cual es parte, conociendo y comprendiendo sus condiciones,
necesidades y demandas. Asimismo, cmo se integra y participa de la cultura comunitaria. Tambin alude a las relaciones
de la institucin educativa con el entorno social e interinstitucional (UNESCO, 2011, p.37).

3) Competencias directivas
Las competencias son la conjuncin de conocimientos, habilidades y actitudes que las personas ponen en accin-actuacin-creacin, para realizar actividades sistmicas y resolver problemas laborales y de la vida cotidiana, con el fin de
avanzar en la autorrealizacin personal, teniendo los requerimientos especficos del contexto en continuo cambio, con
autonoma intelectual, conciencia crtica, creatividad y espritu de reto (Tobn, 2015, p.10).
En este sentido, las competencias que cada director guerrerense debe tener son entre otras:

Establece relaciones sociales con los distintos sectores de la comunidad escolar, a travs del dilogo y la comunica-

cin, para incidir significativamente en los aprendizajes de los estudiantes, as como en la construccin de ambientes de trabajo satisfactorios.
Gestiona la accin psicopedaggica de la institucin educativa, a partir de las orientaciones de su Modelo educativo,
para que los procesos educativos se desarrollen en torno al estudiante, el aprendizaje y el desarrollo de competencias.
Gestiona la organizacin de las instancias colegiadas con la colaboracin de docentes, y estudiante, para mejorar el
funcionamiento de la unidad educativa.
Asume la direccin del trabajo administrativo mediante una gestin eficaz y eficiente, para rendir cuentas que satisfagan las expectativas de la comunidad de la institucin educativa.
Gestiona la vinculacin de la escuela con la comunidad, mediante el dilogo y la mediacin con cada uno de sus
sectores, para atender sus necesidades y/o demandas.

c) Mtodo
Previa planeacin, la evaluacin de las competencias de los directores se llevar a cabo con el siguiente procedimiento:

Identificar la poblacin estatal de directores reconocidos por la Secretara de Educacin Pblica de Guerrero.
Disear el tamao de la muestra estatal de directores.
Aplicar la rbrica de la Fig. 1 a los docentes de la unidad educativa donde labora el director que se va a evaluar.
Gestionar el procesamiento y el anlisis de la informacin obtenida.
Elaborar y difundir el informe de evaluacin.

Figura 1 Rbrica para evaluar competencias directivas


Criterio

Indicadores de los niveles de desempeo


Avanzado
5

Intermedio
4

Bsico
3

Insatisfactorio
2

Muy insatisfactorio
1

Gestiona
recursos
pedaggicos y
didcticos

Gestiona materiales
visuales (libros, revistas,
pc), auditivos (radio,
palabra hablada,
cine) y audiovisuales
(presentacin en
computador, video,
cine, internet, chat).

Gestiona integralmente
materiales visuales
(libros, revistas, pc),
y auditivos(,radio,
palabra hablada, cine),
pero los audiovisuales
(presentacin en
computador, video, cine,
internet, chat), slo los
gestiona parcialmente

Gestiona integralmente
materiales visuales (libros,
revistas, pc), pero los
auditivos (radio, palabra
hablada, cine), y los
audiovisuales (presentacin
en computador, video, cine,
internet, chat), slo los
gestiona parcialmente.

Gestiona parcialmente
los materiales visuales
(libros, revistas, pc),
y auditivos(,radio,
palabra hablada,
cine), audiovisuales
(presentacin en
computador, video, cine,
internet, chat),

Gestiona parcialmente
los materiales visuales
(libros, revistas, pc),
y auditivos (radio,
palabra hablada, cine).

Atiende las
necesidades
de los
estudiantes

Gestiona integralmente
el desarrollo
de las tutoras,
y de la orientacin
educativa, as como
la atencin de los
problemas acadmicos,
personales y familiares
de los estudiantes.

Gestiona cabalmente el
desarrollo de las tutoras,
y de la orientacin
educativa, pero los
problemas acadmicos,
personales y familiares de
los estudiantes slo los
gestiona parcialmente.

Gestiona completamente
el desarrollo de las tutoras,
pero la orientacin
educativa, y los problemas
acadmicos, personales
y familiares de los
estudiantes slo los
gestiona parcialmente.

Gestiona parcialmente
el desarrollo
de las tutoras, as
como de la orientacin
educativa, y los
problemas acadmicos,
personales y familiares
de los estudiantes.

Gestiona parcialmente
el desarrollo de las
tutoras, as como de la
orientacin educativa.

Gestiona
estrategias
didcticas

Colabora con los


docentes a implementar
estrategias de
enseanza centradas
en el estudiante (ABP,
ABProyectos, estudios
de caso, grupos de
discusin) y en el
docente (clase magistral,
lectura dirigida) y en
el grupo (foros, lluvia
de ideas, asambleas).

Colabora cabalmente
con los docentes
a implementar estrategias
de enseanza centradas
en el estudiante (ABP,
ABProyectos, estudios
de caso, grupos de
discusin) y en el docente
(clase magistral, lectura
dirigida), pero las
estrategias centradas en
el grupo (foros, lluvia de
ideas, asambleas), slo les
colabora parcialmente.

Colabora integralmente
con los docentes
a implementar estrategias
de enseanza centradas
en el estudiante (ABP,
ABProyectos, estudios de
caso, grupos de discusin),
pero las estrategias
centradas
en el docente (clase
magistral, lectura dirigida)
y en el grupo (foros, lluvia
de ideas, asambleas), slo
les colabora parcialmente.

Colabora parcialmente
con los docentes a
implementar estrategias
de enseanza centradas
en el estudiante (ABP,
ABProyectos, estudios
de caso, grupos de
discusin) y en el
docente (clase magistral,
lectura dirigida) y en el
grupo (foros, lluvia de
ideas, asambleas)

Colabora parcialmente
con los docentes
a implementar
estrategias de
enseanza centradas
en el estudiante (ABP,
ABProyectos, estudios
de caso, grupos de
discusin)
y en el docente
(clase magistral,
lectura dirigida).

Gestiona
la organizacin
de la
organizacin
escolar

Gestiona la organizacin
de los docentes,
estudiantes, los
padres de familia
y los trabajadores
administrativos y de
apoyo.

Gestiona integralmente
la organizacin
de los docentes,
los estudiantes,
y los padres de familia,
pero a los trabajadores
administrativos
y de apoyo no gestiona
su organizacin.

Gestiona integralmente
la organizacin de los
docentes, y los estudiantes,
pero a los padres de
familia, y a los trabajadores
administrativos y de apoyo
no gestiona su organizacin.

Gestiona parcialmente
la organizacin
de los docentes,
los estudiantes,
los padres de familia,
y los trabajadores
administrativos
y de apoyo.

Gestiona parcialmente
la organizacin
de los docentes,
los estudiantes,
y los padres de familia.

Gestiona
el trabajo
administrativo

Gestiona los recursos


humanos, econmicos
y adems, rinde cuentas
permanentemente a la
comunidad de la unidad
educativa.

Gestiona los recursos


humanos, econmicos y
espordicamente, rinde
cuentas a la comunidad
de la unidad educativa.

Gestiona los recursos


humanos, econmicos,
pero no rinde cuentas
a la comunidad
de la unidad educativa.

Gestiona parcialmente
los recursos humanos,
econmicos,
pero adems, no rinde
cuenta a la comunidad
de la unidad educativa.

No gestiona
los recursos humanos
y econmicos
de la unidad educativa.

Gestiona la
vinculacin
de la
organizacin
escolar con la
comunidad

Gestiona relaciones
con la mayora de
las organizaciones
de la comunidad,
para desarrollar
proyectos que partan
principalmente de la
misma, pero adems,
que coadyuven a
fortalecer la vinculacin
de la unidad educativa
con su contexto,
as como la formacin
de los estudiantes.

Gestiona relaciones
exclusivamente con
los padres de familia
y con las autoridades
educativas superiores,
para desarrollar proyectos
escolares que coadyuven
a fortalecer la vinculacin
de la unidad educativa
con su contexto,
as como la formacin
de los estudiantes.

Gestiona relaciones
permanentes con los padres
de familia, pero parciales
con las autoridades
educativas superiores, pero
parciales, para desarrollar
proyectos escolares que
coadyuven a fortalecer la
vinculacin de la unidad
educativa con su contexto,
as como la formacin
de los estudiantes.

Gestiona relaciones
con grupos pequeos
de padres de familia,
para desarrollar
proyectos escolares que
coadyuven a fortalecer
la formacin de los
estudiantes, as como
la vinculacin con la
comunidad.

Gestiona
espordicamente
relaciones con grupos
pequeos de padres
de familia,
para desarrollar
proyectos escolares
que coadyuven a
mejorar la formacin
de los estudiantes,
as como la vinculacin
con la comunidad.

Lidera a la
organizacin
escolar

Gestiona los procesos


educativos a partir
del dilogo, la
comunicacin, la
tolerancia y la aplicacin
de la normativa
institucional, para la
resolucin de conflictos
y el desarrollo de las
actividades escolares
de acuerdo con la
planeacin realizada.

Gestiona los procesos


educativos a partir del
dilogo, la comunicacin,
la tolerancia y la
aplicacin parcial de la
normativa institucional,
para la resolucin de
conflictos y el desarrollo
de las actividades
escolares de acuerdo con
la planeacin realizada.

Gestiona los procesos


educativos a partir del
ejercicio del poder que
le otorga la normativa
institucional, para la
resolucin de conflictos
y el desarrollo de las
actividades escolares
de acuerdo con la
planeacin realizada.

Gestiona los procesos


educativos a partir del
ejercicio del poder de
forma discrecional,
para la resolucin de
conflictos y el desarrollo
de las actividades
escolares de acuerdo
con la planeacin
realizada.

Gestiona los procesos


educativos a partir
de las orientaciones
de los grupos de
presin de la unidad
educativa, para
resolver conflictos y
potenciar el desarrollo
de las actividades
escolares de acuerdo
con la planeacin
realizada.

CONCLUSIONES
En la escuela mexicana, el trabajo de los directivos es una de las variables ms importantes que incide en la formacin de
los estudiantes. Por ello, es necesario evaluar la gestin de los directores guerrerenses, as como impulsar la creacin del
Programa Estatal de Formacin de Directores.

BIBLIOGRAFA
Artculos de revistas
Cesca, Patricia, La Conduccin de instituciones educativas. Desafos que plantea, en Ensayos y Experiencias, nm., 27,
vol. 5 (1999), Argentina, Ed., Ediciones Novedades Educativas, pp. 33-51.
Galaz Fontes, Jess y Viloria Hernndez, Esperanza, La toma de decisiones en una Universidad Pblica Estatal desde la
Perspectiva de sus Acadmicos, en Revista Mexicana de Investigacin Educativa, nm. 22, volumen IX (2004), Mxico,
Ed., Consejo Mexicano de Investigacin Educativa, pp. 637-663.
Martnez, Juan, Calidad y satisfaccin del cliente en las instituciones de formacin, en Enseanza, nm. 20, Vol. (2002)
Espaa, Ed., Ediciones Universidad de Salamanca, pp.159-174.
Murillo Torrecilla, F. Javier y Barrio Hernndez, Raquel, Anlisis de la distribucin del tiempo de los directivos de centros
de enseanza primaria, en Educacin, nm. 319, vol. (1999), Espaa, Ed., Ministerio de Educacin, Cultura y Deporte
espaol, pp. 201-222.
Poggi, Margarita, sentido y prcticas de la evaluacin, en Revista Iberoamericana de Evaluacin Educativa, nm.1, vol.
1(2008), Espaa, Ed.Red Iberoamericana de Investigacin sobre Cambio y Eficacia escolar.

Libros
Escamilla Tristn, Sergio Antonio (2006). El director escolar. Necesidades de formacin para un desempeo profesional,
Espaa, Ed. Universidad Autnoma de Barcelona.
Pozner, Pilar (2000). El directivo como gestor de aprendizajes, Argentina, Ed. quinta edicin, Ed. Aique.
UNESCO (2011).Manual de gestin para directores de instituciones educativas, Per, Ed. Lance Grfico S.A.C.
Valds Veloz, Hctor (1998). Calidad y evaluacin de la calidad educativa, en ZilbersteinTorucha Jos y Valds Veloz
Hctor (1998), Aprendizaje escolar, diagnstico y calidad educativa, Mxico, Ed. Instituto Central de Ciencias Pedaggicas de Cuba, pp. 18-34

Recursos electrnicos

Araiza et al, evaluacin por estndares de la gestin directiva en secundaria, en revista iberoamericana de educacin. N. 64 (2014), Madrid, Espaa, pp. 99-113 (en lnea) http://www.rieoei.org/RIE64.pdf, http://www.rieoei.org/
investigacion24.htm [Consulta: 15 enero 2015]
Bastarrachea Arjona, William y Cisneros Cohernour, Edith J., Influencia del contexto sociocultural en el liderazgo escolar en Mxico, en Revista Iberoamericana de Educacin, nm., 37/4, vol. (2006), Madrid, Espaa, pp. 1-10 (en lnea),
http://www.rieoei.org/investigacion24.htm [Consulta: 20 de septiembre, 2012].
Tobn Sergio, las competencias en el sistema educativo: de la simplicidad a la complejidad (en lnea) https://www.
google.com.mx/#q=LAS+COMPETENCIAS+EN+EL+SISTEMA+EDUCATIVO:+DE+LA+SIMPLICIDAD+A+LA+COMPLEJIDAD
[Consulta: 15 enero 2015].

Evaluacin docente y espectacularizacin


meditica del resultado
13 de marzo de 2015

Evaluacin docente y espectacularizacin


meditica del resultado
Dulfay Astrid Gonzlez Jimnez
Estudiante de cuarto ao de Doctorado Interinstitucional en Educacin.
Institucin: Universidad de San Buenaventura-Cali, Colombia.
dagonzal@usbcali.edu.co / dulfayastrid@gmail.com
PALABRAS CLAVE: E
 spectacularizacin, prensa escrita, medios y mediaciones, prediccin a partir de resultados.
EJE TEMTICO: Uso de los resultados de las evaluaciones docentes y directivos para la mejora
y rendicin de cuentas.

Resumen

La evaluacin de docentes en Colombia ha devenido en un hecho educativo naturalizado, cada vez ms ampuloso,
abarcante y omnipresente. Dinamiza imaginarios sobre lo que no se hace bien y debera hacerse de otro modo;
respalda polticas del miedo basadas en el dficit; favorece la fabricacin de salvadores educativos; transparenta
con traje de objetividad los dficit docentes que son juzgados como preocupantes para la economa y el desarrollo social de un pas o regin; alimenta peroratas que se vuelven verdades repetidas sin cesar sobre lo que
deberan hacer y saber directivos y maestros; y aporta informacin para predecir los posibles debacles socioeconmicos, si no se hace lo que debera hacerse con prontitud, con las actuales y nuevas generaciones. Tal dinamizacin de imaginarios acontece, entre otras por lo que median los medios, en particular la prensa escrita, la cual es
un instrumento a travs del cual se ponen a circular particulares interpretaciones de los resultados con formas
espectacularizadas que derivan en otras polticas, o quizs, derivan en una especie de reemplazo de la poltica con
nocivos impactos sociales que mellan el lugar y aporte social del docente. A travs de la ponencia se mostrar lo
que pasa en Colombia con los medios masivos de comunicacin, en particular la prensa, y se mostrar como uno
de los desafos ante la creacin y fortalecimiento de un sistema evaluativo docente, es ocuparse de manera decisiva
de la relacin poltica-periodismo, pues de dicha relacin dependen en buena medida los impactos sociales de la
evaluacin y la comprensin de las oportunidades para la mejora educativa.

INTRODUCCIN
Lo que se divulga a travs de los medios sobre la educacin, los educandos, los educadores, so pretexto de la evaluacin
masiva, aporta de manera contundente a los elementos de realidad educativa del pas, evidencia preferencias ideolgicas
y coloca en primer plano el tipo de relaciones entre instituciones, sujetos y ente gubernamental.
Al informar sobre el tema, como sobre cualquier otro, el periodismo opera una serie de procedimientos: la porcin
de la informacin disponible que es privilegiada, el modo como es presentada, la frecuencia con que es referido el tema,
el espacio asignado, la cobertura dada, los puntos de vista y las fuentes usadas, la inclusin del tema en una seccin y
no en otra, la valoracin hecha sobre el tema y el gnero periodstico usado, entre otros. Procedimientos a travs de los
cuales las organizaciones mediticas producen ms que informacin, producen sentidos y significados acerca de los temas divulgados. Por medio de tales procedimientos se visibiliza de una determinada manera un tema, pero a la vez, se
invisibilizan ciertos aspectos del mismo.
De all la importancia de la distancia, de la reflexin crtica sobre el tipo de comunicacin y el modo de organizar los
discursos, pues en muchas ocasiones la velocidad, la inmediatez, la superficialidad de la noticia y la ambigedad en el tratamiento de la misma, hacen un contrapeso no esperado y con consecuencias negativas por una informacin que tiene un
alto impacto en la opinin pblica y que se esperara tuviera como especial caracterstica informacin diversa, calificada
y relatos incluyentes que favorezcan la reflexin y el anlisis crtico.

DESARROLLO
Con los medios masivos de comunicacin, la evaluacin masiva en Colombia encuentra un terreno propicio para erigirse
como herramienta abarcante, predictiva, verdadera y unificadora de grupos, instituciones y hasta poblaciones. A travs
de la espectacularizacin del resultado que se produce con el hecho noticioso, se crea opinin pblica, se ponen a circular
representaciones sociales sobre aquello que convenientemente se quiere hacer visible, y por tanto, mirado, exaltado,
consumido e incluso debilitado1.
La espectacularizacin del resultado distribuye en el tejido social una informacin que es juzgada como verdadera,
objetiva, legtima y vlida, que pone a hablar a otros, sobre aquello que la evaluacin aparentemente decanta. El xito
de la espectacularizacin pareciera que opera en las reglas de construccin del espectculo educativo para que quienes
fungen como espectadores, consuman incluso una mirada ajena.
Igualmente, los medios de comunicacin en Colombia, encuentran en la evaluacin masiva informacin, datos, clasificaciones, especialmente tiles para la construccin de hechos noticiosos de alto consumo masivo, cuyo artificio en la
fabricacin y divulgacin de la noticia es tan efectivo e impactante, que hoy las instituciones pagan altas sumas de dinero
para divulgar jerarquas, clasificaciones y dar veredictos sociales sobre el progreso, calidad y promesas de productividad
de generaciones, instituciones y naciones. As, quin consume la noticia, pronto consumir el producto que tiene el carcter de completud y perfeccin en la clasificacin y el ranking.
En este juego de miradas, aquello que revel lo que ha de consumirse (la evaluacin), tambin se consume.
La envolvencia sobre lo que se divulga haciendo nfasis en clasificaciones, rankings y dictmenes, pone a operar con
especial eficacia, la mirada sobre aquello que se fabrica para ser consumido.
Al respecto, el 16 de marzo de 2012 en la seccin de educacin, el peridico El Tiempo public un artculo titulado
Universitarios estn mal en ingls y en comprensin de lectura, como subttulo anuncia: Resultados de Pruebas Saber
Pro evidenciaron bajos desempeos de futuros docentes, en el contenido del mismo se alude a una entrevista hecha a
Margarita Pea Borrero quin seala que gracias a la prueba Saber Pro se ha podido identificar que muy pocos jvenes
Basta con revisar unos cuantos titulares de prensa al divulgar los resultados de la prueba PISA: Colombia necesita tener profesores de calidad:
experto (El Tiempo 17 de diciembre de 2012). Versin digital: http://www.eltiempo.com/archivo/documento/CMS-12456651
Educacin en Colombia se basa en mtodos anticuados (El Tiempo, 27 de abril de 2014) versin digital: http://www.eltiempo.com/archivo/
documento/CMS-13888215

tienen un manejo apropiado del ingls, y en general, presentan deficiencias en escritura, nicamente el 30% de cerca de
210 mil jvenes evaluados hasta el momento es capaz de producir escritos organizados, articulados, coherentes con el
tema propuesto en la prueba, y aplicar adecuadamente las reglas de la lengua escrita.
Igualmente, se aade que solo el 40 por ciento de los universitarios tienen niveles aceptables de escritura (es decir,
que son capaces de argumentar la idea principal de un escrito); del 60 por ciento restante que no logra este desempeo, un
23 por ciento tiene problemas de manejo del lenguaje o presentan ideas que pueden ser incoherentes o desarticuladas.2
El 12 de diciembre de 2013, Iliana Restrepo Hernndez, columnista de la revista Semana, publica un artculo titulado
La mala educacin, una verdadera tragedia3. En dicho artculo la autora seala a propsito de los resultados obtenidos en
las pruebas PISA:
en el ao 2009 los jvenes colombianos ocuparon el puesto 52 entre 65 pases, pero en las pruebas del ao 2012
en vez de mejorar aunque fuese un poco, como sucedi entre el 2006 y el 2009, se descendi al puesto 62 es decir que
quedamos tan slo a tres puestos del peor. Esto es, por decir lo menos, vergonzoso.
Repito, el resultado obtenido es una tragedia de proporciones enormes que hay que mirar con cuidado y hay que
solucionar. Me gustara que a todos los ciudadanos este tema les produjera la misma impotencia e indignacin que
siento al darme cuenta de que este retroceso significa otra generacin ms, perdida para el desarrollo del pas.
El 01 de abril de 2014 en el peridico El Pas, public un artculo titulado Los estudiantes colombianos no saben resolver problemas, segn pruebas Pisa4, sealando que, Colombia ocup el ltimo lugar en prueba sobre resolucin de problemas. En diciembre pasado el pas tambin ocup los ltimos lugares en evaluaciones de reas especficas. En el desarrollo
de la noticia se refiere:
Cabe recordar que el pasado diciembre, la OCDE haba ubicado a Colombia en los puestos de atrs pero en otras
evaluaciones. En esa ocasin, el pas ocup el puesto 62 en ediciones de reas como lenguajes, matemticas y ciencias,
siendo una de las naciones que ms haba retrocedido en comparacin con las hechas en 2009. En el 2013, Colombia
obtuvo 376 puntos en matemticas, 403 en lenguaje y 399 en ciencia, en contraste con el 2009, cuando logr 381
puntos en matemticas, 402 en ciencias y 413 en lectura.

A slo dos das de haber divulgado masivamente esta noticia, el mismo diario publica un hecho noticioso que se ampliara en la radio y en la televisin regional.
El 03 de abril de 2014 el reportero Camilo Osorio Snchez, public en el peridico El Pas el artculo que titula Cali es
una de las ciudades del mundo con peor educacin, segn las pruebas Pisa5:
Si a Colombia le fue mal en los resultados de las Pruebas Pisa, a Cali le fue mucho peor. De las cuatro ciudades
colombianas que participaron en las pruebas, la capital del Valle ocup el ltimo lugar en desempeo. Lo que en otras
palabras quiere decir que, a la luz de esa medicin, Cali est entre las ciudades del mundo con peores niveles
de educacin secundaria.

La evaluacin masiva pareciera reemplaz en Colombia la poltica, ha puesto en circulacin otras formas de poder,
cargada de tecnicismos reduccionistas en los informes de resultados, que con particular e impreciso nfasis estadstico,
muestran un conjunto de datos poco comprensibles para el ciudadano del comn, los cuales propician todo lo necesario
para que el ranking, la jerarqua y la ilusin de la equidad en lo que errneamente se presenta como comparable,
derive en fabricaciones de xito y fracaso escolar.


4

5

2
3

Ver versin digital en: http://www.eltiempo.com/archivo/documento/CMS-11361241


Ver versin digital en: http://www.semana.com/opinion/articulo/la-mala-educacion-una-verdadera-tragedia-por-iliana-restrepo/368008-3
Ver versin digital en: http://www.elpais.com.co/elpais/colombia/noticias/estudiantes-colombianos-vuelven-rajar-pruebas-pisa
Ver versin digital en: http://www.elpais.com.co/elpais/cali/noticias/cali-ciudades-mundo-con-peor-educacion-segun-pruebas-pisa

Quizs, se pueda afirmar que sta es una forma de poltica, en efecto de la poltica de lo peor, pues el reduccionismo,
las sentencias y el miedo desde las evaluaciones masivas, reordenan con eficacia el mundo escolar.
Espectacularizar la educacin para asistir al show de las mejores instituciones desde el resultado, volverse visibles
desde el show de los nmeros, las jerarquas y las corroboradas desigualdades, es hacer de la evaluacin el escenario
donde todos queremos mostrarnos.
Montar el espectculo de lo que son los docentes en materia de calidad, en una educacin tan espectacularizada,
conlleva a que la imagen que se proyecta por medio de la evaluacin, sea finalmente el capital ms valioso que posea una
institucin. Pero es preciso tener la habilidad necesaria para administrar ese tesoro como si fuera una marca capaz de
destacarse en el competitivo mercado actual de las apariencias. No es sta quizs una especie de condena?
No hay teatro sin espectador, y si las evaluaciones masivas nos ponen a hablar, a partir de la espectacularizacin del
resultado, de las mentiras que se dicen por medio de las estadsticas, y desde las sentencias sobre lo fabricado como dficit sobre generaciones enteras, pareciera que las instituciones e incluso los pases, no tendrn ms remedio que seguir
pagando, para que un da les digan que un da fueron buenos y competentes, pero que lamentablemente no se ajustan a
las elaboradas y cambiantes jerarquas de excelencia.

CONCLUSIONES
Aunque lo publicado en la prensa sobre evaluacin masiva crece exponencialmente en Colombia, escasean las investigaciones al respecto. Las publicaciones en prensa son de economistas, periodistas, polticos y directivos de instituciones de
la administracin de la educacin superior del pas, pero preocupantemente son ausentes las voces de maestros, de los
estudiantes evaluados e investigadores.
Pese a que hoy hay en el pas ms de 12 observatorios de medios, uno de los desafos intelectuales, es analizar, investigar, escribir acerca de cmo observan los medios la evaluacin, qu tipo de visibilidad de la educacin se posibilita a propsito de lo que se hace hecho noticioso, qu nuevas relaciones se proponen a propsito del lugar de algunas disciplinas
en la educacin y qu tipo de espectacularizacin crece para decir de otros modos el supuesto deber ser de la educacin.
Lo publicado en prensa permite hacer lecturas del tiempo y de los tiempos educativos, lecturas sobre fracturas, quiebres, cambios y nuevas relaciones y detallar algunos giros y modificaciones que se suceden en la educacin en Colombia,
a propsito de la economa de la educacin en tiempos de sociedades del conocimiento y de la matematizacin del mundo
educativo para medir todo a travs de indicadores.

BIBLIOGRAFA

lvarez A., (2001, Mayo-Agosto). Del estado docente a la sociedad educadora: un cambio de poca? En REVISTA IBEROAMERICANA DE EDUCACIN, 26, 35-58.
lvarez Gallego, A. (2014). LA MIRADA EMPRESARIAL DE LA EDUCACIN
A propsito del informe Compartir. Obtenido el 31 de Octubre de 2014 desde http://sutevalle.org/wp-content/
uploads/2014/09/DOC.-COMPARTIR-LA-MIRADA-EMPRESARIAL-DE-LA-EDUCACI%E2%94%9C%D0%A3N-.pdf
Aguilera Toro, C. y Osorio Rojas, A. (2008). EDUCACIN Y COMUNICACIN MASIVA: LOS ECAES SEGN LA PRENSA ESCRITA. En Nexus (No.4). Obtenido el 1 de Noviembre de 2014 desde http://dintev.univalle.edu.co/revistasunivalle/
index.php/nexus/article/view/1084 Annimo. (2014, Mayo 3). Exigimos educacin! En Semana. Obtenido el 2 de Noviembre de 2014 desde http://www.semana.com/educacion/articulo/exigimos-educacion/385793-3
Annimo. (2014, Mayo 3). Esta es la tarea. En Semana. Obtenido el 2 de Noviembre de 2014 desde http://www.semana.
com/educacion/articulo/expertos-hablan-sobre-como-mejorar-la-calidad-de-la-educacion-en-colombia/385964-3
Annimo. (2011, Octubre 26). Jvenes entusiastas, pero sin argumentos. En El Espectador. Obtenido el 2 de Noviembre de
2014 desde http://www.elespectador.com/noticias/actualidad/vivir/jovenes-entusiastas-sin-argumentos-articulo-307802

Annimo. (2013, Diciembre 14). Notas en rojo para la educacin en Colombia. En Semana. Obtenido el 2 de Noviembre de 2014
desde http://www.semana.com/nacion/articulo/bajos-resultados-de-la-educacion-colombiana-en-2013/368197-3
Bentolila, S. y Jansen, M. (2013, Noviembre 15). Latn o mates? EL PAS. Obtenido el 1 de Noviembre de 2014 desde
http://elpais.com/elpais/2013/11/14/opinion/1384448996_873101.html
Bonilla, J.,(2006). La educacin en los medios. Ponencias del seminario internacional, Educacin, Periodismo y Medios de
Comunicacin, Noviembre, Bogot.
Bustamante Zamudio, G., Marn Ardila L. y Narvez Montoya, A. (2014, Marzo 10). Las pruebas masivas, tienen propsitos subyacentes?. Observatorio Pedaggico de medios. Obtenido el 1 de Noviembre de 2014 desde
http://observatoriopedagogicodemedios.blogspot.com/2014/03/las-pruebas-masivas-tienen-propositos.html
Bustamante Zamudio, G., Marn Ardila L. y Narvez Montoya, A. (2014, Marzo 10). Mtodos anticuados. Observatorio
Pedaggico de medios. Obtenido el 1 de Noviembre de 2014 desde http://observatoriopedagogicodemedios.blogspot.
com/search/label/Pruebas%20Pisa
Caruso, Marcelo. La biopoltica en las aulas. Prcticas de conduccin en las escuelas elementales del Reino de Baviera,
Alemania (1869/1919). Editorial Prometeo. Buenos Aires. (2005)
Debray, Rgis [1993].El estado seductor. Buenos Aires: Manantial, 1995.
Escobar, F. (2014). Conversando sobre evaluacin: entrevista al maestro Ral Barrantes. Educacin y Cultura 103, 56-59.
Gallardo Eraso, L., Puerto Martnez, J., Rincn Quiones, J y Vergara Portela R. (2011). La desigualdad universitaria,
una realidad nacida del mito de la eficiencia. En Pedagoga y Saberes (No. 35, pp. 85-96). Obtenido el 1 de Noviembre
de 2014 desde http://revistas.pedagogica.edu.co/index.php/PYS/article/view/948/963
Gonzlez Jimnez, D. (2011a). La evaluacin en letras del Tiempo. Colombia: Editorial Bonaventuriana.
Gonzlez Jimnez, D. (2011b). Lo que public la prensa en el 2011 sobre las pruebas Saber PRO. Colombia: Editorial
Bonaventuriana.
Gonzlez Jimnez, D., (2006, Enero Junio). Educacin y Comunicacin masiva: los Ecaes segn la prensa escrita. En Guillermo
de Ockham (Vol. 4, No. 1). Obtenido el 2 de Noviembre de 2014 desde http://investigaciones.usbcali.edu.co/ockham/
index.php/site-map/107-volumen-4/n-1/190-educacion-y-comunicacion-masiva-los-ecaes-segun-la-prensa-escrita
Granovsky, M. (2003). La evaluacin como fetiche. En Laies, G., Bonilla Saus, J., Brunner, J.
Halpern Britz, P., Granovsky, M., Tiana Ferrer A., et al. EVALUAR LAS EVALUACIONES: Una mirada poltica acerca de las
evaluaciones de la calidad educativa (pp. 97-110). Buenos Aires: IIPE -UNESCO Sede Regional Buenos Aires.
Miller, Jacques-Alain [2003]. La evaluacin. En: Psicoanlisis y poltica. Buenos Aires: EOL-Grama, 2004.
________ [2004]. El desencanto de la estadstica. En: Psicoanlisis y poltica. Buenos Aires: EOL-Grama, 2004.
Ministerio de Educacin Nacional. (2010, Febrero-Marzo). Por una cultura de la evaluacin. En Altablero (No. 55). Obtenido el 2 de Noviembre desde http://www.mineducacion.gov.co/1621/article-241771.html
Pedraza, P, y otros. 2012. Pruebas Saber 3, 5 y 9, lineamientos para las aplicaciones muestral y censal 2012. Icfes. Colombia. Versin digital en: https://www.google.com/url?q=http://www.icfes.gov.co/2012-07-05-14-55-31/doc_download/8334-lineamientos-para-las-aplicaciones-muestral-y-censal-2012-saber-359-1&sa=U&ei=2vwSVa-jEs-XyATjyYDgCw&ved=0CAUQFjAA&client=internal-uds-cse&usg=AFQjCNFJBh5EQY_wUPgQbjdkyAWKpWmRGQ
Rancire, J. (2010) El espectador emancipado. Castelln: Ellago ediciones
Ravela P., (2011, Octubre). Qu hacer con los resultados de PISA en Amrica Latina?. En PREAL (No. 58). Obtenido el 2 de
Noviembre de 2014 desde http://m.preal.org/detalle.asp?det=2241
Ravela P., (2003, Julio). Cmo aparecen los resultados de las evaluaciones educativas en la prensa? En PREAL. Obtenido
el 2 de Noviembre de 2014 desde http://m.preal.org/detalle.asp?det=732
Rocha, A., Hernndez C. y Rodrguez J. (s.f.). ANTECEDENTES PARA UNA RECONCEPTUALIZACION DE LOS EXMENES
DE ESTADO. Extrado el 2 de Noviembre de 2014 desde http://www.pedagogica.edu.co/storage/ps/articulos/
peda08_09eva-inst.pdf
Torres Zambrano G., et al. (2008). El surgimiento del Servicio Nacional de Pruebas del ICFES en las voces de sus protagonistas. En Magistro (Vol. 2, pp. 115-134). Obtenido el 2 de Noviembre de 2014 desde http://dialnet.unirioja.es/servlet/
articulo?codigo=4037231
Sibila, P. (2009, Octubre - Noviembre). Sociedad del espectculo: solo existe lo que se ve. En Virtualia (No. 19). Obtenido
el 1 de Noviembre de 2014 desde http://virtualia.eol.org.ar/019/template.asp?opinion_ilustrada/sibila.html

Percepciones normalistas sobre el desarrollo


de competencias de lderazgo educativo:
aspectos a reflexionar para el ingreso
a puestos formales de lderazgo escolar
13 de marzo de 2015

Percepciones normalistas sobre el desarrollo


de competencias de lderazgo educativo:
aspectos a reflexionar para el ingreso
a puestos formales de lderazgo escolar
Ma. Guadalupe Villaseor Amzquita
Mtra., Universidad Autnoma de Baja California, Mxico.
guadalupevillaseor@uabc.edu.mx
Israel Moreno Salto
Mtro., The University of Nottingham, Reino Unido
ttxim5@nottingham.ac.uk

Oscar Damian Blahir Ramrez


Mtro., Benemrita Escuela Normal Estatal, Profesor Jess Prado Luna, Mxico.
profr.oscarblanhir@outlook.com
PALABRAS CLAVE: Evaluacin, Liderazgo Educativo, Desarrollo de Liderazgo, Formacin.
EJE TEMTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen

Hasta antes de la ltima reforma educativa (2013), los lderes educativos formales en Mxico eran seleccionados y
asignados por medio de un modelo de escalafn (Navarro, Cordero & Torres, 2011). Lo anterior se modifica radicalmente al aprobarse la Ley General del Servicio Profesional Docente (LGSPD) en donde se seala que los puestos
de direccin y supervisin seran otorgados por medio de concursos de oposicin (DOF, 2013). Bush (2008,2011)
sugiere que los puestos de liderazgo formal al igual que cualquier otro trabajo en donde se requiere de competencias idneas para su funcionamiento eficaz, requiere de una formacin o preparacin especializada previa.
En Inglaterra es altamente recomendado, y en EE.UU. es obligatorio que los aspirantes a estos puestos cuenten
con una preparacin formal previa para poder ser candidatos a estas posiciones (Brundrett, 2001). En Mxico,
la LGSPD prev preparacin en una fase post-contratacin (no definitiva). Atendiendo el panorama anterior, se
desarroll un estudio en cinco escuelas normales del estado de Baja California, para dar cuenta de qu manera, si
fuese el caso, se desarrolla la competencia docente de liderazgo educativo en los estudiantes normalistas durante
sus estudios profesionales, debido a que se sugiere que sern algunos de estos estudiantes los candidatos a ocupar
puestos formales de liderazgo en el sistema educativo nacional, y es necesario conocer cuan preparados estn para
el reto, y las implicaciones que esto envuelve para la evaluacin inicial o de ingreso. La investigacin se desarroll
en el ciclo escolar 2013-2014 mediante una metodologa mixta; encuesta, entrevista, investigacin documental.
Se encuestaron a 150 estudiantes normalistas del ltimo ao de su escolarizacin (8 semestre), se entrevistaron
a diez profesores normalistas y se analiz el curriculum oficial.

INTRODUCCIN
En el Mxico de hoy se viven momentos histricos en materia de evaluacin educativa en lo que respecta a docentes,
directores y supervisores, as tambin en relacin a los aspirantes a ocupar estos cargos. Por primera vez en nuestro pas
se tiene contemplado realizar concursos de oposicin para la asignacin de plazas de liderazgo formal en educacin bsica, lo que implica el estudio y revisin de procesos y elementos que haban sido escasamente atendidos. De la situacin
anterior existen dos cuestiones que ms llaman nuestra atencin; los sujetos que van a concursar para ocupar una plaza
de liderazgo formal, y los procesos de preparacin, formacin y capacitacin por los cuales pasan.
Para ser lder educativo formal en Mxico, no es necesario contar con grados acadmicos especializados en el campo
de la gestin, administracin, o liderazgo, tampoco se requiere de una preparacin previa para entrar en funciones, la
reforma (2013) le apuesta a la preparacin in situ de los seleccionados (post-examen). La LGSPD (2013) en su articulo 27
seala En la Educacion Basica la Promocion a una plaza con funciones de direccion dara lugar a un Nombramiento, sujeto a
un periodo de induccion con duracion de dos anos ininterrumpidos, dentro del cual el personal de que se trate debera cursar
los programas de desarrollo de liderazgo y gestion escolar determinados por la Autoridad Educativa Local (p.15). Vale la
pena reflexionar sobre el planteamiento anterior, si bien la ley considera la preparacin, formacin o actualizacin en
el campo del liderazgo educativo durante los dos primeros aos de funcin, existen algunos escenarios que deben ser
reflexionados. Primero, los programas de desarrollo que han ofertado las autoridades educativas locales en el pasado han
demostrado ser insuficientes para confrontar las necesidades y problemticas educativas. Segundo, en Mxico son escasas las instituciones que ofrecen programas especficos de liderazgo y gestin. Tercero, los lderes en prueba ejercern
funciones que tendrn impacto en las comunidades, las escuelas, los maestros, los padres de familia y los estudiantes, si
su desempeo resulta ser no apto, el siguiente aspirante que ocupe un lugar tendr doble responsabilidad, el de revertir
las acciones de su antecesor y el de hacer que la institucin educativa marche hacia adelante y sea exitosa.
En nuestro pas las escuelas normales siguen produciendo la mayor cantidad de maestros, lo que hace altamente
probable que sern los mismos maestros egresados de estas escuelas los que van a concursar por los puestos de liderazgo formal. Por esta razn se decidi realizar una investigacin para estudiar de qu forma se desarrolla la competencia
docente de liderazgo educativo durante la formacin de los futuros maestros de Mxico, que a su vez arroja un panorama de
qu tan preparados estn para ejercer estas funciones de acuerdo con las percepciones de los profesores y estudiantes
normalistas.
Despus de triangular los resultados obtenidos de cuestionarios, entrevistas y revisin de documentos oficiales, en
donde participaron maestros, estudiantes y planes de estudios de las normales, surgieron algunos hallazgos interesantes.
Uno de ellos es que, aunque los estudiantes en su mayora reconocen que en sus escuelas normales no se les forme para
ser lderes, el (30%) se consideran competentes para ejercer estas funciones. Destaca que los maestros normalistas coinciden en que no estn formando a sus estudiantes para ser lderes, sin embargo consideran que sta es una competencia
docente indispensable para la prctica pedaggica.
Los resultados de la presente investigacin ofrecen un diagnstico interesante de lo que sucede en las escuelas normales en relacin a la formacin de liderazgo o lderes educativos. Esto a su vez da cuenta de algunas de las implicaciones
que esta situacin tiene para la evaluacin de ingreso de lderes educativos en Mxico.

DESARROLLO
Por qu formar o preparar lderes educativos?
El liderazgo efectivo no es resultado de la casualidad, para lograrlo es necesario de una formacin adecuada (Bush, 2008).
Al igual que cualquier otro campo de conocimiento que se trabaja en las escuelas normales, como lo son la pedagoga, la
didctica, y los conocimientos disciplinares, el liderazgo educativo requiere de una atencin especializada.
3

Bush (2008, 2012) identifica y comparte una serie de argumentos que sustentan la importancia y relevancia del desarrollo de liderazgo. Estos argumentos son: a) La funcin ampliada de los lderes escolares, b) La creciente complejidad
de los contextos escolares, c) La preparacin de liderazgo como una obligacin moral, d) La preparacin de liderazgo
efectivo hace la diferencia. A continuacin se discuten con mayor detalle cada uno de los puntos anteriores.

A) La funcin ampliada de los lderes escolares. Conforme pasa el tiempo, la dinmica y las relaciones sociales se vuelven
ms complejas. Los problemas y las situaciones que emanan de esta condicin social permean las escuelas (Morin,
1994). Dada la condicin anterior, los lderes escolares y miembros de la escuela tienen que hacer frente, superar y
vencer retos y situaciones variadas en aras del bienestar de los estudiantes. Brundrett et al. (2006), citado en Bush
(2012), argumentan que el desarrollo del liderazgo es una "necesidad estratgica", debido a la intensificacin del rol
del lder educativo (p. 90). Bush (2012) comparte que hay dos cuestiones principales en las que se ha ampliado el
papel de los lderes escolares. La primera es la rendicin de cuentas, ya que en la actualidad, los lderes escolares son
ms responsables de lo que pasa en las escuelas que dirigen, un ejemplo de ello son las pruebas estandarizadas nacionales e internacionales (Ball, 2013). El segundo tema es "La devolucin de responsabilidades a los centros escolares ',
por ejemplo, en Mxico, despus de la ltima reforma educativa, ahora las escuelas deben trabajar un modelo de autogestin, lo que implica ms trabajo para los lderes formales de las escuelas. Bush (2008) sugiere que las funciones y
deberes de los lderes escolares se estn ampliando y seguirn creciendo en los prximos aos. La literatura muestra
que una buena preparacin en liderazgo puede ayudar a los lderes a enfrentar estas realidades.

B) La creciente complejidad de los contextos escolares. Este punto es muy importante debido a la naturaleza donde se
llev a cabo este estudio; Mxico. Bush (2008, 2012) Bush y Oduro (2006) y Harber y Davies (1997), sealan que hay
seis dimensiones de las experiencias que se producen en los pases en vas de desarrollo, algunos de ellos afectan
a Mxico, tales como:

Muchos nios no reciben educacin escolarizada y muchos de ellos tambin abandonan la escuela debido a las
presiones econmicas y sociales.

Las economas de los pases en desarrollo son frgiles.


Los recursos humanos y materiales son muy limitados.
Muchos nios y escuelas estn marcadas por la violencia.
Existe nepotismo y una corrupcin generalizada en muchos pases.

(p.29)

Frente a estas condiciones y situaciones se requiere de lderes con conocimientos especializados y competencias que son
ms probables a desarrollarse por medio de una formacin pertinente.

C) Liderazgo como una obligacin moral. Rodas y Brundrett (2006) afirman que "los lderes deben aprender a hacer su
trabajo lo mejor posible para que puedan hacer frente a la ruta de mejoramiento escolar, y as jugar un papel clave en
el servicio de las necesidades de sus alumnos (p.364). Bush (2012) establece que "En el siglo XXI hay una creciente
conciencia de que el liderazgo formal es una funcin especializada que requiere una preparacin especfica" (p.665),
esta declaracin obedece al principio de que cualquier tipo de trabajo o actividad que implica la necesidad de altas
capacidades, habilidades y destrezas, requerir de una formacin, preparacin o capacitacin especializada para desarrollar dicha tarea.

D) La preparacin de liderazgo efectivo hace la diferencia. Bush (2012) cita una cantidad considerable de literatura que
apoya el argumento que sostiene que, la preparacin de liderazgo efectivo hace la diferencia en el funcionamiento y
desempeo de las escuelas. Los diferentes estudios realizados en el campo sugieren que los lderes que han pasado
por una preparacin adecuada tienden a desarrollar de manera ms efectiva su funcin.
4

Metodologa
Durante el ciclo escolar 2013-2014 se realiz una invitacin a ocho escuelas normales del estado de Baja California, para
formar parte de este estudio. De las escuelas invitadas, nicamente cinco accedieron a colaborar. Primeramente se trabaj con una encuesta impresa que se aplic a 150 estudiantes que cursaban el ltimo ao de su formacin profesional en
una de las escuelas participantes (8vo semestre). Mediante este instrumento se aborda la percepcin de los educandos en
relacin a su formacin como lderes educativos, el instrumento obtuvo un .92 de confiabilidad en el SPSS 17. Por medio
de muestreo de bola de nieve (Cohen et al. 2007) se trabaj con diez maestros de las mismas cinco escuelas formadoras
de docentes, en cada institucin hubo un enlace quien invit a dos compaeros que tuvieran ms de 10 aos de servicio,
que contaran con posgrado y que estuvieran frente a grupo, los maestros participantes no requeran impartir asignaturas
relacionadas con el tema de estudio de esta investigacin. Con estos sujetos se desarrollaron entrevistas semiestructuradas por medio de Skype (Baja California-Inglaterra) en donde se aborda la percepcin de los maestros sobre su rol en la
formacin de lderes educativos. Para complementar los mtodos anteriores, paralelamente, se trabaj una investigacin
documental, para ello se analizaron los planes y programas de estudio de las escuelas normales (SEP, 1997, 1999, 2011)
de las licenciaturas en preescolar, primaria y secundaria. Los resultados obtenidos se analizaron de manera individual, y
posteriormente se hizo un ejercicio de triangulacin que contribuy significativamente a la discusin de la investigacin.

Hallazgos
Cules son las percepciones de los estudiantes
en relacin a su formacin en liderazgo educativo?
La mayora de los estudiantes perciben que tienen una formacin limitada en el campo del liderazgo educativo como
consecuencia de su plan de estudios y la intervencin de sus profesores. Difieren de manera significativa (72.2%) que
sus profesores de las escuelas normales les ensean como convertirse en buenos lderes educativos, sin embargo casi la
mitad (48.1%) se conciben a si mismos como lderes en formacin, an cuando reconocen que no se les ha formado para
desarrollar tal funcin. Los estudiantes (86%) estn de acuerdo que no han abordado el tema de liderazgo educativo durante su formacin docente, sin embargo un (30%) se siente lo suficientemente competente para desarrollar la tarea de
lder, an cuando comentan que no han aprendido a desarrollar prcticas claves como coaching, mentora, administracin
y organizacin escolar. Los participantes (77.9%) tambin coinciden en la percepcin de que el liderazgo educativo no es
un tema prioritario en sus centros educativos, sin embargo estn de acuerdo en que el liderazgo educativo es una prctica
de suma importancia para su funcin docente (74%).

Cules son las percepciones de los profesores de la escuelas normales


en relacin a su papel como formadores de lderes educativos?

Los profesores de las escuelas normales reconocen la importancia del liderazgo educativo en la futura prctica de sus
estudiantes. Un maestro menciona Creo que es algo muy importante porque tiene que haber una cierta conduccin que
lleva a los estudiantes hacia la mejora" (Maestro 7). Los maestros consideran que sus estudiantes deben aprender sobre
el liderazgo educativo durante su licenciatura, sin embargo, reconocen que no lo estn haciendo. En relacin a esto un
maestro comenta Bueno, francamente no, por varias razones dentro de la escuela, usted debe tener una idea de cmo
funcionan estas escuelas. Esta es mi percepcin personal, el problema aqu es que los estudiantes no adquieren un liderazgo en trminos de confianza en s mismo, o que pueden ser capaces de dominar una situacin o que de forma independiente, dentro de su grupo que pueden ser capaces de influir en la transformacin o la formacin de sus estudiantes,
porque su formacin no es de calidad por muchos factores (Maestro 2). Los profesores reconocen que deben aprender
bastante sobre el tema con el fin de ayudar a sus estudiantes. Los profesores comparten la percepcin de que uno de
sus papeles como formadores de docentes es el formar a futuros lderes educativos, a pesar de que reconocen que no
estn capacitados para hacerlo, y que por el momento no estn adoptando este papel. Al respecto un maestro comenta

No, no me siento capaz, ya que me falta un entrenamiento formal y profesional en el tema (Maestro 1). Los maestros
de las escuelas normales, los cuales en su mayora son egresados de las mismas escuelas normales, reconocen debilidades
significativas de su formacin en este campo. Para el desarrollo de liderazgo o de lderes es necesario la intervencin
de personas especializadas en el tema (Bush, 2009).

Cul es la posicin oficial en el plan nacional de estudios de las escuelas normales,


en materia de formacin de liderazgo educativo o de desarrollo?

La posicin de la currcula o de los programas y planes de estudios de las escuelas normales en materia de desarrollo de
liderazgo educativo es limitada. Existe solamente una asignatura en donde se aborda un tema relacionado con el liderazgo, y dentro de este curso, slo hay un contenido explcito que se refiere a una serie de cuestiones tericas, dejando de
lado los elementos prcticos. El resto del contenido en el curso se refiere a la gestin escolar. De acuerdo a los estudios en
relacin a gestin y liderazgo, la primera es ms limitada debido a que su funcin es mantener, mientras que los beneficios de la segunda son ms debido a que su naturaleza es la de desarrollar y transformar (Bush, 2008)

CONCLUSIONES
En Mxico se carece de grados acadmicos especficos para el liderazgo educativo escolar, a diferencia de Estados Unidos,
en donde las grandes Universidades; Harvard, Stanford, Berkeley, UCLA, cuentan con doctorados para este fin. En nuestro
pas se sigue apostando a las habilidades innatas de los aspirantes, a su buena disposicin y a su preparacin postcontratacin, arriesgando la formacin pertinente de miles de estudiantes de educacin bsica.
Este estudio plantea la existencia de limitaciones importantes, en relacin a la formacin en liderazgo educativo de
los que son potencialmente aspirantes a dichos cargos. La presente investigacin aporta informacin til para el rea del
desarrollo de liderazgo educativo, debido a que no existen estudios similares en el campo.
Una de nuestras preocupaciones radica en la limitada oferta de formacin o actualizacin en el campo de liderazgo
escolar especfico en educacin bsica. As tambin en la modesta regulacin y precisin de este tema dentro de la reforma actual, que representa un reto para la evaluacin inicial de lderes educativos formales. Aunque la LGSPD (2013)
seala que sern las autoridades estatales las responsables de formar a los lderes formales seleccionados, sin embargo
no precisa ni qu, ni cmo, ni cundo, ser este tipo de formacin. Tambin debe remarcarse que los procesos de formacin que han ofertado las autoridades estatales en el pasado no han sido suficientes para enfrentar las problemticas
educativas actuales.
Retos e implicaciones a lo cuales nos enfrentamos:

Desarrollar polticas educativas en relacin a la formacin de liderazgo educativo.


Revisar el curriculum de las escuelas normales para dar mayor atencin a este tema.
Trabajar programas para la formacin de liderazgo educativo desde la preparacin profesional en las instituciones
de formacin docente.

Desarrollar criterios mnimos de formacin en liderazgo para quienes aspiren a concursar a estos puestos.
Desarrollar cursos que abarquen tres reas: a) formar a los aspirantes para el concurso de oposicin, b) preparar a
los seleccionados para las funciones, c) actualizar a los lderes formales actuales.

Bajo las condiciones que se mencionan a lo largo de este trabajo es que se va a desarrollar la evaluacin inicial, para
concursar las plazas para directores y supervisores en el sistema educativo nacional, lo que sugiere un simple reemplazo
de un sistema obsoleto de escalafn por un sistema de concurso. Sin embargo ninguno de los sistemas garantiza la colocacin de personas idneas y pertinentes para los puestos y para su funcionamiento eficaz, como lo afirma la reforma
educativa.
6

BIBLIOGRAFA
Ball, S.(2013) Education, justice and democracy: The struggle over ignorance and opportunity. The Centre for Labour and
Social Studies; London.
Brundrett, M. (2001) The development of school leadership preparation programmes in England and the USA: a comparative
analysis, Educational Management and Administration, 29(2): 22945
Brundrett,M., Slavkov, L. , Karabec, S. , Murden, B. ,Dering, A, & Nicolaido, M. (2006) Educational leadership development
in England and the Czech Republic: comparing perspectives, School Leadership & Management: Formerly School
Organisation, 26:2, 93-10
Bush, T. (2008) Leadership and Management Development. Sage; London.
Bush, T. (2009) Leadership development and school improvement: contemporary issues in leadership development,
Educational Review, 61:4, 375-389,
Bush, T. (2012) International perspectives on leadership development: making a difference, Professional Development in
Education, 38:4, 663-678.
Bush, T. and Jackson, D. (2002) Preparation for school leadership: international perspectives, Educational Management
and Administration, 30(4): 41729
Cohen, L., Manion, L. and Morrison, K. (2007) Research Methods in Education (6th Edition). London: Routledge
Day, C., Sammons, P., Hopkins, D., Leithwood, K. & Kington, A. (2008) Research into the impact of school leadership on pupil
outcomes: policy and research contexts, School Leadership & Management: Formerly School Organisation, 28:1, 5-25
Diario Oficial de la Federacin (2013) Ley General del Servivio Profesional Docente. Mxico.
Harber, C. and Davies, L. (1997) School Management and Effectiveness in Developing Countries. London: Cassell. Day (Eds)
Successfull School Leadership in times if change (Toronto; Springer), pp.189-203
Morin, E. (1994) Introduccin a pensamiento complejo. Gedisa; Madrid
Navarro, C., G. Cordero y R.M. Torres. (2011). Trayecto laboral en el magisterio: Los caminos para llegar a ser director
escolar. Revista Intercontinental de Psicologa y Educacin. 13 (12): 147-175.

Sistema de evaluacin
del desempeo docente en Chile

Mejoran sus resultados los docentes que han sido evaluados


en el 2009 y nuevamente el 2013?
13 de marzo de 2015

Sistema de evaluacin
del desempeo docente en Chile

Mejoran sus resultados los docentes que han sido evaluados


en el 2009 y nuevamente el 2013?
Maximiliano Alfonso Herrada Herrada
Psiclogo, Pontificia Universidad Catlica de Chile, Chile.
maherrad@uc.cl
PALABRAS CLAVE: Evaluacin Docente; Progreso en el desempeo Docente; Portafolio; Comparabilidad.
EJE TEMTICO: 4. Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen

En Chile, desde el ao 2003 hasta la actualidad, se implementa el Sistema Nacional de Evaluacin del Desempeo
Docente, para los profesores que ensean en el sector pblico. Este sistema tiene como finalidad, incentivar la
mejora de los profesores en ejercicio. Cuenta con cuatro instrumentos de evaluacin, entre ellos el Portafolio. En
estos 11 aos de implementacin, cerca de la mitad de los profesores han sido evaluados en ms de una ocasin.
En consecuencia, existe inters por reportar progresos en los desempeos de los docentes evaluados para dar
cuenta del impacto de esta poltica.
En el presente estudio, se recolect una muestra pareada de 5.528 docentes, evaluados en el 2009 y nuevamente en el 2013. Se compararon los puntajes de Portafolio de ambos periodos. Para asegurar mayor validez de
este anlisis, se consideraron solo los indicadores comparables entre ambas mediciones y las evidencias corregidas con ndices ptimos de confiabilidad.
Los resultados principales son tres:

1. Existe en promedio una mejora significativa en el puntaje del portafolio que corresponde a media desviacin
estndar de la distribucin de las diferencias (tamao del efecto mediano).
2. El mayor predictor del puntaje de cambio es el puntaje previo del docente en el portafolio comparable, seguido
por la modalidad o nivel en que ensea el docente.
3. Dentro del Portafolio la dimensin que reporta mayor cambio es la interaccin del docente con los alumnos
en la clase filmada.
Este anlisis es preliminar y se requiere de estudios que caractericen en profundidad esta evolucin.

INTRODUCCIN

El Sistema Nacional de Evaluacin Docente chileno (en adelante Evaluacin Docente) se enmarca en una poltica pblica ms general que articula el diagnstico sobre las fortalezas y debilidades del trabajo docente en aula con planes de
formacin o incentivos dependiendo del resultado obtenido. A 11 aos de implementacin de la Evaluacin Docente se
hace cada vez ms necesario responder a la pregunta de si es posible reportar mejoras en el desempeo de los docentes,

expresadas en una evolucin favorable de los puntajes que se obtienen en el Portafolio y si stas estn asociadas con los
esfuerzos explcitos para generar desarrollo profesional.
El reglamento de la Evaluacin Docente (Articulo N1, Decreto 192, 2004), documento legal, establece que sta debe
apuntar a la mejora continua de la labor del profesor. En consecuencia es de inters que una poltica pblica de esta
envergadura sea capaz de sealar mejoras en los docentes. En caso contrario, la evaluacin docente pierde sentido dado
que los profesores no reportan cambios, ya sea porque las polticas de cambio han sido pobres o porque el instrumento
no es sensible a los cambios.
El sistema de evaluacin docente recoge evidencias de trabajo docente a travs de un Portafolio estandarizado corregido
por docentes de aula, de la misma asignatura del profesor evaluado, entrenados en el uso de rbricas estandarizadas que
puntan el trabajo docente. En total los correctores, a travs de las rbricas, corrigen 19 indicadores de desempeo general
y 1 de desempeo especfico de la asignatura o modalidad en la que ensea el docente. Estos indicadores se agrupan en
7 dimensiones relevantes del trabajo docente1: Organizacin de la unidad, Anlisis de las clases, Calidad de la evaluacin,
Reflexin a partir de los resultados de los alumnos, Ambiente de la clase, Estructura de la clase e Interaccin pedaggica2.
Los niveles de desempeo asignados en cada uno de los 20 indicadores pueden ser cuatro: Insatisfactorio, Bsico,
Competente o Destacado. Con esos niveles se calcula un puntaje promedio en dimensin y con stos un puntaje Portafolio
global. El puntaje de Portafolio, que es el promedio de las 7 dimensiones, representa un 60% del puntaje final del docente
evaluado3 que determina su nivel de desempeo final4.
Si bien las dimensiones mencionadas van cambiando con el tiempo, existe un cierto perfil de dimensiones que se
mantiene a travs de los aos:
Grfico 1 Comparacin dimensiones portafolio evaluados 2010 al 2013

Tomando las cohortes que se han evaluado desde el 2009 hasta el 2013 se observa una evolucin en los ltimos dos
aos, dado que aumenta de manera importante la cantidad de docentes con resultados competentes en el portafolio.
Esta descripcin del portafolio obedece a la versin del instrumento para los perodos 2012 en adelante.
Para mayor detalle sobre los indicadores del portafolio visite: http://www.docentemas.cl/docentes03_informe_ponderacion.php.
3
El puntaje de todos los instrumentos considera el puntaje de portafolio (60%), el informe de referencia de terceros (10%), la entrevista del evaluador
par (20%) y la autoevaluacin (10%), considerando las ponderaciones establecidas en el reglamento de la evaluacin docente. Para mayor detalle del
portafolio y los otros instrumentos visite: http://www.docentemas.cl/docentes03_informe_como.php.
4
Este nivel de desempeo es posteriormente considerado por la Comisin Comunal de Evaluacin, la cual, a la luz del reporte y otras consideraciones,
puede ratificar o modificar el nivel de desempeo final. Hasta 2012, los docentes ratificados por la comisin comunal asciende a 94,2%, lo que implica
que en la gran mayora de los casos esta comisin ratifica el nivel de desempeo otorgado por la evaluacin.
1
2

Grfico 2 Resultados en Portafolio de evaluados 2009-2013

Una vez que son entregados los resultados a cada profesor, a las escuelas y a los municipios, los resultados tambin
son puestos a disposicin de los ejecutores de los Planes de Superacin Profesional (PSP), para que estos implementen
los planes de ayuda a los docentes con menor desempeo. Esta poltica, si bien no es parte de la Evaluacin Docente, est
estrechamente relacionada a ella. Cortes, Taut, Santelices y Lagos (2011) dan cuenta de la experiencia de implementacin
de estos planes y la contrastan con evidencia internacional.
Para reportar mejoras es necesario que se compare la evolucin de los mismos sujetos en el tiempo. Los docentes
que han sido evaluados en ms de una oportunidad ascienden, el ao 2013, a un 48% de un total de 82.638 docentes5.
Para esta proporcin de profesores ya podran reportarse cambios, una vez se acuerden los criterios bajo los que esta
comparacin se establezca.
Un primer problema consiste en que el Portafolio de la evaluacin docente ha experimentado modificaciones en los
indicadores que lo conforman ao a ao. Estos cambios se deben en primer lugar, a la necesidad de adecuar la rbrica a
las nuevas asignaturas o modalidades que se van incorporando, de modo tal de asegurar una cobertura de los indicadores
del desempeo y un nivel de dificultad similar para todos los evaluados. En segundo lugar, se han realizado modificaciones en algunos indicadores, para prevenir la posibilidad que un mismo portafolio pueda ser reutilizado en dos instancias
distintas y la copia de los mismos, para algunas de las preguntas que lo conforman. Por tanto, para reportar mejoras ser
necesario tambin emplear el conjunto de indicadores ms estable en el Portafolio, entre las cohortes antes mencionadas.
Un segundo problema es que existe un error de medicin que debe ser controlado. Investigaciones realizadas por
Mide UC con un estudio de generalizabilidad, concluyeron que el factor que ms permita aumentar la confiabilidad en
la correccin de portafolios, es aumentar el nmero de veces que es corregida una evidencia. El sistema de evaluacin
docente actual, tal y como est planteado, solo contempla la doble correccin de un 20% de la evidencia. Por tanto, se
deber encontrar una forma de aumentar al mximo la confiabilidad de los puntajes, para la cohorte, considerando el
instrumento en cuestin.
En el ao 2013 la Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE) realiz un diagnstico y algunas sugerencias respecto al sistema de evaluacin docente implementado en Chile. Respecto al desarrollo del desempeo
docente, las recomendaciones se relacionan por un lado con ajustes a los instrumentos de evaluacin y por otro con la
difusin de los resultados de tal manera que se forme dialogo pedaggico formal en el establecimiento. La apuesta que
renace con fuerza es que dentro del mismo establecimiento se creen o fomenten las comunidades pedaggicas y que stas
puedan potenciar las habilidades de los docentes, de una manera ms directa y sistemtica que se refleje finalmente en la
evaluacin tanto de docentes como de estudiantes.
Se excluye a los docentes que se han inscrito, pero que no se han evaluado por motivos ajenos a la evaluacin.

DESARROLLO
Objetivos
El objetivo general es explorar una metodologa de comparacin de puntajes de docentes y en base a ella determinar
si existe una mejora en el desempeo docente al evaluarse en una segunda oportunidad. Esto implica especficamente:

Seleccionar una muestra comparable, corregida por los correctores ms consistentes.


Seleccionar criterios del instrumento de evaluacin comparables entre el ao 2009 y 2013.
Evaluar si existe una mejora efectiva en el desempeo de los docentes entre el 2009 y el 2013.
Validar investigando cules son las condiciones de los docentes que estn relacionados con una mejora efectiva.

Metodologa
Eleccin de los indicadores comparables
Por las razones anteriormente mencionadas, existe una dificultad en comparar directamente los puntajes de portafolio
obtenidos por los docentes en los distintos aos de evaluacin. Es por eso que el equipo de instrumentos del proyecto
Docentems6 ha registrado ao a ao cmo se van creando, reformulando, reubicando y eliminando tems. Con esta informacin se determin que de los 20 indicadores de desempeo que el Portafolio 2013 evala, aproximadamente un 80%
de los indicadores es comparable con el perodo 2009 (Tabla 1).
Tabla 1 Indicadores Comparables 2009-2013
Indicador Nombre 2009

Nombre 2013

Formulacin y coherencia entre los objetivos

I1.1

Formulacin y coherencia entre los objetivos

A2

Relacin entre actividades y objetivos

I1.2

Relacin entre actividades y objetivos

A3

Calidad de la secuencia entre las clases de la unidad

I1.3

Calidad de la secuencia entre las clases de la unidad

(C1) Calidad del instrumento de evaluacin


(C2) Calidad de la pauta de correccin
de la evaluacin

I3.1

Calidad de la evaluacin

C3

Adecuacin de la evaluacin
a la unidad implementada

I3.2

Adecuacin de la evaluacin a los objetivos


de aprendizaje de la unidad realizada

D1

Calidad de la retroalimentacin

I4.2

Calidad de la Retroalimentacin

F1

Focalizacin de los alumnos


en las actividades propuestas

I5.1

Promocin de la focalizacin de los alumnos


en las actividades

F2

Promocin de la participacin de todos los alumnos

I5.2

Promocin de la participacin de todos los alumnos

F3

Supervisin de las actividades

I5.3

Supervisin de las actividades

G1

Calidad del inicio de la clase

I6.1

Calidad del inicio de la clase

G2

Calidad del cierre de la clase

I6.2

Calidad del cierre de la clase

G3

Contribucin de las actividades al logro


de los objetivos de la clase

I6.3

Contribucin de las actividades al logro


de los objetivos de la clase

H1

Calidad de las explicaciones

I7.1

Calidad de las explicaciones

H2

Calidad de las preguntas

I7.2

Calidad de las preguntas

H3

Calidad de la retroalimentacin a los alumnos

I7.3

Calidad de la retroalimentacin a los alumnos

H4

Indicador por subsector o rea

I7.4

Indicador por asignatura o rea

C1+C2

Docentems es el proyecto que ofrece asesora tcnica sobre la Evaluacin Docente al Ministerio de Educacin de Chile.

Indicador

A1

Particularmente en este estudio, la comparabilidad de indicadores se utiliz para construir un nuevo puntaje de
portafolio correspondiente al promedio simple de todos los indicadores comparables en cada uno de los aos. A modo
general, cabe aclarar que el cambio de puntaje entre una evaluacin y otra siempre se observ mediante el puntaje de
portafolio, sin considerar el resto de los instrumentos de la Evaluacin Docente. Este instrumento apunta directamente al
desempeo que el docente tiene en su ejercicio profesional.

Eleccin de los correctores con mayor consistencia


La correccin de la evidencia del Portafolio funciona de tal manera que si en una dimensin que es corregida dos veces
existe un alto grado de desacuerdo7, entonces esta dimensin es corregida en una tercera ocasin por el supervisor de la
correccin, quien funciona como un rbitro entre ambos correctores. Cuando un portafolio tena al menos una dimensin
con un alto grado de desacuerdo se asignaba esta evidencia como corregida inconsistentemente al corrector que ms se
alejaba de la correccin del supervisor. Luego, por cada corrector, se obtuvo un porcentaje de evidencia corregida inconsistentemente en base al total de evidencias que corrigi. Teniendo la distribucin de esos porcentajes, se identific el
primer quintil con menor rendimiento. Luego se excluy la evidencia corregida por estos correctores. Esto se realiza para
el periodo 2013 y para el 2009.

RESULTADOS
Descriptivos
La cantidad total de evaluados el ao 2009 asciende a 15.699 docentes. De stos, 7.874 se re-evaluaron el 2013 (50.2%).
Realizando la seleccin de la evidencia por los correctores ms consistentes la muestra alcanza los 5.528 docentes, que corresponden al 35.2% del total de evaluados 2009. En la tabla 2 se muestra la caracterizacin de la muestra que fue pareada.

Comparacin de medias
Una vez obtenida la muestra requerida, se calcularon las medias obtenidas en el pre y en el post (Grfico 3). El grfico
muestra cunto cambia la pendiente entre la evaluacin 2009 y la evaluacin 2013 considerando dos condiciones. La
primera es seleccionando a todos los docentes que tienen evaluacin en ambos perodos y considerando el puntaje de
portafolio oficial con todos los indicadores de desempeo, comparables y no comparables. La segunda es la condicin
seleccionada considerando ambos cambios, esto es docentes corregidos, en ambos periodos, por correctores consistentes
y puntaje de portafolio solo con indicadores comparables.

El desacuerdo est determinado por la suma de las distancias en cada uno de los indicadores de la dimensin

Tabla 2 Caracterizacin de la muestra


Variable
Sexo

Edad

Grupo
Socio
Econmico

Nivel o modalidad de enseanza

Resultado Final
20091

Resultado Portafolio 2009

Categora

Frecuencia

Perdidos
Masculino
Femenino
Perdidos
29 o menos
30 a 34
35 a 39
40 a 44
45 a 49
50 a 54
55 a 59
60 o ms
Perdidos
Bajo
Medio Bajo
Medio
Medio Alto
Educacin Parvularia (EP)
Primer Ciclo (PC)
Segundo Ciclo (SC)
Educacin Media (EM)
Educacin Especial (EE)
Insatisfactorio
Bsico
Competente
Destacado
Insatisfactorio
Bsico
Competente
Destacado

Porcentaje

3
1494
4031
25
893
599
609
709
1058
1064
527
44
119
1214
2935
1113
147
380
1783
1711
1209
445
10
1480
3676
362
230
4447
849
2

Los 10 docentes insatisfactorios encontrados lograron, de distintas maneras, evaluarse cuatro aos ms tarde.
Aquellos docentes que obtienen este nivel de desempeo deben evaluarse al ao siguiente.

Grfico 3 Medias en Puntaje Portafolio re-evaluados y muestra comparable.

0.1%
27.0%
72.9%
0.5%
16.2%
10.8%
11.0%
12.8%
19.1%
19.3%
9.5%
0.8%
2.2%
22.0%
53.1%
20.1%
2.7%
6.9%
32.3%
31.0%
21.9%
8.1%
0.2%
26.8%
66.5%
6.6%
4.2%
80.5%
15.4%
0.0%

Se observa una pendiente positiva en ambos casos, no obstante, ms pronunciada con los datos comparables. Se
realiza una prueba t Student para muestras dependientes y la d de cohen para calcular el tamao del efecto en ambas
condiciones.
Tabla 3Contraste t de muestras dependientes y tamao del efecto
para los puntajes de Portafolio en ambas condiciones
Media de la diferencia

DE de la diferencia

sig

Tamao del efecto

Re-evaluados

0.123

0.335

32.670

<.0001

0.368

Muestra comparable

0.167

0.322

38.590

<.0001

0.519

En la tabla 3 se observa que el efecto es mayor al considerar los indicadores comparables y los correctores ms
consistentes, pasando de un efecto pequeo a un efecto mediano. El grado de asociacin que alcanzan estas medidas es
muy similar. Tanto para los re-evaluados como para la muestra comparable la correlacin de Pearson es de 0.30. Considerando que en ambos casos, producto que la gran mayora de los insatisfactorios no se evala cuatro aos ms tarde,
existe restriccin indirecta de la varianza (Tran, 2013). Por lo tanto, la asociacin presentada es una correlacin ajustada
considerando la restriccin de rango.

Existen variables que expliquen este cambio?


Los anlisis se realizaron con los puntajes comparables de ambas evaluaciones. Los factores que fueron recolectados
principalmente de los cuestionarios complementarios a la evaluacin docente que caracterizan a los profesores evaluados. Adems se considera el ndice de Vulnerabilidad Escolar y la Zona Geogrfica (urbano/rural) del Establecimiento8. Se
tom como variable dependiente el puntaje de cambio entre el ao 2009 y 2013 y se intent predecir bajo una regresin
lineal con la siguiente estructura:
i = + b1X1i + b2 X2i + bn Xni

Donde i es el Puntaje de Portafolio Comparable en el 2013 para el sujeto i. El trmino es el intercepto y cada b es el
coeficiente de regresin para cada variable independiente X considerada en el modelo.
Se probaron varios modelos con distintas variables de caracterizacin, pero el que consigui mejor ajuste fue el que
consider el puntaje portafolio comparable en el 2009 del docente y la asignatura o modalidad por la que fue evaluado
(Tabla 4). Se puede observar en esta tabla que conocer el puntaje previo del docente es un buen predictor del resultado
posterior.
Por otra parte, se observa que hay asignaturas/modalidades que tienen mayor tasa de cambio que otros. En el Grfico
2, se observa que Matemtica, Ciencias de la naturaleza y Generalista reportan las mayores tasas de cambio.
Por ltimo, aparte del modelo ya registrado se prob mediante Ancova la efectividad de la participacin en los Planes
de Superacin Profesional (PSP). La variable participacin en PSP fue extrada del cuestionario complementario 2013.
Se consideraron solo los docentes cuyo desempeo final en el 2009 fue Bsico, dado que de la muestra seleccionada solo
ellos participan debieran participar en PSP. Se introdujo como covariante el puntaje inicial y el trmino de interaccin
entre participar en PSP y el puntaje inicial. Si bien existe una mejora en el puntaje en portafolio de estos docentes (modelo
general: F5,1289 = 9.88; p < .0001; R2 = 0.04), esta mejora no es mayor si es que el docente participa en PSP (Interaccin
entre Puntaje inicial y participacin en psp: F2,1289 = 1.85; p = 0.16).
ndice de Vulnerabilidad Escolar (IVE) y Sector Urbano/Rural y GSE desde: www.agenciaeducacion.cl/simce/bases-de-datos-nacionales.

Tabla 4 Variables predictoras de la mejora efectiva


Variable
Intercepto
PJE PF COM 2009

Generalista
Matemtica - SC
Matemtica - EM
Lenguaje - SC
Ed. Especial/DEA
C.Naturaleza - SC
Ed. Especial/TEL
Fsica - EM
Biologa - EM
Lenguaje - EM
Qumica - EM
Ingls - EM
Ed.Tecnolgica - EM
A. Musicales - SC
Ed.Fsica - EM
Ingls - SC
Fil. y Psic. - EM
C.Sociedad - SC
Ed.Fsica - SC
A. Visuales - SC
Religin - SC
A. Musicales - EM
Historia - EM
Ed. Parvularia
Religin - EM
Ed.Tecnolgica - SC
A. Visuales - EM

Betas
1.84
0.25
0.08
0.11
0.16
0.05
0.05
0.05
0.06
0.07
0.04
0.01
0.01
0.00
0.02
0.03
0.03
0.03
0.04
0.03
0.03
0.04
0.05
0.05
0.05
0.04
0.07
0.11
0.09

Valor t
0.03
0.01
0.01
0.01
0.02
0.01
0.01
0.02
0.02
0.05
0.03
0.02
0.05
0.02
0.02
0.04
0.02
0.03
0.03
0.02
0.02
0.04
0.02
0.03
0.02
0.01
0.03
0.03
0.02

Pr>|t|
61.43
19.42
10.64
8.64
7.03
3.85
3.51
3.17
2.86
1.22
1.18
0.63
0.13
0.06
0.63
0.61
1.14
1.11
1.26
1.75
1.64
1.22
2.35
1.72
2.19
2.82
2.60
3.31
4.80

Betas estandarizados

95% Lmites de confianza de beta

<.0001
<.0001
<.0001
<.0001
<.0001
0.00
0.00
0.00
0.00
0.22
0.24
0.53
0.90
0.95
0.53
0.54
0.25
0.27
0.21
0.08
0.10
0.22
0.02
0.08
0.03
0.00
0.01
0.00
<.0001

0.00
0.26
0.16
0.13
0.13
0.06
0.05
0.05
0.05
0.04
0.03
0.01
0.00
0.00
0.01
0.02
0.02
0.02
0.03
0.03
0.03
0.03
0.04
0.04
0.04
0.04
0.05
0.08
0.08

1.78
0.22
0.07
0.08
0.11
0.03
0.02
0.02
0.02
0.04
0.03
0.03
0.09
0.04
0.06
0.11
0.08
0.08
0.09
0.06
0.08
0.12
0.09
0.11
0.09
0.06
0.12
0.17
0.13

* Generalista (Primaria), SC = Segundo Ciclo (Secundaria) EM = Enseanza Media (Bachillerato).


** Para la variable nivel-asignatura se utiliza la codificacin del efecto (Effect Coding) que entiende los betas como las distancias
al intercepto, en vez de las distancias a una categora de referencia especfica.
**** R2 = 0.13; F( 27,5495 ) = 31.00; p < 0.0001

Grfico 4 Medias marginales estimadas para asignatura o modalidad

Grfico 5Medias Marginales Estimadas Puntaje Portafolio Comparable 2013,


segun Participacin en PSP (Solo Bsicos)

CONCLUSIONES

10

Al considerar el puntaje de Portafolio elaborado con los indicadores comparables y restringiendo la muestra a una cohorte reevaluada al cabo de cuatro aos, corregida por los correctores ms consistentes, puede concluirse que el progreso
de los docentes es al menos moderado. El ao 2013 se realiz un informe tcnico para la cohorte 2007-2011 de docentes
re-evaluados muy similar al presentado en este documento (Zapata & Herrada). Los resultados para esa cohorte eran modestos, pero tambin positivos. Tomando una cohorte posterior, como es la de este estudio, se observan mayores ganancias. En base a esta evidencia es posible que la Evaluacin Docente, con 11 aos de trabajo, est dando cuenta de mejoras.
Este progreso se puede explicar, entre otros factores, por la evolucin en la implementacin, la cobertura y la investigacin que ha tenido la evaluacin, que, finalmente, han logrado cada vez mayor acceso a los docentes (Manzi, Gonzlez
& Sun, 2011). Un ejemplo de esto, pudiera ser la dimensin de interaccin pedaggica. Inicialmente esta dimensin tena
los resultados ms bajos, pero ha tenido una evolucin progresiva en los ltimos cuatro aos, en que los docentes que
se evalan considerar esta dimensin como un aspecto de su desempeo a desarrollar. Lo mismo sucede en el caso de la
estructura de la clase. De esta manera se observa que la evaluacin docente estara cumpliendo con el objetivo de detectar
fortalezas y debilidades y como stas van evolucionando a travs del tiempo.
Otra hiptesis para un aumento en los puntajes es el aumento de las consecuencias de la evaluacin, para salir del
sistema, con la entrada en vigencia de la ley 20.501, el ao 2011. Esta ley baja la cantidad de Insatisfactorios consecutivos
de 3 a 2 y ahora considera los 3 Bsicos consecutivos como causal de abandono del sistema pblico de educacin. Dado
que el portafolio tiene gran ponderacin dentro del puntaje final, puede pensarse que los docentes realizan con mayor
dedicacin esta evaluacin.
En cuanto a los factores, elegidos llama la atencin que los que tienen mayor tasa de cambio, son los sectores en que
las pruebas estandarizadas tienen mayor presencia, como el Simce. Son asignaturas que tienen mayor atencin y quizs
eso se ve reflejado tambin con la evaluacin.
En lo formativo, la falta de efecto de los PSP puede explicarse por varias razones expuestas por Corts, Taut, Santelices
& Lagos (2011). Entre las que se sealan est la falta de integracin de la capacitacin a la jornada laboral del docente,
el formato expositivo en la mayora de ellas, su duracin no sostenida en el tiempo y por el lado de los docentes la baja

asistencia a los planes que les fueron asignados. Es necesario prestar atencin a estas distintas cualidades de los PSP y
de los que participan en ellos para estudiarlos con mayor detalle, pero a simple vista no se visualizan efectos como los
observados en la evolucin del portafolio.
Si bien se ha logrado una mayor disposicin de los profesores a la evaluacin quedan desafos por lograr en lo formativo. En base a varios estudios se sabe que los docentes hacen poco uso de los resultados de la evaluacin docente. En esta
lnea, tambin ha colaborado el informe de la OECD (Santiago et al, 2013).
Uno de los aspectos que se est trabajando por mejorar es la labor formativa de la evaluacin docente. Especficamente, se podra ver cambios en la medida que se implementen las modificaciones definitivas al manual del portafolio y a la
entrega de los resultados, adems del mayor involucramiento del docente, el establecimiento y los municipios con esta
evaluacin. En el fondo, como seal Brbara Bruns (2013) la evaluacin docente en Chile ha servido de ejemplo a nivel
internacional, pero ahora es tiempo de implementar un conjunto de innovaciones que apunten a que esta permita y apoye
el desarrollo profesional continuo de los docentes.

BIBLIOGRAFA9
Bruns, B .(2013).La importancia de la evaluacin docente. Seminario: Evaluacin Docente en Chile: Un Enfoque Internacional. [Presentacin Power Point].
Corts, F., Taut, S., Santelices, V. & Lagos, M.J. (2011, Enero). Formacin continua en profesores y la experiencia de los
Planes de Superacin Profesional (PSP) en Chile: Fortalezas y debilidades a la luz de la evidencia internacional Paper
presentado en Sociedad Chilena de Polticas Pblicas, Enero 19, 2011, Santiago, Chile. En:
http://www.sociedadpoliticaspublicas.cl/archivos/BLOQUEM/Docentes_y_Directivos_Escolares/Presentacion%20
Sandy%20Taut%2019%201%2012.pdf
Decreto n 192 (2004). Reglamento sobre Evaluacin Docente. Diario oficial de la Repblica de Chile. Disponible en:
http://www.docentemas.cl/docentes_documentos.php
Ley n 20.501 (2011). Calidad y Equidad de la Educacin. Diario oficial de la Repblica de Chile. Disponible en: http://
www.docentemas.cl/docentes_documentos.php
Manzi, J., Gonzlez, R. & Sun, Y. La Evaluacin Docente en Chile. Centro de Medicin Mide UC, 2011. Santiago, Chile. Disponible en: http://www.mideuc.cl/libroed/
Santiago, P, Benavides, F, Charlotte, D, Goe, L & Nusche D.(2013). Teacher Evaluaction in Chile. Reviews of Evaluation and
Assessment in Education. Organizacin para la Cooperacin y el Desarrollo Econmico, OCDE.
Tran, M. (2013). Robustness Of Two Formulas To Correct Pearson Correlation For Restriction Of Range. Educational Policy
Studies Dissertations. Paper 84.
Zapata, A & Herrada, M. (2013). Mejoras en el desempeo docente de los profesores del sistema municipal (Inf. Tc. N1305).
Santiago, Chile: Pontificia Universidad Catlica de Chile, Centro de Medicin Mide UC.

Agradezco de manera especial el aporte de Mara Rosa Garca (Mide UC) y Alvaro Zapata (Mide UC) por sus valiosos aportes.

11

Mercado laboral de los docentes


de educacin bsica
13 de marzo de 2015

Mercado laboral de los docentes


de educacin bsica
Luis Alberto Degante Mndez
Maestro en Estadstica Aplicada y Demografa, Instituto Nacional para la Evaluacin de la Educacin. Mxico.
ldgante@inee.edu.mx

Fernando Carlos II Rigel Castro Hernndez


Maestro en Demografa, Instituto Nacional para la Evaluacin de la Educacin. Mxico.
fcastro@inee.edu.mx

PALABRAS CLAVE: Docentes. Condiciones Laborales. Mercado laboral. Ingreso. Movilidad. Salarios.
EJE TEMTICO: Modelos y polticas de evaluacin de docentes y de directivos escolares

Resumen

Se analizan las condiciones laborales de los docentes de Educacin Bsica (EB). Se estudian las condiciones de
entrada, los agentes que intervienen en el ingreso a EB y la injerencia de las organizaciones gremiales al interior
del sistema educativo nacional. En un segundo nivel se analizan los factores que influyen en la trayectoria laboral
de los docentes al interior de esta profesin, encontrndose que se cuentan con dos medios; El reglamento de escalafn (RE) y el Programa Nacional de Carrera Magisterial (PNCM). Son mecanismos de mejora salarial, el primero
horizontal y vertical, el segundo exclusivamente horizontal con expectativas a incrementos del sueldo base
del nivel inicial al ltimo de ms de 150%.
Se analizan el salario docente y su posicin relativa respecto al total de la poblacin ocupada y al interior del
grupo de profesionistas para el periodo 1995-2005, utilizando el segundo trimestre de las encuestas de ocupacin
y empleo en Mxico (ENE 1995-2004 y ENOE 2005-2012). Se observa que los docentes representan en promedio el
2.5% de toda la fuerza laboral ocupada en Mxico y 27.6% promedio del grupo de profesionistas durante el periodo
1995-2012. Sin embargo sus niveles salariales son los ms bajos dentro de este grupo.

La profesin docente tiene caractersticas nicas que le dotan de algunas condiciones laborales que no comparte con
otras profesiones. No podra hablarse de un mercado laboral de docentes propiamente debido a que en la determinacin
de estas condiciones no slo contribuyen la oferta y la demanda de puestos de trabajo sino tambin factores institucionales que influyen en las decisiones de formacin, ingreso, salario, permanencia y promocin de los trabajadores de
la educacin. Estos factores institucionales emanan de la actuacin de un tercer agente: la representacin sindical del
magisterio.
Resultado de un proceso histrico, el sindicato de maestros se constituy por s mismo en una fuente de poder poltico
integrado a la estructura gubernamental que ha influido de manera decisiva en el ejercicio de la profesin. Aunque esta
simbiosis no es propia de la representacin magisterial, la influencia de la representacin gremial desde la formacin
inicial de los maestros en escuelas normales creadas y autorizadas por el Estado, su poder decisin en la asignacin de
plazas, hasta la conformacin de comisiones paritarias entre las autoridades educativas y los representantes sindicales
que determinaban la promocin de sus agremiados confluan en una profesin estrechamente ligada al presupuesto pblico disponible destinado a la educacin y a la interaccin de intereses entre el propio Estado y el sindicado de maestros.
La introduccin del Servicio Profesional Docente (SPD) introduce nuevas reglas de ingreso, promocin, evaluacin y
permanencia del servicio docente que modificar estas relaciones institucionales e impulsaran nuevos mecanismos de
interaccin entre las autoridades educativas y el magisterio (Ley del SPD, 2013). Estas transformaciones podran derivar
en la configuracin de un mercado de trabajo de docentes, inexistente en nuestro pas hasta ahora, que configure un un
panorama profesional ms prximo al que se observa en otras profesiones.
Las condiciones laborales aqu expuestas corresponden a la situacin actual de la profesin docente donde el impacto
de la Ley de SPD todava no se ve reflejado an por su reciente creacin, sin embargo, el anlisis no pierde validez ya
que corresponde al punto de partido sobre el cual la LSPD busca mejorar y pondr en accin las nuevas disposiciones en
materia educativa y que delineaban un ambiente profesional que no corresponde con los cnones de un mercado laboral.
En este trabajo se describen tres aspectos fundamentales de la profesin docente: ingreso, promocin y salarios. En
un mercado laboral tradicional estos aspectos estn delineados, en mayor o menor medida, por las fuerza de oferta y
demanda de trabajo. Sin embargo, como se describe a continuacin, este no corresponde al caso de la profesin docente
donde los factores institucionales son la fuerza que configura la profesin docente.

LOS DOCENTES Y EL MERCADO LABORAL

Se denomina mercado laboral al conjunto de relaciones que conforman las personas que, en un momento dado, desean
trabajar (oferta de trabajo) y las empresas o instituciones que requieren de este factor productivo para realizar sus actividades (demanda de trabajo) (Sabino, 1991). La interaccin entre oferta y demanda de trabajo determina los niveles
salariales y frecuentemente el Estado funge como agente regulador a travs del derecho laboral y emitiendo leyes que
garanticen las condiciones mnimas de estabilidad laboral.
La definicin tradicional de mercado laboral expuesta arriba no encaja en las caractersticas que posee el conjunto de
relaciones que modelan las condiciones en las que los docentes desarrollan su profesin. En primer lugar, esta definicin
supone que los que intervienen en el mercado poseen informacin simtrica, es decir, todo mundo conoce los mecanismos de entrada y tiene acceso a ellos sin restricciones. En cambio, en el acceso a la profesin docente existen condiciones
preestablecidas que parten de un aparato normativo que regula las condiciones de ingreso y que lo acercan ms a la definicin de un mercado interno de trabajo con puertos de entrada y que promueven la reproduccin interna de la profesin
(Rondero, 2002). En segundo lugar, al contrario de otras profesiones, el trabajo de un docente es imposible de medir en
trminos de productividad por lo que los mecanismos de compensacin y promocin difcilmente pueden ser vinculados
al resultado o producto de su trabajo, es decir no pueden estar supeditados a los resultados obtenidos por los alumnos.
En cambio, los procesos de ingreso, promocin y permanencia as como la consolidacin de una carrera profesional estn
sometidos al ingreso de programas de movilidad vertical (escalafonaria) y horizontal (carrera magisterial) definidos entre la autoridad educativa, el empleador, y la representacin sindical (mediante las comisiones paritarias). (Ortiz; 2003;
Santibaez y Martnez, 2010)

Por ltimo, la definicin tradicional de mercado laboral supone una flexibilidad de los salarios que se definen mediante mecanismos de equilibrio entre la oferta y demanda de empleo. Esta condicin raramente se cumple en cualquier
mercado de trabajo (de profesionistas calificados o no) ya que existen instituciones dentro del mercado laboral que
definen reglas y prcticas de proteccin salarial (contratos colectivos, salario mnimo) (ILO, XXXX) pero en el caso de los
docentes la definicin de una poltica salarial diferencia esta caracterstica laboral del resto de los profesionistas; estn
directamente regulada por el Estado y son el resultado de una confluencia del sindicado y las autoridades en una negociacin bilateral (Rondero, 2002) (Arnaud, 2003).
Actualmente, alrededor de 83% del total de docentes en educacin obligatoria fueron contratados por una autoridad
estatal o por la federacin y por tanto se encuentran sujetos a las disposiciones que sobre su contratacin, permanencia y
promocin dicta el Reglamento de las Condiciones de Trabajo del Personal de la SEP, inspirada a su vez en la Ley General
de trabajadores al Servicio del Estado.
El magisterio representa una fuerza laboral de dimensiones importantes en nuestro pas. En 2012, los docentes de
preescolar, primaria y secundaria representaron 2.5% de toda la poblacin ocupada, que sumados a los docentes de
educacin media superior y otro personal de apoyo pedaggico, representan alrededor de 3.5% del total de la PEA, segn
datos estimados con el segundo trimestre de la Encuesta Nacional de Ocupacin y Empleo (ENOE).

Dentro del grupo de profesionistas su proporcin se ha mantenido ms o menos constante con ms de un cuarto del
total- desde 1995, cuando los maestros representaron poco ms de 28% del total de profesionistas ocupados. De 1995
a 2012 el nmero de docentes en EB se increment 60%, aunque su crecimiento no fue tan marcado como el de otras
profesiones como los ingenieros, arquitectos y afines as como los profesionales en ciencias sociales que duplicaron y
triplicaron su nmero en el mismo periodo, respectivamente.

Aunque la participacin porcentual de los docentes en Mxico, respecto al total de la poblacin ocupada en el pas, se
ha mantenido ms o menos constante, la estructura y composicin entre niveles escolares cambi de acuerdo al ritmo del
cambio en la composicin de la poblacin en edades escolares. Donde la matrcula de estudiantes en primaria disminuy producto de la dinmica demogrfica, por lo tanto, la proporcin de los docentes que ensean en este nivel tambin
declin (Llamas, XXXX). Mientras tanto, la estructura en secundarias se mantuvo estable, resultado de un incremento en
la demanda por educacin en este nivel y con el esperado aumento en la matrcula de alumnos en educacin media superior producto de la obligatoriedad de este nivel la composicin del magisterio por nivel educativa tender a cambiar
en prximos aos.

En 2013, 92% de los docentes en educacin bsica cuentan con un nivel de educacin superior, normal o posgrado,
aunque vara segn el nivel educativo; en primaria es 96%, en preescolar 91% y en secundaria 88%. Por otro lado, slo
alrededor de 7% de los maestros de bsica tienen un nivel educativo inferior a la licenciatura (o equivalente), la mayor
parte de stos con estudios de educacin media superior. As, al comparar la situacin laboral de los docentes en todas sus
aristas (salarios, prestaciones, horarios, etc.) es justo y conveniente hacerlo con otros profesionales con el mismo nivel
educativo, cuya naturaleza del trabajo que realizan requiere de una preparacin a nivel superior.

INGRESO A LA PROFESIN DOCENTE

Actualmente es la ley del Servicio Profesional Docente (SPD) la que ofrece las disposiciones y lineamientos para el ingreso a la profesin en educacin Bsica y Media Superior. Esta ley limita las relaciones institucionales entre el sindicato y

las autoridades que pudieran influir en el proceso de ingreso, promocin o escalafn vertical con la desaparicin de las
comisiones paritarias en favor de exmenes, evaluaciones y la determinacin de condiciones idneas para ser maestro.
El panorama laboral al que ingresan los maestros luego de su formacin inicial est dominado por el Estado. En el
ciclo escolar 2013-2014, alrededor de 83% del total de docentes en educacin obligatoria1 fueron contratados por una
autoridad estatal o por la federacin y por tanto se encuentran sujetos a las disposiciones que sobre su contratacin,
permanencia y promocin dicta el Reglamento de las Condiciones de Trabajo del Personal de la SEP, inspirada a su vez en
la Ley General de trabajadores al Servicio del Estado. Esto implica su inclusin en el cuerpo de funcionarios y empleados
del Estado, con condiciones de servicio muy diferentes a las que predominan en el mercado laboral y que propicia una
fuerte identidad profesional, donde el despido slo tiene lugar en circunstancias excepcionales y la nocin de puesto de
por vida cobra gran firmeza (Eurydice, 2003, 2004). Por otro lado, los docentes de escuelas privadas, en su condicin de
empleados en unidades econmicas particulares, son contratados bajo las disposiciones de la legislacin laboral aplicable
a todos los dems profesionistas fuera del sector pblico.
La ley del SPD ha venido a substituir las diferentes vas de ingreso, no siempre normadas, a travs de las cuales los
aspirantes a maestros han tenido que acudir para ingresar al servicio docente en las escuelas pblicas. Adems ofrece
mecanismos para evitar la asignacin directa o discrecional de plazas, aunque en algunos estados se contempla la posibilidad de favorecer el ingreso de los egresados normalistas frente a los egresados de otras instituciones de educacin
superior siempre y cuando cumplan con las condiciones de idoneidad establecidas por el INEE, durante un periodo de
por lo menos dos aos (por ejemplo Oaxaca, Nayarit o Zacatecas).
Como se mencion anteriormente, en un mercado laboral tradicional, las fuerzas de la oferta y demanda influyen total
o parcialmente en la contratacin de trabajadores. En el caso de la profesin docente, exista una relacin con el sindicalismo que actuaba como una unidad organizativa interna, ms all de las fuerzas de mercado, producto de una estructura
de relaciones entre trabajadores y el Estado empleador que intervena directamente en los procesos de promocin y
contratacin del personal. Este tipo de relaciones laborales son producto de un proceso histrico en el que la presencia
del sindicato y la intervencin del Estado ha sido relevante, as como otros factores de tipo cultural (Rondero, 2002).
El peso de los docentes en el panorama profesional mexicano fue creciendo gradualmente. En los principios de la
profesin docente en Mxico, el Sistema Educativo Nacional era casi inexistente por lo que el ser maestro se consideraba
como una profesin de particulares. La expansin del sector educativo hizo inevitable la intervencin directa de Estado
en el desarrollo profesional de los docentes. Ya en 1930 el peso de los maestros contratados por el gobierno federal era
tal, que se constituan en una fuente de poder poltico, lo que provoc los primeros intentos de organizarlos e involucrarlos directamente en los cuerpos de decisin gubernamental hasta constituirlos no slo en empleados o funcionarios
pblicos, en el sentido tradicional del concepto, sino en una profesin de Estado (Arnaut, 2004).
En un mercado laboral tradicional, la regulacin o intervencin estatal dependen de las condiciones econmicas generales y est directamente influida por las fuerzas econmicas (Sabino, 1991). En la profesin docente el Estado ha
tenido una participacin directa en la formacin de la fuerza laboral que nutre a las escuelas. El Estado foment el establecimiento de las escuelas normales destinadas a formar maestros y autorizar el ejercicio de la docencia al igual que las
subsecuentes reformas a los antecedentes escolares para ingresar a la formacin docente. En otro momento, la transformacin de la formacin de los docentes equivalente a la educacin superior (a partir de 1984) actu como un mecanismo
de contencin ante el freno de la expansin de los servicios educativos, principalmente en primaria, debido a la transicin
demogrfica que sufra el pas y a la crisis econmica que asolaba a la economa nacional.
Antes de los 80, con el SEN en expansin, el contar con la formacin docente garantizaba en gran medida el acceso a
la profesin; el Estado formaba a los docentes, y tambin los contrataba. Sin embargo, esta correspondencia estaba mediada por la accin del sindicato magisterial mediante las comisiones paritarias que dictaminan la asignacin de plazas
de nueva creacin. Esta circunstancia producto de la centralizacin, poltica y administrativa del magisterio por parte
de los gobiernos post revolucionarios que consolidaron al magisterio como una profesin de Estado y que trajo como
consecuencia que el destino laboral de los maestros est fuertemente ligado al papel desempeado por el sindicado en la
administracin de la educacin pblica (Arnaud, XXXX).
Las escuelas pblicas emplean a 87% del total de docentes de educacin bsica y a 66% de todos los docentes en Educacin Media Superior.

Fue hasta 2002, cuando se propuso una reforma que implement un examen de ingreso al servicio docente y los concursos de oposicin para la designacin de directores, supervisores y jefes de sector, pactados con la representacin sindical en Compromiso Social por la Calidad de la Educacin. La SEP llev a cabo un estudio en 2003 para conocer con mayor
precisin las experiencias de once de las 13 entidades que utilizaban, en ese momento, algn mecanismo de seleccin. Estos mecanismo estaban encaminados a resolver algunas problemticas que se presentaban en la designacin de plazas En
2004 se busc implementar una poltica nacional de ingreso mediante concursos de oposicin. Finalmente, la Alianza por
la Calidad de la educacin (2008) plante el ingreso y promocin de todas las nuevas plazas y todas las vacantes definitivas
por la va de concurso nacional pblico de oposicin convocado y dictaminado de manera independiente. Sin embargo no
se establecen mecanismos ni leyes por lo que realmente nunca se ejecutaron de manera cabal. De esta forma, es hasta la
implementacin del SPD con las reformas a la Ley General de Educacin y al artculo 3ro de la CPEUM que plantean lineamientos y disposiciones para el ingreso equitativo de todos los aspirantes a maestros de educacin obligatoria.

PROMOCIN Y MOVILIDAD EN LA PROFESIN DOCENTE


Las relaciones de trabajo entre el magisterio y el Estado son ms inflexibles que en el resto de las profesiones presentes
en la administracin federal, y an ms comparadas con el sector privado (Arnaut XXXX). La rigidez es derivada del marco
jurdico especial que rige las relaciones de los maestros con su empleador, el Estado2, y que genera una situacin nica
no presente en los mercados de trabajo: las plazas puestos de trabajo son propiedad de quien las ejerce y no de quien
paga el servicio ni quien las crea. En estas condiciones, el sindicado es el mediador en la negociacin de las condiciones
laborales del docente, y an ms, en las reformas a los planes de estudio de los maestros en formacin y en el desarrollo
de su evolucin profesional.
Esta relacin laboral sui generis provoca una inmovilidad del puesto de trabajo de un docente de base que no se
encuentra en otras profesiones dadas las pocas causas que provocan su cese o suspensin3, siempre mediada por la
intervencin del sindicato. Entre estas causas se encuentra la comisin de delitos, el abandono definitivo del empleo
y el no desempear sus labores con la intensidad, cuidado y esmero apropiados, sujetndose a la direccin de sus jefes
y a las leyes y reglamentos respectivos, situaciones que proceden con la conformidad del sindicato magisterial previa
notificacin de la SEP.
En trminos generales, la normatividad que regula la movilidad de los docentes de los centros escolares pblicos que
brindan los niveles educativos obligatorios se ha regido por el reglamento de escalafn para el personal de la SEP y, en el
caso de los docentes de educacin bsica, tambin por el programa de carrera magisterial.
Desde la emisin de la ley original de Escalafn del Magisterio, de Portes Gil, se contempl la constitucin de un comit el Consejo de Educacin Primaria que determinara y atendiera la clasificacin de los docentes; originalmente de 10
miembros, lleg a ser dominada por la representacin gremial del magisterio (Arnaud, XXXX). Hasta 2013, el rgano de
decisin para la asignacin de plazas y promociones era una comisin (la Comisin Nacional Mixta de Escalafn) que se
integraba con dos representantes de la Secretara de Educacin Pblica y con dos representantes del Sindicato Nacional
de Trabajadores de la Educacin, quienes designaban de comn acuerdo a un quinto miembro que tena el carcter de
Presidente Arbitro. Esta
El tipo de promocin laboral especificada en reglamento de escalafn de la SEP es conocida como el Escalafn Tradicional o Escalafn Vertical (Ortiz, 2003). Sin embargo, no slo se encarga de promociones verticales que conlleven el
cambio de una funcin a otra, tambin se encarga de promover permutas a otras plazas que solo conllevan un cambio
a otra del mismo nivel con diferente nivel salarial o la asignacin de plazas adicionales. Las promociones por medio de
dictamen escalafonario, que se someten a concurso entre los trabajadores de base, significan un ascenso de una categora
inferior a una categora superior o de un determinado nivel de sueldo a uno superior y slo son posibles cuando se crean
nuevas plazas o se liberan las ya existentes por renuncia, jubilacin, por cese o por defuncin.
Subscritas en la ley y reglamento anteriormente mencionados.
Artculo 58 del Reglamento de las Condiciones Generales de Trabajo del Personal de la Secretaria de Educacin Pblica (1946) y artculo 44 de la Ley
General de trabajadores al Servicio del Estado (ltima modificacin en 2012).

2
3

El reglamento de escalafn ve como sujetos de ascenso a todos los trabajadores de base con un mnimo de seis meses
en la plaza inicial. Para dictaminar las promociones se toman en cuenta cinco criterios de calificacin: Conocimiento,
Aptitud, Disciplina, Puntualidad y Antigedad, cada uno con un peso especfico4.
Por otro lado, el Programa Nacional de Carrera Magisterial (CM) surge del Acuerdo Nacional para la Modernizacin de
la Educacin Bsica. En contraste con el sistema tradicional de escalafn, es un sistema de promocin netamente horizontal cuyos participantes pueden obtener incrementos salariales sobre el salario base, sin cambiar de categora o funcin.
Est dirigido a todos los que realicen funciones de docente frente a grupo, director o actividades tcnico-pedaggicas.
CM cuenta con reglas emitidas por una comisin nacional SEP-SNTE, similar al sistema de escalafn. Los trabajadores
sujetos al programa deben contar con las siguientes caractersticas: Ser maestro de educacin bsica. Tener categora
reconocida el catlogo de categoras susceptibles de incorporacin o promocin en el programa. Cumplir con la antigedad en el servicio docente, conforme al grado mximo de estudios. Cumplir con el grado acadmico requerido para su
funcin en el nivel y/o modalidad de participacin. Contar con el nmero de horas de plaza inicial y tener nombramiento
en cdigo 10 (alta definitiva o plaza de base) o cdigo 95 sin titular (interinato indefinido).
Los mecanismos de promocin de Carrera Magisterial favorecen el arraigo del maestro en el nivel educativo donde se
desempea y su permanencia en la profesin docente. Antes de la implementacin de este programa los maestros buscaban, de manera constante, la movilidad a los niveles educativos con mayores percepciones salariales; ahora, la tendencia es
que los maestros incorporados al programa permanezcan en el nivel educativo donde iniciaron su labor docente y obtengan promociones dentro del mismo (Deceano, XXXX). Este mecanismo no es coincidente con los existentes en otros mercados de trabajo, donde las promociones estn sujetas a una evaluacin del desempeo que condiciona la permanencia.
En las relaciones laborales de los mercados internos la normatividad y la formacin de estas estructuras organizativas
privilegian la reproduccin interna, la formacin de sus miembros y la permanencia de los trabajadores calificados en la
institucin.
En ambos tipos de movilidad salarial, las decisiones de promocin recaen en comisiones mixtas SEP-SNTE. En ambos
casos se da preferencia por antigedad, grado acadmico, preparacin profesional y actualizacin docente. En CM se
requiere una estancia mnima de ao en cada nivel para poder saltar a otro, en una promocin escalafonaria se requiere
una plaza vacante, ya sea por nueva creacin o por jubilacin del personal que las ocupa. Otra diferencia es que en CM la
promocin implica cambios en el sueldo no en la categora o plaza, en cambio, el escalafn tradicional, implica un cambio
de plaza o la obtencin de otra adicional. De esta forma, el escalafn tradicional est sujeto a la disponibilidad de nuevas
plazas mientras que CM est sujeto a condiciones presupuestales y, en teora, si el individuo cumple con las calificaciones
necesarias para pasar de un nivel a otro, dicho cambio se debe de otorgar.

La movilidad laboral, ya sea por escalafn o por carrera magisterial, significa una mejora en el salario que perciben los docentes. Como se mencion, una promocin puede significar un cambio en la categora de personal o un cambio
en el nivel de sueldo. Existen diferentes claves de categora de acuerdo con la funcin que realiza el personal: apoyo a la
labor educativa (prefectos, laboratoristas, ayudantes), administrativo (personal de apoyo administrativo y de servicio),
docente (Personal frente a grupo y funciones pedaggicas) y directivo (personal docente en funcin de direccin o supervisin educativa). Dentro de las entidades federativas, el abanico de tipos de personal es muy extenso y variado (y
por ende de categoras). Esta variabilidad es producto de un proceso histrico de nivelacin y promocin salarial iniciado
desde la introduccin del escalafn tradicional en los aos 30 y reforzado por la descentralizacin de la educacin bsica
en 1993 con el AMEB. As, el salario de los maestros responde a un sistema normativo y de procedimientos que delimita
la estructura de stos a partir de la estructura jerrquica de puestos y formas de ascenso provocando una gran variedad
de categoras salariales . (Rondero, 2002)
Actualmente el nmero de categoras y niveles salariales de docentes de educacin bsica entre las entidades federativas es diverso. Segn datos del Fondo de Aportaciones a la Educacin Bsica (FAEB, a partir de 2014 FONE) durante
2012 haba en promedio 364 categoras de maestros en el pas, cada una con hasta 8 niveles salariales. La entidad con
el mayor nmero de categoras en funcin docente es San Luis Potos, donde existan 1 348 categoras de maestros que
tienen entre 1 y 15 niveles salarias, seguida de Baja California con 1 248 categoras y entre 1 y 2 niveles salariales. La
entidad con menos categoras fue Baja California Sur (59).
Ttulo V De los Factores Escalafonarios del Reglamento de Escalafn.

Nmero de categoras de trabajadores de la educacin, segn funcin y tipo de contratacin


Docente (Personal frente a grupo y funciones pedaggicas)
ENTIDAD
Total
Nombre

Tipo de contratacin
(categoras)

Niveles de sueldo
(valores)

Jornada

H/S/M

Mn.

Mx.

Aguascalientes

228

150

78

Baja California

1248

935

313

59

31

28

Campeche

289

213

76

Coahuila

289

207

82

Colima

139

87

52

Chiapas

271

190

81

Chihuahua

142

90

52

Distrito Federal

367

318

49

Durango

378

260

118

Guanajuato

112

70

42

Guerrero

227

174

53

Hidalgo

139

86

53

Jalisco

164

122

42

Mxico

109

67

42

Michoacn

140

95

45

Morelos

124

84

40

Baja California Sur

Nayarit

96

64

32

1250

1058

192

Oaxaca

225

158

67

Puebla

226

162

64

Nuevo Len

Quertaro

80

51

29

1275

1073

202

San Luis Potos

1348

963

385

15

Sinaloa

1201

835

366

15

Quintana Roo

Sonora1

Tabasco

85

52

33

Tamaulipas

134

102

32

Tlaxcala

122

122

Veracruz

794

794

Yucatn

269

232

37

Zacatecas

110

110

SALARIO DE LOS DOCENTES RELATIVO A OTRAS PROFESIONES

La definicin de los salarios en el entorno laboral de los docentes no se realiza a travs de la relacin de oferta y demanda
propia de los mercados de trabajo tradicionales. Es producto de una negociacin entre los representantes gremiales del magisterio y las autoridades educativas. Aunque esta prctica no es propia de los docentes, el peso que stos tienen en la fuerza
laboral les permite alcanzar acuerdos que les permitan obtener salarios reales por encima del incremento en los precios.

En general, el poder adquisitivo de la poblacin ocupada ha crecido de manera magra entre 1998 y 2012. Se observa
un periodo de crecimiento entre 1998 y 2006 y otro de prdida en entre 2006 y 2012. De entre los grandes grupos de
ocupacin, los docentes no se vieron tan afectados por la cada en los salarios reales en este segundo periodo como sus
pares profesionistas u otros grupos de la poblacin trabajadora no calificada. As, los docentes de educacin bsica vieron
aumentado su salario real en 0.7% anualmente entre 1998 y 2012. As, el monto real de los salarios netos de los docentes
no se ha visto mermado por la inflacin durante el periodo de observacin.
La estacionalidad salarial, en el mejor de los casos, no es ajena al resto de las profesiones. Aunque se observaba un
repunte importante en el periodo 1998-2005 para los ingenieros y afines, a partir de 2006 comenz un desplome en el
salario real de todos los profesionistas hasta alcanzar niveles similares a los de 1998. As, los profesionales de la salud,
los ingenieros y tcnicos afines y los profesionales de las ciencias exactas tuvieron un crecimiento negativo en el salario
real cercano al 1% al ao. Los profesionales en ciencias sociales y economistas, administradores y contadores percibieron
apenas un crecimiento real de 0.1% anual. Esta situacin pone de relieve la capacidad del magisterio, como un conjunto
organizado de profesionistas, de negociar a travs de su sindicato con las autoridades gubernamentales incrementos
salariales nominales que les permitan sortear el alza de los precios. El resto de los profesionistas, con un importante porcentaje de empleados por su cuenta, no tiene la capacidad como gremio de incidir en el ajuste de sus salarios.
La variedad de salarios ofrecidos a los docentes ha evolucionado a la par de la evolucin de la profesin. Desde la diferenciacin de salarios entre los maestros requeridos para masificar la educacin y los profesores urbanos en los aos 30,
hasta la gran variedad de categoras de docentes y niveles salariales derivados de carrera magisterial y el sistema escalafonario tradicional. En teora, esta variabilidad debiera estimular un sistema de reconocimiento y estmulo profesional
que ayude a elevar las expectativas de desarrollo de los docentes en el sistema educativo y de los potenciales candidatos
a entrar a l. Sin embargo, los sistemas de evaluacin y escalafn pasaron de ser sistemas de reconocimiento y estmulo
profesional a formar parte de un sistema de premios y castigos administrativo-sindicales.
Lo anterior expuesto ha originado que la profesin docente se halla desvalorizado, perdido estatus social y los sistemas de escalafn cuyo objetivo es promover al docente sean insuficientes para lograr niveles salariales competitivos a
otras profesiones (Santibaez, 2002; Santibez y Martinez, 2010; Llamas y garro, 2006; Arnaut, 2004; Ortiz, 2003) ya
sea por las barreras que impone el mecanismo poco transparente de escalafn tradicional o en el caso de CM por la imposibilidad de muchos profesores para cumplir con los requisitos para pasar de un nivel a otro. Al mismo tiempo, la oferta de
salarios competitivos est sujeta a factores presupuestales, es decir, a la planeacin, poltica y restriccin presupuestaria
del estado, y no precisamente a la dinmica propia del sistema educativo, De esta manera una mayor cobertura en educacin sujeta a restricciones puede generar la oferta de salarios bajos (Llamas y Garro, 2006.
El nivel salarial relativo del magisterio junto con las oportunidades de incentivos adicionales, estn o no remunerados, juega un papel fundamental a la hora de determinar el atractivo de la profesin (Eurydice, 2004). Frente a la gran
cantidad de opciones profesionales, es primordial que el sistema educativo incentive la llegada de jvenes preparados
para las cuales el magisterio sea una opcin viable de desarrollo profesional a largo plazo y no una opcin secundaria
o temporal.
Al contrario de los salarios estimados en la seccin anterior, los montos aqu mostrados fueron calculados con la
ENOE-ENE y por tanto no son coincidentes en montos absolutos5, pero en trminos de comparacin con otras profesiones
son una estimacin precisa de la situacin salarial relativa del magisterio a nivel nacional.
Comparado con el del total de la poblacin ocupada, el salario de los docentes y trabajadores de la educacin es, en
promedio, el tercer ms alto entre los grandes grupos de ocupaciones y as se ha mantenido desde 1998 (lnea negra
continua: profesores educacin bsica y lnea azul cielo quebrada: profesores de EMS y otros trabajadores de la educacin). En esta comparacin, el total de profesionistas y tcnicos calificados est agrupado en el grupo Otros profesionistas y tcnicos.
La desigualdad en los ingresos por salarios, tomando en cuenta el total de la poblacin ocupada, es grande. El coeficiente de Gini estimado es de 0.405 en 2012; ligeramente inferior al ndice por ingreso per cpita estimado en la poblacin
El salario que se registra en las encuestas de empleo refleja el monto monetario que efectivamente recibe el trabajador, es decir, el dinero que recibe
en cada periodo de pago descontando impuestos y otras deducciones. Aunado a esto, el salario estimado en la seccin anterior incorpora otras
percepciones como la bonificacin por aguinaldo o prestaciones sociales que, dado el periodo de referencia con la que se estimaron los salarios
en la ENOE-ENE (II trimestre de cada ao mostrado) no es posible registrar.

10

mexicana (0.47) para el mismo ao. Alrededor de 82% de la poblacin trabajadora gana menos que el promedio de un
docente de EB, 26% gana la mitad y slo 9%, aproximadamente, gana en promedio un salario mayor.
La profesin docente parece ms estable en cuanto a nivel salarial respecto a otras ocupaciones e incluso con
salarios relativamente ms altos que los de la mayora de la poblacin ocupada. Sin embargo se encuentra en los niveles
salariales en el nivel ms bajo dentro del grupo de profesionistas con educacin superior6.
La profesin docente requiere de una preparacin, conocimiento y habilidades similares al de ocupaciones que requieren educacin universitaria por lo que es justo comparar su situacin salarial con el de sus pares profesionistas y
tcnicos calificados. As, en 2012 el salario real de los maestros de EB fue aproximadamente 22% menor que el salario
promedio un profesionista con educacin superior, fue de hecho el ms bajo de entre todos los ocupados. La desventaja
relativa salarial de los maestros se mantiene a lo largo de todo el periodo de estudio aqu presentado (1998-2012).
Los salarios ms altos corresponden a ingenieros, arquitectos y tcnicos afines, seguido del de los profesionales de
la salud y de las ciencias sociales, de los economistas y administradores y de los profesionales en ciencias exactas. Estas
posiciones cambian a lo largo del tiempo de observacin, sin embargo el salario relativamente ms alto de los primeros y
el salario relativamente ms bajo de los maestros es constante.
Al igual que el promedio salarial del total de la poblacin ocupada, el salario real de los profesionistas con educacin
superior decreci entre 2006 y 2012; el menos afectado fue el salario de los docentes de EB, que slo decreci 1.5%
anualmente, frente al 4% que disminuy el salario del resto de sus pares profesionistas.

Desglosado segn nivel educativo preescolar, primaria y secundaria el salario de los docentes sigue una tendencia
similar al del promedio de EB; sin embargo, hay grandes diferencias: el nivel salarial de los docentes de preescolar es
notablemente inferior al promedio (aproximadamente 18% inferior), el salario de los profesores de secundaria es 17%
superior y el de los de primaria que representa el mayor volumen de docentes es similar al promedio de EB. A pesar de
esto, el poder adquisitivo del salario de los maestros de preescolar y de primaria ha aumentado ligeramente ms que el
de los de secundaria, que ha crecido en promedio 0.3% al ao, frente a 0.8% de los primeros entre 1996 y 2012.
Concentrados en el grupo Otros Profesionistas y Tcnicos.

11

Sin embargo, ese atractivo se diluye a lo largo de la vida profesional. Las oportunidades de ascenso y mejora salarial
del magisterio no permiten grandes cambios en su ingreso a menos que se acceda a los ltimos niveles de carrera magisterial (que como se vio anteriormente, el porcentaje de los que llegan a este nivel es mnimo) o se obtenga un puesto en lo
alto del escalafn salarial, por lo que a mayor edad el atractivo salarial de ser un docente se debilita. La grfica siguiente
ahonda en lo expuesto anteriormente. Muestra el salario promedio de un maestro Bsica relativo al de los profesionistas
con Educacin Superior relativo. En los menores de 24 aos el salario es estadsticamente igual pero va disminuyendo en
los siguientes grupos de edad. As, se aprecia que entre los 25 y 54 aos el salario de un docente pierde poder de comparabilidad con el resto de los profesionistas.

12

CONCLUSIONES
El mercado laboral de los docentes no comparte las mismas caractersticas a un mercado de trabajo tradicional. En el caso
de los docentes existe un tercer agente que interviene en el proceso de ingreso, promocin, permanencia y en la asignacin de los niveles salariales a travs de comisiones mixtas con la autoridad establecida en los principales reglamentos y
estatutos de la SEP. Esta situacin se intent corregir en repetidas ocasiones desde 2002, sin embrago no fue hasta 2013
con la introduccin de la LSPD cuando se establecen mecanismos pblicos, transparentes, abiertos y con normas claras
para la entrada al mercado laboral docente.
La dinmica del mercado de trabajo docente y la descentralizacin de la educacin en 1993 creo un abanico extenso
de categoras y plazas que hicieron difcil la promocin a otras categoras en el sistema escalafonario. Respecto al peso de
los docentes en la fuerza laboral constituyen un peso importante en la poblacin ocupada, representando un promedio
del 3% durante el periodo de estudio y 25% del grupo de profesionistas.
Este importante peso dentro de la fuerza laboral ha tenido efectos positivos en el nivel de ingresos. Las representaciones gremiales han logrado negociar incrementos salariales que compensan la inflacin durante el periodo de estudio,
sin embargo el nivel salarial es el ms bajo al compararse con otras profesiones, por lo que pertenecer a esta profesin
implica un contrato con seguridad laboral, contrato permanente, prestaciones, compensacin de la inflacin entre otras
cosas. Pero por otro lado, implica trayectorias laboral y de ingreso plana, es decir, poca movilidad a lo largo de la vida
productiva de los docentes.

LISTA DE REFERENCIAS
Arnaut, A. (2004). El sistema de formacin de maestros en Mxico. Continuidad, reforma y cambio. Ciudad de Mxico: SEP,
Cuadernos de discusin #17.
Arnaut, A. (2010). Gestin del sistema educativo federalizado, 1992-2010. En A. Arnaut, & S. Giorguli, Los grandes
problemas de Mxico: VII Educacin (pgs. 233-270). Ciudad de Mxico: El Colegio de Mxico.
Botello, J. (2011). Algunos indicadores del mercado de trabajo. Anlisis econmico, XXVI(63), 248-263.
D.O.F. (19 de Mayo de 1992). Acuerdo Nacional para la Modernizacin de la Educacin. Ciudad de Mxico: SEP-SNTE.
EURYDICE. (2003). Condiciones laborales y salario. Comisin Europea, Direccin General de Educacin y Cultura.
Madrid: EURYDICE.
EURYDICE. (2004). El Atractivo de la profesion docente en el siglo XXI. Comisin Europea, Direccion General de educacin
y Cultura. Madrid: EURYDICE.
LGE. (13 de Junio de 1993). Ley General de Educacin. Ciudad de Mexico: DOF.
LGSPD. (19/09/13). Ley General del Servicio Profesional Docente. Ciudad de Mxico: Diario Oficial de la Federacin.
Llamas, I., & Garro, B. (2006). El mercado laboral de los docentes en Mxico. En I. Llamas Huitrn , El mercado en educacin
y la situacin de los docentes. (pgs. 175-233). Ciudad de Mxico:
Ontiveiros, M. (2003). La descentralizacin de la educacin bsica, sus efectos sobre la oferta y la calidad educativa y los
salarios magisteriales. Anlisis Econmico, XVIII(37), 81-95.
Ortiz, M. (2003). Carrera Magisterial: Un proyecto de desarrollo profesional. D.F: SEP; Cuadernos
Santibaez, L. (2 Semestre de 2002). Estn mal pagados los maestros en Mxico? estimado de los salarios relativos
del magisterio. (C. d. Educativos, Ed.) Revista Latinoamericana de Estudios Educativos, XXXII(2), 9-41.
Santibaez, L., & Martnez, F. (2010). La Evaluacin educativa: experiencias, avances y resultados. En A. Arnaut, & S.
Giorguli, Los Grandes problemas de Mxico: VII Educacin (pgs. 125-158). Ciudad de Mxico: El Colegio de Mxico.
SEP. (1973). Reglamento de escalafon de los trabajadores al servicio de la secretaria de educacin pblica. Ciudad de Mxico:
DOF 14 de diciembre de 1973.
Villanueva, S. (2010). Impacto de la descentralizacin de la educacin bsica y normal en Mxico sobre el gasto en nmina
magisterial de los estados, 1999-2004. economa mexicana: Nueva poca, XIX(2), 231-270.
13

Qu saben de matemticas
los docentes chilenos que la ensean?
Evidencia de los sistemas de evaluacin docente en Chile
13 de marzo de 2015

Qu saben de matemticas
los docentes chilenos que la ensean?
Evidencia de los sistemas de evaluacin docente en Chile1
Mara Beatriz Rodrguez Fras*
Psicloga, Magister en Psicologa Educacional, Mide UC, Universidad Catlica de Chile.
mrodriguezf@uc.cl

Ximena Patricia Carreo Campos


Profesora de Estado en Matemtica, Magister en Educacin Matemtica. Mide UC, Universidad Catlica de Chile.
xcarreno@uc.cl
Mara Herminia Ochsenius Alarcn
Psicloga, Magister en Psicologa Educacional, Licenciada en Matemtica. Magster en Ciencias Exactas,
mencin Matemticas, Doctora en Ciencias Exactas, mencin Matemticas, Chile.
hochsen@mat.puc.cl
Carmen Vernica Muoz Correa
Profesora de Estado en Matemtica
cveronicamunoz@gmail.com

PALABRAS CLAVE: Dominio disciplinario, evaluacin docente, enseanza de las matemticas.


EJE TEMTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen

Con el fin de aportar informacin til para focalizar esfuerzos para el mejoramiento de la educacin matemtica
en escuelas chilenas, este estudio explora en la evidencia disponible, recogida por el Ministerio de Educacin en
dos sistemas de evaluacin docente voluntarios: Programas de Asignacin de Excelencia Pedaggica y Asignacin
Variable de Desempeo Individual. Se analiza en profundidad el dominio disciplinario demostrado por profesores
de matemtica en la prueba de conocimientos disciplinarios que rinden para estas evaluaciones entre los aos
2007 y 2011. Mediante un exhaustivo anlisis de los temes que componen este instrumento, se determin su
dificultad esperada en funcin del contenido conceptual y las estrategias necesarias para resolverlos y se confront con la dificultad real que presentaron en su aplicacin para el conjunto de docentes. Este anlisis permiti
una descripcin detallada de fortalezas y debilidades en cada eje del marco curricular, y aun cuando se aprecian
diferencias en los desempeos de docentes de distintos ciclos de enseanza, para la mayora de los ejes se observa
un patrn comn: como fortalezas, destrezas a nivel de operatoria y resolucin de problemas en contextos numricos sencillos; como debilidades, deficiencias en la comprensin profunda de conceptos bsicos, dificultades en
establecer conexiones entre dominios diferentes, en integrar contenidos y en transferir el conocimiento a contextos diferentes.
Los resultados de este estudio sugieren recomendaciones para la formacin inicial y continua de los docentes
de matemtica, y establecen la necesidad de fortalecer la formacin disciplinaria, particularmente la comprensin
conceptual profunda de contenidos elementales de la disciplina.
Este estudio forma parte de uno mayor, financiado por el Fondo de Investigacin y Desarrollo en Educacin (Fonide), del Centro de Estudios
del Ministerio de Educacin de Chile. El estudio completo, denominado Cunto saben de matemtica los docentes que la ensea y cmo se relaciona
este saber con sus prcticas de enseanza? fue dividido en dos secciones que, debido a su extensin, se presentan por separado para Colmee 2015.
La parte complementaria se denomina Cmo se ensean las matemticas en aulas chilenas?, y se presenta en ficha adjunta.

*Autor principal

INTRODUCCIN
La importancia de que los profesores conozcan bien los contenidos que ensean est establecida. El dominio disciplinario del docente se ha vinculado empricamente con los resultados de los estudiantes (Monk, 1994; Frome, Lasater y
Cooney, 2005; (Leinhardt y Smith, 1985; Ball y McDiarmid, 1990; Mullens, Murnane, y Willett, 1996; Darling-Hammond
y Young, 2002; Chambliss, Graeber y Clarke, 2003) y es considerado como un componente central en la definicin de la
calidad docente, lo que se ve ratificado por el hecho de que esta dimensin est presente en una posicin relevante en
los estndares de formacin de profesores (Mineduc 2012; Mineduc 2012) y de desempeo docente de distintos pases,
(Australian Professional Standards for Teachers; Illinois Professional Educator Standards).
Aun cuando se identifican los beneficios de un dominio profundo de los contenidos, estudios de diversa ndole han
establecido que el conocimiento matemtico necesario para la enseanza a nivel escolar, es diferente de aquel requerido
por profesionales de otros mbitos relacionados con la matemtica. (Ball, Hill y Bass, 2005; Ma, 1999; Papick, 2011).
El inters del equipo investigador por centrarse en la enseanza de las matemticas, radica principalmente en los
preocupantes resultados que han obtenido los estudiantes chilenos en pruebas internacionales (Mineduc, 2009) y en las
mediciones de futuros profesores. Tanto la evaluacin diagnstica Inicia como los resultados de la evaluacin internacional de la formacin de profesores bsicos en Matemticas TEDS-M, sealan que el dominio disciplinario en los profesores
en formacin, se encuentra lejos del nivel deseado, (Mineduc, 2012; Babcock, 2010).
El presente estudio se propone recabar informacin respecto del nivel de conocimiento disciplinario de los profesores en ejercicio, identificando fortalezas y debilidades con el fin de identificar aquellos focos donde es necesario invertir
los mayores esfuerzos a nivel de formacin inicial y capacitacin de profesores.

DESARROLLO
Objetivos del estudio
Describir y analizar el dominio disciplinario de los docentes de Educacin Matemtica chilenos, evaluados en los programas Asignacin de Excelencia Pedaggica y Asignacin Variable por Desempeo Individual, identificando fortalezas y
debilidades conceptuales y procedimentales.

Metodologa
Para responder esa interrogante, se analizaron los temes que componan las Pruebas de Conocimientos Disciplinarios
y los resultados obtenidos en ellas, por los profesores de matemtica de Segundo Ciclo (5 a 8) y Educacin Media (9
a 12) postulantes a AEP y AVDI, entre los aos 2007 y 2011. Este grupo corresponde a una muestra de 4652 docentes.

Instrumentos
Prueba de Conocimientos Disciplinarios AEP (PCD): instrumento diseado para evaluar el dominio disciplinario de
los profesores postulantes a la Asignacin de Excelencia Pedaggica; el formato es de lpiz y papel. La prueba para docentes de matemtica, Segundo Ciclo Bsico y Enseanza Media, se compone de tres preguntas de respuesta construida y 40
temes cerrados. Se utiliz para este estudio el resultado obtenido en los temes cerrados.

Las tablas 1 y 2 presentan los ejes temticos que constituyen cada una de las pruebas:
Tabla 1 Ejes y Subejes de la PCD de Matemtica, Segundo Ciclo (5 a 8).
Ejes

Subejes
Nmeros Naturales

Nmeros y Operaciones

Nmeros Enteros
Nmeros Racionales
Proporciones

Nmeros y Aplicaciones

Potencias
Lenguaje Algebraico y Ecuaciones
Tratamiento de la Informacin

Geometra

Figuras y Cuerpos Geomtricos


Permetros, reas y Volmenes

Tabla 2 Ejes y Subejes de la PCD de Matemtica, Educacin Media (9 a 12).


Ejes
Nmeros y Proporcionalidad

Subejes
Nmeros
Proporcionalidad
Lenguaje algebraico

lgebra y funciones

Funciones
Ecuaciones, inecuaciones y sistemas.

Probabilidad y Estadstica

Probabilidad y Estadstica
Transformaciones isomtricas

Geometra

ngulos en la circunferencia y congruencia


Proporcionalidad y semejanza
reas, volmenes y rectas en el espacio

Anlisis
Se llev a cabo el siguiente anlisis:

Se estableci una codificacin de los temes en funcin de dos variables: el tipo de conocimiento (lo que se debe

saber) abordado por el tem y el tipo de estrategia (lo que se debe hacer) involucrada en su resolucin, estableciendo tres niveles. Ver tablas 3 y 4:
Se estableci una tipologa de temes de acuerdo con la clasificacin anterior. (Ver tabla 5). Fue necesario introducir
una categora M+, para establecer algunas distinciones, particularmente, aquellos casos en que la presentacin de
temes haca una diferencia, (por ejemplo, contextos numricos vs no numricos, ausencia de apoyo grfico, etc.).
Se contrast, para cada tem, el nivel de dificultad esperado con el nivel de dificultad emprico, medido por el porcentaje de respuestas correctas obtenido. Esto se hizo, asumiendo que cada tipo de tem podra asociarse a uno
de los niveles de clasificacin utilizados en la construccin de la prueba AEP: dificultad menor, media y alta. Ver
Tabla 6.
4

Tabla 3 Categoras del tipo de conocimiento abordado por el tem


Tipo de conocimiento

Descripcin

Elemental

Conceptos centrales establecidos por el marco curricular


Relaciones bsicas entre conceptos definidos

Medio

Conceptos avanzados en el marco curricular


Relaciones complejas entre conceptos definidos

Alto

Contenidos que exceden el marco curricular

Tabla 4 Categoras del tipo de estrategia involucrada en el tem


Tipo de estrategia

Descripcin

Elemental

Reconocimiento de los conceptos basales


1 o 2 pasos con clculos simples, directos, que no requieren toma de decisiones.
Aplicacin directa de definiciones.
Interpretacin de situaciones sencillas.
3 o + pasos inducidos por el problema.
Clculos numricos ms extensos.
Estrategia sencilla no inducida.

Media

Diseo de estrategia, mtodo para abordarlo- reformular- dividirlo en pasos (no hay pistas obvias).
Varios pasos no inducidos.
Reinterpretacin de datos relacionando con otros saberes

Alta

Tabla 5 Tipologa de clasificacin de temes segn tipo de conocimiento y estrategia


Tipo de conocimiento

Tipo de estrategia

Elemental

Medio

Alto

Elemental

T1

T1

T2

Media

T2

T3

T3

Media+

T3

T3

T4

Alta

T4

T4

T4

Tabla 6Relacin entre tipos de temes y grado de dificultad esperado del tem
segn porcentaje de respuestas correctas.

Clasificacin del tem

Grado de dificultad esperada del tem

T1

Sobre 70% de respuestas correctas

Nivel de dificultad

T2

Entre 60% y 70% de respuestas correctas

T3

Entre 40% y 60% de respuestas correctas

Dificultad media

T4

Menos de 40% de respuestas correctas

Dificultad alta

Dificultad menor

A continuacin, se presenta el anlisis realizado, correspondiente al Eje Nmeros y Operaciones, de Segundo Ciclo:

La tabla 7 presenta el resumen de la totalidad de temes, clasificados por tipo, y de acuerdo al grado de dificultad, promedio de respuestas correctas y distribucin segn dificultad obtenida.
Como se aprecia en la tabla, este eje result difcil para los profesores evaluados con estas pruebas: de los 36 temes
que lo componen, solo 4 resultan de dificultad menor, 14 de dificultad media y 17 de alta dificultad. Ningn tem de tipo 1
result con dificultad menor y, contrariamente a lo esperado, estos resultaron ms complejos que los de tipo 2.

Tabla 7 Dificultad emprica de los temes por Tipo. Eje Nmero y Operaciones _ Segundo Ciclo
Tipo

Rango de grado de dificultad

N de temes
por dificultad emprica

Promedio

N total temes

Menor

Media

Alta

T1

0,14 - 0,56

0,37

11

T2

0,15 - 0,69

0,47

10

T3

0,14 - 0,72

0,39

15

T4

TOTAL

14

17

36

Resultados
Se presentan los resultados del eje Nmeros y Operaciones (5 a 8):

La tabla 8 muestra en detalle la tarea demandada por los temes de los distintos tipos (T1 a T4) y los organiza segn su
distribucin por grado de dificultad. Las filas corresponden a los respectivos subejes: Nmeros Naturales, Nmeros Enteros y Nmeros Racionales.
Por ejemplo, se puede observar en la primera fila de la tabla (correspondiente al subeje Nmeros Naturales), que
ningn tem obtuvo sobre el 60% de respuestas correcta.

Analizando la informacin de la tabla, es posible distinguir ciertos mbitos de mayor y menor dominio por parte de los
docentes evaluados:
En el conjunto de nmeros naturales, el conocimiento de conceptos relacionados con divisibilidad se logra en contextos numricos y algebraicos sencillos, pero no as cuando se trata de comprensin y reconocimiento de los conceptos en
s mismos o aplicacin en la resolucin de problemas no cannicos.
En el caso de los nmeros enteros, la operatoria bsica y resolucin de problemas en contextos numricos son abordables y su grado de dificultad vara entre menor y mediano. La dificultad es alta si se incluyen conceptos como valor
absoluto, expresiones algebraicas y relaciones de orden.
Respecto de los nmeros racionales, se evidencia como logrado a nivel esperado la operatoria con nmeros decimales
y fracciones y la resolucin de problemas. Los evaluados comparan y ordenan con xito fracciones y decimales positivos,
races y cuadrados. Ms difcil de lo esperado es el anlisis de situaciones que implican relaciones de orden, de fracciones
o decimales, en contextos algebraicos.
Este mismo anlisis se realiz con cada uno de los ejes y subejes del marco curricular de cada ciclo, identificando
fortalezas y debilidades en el mbito disciplinar. Por razones de espacio no es posible incluir toda la informacin en este
documento, pero una sntesis de resultados es reportada a continuacin:
En Segundo Ciclo, en los tres ejes del marco curricular, tanto la destreza operatoria como la resolucin de problemas
se logran pero solo a nivel elemental. Operan y resuelven problemas en contextos numricos simples; en Geometra
resuelven problemas que implican propiedades directas y/o clculos sencillos de permetros y reas; en el subeje Tratamiento de la informacin, solo pueden realizar clculos directos, con pocos datos; presentan un grado significativo de
dificultad los problemas relacionados con Proporciones, Porcentajes, Potencias y Races (aunque sean sencillos).
La aplicacin de estrategias es exitosa en contextos familiares; deficiente en situaciones distintas a las habituales.
Respecto de la integracin de contenidos, la mayor dificultad se aprecia cuando intervienen expresiones algebraicas.
Ahora bien, en relacin con el dominio conceptual, este se percibe deficiente; se observan dificultades en la comprensin de conceptos asociados a la divisibilidad, a relaciones de orden que involucran fracciones, decimales y nmeros
enteros, a relaciones proporcionales, potencias, interpretacin y anlisis de informacin, elementos y propiedades del
tringulos y paralelogramos, conceptos y relaciones asociados a reas y permetros.

Es decir, pueden identificar muchos objetos matemticos de distinta naturaleza, pueden operar correctamente con
ellos, pero enfrentados a establecer distinciones ms conceptuales o a reconocer propiedades o caractersticas de estos
conceptos bsicos, emerge la dificultad.
Respecto de los saberes de los profesores de Enseanza Media: en los ejes de lgebra y Geometra se aprecia mayor
comprensin de conceptos y buen manejo de estrategias de resolucin de problemas en tpicos que han sido centrales
y clsicos del curriculum: estos incluyen operatoria algebraica, funciones lineales y cuadrticas, propiedades de figuras
y cuerpos geomtricos, teoremas de congruencia y proporcionalidad, etc. En los ejes Nmeros y Proporcionalidad y Probabilidades se observan deficiencias a nivel de comprensin conceptual: en Probabilidades; los evaluados solo resuelven
con xito problemas sencillos que involucran clculo numrico con pocos datos de medidas de tendencia central, clculo
de la probabilidad de 1 evento y trabajo con tablas de frecuencia sencillas. Pero problemas que involucran los mismos
contenidos referidos a situaciones ligeramente ms complejas presentan altos grados de dificultad. En el eje Nmeros, no
se observa como lograda la comprensin del significado de las relaciones de orden en los nmeros reales, la distincin
conceptual entre nmeros racionales e irracionales ni la operatoria en los nmeros complejos.
En ambos ciclos, preguntas de tipo 1 presentan dificultad mayor a la esperada. Se perciben problemas en la comprensin bsica de los conceptos; al parecer, muchos contenidos elementales se conocen como enunciados aprendidos
globalmente y llegan a usarse en forma correcta; pero esta aplicacin es mecnica, y tal conocimiento es superficial, en
tanto su significado no ha sido desentraado.
Tambin hay ejes en los cuales las preguntas de tipo 3 obtienen altos porcentaje de respuestas correctas, correspondiendo as a preguntas fciles para los profesores. En particular el eje de Geometra en Enseanza Media tiene esta
caracterstica en relacin al tema de la circunferencia. Aqu se puede afirmar que se ha logrado un conocimiento de buen
nivel, con conceptos flexibles que posibilitan estrategias complejas.
Las preguntas de tipo 4, complejas y desafiantes, resultan difciles en ambos ciclos y en todos los ejes; sin embargo,
en un pequeo porcentaje, son contestadas en forma correcta, lo que permite afirmar que el conocimiento profundo de la
matemtica es evidenciado por algn grupo de docentes.

CONCLUSIONES
El anlisis de los resultados de las pruebas aplicadas a postulantes AEP y AVDI sealan un dominio disciplinario mayor en
los docentes de Educacin Media que en los de Segundo Ciclo, con deficiencias claras en ambos ciclos. El detallado anlisis
realizado nos permite sostener que la comprensin de los conceptos matemticos que son evaluados en las pruebas es
solo parcial y en muchos casos, superficial. Llama la atencin que sea posible para los docentes realizar procedimientos
relativos a conceptos sobre los que se demuestra baja comprensin; es posible hipotetizar que esto se vincula con una
prctica docente que promueve la ejercitacin mecnica de contenidos, la repeticin de algoritmos, la memorizacin de
frmulas y procedimientos: es decir, un enfoque procedimental, ms que conceptual.
De esa exploracin, se han obtenido fundamentos empricos para sostener que es prioritario capacitar a docentes en
formacin y en ejercicio en los conceptos bsicos de la matemtica. La mayora de los profesores de matemtica saben el
cmo de la matemtica elemental; de acuerdo a nuestros hallazgos, posiblemente no sepan el por qu.
Otra sugerencia significativa es la difusin de estos resultados a nivel de las instituciones que dan formacin inicial,
para que puedan ser considerados en sus programas. Esto permitira que las futuras generaciones estn mejor preparadas desde el punto de vista disciplinar.
Tambin se sugiere fortalecer las oportunidades de aprendizaje centradas en las nociones bsicas de la disciplina. La
comprensin profunda de la matemtica elemental es el sustrato necesario para poder adquirir el conocimiento pedaggico del contenido matemtico (Ma, 1999).

Tabla 8Distribucin de los distintos tipos de temes segn grado de dificultad.


Eje Nmeros y Operaciones, Segundo Ciclo
Dificultad menor
(Sobre el 60% de
respuestas correctas)

Dificultad media
(Entre 40% y 60% de respuestas
correctas)

Dificultad alta
(Menos de 40% de respuestas correctas)
T1. Identificar divisores de un nmero
expresado como producto de potencias.

T1. Aplicar propiedad distributiva


descomponiendo nmeros naturales.
T1. Realizar factorizaciones sencillas
en contextos geomtricos.

Nmeros
Naturales

T3. Resolver problemas que


involucran comprensin conceptual
de conceptos asociados a
divisibilidad en contextos numricos
y/o algebraicos sencillos.

T1. Reconocer situaciones que involucran


conceptos relacionados con nmeros
primos y compuestos; mltiplos, factores,
divisibilidad, mnimo comn mltiplo
y mximo comn divisor y las relaciones
entre ellos.
T2. Resolver problemas que involucren
mnimo comn mltiplo y mximo comn
divisor en contextos numricos no cannicos.
T3. Resolver problemas complejos
que involucren mnimo comn mltiplo
en forma indirecta.

T1. Interpretar situaciones que permitan


ubicar nmeros enteros en la recta.

Nmeros
Enteros

T3. Interpretar
informacin que
permita reconocer
signos de sumas y/o
productos de nmeros
enteros en expresiones
con valor absoluto.

T1. Aplicar el concepto de valor


absoluto a una relacin numrica
simple.
T3. Resolver problemas que
involucran operatoria con nmeros
enteros.

T1. Identificar una expresin algebraica


positiva dadas ciertas condiciones
sobre los enteros involucrados.
T3. Analizar situaciones que involucren valor
absoluto en contextos algebraicos.
T3. Analizar situaciones que impliquen
relaciones de orden en nmeros enteros con
y sin apoyo de la recta numrica en contextos
algebraicos.

T1. Operar con nmeros decimales


y fracciones.
T2. Operar con nmeros peridicos
y/o semiperidicos.
T2. Ordenar fracciones
en contextos
numricos.
Nmeros
Racionales

T2. Resolver problemas


directos que involucran
fracciones en contextos
numricos simples.

T3. Ordenar y comparar


nmeros decimales peridicos y
semiperidicos, races y cuadrados.
T2. Resolver problemas complejos
con fracciones y/o decimales en
contextos numricos.
T3. Resolver problemas en contextos
cotidianos que involucran operatoria
ms compleja con fracciones
y decimales.

T1. Expresar en forma fraccionaria un decimal


sesemiperidico.
T3. Analizar situaciones que impliquen
relaciones de orden en nmeros racionales en
contextos algebraicos.
T3. Resolver problemas con operatoria
que involucra races cuadradas.

BIBLIOGRAFA
Australian Professional Standards for Teachers http://www.aitsl.edu.au/australian-professional-standards-for-teachers/
standards/list
Babcock, J. (2010). Initial Findings from the Teacher Education and Development Study in Mathematics. (TEDS-M) Center
for Research in Mathematics and Science Education, College of Education, Michigan State University, Michigan.
Ball, D. y McDiarmid, G. (1990b). The subject matter preparation of teachers. In W. R. Houston, M. Haberman, y J. Sikula
(Eds.). Handbook of Research on Teacher Education, (pp. 437-439). New York: Macmillan.
Ball, D., Hill, H., y Bass, H. (2005). Knowing mathematics for teaching: Who knows mathematics well enough to teach third
grade, and how can we decide? American Educator, 29(3), 14-46.
Chambliss, M., Graeber, A. O. y Clark, K. (2003, April). Does Subject Matter Matter? Paper presented at the annual meeting
of the American Educational Research Association, Chicago.
Darling-Hammond, L. y Young, P. (2002). Defining highly qualified teachers: What does scientificallybased research
tells us? Educational Researcher, 31(9), 13-25.
Frome, P., Lasater, B., y Cooney, S. (2005). Well-qualified teachers and high quality teaching: Are they the same? Atlanta,
GA: Southern Regional Educational Board.
Illinois Professional Educator Standards_Content Area Standard for Educators
http://www.isbe.net/profprep/pcstandardrules.htm
Leinhardt, G., y Smith, D. A. (1985). Expertise in mathematics instruction: Subject matter knowledge. Journal of Educational Psychology, 77(3), 247-271.
Ma, L. (1999). Knowing and teaching elementary mathematics: teachers understanding of fundamental mathematics
in China and the United States. N. J.: Lawrence Erlbaum.
Mineduc (2009). Resumen de Resultados PISA 2009 Chile.
Mineduc (2012). Estndares orientadores para egresados de carreras de Pedagoga en Educacin Media. Recuperado el
10/06/2012 de http://www.cpeip.cl/usuarios/cpeip/File/librosestandaresvale/libromediafinal.pdf
Monk, D. (1994). Subject area preparation of secondary mathematics and science teachers and students achievements.
Economics of Education Review, 13(2), 125-145.
Mullens, J. E., Murnane, R. J., y Willett, J. B. (1996). The contribution of training and subject matter knowledge to teaching
effectiveness: a multilevel analysis of longitudinal evidence from Belize. Comparative Education Review, 40, 139-57.
Papick, I. J. (2011). Strengthening the Mathematical Content Knowledge of Middle and Secondary Mathematics Teachers.
Notices of the American Mathematical Society, 58(3), 389-392

Las telesecundarias en Mxico:


resultados de TALIS 2013
13 de marzo de 2015

Las telesecundarias en Mxico:


resultados de TALIS 2013
Eduardo Backhoff Escudero
Doctor en Educacin
Instituto Nacional para la Evaluacin de la Educacin, Mxico
backhoff@inee.edu.mx
Juan Carlos Prez Morn
Doctor en Educacin
Instituto Nacional para la Evaluacin de la Educacin, Mxico
jperezm@inee.edu.mx
Mtra. Sofa Contreras Roldn
Maestra en Ciencias educativas
Instituto Nacional para la Evaluacin de la Educacin, Mxico
scontrerasr@inee.edu.mx

PALABRAS CLAVE: Docentes, Directores, Telesecundarias, TALIS, Mxico


EJE TEMTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen

El propsito de este trabajo es doble. Por un lado, proporcionar informacin sobre algunas caractersticas de los
docentes, directores y escuelas telesecundarias de Mxico, as como sobre las condiciones laborales y el ambiente
de aprendizaje de las escuelas. Por el otro, comparar las caractersticas de las telesecundarias con las de las secundarias presenciales: generales, tcnicas y privadas. Para lograr estos propsitos, el trabajo aborda cuatro apartados. En el primero, se describen las caractersticas demogrficas de los profesores, as como algunas caractersticas de las escuelas donde trabajan. En el segundo apartado se describen ciertas caractersticas de los directores,
tales como su educacin formal y la satisfaccin en el trabajo, as como las condiciones desafiantes con las que se
enfrentan las escuelas a su cargo. En el tercer apartado se describen algunos elementos de la evaluacin y retroalimentacin docentes, as como las fuentes y mtodos de evaluacin y retroalimentacin. En el cuarto apartado se
describen las creencias y concepciones que tienen los docentes acerca de la enseanza y el aprendizaje, as como
los tipos de prcticas pedaggicas que con mayor frecuencia que llevan a cabo en el aula. La ponencia termina con
una reflexin acerca de las telesecundarias. La informacin de este trabajo se obtuvo de las bases de datos del de
nacional de Talis-2013.

INTRODUCCIN
Conocer las condiciones en que trabajan los profesores y el ambiente de aprendizaje en las escuelas, es una prioridad de
los sistemas educativos en todo el mundo. Para coadyuvar a ampliar la poca informacin existente acerca de los docentes
y sus prcticas de enseanza, as como a generar indicadores internacionales sobre estas temticas, la Organizacin para
la Cooperacin y el Desarrollo Econmicos (OCDE) desarroll el Estudio Internacional sobre Enseanza y Aprendizaje
(Talis, por sus siglas en ingls). Dicho estudio, tuvo el propsito de encuestar a profesores y directores sobre sus caracterticas profesionales, condiciones laborales, prcticas profesionales y, en general, sobre distintos aspectos de la vida
escolar que impacta el aprendizaje de los estudiantes (OCDE, 2009, 2014).
Talis se aplic por primera vez en 2008 y por segunda ocasin en 2013. En el segundo estudio participaron 34 pases de diversas partes del mundo. La muestra intencional en Talis para cada pas fue de 200 escuelas y 4000 docentes
(un directivo y 20 docentes por escuela). Adicionalmente, cada pas pudo utilizar muestras adicionales, tanto para tener
representatividad en sus estados, como para tener mayor representatividad en ciertos tipos de escuelas, como es el caso
de las telesecundarias. Mxico opt por esta opcin por lo que en total se encuest a 8507 profesores y 728 directores de
todas las entidades federativas del pas y de los tres niveles educativos (Backhoff, & Prez-Morn, 2015).
El propsito de esta ponencia es doble. Por un lado, proporcionar informacin sobre algunas caractersticas de los
docentes, directores y escuelas telesecundarias de Mxico, as como explorar las opiniones, percepciones y creencias de
los profesores y directores de esta modalidad educativa, sobre las condiciones laborales y el ambiente de aprendizaje de
sus centros de trabajo. Por otro lado, comparar las caractersticas de las telesecundarias con el resto de las secundarias
mexicanas, a las que nos referiremos como escuelas presenciales y que abarcan a las secundarias generales y tcnicas,
tanto pblicas como privadas.

LAS TELESECUNDARIAS EN MXICO


Con el propsito de aumentar la capacidad y cobertura del servicio educativo de secundaria y poder dar atencin educativa a las poblaciones asentadas en lugares alejados de las manchas urbanas, en 1969 el sistema educativo mexicano introdujo la telesecundaria (Zorrilla, 2004). Por lo general, las telesecundarias atienden la demanda educativa de la poblacin
que no tiene acceso a escuelas secundarias generales o tcnicas, por lo que principalmente se ubican en comunidades
rurales o de alta marginacin. Este tipo de servicio educativo se distingue por hacer uso de medios electrnicos y de comunicacin (televisin, seal satelital y videos) (INEE, 2014).
As, esta modalidad educativa posee caractersticas contextuales, estructurales y pedaggicas distintas al resto de las
secundarias presenciales, que agrupan a las escuelas generales y tcnicas, tanto pblicas como privadas. Las telesecundarias generalmente carecen de estructuras completas, ya que sus directores suelen ser profesores de grupo asignados
en comisin a la funcin directiva. La organizacin es semejante a la de las escuelas primarias, ya que es el profesor quien
atiende a los estudiantes en todas las asignaturas (Navarro, 2014).
Desde su creacin, la matrcula de telesecundaria ha crecido considerablemente. As, de acuerdo con el INEE (2014),
en el ciclo escolar 2012-2013, esta modalidad atendi a 1318288 estudiantes, que representan el 21% de la matrcula
nacional de educacin secundaria. En ese momento, en el pas existan 18326 telesecundarias, que representaban el 49%
de los planteles de secundaria del pas. Del total de escuelas telesecundarias, 7.5% eran escuelas unitarias; es decir, 3404
telesecundarias operaban con una organizacin escolar incompleta, donde uno o dos docentes atendan los tres grados
de este nivel educativo.

CARACTERSTICAS DE LAS TELESECUNDARIAS: RESULTADOS DE TALIS


Como ya se mencion anteriormente, el estudio Talis consisti en administrar dos encuestas a docentes y directores del
nivel secundaria, provenientes de 34 pases.
Mxico opt por realizar una muestra especial para el caso de las telesecundarias. La tabla 1 muestra el marco poblacional y las muestras de docentes y directores que se consideraron en los anlisis de este estudio para poder comparar a
las telesecundarias con el resto de las escuelas del pas (escuelas presenciales). Se podr apreciar que aunque el nmero
de escuelas de ambas modalidades es muy parecido (187 presenciales y 168 telesecundarias), el nmero de docentes
encuestados fue seis veces mayor en las escuelas presenciales (3571) que en las telesecundarias (551), lo que refleja
diferencias de estructura de ambos tipos de escuelas.
Tabla 1 Marco poblacional y muestras de Mxico de telesecundarias y secundarias presenciales
Secundarias
Presencial*
Telesecundaria**

Poblacin encuestada
Directores
Docentes
Directores
Docentes

Total

Muestra

Marco poblacional

187

15264

3571

305597

168

15083

551

61774

4477

397718

* Muestras utilizadas en la versin del estudio internacional de TALIS 2013.


** Muestras utilizadas en la versin del estudio nacional de TALIS 2013
Fuente: Direccin General de Evaluacin de Polticas (DGEP) de la Secretara de Educacin Pblica (SEP).

Una sntesis de los resultados ms importantes que arroj el estudio de Talis sobre las telesecundarias, se presenta
en cuatro grandes temticas: (1) Caractersticas de los profesores y de las escuelas telesecundarias; (2) gestin escolar y
liderazgo de los directores; (3) evaluacin formal y retroalimentacin docente; y, (4) creencias y prcticas de los docentes.

1. Caractersticas de los profesores y de las escuelas telesecundarias


Sobre los resultados relacionados con las caractersticas de los docentes mexicanos de escuelas telesecundarias se encontraron datos interesantes en distintos rubros:

1.1 Caractersticas demogrficas

Menos de la mitad de docentes de telesecundaria son mujeres (48%), lo que contrasta con las secundarias presenciales
donde menos de la mitad son hombres (46%). Los docentes de telesecundaria son en promedio ligeramente ms jvenes
que sus homlogos de las escuelas presenciales (40.6 frente a 42.1 aos de edad).

1.2 Condicin de empleo y experiencia laboral

Seis de cada diez profesores de telesecundaria tienen un empleo de tiempo completo y casi nueve de diez gozan de un empleo de tiempo parcial; cifras que son mayores a las de otras secundarias (cuatro y ocho de cada diez respectivamente).
Por otra parte, la experiencia laboral de los profesores de telesecundaria en general es menor que la de los maestros de
escuelas presenciales, especialmente la relacionada con los aos de experiencia en escuela en donde laboran (6.5 frente
a 11.3 aos).
4

1.3 Educacin formal y actividades para el desarrollo profesional


La educacin y formacin de los docentes de telesecundaria es mayor que la de sus homologos de secundarias generales:
cerca de 97% de los primeros tienen el nivel de licenciatura o maestra, mientras que esto sucede con el 89% del resto de
los profesores de secundaria. Sin embargo, menor proporcin de los maestros de telesecundaria su formacin se enfoca
en temas de la profesin docente (enseanza de contenidos, didctica y prctica en el saln de clases). Paradjicamente,
un mayor porcentaje de docentes de telescuendarias en general reportan sentirse mejor preparados que los profesores
de las secundarias presenciales en los tres rubros antes analizados (82 frente a 76% en promedio). Dos terceras partes
de los docentes de telesecundaria participan en programas de induccin, cifra que es ligeramente mayor a la de sus homlogos de escuelas presenciales. En ambos tipos de escuelas, muy pocos docentes reportan participar en actividades de
tutora (uno de cada diez en promedio).

1.4 Trabajo en condiciones desafiantes

Por lo general, los docentes de las telesecundarias trabajan en condiciones ms desafiantes que los de las secundarias
presenciales. Especialmente esto es cierto en lo que se refiere a la enseanza de estudiantes en las siguientes condiciones:
desventajas socioeconmicas, necesidades especiales y cuya lengua materna es distinta a la de la instruccin.
La carga de trabajo docente de los profesores de telesecundarias es mayor que la de sus homlogos de escuelas presenciales, debido a que los primeros atienden un mayor nmero de alumnos (18.5 frente a 15.1) y tienen ms materias.
En la figura 1 se aprecia que es mayor el porcentaje de docentes que trabajan en escuelas telesecundarias cuyo director
reporta que hay escasez de docentes profesionales y de personal de apoyo, que el porcentaje de docentes que trabajan en
las secundarias presenciales con la misma problemtica. Sin embargo, en las telesecundarias labora un menor porcentaje
de docentes cuyo director reporta que hay una escasez de docentes calificados (tres de cada diez) en comparacin con las
escuelas presenciales (ms de la mitad).
Tambin se observa que hay un porcentaje mayor de docentes que trabajan en telesecundarias, que en secundarias
presenciales, cuyo director reporta escasez de recursos materiales. Dicha problema es especialmente cierto respecto a
la insuficiencia de acceso a Internet, de programas informticos para la enseanza, de equipo de cmputo, de materiales
para la biblioteca y de materiales didcticos.
Figura 1Porcentaje de docentes de telesecundaria y secundaria presencial

que laboran en escuelas con distintas dificultades para proveer enseanza de calidad

1.5 Clima escolar de los planteles


Las telesecundarias presentan sustancialmente menores problemas relacionados con el clima escolar que las presenciales respecto al comportamiento de los estudiantes: llegar tarde, ausentarse, hacer trampa, intimidar o abusar verbalmente a estudiantes, lesionar fsicamente a estudiantes, intimidar o abusar verbalmente a docentes, vandalizar y robar,
as como utilizar / poseer drogas o alcohol. Asimismo, en las telesecundarias existe un mejor ambiente escolar (aunque
marginal) que en las escuelas presenciales. En ambos tipos de escuelas se reportan buenas relaciones profesor-estudiante, un respeto por la forma de pensar y una discusin abierta sobre problemas de la escuela.

1.6 Satisfaccin laboral

El grado de satisfaccin laboral de los docentes, en general, es alto y muy similar entre quienes trabajan en telesecundarias y quienes lo hacen en escuelas presenciales.

2. Gestin escolar y liderazgo de los directores


En este apartado se describen los resultados de Talis-2013 relacionados con las caractersticas de los directores, su educacin formal, las actividades de desarrollo profesional, el tipo de liderazgo que ejercen y la satisfaccin en el trabajo, as
como las condiciones desafiantes con las que se enfrenta la escuela a su cargo.

2.1 Caractersticas demogrficas

Una tercera parte de los directoras de las telesecundarias son mujeres, cifra menor a la reportada en las secundarias
presenciales (41%). En promedio, los directores de telesecundaria son sustancialmente ms jvenes (43.1 aos) que los
de secundarias presenciales (51.9 aos).

2.2 Situacin en el empleo y experiencia laboral

Las condiciones de empleo de los directores de telesecundarias es ms adversa que la de sus homlogos de secundarias
presenciales: ocho de cada diez directores de telesecundaria tiene un empleo de tiempo completo con la obligacin de
impartir clases, mientras que en esta situacin se encuentra el 18% de quienes trabajan en secundarias presenciales.
La inmensa mayora de los directores de ambos tipos de secundarias tienen el nivel de licenciatura o maestra (94%).
Sin embargo, la formacin en temas de direccin escolar es menor en las telesecundarias que en las escuelas presenciales.
Los aos de experiencia que tienen los directores de telesecundarias en esta funcin es menor que la reportada por
sus homlogos de escuelas presenciales (16.6 frente a 23.8 aos).
El involucramiento en actividades de desarrollo profesional es menor en los directores de telesecundaria que en los
de secundarias presenciales. En ambos casos, la modalidad de desarrollo profesional ms solicitada es la relacionada
con cursos/talleres. En la figura 2 se puede observar que en la telesecundaria es mayor la proporcin de directores que
reportan tener barreras para involucrarse en actividades de desarrollo profesional.

2.3 Situaciones que limitan la efectividad del director

El presupuesto y los recursos insuficientes es la limitacin ms reportada por los directores tanto de las telesecundarias
como de las secundarias presenciales (ocho de cada diez en promedio).

2.4 Satisfaccin laboral directores

La inmensa mayora de los docentes y directores de las telesecundarias y de las escuelas presenciales estn satisfechos
laboralmente. Sin embargo, un porcentaje importante de directores de telesecundaria desearan cambiar de escuela (cuatro de cada diez) y otro tanto considera que la profesin docente no es valorada por la sociedad (cinco de cada diez).

Figura 2Porcentaje de directores de telesecundaria y secundaria presencial que reportan estar "De acuerdo"
o "Totalmente de acuerdo" con distintas barreras para la participacin en el desarrollo profesional

3. Evaluacin formal y retroalimentacin docente


A continuacin se exponen los resultados de Talis-2013 sobre diferentes aspectos de la evaluacin docente; en especial los
relacionados con los evaluadores, as como con las fuentes y mtodos de evaluacin y retroalimentacin docentes. Adems
se explora la percepcin de los docentes respecto al impacto de la evaluacin y la retroalimentacin en sus escuelas.

3.1 Evaluacin formal y retroalimentacin docente

Como se aprecia en la figura 3, el porcentaje de docentes que trabajan en escuelas telesecundarias cuyos directores reportan que sus docentes nunca fueron evaluados es mayor que el de las secundarias presenciales. Asimismo, 69% docentes
de telesecundaria y 85% de secundaria presencial, trabajan en escuelas en donde el director es quin realiza la evaluacin
de los docentes.
Figura 3Porcentaje de docentes de secundaria telesecundaria y presencial, cuyos directores reportan

que sus docentes fueron evaluados de 1 a ms veces en el ao, o nunca por distintos actores educativos

En cuanto a la retroalimentacin que reciben los docentes, en la mayora de los casos se enfoca al desempeo acadmico de los estudiantes, mientras que el menor de ellos se centra en el tema de la enseanza multicultural o multilinge.
Los mtodos ms utilizados para retroalimentar a los docentes son la observacin en el aula y el anlisis de las calificaciones de los estudiantes; el menos utilizado es la encuesta a los estudiantes.

3.2 Impacto del sistema de evaluacin y retroalimentacin

La mayora de los docentes de telesecundaria reportan que la retroalimentacin recibida impact positivamente en su
vida laboral, como: la satisfaccin en el trabajo, la confianza profesional y la motivacin laboral.

4. Creencias y prcticas de los docentes


En este apartado se describen las creencias y concepciones que tienen los docentes mexicanos acerca de la enseanza y el
aprendizaje, as como los tipos de prcticas pedaggicas que con mayor frecuencia se llevan a cabo en el aula.

4.1 Prcticas de enseanza y mtodos de evaluacin

Las prcticas pedaggicas que utilizan los docentes de ambos tipos de escuela son muy similares. Sin embargo, una mayor
proporcin de docentes de telesecundaria que de secundaria presencial (75 frente a 57%), hacen que sus alumnos trabajen en proyectos, en grupos pequeos y presenten un resumen del contenido aprendido. Llama la atencin que slo seis
de cada diez docentes de telesecundaria utilicen las TIC para proyectos o trabajo colaborativo en clase.
Los docentes de telesecundarias reportan dedicar mayor tiempo tanto a la enseanza como al trabajo escolar en general, que los maestros de secundaria presencial. Adems, hay un mayor porcentaje de profesores de telesecundaria que
participan en actividades cooperativas.
El mtodo ms utilizado de evaluacin en ambos casos es la observacin y retroalimentacin de estudiantes, mientras
trabajan en una tarea especfica. Por otra parte, en telesecundarias es ms comn el uso de pruebas estandarizadas a
estudiantes que en secundaria presencial.

4.2 Clima en el aula

En las escuelas telesecundarias parece existir un mejor clima de disciplina que en las secundarias presenciales. Como
se observa en la tabla 2, es mayor la proporcin de docentes de telesecundaria (nueve de cada 10) que sealan que sus
estudiantes procuran un clima positivo de aprendizaje, y muy pocos profesores sealan presentar problemas de orden e
interrupcin de las clases (en promedio 1 de cada 10 lo reporta).
Tabla 2Porcentaje de docentes de telesecundaria y secundaria presencial que reportan estar "De acuerdo"
o "Totalmente de acuerdo" con distintas afirmaciones acerca de su grupo de clase
Tengo que esperar
mucho tiempo para
que los estudiantes
estn en orden
Telesecundarias
Secundaria presencial

Pierdo mucho tiempo


porque los estudiantes
interrumpen la clase

Hay mucho ruido


perturbador en este
saln de clases

(e.e.)

(e.e.)

(e.e.)

(e.e.)

9.7

1.8

89.2

1.8

16.4

2.3

12.1

1.8

19.7

1.0

78.1

1.0

21.1

1.1

20.8

1.0

Nota: donde e.e. = error estndar

Los estudiantes de
este grupo procuran
crear una atmsfera de
aprendizaje agradable

CONCLUSIONES
Para los tomadores de decisiones es importante conocer las variables factibles de modificar que mejoren los resultados educativos de los planteles, por lo que resulta indispensable tener informacin acerca de las caractersticas profesionales de los maestros y directores, las creencias docentes y prcticas pedaggicas, el liderazgo del director, as como
del ambiente escolar, el clima en el aula y, en general, de los diversos procesos educativos que se dan al interior de las
escuelas (Backhoff, Andrade, Bouzas, Santos, & Santibez, 2010).
El estudio de Talis-2013 permiti conocer las caractersticas ms sobresalientes de las telesecundarias y compararlas con las escuelas presenciales. Aunque el estudio proporciona informacin ya conocida, tambin precisa aspectos de la
vida escolar de esta modalidad educativa inexplorados, tales como: algunas caractersticas de la formacin profesional,
ciertos aspectos de los directores, el tipo de evaluacin y retroalimentacin a los que son expuestos los docentes, as como
algunas de sus creencias y prcticas pedaggicas.
La informacin de Talis deber servir para mejorar los servicios que se ofrecen en este tipo de escuelas. Por una
parte, atendiendo los problemas claramente identificados, como es la falta de recursos humanos y materiales, el exceso
de carga de trabajo, las dificultades para que docentes y directivos se superen, la poca autonoma escolar, la excesiva normatividad, la falta de procesos de induccin y tutora, y la obligacin de los directores de impartir clases. Por otro lado, se
deber tomar ventaja de sus fortalezas como son el buen clima escolar, la estrecha cooperacin entre docentes, la menor
incidencia de problemas con los estudiantes y los profesores, la gran satisfaccin laboral, su autoestima profesional y su
gran compromiso con los estudiantes.

BIBLIOGRAFA
Backhoff, E., & Prez-Morn, J.C. (ed.) (2015). Estudio Internacional sobre la Enseanza y el Aprendizaje (Talis-2013):
Resultados de Mxico. Mxico, D.F.: SEP-INEE.
Backhoff, E., Andrade, E., Bouzas, A. Santos, A., & Santibez, L. (2010). Estudio Internacional sobre la Enseanza y el
Aprendizaje (Talis): resultados de Mxico. Mxico, D.F.: SEP.
INEE (2014). Panorama Educativo de Mxico 2013. Indicadores del Sistema Educativo Nacional. Mxico, D .F .: INEE .
Recuperado de http://publicaciones.inee.edu.mx/detallePub.action?clave=P1B112
Navarro, C. (2014). La antesala del ascenso a la direccin. Trayectorias de subdirectores de secundarias mexicanas. (Tesis de
doctorado). Recuperada de: http://iide.ens.uabc.mx/images/pdf/tesis/DCE/Tesis%20DCE%20Claudia%20Navarro%20
Corona.pdf
OCDE (2009). Creating Effective Teaching and Learning Environments: First Results from Talis. Paris: OCDE Publishing. Recuperado de: http://www.oecd.org/edu/school/creatingeffectiveteachingandlearningenvironmentsfirstresultsfromtalis.htm
OCDE (2014). Talis 2013 Results: An International Perspective on Teaching and Learning. Paris: OCDE Publishing. doi:
http://dx.doi.org/10.1787/9789264196261-en
Zorrilla, M. (2004). La educacin secundaria en Mxico: al filo de su reforma. REICE -Revista Electrnica Iberoamericana
sobre Calidad, Eficacia y Cambio en Educacin 2004, 2(1). Recuperado de: http://www.ice.deusto.es/RINACE/reice/
vol2n1/Zorrilla.pdf

Valoracin de la observacin de clase


como tcnica de evaluacin del desempeo
docente en Mxico
13 de marzo de 2015

Valoracin de la observacin de clase


como tcnica de evaluacin del desempeo
docente en Mxico
Ariana Fragoza Gonzlez
Licenciada en Ciencias de la Educacin, Instituto Nacional para la Evaluacin de la Educacin, Mxico.
afragoza@inee.edu.mx
Claudia Navarro Corona
Doctora en Ciencias Educativas, Instituto Nacional para la Evaluacin de la Educacin, Mxico.
cnavarro@inee.edu.mx

Marina Fernanda Gonzlez Nava


Maestra en Anlisis Experimental de la Conducta, Instituto Nacional para la Evaluacin de la Educacin, Mxico.
mfgonzalez@inee.edu.mx
Yolanda Edith Leyva Barajas
Doctora en Educacin, Instituto Nacional para la Evaluacin de la Educacin, Mxico.
yeleyva@inee.edu.mx

PALABRAS CLAVE: Observacin, desempeo docente, educacin bsica, educacin media superior, observador.
EJE TEMTICO: Innovaciones en evaluacin y medicindel desempeo docente y directivo

Resumen

Durante los ltimos veinte aos la evaluacin que en Mxico se ha realizado a los docentes ha estado vinculada
a procesos de seleccin, ascenso o asignaciones salariales en los marcos del Sistema Escalafonario y de Carrera
Magisterial. Dichas evaluaciones han tenido en comn su carcter prioritariamente sumativo y su enfoque hacia la
valoracin de los conocimientos de los docentes en distintas etapas de la carrera profesional. En este panorama,
la Organizacin para la Cooperacin y el Desarrollo Econmicos (OCDE) realiz en 2010 una serie de recomendaciones entre las que se puntualiza la necesidad de implementar un sistema de evaluacin enfocado a la mejora
docente. Tales planteamientos se encuentran reflejados en la Ley General del Servicio Profesional Docente por lo
que se asume la necesidad de disear e implementar tcnicas de evaluacin de carcter formativo.
En este conjunto de consideraciones, y tomando como punto de partida que algunas organizaciones internacionales, como la Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura (UNESCO), por
ejemplo, han sugerido la observacin de clase como una tcnica apropiada para la mejora de la profesin docente,
esta ponencia analiza las opiniones de profesores, en relacin a la observacin de la prctica docente, recabadas
por medio de grupos de discusin ralizados en ocho estados de la Repblica Mexicana. Responder a tres cuestionamientos principales: qu opinin tienen los docentes en relacin a la observacin como tcnica de evaluacin
del desempeo?, qu tipo de contenidos o temas pueden evaluarse por medio de la observacin del desempeo?
y quin o quines son los observadores ms adecuados?

INTRODUCCIN

La Ley General del Servicio Profesional Docente (LGSPD), establece la evaluacin del desempeo docente como un proceso obligatorio para la promocin, el reconocimiento y la permanencia de los profesores, que permitan la mejora profesional continua (DOF, 2013). En Mxico, la evaluacin de docentes no es una prctica novedosa, se ha empleado durante los
ltimos veinte aos para recabar informacin sobre los conocimientos y la preparacin profesional de los docentes en el
marco del Programa Nacional de Carrera Magisterial y del Sistema Escalafonario (Cordero, Luna y Patio 2013).
As, durante dos dcadas, los docentes mexicanos han sido evaluados en distintos momentos de su carrera profesional. Como ejemplo, se identifican el Examen Nacional para el Ingreso a la Educacin Superior (Exani II) y el Examen de
Ingreso a la Educacin Normal (EIEN), ambos aplicados para la seleccin de aspirantes a la formacin magisterial; el Examen General de Conocimientos Intermedio (EGCI) y el Examen General de Conocimientos de Licenciatura (EGCL), que se
utilizan para medir los conocimientos durante la carrera de estudios; el Examen Nacional de Conocimiento y Habilidades
Docente, derivado del examen de nuevo ingreso al servicio docentes y del examen de otorgamiento de plazas a docentes
en servicio que se aplicaron como resultado de la firma de la Alianza por la Calidad de la Educacin (SEP-SNTE, 2008);
estos instrumentos tenan como finalidad la seleccin de aspirantes al servicio y la asignacin de horas de clase a los
profesores en activo. Tambin se identifican las evaluaciones realizadas por el Sistema Escalafonario y por Carrera Magisterial en el que se evaluaba la preparacin profesional de los docentes en servicio por medio de los Exmenes Nacionales
de Actualizacin (SEP-SNTE, 2011; Luna, Cordero, Lpez y Castro, 2012).
As, la evaluacin realizada durante las ltimas dos dcadas ha estado vinculada a procesos de seleccin, ascenso, promocin y asignacin de estmulos salariales, desde un enfoque principalmente sumativo y basado en exmenes y pruebas
objetivas. Pese a la exhaustividad de estas experiencias previas de evaluacin, poco se conoce sobre el desempeo de los
profesores en el aula, ya que al factor al que se le ha dado mayor relevancia en estas evaluaciones es al de los aprendizajes
que poseen los docentes y sobre estos, se emiten juicios sobre el trabajo del profesorado.
En este panorama, la OCDE (2010) realiz quince recomendaciones a Mxico a fin de orientar a las autoridades para
reformar y mejorar los aspectos de calidad y equidad del sistema educativo, poniendo a las escuelas y a los alumnos en
el centro de las polticas educativas (OCDE, 2010, p. 3). La OCDE recomend a Mxico desarrollar e implementar un
sistema riguroso de evaluacin docente enfocado en la mejora docente (recomendacin 8) que combine aspectos formativos y sumativos que permitan recompensar el desempeo docente y sancionar el desempeo bajo y realimentar a los
docentes para que mejoraren sus prcticas y avancen en sus trayectorias profesionales (OCDE, 2013, p. 8).
Los planteamientos de la OCDE (2010) se ven reflejados en la LGSPD mexicana. sta, tiene como propsito mejorar
la calidad de la educacin (DOF, 2013, Art. 13, Frac. I) y la mejora de la prctica profesional docente (Frac. II); mandata
el establecimiento de referentes que sirvan para la mejora continua (Art. 14, Frac. V) y el fomento del mejoramiento del
desempeo por medio de la promocin y el reconocimiento (Art. 36, Frac. V). Se parte de la idea de que estas disposiciones requieren del diseo de procesos de evaluacin que incorporen tcnicas e instrumentos de carcter formativo que
permitan recabar informacin para mejora la prctica profesional y el desempeo.
De acuerdo con la UNESCO (2006) una de las estrategias formativas ms habituales para evaluar el desempeo de los
docentes es la observacin del profesor en el aula. Pases como Costa Rica, Argentina, Colombia, Chile y Espaa, anteceden
a Mxico en la realizacin de este procedimiento y han obtenido resultados que posibilitan la mejora de la prctica docente.
Se asume que la observacin es una tcnica que permite evaluar y realimentar el desempeo de los profesores; no
obstante, de acuerdo con Angulo (2012), se reconoce que el trabajo docente frecuentemente es realizada en solitario y
que el aula suele ser un espacio cerrado en el que no se involucran actores distintos al docente y sus alumnos. Desde esta
perspectiva se considera necesario explorar las opiniones de los docentes respecto a la pertinencia de la observacin
como tcnica de evaluacin del desempeo.
El presente trabajo expone resultados parciales de las investigaciones realizadas en el Instituto Nacional para la Evaluacin de la Educacin. El objetivo es explorar las opiniones de los profesores de los diferentes niveles y tipos educativos
en relacin a la observacin para la evaluacin del desempeo docente. Los hallazgos permiten responder a tres preguntas centrales: Qu opinin tienen los docentes en relacin a la observacin como tcnica de evaluacin del desempeo?,
Qu tipo de contenidos o temas pueden evaluarse por medio de la observacin del desempeo?, Quin o quines son los
observadores ms adecuados? El trabajo se compone de cuatro segmentos mediante los cuales se desarrollan los conceptos tericos fundamentales, el mtodo ejecutado, los principales hallazgos y las conclusiones y orientaciones.

DESARROLLO
Marco Terico
La observacin en clase es definida por Martnez-Rizo (2012) como una de las tcnicas que se han utilizado en mayor
medida para evaluar a los profesores, ya que permite recuperar evidencias confiables de la prctica docente que se lleva a
cabo dentro de las aulas. La observacin de clase puede realizarse de forma libre o planeada con la ayuda de guas o protocolos de observacin; en cualquiera de los casos privilegiar la observacin de ciertos aspectos de la prctica docente
sobre otros (Valds, 2000). Las observaciones de clases pueden ser la pieza fundamental de una estrategia de evaluacin
sistemtica del desempeo de los docente (Valds, 2000, p.1).
La observacin de clase ha sido estudiada e implementada como tcnica de evaluacin en distintos pases de Latinoamrica y del mundo, ya que se confa en la validez de la informacin que se puede obtener a travs de ella. En Chile,
por ejemplo, se realizan registros en video, que luego son analizados por revisores externos a la escuela. De acuerdo con
la opinin de Milicic, Rosas, Scharager, Garca y Godoy (2008), la evaluacin en Chile por medio de la observacin ha
ayudado a establecer juicios sobre la prctica docente e identificar las necesidades de formacin docente en el dicho pas.
En Argentina, por ejemplo, la observacin de clase es llevada a cabo entre pares docentes, mientras que en Cuba esta
tcnica es aplicada por parte del director escolar o el subdirector. En el caso de Espaa, el inspector de zona es el encargado de evaluar a los docentes por medio de la observacin del aula (UNESCO, 2006).

Mtodo
La Direccin General de Evaluacin de Docentes y Directivos organiz, con la ayuda de las autoridades educativas estatales, grupos focales en ocho entidades mexicanas: Durango, Nuevo Len, Sinaloa, Yucatn, Puebla, Nayarit, Chiapas y Baja
California. En cada entidad se llevaron a cabo cuatro grupos focales, uno con docentes de educacin preescolar, uno de
primaria, uno de secundaria y uno de educacin media superior.
Se busc que cada grupo estuviera constituido por al menos la mitad de mujeres, que los sujetos tuvieran distintos
aos de experiencia frente a grupo y que procedieran de distintos contextos del estado: del medio rural, urbano, semiurbano e indgena.
La dinmica realizada en los grupos estuvo orientada por un guion basado en resultados de una encuesta realizada
previamente en lnea, donde se cuestionaba a los docentes sobre lo que deba ser evaluado del desempeo docente y por
medio de qu estrategia de evaluacin deba realizarse, lo que sirvi como insumo para este estudio. Se trataron especficamente dos temas: qu evaluar y cmo evaluar el desempeo docente. Los docentes expresaron opiniones e interactuaban de forma grupal. Las discusiones en los grupos fueron registradas por medio de audio grabacin. Posteriormente,
stas fueron transcritas y analizadas.
El anlisis se realiz en dos fases. En la primera, se delimitaron las unidades de anlisis, de acuerdo al procedimiento
propuesto por Porta y Silva (2003). Este ejercicio se realiz por medio de la seleccin de porciones de texto que constituan ncleos de significado referentes al tema de inters.
Una vez definidas las unidades de anlisis, en la segunda fase se codific inductivamente la informacin. Se realizaron
ejercicios paralelos de categorizacin y prueba de cdigos en la informacin contenida en las transcripciones. Al categorizar las unidades de anlisis se buscaron elementos que se relacionaran con la pertinencia de la observacin de clase
como instrumento de evaluacin del desempeo docente, as como los elementos que se deben tomar en cuenta para
implementar esta estrategia. As mismo, se buscaron citas que aportaran sugerencias significativas sobre lo que puede
observarse de la prctica docente, as como las propuestas para la seleccin de un observador de la prctica docente.

RESULTADOS
A travs de los grupos focales con docentes de educacin bsica y media superior se obtuvieron los siguientes resultados:

Percepcin sobre la pertinencia de la observacin


para la evaluacin del desempeo docente
Los profesores de los tres niveles de educacin bsica y los de media superior expresaron que la observacin de aula es
pensada como una tcnica pertinente para la evaluacin del desempeo docente. Los profesores de preescolar, por ejemplo, cuando se les present una serie de estrategias posibles para la evaluacin del desempeo docente, sealaron: mejor
que me vean y ya (preescolar-Baja California). Los docentes de primaria tambin concordaron en la pertinencia de esta
tcnica por considerarlo confiable y eficiente para evaluar la prctica docente. Los profesores de educacin secundaria
opinaron que la observacin en aula es un instrumento pertinente pues a partir de ella se puede dar cuenta de su trabajo,
de las actividades que realizan, las estrategias que emplean, la creacin de ambientes favorables y de su desempeo. Al
respecto uno de los docentes mencion que:
...ah es donde se pueden dar cuenta de todo nuestro trabajo, si est bien planeado, si las estrategias son adecuadas,
si llevamos la inclusin de los alumnos, creo que ah, en ese punto, sera bsico para ver nuestro desempeo,
(secundaria-Nayarit).

Adems, se encontr que los docentes de secundaria parecen poner especial nfasis en comentar lo que se puede
evaluar por medio de la observacin. Los docentes sealaron que a partir de la observacin se puede recabar informacin
sobre distintos aspectos.

Creacin de ambientes: La creacin de ambientes favorables es lo primero que debe observar quien llegue a evaluar el desempeo y la actitud del docente, y la actitud del alumno (secundaria-Chiapas)

Prctica de valores: Creo que tambin se pueden observar la prctica de los valores que son aspectos que creo que

la mayora estamos dejando de lado y es fundamental (secundaria-Jalisco).


Prcticas de enseanza: La enseanza hacia los alumnos o la capacidad para generar competencias (secundaria,
Sinaloa).
Interaccin con los alumnos; El trato hacia los alumnos en donde se pone como ejemplo:
Aquel alumno que detectamos que es un poco inquieto y que no vino. Un da siguiente [el maestro le dice:]
Gabriel, por qu no viniste?
Es que me qued dormido. Me extra?
Claro, mijo!, para m t eres bien importante. Si t no vienes un da, me preocupo por ti.
Gracias, maestra, voy a venir todos los das.
O sea, hay que darles una palabra de aliento (Secundaria, Nuevo Len)

Tambin los profesores de educacin media superior comentaron que la observacin en el aula es la estrategia de evaluacin docente con mayor pertinencia, ya que consideran que con ella se puede obtener evidencia directa del desempeo
del docente: la observacin de la clase es el medio o la instrumentacin ms eficaz que puede tener el INEE porque es
vivencial, pero el hecho de que vaya acorde con el tema con la planeacin, es imponderable (media superior-Nayarit).

Recomendaciones generales en relacin con la observacin de clase


Los docentes de cada nivel y tipo educativo hicieron recomendaciones y advertencias que bosquejan una idea sobre la
implementacin de esta tcnica evaluativa:
Los docentes de preescolar opinaron que en un da es imposible conocer el estilo de prctica de los docentes (preescolar, Puebla), por lo que insistieron en que los observadores vayan con tiempo suficiente para que puedan ver las
estrategias de cmo resolvemos, como manejamos los momentos en los que un nio no se estn desarrollando bien, o
tiene problemas de resolucin, todo esto en nuestra intervencin docente (preescolar, Puebla).
Los docentes de primaria y secundaria coincidieron al sealar las siguientes recomendaciones:
1. Realizar grabaciones de la prctica: entonces sera bueno grabarnos y enviarlo dando una secuencia didctica,
demostrando nuestras habilidades, porque no es lo mismo un examen que lo prctico (primaria-Chiapas).
2. Usar guas de observacin: que los evaluadores lleven una gua especifica de lo que en realidad te va a valorar
(primaria-Puebla).
3. Observar ms de una sesin: considero que s se puede, pero quizs una sola clase no sera suficiente para dar la
evaluacin de un profesor (secundaria, Jalisco).

Por su parte, los profesores de educacin media superior realizan una aportacin distinta a la de sus colegas en educacin bsica, recomendaron el uso de materiales y el diseo de experiencias de formacin dirigidas para los evaluados
y los evaluadores:
Me gustara ms que se creara un documento para que los maestros empezramos a perder el miedo a las
observaciones de clase, que se creara voy a soar tantito una especie de taller en el que la persona o las personas
que estn al frente fueran empticos con el temor de los docentes ante la evaluacin (media superior-Nuevo Len).

Quin es el observador adecuado?

El tema de los observadores es de especial importancia para los docentes de los distintos niveles educativos; no obstante,
en cada uno se da relevancia a actores distintos como posibles observadores de la labor docente. En el caso de los profesores de preescolar, expresaron que el actor ms pertinente es un par docente porque conocen el trabajo en el aula,
ellos saben los procesos, los momentos, las situaciones que se viven dentro del aula (preescolar-Nayarit); sin embargo,
sealaron que resultaba conveniente de que fuera de otra escuela para que no influya positiva o negativamente (preescolar-Baja California).
Los comentarios sobre los observadores que realizaron los docentes de primaria y de secundaria son coincidentes. En
ambos casos sealan que el observador ms adecuado es un evaluador externo:
Para m un evaluador externo sera ideal, siempre y cuando fuera un evaluador externo que conociera la prctica
docente, que tuviera las herramientas o la formacin docente para que pudiera entender el trabajo que est observando
y que est desempeando el maestro que l est observando (primaria-Durango).
Tambin se considera el Asesor Tcnico Pedaggico (ATP) por ser reconocido como un actor que conoce a las escuelas y a los docentes: yo me enfoco al ATP porque l trabaja conmigo, l nos pide planeacin, el checa horarios, l conoce
nuestra situacin; sabe cmo estamos, no es alguien que est en la supervisin, l est con nosotros (secundaria-Chiapas). Se me hace bien que sea el asesor tcnico pedaggico, porque l es al que [a] todos lados mandan y conocen mucho
de las escuelas (secundaria- Puebla).
En el caso de los profesores de educacin media superior, al cual que los de primaria y secundaria mencionaron al
evaluador externo como el actor ms apropiado para ser observador del desempeo docente. Los docentes sealaron:
El evaluador externo es mejor, porque la misma institucin suele generar en mtodos de presin de coercin. El externo es ms objetivo, confiable (media superior, Tijuana); pienso que el evaluador externo debera ser el nmero uno
(media superior-Sinaloa).

El ATP es una figura que no existe de manera oficial en la estructura de la educacin media superior; sin embargo,
dentro de algunos subsistemas, existen otras que realizan actividades similares a los ATP de educacin bsica. Adicionalmente, la Ley del Servicio Profesional Docente establece que en este nivel debe haber docentes que desempeen tareas de
asesora tcnico-pedaggica, por tales razones se consider al ATP como uno de los posibles evaluadores y se incorpor
a la discusin en el tipo educativo de educacin media superior.
En los grupos, los profesores de educacin media superior discutieron sobre el ATP como evaluador y sealaron que
se trata de un actor adecuado para la tarea. Los profesores comentaron que el asesor pedaggico est obligado a realizar
esas funciones, por el perfil () que est en sus funciones, que es supervisar la tarea del maestro que tenga bajo su cargo,
o los maestros que tenga bajo su cargo (media superior-Mrida).

CONCLUSIONES
Los resultados aqu expuestos representan una exploracin de las percepciones de los docentes en relacin a la tcnica
de observacin para la evaluacin del desempeo docente. Los profesores de los cuatro niveles educativos, preescolar,
primaria, secundaria y bachillerato, concuerdan en que la observacin de clase es una tcnica de evaluacin pertinente
para la evaluacin del desempeo. Identifican una serie de elementos de la prctica docente que pueden ser evaluados
por medio de esta tcnica. De acuerdo a la opinin de los docentes, si se considerara la observacin de clase como una
de las tcnicas evaluativas, podran evaluarse la creacin de ambientes favorables en el aula, la prctica de los valores del
docente, los procesos de enseanza que se llevan a cabo en el aula y la interaccin con los alumnos.
Los docentes plantean estrategias para operar la observacin que pueden ser revisadas con mayor detalle en futuros
estudios educativos: explorar la pertinencia y factibilidad de la grabacin de sesiones de clase para su observacin, disear guas para el desarrollo de la tcnica, considerar la observacin de varias sesiones y no de una sola.
En cuanto al actor educativo ms pertinente para llevar a cabo la observacin, los docentes de educacin bsica opinaron que los pares docentes de otra institucin, los evaluadores externos y los ATP, son los actores ms adecuados para
desempear el rol de observador. Los docentes de Educacin Media Superior coincidieron en que el evaluador externo es
la figura idnea para este rol. Adems consideraron que el ATP puede ser la figura adecuada para realizar la observacin
del desempeo docente, aunque esta figura apenas comienza a configurarse como parte de este nivel educativo.
Las consideraciones y percepciones de los docentes pueden contribuir en el diseo de estrategias evaluativas y en su
implementacin. Incorporar las propuestas hechas por los propios profesores favorece la legitimacin de los procesos evaluativos ante los actores evaluados. Adicionalmente, las aportaciones de los docentes representan objetos de inters para
futuras investigaciones que contribuyan a profundizar en el conocimiento de los docentes, su desempeo y su evaluacin.

REFERENCIAS
Angulo, G. (2012). Las concepciones sobre el docente o diferentes maneras de concebir el ejercicio de la docencia. Revista
de Investigacin, 36 (75). 11-31.
Cordero, G.; Luna, E. y Patio, N. X. (2013 julio-diciembre). La evaluacin docente en educacin bsica en Mxico: panorama y agenda pendiente. Revista Electrnica Sinctica, (41). 1-19.
Diario Oficial de la Federacin (2013). Ley General del Servicio Profesional Docente. Disponible en: http://www.dof.gob.
mx/nota_detalle.php?codigo=5313843&fecha=11/09/2013
Luna, E.; Cordero, G.; Lpez, G. y Castro, A. (2012). La evaluacin del profesorado de educacin en Mxico: Polticas, programas e instrumentos. Revista Iberoamericana de Evaluacin Educativa 2012, 5 (2). 232-244.
Martnez-Rizo, F. (2012). El futuro de la evaluacin educativa. Sinctica, Revista electrnica de evaluacin. Disponible en:
http://www.sinectica.iteso.mx/articulo/?id=40_el_futuro_de_la_evaluacion_educativa
7

Milicic, N.; Rosas, R.; Scharager, J.; Garca, M. y Godoy, C. (2008). Diseo, Construccin y Evaluacin de una Pauta de Observacin de Videos para Evaluar Calidad del Desempeo Docente. Revista Scielo. 17, (2), 79-90. Disponible en: http://
www.scielo.cl/pdf/psykhe/v17n2/art07.pdf
OCDE (2010). Acuerdo de cooperacin Mxico-OCDE para mejorar la calidad de la educacin en las escuelas mexicanas.
Mejorar las escuelas: Estrategias de accin en Mxico. disponible en: http://www.oecd.org/edu/school/46216786.pdf
Porta, S., y Silva, M. (2003). La investigacin Cualitativa: El anlisis de contenido en la investigacin cualitativa. Disponible
en: http://www.uccor.edu.ar/paginas/REDUC/porta.pdf
SEP (1973). Reglamento de escalafn de los trabajadores al servicio de la Secretara de Educacin Pblica. Disponible en:
http://www.sep.gob.mx/work/models/sep1/Resource/24e8c91d-d2fc-4977-ad19-dc572c3e4439/reglamento_escalafon_
sep.pdf
SEP-SNTE. (2011). Carrera Magisterial. Lineamientos Generales. Mxico: Autor
UNESCO (2006). Evaluacin del desempeo docente y carrera profesional docente. Un estudio comparado entre 50 pases
de Amrica y Europa. Disponible en: http://unesdoc.unesco.org/images/0014/001465/146545s.pdf
Valds, H. (2000). Evaluacin del desempeo docente. Encuentro Iberoamericano sobre Evaluacin del desempeo docente.
Mxico. Disponible en: http://www.oei.es/de/rifad02.htm

Estudio de generalizabilidad del sistema


de observacin CLASS en aulas de secundaria
en Baja California
13 de marzo de 2015

Estudio de generalizabilidad del sistema


de observacin CLASS en aulas de secundaria
en Baja California
Olga Lidia Murillo Garca
Licenciada en Psicologa por la UABC, estudiante de la Maestra en Ciencias Educativas
del Instituto de Investigacin y Desarrollo Educativo de la Universidad Autnoma de Baja California, Mxico.
olga.murillo@uabc.edu.mx
Alicia Alel Chaparro Caso Lpez
Doctora en Anlisis Experimental de la Conducta.Investigadora del Instituto de Investigacin
y Desarrollo Educativo de la Universidad Autnoma de Baja California, Mxico.
achaparro@uabc.edu.mx

Luis Horacio Pedroza Ziga


Maestro en Investigacin Educativa, estudiante del Doctorado en Ciencias Educativas del Instituto de Investigacin
y Desarrollo Educativo de la Universidad Autnoma de Baja California, Mxico.
horaciopedroza@hotmail.com

PALABRAS CLAVE: Observacin sistemtica, Secundaria, Evaluacin, Interaccin, Generalizabilidad.


EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

El objetivo del estudio fue determinar la generalizabilidad del sistema Class en aulas de secundaria de Baja California. Este sistema de observacin permite evaluar la calidad de las interacciones que suceden en el saln de
clases, con base en tres grandes dominios: Apoyo emocional, Organizacin de la clase y Apoyo instruccional. Para
la determinacin del ndice de generalizabilidad, se utiliz un diseo cruzado de cuatro facetas: docente, categora,
sesin y observador. Participaron en el estudio 11 aulas que fueron evaluadas con el sistema durante 3 sesiones
consecutivas. Los resultados mostraron que la mayor cantidad de varianza es aportada por la faceta categora. Sin
embargo, se encontraron altos niveles de consistencia interna entre categoras, lo que apunta a que si bien hay
variabilidad entre stas, se puede afirmar que miden el mismo constructo. Se concluye que el sistema Class puede
utilizarse en la evaluacin de las interacciones en aulas de contexto mexicano.

INTRODUCCIN
El sistema de Classroom Assessment Scoring System (Class, por sus siglas en ingls), es una opcin pertinente para estudiar la complejidad de las interacciones en el aula, pues permite identificar los aspectos relacionados con las practicas
pedagogas e instruccionales, el manejo de las actividades dentro del aula y el clima emocional que se despliega en ese
contexto, identificados como factores que intervienen en el desempeo acadmico y en el desarrollo de los estudiantes
(Pianta, Hamre y Allen, 2102). Class es reconocido como uno de los instrumentos ms prometedores para medir aspectos de la relacin maestro-alumno en una gran variedad de contextos que, siendo esenciales en el proceso de aprendizaje,
resultan difciles de capturar con otros instrumentos (Thomson et al., 2000, p.6). Hamre, Pianta y Mintz (2012) refieren
que este sistema ha sido implementado en varios estudios a gran escala en los Estados Unidos. Con todo, en Latinoamrica, se encuentran pocas referencias de su uso. Por ejemplo, en Ecuador, se utiliz en una investigacin auspiciada por
el Banco Interamericano del Desarrollo (BID), realizada en 204 escuelas de educacin primaria desde 2013. En Chile se
utiliz con el propsito de describir el desempeo de educadoras con fines formativos (Trevio, Toledo y Gempp, 2013).
Respecto a la confiabilidad del sistema Class, sta ha sido reportada usando la frmula de porcentaje de acuerdos,
Kappa de Cohen y correlaciones intra-clase (Hamre, Pianta y Mintz, 2102). Sin embargo, si bien estas medidas resultan pertinentes en la descripcin de la confiabilidad del sistema, slo reportan la concordancia entre observadores. No
obstante en la observacin directa, intervienen muchas fuentes de variabilidad y el solo reporte de la concordancia no
resulta suficiente (Blanco-Villaseor, 1991). La Teora de la Generalizabilidad es una de las alternativas propuesta para
determinar el grado de fiabilidad y mrgenes de error, en la que se plantea que existen fuentes de variacin adicionales a
las diferencias individuales, integradas a una estructura global otras fuentes de variacin o error de medida en un diseo
de investigacin observacional. A travs del cual es posible calcular las diferentes fuentes de variacin que son evaluadas
dentro de un mismo diseo mediante diferentes facetas y las interacciones entre las mismas (Cronbach, Gleser, Nanda y
Rajaratnam, 1972, como se cit en Blanco-Villaseor, 1991).
A partir de lo anterior, el objetivo del estudio que se presenta fue determinar el ndice de Generalizabilidad del sistema Class en la observacin de las interacciones en aulas de secundaria en Baja California

DESARROLLO
Mtodo
Participantes
Se involucraron 11 aulas de secundaria de la modalidad general y tcnica pertenecientes al municipio de Ensenada, Baja
California. Las caractersticas generales de las aulas se presentan en la tabla 1.

Instrumento

El sistema de observacin Class est organizado en tres dominios: Apoyo emocional, Organizacin de la clase y Apoyo
instruccional. Cada dominio se conforma por dimensiones, las cuales se centran en descripciones de diferentes aspectos
de la interaccin entre docente-estudiante y entre estudiantes. Cada dimensin incluye indicadores de comportamiento,
observables y especficos. En la tabla 2 se ilustra la organizacin de los dominios y dimensiones de Class.
Estas dimensiones son evaluadas con base en una rbrica de siete puntos: 1 y 2 corresponden a un puntaje bajo; 3, 4, 5,
corresponden a puntaje medio y 6,7 alto. El proceso de calificacin consiste en observar sin interrupcin la actividad que
acontece en el aula durante 15 minutos. En ese tiempo, el observador se concentra en identificar las interacciones que
suceden en el aula. Despus de los 15 minutos de observacin, los evaluadores asignan la puntuacin correspondiente a
cada dimensin.

Tabla 1 Caractersticas generales de identificacin de los grupos


Docente
sexo

Femenino

Masculino
Masculino

Grado

Asignatura

Tipo

Aos
experiencia
docente

Nmero
Alumnas

Alumnos

Total

3A

19

15

34

3B

18

14

32

3D

22

13

35

3E

13

19

32

3F

17

15

32

Taller 2

12

21

12

18

15

16

31

15

21

36

15

22

37

Taller 3
1B
1F*

Matemticas

Dibujo

14

26

Ciencias

24

Masculino

1C

Matemticas

30

Masculino

1A

Espaol

Total 6

11

14

17

31

169

170

339

Nota: *nica aula perteneciente al turno vespertino, Tipo = modalidad, T = tcnica, G = general, Dibujo = dibujo arquitectnico.

Tabla 2 Esquema general de dominios y dimensiones de CLASS


Dominios

Dimensiones

Apoyo emocional

Organizacin del aula

Apoyo instruccional

Clima positivo

Manejo de la conducta

Formatos didcticos para el aprendizaje

Sensibilidad docente

Productividad

Comprensin del contenido

Consideracin hacia las


perspectivas del estudiante

Anlisis e investigacin
Clima negativo

Calidad de la realimentacin
Dialogo instruccional

Compromiso del estudiante


Nota: Traducido de Hamre, B.K., Pianta, R.C., & Mintz, S. (2012). Classroom Assessment Scoring System. VA: Teachstone

Procedimiento
Para hacer factible la determinacin de la confiabilidad inter e intra observador, todas las sesiones en las aulas, fueron
filmadas y posteriormente evaluadas por los observadores. Participaron 16 estudiantes de Psicologa y Educacin como
observadores. Estos recibieron una capacitacin de cinco sesiones, con un total de 27 horas. El proceso de capacitacin
incluy tanto la revisin de la definicin operacional de las categoras, as como prctica de evaluacin individual y en
colectivo. Posterior a las sesiones de capacitacin, se determin la concordancia inter-observador, estableciendo el 90%
como criterio para determinar que un observador era confiable. Una vez capacitados, se asignaron los videos de las sesiones de observacin, para que fueran valoradas en diadas pero, de manera independiente. Posteriormente, los datos de las
valores fueron capturados y analizados.

Resultados y Discusin

La principal contribucin de los estudios de generalizabilidad es determinar qu parte de la variabilidad o de la varianza de las puntuaciones o mediciones observadas es atribuible a cada una de las facetas, o condiciones, y a sus posibles
interacciones. En este estudio, se determin el ndice de generalizabilidad (Shavelson & Webb, 1991), utilizando un diseo cruzado de tres facetas: docente X sesin X observador X categora, mediante el uso del paquete estadstico SPSS.

La primera parte del proceso de anlisis implic la estimacin de los cuadrados medios de cada fuente de variacin del
diseo, los cuales se presentan en la tabla 3.
Tabla 3 Cuadro resumen del anlisis de varianza del plan de observacin
Fuentes de variacin

Suma de cuadrados

Gl

Cuadrados medios

Docente

954.57

10

95.45

Sesin

177.57

12

14.79

Docente*Sesin

1453.57

112

12.97

Observador

10.11

10.11

Docente*Observador

144.17

10

14.41

Categora

8242.71

11

749.33

Docente*Categora

547.42

110

4.97

Sesin*Observador

58.55

12

4.87

Sesin*Categora

186.64

132

1.41

Observador*Categora

20.32

11

1.84

Docente*Sesin*Observador

586.77

112

5.23

Docente*Sesin*Categora

1636.60

1232

1.32

Docente*Observador*Categora

129.62

110

1.17

Sesin*Observador*Categora

95.09

132

0.72

Docente*sesin*Observador*Categora

974.83

1232

0.79

Enseguida, se determin el ndice de generalizabilidad, obteniendo un valor de .097. Junto con ello, se estimaron los
porcentajes de varianza de cada una de las facetas y de las interacciones de stas. Los resultados se muestran en la tabla
4. Se puede observar que la faceta categora (es decir dimensin de observacin) es la que aporta la mayor cantidad de
varianza (55.42%). Asimismo, es posible ver que los observadores no aportan varianza, lo que permite asumir que el
nivel de concordancia entre ellos es alto. Finalmente, las facetas de docente y sesin muestran una varianza moderada,
lo que era de esperarse dado las diferentes caractersticas entre docentes y entre los das de observacin. No obstante, al
encontrar esta alta varianza en las categoras de observacin, result necesario identificar la consistencia interna entre
ellas, pues, si bien cada una evala aspectos de la interaccin diferentes, todas en su conjunto forman parte de un mismo
constructo. As, se practic un Alfa de Cronbach entre las 12 categoras que integran el sistema Class, lo que arroj un
ndice de consistencia interna de .91.
Como se puede apreciar en la tabla 4, la mayor fuente de variacin se ubica en la varianza del error, es decir, que hay
variables que estn influyendo y no se estn identificando. Adems, las siguientes dos interacciones con mayor variacin
son la de docente*sesin y docente*sesin*observador. El bajo nivel de varianza de la faceta observador, indica que existe
un alto nivel de consistencia entre observadores. Por otro lado, se observa ms variabilidad en la faceta docente, atribuida
a las diferencias en la prctica docente. Este resultado es consistente con lo que la literatura seala, en la que se ha afirmado que existe una variacin importante de la prctica en distintos momentos y distintas ocasiones, con cualquier instrumento de medida. Por ejemplo, para el caso de Class, Pianta y Hamre (2009) identificaron, que los docentes disminuyen
la calidad de la prctica en las ltimas horas de la jornada escolar y tambin durante el ciclo escolar. Este hallazgo, sugiere
que para generalizar los resultados al ciclo escolar se tendra que incluir ms sesiones de observacin, o sea ampliar el
universo al que se quiere generalizar los resultados. Y lleva a cuestionarse cuntas mediciones seran adecuadas para
valorar con precisin la prctica de un docente?

Tabla 4 Resultados de los anlisis de los componentes de varianza del plan de medida
Faceta

Componente de varianza

Porcentaje de varianza

Var(docente)

240

4.84

Var(sesin)

.012

0.25

Var(observador)

.000

0.00

Var(categora)

2.752

55.42

Var(docente*sesin)

294

5.92

Var(docente*observador)

.062

1.25

Var(docente*categora)

.166

3.34

Var(sesin*observador)

.002

0.04

Var(sesin*categora)

.000

0.00

Var(observador*categora)

.005

0.10

Var(docente*sesin*observador)

365

7.34

Var(docente*sesin*categora)

.246

4.95

Var(docente*observador*categora)

.034

0.68

Var(sesin*observador*categora)

.000

0.00

Var(docente*sesin*observador*categora)

.787

15.86

4.965

100.00%

Varianza observada

CONCLUSIONES

La principal contribucin de los estudios de generalizabilidad es la identificacin de la varianza atribuida a cada una de
las facetas del diseo, lo que permite determinar si las observaciones realizadas son susceptibles de ser generalizadas a
otros escenarios o a otra poblacin. En el presente estudio el ndice G obtenido fue muy bajo. Sin embargo, de acuerdo
a lo referido por Blanco-Villaseor (1991), la mayor aportacin del anlisis de generalizabilidad es el conocer cul de
las facetas explica el mayor porcentaje de varianza del modelo de medida presentado. En este estudio la faceta observadores tuvo un porcentaje de varianza nulo, lo que indica que stos no son una fuente de variacin, es decir, que tienen
un alto nivel de concordancia inter-observador, traducindose en que los datos obtenidos, a travs de sus valoraciones,
son confiables. Sin embargo, los datos tambin mostraron que la principal fuente de variabilidad se ubic en la faceta de
categora. Esto hasta cierto punto es esperable, pues cada una de las categoras de observacin evalu diferentes conductas, que muestran diferente frecuencia, intensidad y dimensionalidad. As por ejemplo, la categora de Clima negativo
es estructuralmente muy diferente a Clima positivo o a Sensibilidad docente, pues hacia el interior de sus definiciones
operaciones se observa que los elementos que se tienen en cuenta para su valoracin son diferentes entre s. A pesar de
estas diferencias, todas estas categoras representan un mismo constructo: interaccin social; y esto qued demostrado
a travs del alto valor que se obtuvo en la consistencia interna.
Por lo tanto, basados en los resultados obtenidos se pueden establecer tres conclusiones. La primera, es la utilidad que
el estudio de la generalizabilidad, tiene en la determinacin tanto de la confiabilidad de los resultados, as como en el conocimiento de las fuentes de variacin que pueden interferir en el proceso de generalizacin. Los datos presentados en este
estudio, ayudan a afirmar que Class es til y viable para utilizarse en la evaluacin de la interaccin en en salones de clase
de secundaria en el contexto de Baja California. No obstante, como segunda conclusin, podemos mencionar que el ndice
de generalizabilidad fue bajo; pero, en palabras de Blanco-Villaseor (1991), la principal aportacin del estudio de la generalizabilidad es identificar las fuentes de varianza, o dicho en otros trminos, fuentes de error. En este caso fue identificado
que la principal fuente de variacin es atribuible a las categoras de Class, atribuible a las diferencias en los indicadores
de cada categora. Sin embargo, y como tercera conclusin, se reconoce la necesidad de continuar analizando este sistema
en diferentes contextos, de manera que pueda establecerse de una forma ms fehaciente su utilidad en aulas mexicanas.

BIBLIOGRAFA
Blanco-Villaseor, A. (1991). La teora de la generalizabilidad a diseos observacionales. Revista mexicana de anlisis de la
conducta. 17(3), 23-83. Recuperado de revistas.unam.mx/index.php/rmac/article/download/23338/23846
Hamre, B.K., Pianta, R.C. & Mintz, S. (2012). Classroom assessment scoring system. Secondary manual. Virginia, USA:
Teachstone.
Pianta, R.C., & Hamre, B.K. (2009). Conceptualization, measurement, and improvement of classroom processes: Standardized observation can leverage capacity. Educational Researcher,38, 109119
Pianta, R.C., Hamre, B.K., Allen, J.P. (2012). Teacher student relationships and engagement: conceptualizing, measuring,
and improving the capacity of classroom interactions. S.L. Christenson et al. (Eds.), Handbook of research on student
engagement. doi 10.1007/978-1-4614-2018-7_17
Shavelson, R. & Webb, N. (1991). A Primer on Generalizability Theory. Thousand
Oaks, CA: Sage Publications.
Thomson, T., Symons, F., & Felce, D. (2000). Principles of behavioral observation assumptions and strategies. En T. Thomson, D. Felce & F. J. Symons (Eds.), Behavioral observation technology and applications in developmental disabilities
(pp.3-15). USA: Paul H. Brookes Publishing Co.
Trevio, E., Toledo, G., y Gempp, R. (2013). Calidad de la educacin parvularia: las prcticas de clase y el camino a la
mejora. Pensamiento educativos, revista de investigacin educacional latinoamericana, 50(1), 40-62. doi:10.7764/
PEL.50.1.2013

Evaluacin del desempeo en la prctica


docente de estudiantes de 4 grado
de la licenciatura en educacin secundaria
(especialidad en telesecundaria)
13 de marzo de 2015

Evaluacin del desempeo en la prctica


docente de estudiantes de 4 grado
de la licenciatura en educacin secundaria
(especialidad en telesecundaria)
(Avance de Investigacin)

Pedro Chagoyn Garca


Doctorante en Educacin

Maribel Brito Lara


Maestra en Investigacin Educativa
Enrique Herrera Rendn
Maestro en Pedagoga

Armida Liliana Patrn Reyes


Maestra en Enseanza Universitaria

Cristina Ma. Elizabeth Torres Camacho


Licenciada en Ciencias de la Educacin

Escuela Normal Superior Oficial de Guanajuato, Mxico.


chagoyanes@gmail.com

PALABRAS CLAVE: Formacin de profesores, prctica docente, desempeo, evaluacin.


EJE TEMTICO: 2. Innovaciones en evaluacin y medicindel desempeo docente y directivo.

Resumen

Estudio dirigido a evaluar desempeos del trabajo docente (prctica intensiva en condiciones reales de trabajo)
que realizan estudiantes normalistas de la Licenciatura en Educacin Secundaria, con especialidad en telesecundaria, durante el 4 (ltimo) grado de formacin profesional inicial. Esto permitir construir una propuesta de
evaluacin para identificar coincidencias y discrepancias en los logros con relacin a los rasgos del perfil de egreso
del citado programa educativo.
Se emplea una perspectiva cualitativa para mostrar cmo es vista y asumida la prctica docente del estudiante
normalista.
Con base en los desempeos de la prctica docente, ser posible evaluar el programa educativo y la formacin
recibida de los egresados. Evaluar, desde un enfoque formativo, es entendido como un proceso de mejora que
permite tanto a los estudiantes, formadores de docentes y a la institucin normalista identificar logros y reas
de oportunidad as como delinear propuestas para la mejora continua; de modo que los procesos de formacin
profesional inicial contribuyan a que los futuros docentes promuevan el logro de aprendizajes congruentes con los
propsitos de la educacin secundaria.

INTRODUCCIN
Con la Licenciatura en Educacin Secundaria que se ofrece en la Escuela Normal Superior Oficial de Guanajuato (ENSOG),
se pretende:
Brindar a los futuros profesores una formacin centrada en el conocimiento y comprensin de los procesos
de desarrollo de los adolescentes, las caractersticas de la escuela secundaria y la dinmica cotidiana de la tarea
educativa, as como en el aprendizaje de los contenidos propios de la especialidad y el desarrollo de las competencias
didcticas para su enseanza en la escuela (SEP, 2001, p. 5).

A 15 aos de la operacin del citado programa educativo, se han formado profesionales de la educacin secundaria
en las especialidades de Biologa, Espaol, Fsica, Formacin Cvica y tica, Historia, Lengua Extranjera (Ingls), Matemticas, Qumica y Telesecundaria. Asimismo se han llevado a cabo acciones de seguimiento y evaluacin a la operacin
del Plan de estudio en comento, entre ellas: Evaluacin a los docentes (perspectiva de los estudiantes y de los propios
acadmicos); Evaluacin a los estudiantes a partir del Examen Intermedio (Exi) y del Examen General de Conocimientos
(EGC) que aplica la Direccin General para la Formacin de Profesionales de la Educacin (DGESPE) a travs del Centro
Nacional de Evaluacin para la Educacin Superior A.C. (Ceneval); Encuesta sobre la satisfaccin de la formacin recibida
y, Seguimiento de egresados (ingreso al servicio docente y desempeo profesional).
Un elemento valioso de la evaluacin docente relacionada con el Plan de Estudio 1999 es contar con informacin
sobre desempeos de estudiantes normalistas, para ello, se lleva a cabo la investigacin para caracterizar la prctica
docente en 4 grado de la LES, durante periodos intensivos a lo largo de un ciclo escolar en el campo real de trabajo, bajo
la tutora de un profesor experimentado. Esto, nos permitir construir conocimiento sobre coincidencias y discrepancias en los logros profesionales y en torno al perfil de egreso. Si bien la prctica del docente es un entramado complejo,
nos enfocaremos a la dimensin didctica, es decir al papel de dicho sujeto como agente que mediante procesos de
enseanza, organiza, orienta y media la interaccin de los educandos con el saber para que estos ltimos construyan
sus propios conocimientos.
As, en el presente ciclo escolar 2014-2015, se da seguimiento a estudiantes de modalidad escolarizada con especialidad de Telesecundaria esto obedece, por una parte, a que es un programa educativo que ser evaluado y acreditado ante
el Comit Interinstitucional para la Evaluacin de la Educacin Superior (CIIEES) y el Consejo para la Acreditacin de
Educacin Superior A.C. (Copaes); dicha especialidad se ha ofertado ininterrumpidamente desde el ciclo escolar 20002001. Por otra parte la modalidad de Telesecundaria representa, en nuestro estado, alto porcentaje de centros educativos
que ofrecen educacin secundaria (55.57% en 2012). Un aspecto ms, es que la autoevaluacin para la integracin del
Programa de Fortalecimiento de la Escuela Normal (ProFEN) 2014 y 2015 (ENSOG, 2014), evidenciaron que esta especialidad ha obtenido promedios altos en el Examen Intermedio y el Examen General de Conocimientos que aplica la Direccin General de Educacin Superior para la Formacin de Profesionales de la Educacin (DGESPE) a travs del Centro
Nacional de Evaluacin (Ceneval). Finalmente, el seguimiento que se propone es factible pues los integrantes del grupo
de inters (candidatos al reconocimiento como Cuerpo Acadmico en Formacin por el Programa para el Desarrollo Profesional Docente -Prodep-), participamos como asesores de 4 grado de tres de seis grupos de la LES con especialidad en
Telesecundaria, generacin 2011-2015, sujetos de estudio.

PREGUNTA DE INVESTIGACIN
Cules de las caractersticas de los desempeos docentes de los estudiantes del cuarto grado, grupos A, E y F, generacin
2011-2015 coinciden y no con los rasgos del perfil de egreso de la LES Dominio de los propsitos y contenidos de la
educacin secundaria y, Competencias didcticas?
3

OBJETIVO GENERAL
Caracterizar los desempeos docentes de los estudiantes del cuarto grado, grupos A, E y F, generacin 2011-2015 y contrastarlos con los rasgos del perfil de egreso de la LES Dominio de los propsitos y contenidos de la educacin secundaria y, Competencias didcticas para identificar coincidencias y discrepancias.

OBJETIVOS ESPECFICOS
a) Describir las caractersticas del desempeo docente de los estudiantes del cuarto grado, grupos A, E y F, generacin
2011-2015.
b) Analizar la relacin entre las caractersticas de este desempeo docente con los rasgos del perfil de egreso de la LES
Dominio de los propsitos y contenidos de la educacin secundaria y, Competencias didcticas.
c) Plantear alternativas para fortalecer la formacin inicial de los docentes de telesecundaria.

DISEO METODOLGICO
Para lograr los objetivos de caracterizacin e identificacin y contrastacin de resultados entre desempeos y perfil de
egreso, se realizar un estudio con perspectiva cualitativa para el anlisis de la prctica docente, con la finalidad de mostrar tal como es vista y asumida.
Se har uso de la lgica inductiva e interpretativa donde las acciones quedan desprovistas de significado estable:
deben ser a menudo interpretadas en curso de interacciones. Y la interaccin pasa a ser concebida como proceso de interpretacin, que permite a los sujetos comunicar y mantener activos los intercambios, interpretando lenguaje, gestos y
actos. El contexto abandona su funcin de mero marco pasivo de la accin. Estudiar la accin educativa implica estudiar
la interaccin entre sujetos en la cotidianidad-formalidad del proceso educativo, para que a travs del acopio de datos se
construyan categoras y proposiciones.
Los procedimientos interpretativos permiten dar sentido a las reglas de superficie, que son una estructura abierta
con un horizonte de significaciones posibles. Se retomar la propuesta de Cicourel (1974) para la caracterizacin de los
procedimientos interpretativos.
Lo anterior permitir identificar categoras que posteriormente caracterizarn el desempeo de los estudiantes normalistas durante jornadas de trabajo docente (22 semanas en el ciclo escolar 2014-2015) y evaluar desempeos. Estas
categoras se contrastarn con los cinco rasgos del perfil de egreso de la LES: Habilidades intelectuales especficas, Dominio de los propsitos y los contenidos de la educacin secundaria, Competencias didcticas, Identidad profesional y tica y
Capacidad de percepcin y respuesta a las condiciones sociales del entorno de la escuela (SEP, 2000).
Se ha diseado y aplicado una serie de instrumentos como: guiones de observacin, entrevista personal y de grupo,
registros de clase (in situ y videograbada), diarios de campo de los estudiantes, revisin de planificaciones (que realizan
los estudiantes previo al trabajo docente), talleres de anlisis y reflexin sobre su trabajo docente, revisin documental
y expedientes para caracterizar las prcticas que llevan a tener buenos resultados. Con esto se pretende determinar significados, dilemas y praxis, perspectivas de los practicantes y actividades como recurso estructurador de los diseos de
accin (Sacristn, 1998).

Poblacin de estudio

La poblacin de estudio se elige en funcin de caractersticas y complejidad de un estudio cualitativo que intenta develar
significados y cualidades para su interpretacin terica y emprica, sin descartar que el dato numrico juega un papel pre-

ponderante en las evaluaciones de los estudiantes. Por ello, se ha considerado seguir los desempeos de 18 estudiantes
de la especialidad en Telesecundaria, con diferentes niveles de desempeo bajo, medio, y alto. En los diferentes contextos
rurales de los municipios de Dolores Hidalgo, Irapuato, Silao, Guanajuato del estado de Guanajuato.

Campo temtico
El campo temtico sujetos, actos y procesos de formacin, y el subcampo formacin de docentes (normal y universidades)
y de profesionales de la educacin, deriva el rea investigacin formacin y ejercicio profesional, en la cual se ubica la
sub-rea de estudio vinculacin con el ejercicio profesional en establecida por Comie da pauta para fundamentar antecedentes en el campo, as como aspectos tericos metodolgicos a seguir.

Marco conceptual
En esta investigacin sobre desempeos en la prctica educativa de estudiantes de la Licenciatura en Educacin Secundaria, especialidad en Telesecundaria, generacin 2011-2015, requiere una mirada conceptual en aspectos de la profesin
docente tales como las funciones docentes, competencias profesionales, formacin continua y condiciones de trabajo,
para ello se retoma la perspectiva de Martnez (2001) y Day (2005) de los cuales es posible complementar, argumentar
y contextualizar sobre el dato emprico.
Este anlisis de las prcticas docentes de Telesecundaria en el estado de Guanajuato, no se puede dejar de lado como
marco conceptual la plataforma poltica educativa en Mxico, que da sentido a las prcticas docentes en secundaria,
y para ello se hace necesario analizar la Reforma de Educacin Bsica (SEP, 2011) y el modelo educativo que rige a la
modalidad de Telesecundaria en Mxico, as como los indicadores nacionales que hoy da evalan el logro educativo y los
desempeos de los docentes en educacin bsica, tal es el caso de carrera magisterial, escuela de calidad que proporcionan informacin valiosa para la caracterizacin de las prcticas docentes.
Situarse en un estudio de la prctica docente obliga a retomar los procesos de enseanza y aprendizaje en Telesecundaria, para ello, se buscar fundamentar las propuestas que se plantean para el aprendizaje significativo en el aula de
Daz Barriga (2006) como vehculo conceptual para la comprensin de las estrategias ms innovadoras como el aprendizaje situado, la enseanza basada en proyectos y el aprendizaje basado en problemas. Aunado a la estrategia didctica
como modelo de enseanza a Aebli (2001), este referente para proporciona herramientas para el anlisis de la dimensin
de la competencia didctica.
El anlisis de la prctica como instrumento para la transicin de la mejora de las prcticas docentes y la prctica como
objeto de estudio en el campo educativo, Bazdresch (2000) es buen referente para extraer los significados de la prctica.
Como una lnea terica conceptual para la descripcin y anlisis de resultados. El compendio conceptual se plantea extenso, intenta cubrir todas las aristas terico-metodolgicas del estudio.

CONCLUSIONES PRELIMINARES
Se tiene una percepcin sobre el perfil docente en la EN basado en algunas competencias profesionales especficas y no
en rasgos o caractersticas ms integrales de la personalidad docente para su desarrollo profesional.

Existe un nfasis en el desarrollo de conocimientos curriculares, didctico y prctico, dejando de lado el dominio metodolgico que implica al proceso para generar aprendizajes a partir de un ncleo de conocimientos, los estudiantes normalistas se preocupan por la estrategia didctica, el uso de los materiales y recursos, no tanto por el proceso de aprendizaje
por el que habr de transitar el alumno, la prctica, utilidad, y contextualizacin del objeto conceptual. En palabras de Juan
Delval (1990), el conocimiento escolar sirve para la escuela y no se percibe su utilidad fuera de ella, excepto para estudiar

lo que se ha estudiado; los estudiantes internalizan conocimientos didcticos pedaggicos a manera de un manual o pasos
inmutables a seguir, esta forma pasiva no permite modelar una prctica docente a las necesidades reales de los alumnos
y los contextos. El aprendizaje del futuro docente exige la existencia de habilidades para interpretar la realidad y formar
modelos de actuacin para el aprendizaje.
Esas habilidades para generar aprendizajes significativos se ven favorecidas por la prctica de un pensamiento creativo, innovador, gestor del conocimiento del normalista, es poner al centro del proceso formativo del futuro maestro el
aprendizaje, y focalizar en sus prcticas docentes los ritmos del alumno, y el paso del qu aprende. Se trata de que descubra por s mismo nuevas formas de elaborar conocimientos didcticos pedaggicos y contrastar sus conjeturas con la
realidad de la escuela Telesecundaria.
Socialmente no se identifican los saberes profesionales del docente como importantes para la gestin del aprendizaje,
se focalizan ms los aspectos conductuales de los alumnos en el entrenamiento de la prctica docente.

En las diversas observaciones de la prctica docente de los estudiantes normalistas en la escuela Telesecundaria los
tutores a cargo (docentes titulares de grupo), orientan ms hacia aspectos conductuales o de gestin de ambiente de clase,
esta categora considera las formas en que el profesor ejerce la toma de decisiones sobre el rapport, y manejo del grupo
como un coadyuvante en el proceso enseanza-aprendizaje. Los aspectos conductuales y control de grupo como las principales preocupaciones del normalista en su prctica docente. Aqu se identifica una fuerte necesidad de los profesores
titulares por mantener orden, esta nocin de control es transferida al estudiante normalista. Estas acciones docentes de
gestin de clases corren transversalmente durante toda la sesin de trabajo ulico, para ellos es de vital importancia,
inclusive ms que el aprendizaje que pudiera derivarse de las actividades. Ms que ensear contenidos como sistemas
cerrados es trasmitir formas de razonamiento para el momento histrico en que se vive (Zemelman, 2006).
La EN no contempla de manera intencionada un desarrollo de competencias personales durante la formacin inicial,
presupone que la formacin curricular dar consistencia y cambio en los aspectos actitudinales y valorales de los
futuros docentes.

No existe una puesta en marcha de habilidades personales alentadas desde la formacin de manera intencionada y
deliberada, pareciese que el entramado curricular provee desarrollos personales (valores, actitudes, formas de comunicacin) de facto, la realidad es que estas habilidades interpersonales de los normalistas se sitan en diferentes desarrollos, en la prctica docente la comunicacin con el alumno depende de la personalidad y motivacin del alumno, el empuje
de valores y actitudes positivos en la prctica docente favorecen sustancialmente el aprendizaje. Se observa la necesidad
de una plataforma formativa de cualidades personales en el futuro docente para el logro del aprendizaje del alumno en la
escuela telesecundaria. Habra que mencionar que en algunos estudiantes confluyen estos desarrollos personales generados en sus mbitos socioculturales; quedando por desarrollar en la Escuela Normal habilidades profesionales docentes.
El acto del aprendizaje se gesta desde la construccin de los significados de manera individual, nadie puede ser enseado si no existe predisposicin para querer aprender, no siempre que se ensea se aprende, y no siempre que se aprende
se ha enseado, se funda en una relacin de aceptacin del otro como legtimo de convivencia, constituye una relacin
de respeto con el otro (Maturana, 1997). Por consiguiente el proceso enseanza-aprendizaje conlleva una plataforma de
relacin interpersonal entre docente y alumno, es un acto cara a cara, que permite crear el principio de confianza para
aprender, partir de ah el docente requiere la caja de herramientas profesionales y personales. Una y otra se demandan
para el ejercicio docente, la empata, la confianza, no seran nada, sin l saber profesional, tampoco bastara con un buen
repertorio didctico-pedaggico sin un soporte actitudinal que favorezca mejores relaciones interpersonales en el aula,
lamentablemente la EN no contempla un desarrollo profesional para mejorar habilidades en las relaciones interpersonales o en actitudes y valores, dando por hecho que ests irn mejorando con la prctica docente. Pareciera que ambos desarrollos, los personales y profesionales estn separados por una inherente necesidad de focalizar solo en el conocimiento
prctico, dejando de lado aspectos importantes en la formacin del futuro docente (Carr, 1996).
6

No todos tienen cualidades para la profesin docente, no se establece perfil de ingreso que permita detectar actitudes
y desarrollos de la personalidad ptimos para la docencia, si bien, es posible construir la vocacin durante el trayecto
formativo, esta no sera posible cuando no se cuenta con ciertas actitudes y desarrollos de la personalidad.
La importancia de la deteccin de una verdadera disposicin para la profesin docente, no solamente a nivel conocimientos, es necesario identificar en el perfil de ingreso rasgos de la personalidad que coadyuven en el proceso enseanza-aprendizaje en la prctica educativa.

REFERENCIAS
Aebli, Hans (2001) 12 formas bsicas de enseanza. Una didctica basada en la Psicologa. Narcea. S.A. Ediciones. Madrid.
Bazdresch, Miguel (2000) Vivir la educacin, transformar la prctica, Jalisco: Textos Educar 1 SEJ, pp. 141.
Carr, Wilfred. (1996).Una teora para la educacin. Hacia una investigacin educativa crtica. Madrid: Morata.
Day, C. (2005). Formar docentes. Madrid: Narcea.
Delval, Juan. (1990) Los fines de la educacin. Madrid/Mxico: Siglo XXI.
Cicourels Aaron (1974) El mtodo y la medida en Sociologa.Scrib.
Daz Barriga, F. (2006). Enseanza situada, vnculo entre la escuela y la vida. McGraw-Hill.
ENSOG (2014). Programa de Fortalecimiento de la Escuela Normal (ProFEN) 2014 y 2015.
Martnez (2001), El contrato moral del profesorado. Biblioteca para la actualizacin del maestro. SEP.
Maturana, H. (1997). Emociones y lenguaje en educacin y poltica. Santiago: CED (Centro de Estudios de Desarrollo).
Sacristn, J. G. (1998). El Curriculum: Una Reflexin Sobre La Prctica. Madrid: Morata.
SEP (2001).Licenciatura en Educacin Secundaria. Campo de formacin especfica. Especialidad Telesecundaria.
SEP (2000).Licenciatura en Educacin Secundaria. Plan de Estudios 1999. Mxico.
SEP (2011). Plan de Estudios 2011. Educacin Bsica. Mxico: SEP.
Zemelman, H. (2006). La labor del maestro: formar y formarse. Mxico DF: Pax Mxico.

Estudio de caso: La calidad educativa


desde ISO 9001-2000 en Zacatecas
13 de marzo de 2015

Estudio de caso: La calidad educativa


desde ISO 9001-2000 en Zacatecas
Adolfo Castruita Monreal
Licenciatura en Educacin, Maestra en Docencia Superior y Procesos Institucionales
y Doctorado en Ciencias Polticas (Educativas y Sociales)
Seduzac (Secretaria de Educacin de Zacatecas), Mxico.
acastruitam@prodigy.net.mx

PALABRAS CLAVE: Certificacin a la calidad educativa


EJE TEMTICO: 4. Uso e impacto de los resultados de evaluacin a docentes y directivos.
Subeje: mejoramiento de las prcticas pedaggicas y de la gestin escolar.

Resumen

La certificacin que propone ISO IWA2-2003/NMX-CC-023-IMNC:2004, sistemas de gestin de la calidad: directrices para la aplicacin de la Norma ISO 9001-2000 en educacin, pretende facilitar la incorporacin de los procesos
educativos ms comunes a un proceso de mejora continua por medio del anlisis de las necesidades, deficiencias
y fortalezas de la institucin para optimizar los resultados del trabajo docente.
Al considerar que los planes y programas de estudio por s mismos no garantizan que los alumnos adquieran
los conocimientos y desarrollen las habilidades, destrezas y herramientas necesarias para ser competentes en la
sociedad actual, la institucin educativa debe evaluar constantemente la pertinencia y eficacia del servicio que
proporciona a la sociedad, lo cual conlleva el anlisis de elementos que son cruciales para la mejora continua,
la transparencia y la rendicin de cuentas.
Sistematizar el trabajo escolar requiere analizar las perspectivas socioculturales para delimitar los mbitos de
accin, las situaciones particulares segn su complejidad y considerar el grado de preocupacin por mejorar la
calidad del servicio ofertado.
Una propuesta para mejorar la calidad educativa requiere utilizar herramientas de evaluacin para profesionalizar la enseanza y justificar las implicaciones terico-metodolgicas del aprendizaje que tienen mayor exigencia para que se realice un trabajo confiable y de calidad.
La directriz institucional, propuesta desde la poltica educativa, se encuentra reglamentada por parmetros,
trayectorias y disposiciones generales centradas en intereses y demandas del momento histrico-social que corresponden a coyunturas sociales y polticas nacionales e internacionales que condicionan los procesos de enseanzaaprendizaje reflejadas en el enfoque curricular vigente.

INTRODUCCIN
La calidad educativa se ha conceptualizado a partir del anlisis de los diversos aspectos del discurso propuesto desde la
poltica educativa vigente y las expresiones comunes de los actores sociales involucrados en el tema, pero si se piensa que
la formacin acadmica es una parte vital de una educacin para la vida entonces se deben considerar las necesidades
sociales y establecer compromisos relacionados con expectativas y requisitos para que los egresados de cada grado y
nivel educativo desarrollen las habilidades y destrezas necesarias para insertarse, de forma exitosa, en cualquier mbito
de la sociedad donde es requerido.
Como sujetos sociales, docentes, alumnos y padres de familia se encuentran inscritos en diversos y variados espacios
estructurados y dinmicos que responden a los estmulos del medio para adaptarse y modifican sus conductas para
construir aspiraciones e imaginarios colectivos donde se incluyen gustos, necesidades y prcticas. La configuracin de
las estructuras de redes ideolgicas, aceptadas o rechazadas, se articula por medio de leyes y normas que conforman los
valores colectivos compartidos por los individuos que alimentan, de forma incuestionable, el sentido social de la vida.
Sin embargo, dentro de la estructura del campo educativo se configura una sociedad idealizada que se transparenta
por medio de la evaluacin aplicada a las instituciones educativas, mismas que se encuentran inmersas en contextos
socioculturales desiguales y contradictorios que median los procesos de especializacin y expansin del conocimiento
social particular que se hace palpable al reconocer las necesidades y exigencias a la escuela pblica.
Al revisar y analizar los elementos que se rescatan de la poltica educativa de la Certificacin ISO 9001-2000 en el
Estado de Zacatecas que propone cambios significativos en la visin de escuela que se tiene y que se quiere para la sociedad ya que, puede ser que la metodologa didctica, los materiales de estudio, la prctica docente, el equipamiento y
mantenimiento escolar de estas instituciones, sean parte del modelo educativo con el cual se pretende mejorar la calidad
de los aprendizajes que permitirn a los alumnos dar significado a la realidad actual.
Desde los supuestos empricos, muchas instituciones educativas mencionan que cuentan con mayor o mejor calidad
educativa que otras del mismo nivel y que ofrecen un mejor servicio porque cuentan con instalaciones ideales para
un mejor aprendizaje, un personal altamente calificado para la tarea educativa y materiales o programas que cumplen
con las ms altas exigencias del momento.
Pero, quin se encarga de verificar, certificar o dar fe de una realidad institucional y de las caractersticas de un
servicio del que hacen uso los grupos sociales de una localidad determinada?; decir que se cuenta con calidad implica la
necesidad de revisar las caractersticas de los procesos que se aplican en cada institucin y que puedan servir de ejemplo
para otros colectivos escolares.

EL MODELO EDUCATIVO DESDE LA CERTIFICACIN ISO 9001-2000,


LA EXPERIENCIA ZACATECAS
La educacin y la cultura de un pueblo van de la mano y se influyen mutuamente, a tal grado que el ideal social se traduce
en la poltica educativa que condiciona el trabajo acadmico en las instituciones escolares (textos, materiales de estudio
y relaciones terico-prcticas y elementos de evaluacin) al proponer procesos de transicin para mejorar ciertas deficiencias socioculturales del alumno por medio de la prctica pedaggica del docente.
La bsqueda y aplicacin de soluciones a problemas educativos por medio de modelos alternativos que han funcionado en momentos, contextos y situaciones particulares, han resultado eficaces para elevar la calidad en algunas instituciones escolares al reconocer necesidades y fortalezas especficas que marcar la pauta para impulsar el desarrollo de
habilidades y la adquisicin de conocimientos de algunos contextos en la sociedad.
El inters de los padres por buscar la mejor opcin educativa tiene fundamento en las crisis sociales, educativas
y laborales que se viven en el mbito local por la transformacin del mundo moderno; los planteles escolares se ven emplazados a proponer opciones educativas y optimizar el servicio escolar porque los resultados no son los esperados y la
institucin no ha respondido a las necesidades y exigencias sociales.
3

En los retos actuales de formacin bsica se requiere proyectar objetivos que, como explica Arnaut1(1), es necesario
orientar hacia la gestin de la calidad, la pertinencia y la equidad porque se considera que la formacin y desarrollo de
las habilidades y aptitudes bsicas permiten el acceso a los siguientes niveles de educacin formal y a la necesidad
de aprender a aprender.
En el marco de la Reforma Educativa, se pretende consolidar un modelo educativo sustentado en la equidad, en el
acceso y cobertura, en la pertinencia de los estudios, la eficiencia en el uso de los recursos y en el impulso a la competitividad desde la educacin por medio de la construccin de un paradigma de la calidad2(2) donde se pretende que un punto
fundamental sea establecer un conjunto bsico de normas y criterios que permitan garantizar que los Reconocimientos
de Validez Oficial de Estudios (certificados) den la certeza de que los individuos ostentan los conocimientos y habilidades
necesarios para que, efectivamente, la educacin sea una opcin que ayude a mejorar la calidad de vida de las personas.
Considerando como punto de partida lo anteriormente expuesto, los objetivos del estudio se orientan a comprender
las caractersticas de los referentes de interpretacin situacional de la escuela frente a los retos cientficos y tecnolgicos
del mundo actual, visualizar las propuestas de mejora continua del proceso enseanza-aprendizaje que se plantea la certificacin ISO, el manejo del enfoque de los contenidos curriculares que elaboran los docentes para la promocin de un
mejor planteamiento educativo dentro del aula y la cultura que se fomenta entre los alumnos, futuros padres de familia
y profesionistas de nuestro pas.
Se considera que la investigacin resulta til para la realizar un anlisis general de la propuesta de Escuela de Calidad
con las caractersticas propias del Estado, permitiendo visualizar el modelo educativo que se propone desde la prctica
cotidiana y la concepcin de una propuesta educativa desde la gestin de la calidad por medio de la mejora continua que
se imparte en las escuelas, en este caso, las zacatecanas.

ISO IWA2-2003/NMX-CC-023-IMNC:2004
APLICADO EN EL ESTADO DE ZACATECAS
Para la realizacin del presente trabajo de investigacin se realiza un anlisis de los elementos que se rescatan de la poltica educativa de implementar normas y lineamientos propios de la certificacin ISO 9001-2000 en la educacin bsica
que se imparte en el Estado de Zacatecas como parte del proyecto para mejorar la calidad educativa al implementar una
secuencia de criterios para la formacin del estudiante desde los aspectos curricular, docente, organizacin escolar y
mtodos pedaggicos entre otros ms para lograr una interrelacin acadmica entre los niveles educativos.
Como parte de los antecedentes, en el caso de Zacatecas es por medio del Programa Escuelas de Calidad y del Consejo
Estatal de Participacin Social en la Educacin quienes colaboran en cada una de las etapas de gestin escolar, desde la
capacitacin, dictaminacin, seleccin y seguimiento a cada uno de los Planes Estratgicos escolares como parte de la
investigacin general para elevar la calidad de la educacin en el Estado.
La norma internacional ISO 9001:2000 certifica la educacin por medio de la implementacin de un Sistema de Gestin de Calidad para reorganizar la tarea educativa desde las instancias gestoras y ordenar los procesos educativos, lo que
permite constatar la pertinencia del servicio que ofrece la institucin; por este motivo se toma en cuenta como alternativa
para elevar la calidad educativa de las escuelas zacatecanas. Para este proyecto el Consejo decide que dos instituciones de
educacin bsica, participantes en el Programa, son idneas para la certificacin ISO 9001:2000, tal es el caso de la Primaria Salvador Varela Resndiz de la ciudad de Zacatecas, Zac. y de la Secundaria General no. 2, Gral. Lzaro Crdenas
del Ro del municipio de Fresnillo, Zac.
Despus de poco ms de un ao y tres meses de trabajo conjunto de docentes, personal administrativo y de apoyo,
alumnos y padres de familia, las dos escuelas se certificaron, este proceso fue avalado por la empresa certificadora IQNet, IQNet o IQnet, nombre en ingls que significa Red Internacional de Certificacin, subsidiaria de SAI Global Limited.
Arnaut, Alberto (2005), La Gestin del Sistema Educativo Federalizado (1992-2005), en Educare nueva poca, Revista para los maestros de Mxico,
Ediciones SEP, Ao 1, nm. 2, Agosto, Pg. 8.
2
Puntos de la Agenda Educativa que Present la Secretaria de Educacin, Lic. Josefina Vzquez Mota, ante La Conferencia Nacional de Gobernadores
(Conago) sobre el Programa Sectorial Educativo 2007-2012 el 15 de julio de 2007.
1

Para la certificacin se considera la aplicacin de la norma ISO/IWA 2:2003, establecida a partir del Taller de acuerdos
internacionales (IWA por sus siglas en ingls,) y en la Educacin Mexicana es el principio para aplicar la certificacin ISO
en la escuela porque analiza desde los diferentes ngulos de la calidad de la educacin que propone el Estado, as como
el sistema de gestin que la asegura.
La utilidad terica y prctica que propone la estructura bsica de la documentacin del Sistema de Gestin de Calidad
planteada por la Norma ISO para directores y maestros del Sistema Educativo Nacional, tiene como meta lograr una educacin eficiente, eficaz y pertinente que responda a las necesidades de las generaciones de jvenes mexicanos.3
Desde el anlisis de la referencia del Sistema de Gestin de la Calidad, los colectivos escolares asumen el compromiso
de tomar las decisiones con base en las directrices indicadas como obligatorias:

El analizar las necesidades de enseanza de cada grado y grupo, as mismo como de las necesidades educativas de
los alumnos.

Disear procesos educativos especficos segn necesidades y fortalezas detectadas durante las actividades docentes.
Desarrollar procesos educativos y dar seguimiento para verificar su pertinencia.
Implementar acciones para el intercambio de ideas que permitan solucionar problemticas comunes.
Evaluar la enseanza conforme al manual de procedimientos, especificando el proceso de elaboracin, aplicacin,
valoracin y la acreditacin.

Sin embargo no se debe olvidar que desde la realidad especfica, un modelo de calidad no consiste slo en hechos concretos y cosas fsicas sino que incluye la forma como las personas implicadas en estos hechos las perciben;4 la calidad
como referente de un trabajo bien hecho implica que cada participante en el proceso educativo cumpla con las metas y
expectativas que se esperan de l y, por lo tanto, debe conocer lo mejor posible las obligaciones, derechos e implicaciones
de la labor que le corresponde tanto a uno como a los otros.

DISEO DEL TRABAJO DE INVESTIGACIN


El estudio se lleva a cabo por medio de un diseo descriptivo5 con el que se pretende establecer el tipo de relacin existente entre los elementos propuestos por la Certificacin ISO 9001-2000 y los que se presentan en los planteles certificados.
Se toma como orientacin el anlisis centrado en el mejoramiento de la calidad educativa.
En el esquema para la recoleccin de datos se determina aplicar a las autoridades educativas entrevistas organizadas por medio de temas relacionados con las necesidades, requisitos y mejora continua propuestos por la norma ISO;
la encuesta a padres de familia, docentes y alumnos, estudios de seguimiento de la documentacin requerida para la
certificacin en los diversos momentos y una observacin de campo. Se pretende que la informacin sea evidencia de los
fenmenos que han ocurrido con la certificacin a las instituciones de educacin bsica.
Segn las caractersticas propias del proyecto, la aplicacin de cada instrumento se realiza en una sola ocasin y se
procede a la inmediata descripcin y anlisis la informacin con el objetivo de evitar que con el tiempo se modifique
algn aspecto y se dificulte su comprensin.
La recoleccin de datos se realiz en un mximo de tres a cuatro meses, tomando como antecedentes la orientacin
que ofrecen las investigaciones y anlisis realizados por Vicente Oria Razo y Laura Elena Yzaguirre Peralta con respecto a
la Calidad Educativa e ISO 9001-2000, as como el trabajo emprico-descriptivo realizado por el Prof. Jos Santos Valds
con respecto a las caractersticas de un trabajo educativo de calidad dentro de las escuelas de educacin bsica.
Se debe reconocer que es fundamental obtener la informacin de una manera global porque al indagar en una multitud de
personas involucradas en el acto educativo, requiere utilizar un proceso cuantitativo que d cabida a la recuperacin de toda la
Yzaguirre Peralta, Laura Elena (2004), Calidad Educativa e ISO 9001:2000 en Mxico, en ISO 9000 en la educacin: Gua para la Administracin
Escolar, Fundap, Universidad Autnoma del Noreste y Secretara de Educacin Pblica, Gobierno del Estado de Coahuila. Pg. 3.
4
Mead, Margaret (1995), El currculum integrado, Caracas, Universidad de Venezuela, Pg. 69.
5
Se conoce tambin como diseo observacional y es frecuente que la hiptesis principal sea emprica porque aun se encuentra en proceso de
planteamiento o definicin y los hallazgos permitirn su conveniente formulacin.
3

informacin que se pueda obtener; para ello, despus de la aplicacin de los cuestionarios a tres de los actores de la vida escolar
que son alumnos, Maestros y Padres de Familia, se recopila la informacin mediante un anlisis no paramtrico trabajando con
frecuencias y porciones como anlisis de la informacin; en este caso, se aplica un anlisis de correlacin de variables.
Para trabajar la documentacin (manuales, informes y registros) que presentan las escuelas, se realiza un anlisis de
texto y en las entrevistas se procede de la misma forma; se aplica el examen del discurso a una entrevista estructurada
que previamente se dise y prob con algunos sujetos que podran dar respuestas similares.
Con esto se espera dar respuesta a las posibles interrogantes iniciales que se han planteado como objetivos del presente trabajo de investigacin para lo cual fue necesario establecer las rutas que permitieran llegar a obtener la informacin con un grado de certeza y confiabilidad. Para ello se toman en cuenta los mtodos cualitativos y cuantitativos que
permitan dar con los resultados deseados desde los estudios de nuestra disciplina.

COMO FORMA DE CONCLUSIN

Un aspecto importante a considerar en el estudio corresponde a la Certificacin ISO 9001-2000 a la Calidad Educativa en
Zacatecas como poltica que se aplica en instituciones de educacin media y superior, pero se comienza a proyectar a la
educacin bsica como una forma de mejorar la gestin de la calidad educativa gracias a que se orienta a detectar reas
de oportunidad y posibles deficiencias institucionales que son factibles de atenderse y solucionarse oportunamente, lo
que ayuda a elevar los ndices de eficiencia terminal e incrementar el trnsito de alumnos de un nivel a otro en mejores
condiciones acadmicas y socioculturales.
En un primer momento, se piensa que en algunos casos donde se otorga la certificacin ISO 9001-2000 a la calidad
educativa, slo responde a intereses polticos de algn momento socio histrico de la entidad y que la calidad, en cuanto a
preparacin del personal docente, pertinencia de los contenidos y materiales, la eficiencia inicial y terminal de los alumnos, y el contexto conveniente para estimular el proceso enseanza aprendizaje, han quedado de lado.
En el anlisis preliminar de la documentacin, las instituciones puntualizan algunos problemas que se atienden con la certificacin: articulacin entre grados, eficiencia en la cobertura y equidad, evaluacin constante de la calidad del servicio como
resultado de factores como recursos didcticos, evaluacin constante y generacin de una cultura de rendicin de cuentas.
Al revisar el ideal sociocultural que reflejan las polticas educativas en el trabajo acadmico que realizan las instituciones escolares certificadas con la norma ISO 9001-2000, se proponen desde las particularidades institucionales, procesos
de transicin entre las acciones aplicadas para mejorar el desempeo acadmico y las prcticas de gestin propias de cada
docente para generar que todos sus alumnos se apropien de los lineamientos bsicos del conocimiento y desarrollen las
habilidades necesarias para interactuar de forma efectiva en cualquier situacin social; desde la norma ISO/IWA 2:2003
las instituciones definen sus proyectos y metas de mejora continua con base en un anlisis sobre las deficiencias y fortalezas de su sistema, consensando en consejo tcnico escolar los lineamientos que guiarn sus procesos de mejora continua.
Cabe hacer mencin que estas instituciones establecen un compromiso social y capacitan al personal para que orienten su trabajo acadmico por medio de procesos educativos de calidad donde la asignacin de los grupos, en el caso de
la escuela primaria, se realiza con base en la preparacin y capacitacin del docente. En el caso de la secundaria, cada
docente lleva una actualizacin pedaggica y didctica por medio de talleres de adiestramiento segn la asignatura que
atienden; en ambas instituciones, la mayor parte del personal docente cuenta con estudios de posgrado.
En ambas instituciones se lleva un registro de los diversos procesos educativos que se encuentran certificados,
de los que se exige por parte de las auditorias, descripcin y evidencia; en este rubro, la rendicin de cuentas es una
las principales caractersticas del proceso educativo que se lleva a cabo. La visin de las expectativas personales y
profesionales que tienen los docentes al trabajar con la certificacin se considera que, por la organizacin escolar que
se propone, la carga administrativa es un poco mayor que en otras instituciones similares, y los apoyos que reciben o
esperan para realizar mejor su trabajo muchas veces no son los esperados.
Sin embargo en los docentes que laboran en estos centros educativos se han observado dos posiciones frente a la
organizacin del modelo educativo que se propone desde la certificacin, la mayora se compromete con el trabajo educativo y propone mejoras continuas a su asignatura o grupo. Estos docentes asisten a los talleres y cursos que se programan
desde el inicio del ciclo escolar y aplican los procesos segn lo marca el manual.

El segundo grupo de docentes, considera que solo se trata de ms trabajo administrativo, que el medio sociocultural
de los alumnos influye demasiado y que con la exigencia constante se est perdiendo le enfoque humanista de la educacin y, que simplemente no cambia en nada la situacin de los alumnos y por lo tanto, el modelo que se propone no
va a mejorar la educacin. Sin embargo se observa que tambin este grupo de docentes hacen su mejor esfuerzo para la
educacin de sus alumnos y participan, de buen modo o protestando, pero hacen su trabajo bastante bien.
En la labor educativa de cada docente se determina el compromiso por la mejora acadmica de cada uno de los alumnos, considerando que se debe conocer los perfiles de egreso que se pretende lograr en cada uno y reconocen las situaciones problemticas comunes que se presentan cotidianamente y se planifican las acciones para su correccin y superacin; para determinar la exigencia acadmica reconocen las necesidades educativas de cada alumno para proporcionar
las condiciones para que desarrollen las capacidades y herramientas intelectuales necesarias para seguir aprendiendo.
Sin embargo, desde el anlisis resultante de la triangulacin de la informacin de los instrumentos aplicados, a este
modelo de calidad le falta definir objetivos y metas como parmetros para verificar cuantitativamente el grado de avance de los procesos y contar con una metodologa de anlisis apoyada en evidencias objetivas sobre el cumplimiento de
principios, polticas de calidad y, sobre todo, de resultados alcanzados, ya que desde las ultimas evaluaciones nacionales
(ENLACE) se visualiza que hace falta ms trabajo acadmico para mejorar el desempeo de los alumnos, demostrar que
se tiene calidad educativa.
Para concluir, es menester considerar que algunos de los elementos que se rescatan de la certificacin ISO 9001-2000
pueden enriquecer el trabajo en las escuelas de educacin bsica, considerando que la evidencia de las actividades cotidianas y la rendicin de cuentas llevan a realizar un trabajo de calidad, ya sea por la misma fiscalizacin o por el convencimiento de la responsabilidad social que tiene el docente con el futuro de nuestra sociedad.

BIBLIOGRAFA (solo la principal)


ARAGN Romero, Fernanda (2006), Gestin escolar: factor clave en la calidad educativa en ENLACE, rgano de Comunicacin de la Secretara de Educacin y Cultura num. 86, marzo, Gobierno de Sonora, Mxico.
ARNAUT, Alberto (2005), La Gestin del Sistema Educativo Federalizado (1992-2005) en: Educare nueva poca, Revista
para los maestros de Mxico, Ediciones SEP, Ao 1, nmero 2, Agosto, Mxico.
FERNNDEZ Aguerre, Tabar (2003), Perfiles de las Escuelas Primarias Eficaces de Mxico Informe Final de Investigacin
2001, Ediciones INEE, Mxico.
GOBIERNO DEL ESTADO DE ZACATECAS (2005), Plan Estatal de Desarrollo 2005-2010, apartado 6.3.1. Educacin y Cultura, orientacin y lineamientos de la poltica educativa, Zac. Mxico.
ISO/IWA-2 (2002) Directrices para la aplicacin de la norma ISO 9001-2000 en educacin en Procesos, sistema de gestin
de calidad: requisitos generales en Organizacin Educativa, Secretaria de Economa, Gobierno Federal, Mxico.
__________ (2003), La evaluacin continua de la pertinencia del plan de estudio y de los procesos educativos, en La Norma
ISO 9001-2000 en la educacin, Generalidades, IWA2-2003 SEP/Cotennsiscal/Pmetyc, Mxico.
ORIA Razo, Vicente (2003), La calidad de la educacin, en ISO 9001:2000 en la educacin mexicana, Ediciones virtuales
SEP, Mxico.
_________ (2003), Los ocho principios bsicos para la aplicacin de ISO/IWA2:2003, directrices para aplicar la norma ISO
9001-2000 en la educacin, en ISO 900-2000 en la educacin mexicana, Ediciones virtuales SEP, Mxico.
SCHMELKES, Sylvia (1992), Hacia una mejor calidad de nuestra escuela. Publicaciones SEP, Mxico.
_________ (2005), La desigualad en la calidad de la educacin, en Revista Interamericana de estudios educativos, 3er.
trimestre, ao/vol. XXXV, nms.3, Centro de Estudios Educativos de la UACM, Mxico.
Yzaguirre Peralta, Laura Elena (2004), Calidad Educativa e ISO 9001:2000 en Mxico, en ISO 9000 en la educacin:
Gua para la Administracin Escolar, Fundap, Universidad Autnoma del Noreste y Secretara de Educacin Pblica,
Gobierno del Estado de Coahuila.
7

Cmo mejorar la calidad de la educacin


inicial de los nios vulnerables de Chile?
Evidencia del programa Un Buen Comienzo
13 de marzo de 2015

Cmo mejorar la calidad de la educacin


inicial de los nios vulnerables de Chile?
Evidencia del programa Un Buen Comienzo
Marcela Marzolo
Perla Paola Chvez Spuler
Fundacin Educacional Oportunidad, Chile
Felipe Godoy
Mara Francisca Romo
Ernesto Revio
CPCEU, Universidad Diego Portales, Chile

EJE TEMTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

INTRODUCCIN
Un Buen Comienzo (UBC) es un programa de desarrollo profesional docente para educadores y tcnicos en prvulo que
busca contribuir a disminuir el impacto de las diferencias socioculturales en la educacin inicial de nios y nias que
viven en situacin de vulnerabilidad social en Chile, a travs de un trabajo integrado en cuatro mbitos: desarrollo del
lenguaje y socioemocional, salud y trabajo con familia.
UBC comenz a implementarse en 2008 como un programa de intervencin cuyo impacto fue evaluado a partir de un
diseo experimental, aleatorizado y controlado. En este sentido, la recomendacin siempre fue evitar salirse del esquema
diseado inicialmente para no sesgar las estimaciones de resultados. La implementacin fue realizada durante dos aos
en seis comunas de la Regin Metropolitana, y alcanz a alrededor de 2000 nios de prekinder y knder. Dicha experiencia finaliz en 2011, encontrndose un impacto moderado y decreciente con el tiempo en la calidad de las interacciones
pedaggicas, y ausencia de impacto significativo en los aprendizajes de los nios. A continuacin, en los siguientes grficos, se muestran el impacto en interacciones pedaggicas (Grfico 1), el impacto en el desarrollo del lenguaje (Grfico 2)
y en desarrollo socioemocional (Grfico 3), luego de dos aos de intervencin.
Grfico 1 Impacto en Interacciones, luego de 2 aos de intervencin.

Grfico 2 Impacto en desarrollo del lenguaje, luego de 2 aos

Grfico 3 Impacto en desarrollo socioemocional, luego de 2 aos de intervencin

Con el tiempo y lo aprendido de la primera versin, el modelo se ha ido ajustando, principalmente con la intencin de dar sustentabilidad y escalabilidad a la intervencin. Con este propsito, se dise e implement una segunda
versin del programa, adoptando la metodologa de mejoramiento continuo y potenciando el trabajo con los equipos
directivos. El modelo de mejoramiento continuo se implement por primera vez el ao 2011 en la Sexta Regin de Chile,
en las comunas de Rancagua, Codegua y Chimbarongo. El siguiente trabajo describe el diseo y los resultados de esta
versin del programa.

EL MODELO DE MEJORA CONTINUA

La Mejora Continua en UBC tiene dos pilares principales: la colaboracin entre distintos actores, y el proceso de mejoramiento cclico en base a la recoleccin y trabajo con evidencia emprica. El primer pilar se basa en la propuesta del Insti-

tute for Healthcare Improvement (IHI), y el segundo, en el modelo Datawise, desarrollado por la Facultad de Posgrado de
Educacin de la Universidad de Harvard. A continuacin se describe con algo de profundidad cada pilar.

El modelo de IHI
El modelo colaborativo de IHI contiene dos componentes clave. En primer lugar, se definen instancias colaborativas,
entendidas como una estructura de aprendizaje en la que participan diversas entidades que comparten sus experiencias
y aprendizajes para lograr objetivos comunes. En el caso de Un Buen Comienzo, se convoc al trabajo colaborativo a las
escuelas participantes del proyecto, autoridades del nivel local y central, y expertos en las temticas.
Esta instancia contempla un primer momento, en donde los expertos definen los temas centrales de trabajo (en este
caso, los cuatro ejes centrales del programa), luego se define la carta de navegacin o Charter, en la que se define los
objetivos del programa, y los conductores tanto primarios como secundarios que orientan las acciones del proyecto que
permitirn alcanzar esos objetivos. Esta declaracin gua resume lo que se espera realizar con la iniciativa de mejoramiento, y responde a las tres preguntas bsicas del modelo: Qu intentamos realizar?; Cmo sabremos que un cambio
es una mejora? , Qu cambios nos llevarn hacia el mejoramiento?
El tercer momento del modelo de colaboracin est compuesto por una serie de sesiones de aprendizaje con perodos de accin entre cada una. En ellas, participan los equipos que lideran el proceso de mejora en cada escuela quienes,
a travs de presentaciones plenarias, pequeas discusiones de grupo y reuniones de equipo, tienen la oportunidad de:
dar a conocer la carta de navegacin (primera sesin); conocer los resultados de las pruebas en terreno; recopilar nueva
informacin sobre el tema y la mejora de procesos de los colegas y expertos; compartir informacin con otras escuelas;
desarrollar planes de mejora detallados para su organizacin.
Los perodos de accin entre sesiones de aprendizaje son parte fundamental del programa. Durante stos, los equipos
trabajan en sus respectivas salas de clase, realizando pruebas de cambio y recogiendo datos para evaluar si ha habido
mejora. De ac se desprende el segundo componente clave del modelo IHI: las pruebas de cambio y el ciclo de mejora
PHEA (Planificar-Hacer-Estudiar- Actuar).
Para desarrollar su trabajo, los equipos utilizan el ciclo de mejora PHEA (Planificar-Hacer-Estudiar- Actuar) desarrollado por Associates in Process Improvement (Langley et al. 2009). Este ciclo se caracteriza por trabajar con objetivos
especficos, medibles a travs del tiempo y por definir cambios claros que resultarn en la mejora esperada. Por ltimo,
estos deben ser evaluados a travs de una serie de pruebas de cambio, que permiten a los equipos aprender a aplicar una
idea de cambio en sus propias salas (IHI 2003, Langley et al. 2009).
Estas pruebas de cambio se llevan a cabo de manera cclica: en primer lugar, los equipos planifican la prueba de
cambio. Luego, al probarla, toman en cuenta las caractersticas culturales y organizacionales propias. En un segundo
momento, deben monitorear su proceso mediante mediciones a travs del tiempo y estudiar los resultados para determinar cmo es posible mejorar. As, en base a lo aprendido, actan para implementar los cambios de manera permanente
o para mejorar los cambios que necesitan un mayor trabajo. Este proceso contina de manera serial a travs del tiempo,
refinando los cambios en cada nuevo ciclo.

El Modelo Datawise

Datawise es un modelo que permite organizar el trabajo de mejora educativa, donde la base es la toma de decisiones en
base a evidencia emprica. Consta de tres grandes fases, cada una con sus pasos ms especficos y abordables.
En la primera fase, de preparacin, la comunidad debe prepararse para el trabajo con datos. En la segunda fase, de
indagacin, comienza el trabajo con la gran variedad de datos con la que cuentan los establecimientos educacionales. Se
destaca la necesidad de utilizar estos datos y analizarlos de manera profunda para detectar y poder enfrentar los posibles
problemas, sin quedarse en el estancamiento de una primera revisin que indica resultados negativos o resultados relativamente buenos. Una vez que se tienen estos datos, es necesario que los equipos trabajen en entender los mecanismos
subyacentes a stos, es decir, entender por qu se obtienen estos resultados. Para esto, es necesario el involucramiento

activo de los docentes y equipos directivos, la utilizacin constante de observaciones de aula, y el anlisis de los trabajos
y tareas de los nios. En otras palabras, se trata del anlisis conjunto de la comunidad de todos los datos que entreguen
pistas para entender los resultados obtenidos.
La ltima fase, es la de Actuar, en la que se desarrolla un plan de mejora, se planifica cmo se evaluar ese plan,
para luego actuar y volver a evaluar.

METODOLOGA
Mtodo
Dada la naturaleza del tipo de intervencin de la mejora continua (un formato ms adaptable a los contextos, con dosis
menos prescritas y estandarizadas) y la forma de seleccin de las escuelas (ausencia de aleatorizacin), es que no fue
posible evaluar el impacto utilizando un diseo experimental, aleatorizado y controlado, como en la primera versin
del programa.
El grupo de comparacin se construy a partir de las salas del grupo de control de la primera versin, todas ubicadas
en la Regin Metropolitana, por lo que fue necesario hacer ajustes para que los grupos fueran estadsticamente comparables. Para esto, se utiliz la estimacin de ponderadores por probabilidad inversa (inverse probability weighted estimators) (Imbens & Wooldridge, 2008), tcnica que pondera cada caso por su probabilidad de participacin en el programa1.
Los resultados se calculan utilizando un modelo de regresin por mnimos cuadrados ordinarios, con errores estndares robustos (Khandker, Koolwal & Samad, 2010). Esto fue necesario dado que se asume que los resultados de los nios
de una misma sala no son independientes entre s. Es necesario, por tanto, introducir correcciones en el clculo de los
errores agrupando los casos por sala.

Muestra y unidad de anlisis


En el siguiente cuadro se resume la informacin de la muestra utilizada para el estudio.
Tabla 1 Resumen de la muestra del estudio
Grupo de intervencin

Grupo de control

N muestral

361 nios, 27 salas, 26 escuelas

843 nios, 38 salas, 27 escuelas

Comunas

Rancagua, Chimbarongo, Codegua


(VI REGIN)

Cohorte 1: Pealoln
Cohorte 2: Maip y Lo Prado
Cohorte 3: Estacin Central, Pudahuel y San Ramn.
(REGIN METROPOLITANA)

Variables de inters e instrumentos


Para medir los resultados en desarrollo del lenguaje, se utiliz la batera Woodcock- Muoz (Woodcock, Muoz, Ruef &
Alvarado, 2005). A su vez, para medir desarrollo socioemocional, se dise un cuestionario socioemocional para ser contestado por la educadora de cada nio (Yoshikawa et al, 2012).
Los datos de interacciones de aula fueron recogidos a partir del instrumento Class (Pre-K), The Classroom Assessment Scoring System (Pianta, La Paro & Hamre, 2008). Este instrumento consiste en una rbrica que califica con puntajes
Por razones de espacio, se omitirn de esta propuesta todas las frmulas, tanto de los ponderadores como del modelo de regresin utilizado,
pero sern expuestos el da de la presentacin en caso de ser necesario.

de 1 a 7, interacciones pedaggicas entre el educador y los estudiantes a partir de tres grandes dominios: Apoyo Emocional, Organizacin de la Sala y Apoyo Pedaggico.
Los datos de variables de contexto fueron recogidos a travs de un Cuestionario para padres y apoderados, diseado
especficamente para la evaluacin de impacto de la primera versin de Un Buen Comienzo (Yoshikawa et al., 2012),
y luego adaptado para la versin de Mejora Continua.
Todas las variables se detallan en la Tabla2:
Tabla 2 Variables del modelo final de regresin. Elaboracin propia.
Variables de Contexto

Variables resultado nivel nio

Variables de sala

Previsin de Salud (Dummy set)

Vocabulario sobre dibujos (WM)

Apoyo emocional CLASS

Situacin laboral de la madre

Id. letras y palabras (WM)

Organizacin de la sala CLASS

Madre ha estado en la sala o no

Dictado (WM)

Apoyo Pedaggico CLASS

Educ. de la madre (Dummy set)

Comprensin de textos (WM)


Comportamiento externalizante
Comportamiento pro-social
Atencin

RESULTADOS
A continuacin se presentan los tres tipos de resultados obtenidos: calidad de interacciones pedaggicas, desarrollo
del lenguaje y desarrollo socioemocional.

Resultados en la calidad de las interacciones de aula.


Luego de dos aos de intervencin, el programa logra impactos de gran tamao en los tres dominios de Class, alcanzando
impactos promedio de una desviacin estndar. Vale la pena remarcar los importantes avances logrados por el modelo de
mejora continua en trminos de interacciones pedaggicas, ya que esto da cuenta de que un modelo menos prescriptivo
y ms co-responsable es ms efectivo en mejorar las prcticas.
Grfico 4 Calidad de las interacciones de aula despus de dos aos de intervencin. Elaboracin propia.

Significancia estadstica: ~ = .10, * = 0.05, ** = 0.01, *** = 0.001


6

Resultados en el desarrollo de los nios: Lenguaje y Socioemocional


Los resultados expuestos controlan por la lnea de base y los puntajes de base de Class de los tres dominios de inters
(Apoyo emocional, Organizacin del aula y Apoyo Pedaggico). Se observa que el programa tuvo impacto positivo en la
dimensin de Identificacin de Letras y Palabras, no as en las otras tres dimensiones evaluadas. Incluso, en Escritura
emergente y Comprensin se encuentra un efecto contrario al esperado, aunque no es estadsticamente significativo.
Los resultados estandarizados muestran que el avance en la dimensin mencionada es de 0,38 desviaciones estndar,
mientras que los otros efectos, no significativos, no alcanzan a superar el 18% de una desviacin estndar.
Los resultados muestran que en general el programa fue ms efectivo en el desarrollo socioemocional de los nios,
particularmente en las dimensiones de Comportamiento pro-social (0,43 desviaciones estndar) y Atencin (0,28
desviaciones estndar).En el caso de Atencin, los resultados deben verse con ms mesura, ya que al controlar por las
variables de interacciones de aula, el efecto slo es significativo al 10%.
Grficos 5 y 6Resultados en Desarrollo del Lenguaje y desarrollo socioemocional
despus de dos aos de intervencin. Elaboracin propia.

Significancia estadstica: ~ = .10, * = 0.05, ** = 0.01, *** = 0.001

CONCLUSIONES Y DISCUSIN

Los resultados muestran que la versin de Mejora Continua de UBC tuvo grandes impactos en la calidad de la enseanza
de las educadoras en todos los dominios: emocional, organizacional y pedaggico. Pero esto no necesariamente se traspas de igual manera a los resultados de aprendizajes de los nios/as.
En el caso del desarrollo socioemocional, se encuentra impacto positivo y significativo en comportamiento prosocial y
atencin. Esto quiere decir que al finalizar kinder, los nios participantes del programa tienden a interactuar ms de manera positiva con otros nios/as, cooperar en las actividades y juegos y ayudar al resto de sus compaeros. As tambin,
son ms capaces de seguir atentamente indicaciones y concentrarse en las actividades de la escuela.
En el caso del desarrollo del lenguaje, los resultados se encuentran en la direccin correcta, pero no son tan buenos
como se esperaba. Solo en identificacin de letras y palabras se encuentra un efecto significativo y robusto atribuible al
programa, no as en vocabulario, comprensin de textos y escritura emergente.
Algunas posibles explicaciones para estos resultados son, en primer lugar, metodolgicas. En el caso de comprensin
de textos, la prueba utilizada mide comprensin de textos y no comprensin oral, que es en lo que se centra fundamentalmente el programa, de acuerdo a la edad de los nios/as. Tambin existen explicaciones y sugerencias respecto de la propia
intervencin. Por un lado, es necesario aumentar la dosis de la enseanza de vocabulario, la cual debe ser constante

y en diversos contextos, no solo en la actividad especfica de vocabulario. Por otro, es necesario fijar la atencin en la relacin entre desarrollo del lenguaje y desarrollo socioemocional y cognitivo. Los resultados mostraron avances en el comportamiento prosocial y atencin, pero no necesariamente en las funciones cognitivas y ejecutivas de base del lenguaje,
como la memoria trabajo, flexibilidad cognitiva, etc. Es posible que este sea el primer paso por donde se deba partir, para
tener efectos en las habilidades de lenguaje ms complejas, como la comprensin.
Ahora bien, Qu aprendemos sobre los modelos de desarrollo profesional docente a partir de estos resultados?
En primer lugar, es necesario considerar los bajos niveles de apoyo pedaggico con que parten las educadoras de prvulo. Si bien los resultados mostraron un avance significativo del grupo UBC en comparacin al grupo de control, ambos se
encuentran en niveles bajos de calidad, lo que puede explicar que los resultados de los nios/as no sean los esperados.
Este es uno de los desafos ms importantes para los programas de desarrollo profesional docente y que deben ser considerados a la hora del diseo e implementacin de polticas en este mbito.
En segundo lugar, si bien ambos modelos mostraron algn resultado positivo, el modelo de Mejora Continua fue
considerablemente ms efectivo que la primera versin. Una propuesta como esta, donde las educadoras se responsabilizan de elegir estrategias y probar cambios dentro de un marco estructurado como lo es la toma de decisiones basada en
evidencia, es mucho ms atractiva y motivante para el cuerpo docente. En otras palabras, la apuesta por un programa que
genera capacidades en sus docentes, ms que instaurar propuestas a prueba de ellos, puede llevar a mejores resultados.
Por todo esto, al momento de elegir modelos de mejoramiento profesional docente, es necesario preguntarse qu tipo
de sistema escolar queremos como sociedad, uno que d resultados en el corto plazo, pero con la constante amenaza de
su poca sustentabilidad en el tiempo; o uno con resultados sustentables, que requiere ms trabajo para su instauracin,
pero que permite formar profesionales que son capaces de tomar sus propias decisiones pedaggicas, a los cuales la
sociedad puede confiar a sus estudiantes.

REFERENCIAS
Imbens, G. M., & Wooldridge, J. M. (2008). Recent developments in the econometrics of program evaluation (No. w14251).
National Bureau of Economic Research.
Khandker, S. R., Koolwal, G. B., & Samad, H. A. (2010). Handbook on impact evaluation: quantitative methods and practices.
World Bank Publications.
Pianta, R. C., La Paro, K. M., & Hamre, B. K. (2008). The Classroom Assessment Manual, pre-K. Baltimore, MD: Brookes
Woodcock, R. W., Muoz-Sandoval, A. F., Ruef, M., & Alvarado, C. G. (2005). Woodcock Muoz Language Survey-Revised.
Itasca, IL: Riverside Publishing.
Yoshikawa et al. (2012). Un Buen Comienzo: Post-test Impact report of an Iniciative to Improve the Quality of Preschool
Education in Chile. Harvard Graduate School Of Education and Centro de Polticas Comparadas de Educacin,
Internal Draft.

Estndares para la evaluacin del desempeo


docente. Anlisis de tres modelos
14 de marzo de 2015

Estndares para la evaluacin del desempeo


docente. Anlisis de tres modelos
Luis Horacio Pedroza Ziga
Maestro. Universidad Autnoma de Baja California. Mxico.
horaciopedroza@hotmail.com
Edna Luna Serrano
Doctora. Universidad Autnoma de Baja California. Mxico

PALABRAS CLAVE: Estndares de desempeo docente, evaluacin docente, evaluacin de la enseanza.


EJE TEMTICO: 1. Modelos y polticas de evaluacin de docentes y de directivos escolares.

Resumen

Este trabajo presenta un anlisis de tres modelos de estndares de evaluacin del desempeo docente. Los modelos estudiados son los emitidos por el National Board for Professional Teaching Standards (NBPTS), Interstate
Teacher Assessment and Support Consortium (InTASC), ambos de los Estados Unidos y los Estndares Profesionales Nacionales para Docentes de Australia.
El anlisis parte de una revisin documental y se abordan los propsitos, el contenido y los niveles de desempeo de los estndares.
El anlisis pone de manifiesto que los modelos revisados tienen propsitos diversos pero comunes, como la
profesionalizacin de los docentes, la certificacin y la retroalimentacin de la prctica para promover el aprendizaje profesional. Para ello, los estndares definen niveles desempeo que representan un continuo de desarrollo
por el que los docentes tienen que transitar en su crecimiento profesional. La comparacin permite identificar que
el contenido de los estndares es muy similar en los tres modelos.

INTRODUCCIN

Analizar lo que otros pases han hecho en materia de establecimiento de estndares para la evaluacin del desempeo
docente, resulta relevante, dadas las acciones que se han tomado en el sistema educativo mexicano con la promulgacin
de la Ley General del Servicio Profesional Docente.
El reto que enfrenta la Secretara de Educacin Pblica (SEP) y el Instituto Nacional para la Evaluacin de la Educacin (INEE) para la creacin y validacin de un sistema de estndares en Mxico, es muy grande. A los sistemas o modelos
aqu analizados les ha llevado dcadas construir y validar sus estndares y sistemas de evaluacin y certificacin, an y
cuando estos sistemas, en un inicio tenan una tarea menor al mexicano, pues se concentraron en evaluar solamente un
segmento de la carrera docente; por ejemplo slo el ingreso a la docencia o a docentes expertos.
El propsito de esta ponencia es analizar tres modelos de estndares sobre el desempeo docente: National Board
for Professional Teaching Standards (NBPTS), Interstate Teacher Assessment and Support Consortium (InTASC) y los Estndares Profesionales Nacionales para Docentes emitidos por el Australian Institute for Teaching and School Leadership
(AITSL). Se comparan los propsitos de los estndares, el contenido y los niveles de desempeo.

DESARROLLO
Segn la Real Academia de la Lengua Espaola, estndar es: un adjetivo que sirve como tipo, modelo, norma, patrn o
referencia. En lengua inglesa es un sustantivo con dos acepciones; como bandera o estandarte, y como especificacin con
la cual la calidad requerida de algo puede ser probada (Ingvarson & Kleinhenz, 2006). Todas estas definiciones hacen
referencia a los usos que tiene el trmino en educacin. No obstante, el trmino no ha estado libre de confusiones, en
distintos pases el trmino se ha utilizado aludiendo a cuestiones como: meta, criterio de juicio, nivel de progreso, nivel
de competencia e incluso como currculum, lo que ha contribuido a generar confusin (OCDE, 2013).
Ingvarson & Kleinhenz (2006) especifica que un estndar para evaluar el desempeo docente tendra que considerar
tres elementos:
a) Definir el objeto a evaluar, o qu se evala. Consiste en explicitar los elementos que deben estar presentes en una
buena enseanza. A esto se denomina estndar de contenido.
b) Definir cmo se evala. Implica especificar cmo se obtendrn las evidencias vlidas sobre la prctica docente.
c) Identificar el grado de desempeo. Incluye expresar qu tan bien se debe desempear el docente, especificar los puntos de corte para cada uno de los niveles de desempeo y ejemplificar su ejecucin.

Descripcin de los tres modelos de estndares


En este apartado se presenta una breve descripcin de los estndares que sern objeto de anlisis en el presente documento.

NBPTS
Es una asociacin sin fines de lucro, integrada principalmente por docentes. Su misin es promover el aprendizaje de los
alumnos por medio del establecimiento de un sistema de estndares y certificaciones para docentes experimentados.
Los estndares son especficos de acuerdo a la disciplina y el nivel de desarrollo de los alumnos. El sistema de estndares
emite, en total, 25 certificados en 16 reas de contenidos y cuatro niveles de desarrollo de los alumnos.
Es una certificacin de gran prestigio. Inici sus trabajos en 1987, la creacin de los estndares estuvo liderada por
Lee Shulman y contaron con la participacin de investigadores muy destacados como Cronbach. A la fecha, el NBPTS ha
emitido ms de cien mil certificados en 50 estados de EUA (National Board for Professional Teaching [NBPTS, s.f.).

InTASC

Esta evaluacin fue tambin creada en 1987. En un principio desarrollaba estndares para evaluar nicamente a los docentes que queran acreditarse en el ingreso a la profesin. Pero en 2011 inici un proceso de reforma, a partir de la cual
dej de ser una evaluacin exclusiva para certificar el ingreso a la docencia, ampliando el rango a todo el ejercicio profesional docente (Council of Chief State School Officers [CCSSO], 2013). Otro cambio es su alineacin a otras propuestas
existentes en los estados de la unin americana, como los elaborados por el NBPTS, as como innovaciones en la descripcin de los estndares para facilitar su uso con fines formativos.

Estndares Profesionales Nacionales para Docentes de Australia

Estos estndares son emitidos en 2011 por el propio ministerio de educacin del pas. Se tomaron en consideracin las
elaboraciones previas de los estados y territorios de ese pas. Investigadores educativos analizaron estndares disponibles en otros pases y se promovi la participacin de los docentes en la elaboracin de los mismos (Australian Institute
for Teaching and School Leadership [AITSL], 2012b).
Los estndares estn inmersos dentro de un modelo de mejora de la enseanza, el cual busca involucrar a toda la
comunidad escolar en la creacin de una cultura de desempeo y desarrollo. Esta cultura de desempeo y desarrollo est
caracterizada por el claro propsito en la mejora de la enseanza (AITSL, 2012a).
3

Los propsitos de los estndares


Los estndares han sido utilizados con fines de certificacin, seleccin por empleadores, evaluacin, autoanlisis y reflexin sobre la prctica, as como para guiar el desarrollo profesional (Ingvarson & Kleinhenz, 2006).
El propsito de los estndares del NBPTS es: elevar el estatus, la voz y el rol que cumplen los docentes y conformar
a la docencia como una verdadera profesin; definir lo que los docentes expertos deben conocer y ser capaces de hacer;
as como reconocer los logros de la enseanza a travs de un proceso de certificacin riguroso, comparable con otras
profesiones como medicina, ingeniera y derecho (NBPTS, s.f.).
El propsito de los estndares del InTASC es describir una nueva visin de la enseanza en la cual se aspira transformar el sistema educativo norteamericano para satisfacer las necesidades de los aprendices actuales, y servir como un
recurso a disposicin de distintos agentes educativos en el desarrollo de polticas y programas para preparar, certificar,
apoyar, evaluar y recompensar a los docentes (CCSSO, 2013).
Adems tienen tres funciones: servir como estandarte, ofreciendo una visin del lugar a donde se quiere ir; definir
niveles del desempeo especfico que debe ser alcanzado; y articular las actividades de aprendizaje profesional y los apoyos que deben proporcionarse, para garantizar que los docentes tengan las oportunidades para alcanzar los estndares
(CCSSO, 2013).
Los estndares australianos tienen los siguientes propsitos (AITSL, 2012):
a)
b)
c)
d)

Hacer explcitos los elementos de una enseanza efectiva de alta calidad.


Ofrecer un marco para el aprendizaje profesional de los docentes, la autoevaluacin y la reflexin sobre su prctica.
Contribuir a la profesionalizacin de los docentes y elevar el estatus de su profesin.
Establecer un modelo de rendicin de cuentas profesional, ayudando a asegurar que los docentes tengan las competencias profesionales adecuadas.

A partir de la exposicin de los objetivos de cada uno de los estndares, se puede identificar algunas semejanzas y
diferencias. Las tres instituciones los utilizan como un mecanismo para favorecer la profesionalizacin de los docentes;
establecen una gua de aquello que los docentes deben conocer y saber hacer, ofrecen un proceso de certificacin de las
competencias y representan un recurso para el desarrollo profesional, la autoevaluacin y la reflexin sobre la prctica.
El modelo desarrollado por el InTASC es el nico que explcitamente propone el uso de los estndares para el diseo
de polticas educativas. Por otra parte, los estndares australianos son los nicos que declaran en sus propsitos, utilizar
los estndares con fines de rendicin de cuentas.

Contenido de los estndares


El contenido de los estndares expresa los conocimientos y habilidades que deben tener los docentes en su desempeo
profesional. La tabla 1, presenta un comparativo de estas caractersticas en los tres modelos.
No obstante las diferencias que existen entre los estndares, es posible identificar una correspondencia entre lo que
pretenden evaluar. Haciendo un anlisis de los mismos, se podran establecer algunos elementos que subyacen a los tres:

a) Conocimiento de los alumnos. Los docentes necesitan conocer a profundidad a sus alumnos, tanto en su desarrollo
cognitivo, afectivo y social, as como las diferencias sociales y el conocimiento de las comunidades de donde ellos
provienen.
b) Conocimiento del contenido disciplinar y del contenido pedaggico. Las tres evaluaciones enfatizan la necesidad de
que los docentes sean muy conocedores del contenido disciplinar que van a ensear pero tambin de cmo se tiene
que ensear ese contenido, atendiendo a la didctica propia de cada disciplina.
c) Habilidad para involucrar a los alumnos en un aprendizaje activo. Es un nfasis que tienen los estndares, los tres
declaran explcitamente que conciben a los estudiantes como aprendices activos en el proceso de enseanza. Incluso
para el InTASC se utiliza la palabra aprendiz, para referirse a los alumnos, porque este concepto refleja un papel activo
del alumno.

d) Aprendizaje profesional. Las tres evaluaciones coinciden en la necesidad de que los docentes recaben, analicen, muestren a colegas y reflexionen sobre evidencias de su prctica, tanto para mejorar el aprendizaje de sus alumnos como
mejorar sus habilidades de enseanza.
Tabla 1 Estndares bsicos para los tres modelos
AITSL

InTASC

NBPTS (Generalistas
para preescolar)

1. Conocer
a los estudiantes
y cmo aprenden

1. El maestro entiende cmo los alumnos crecen y se desarrollan,


reconociendo que los patrones de aprendizaje y desarrollo varan
de forma individual dentro y a travs de las reas social, cognitivo,
lingstico, emocional y fsica, y disean e implementan experiencias
de aprendizaje desafiantes y apropiadas al desarrollo.
2. El profesor utiliza la comprensin de las diferencias individuales, las
diversas culturas y las comunidades para garantizar ambientes de
aprendizaje inclusivos que permitan a cada alumno cumplir con altos
estndares.

1. Usar el conocimiento
del desarrollo infantil
para entender al nio
de forma integral
3. Fomentar la equidad,
justicia y apreciacin
de la diversidad

2. Conocer el contenido
y cmo ensearlo

4. Conocimiento del contenido. El docente entiende los conceptos


centrales, herramientas de indagacin, y estructuras de la disciplina
que ensea, y crea experiencias de aprendizaje que hacen a la
disciplina accesible y manejable para que los aprendices garanticen
dominar el contenido.
5. El docente entiende cmo conectar los conceptos y utiliza diversas
perspectivas para involucrar a los aprendices en un pensamiento
crtico, creativo y en la resolucin de problemas colaborativos
relacionados con asuntos locales y globales autnticos.

4. Conocer los
contenidos
disciplinares para la
enseanza de nios

3. Planificacin
e implementacin
efectiva de la
enseanza
y el aprendizaje

7. El docente planifica una instruccin que apoya a cada estudiante a


alcanzar sus metas de aprendizaje.
8. El docente entiende y usa una variedad de estrategias didcticas
para fomentar que los aprendices desarrollen un profundo
entendimiento del contenido y sus conexiones, y construir
habilidades para aplicar el conocimiento de forma significativa.

7. Planear para el
desarrollo
y aprendizaje
8. I mplementar
la instruccin
para el desarrollo
y aprendizaje

4. Crear y mantener un
ambiente seguro y de
apoyo al aprendizaje

3. El maestro trabaja con otros para crear ambientes que apoyen el
aprendizaje individual y colaborativo y animan la interaccin social
positiva, la participacin activa en el aprendizaje y la auto-motivacin.

6. Manejar el ambiente
para el desarrollo
y aprendizaje

5. Evala, hace reportes


y proporciona
retroalimentacin
sobre el aprendizaje
de los alumnos

6. El docente entiende y usa mltiples mtodos de evaluacin para


atraer a los aprendices en su propio crecimiento, monitorear su
progreso y guiar a docentes y aprendices en la toma de decisiones.

5. Evaluar el desarrollo
y aprendizaje infantil

6. Involucramiento
en el aprendizaje
profesional

9. El docente emplea el aprendizaje profesional en marcha y usa las


evidencias para continuamente evaluar su prctica, particularmente
los efectos de sus decisiones y acciones en otros (aprendices,
familias, otros profesionales y la comunidad), y adapta su prctica a
las necesidades de cada aprendiz.

9. Reflexionar sobre
la enseanza de nios

7. Involucramiento
profesional con colegas,
padres y comunidad

10. E
 l docente busca oportunidades y roles de liderazgo apropiados
para tomar responsabilidad del aprendizaje del alumno, colaborar
con los aprendices, familias, colegas, otros profesionales escolares,
y los miembros de la comunidad para garantizar el crecimiento del
aprendiz y el progreso en su profesin.

2. A
 sociarse con las
familias y la comunidad.
10. Ser un ejemplo
de profesionalismo
y contribuir
a la profesin.

Niveles de desempeo

En cuanto a los niveles que establecen los modelos, haba que descartar al NBPTS, dado que se propone evaluar solamente una fase del desarrollo profesional, la de docente experto.

El InTASC tiene tres niveles, simplemente enumerados, sin una etiqueta distintiva. Por su parte, los estndares australianos
presentan cuatro etapas referidas al desarrollo profesional del docente: titulado, competente, altamente experto y destacado.
Tanto en los estndares australianos como en el InTASC, se puede identificar que la racionalidad que gua el establecimiento de los niveles es un incremento en el grado de dominio de la profesin; conocimiento, prctica e involucramiento
profesional. Para estos dos modelos esta nocin de desarrollo no se limita a los estndares, sino que, para que justamente sean utilizados como un recurso que retroalimente la prctica docente, cuentan con indicadores detallados sobre la
evolucin de los estndares en la profesin. Estas progresiones sin duda tienen la posibilidad de ser un elemento muy
importante en la mejora de la prctica docente.

CONCLUSIONES
La misin de los estndares es que sean un referente para el ejercicio profesional de los docentes, incluida su evaluacin.
Estos deberan expresar lo que un docente efectivo debe conocer y poder hacer.
El anlisis aqu presentado permite identificar que los tres modelos comparten caractersticas, a pesar de tener orgenes diversos. Los propsitos son profesionalizar, certificar y promover el desarrollo profesional de los docentes. Existe un
paralelismo evidente en las competencias que evalan los estndares. Las diferencias mayores se encontraron en los niveles o etapas de desempeo, aunque se comparte la nocin de desarrollo e incremento en el grado de expertise del docente.
Si bien existe un consenso en los aspectos fundamentales de lo que debe conocer y hacer un docente, permanecen
vigentes ciertas preguntas sobre la idoneidad de los mismos y sobre la evidencia que los fundamenta. Las competencias
evaluadas por los estndares son las ms importantes para lograr aprendizajes en los alumnos?, los niveles o etapas de
desempeo realmente obedecen a estadios naturales de desarrollo en la vida profesional docente?, cul es el impacto en
el mediano y largo plazo de que alumnos tengan docentes con altos niveles de desempeo?
Tener unos estndares pertinentes y efectivos es una tarea compleja, costosa, altamente especializada y de largo plazo. A los sistemas analizados les ha tomado dcadas construirlos. Los propuestos por el InTASC fueron reformulados en
2011, luego de un proceso de fundamentacin y consenso. Por otra parte, el NBPTS somete constantemente a revisin su
sistema de estndares, la mayora de ellos tiene varias actualizaciones. Todo ello lleva a pensar que los estndares mexicanos debern estar sujetos a continuos procesos de revisin, consenso y validacin. Las instituciones que los desarrollan
deberan tomarse esta tarea como un proceso de largo plazo.

BIBLIOGRAFA

Australian Institute for Teaching and School Leadership [AITSL], (2012a). Australian Teacher Performance and Development Framework. Melbourne, Brisbane, Canberra: Autor.
Australian Institute for Teaching and School Leadership [AITSL], (2012b). Australian Professional Standards for Teachers.
Melbourne, Brisbane, Canberra: Autor.
Council of Chief State School Officers. (2013). Interstate Teacher Assessment and Support Consortium InTASC Model Core
Teaching Standards and Learning Progressions for Teachers 1.0: A Resource for Ongoing Teacher Development. Washington, DC: Author.
Ingvarson, L., & Kleinhenz, E. (2006). Standards for advanced teaching: A review of national and international developments. Australia: ACER.
National Board for Professional Teaching Standards (2013). Early Childhood Generalist Standards. Third Edition. Arlintong: NBPTS.
National Board for Professional Teaching Standards (s.f.) Mission & History. Recuperado el 9 de enero de 2014, http://
www.nbpts.org/mission-history
OCDE (2013). Learning standards, teaching standards and standards for school principals: a comparative study. OECD Education Working Papers No. 99.

Balance de estrategia pblica


de acompaamiento pedaggico en reas
rurales en Per y la medicin en los aprendizajes
14 de marzo de 2015

Balance de estrategia pblica


de acompaamiento pedaggico en reas
rurales en Per y la medicin en los aprendizajes
Lucas Nstor Semp
Master en Poverty Reduction: Policy and Practice; University of London, United Kingdon.
lucas.sempe@gmail.com
PALABRAS CLAVE: Coaching, medicin de aprendizajes, acompaamiento pedaggico.
EJE TEMTICO: Modelos y polticas de evaluacin de docentesy de directivos escolares.

Resumen

La investigacin analiza la estrategia de acompaamiento pedaggico a docentes de reas rurales y escuelas multigrado y unidocentes implementada por el Gobierno del Per en el marco de un programa presupuestario llamado
Logros de Aprendizaje de Estudiantes de Educacin Bsica Regular, buscando encontrar la contribucin de la misma
mediante la revisin de los resultados de las evaluaciones censales de estudiantes en el pas. Asimismo, se realiza
una revisin de la estrategia siguiendo los estndares de la lgica de presupuesto por resultados vigente, poniendo
nfasis en aspectos como el diseo lgico, la focalizacin y la ejecucin presupuestal.
El primer objetivo fue determinar si existen diferencias significativas en los resultados de estudiantes en comunicaciones y matemticas entre escuelas que reciben acompaamiento pedaggico y las que no reciben despus de un cierto periodo de intervencin. Se hizo el anlisis en escuelas monolinges castellano y en escuelas con
una lengua originaria como primera lengua.
El segundo objetivo de la investigacin fue contribuir a la mejora de la poltica pblica, por lo que se analiz si
la estrategia de acompaamiento pedaggico del responde a los estndares del enfoque metodolgico y de poltica
pblica de presupuesto por resultados. Para ello se realiz una revisin de tres aspectos centrales: el diseo del
marco lgico, la focalizacin y gasto pblico.

INTRODUCCIN
La investigacin parte del reconocimiento de que el rendimiento acadmico en escuelas en reas rurales y en contexto de
pobreza en Per es ms bajo que en reas urbanas, como se encuentra en el ejemplo siguiente:
Comprensin lectora
Nacional
Urbano
Rural

2013
% estudiantes en nivel inicial

% estudiantes en proceso

% estudiantes en nivel
satisfactorio

15.8

51.3

33.0

9.6

51.9

38.5

40.7

48.9

10.4

Fuente: MINEDU- UMC. Muestra de Control de Evaluacin Censal de Estudiantes 2013

Ante ello, el Ministerio de Educacin del Per viene desarrollando desde el ao 2009, una estrategia especialmente
diseada para atender a escuelas multigrado y unidocentes monolinges y bilinges en reas rurales. Dicha estrategia
se encuentra como parte de un programa presupuestario, y como tal, requiere que exista evidencia de la eficacia de la
intervencin.
La estrategia consiste en asignar un docente a la funcin de acompaante pedaggico de otros docentes en una red de
escuelas. Un docente en la estrategia recibe las siguientes actividades: 10 visitas al aula; 10 microtalleres (reunin entre
maestros acompaados); y, finalmente, 2 talleres de actualizacin para docentes (40 horas). A partir del ao 2013 se crea
la figura de formador, como un supervisor de acompaantes.

DESARROLLO
Marco terico

El marco terico de la investigacin revisa y propone que el docente es un factor determinante interno a la escuela, y ms
all de caractersticas fijas, puede contribuir a un cambio positivo en los aprendizajes de los estudiantes. Esta postura
se distingue de una propuesta de construccin de una funcin-produccin convencional dado que se considera que sta
no explica adecuadamente el efecto del docente en los aprendizajes de los estudiantes porque reduce la importancia a
procesos importantes ocurridos dentro del aula y la escuela.
Por otro lado, se entiende que las polticas pblicas deben tener fundamentos tcnicos en evidencias as como evaluaciones de su pertinencia y acierto, para que la calidad del gasto pblico acompae a procesos eficientes y efectivos de
mejora de las condiciones sociales y humanas de la poblacin. Con la limitacin de acceder a informacin secundaria, es
posible disear evaluaciones que permitan confirmar aciertos en cunto a mejoras en el sistema educativo, abrindose la
puerta a investigaciones ulteriores de medicin de impacto.
En cuanto a la estrategia estudiada (coaching pedaggico), existe ya al menos 30 aos de experiencias en el mundo.
Cornett and Knight (2008) identifican cuatro familias, descritas como: peer coaching (modelo de clase, prctica y feedback), coaching cognitivo (estrategias para cambiar aproximaciones y prcticas docentes), coaching para alfabetizacin;
y el coaching instructivo (trabajo colaborativo, introduccin de prcticas nuevas basadas en evidencia). En Amrica Latina, Vezub & Alliaud (2012) por su parte identifican los siguientes modelos: apoyo en las relaciones personales; servicio
tcnico; fin de un proceso inicial de entrenamiento y licenciamiento professional; entrenamiento profesional y retroalimentacin.
En el Per la estrategia no tiene una afiliacin explcita a alguna de las mencionadas anteriormente, pero se encuentran similitudes con el peer coaching y el entrenamiento profesional y retroalimentacin.

Preguntas de investigacin y metodologa empleada


Para la primera parte de la investigacin, las preguntas de investigacin fueron las siguientes:

Existe una diferencia significativa en la evaluacin censal de estudiantes en comprensin lectora y matemticas luego
de 3 aos entre escuelas acompaadas y escuelas no acompaadas?
Existe una diferencia significativa en resultados de aprendizajes en comprensin lectora de castellano como segunda
lengua luego de 2 aos de intervencin entre escuelas bilinges (nativas) acompaadas y escuelas bilinges no
acompaadas?

Para determinar si existen diferencias estadsticamente significativas entre grupos de escuelas acompaadas por 3
aos y no acompaadas de quintiles de pobreza similares, la metodologa empleada ha sido Anovas mixtas de resultados
de 4 aos en comprensin lectora y matemticas de la Evaluacin Censal de Estudiantes (2010-2013).
Se dividieron las escuelas por quintiles de pobreza (a fin de disminuir el efecto socio econmico sobre el rendimiento
acadmico) y poder hacer comparables a las escuelas. Se compararon las escuelas en los quintiles 1, 2 y 3. Se identificaron
aquellas escuelas que han tenido 3 aos de acompaamiento entre 2011 y 2013, y cumplieron el protocolo establecido,
as como aquellas que no han tenido acompaamiento en ninguno de los 3 aos.
Para la segunda parte de la investigacin, se realiz una revisin documental, teniendo la siguiente pregunta de investigacin:
Sigue el acompaamiento estratgico los estndares de la poltica pblica de presupuesto por resultados en sus
componentes de focalizacin, diseo lgico y organizacin?
Las principales limitaciones y anotaciones metodolgicas de la investigacin son:

No es un estudio longitudinal de estudiantes sino que se trabaj con diferentes grupos poblaciones.
Se usaron los resultados de la Evaluacin Censal y no del control muestral.
La evaluacin censal de estudiantes cubre solamente una parte especfica de la currcula de segundo grado de primaria.
No siempre ha distribucin de la data fue normal. Dada la robutez del test y la inexistencia de muestreo, los tests

fueron realizados. En algunos casos, la homogeneidad de varianzas (Test de Levene) y covarianzas fue rechazada
El test Hartley fue realizado para sostener la asumpcin de la homogeneidad de varianzas.

Principales hallazgos
Se encontraron interacciones estadsticamente significativas entre recibir acompaamiento durante 3 aos (2011 a
2013) y el aumento de los niveles de lectura 2010-2013 (con un efecto que se considera mediano)), y tambin el hallazgo
de significacin estadstica entre las puntuaciones y porcentaje de alumnos competentes con grandes tamaos del efecto
en todas las disciplinas evaluadas (espaol, matemticas y espaol como segunda lengua) en las escuelas acompaadas.
En el caso de las escuelas bilinges no se pudo utilizar el mismo spam de tiempo, y los resultados no han sido estadsticamente significativos.
En cuanto al segundo objetivo, se encontr inconsistencia en el diseo lgico, filtraciones importantes en la focalizacin y ausencia de parmetros y estndares en trminos organizaciones en las regiones.
Ejemplo de hallazgos para comprensin lectora en escuelas monolinges:

No se encontr diferencia estadsticamente significativa en el ao 2010 entre ambos grupos de escuelas

[F(1,9874) = .387, p. = .534, 2 parcial < .001].

Se encontr diferencia estadsticamente significativa entre ambos grupos en el ao 2013 [F(1,9874) = 28.984, p. <
.001, 2 parcial = .003].

Se encontr una interaccin estadsticamente significativa entre recibir acompaamiento y el tiempo de la intervencin en los resultados promedios [F(1,9874) = 32.471, p. < .0005, 2parcial = .003]

Se encontr que hay un efecto estadsticamente significante en el puntaje promedio de aprendizaje en escuelas
acompaadas despus de 3 aos [F(1,302) = 82.408, p. < .001, 2 parcial = .214].

El efecto en las escuelas no acompaadas tambin fue significativo estadsticamente pero bastante menor [F(1,9572) =
466,250, p. < .001, 2 parcial = .046].

Para medir el tamao del efecto entre las escuelas acompaadas y no acompaadas, se calcul mediante el Glass =
.34. Es un efecto entre pequeo y mediano (Hattie, 2012).

Otro hallazgo importante es el efecto (grande) en el puntaje promedio del tiempo en las escuelas acompaadas (2

parcial = .214, = .59), lo cual difiere de las escuelas no acompaadas que tambin crecen, pero con un efecto mayor
(2 parcial = .046, = .22).
Tambin se encuentra un efecto grande del tiempo de acompaamiento en el porcentaje de estudiantes en nivel
suficiente en escuelas acompaadas (2 parcial = .143; = .62) donde el porcentaje de estudiantes en el nivel suficiente pas de 12.7% a 25.5%.

CONCLUSIONES
Se encontraron interacciones estadsticamente significativas entre recibir acompaamiento por 3 aos y la mejora de los
resultados en las pruebas de comprensin lectora (con un efecto entre pequeo y mediano).
Se encontr signficacin estadstica entre los resultados de ECE y el % de estudiantes en nivel suficiente en escuelas
acompaadas en comprenisn lectora, matemticas y castellano como segunda lengua.
Ambos hallazgos evidencia la eficacia de la estrategia, aunque queda por explorar el impacto de la misma.
La revision del marco lgico y de la literature sugiere que el acompaamiento pedaggico debe ser considerado un
product, y ello permitira una intervencin ms completa (materiales educativos adecuados, redes de escuelas, formacin
inicial de docentes, etc.)
Una limitante importante que se encuentra para una mayor cobertura con calidad del acompaamiento pedaggico
es la ausencia de un marco terico desarrollado, lo cual hace ms difcil la formacin de nuevos acompaantes y la preparacin de materiales y protocolos.
Se reconoce como una limitante la falta de recursos humanos calificados as como de recursos para su formacin y
desempeo docente (aprendizaje colaborativo, construccin de red de escuelas, vinculacin con la comunidad, interculturalidad).
La revisin del presupuesto y organizacin demuestra que no existen claros parmetros organizativos. Existe una
varianza muy grande en costos por docente y costo por profesor. Es necesario considerar que el criterio geogrfico (dispersin), que debera explicar la varianza, no es el motivo de la diferencia de costos.
Esta varianza revela an en algunas regiones procesos imprecisos de presupuestacin e implementacin y se deben
sobre todo a costos salariales y bienes y servicios.

BIBLIOGRAFA

Alvarado, B. (2013). Intercultural Bilingual Education Program for Better Performance in Schools. The case of the Indigenous Children of the Amazon. Working Papers 13-13. Lima: Universidad del Pacfico, 52 pp.
Aslam, M. and Kingdon, G. (2007). What can Teachers do to Raise Pupil Achievement?. Centre for the Study of African
Economies. Centre for the Study of African Economies. Oxford: University of Oxford, 36 pp.

Barber, M., and Mourshed, M. (2007). How the World's Best-Performing School Systems Come Out On Top. London:
McKinsey & Company, pp 126.
Biancarosa, G., Bryk, A., and Dexter, E. (2010). Assessing the Value-Added Effects on Literacy Collaborative Professional
Development on Students Learning, The Elementary School Journal, 111 (1): pp 7-24.
Coleman, J. (1966). Equality of Educational Opportunity Study. Ann Arbor: Inter-university Consortium for Political and
Social Research, 285 pp.
Congreso de la Repblica (2006). Ley de Presupuesto del sector pblico para el ao fiscal 2007 n 28927
Congreso de la Repblica (2013). Ley General del Sistema Nacional de Presupuesto n 28411.
Consejo Nacional de Educacin (2007a). Programa de acompaamiento pedaggico. Para mejorar aprendizajes en las
instituciones educativas rurales. Lima: Consejo Nacional de Educacin, 77 pp.
Consejo Nacional de Educacin (2007b). Proyecto Educativo Nacional al 2021. La educacin que queremos para el Per.
Lima: Consejo Nacional de Educacin, 150 pp.
Cornett, J., and Knight, J. (2008). Research on Coaching, in Knight, J. (ed.), Coaching: Approaches and perspectives.
Thousand Oaks: Corwin, 192-216.
Defensora del Pueblo (2012). Informe Defensorial N 152: Aportes para una poltica Nacional deEducacinIntercultural
Bilingea favor de lospueblosindgenas del Per. Lima: Defensora del Pueblo, 554 pp
Duarte, J. Bos, M.A., and Moreno, M. (2012), Docentes, escuelas y aprendizajes en Amrica Latina, in Cabrol, M. and
Szkely, M. (eds.), Educacin para la transformacin. Banco Interamericano de Desarrollo, p. 133-166.
Gamoran, A., and Long, D. A. (2006). Equality of Educational Opportunity: A 40-year retrospective. Madison: Wisconsin
Center for Education Research, 27 pp.
Guadalupe, C., Len, J. and Cueto, S. (2013). Charting progress in learning outcomes in Peru using national assessments.
Paper commissioned for the EFA Global Monitoring Report 2013/4, Teaching and learning: Achieving quality for all,
47 pp.
Hanushek, E. (1989). `The Impact of Differential Expenditures on School Performance, Educational Researcher, 18: 45-6.
Hanushek, E., Rivkin, S. (2012). The Distribution of Teacher Quality and Implications for Policy, Annual Review of
Economic, 4: 131-157.
Hattie, J. (2009). Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. New York: Routledge,
392 pp.
Hedges, L.V., Laine, R.D. and Greenwald, R. (1994), Does money matter? A metaanalysis of studies of the effects of differential school inputs on student outcomes, Educational Researcher, 23: 5-14.
Joyce, B. and Showers, B. (1982). The coaching of teaching , Educational Leadership, 40(1): 4-8.
Kudo, I. and Bazan, J. (2009). Measuring Beginner Reading Skills. An Empirical Evaluation of Alternative Instruments and
their Potential Use for Policymaking and Accountability in Peru. Policy Research Working Paper 4812. World Bank, 84 pp
Ministerio de Economa y Finanzas. Direccin General de Presupuesto Pblico (2014). Directiva n 001-2014-ef/50.01.
Anexo 2. Lima: Ministerio de Economa y Finanzas, 36 pp
Ministerio de Economa y Finanzas. Direccin Nacional de Presupuesto Pblico (2008). Presupuesto por Resultados.
Conceptos y lneas de accin. Documento de Trabajo. Lima: Ministerio de Economa y Finanzas, 24 pp
Ministerio de Educacin (2013a). Anexo 2 Programa Presupuestal Logros de Aprendizaje de Estudiantes de Educacin
Bsica Regular. Lima, 526 pp.
Ministerio de Educacin (2013b). Resultados de la Evaluacin Censal de Estudiantes. Retrieved from: http://umc.minedu.
gob.pe
Ministerio de Educacin (2013c). Resolucin Ministerial 544-2013-ED.
Ministerio de Educacin (2014a). Protocolo de Acompaamiento Pedaggico, 1. Protocolo del Acompaante Pedaggico,
del Docente Coordinador/ Acompaante y del formador Acompaamiento Pedaggico. Lima, 56 pp.
Ministerio de Educacin (2014b). Informe final sobre la implementacin del acompaamiento pedaggico- PELA 2013.
Montero, C. (2011). Estudio sobre acompaamiento pedaggico: Experiencias, orientaciones y temas pendientes in
Consejo Nacional de Educacin (eds.), Hacia una propuesta de criterios de buen desempeo docente estudios que
aportan a la reflexin, al dilogo y a la construccin concertada de una poltica educativa. Lima: Consejo Nacional
de Educacin, 171 pp.

Murillo, J. (2008). Hacia un modelo de eficacia escolar. Estudio multinivel sobre los factores de eficacia en las escuelas
espaolas, Revista Electrnica Iberoamericana sobre Calidad, Eficacia y Cambio en Educacin, 6(1): 4-28.
Murillo, J. (2011). Mejora de la eficacia escolar en Iberoamrica, Revista Iberoamericana de Educacin, 55: 49-83.
Osborne, D. (1993). Reinventing Government, Public Productivity & Management Review, 16 (4): 349-356.
Puig, E., and Froelich, K. (2010). The literacy coach: Guiding in the right direction. 2nd ed. Boston: Pearson Education,
192 pp.
Rhodes, C. and Beneicke, S. (2002). Coaching, mentoring and peer-networking: challenges for the management of teacher
professional development in schools, Journal of In-Service Education, 28(2): 297-310.
Rivero, J. (2009). El Programa Nacional de Movilizacin por la Alfabetizacin (Pronama): intenciones, triunfalismo y
realidades, in Cuenca, R. (coord.), La educacin en los tiempos del APRA: Balance 2006- 2009. Lima: Foro Educativo,
pp. 51-72.
Rivkin, S., Hanushek, E. and Kain, J. (2005). Teachers, schools, and academic achievement, Econometrica, 73 (2):
417458.
Robinson, M. (2011) Performance budgeting. World Bank/CLEAR, pp 151
Ross, J. (1992). Teacher Efficacy and the Effects of Coaching on Student Achievement, Canadian Journal of Education,
17 (1): 51-65.
Sanders, W. L. (2000). Annual CREATE Jason Millman Memorial Lecture: Value-added assessment from student achievement data, Journal of Personnel Evaluation in Education, 14(4): 329339.
Sanders, W. L. and Rivers, J. C. (1996).Cumulative and residual effects of teachers on future student academic achievement.
Knoxville: University of Tennessee Value-Added Research Center, 7 pp.
Soltau, L., Rodrguez, J., Sanz, P. (2013). Evaluacin de diseo y ejecucin de presupuesto de la intervencion pblica evaluada
Acompaamiento pedaggico, 214 pp.
Sparks, G.M. and Bruder, S. (1987). Before and after peer coaching. Educational Leadership, 45(3): 54-57.
Swafford, J. (1998). Teachers Supporting Teachers through Peer Coaching, Support or Learning, 13(2): 54-58.
UNESCO (2000). Education For All: Meeting our Collective Commitments. Dakar: UNESCO, 29 pp.
UNESCO (2008). Oficina Regional de Educacin para Amrica Latina y el Caribe. Educacin de calidad para todos: un asunto
de derechos humanos. Santiago de Chile: UNESCO, 115 pp.
UNESCO (2014) .The Education for All Global Monitoring Report. Teaching and learning: achieving quality for all. Paris:
UNESCO, 464 pp.
Veenman, S. (1995). The Training of Coaching Skills: an implementation study, Educational Studies, 21: 415-431.
Veenman, S., De Laat, H. and Staring, C. (1998). Evaluation of a Coaching Programme for Mentors of Beginning Teachers,
Journal of In-Service Education, 24: 441-427.
Vezub, L. and Alliaud, A. (2012). El acompaamiento pedaggico como estrategia de apoyo y desarrollo profesional de los
docentes noveles. Aportes conceptuales y operativos para un programa de apoyo a los docentes principiantes de Uruguay.
Ministerio de Educacin y Cultura, 84 pp.
World Bank (2013). Per: Programa de Asistencia Tcnica en Educacin Lima. Per: Banco Mundial, 62 pp.

Criterios relevantes para una poltica


de evaluacin docente en Mxico:
propuestas a partir de la experiencia
de formacin y actualizacin de profesores
14 de marzo de 2015

Criterios relevantes para una poltica


de evaluacin docente en Mxico:
propuestas a partir de la experiencia
de formacin y actualizacin de profesores
Francisco Miranda Lpez1
Arcelia Martnez Bordn 2

PALABRAS CLAVE: F
 ormacin docente, actualizacin docente, reforma educativa, evaluacin docente,
polticas de evaluacin docente.

Resumen

El objetivo de este artculo es presentar algunos criterios que orienten las polticas de evaluacin de los docentes
en Mxico, considerando como marco de anlisis las principales discusiones a nivel internacional y nacional en
torno a la formacin docente y los elementos propios que plantea la actual reforma educativa en el pas. Asimismo,
se recupera la presin que ejercen sobre el trabajo docente las actuales variables de cambio social, con la finalidad
de incorporarlos a la discusin sobre los denominados marcos de la buena enseanza. Con base en ello, se plantean dos ejes que las polticas de evaluacin de docentes tendran que enfatizar: la pedagoga del conocimiento y
la gestin del conocimiento, a partir de los cuales la evaluacin docente deber estar situada y significativamente
estructurada en torno a tres mbitos centrales de construccin y desarrollo de su autonoma profesional y laboral:
a) autonoma de los centros escolares y fortalecimiento de los liderazgos profesionales; b) autonoma y liderazgo
profesional en los propios centros de formacin inicial y programas de formacin continua; y c) autonoma en el
ejercicio de su funcin.

Francisco Miranda Lpez es Doctor en Sociologa por el Colegio de Mxico. Ha sido profesor-investigador de la Universidad Autnoma de Hidalgo,
la Universidad Pedaggica Nacional (UPN, Unidad Ajusco) y de la Facultad Latinoamericana de Ciencias Sociales (Flacso Mxico). Fue Coordinador
de Asesores del Subsecretario de Educacin Bsica en la administracin del presidente Vicente Fox Quezada, y Coordinador de la Especialidad
de Poltica y Gestin Educativa de la Flacso-Mxico. Ha escrito diferentes ponencias, artculos y libros que se han publicado en distintas revistas
y colecciones. Es miembro del Sistema Nacional de Investigadores (SNI-2). Actualmente es Titular de la Unidad de Normatividad y Poltica Educativa
del INEE.
2
Arcelia Martnez Bordn es Doctora en Poltica por la Universidad de York, Reino Unido. Es Licenciada en Ciencia Poltica y Maestra en Polticas
Pblicas por el Instituto Tecnolgico Autnomo de Mxico. Realiz una estancia posdoctoral en el Centro de Investigacin y Docencia Econmicas
con el tema de Consejos para la Participacin Social en la Educacin como Mecanismos Sociales para la Rendicin de Cuentas del Sistema Educativo.
Entre 2012 y 2014 se desempe como Consejera del Comit de Evaluacin y Recomendaciones del Consejo de Evaluacin de la Poltica Social
del Distrito Federal (Evala-DF). Ha sido consultora y evaluadora de polticas educativas y de gnero. Actualmente es Directora General de Directrices
para la Mejora de la Educacin del Instituto Nacional para la Evaluacin de la Educacin (INEE).
1

EL MARCO DEL DEBATE SOBRE LA FORMACIN DOCENTE

Desde el inicio de la dcada de los aos noventa, en Amrica Latina se deton una acalorada e importante reflexin sobre
el problema de la formacin y actualizacin de profesores (CEA, 1997; Birgin y Duschatzky, 1995). Desde entonces, se ha
sostenido la difcil tensin entre el papel del docente como agente activo, creativo y profesional y el rol pasivo y dependiente que puede jugar frente a los diferentes insumos que intervienen en el proceso educativo, tales como el papel de
la tecnologa educativa, el texto escolar y los diversos materiales didcticos que se utilizan en la educacin. Sobre todo,
se destac la intencionalidad implcita puesta en estos recursos para dejar de invertir en formacin y actualizacin docente debido a que los textos, manuales y guas estn pensados para orientar paso a paso tanto los contenidos como la
metodologa de la enseanza, para obviar con ello la reforma curricular integral dado que los textos escolares seran, en
s mismos, expresin del currculum (Bolvar, 2010; Tenti y Steinberg, 2010; Vaillant, 2010; Vezub, 2010).
Contra ello se ha reivindicado la necesidad de sostener la autonoma profesional del docente frente a los esquemas verticales de decisin y la dependencia frente a los libros de texto y los recursos de computacin e informacin (Hargreaves,
1995; Porln y Rivero, 1998). Tambin, desde entonces, se ha instalado el debate sobre la eficacia de la formacin normalista antes del empleo para garantizar el adecuado conocimiento de las disciplinas bsicas frente a lo que ofrece la
educacin universitaria, aunque tomando en cuenta los dficits pedaggicos que esta formacin plantea respecto a las
necesidades de enseanza y aprendizaje de los alumnos. Se ha planteado, por un lado, la necesidad de que la formacin
normalista integre el aprendizaje del contenido en ciencias, matemtica y estudios sociales con el aprendizaje de una
actitud flexible respecto de la forma en que los adolescentes aprenden y resuelven problemas (Tenti, 1999); pero por
otro, se subraya que el docente normalista no est preparado para dominar adecuadamente los conocimientos de las
asignaturas bsicas, debido a que tiene menos confianza en sus propias capacidades intelectuales y directivas, y no es
colocado en un contexto docente en el cual las habilidades de enseanza se empleen de manera coherente para lograr
metas educativas bien definidas (OCDE, 1994).
Un problema estrechamente asociado a la formacin y actualizacin de profesores ha sido el significado que tiene la estructura de sueldos y salarios para garantizar una carrera docente ms adecuada a las nuevas exigencias educativas, sobre
todo considerando el reflejo salarial y de condiciones laborales y desarrollo profesional que tendra una nueva propuesta
de formacin y de exigencia acadmica y profesional del docente (Arnaut, 2004). Se ha debatido la estructura tradicional
de sueldos que consiste en un rgimen de bajos salarios iniciales con jubilacin anticipada y pensiones elevadas, frente a
propuestas que privilegian un rgimen de sueldos iniciales ms elevados con jubilacin a edad ms avanzada.
Por ltimo, se ha destacado tambin el efecto que las polticas de descentralizacin han tenido en el funcionamiento de
las instituciones de formacin y actualizacin de profesores, observndose varios puntos de tensin entre las responsabilidades centrales y las que corresponden a los estados. Ahora las polticas centralizadas se expresan cada vez ms en trminos de metas y menos en trminos de procedimientos, lo que hace que los organismos locales se vean obligados a rendir
cuentas para responder a los logros de estas metas, sin que se dispongan de todas las condiciones para su realizacin. Este
esquema descentralizador que privilegia los resultados ha hecho que en los mbitos locales exista un menor compromiso
con la formacin inicial y se privilegie la formacin en el servicio como lo ms efectivo y razonable para responder a las
metas que se fijan desde el centro. A ello se suma la creciente desarticulacin del sistema institucional de formacin y
actualizacin (OCDE; 2004).
A contrapunto de estas discusiones, en Mxico la crisis de eficacia que ha sufrido su sistema educativo ha hecho urgente la necesidad de reestructurar la organizacin y operacin de los servicios buscando mayor congruencia entre niveles educativos, insumos institucionales y recursos asignados. Con una mayor exigencia por regular la calidad acadmica
como criterio inherente a la oferta de servicios, las escuelas pblicas de educacin bsica, aunque tambin las de media
superior, pronto sintieron la necesidad de mejorar la calidad de la formacin de profesores e incrementar sustancialmente los rangos de actualizacin, capacitacin y superacin profesional docente (De Ibarrola, 1997 y 1998). A la par de la
descentralizacin de los servicios se han diseado programas de modernizacin y fortalecimiento interno de las instituciones formadoras y actualizadoras, pero en el marco cada vez ms restringido del propio sistema consolidado, el cual
se caracteriza por sistemas endgenos cerrados, poco dinamismo acadmico, alta jerarquizacin interna, altos niveles
de control burocrtico y poltico, falta de versatilidad y dinamismo para incentivar el desarrollo profesional del profesor,
ausencia de correlatos con la innovacin escolar y con sistemas transparentes y congruentes de evaluacin, el estableci-

miento de severos lmites a otros sistemas como el universitario, que tienen mayor dinamismo y apertura acadmica, y a
instancias adecuadas de participacin social, supervisin, trabajo colegiado e impulso a pares acadmicos y mecanismos
de evaluacin externa (Arnaut,2004).
En suma, una interpretacin general y globalizadora de las mltiples polticas de formacin del magisterio, posibilita
apreciar, a primera vista, que stas se han desarrollado de manera dispersa e incoherente. Asimismo, cabe destacar que
las polticas gubernamentales de formacin del magisterio implementadas en los ltimos aos, han carecido de un fin
social, poltico y educativo ampliamente consensuado que las integre, armonice y permita su coherente continuidad en el
tiempo, de tal manera que se pueda hablar de un real y verdadero subsistema de formacin del magisterio.

LECCIONES APRENDIDAS Y PROPUESTAS PARA LA FORMACIN


Y ACTUALIZACIN DE DOCENTES
Pareciera ser que hay, al menos, un consenso bsico respecto de los fines ltimos, los mnimos indispensables que toda
educacin de calidad debiera alcanzar, a saber: a) una oferta disponible; b) servicios que adems de estar disponibles,
cumplan con ciertas caractersticas bsicas, que permitan ser aprovechados por las personas; c) una oferta pertinente
y relevante con independencia de la poblacin que se atienda y d) el logro educativo. No obstante lo anterior, acerca del
cmo hacerlo no parece haber todava mucho consenso, puesto que existen muchas y diversas formas de mejorar la
calidad de la educacin en un pas, y Mxico no es la excepcin.
En vista de lo anterior y a partir de la revisin documental de varias experiencias internacionales3, se recuperan
algunos puntos clave sobre la formacin y actualizacin de los docentes. A continuacin se plantean las enseanzas y
aportaciones fundamentales al respecto.
La primera alude al hecho de que cualquier perspectiva de reestructuracin del esquema de formacin de profesores
deber estar fundada en la definicin de polticas de formacin articuladas y que a mediano y largo plazo deseen operarse. Mientras el Estado no se posicione al respecto, continuar la yuxtaposicin de programas, de instituciones y de metas
(Kalls y Staffan, 1994; Bolvar, 1996; De Ibarrola, 1996; Daz Barriga, 2001; Dubet, 2004; Draibe, 2004;).
Asimismo, ser necesario reconstruir la relacin oferta-demanda de formacin y actualizacin. Entre otras acciones
habr que desarrollar las siguientes: a) colocar lo mejor de la oferta de formacin en Mxico al servicio de los maestros,
considerando que una oferta de calidad genera su propia demanda; y, b) reconocer las demandas especficas con visin
estratgica. La innovacin educativa debe focalizar su atencin hacia las reas de mayor vulnerabilidad (pobreza, exclusin, desintegracin) (Rojas, 1995; Stavenhagen, 2004; Daz Barriga, 2001; Dubet, 2004; Draibe, 2004).
Sin duda, uno de los mayores retos ser conformar nuevos sujetos de formacin en una perspectiva basada en la
prctica. Ello implicar reorientar la formacin hacia ejes fundamentales, a saber: un modelo de prcticum reflexivo;
nfasis en la formacin en el anlisis de casos y solucin de problemas; reimpulso de los modelos de investigacin-accin;
y el fortalecimiento significativo de las capacidades de intervencin. Ante esto, ser importante construir capacidades
de accin colectiva en los maestros, expresadas en sus habilidades para construir comunidades educativas de reflexin
y accin que reconozcan la fuerza y vitalidad del colectivo docente, y a las escuelas como espacios de accin colectiva
(Barber y Mourshed, 2008).
Tambin, ser importante desarrollar sistemas regulatorios de calidad acadmica en la formacin y actualizacin del
profesorado que consideren, de manera articulada, insumos, procesos y resultados, adems de establecer polticas de
fomento, fortalecimiento y desarrollo institucional que vayan acompaadas de una reglamentacin especfica sobre las
necesidades, requerimientos y parmetros de calidad profesional. Esto implica aprender de la experiencia de diversos
pases en el establecimiento de estndares profesionales cuidadosamente reglamentados e instrumentados que sean
transparentes, pblicos y con una alta legitimacin acadmica, a efecto de garantizar que los compromisos sociales y
estatales con la calidad educativa se respeten y se cumplan verdaderamente.
Este trabajo es el resultado de una amplia investigacin desarrollada por el autor sobre experiencias internacionales de formacin y actualizacin
de docentes, considerando casos de pases de Amrica del Norte, Europa, Asia y Amrica Latina (Miranda, 2008).

Por otro lado, como lo demuestran diversas experiencias internacionales entre las que destacan Alberta, Australia,
Blgica, Finlandia, Hong Kong, Japn, Holanda, Nueva Zelanda, Ontario, Singapur y Corea del Sur, la agenda de prioridades de la reforma de la formacin y actualizacin de profesores, requiere establecer sistemas, procedimientos y mecanismos de evaluacin adecuados a las necesidades de cumplimiento de los marcos regulatorios y de control de la calidad
acadmica; evaluar con base en estndares; disear metodologas de evaluacin pertinentes y adecuadas; impulsar los
concursos pblicos para la adquisicin de las licencias docentes; y definir criterios slidos de acreditacin y certificacin
(Rivkin, Hanushek y Kain, 2005; Barber y Mourshed, 2008; UNESO, 2015).
Sobre todo lo anterior, debe destacarse lo que la actual coyuntura en Mxico plantea. As, con la reforma realizada a
los artculos 3 y 73 de la Constitucin Poltica de los Estados Unidos Mexicanos (CPEUM) y la expedicin de las leyes secundarias que de ella emanan, se han establecido un conjunto de modificaciones en la estructura, planeacin, operacin y
evaluacin del Sistema Educativo Nacional (SEN). Entre las modificaciones realizadas, la creacin del Servicio Profesional
Docente, pone en la agenda pblica la necesaria revisin y diseo de polticas y programas institucionales, que permitan
modificar las trayectorias formativas, la normatividad escolar, as como las condiciones laborales y las prcticas educativas de los docentes.
Otra leccin aprendida es que es necesario impulsar una poltica activa de participacin de las asociaciones profesionales, colegios de profesores, asociaciones civiles y autoridades educativas para que colaboren en la definicin e instrumentacin de la regulacin acadmica de calidad. La participacin profesional, civil y gubernamental tendra que establecer parmetros de calidad (estndares) y sistemas de acreditacin y certificacin de docentes, programas de formacin
de docentes y mtodos de evaluacin, as como comits de concertacin y asesora para el desarrollo acadmico de las
instituciones formadoras y actualizadoras. En este contexto, el Instituto Nacional para la Evaluacin de la Educacin
(INEE), como parte de sus atribuciones, est impulsando acciones estratgicas para el establecimiento de rganos Colegiados y de Consulta que permitir intercambiar informacin y experiencias sobre evaluacin y facilitar la participacin
activa y equilibrada de los actores del proceso educativo y de los sectores social, pblico y privado.
As tambin, las revisiones realizadas plantean lo indispensable que resulta el hecho de caminar hacia la constitucin
de un nuevo sistema de estmulos al trabajo docente y a la formacin permanente, tomando como base la reglamentacin
de la calidad profesional en funcin de estndares, mtodos de evaluacin adecuados y mecanismos legtimos de evaluacin externa y a travs del apoyo y miradas objetivas de comits conformados por investigadores, acadmicos de alto
prestigio y docentes en servicio con experiencia y reconocimiento en ambas reas.
Adicionalmente, se propone mejorar los criterios de calidad acadmica para obtener la licencia de entrada al servicio
educativo sosteniendo la necesidad de fortalecer sistemas de concurso pblico o mecanismos de evaluacin rigurosos,
transparentes y confiables que permitan valorar la creatividad en el trabajo docente y reconocer las capacidades acadmicas y profesionales (Miranda, 2008).
No ser menos importante reorientar los curriculums de formacin articulando la formacin cientfica y humanstica
con la formacin pedaggica y la experiencia prctica en las escuelas, tomando en cuenta los campos disciplinarios y los
sectores de especializacin de la educacin. Al respecto se ha subrayado la conveniencia de impulsar los modelos clnicos
de residencia e internado (Fullan y Hargreaves, 1992, Perrenoud, 2001). Sobre estos temas, nuestro pas tendr que ir
dando los primeros pasos en el marco de la ruta de cambio educativo que recientemente se ha trazado.
Otra tendencia mundial fuerte, que al menos se ha instalado en Mxico con su actual reforma educativa, es la modificacin de los regmenes laborales considerando un incremento sustantivo de los salarios de entrada, transformacin de
los criterios de basificacin en atencin al cumplimiento de los estndares de calidad y los procedimientos de evaluacin,
acreditacin y certificacin, y la creacin un sistema de reconocimiento y reemplazo decorosos al personal en edad jubilatoria (Carnoy y de Moura, 1997; OCDE, 2004).
En trminos generales, son varias las tendencias de cambio mundial sobre la formacin docente que han tenido una
importante resonancia en la actual reforma educativa en Mxico. Destaca al respecto la regulacin establecida en la Ley
General del Servicio Profesional Docente que comprende cuatro procesos clave, a saber: 1) Ingreso; 2) Promocin; 3)
Reconocimiento y 4) Permanencia. Cada uno de ellos con sus propias variantes, pero en conjunto plantean la inalienable
necesidad de implementar slidos procesos de seleccin y capacitacin docente que permitan garantizar la idoneidad
de los conocimientos y las capacidades necesarias de quienes se desempeen como docentes; asegurar trayectorias de
tutora y acompaamiento y manejar con cuidado el estatus de la profesin.

CRITERIOS PARA ORIENTAR LA POLTICA


DE EVALUACIN DE DOCENTES
El reto mayor para la poltica educativa mexicana actual es la formacin de nuevas capacidades docentes, lo cual supone
tres componentes bsicos: primero, nuevas competencias que se traducen en conocimiento, habilidades y actitudes que
se requieren; segundo, nuevos recursos, que involucran no solo dinero o tecnologa, sino tambin, ideas y experiencia; y
tercero, nuevas motivaciones que aluden a las energas que los docentes puedan desplegar y comprometer para enfrentar
los retos de equidad y calidad educativa.
Lo anterior lleva la semilla de un cambio profundo de la profesin docente como profesional autnomo que implica
varias lneas de trabajo e innovacin, a saber: a) el dominio sobre un campo profesional cada vez ms complejo, que
integra el conocimiento en s y la manera de ensearlo, lo que es necesario ante la profundidad de los cambios vividos
en lo cultural, lo poltico, lo social, lo econmico y lo tecnolgico; b) La capacidad de reflexionar y evaluar el desempeo
propio y de innovarlo y mejorarlo con base en la motivacin intrnseca, ms que en los estmulos externos; c) una tica
profesional renovada que sustente el compromiso, el desempeo responsable y el rendimiento de cuentas; y d) la organizacin profesional no nicamente sindical necesaria para incidir en la escala colectiva de las decisiones educativas; se
trata de una organizacin que se rija por la prioridad debida la calidad de la educacin mexicana (Consejo de Especialistas
para la Educacin, 2006)
En el marco de lo anteriormente expuesto, y con la finalidad de fijar algunos temas relevantes para una poltica de
evaluacin de docentes en Mxico, a continuacin se sealan algunos temas que ser necesario tomar en cuenta en los
procesos de evaluacin docente.
La matriz epistmica de la cual se parte es la interaccin entre los cambios de las principales variables sociales, polticas y econmicas del proceso civilizatorio actual marcado por la globalizacin, la sociedad del conocimiento, la nueva
economa de mercado, la transicin a la democracia, la emergencia de la sociedad civil y la defensa de los derechos humanos y la entronizacin de los proceso de desigualdad social y diversidad cultural, y las nuevas demandas y exigencias
que estos cambios plantean a la formacin y a la prctica docente en funcin de las nuevas competencias y resultados
que se exigen a los educandos y a la nueva ciudadana. En el Cuadro 1 se presenta un bosquejo de esta matriz en la que se
ejemplifican las nuevas exigencias para el profesorado.
Cuadro 1 Matriz de relacin entre cambio social y presiones al trabajo docente
Variables de cambio social

Presiones hacia la formacin y trabajo docente

Sociedad del conocimiento

Nuevas exigencias y criterios para la formacin


y desarrollo de competencias

Transicin hacia la democracia como forma de gobierno

Ruptura de las formas autoritarias de la gestin pedaggica

Emergencia de la sociedad civil y defensa


de los derechos humanos

Demandas para articular la formacin y el cuidado


de los educandos

Nuevas relaciones entre desigualdad y diversidad

Flexibilizacin curricular y pedaggica para la atencin


diferenciada de las necesidades de los alumnos

Globalizacin econmica basada en modelos


y estndares de calidad

Estndares de calidad para la evaluacin y mejora


del desempeo docente

Fuente: elaboracin propia, con base en la revisin de la literatura.

Los cambios sociales le exigen mucho al sistema educativo y a los docentes, pero tambin tienen que ofrecerle algo a
cambio al nivel de las demandas que le hace. Lograr que la economa, la poltica y la cultura contempornea cifrada en las
posibilidades de la sociedad del conocimiento para generar crecimiento con equidad apoye la formacin, el trabajo y la
evaluacin docente, supone construir una nueva agenda de capacidades para la nueva profesin docente en el siglo XXI.
Entre ellos pueden mencionarse los siguientes:

Capacidad para aprender a lo largo de la vida que se expresa, entre otras cosas en el dominio de las TIC, capacidad
para la profundizacin y la generacin del conocimiento (UNESCO, 2007).

Capacidad para adaptarse a los cambios sociales, con virtudes y valores, con identidad profesional y valoracin
positiva de la profesin del maestro.

Capacidad para organizar el trabajo en el aula, dominar las tcnicas bsicas de comunicacin e interaccin y de

adaptar los contenidos de enseanza al nivel de los alumnos; es decir, maestros con calidad humana (Fullan, 2007)

Que renan el doble registro de ciudadana y la construccin de competencias docentes, acompaadas de implicacin crtica y prctica reflexiva (Perrenoud, 2001).

As, es plausible plantear como hiptesis de trabajo que a una sociedad y economa del conocimiento debe corresponderle, de manera interactiva, crtica y retroalimentadora, una pedagoga del conocimiento y una gestin del conocimiento.
Desde el eje de la pedagoga del conocimiento se pueden construir y producir: i) procesos educativos basados en el aprendizaje y no en la enseanza, buscando desarrollar competencias y resultados efectivos de aprendizaje y no solamente
cumplir con los objetivos curriculares; ii) pedagogas horizontales, ms participativas, flexibles y constructivistas del
conocimiento; y, iii) pedagogas abiertas al mundo de la informacin y del conocimiento pero con estrategias adecuadas
de conduccin de los procesos formativos. Desde el eje de la gestin del conocimiento, por otro lado, habr que dinamizar
procesos que propicien: i) comunidades de aprendizaje en la escuela, para romper con la fragmentacin institucional y,
sobre todo, la soledad y el aislamiento del trabajo docente; ii) sistemas menos burocratizados y cada vez con mayor libertad y capacidad para impulsar proyectos de innovacin y mejora; y, iii) climas de trabajo ms participativos, democrticos
y de corresponsabilidad educativa y social.
Los planteamientos anteriores debern de enriquecer los marcos actuales de la buena enseanza, buscando ser elementos activos y dinamizadores de procesos educativos innovadores que permitan generar rutas de mejora efectiva.
Alrededor de la pedagoga y la gestin del conocimiento debern de tejerse los entramados y propuestas de trabajo entre
la definicin de estndares, los resultados de la evaluacin asociados a su cumplimiento y los diversos factores que influyen en el desempeo docente. Como se muestra en el Cuadro 2, la relacin entre dimensiones de la buena enseanza,
el marco normativo para la evaluacin docente actual en Mxico y un primer acercamiento a los factores que influyen en
el desempeo docente, permite generar diversos espacios de intervencin para redefinir el rol de la evaluacin en lnea
con las nuevas exigencias de la sociedad del conocimiento, las pedagogas del aprendizaje y la escuela como un nuevo
espacio de gestin de la evaluacin y de la produccin y distribucin del conocimiento. Todo ello debiera reflejarse en la
construccin de una nueva autonoma de los sujetos y de los espacios formativos.
Ergo: la evaluacin docente debe estar situada y significativamente estructurada en torno a tres mbitos centrales de
construccin y desarrollo de autonoma.

Autonoma de los centros escolares y fortalecimiento de los liderazgos profesionales


Para ello es necesario que la evaluacin busque hacer visible y reconocer la importancia de los siguientes aspectos: i) la
existencia de una normalidad mnima, es decir, asistir, trabajar y cumplir con la jornada escolar; ii) liderazgo del director
que conduce, coordina e impulsa trabajo colaborativo y delega tareas para el cumplimiento de las metas educativas; iii)
cohesin de los equipos docentes y la presencia de un gran ethos acadmico; iv) preocupacin por la planeacin curricular semanal y diaria, as como por los esquemas de seguimiento y evaluacin; v) acabar con el anonimato pedaggico y
atender de manera diferencial a sus alumnos de acuerdo con sus necesidades; vi) llevar a cabo procesos de actualizacin
desde dentro de la escuela, con base en el reconocimiento de necesidades y el uso de las capacidades diferenciadas de los
propios docentes; y, vii) establecer un vnculo estrecho con los padres de familia y con la comunidad.

Cuadro 2 Marcos de la buena enseanza y la visin de los docentes

Charlotte Danielson1

Artculo 14 de la Ley
de Servicio Profesional
Docente Mxico

La voz de los docentes2

Dominios y componentes

Aspectos principales
de la funcin docente

Factores que condicionan


el desempeo docente

1. Planificacin y preparacin

Demuestra conocimiento del contenido


disciplinar y pedaggico
Demuestra conocimiento
de los estudiantes
Establece resultados acadmicos
Demuestra conocimientos de los recursos
Disea una instruccin coherente
Disea evaluaciones de los estudiantes
2. Entorno en el aula
Crea ambientes de respeto y confianza
Establece una cultura de aprendizaje
Administra los procedimientos de aula
Administra la conducta estudiantil
Organiza el espacio fsico

1.Planeacin

2. Dominio
de los contenidos
3. Evaluacin
de los alumnos
4. Ambiente en el aula
5. Logro de aprendizaje
de los alumnos

3. Instruccin

2. Organizacin y funcionamiento del aula


2.1 Tamao del grupo
2.2 Tiempo de clase
3. Infraestructura
3.1 Instalaciones
3.2 Mobiliario completo y materiales
3.3 Tecnologas y conectividad
4. Gestin institucional
4.1 Carga administrativa
4.2 Formacin inicial y desarrollo profesional
4.3 Dficit de personal
(docente, de apoyo, administrativo)
4.4 Cambios en Planes y Programas
4.5 Vinculacin entre niveles educativos
4.6 Recursos financieros
4.7 Supervisores, ATP y Jefes de materia

Se comunica con los estudiantes


Usa tcnicas de preguntas y discusin
Involucra a los estudiantes
en el aprendizaje
Usa las evaluaciones en la instruccin
Demuestra flexibilidad y capacidad
de respuesta
4. Responsabilidades profesionales
6. Prcticas didcticas
7. Dilogo con los padres
de familia y tutores
Reflexiona sobre la enseanza
Mantiene los expedientes
Se comunica con las familias
Participa en una comunidad profesional
Crece y se desarrolla profesionalmente
Muestra profesionalismo

1. Organizacin y funcionamiento escolar


1.1 Escuela multigrado
1.2 Ambiente laboral
1.3 Duplicidad de funciones
1.4 Liderazgo del director
1.5 Consejos Tcnicos y Reuniones de Academia
1.6 Turnos escolares
1.7 Procesos educativos y administrativos

8. Colaboracin
con la escuela

5. Caractersticas de los estudiantes


5.1 Actitudes haca el docente y el trabajo en aula
5.2 Motivaciones personales
5.3 Adicciones y violencia
5.4 Alumnos con capacidades diferentes
6. Padres de familia
6.1 Participacin de los padres de familia
en la educacin de sus hijos
6.2 Expectativas y nivel de escolaridad
de los padres
6.3 Desintegracin familiar
Comunidad
6.4 Aspectos Culturales
6.5 Pobreza
6.6 Migracin y trabajo infantil
6.7 Narcotrfico e inseguridad

Fuente: elaboracin propia con base en la literatura revisada


Danielson, C. (2000). The handbook for enhancing professional practice. Using for framework for teaching in yopur school.
Association for Supervision and Curriculum Development Alexandria, Virginia USA.

Informe de Grupos Focales sobre factores que influyen en el desempeo escolar. Documento de trabajo interno. INEE (2015).

Autonoma y liderazgo profesional en los propios centros de formacin inicial


y programas de formacin continua
Los centros de formacin inicial y los programas de formacin continua deben dar un salto significativo en su constitucin a efecto de que puedan desarrollar ambientes de reflexin y pensamiento de vanguardia, flexible, participativo,
creativo y responsable con las exigencias del campo profesional docente y con el desarrollo del conocimiento cientfico
y pedaggico.

Autonoma en el ejercicio de la funcin


Ello implica asumir al docente como profesional autnomo, lo cual tendr que ser reflejado en competencias como las
siguientes: i) dominio adecuado de los contenidos de su disciplina; ii) dominio de la enseanza de esos contenidos, o sea,
dominio de las didcticas especializadas; iii) dominio de capacidades para la coordinacin y conduccin de grupos; y, iv)
capacidades de autorregulacin y ejercicio autnomo de la profesin, junto a capacidades para el trabajo colaborativo,
impulsar proyectos de mejora y tener sensibilidad y compromiso con el cambio educativo.

CONSIDERACIONES FINALES
En virtud de que al INEE le corresponde aprobar los elementos, mtodos, etapas y los instrumentos para llevar a cabo la
evaluacin en el Servicio Profesional Docente (Art. 28, Fracc. VIII, Ley del INEE); se vuelve indispensable desarrollar ejercicios de reflexin sobre los criterios que orientarn la evaluacin de los docentes. En este sentido, destaca la relevancia
de que dichos criterios se establezcan en concordancia con un modelo de formacin y actualizacin de profesores que se
base en algunas enseanzas y aportaciones de la experiencia internacional y de la propia experiencia mexicana. La lgica
de la autonoma y del fomento de los liderazgos profesionales ser, sin duda, una ruta prometedora para una poltica de
evaluacin docente en Mxico.
Sin duda, los procesos de evaluacin docente y las exigencias que de ellos se derivan, necesitan estar acompaados de
un esquema de formacin y actualizacin que brinde las herramientas necesarias para que los profesores se desempeen
mejor en su trabajo.

BIBLIOGRAFA

Arnaut Salgado, A. (2004) El sistema de formacin de maestros en Mxico. Continuidad, reforma y cambio, SEP, Mxico.
Arnaut Salgado, A. (2008) Origen, evolucin y situacin actual de la profesin docente en Mxico, en Tlamatini, el que
sabe y comparte. Textos de divulgacin No.1, Mxico, SEP.
Avalos, b.; Cavada, P.; Pardo, M., y Sotomayor, c. (2010): La profesin docente: temas y discusiones en la literatura
internacional. Estudios pedaggicos XXXVI, n 1: 235-263.
Barber, M., y Mourshed, M. (2008). Cmo hicieron los sistemas educativos con mejor desempeo del mundo para
alcanzar sus objetivos. Chile: PREAL.
Birgin, A. y S. Duschatzky (1995) "Problemas y perspectivas de la formacin docente", en Filmus, D. (Comp.) (1995).
Bolvar, A. (2010): La lgica del compromiso del profesorado y la responsabilidad del centro escolar. Una revisin de la
investigacin. Revista iberoamericana sobre calidad, eficacia y cambio en educacin (reice), 8(2), pp.10-33.
Bolvar, A. El lugar del centro en la poltica curricular actual. Ms all de la reestructuracin y de la descentralizacin.
En Pereyra, M., Garca, J., Gmez, A., y Beas, M. (comps.). Globalizacin y descentralizacin de los sistemas educativos.
Fundamentos para un nuevo programa de la educacin comparada. Barcelona: Pomares-Corredor.

10

Carnoy, M., y Moura, Claudio de. (1997) Qu rumbo debe tomar el mejoramiento de la educacin en Amrica Latina? Documento de antecedentes para el Banco Interamericano de Desarrollo. En Propuesta Educativa, nm. 17. Buenos Aires.
CEA (Cumbre Internacional de Educacin). (1997) Profesionalizacin docente. Mxico. UNESCO. Instituto de Estudios
Sindicales de Amrica.
Consejo de Especialistas en Educacin (2006). Los retos de Mxico en el futuro de la educacin. SEP. Mxico
De Ibarrola, M. (1998) "La formacin de los profesores de educacin bsica en el siglos XX", en Latap Sarre, P. (Coord.)
(1998), Un siglo de educacin en Mxico, F.C.E., Mxico, Tomo II, Captulo XX.
De Ibarrola, M. et al. (1997) Quienes son nuestros profesores (Anlisis del magisterio de educacin primaria en el Distrito
Federal, 1995), Fundacin SNTE para la Cultura del Maestro Mexicano, Mxico.
Daz Barriga, A. (2001). Estabilidad y cambio en las reformas curriculares. En: Ornelas, C. (Comp.) (2001). Investigacin
y poltica educativa: ensayos en honor de Pablo Latap. Mxico: Santillana.
Draibe, S. Reforma educativa y calidad de las instituciones democrticas: observaciones sobre la experiencia latinoamericana reciente desde el punto de vista de las condiciones institucionales de la gobernabilidad. En: Tenti, E. (Org.).
(2004). Gobernabilidad de los sistemas educativos en Amrica Latina. Buenos Aires: IIPE-UNESCO.
Dubet, F. Mutaciones institucionales y/o neoliberalismo? En: Tenti, E. (Org.). (2004). Gobernabilidad de los sistemas
educativos en Amrica Latina. Buenos Aires: IIPE-UNESCO.
Fullan, M., y Hargreaves, Andy. (1992). Teacher Development and Educational Change. Ontario: Routledge Falmer.
Fullan, Michael (2007) Mejoras en Colegios: requisitos para la formacin de profesores, en Revista Pensamiento Educativo.
Pontificia Universidad Catlica de Chile. Vol. 4, no. 2, Diciembre.
Galvn Lafarga, L.E. (2004) Del arte de ser maestra y maestro a su profesionalizacin en Publicaciones Digitales DGSCA
UNAM, disponible biblioweb.dgsca.unam.mx/diccionario/.../sec_15.htm [Accesado el 12 de agosto de 2010].
Habermas, J. (1987) Teora de la Accin Comunicativa, I, Taurus, Madrid.
Hargreaves, A. (1995) Profesorado, Cultura y Postmodernidad. Morata, Madrid.
Ibarrola, M. de. (1996). Siete polticas fundamentales para la educacin secundaria en Amrica Latina. Situacin actual
y propuestas. En: La educacin secundaria. Cambios y perspectivas. Mxico: Instituto Estatal de Educacin Pblica
de Oaxaca.
Kalls, D., y Staffan, S. Formacin del profesorado y trabajo de los maestros en Suecia: estrategias de la reforma y reorientacin profesional. En: Popkewitz, T. (1994). Modelos de poder y regulacin social en pedagoga. Crtica comparada de las reformas contemporneas de la formacin del profesorado. Barcelona: Pomares-Corredor.
Miranda, Lpez Francisco (2008). Educacin Internacional y anlisis comparado. Praxis, Mxico.
OCDE. (1994) Quality in Teaching. Paris, France.
OCDE. (2004) Quality in Teaching. Paris, France.
Perrenoud, P. (2001). La formacin de los docentes en el siglo XXI. Revista de Tecnologa Educativa. Vol. XIV, Nm. 3.
Santiago de Chile: Facultad de Psicologa y Ciencias de la Educacin. Pp. 503-523.
Porln, R. y A. Rivero (1998) El conocimiento de los profesores. Espaa. Dada.
Rivkin, S., Hanushek, E., y Kain, J. (2005). Teachers Schools and Academic Achievement. Econometrica, Vol. 73, No. 2
(March, 2005), 417458.
Rojas, F. Educacin y pobreza: un desafo de equidad. En: Pieck, E., y Aguado, E. (Coords.). (1995). Educacin y pobreza.
De la desigualdad social a la equidad. Mxico: El Colegio Mexiquense-UNICEF.
Stavenhagen, R. Tendencias del debate educativo a nivel mundial. En: Nez, C. (2004) (Coord.). Educar para construir un
sueo. tica y conocimiento en la transformacin social. Mxico: ITESO/CELA/UPN.
Tenti, E. y Steinberg, C. (2010). Los docentes mexicanos - datos e interpretaciones en perspectiva comparada. IIPE -UNESCO
Buenos Aires y Siglo XXI (pp. 141-161), Mxico.
Tenti, E. (1999) El arte del buen maestro. Mxico, Pax.
UNESCO (2007), Estndares de competencia en TIC para docentes. Londres. Enero.
UNESCO (2015). Education for All 2000-2015: achievements and challenges. UNESCO.
Vaillant, D. (2010): Iniciativas mundiales para mejorar la formacin de profesores. Revista brasilera de estudios pedaggicos,
v. 91, pp. 543-561, Brasilia.
Vezub, l. (2010): el desarrollo profesional docente centrado en la escuela. Concepciones, polticas y experiencias.
IIPE - UNESCO Buenos Aires. Parte I (pp. 10-22).

El entramado de la educacin,
la poltica y la evaluacin del Instituto
Tecnolgico Superior de Zapopan
14 de marzo de 2015

El entramado de la educacin,
la poltica y la evaluacin del Instituto
Tecnolgico Superior de Zapopan
Mercedes Guadalupe Limn Snchez
Maestra en Desarrollo Educativo, Universidad Autnoma de Guadalajara, Mxico.
bebalimons@yahoo.com.mx
Mara de Guadalupe Gmez Malagn
Maestra en Ciencias, Universidad Pedaggica Nacional, Mxico.

PALABRAS CLAVE: P
 oltica educativa; evaluacin y aseguramiento de la calidad educativa; participacin
y gobernanza.
EJE TEMTICO: 1. Modelos y polticas de evaluacin de docentes y de directivos escolares

Resumen

Esta comunicacin ofrece un panorama sucinto del proceso y resultados de la investigacin que, sobre las polticas de evaluacin educativa para el aseguramiento de la calidad, ha desarrollado una de las autoras como tesis
de grado de maestra. Inicialmente se ofrece informacin referida a la problemtica que se aborda, haciendo un
recorrido breve por la literatura que desde los campos de la poltica y de la evaluacin educativa, apuntalan y
enmarcan la construccin del objeto de estudio, as como las rutas y lmites de su anlisis. Se presenta el sustento
terico-metodolgico que estructura la investigacin, mismo que se inscribe en el anlisis de las polticas pblicas
de aseguramiento de la calidad como evaluaciones institucionales en el contexto de la construccin de un caso particular: el Instituto Tecnolgico Superior de Zapopan, ubicado en el estado de Jalisco, Mxico. Es en este referente
emprico que la participacin del personal docente, organizado en cuerpos colegiados y de los directivos, resulta
fundamental y cobra sentido desde la gobernanza como eje analtico de las polticas antes mencionadas. Para
finalizar se exponen algunos datos y argumentos desarrollados a manera de anlisis de resultados y de posibles
lneas de estudio posterior.

INTRODUCCIN
La educacin, como espacio pblico y como sector concreto de la poltica social, se constituye como un mbito de interaccin que regula la relacin SociedadEstado y en el que las polticas educativas son la expresin directa de esa interaccin entre ambas entidades: la educacin y la poltica. La micro-poltica de la institucin escolar es la arena en la que
los sujetos, a travs de su participacin activa, pueden apropiarse de los espacios pblicos y generar procesos de cambio
institucional ante las polticas educativas que les exigen sus instituciones. Esta participacin colegiada de los sujetos, que
entendemos como gobernanza, es el entramado conceptual que permiti conocer los significados de la evaluacin externa que otorgan docentes y directivos del Instituto Tecnolgico Superior de Zapopan (ITSZ)1 a la acreditacin de carreras
y la certificacin de procesos.
El Instituto Tecnolgico Superior de Zapopan nace en septiembre de 1999 con el fin de impulsar el desarrollo de la regin centro del Estado de Jalisco,
egresan de este instituto ingenieros en diversas ramas tecnolgicas cuyo desempeo profesional se valora como competente ante las exigencias
del sector productivo. Consultar: www.itszapopan.edu.mx

En la carrera por el aseguramiento de la calidad, las instituciones de educacin tecnolgica se encuentran bajo la
presin de las evaluaciones externas y de la exigencia de formar grupos de trabajo, como los comits de acreditacin
de programas los comits para la calidad, va la certificacin del proceso acadmico administrativo por la norma ISO
9001-2000, todo esto con el objetivo de implementar los procesos de calidad para la rendicin de cuentas a travs de la
evaluacin (SEP-PNE 2001-2006) (UNESCO, 2002).
El estudio de las polticas de la evaluacin educativa para el aseguramiento de la calidad en el ITSZ, se fundament en la
revisin de los programas educativos gubernamentales, as como del recorrido histrico de los procesos de evaluacin en
educacin superior, a partir de los referentes tericos del desarrollo de las polticas pblicas y poltica educativa (Parsons,
1997; Aguilar, 2007 y 2008) as como del nuevo institucionalismo (Dimaggio y Powell, 1999) y de las conceptualizaciones
consideradas fundamentales sobre la evaluacin (Scriven, 2005; Daz Barriga, 1996 y 2008).

DESARROLLO

El enfoque de las polticas pblicas que se suscribe, est centrado en el anlisis de problemas, y en cmo estos problemas
forman parte de la agenda de polticas pblicas. El cuestionamiento especfico es: De qu manera el problema del aseguramiento de la calidad entra a la agenda del gobierno?
Los problemas pblicos se enmarcan dentro de una realidad, en la que los valores las creencias, las ideologas, los
intereses y los prejuicios influyen en la recepcin de la realidad. En el caso de la educacin, son estos problemas los que
determinan las percepciones y construcciones que de la realidad se hacen los actores (Parsons, 2007), ya que disponen
de un contexto organizacional o gubernamental que ejerce gran influencia en la forma en que son estructurados.
La agenda pblica de la educacin superior que fijan organismos internacionales plantea que el aseguramiento de la
calidad es un punto imprescindible para la formacin de recursos humanos con capacidades y habilidades tcnicas y profesionales, as como el desarrollo de una cultura poltica ciudadana. Bajo este argumento, las instituciones de educacin
superior (IES) y el gobierno, establecen una relacin cercana, con el fin de desarrollar conocimientos en beneficio de las
instituciones, las empresas y la poblacin en general, redefiniendo el desarrollo de las universidades y su vinculacin con
el sector productivo. Ello otorga a las IES un papel estratgico en el desarrollo econmico del pas (Pallan, 1994).
Los principales actores que intervienen en la agenda pblica de la educacin superior, son el gobierno, la sociedad y
las IES. Las relaciones de gobierno y sociedad, as como la relacin de las instituciones de educacin superior y la sociedad, determinan la poltica pblica con base en el inters pblico. Es a travs de la gestin gubernamental que se debern
garantizar cantidad y calidad en el servicio de estas instituciones (Valenti y del Castillo, 1997).
El problema que se plantea al gobierno, a la sociedad y a las IES, es Cmo articular parmetros complejos como la
calidad y la competitividad, en contextos tambin complejos dados los impactos multidimensionales que se generan en
la prctica de los servicios educativos?
No es fcil responder a esta interrogante, el gobierno establece programas de rendicin de cuentas va la evaluacin,
sin la intervencin de los otros agentes, llevando a las instituciones educativas a cumplir con los estndares y no a establecer un modelo de calidad funcional desde la institucin escolar, omitiendo as los procesos de las polticas pblicas.
El problema de la calidad se situ en la agenda pblica a partir de la expansin de la matrcula estudiantil y de la definicin de la educacin como motor de desarrollo del pas, de ah que la calidad fue considerada un problema que deba
ser resuelto por las agencias gubernamentales.
Los procesos de evaluacin se determinaron a partir de las recomendaciones de organismos internacionales como
la UNESCO, el Banco Mundial entre otros, condicionando el financiamiento de las instituciones a la rendicin de cuentas
(UNESCO, 1998). La principal fuente de financiamiento de las IES proviene de recursos pblicos, su asignacin, a partir
de la modernizacin de la educacin, se vincula a la evaluacin y sta al aseguramiento de la calidad.
Este vnculo evaluacin-financiamiento, ha sido un factor decisivo en la aceptacin de los procesos de evaluacin
por parte de las IES ; lo que desvirta el significado formativo de la evaluacin y su carcter de retroalimentacin, al
tiempo que fortalece su carcter judicativo, venciendo la resistencia inicial derivada de la recompensa econmica (Daz
Barriga, 2008).

Esto adquiere diferentes significados para las IES, dependiendo de su contexto organizacional, por lo que es desde
la nueva gestin pblica que nos explicamos el impacto de la poltica educativa de la evaluacin. El uso de componentes
organizacionales como indicadores de desempeo, de descentralizacin de entidades administrativas, de competencia en
el sector pblico, de estilos gerenciales del sector privado en el pblico, de disciplina y austeridad en el uso de recursos,
creacin de estndares de desempeo, de rendicin de cuentas, de orientacin de los servicios al cliente, de productividad, lo que constituye una nueva gestin pblica como modelo de gobernar (Aguilar, 2008). Es la evaluacin el centro de
la poltica educativa, donde la profesionalizacin de docentes, funcionarios e instituciones, pasa a ser una constante de la
gestin educativa en la que la evaluacin se orienta al control de resultados y condiciona el financiamiento.
Este contexto impacta en las instituciones de educacin superior como el ITSZ, en las que el presupuesto condicionado
a la rendicin de cuentas y el control de los procesos mediante las evaluaciones, ocasionan cambios radicales en las instituciones educativas, adquiriendo nuevos significados para directivos y docentes. El sentido de estos significados, su construccin e impacto institucional, permite, desde la gobernanza, indagar alternativas de cambio que desarrollen modelos
de calidad funcionales y establezcan procesos permanentes de mejora, a partir del anlisis y de la investigacin educativa.

Sobre la estrategia metodolgica


El estudio de las polticas educativas de aseguramiento de la calidad de la educacin tecnolgica que imparte el ITSZ
fue de corte cualitativo, a travs del anlisis de polticas pblicas objetivadas en el discurso de los actores. Ello permiti
analizar tambin, las opiniones de los actores sobre aspectos del proceso de evaluacin en un caso descriptivo (Stake,
2006; Ferrini, 1997; Snchez Moreno y Lpez Yez, 1996). Este entramado conceptual fue el andamiaje utilizado para
dar cuenta de los significados que directivos y cuerpos colegiados otorgan a las polticas educativas de aseguramiento
de la calidad como la evaluacin, acreditacin y certificacin de procesos institucionales. Una tesis central que dirigi la
bsqueda, fue que los significados que otorgan los actores son socialmente construidos a partir de sus contextos y experiencias (Berger y Luckmann, 1968).
La estrategia investigativa se centr en la construccin de un estudio de caso: el ITSZ, en el que las herramientas metodolgicas fueron la encuesta y el guin para la discusin de grupos focales. Para esto ltimo se establecieron reuniones
con los cuerpos colegiados formados para la acreditacin de carreras, y para la certificacin del proceso acadmico-administrativo por ISO 9001-2000. Este dispositivo permiti conocer una aproximacin de cmo se dieron los procesos de
calidad en el ITSZ.

Sobre los resultados


Desde la experiencia tanto de directivos como de los cuerpos colegiados del ITSZ, se coincide en que la evaluacin
gener un exceso de burocratizacin, puesto que las diferentes evaluaciones a las que se ven sometidos como IES, exigen
la produccin de trmites diversos y la multiplicacin de informes. Este exceso de tareas impide tanto el desarrollo acadmico de los docentes, como su dedicacin a actividades trascendentales propias.
Esta condicin de la evaluacin establece una relacin de seguimiento circular entre las IES y el gobierno, generndose inconformidades y tensiones que no reflejan la condicin misma o las caractersticas de la calidad de los procesos
educativos que se pretende valorar. As, la evaluacin es solamente cuantitativa y deja a un lado variables que requieren
de tiempo y sensibilidad, as como el desarrollo de estrategias de valoracin acadmica diversas para contextos institucionales diversos.
No se ha avanzado sobre las implicaciones que tienen en el campo de la poltica educativa, las investigaciones sobre
la evaluacin de la evaluacin. A este respecto, en la literatura actual se afirman que son estas implicaciones, un eje de
articulacin importante en el desarrollo de los procesos de autoevaluacin y evaluacin institucional, condicin que posibilita la participacin y el anlisis-crtico de todos los actores involucrados en el proceso y no solo aquellos designados
desde la parte gubernamental.
4

Hemos confirmado que los directivos de educacin superior reconocen abiertamente las bondades de una poltica
educativa que planeta a la evaluacin y autoevaluacin como herramientas para conocer fortalezas y debilidades institucionales, y para acercarse de mejor manera a la realidad educativa, sobre todo a la hora de disear los programas operativos para alcanzar las metas institucionales y nacionales. Y que, a pesar de ello, el proceso de constitucin de los equipos
participantes, refleja un desinters y poca valoracin del proceso mismo (Daz Barriga, 1996)
Constatamos tambin que algunos aciertos de la evaluacin como poltica de aseguramiento de la calidad de la educacin en las IES, son evidencia de la experiencia significativa acumulada por las mismas instituciones y sus actores, a
partir de las acciones estratgicas que se generan en el proceso evaluativo, experiencia que ampla el conocimiento de las
instituciones (UNESCO, 2003)
Son dos los temas que resaltan en la interpretacin de los resultados: primero la falta de participacin en la dinmica
del establecimiento de la poltica del aseguramiento de la calidad, tanto desde el personal docente, como desde los directivos de primer nivel. En segundo lugar, destacan las inconsistencias con relacin a la acreditacin y la certificacin, la
misma terminologa no est debidamente definida y en algunos casos, el director es el nico que posee o puede compartir
este conocimiento.
La participacin en la acreditacin y certificacin solo es en la implementacin, el anlisis del impacto al interior de
la institucin no se ha desarrollado debido a los tiempos tan apretados que se manejan en las agendas internas, as como
la complejidad de los procesos y la carga de trabajo. Esto genera una competencia por lograr los estndares, no solo para
la rendicin de cuentas, sino para asegurar el financiamiento que requiere el desarrollo de la institucin y de manera importante, tambin existe la preocupacin permanente de perder el puesto, por no alcanzar los estndares. Esta dinmica
no permite desarrollar el anlisis y el debate, que lleve a tomar mejores decisiones por parte de los directivos, mucho
menos dedicar tiempo a conocer los significados que los cuerpos colegiados le dan a la calidad y como se puede dar el
aprendizaje colectivo a partir de estos estudios.

CONCLUSIONES: LA GOBERNANZA COMO ENTRAMADO


DE LA EDUCACIN, LA POLTICA Y LA EVALUACIN

El anlisis de los procesos de evaluacin y acreditacin que realizan las IES como el ITSZ, permite afirmar la necesidad
de establecer condiciones que den mayor autonoma a las instituciones y a los actores de las mismas para enfrentar los
retos, la complejidad y el constante cambio que les exige la realidad nacional y el mudo globalizado actual. Esto significa
incluir en la agenda educativa la gobernanza como estrategia y herramienta de politica educativa en educacin superior,
particularmente en cuanto a los procesos evaluativos.
Importa tambin reflexionar sobre nuevos modelos de conduccin que promuevan potencialidades institucionales
autogestivas que dentro del espacio escolar permitan a la institucin designar sus propios rganos de coordinacin en
funcin del modelo de calidad que establezca de acuerdo a su contexto. El democratizar las escuelas implica
Establecer una poltica educativa en la que la evaluacin se considere un elemento importante de la gobernanza,
donde el aula y la institucin sean el centro de la mejora del sistema educativo llevara a democratizar a las instituciones educativas de todos los niveles. Aqu la responsabilidad es un factor que da sentido a la gobernanza, en la que no
slo el Estado es responsable de la definicin, implementacin y evaluacin de los procesos educativos con el fin de
asegurar la calidad; el compromiso y la dedicacin por parte de la comunidad educativa son variables que permiten su
desarrollo tambin.
En sntesis, subrayamos la necesidad de establecer una poltica de evaluacin, donde los criterios y definiciones de
sta, tomen en cuenta a los actores y les permita desarrollar una evaluacin positiva que repercuta en la mejora educativa.
Sabemos que no es suficiente, que no es posible cambiar con palabras un territorio institucional que es fundamentalmente
poltico (Ibarra y Porter, 2007) por lo que es necesario fortalecer una cultura poltica al interior de las IES que propicie
una activa participacin y refuerce nuestra capacidad de asociacin o construccin de gobernanzas posibles, para proponer y operar estrategias y/o modelos de evaluacin que nos permitan a los actores que hacemos a las instituciones,
valorar la calidad educativa en todas sus dimensiones.

BIBLIOGRAFA
Aguilar, L.F. (2007). La implementacin de las Polticas. Porra. Mxico.
Aguilar, L.F. (2008). Gobernanza y gestin pblica. FCE. Mxico.
Berger, P. L. y Luckmann, T (1968). La construccin social de la realidad. Amorrortu Editores S.A., Argentina.
Cohen, L. y Manion, L. (1990). Mtodos de Investigacin Educativa. Madrid: La Muralla.
Copaes. (2003). Antecedentes, situacin actual y perspectivas de la evaluacin y acreditacin de la educacin superior en
Mxico. Documento para IESALC-UNESCO. Mxico.
Dimaggio, P. J. y Powell. W. (1999). El nuevo institucionalismo en el anlisis organizacional, FCE, Mxico.
Daz Barriga, . et al. (2008). Impacto de la evaluacin en la educacin superior mexicana. Edit. IISUE , Mxico.
Daz Barriga, . (1996). Contexto nacional y polticas pblicas para la educacin superior en Mxico 1950-1995, Centro de
Estudios Sobre la Universidad, UNAM, Mxico.
Ferrini, R. (1997) Metodologa de elaboracin de casos. Mxico. Direccin de desarrollo acadmico, ITSM, Mxico.
Ibarra, E. y Porter, L. (2007). Dilemas de la evaluacin del trabajo acadmico: estamos preparados para transitar del
castigo a la valoracin? En: Daz Barriga, A. y Pacheco MT. (comps) Evaluacin y cambio institucional, Mxico, Paids,
pgs.146-172.
Palln, F. (1994). Los procesos de evaluacin y acreditacin de las IES en Mxico en los ltimos aos. En: Revista de Educacin Superior. No. 91. Julio-Sept.
Parsons, W. (2007). Polticas pblicas. Flacso. Argentina.
Snchez Moreno, M. y Lpez Yez, J. (1996) "La metodologa del estudio de casos: una aplicacin a la enseanza de la
Organizacin Escolar" En Zabalza, M.A. (ed.) Reforma educativa y Organizacin escolar, Volumen: I. Trculo: Santiago
de Compostela.
Scriven, M. (2005). El Mtodo evaluativo de Scriven orientado hacia el consumidor. En Evaluacin sistemtica. Paidos.
Espaa. p.p. 341-373
SEP. Plan Nacional de Educacin 2001-2006. 2001. Mxico.
SEP. Plan Nacional de Educacin 2007-2012. 2007. Mxico.
SEP. Programa Institucional de Innovacin y Desarrollo, ITSZ, 2007-2012. 2007. Mxico.
Stake, R. (2006) Investigacin con estudio de casos. Madrid, Morata.
UNESCO. (1995). Documento de Poltica para el cambio y el desarrollo de la Educacin Superior. Pars: UNESCO.
UNESCO. (1998). La Educacin Superior en el Siglo XXI. Visin y Accin (Documento de Trabajo) Pars. UNESCO.
UNESCO . Foro Mundial de la UNESCO . (2002). Foro Mundial sobre Garanta de Calidad, Acreditacin y Reconcomiendo
de Cualificaciones en la Educacin Superior. Pars. UNESCO.
UNESCO. Foro Mundial de la UNESCO. (2003). Internacional de la Educacin Superior. UNESCO. Pars. UNESCO.
UNESCO. (2003). Antecedentes situacin actual y perspectivas de la evaluacin y acreditacin de la educacin superior
en Mxico. IESALC-UNESCO
UNESCO. (2007). Aseguramiento de la calidad de la Educacin Superior. APEID-UNESCO
Valenti, G. y Del Castillo, G. (1997). Inters Pblico y Educacin
Superior: un enfoque de poltica pblica, en Mungaray, A. y Valenti G. Polticas Pblicas y Educacin Superior. Mxico:
ANUIES, p. 89118.

La prctica pedaggica de la matemtica:


el caso de profesores exitosos
en educacin secundaria
14 de marzo de 2015

La prctica pedaggica de la matemtica:


el caso de profesores exitosos
en educacin secundaria
Ramn Leonardo Hernndez Collazo
Maestra, Centro Chihuahuense de Estudios de Posgrado, Mxico.
rlhcollazo@msn.com
PALABRAS CLAVE: Prctica docente, enseanza de las matemticas, educacin bsica.
EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo

Resumen

Se presentan los resultados de la fase exploratoria de una investigacin enfocada a identificar factores asociados al
rendimiento acadmico en matemticas en el estado de Chihuahua. En el estudio se determinan las caractersticas
de la prctica pedaggica de profesores de matemticas de las distintas modalidades de secundaria considerados
como exitosos en la ciudad de Chihuahua. La investigacin se ubica en un paradigma cualitativo, se buscaron identificar factores crticos de la prctica docente caracterizndola desde las acciones descritas y evidenciadas desde la
propia prctica mostrada por los sujetos, desde sus visiones y desde las fuentes materiales y testimoniales revisadas. El anlisis de la informacin sigui un procedimiento inductivo sustentado en la teora fundamentada, donde
la prctica instruccional exitosa surge de la propia evidencia emprica (prctica instalada) y no de la configuracin
de la teora existente. Los sujetos de estudio fueron aquellos docentes de matemticas reconocidos socialmente
por su desempeo profesional. Con el estudio se identifican componentes relevantes de la prctica pedaggica
de la matemtica, factores como las formas de gestin del aula, estrategias instruccionales efectivas, formas de
evaluacin, secuencias didcticas y hasta imaginarios de buena prctica en matemticas. Las lecciones permiten
ubicar patrones tpicos y excepcionales de enseanza, de organizacin y gestin de la clase que proponen los docentes. Adems se reconocen los dilemas que enfrentan los profesores al tratar de responder por un lado a las
demandas de las reformas curriculares y por otra parte esconder las rutinas y tradiciones que todava emplean
y que les resultan efectivas.

INTRODUCCIN

En este reporte se presentan los resultados de la fase exploratoria de un proyecto enfocado a identificar factores asociados al rendimiento acadmico en matemticas en el estado de Chihuahua. Se definen las caractersticas de la prctica
pedaggica de profesores de matemticas de las distintas modalidades de secundaria considerados como exitosos en la
regin en estudio. La evidencia solo representa una muestra de las particularidades y condiciones que en la cotidianidad
enfrentan estos profesionales y que la prctica docente de la matemtica no solo se deriva de la formacin o capacitacin
profesional, sino que se construye y reconfigura en el trabajo diario, en las acciones y reacciones que el contexto les impone, y que es en la propia experiencia o prctica instalada y ejercida en el aula donde se pueden descubrir y recuperar

los modelos, los haceres, las rutinas y los procedimientos que conforman su desempeo profesional. Se identifican factores crticos de buena prctica en matemticas, la prctica pedaggica se revisa tratando de dilucidar la teora instalada
en las aulas y desde la perspectiva y lgica de los propios profesores y de sus estudiantes. Las lecciones permiten ubicar
modelos tpicos y excepcionales de enseanza y de organizacin y gestin de la clase que proponen los docentes.

DESARROLLO
Planteamiento del problema
El proceso exploratorio del estudio responde a la necesidad de contar con mayor informacin respecto a la dimensin del
nivel de aula donde se incluye al profesor- y los factores asociados al rendimiento, objeto de estudio que aun cuando ha
sido estudiado a nivel emprico sus aportes se focalizan al nivel de educacin primaria y las variables que se reconocen
con asociaciones significativas, se orientan en aspectos sociodemogrficos del docente y/o en caractersticas del grupo
clase, sin profundizar en aspectos esenciales y ms cualitativos de la prctica pedaggica de la matemtica instalada y
desarrollada en el aula de clase. En Mxico, el estudio de los efectos del profesor en el rendimiento se ha centrado en variables asociadas al perfil del profesor (Experiencia, ausencia/presencia, nmero de grados atendidos y das de trabajo)
y no en elementos inherentes a su prctica pedaggica o en su habilidad instruccional (Carvallo, 2005).

Objetivos
Identificar las caractersticas de la prctica pedaggica de profesores de matemticas considerados como exitosos
en el nivel de educacin secundaria.

Descubrir componentes y patrones de desempeo de buena prctica pedaggica de profesores de matemticas.

Acercamiento conceptual de referencia

Profundizar en el estudio y comprensin de la prctica docente de la matemtica, implica necesariamente indagar y considerar aquellos referentes conceptuales que desde la evidencia emprica sealan distinguir el trabajo de los profesores
y su influencia en el rendimiento de los estudiantes.
La investigacin sobre el impacto del maestro en el aprendizaje de los estudiantes ha estado ms encaminada al perfil y caractersticas del profesor que a su prctica o habilidad docente. La formacin continua, la estabilidad laboral, el
contar con altas expectativas hacia los estudiantes, la permanencia constante y la persistencia basada en el compromiso
y el esfuerzo de los docentes se ubican como aspectos crticos del profesor (Wilson, 2002, McKinney, 2007 y Montero,
Villalobos y Valverde, 2007).
Estudios enfocados en la prctica y capacidad docente identifican entre los factores ms importantes: las formas
instruccionales como el partir de conocimientos previos, emplear ejemplos, iniciar con problemas o estrategias de corte
constructivista producen efectos positivos en el logro, mientras que la enseanza centrada en la memoria, en la promocin frontal y en el aprendizaje colaborativo afectan negativamente el desempeo (Hattie, 2009, Loera et al, 2005; Carvallo, 2006 y Wilson, 2002). Una trayectoria significativa, positiva y directa fue identificada entre enseanza constructivista
y logro en matemticas (Wilson, 2002). Heck (2010) identifica como mejores profesores a los que utilizan varios mtodos
de instruccin (aprendizaje cooperativo, tutora de pares, actividades en computadora).
Estudios de nivel correlacional sobre el trabajo del docente identifican asociaciones significativas en situaciones
donde se reta a los estudiantes a pensar y resolver problemas por ellos mismos o juntos como grupo, proponer ejemplos
resueltos, problemas y los pasos apropiados para su resolucin reduce la carga cognitiva y promueve la concentracin

en el proceso de resolucin y no solo en el resultado, proporcionar retroalimentacin (feedback) durante la leccin, la


presin acadmica y el hecho de dejar tarea influyen en el rendimiento (Phillip, 1997 y Hattie, 2009). As mismo los nios pueden aprender cuando se les provee con explicaciones claras de lo que significa "dominio" del material enseado
(conocimiento del contenido matemtico) Blum, Baumert y otros (2010).

Metodologa
La investigacin es bsicamente de naturaleza cualitativa, buscando de manera inductiva un acercamiento al objeto de
estudio. El estudio busca descubrir o generar, desde un contexto delimitado y real aquellos, factores y caractersticas
que explican el fenmeno de la prctica instruccional efectiva. La teora fundamentada o Grounded theory que proponen
Glaser y Strauss (1967), sirve de sustento para tratar de identificar y comprender, desde los propios datos y a partir
de un procedimiento inductivo, la teora instalada en la realidad. La teora fundada o tambin llamada emergente
(Loera, Cazares, Hernndez, y Hernndez, 2005), se constituye en una metodologa general para desarrollar teora que
est basada en datos que son sistemticamente recogidos y analizados (Strauss y Corbin, 1994), es decir para descubrir
la teora que emerge desde los datos. La eleccin de los docentes considerados como exitosos (3 profesores: uno por
cada modalidad de secundaria) se bas en criterios de reconocimiento profesional hacia su trabajo y de los resultados de
aprovechamiento obtenido con sus estudiantes, para este efecto se entrevist a directivos, funcionarios y asesores tcnico
pedaggicos de secundaria y se revisaron los resultados de aprovechamiento promedio de sus estudiantes en matemticas (del grado) de los 2 ltimos ciclos escolares comparndose con los resultados de otros docentes de la zona y regin.
En la recoleccin de informacin se emplearon tcnicas como la entrevista semiestructurada (Cols y Buenda, 1998),
cuestionarios, el diario de clase de matemticas y el portafolio pedaggico de matemticas (Loera, Cazares, Hernndez,
y Hernndez, 2005). La informacin recopilada se revis mediante la estrategia de identificacin de unidades conversacionales (Ruz del Cerro, 2003), tambin se recurri a desarrollar anlisis matricial (Miles y Huberman, 1994), donde los
datos se organizaron por categoras, subcategoras e informantes, consiguiendo con ello, una distribucin y despliegue
que permiti una lectura y anlisis comparativo de la misma. Por otra parte se utiliz el programa Qualrus1 para organizar y comparar diferentes fuentes, permitiendo identificar patrones recurrentes y atipicidades de y desde los datos.

Resultados
Los resultados se presentan a partir de abordar los aspectos que emergen del anlisis de los datos, cada categora de anlisis se desarrolla en dos sentidos, desde el mbito de cada modalidad de secundaria seleccionada y/o de manera general,
formulando conclusiones y/o posibles hiptesis derivadas de la informacin.

La organizacin del grupo


La estrategia de organizacin ms recurrente en los casos analizados es la distribucin de los estudiantes en equipos.
Tanto docentes, estudiantes y expertos ubican esta forma de organizacin como la ms pertinente para desarrollar la leccin de matemticas, reconocen en el trabajo por equipos una estrategia que permite intercambiar ideas, puntos de vista
y hasta formas diversas de resolucin de problemas matemticos. Profesores y expertos en matemticas sealan adems
que al trabajar en equipos o en grupos responden a la normativa que les marcan los planes y programas de la asignatura
de matemticas. La organizacin donde los alumnos se ubican individualmente en filas o la tradicional organizacin
grupal, es otra estrategia muy utilizada por los profesores, menos reconocida en su discurso, pero de recurrente aparicin en la evidencia observada en la investigacin (portafolios, diarios, cuestionarios y entrevistas) y en los comentarios
Qualrus: The Intelligent Qualitative Analysis Program, prestigiado programa de anlisis cualitativo que presenta la peculiaridad de proponer
sugerencias de categorizacin conforme se le proporciona informacin.

de los diferentes informantes. En el caso de la escuela secundaria tcnica, la organizacin del grupo se establece dependiendo de la naturaleza del contenido a desarrollar en la clase de matemticas, cuando se trata de un contenido simple o de
fcil comprensin para los alumnos, el docente propone el trabajo por equipos. En el caso de una clase donde se trabaja un
contenido complejo, la leccin se desarrolla a partir de la explicacin o introduccin del contenido por parte del profesor,
mientras los estudiantes de manera grupal se ubican en filas y sentados individualmente. En telesecundaria la organizacin del grupo se presenta generalmente de forma individual o en binas cuando se trata de trabajar alguna actividad del
libro o ejercicio en el cuaderno; cuando se involucra un contenido complejo y que no logran desarrollar las actividades en
equipo, el docente explica a todo el grupo. En secundaria general se organiza usualmente en equipos.

Formas de evaluacin
Se identifican acciones de evaluacin en el desarrollo de la leccin y en momentos formales de evaluacin. Estrategias
como la revisin de tareas al inicio o antes de comenzar la clase, la retroalimentacin mediante correcciones, revisin de
ejercicios, sugerencias de procedimientos de resolucin de problemas u operaciones, el cuestionamiento o la solicitud
de argumentacin ante la presentacin de resultados o en la puesta en comn de productos, as como aquellas acciones de
comprobacin o demostracin de lo aprendido, son ejemplos de maniobras de evaluacin o de monitoreo del progreso
desarrolladas por los profesores. Mientras que la consideracin de criterios diversos como el examen, los portafolios de
evidencias de trabajo, los trabajos, los niveles de participacin y el nivel de desempeo mostrado, se establecen como
indicadores para la calificacin final o parcial de los estudiantes en la clase de matemticas.

Formas de introducir contenidos

Dentro de las formas de enseanza que ms suelen utilizar los profesores se ubica la tradicionalmente conocida explicacin del contenido o procedimiento matemtico. En diferentes momentos de la secuencia didctica de enseanza y con
caractersticas diferentes en su contenido y atributos segn la modalidad de secundaria, la estrategia de introducir explicando el contenido se advierte como una manera recurrente de ensear. Se emplea cuando los contenidos de matemticas
resultan complejos de comprender o que requieren de algn referente o conocimiento previo de los estudiantes. La explicacin generalmente se da de manera frontal ante el grupo de estudiantes, quienes se ubican de manera individual para
facilitar que pongan atencin al docente, solo en secundaria general se organizan siempre en equipos, pero la explicacin
se da al nivel de todo el grupo.
En relacin al contenido de la explicacin, los profesores recurren a desarrollar sus explicaciones con el apoyo de
ejemplos que ilustran el contenido trabajado, parten de graduar el conocimiento de lo ms fcil a lo ms difcil, otros
emplean material concreto o alternan dibujos en su explicacin para facilitar el aprendizaje. De manera especial cuando
se trata de procesos de resolucin de problemas o ante el manejo de frmulas complejas, los profesores destinan buena
parte de su explicacin a detallar por pasos la estrategia de resolucin.
Otra estrategia de introduccin de contenidos es el uso de monitores que apoyan en el proceso de aprendizaje de los
estudiantes. Los profesores seleccionan a estudiantes para que en los momentos de desarrollo de ejercicios o de actividades, apoyen a compaeros que no logran completar las tareas o que no comprenden el contenido.
Una alternativa ms es la ejecucin de un repaso de parte de los profesores, es el espacio donde se dedican a recordar
temas revisados en una secuencia de clase o al final de un bloque temtico, retroalimentan conceptos o procedimientos
tratados y con ello reafirman el aprendizaje de los estudiantes y los preparan para completar el examen oficial, institucionalizado en la evaluacin escolar de los tres casos analizados. Los profesores de telesecundaria y de secundaria general promueven una especie de competencias entre los estudiantes cuando resuelven problemas o realizan ejercicios, se
reconoce a quien termina primero un trabajo o al que lo hace o resuelve de mejor manera. Los profesores de secundaria
general y de secundaria tcnica desarrollan actividades previas ante contenidos difciles o que requieren conocimientos
previos de los estudiantes.

Uso de material didctico


Los materiales didcticos que ms se evidencian en la prctica instruccional de la matemtica son aquellos de tipo
audiovisual, como el uso de la televisin, el proyector digital y los programas de computadora. Material concreto como
recortes, objetos, formas geomtricas y carteles tambin son utilizados, particularmente en el caso de secundaria general. El material concreto es usualmente empleado por los estudiantes para actividades que requieren la construccin
individual o en equipo de algn objeto de apoyo al abordaje del contenido o cuando se necesita manipuleo de materiales
que favorezcan la comprensin del conocimiento matemtico. Los profesores lo emplean para abordar o introducir un
contenido matemtico. En otro sentido, el material instruccional se utiliza para confirmar y reafirmar contenidos revisados durante la clase.

Imaginario de buena prctica pedaggica


En la visin de buena prctica pedaggica, una caracterstica recurrente entre los profesores es el hecho de conocer al
alumno, tener informacin no solo de su nivel de desempeo, sino hasta cuestiones personales, virtudes y defectos, eso
permite contar con herramientas para comprenderlos, ubicar necesidades de aprendizaje y apoyarlos en consecuencia.
Ese conocimiento del estudiante viene acompaado por otro aspecto: la generacin de un ambiente de confianza en los
estudiantes, la bsqueda de una relacin de amistad, ms que un intercambio de docente a alumno, fortalece la comunicacin y la confianza.
Otra cuestin que destaca es la preocupacin porque los estudiantes aprendan, particularmente en la modalidad
de secundaria tcnica y telesecundaria, por ejemplo al estar explicando algn contenido, darse a entender, saber que
comprendieron y no pasarse a otro tema sin antes no estar seguros de que todos lograron el conocimiento. Profesores
con iniciativa, que demuestren creatividad en las actividades y estrategias que proponen, con ello se propicia el inters
y la motivacin de los estudiantes (telesecundaria y secundaria tcnica). En secundaria general resulta importante una
prctica docente con sentido comn, donde se pueda actuar eficazmente segn la situacin o el contexto que se presente.
Desde la perspectiva de los estudiantes, el mejor profesor de matemticas es aquel que explica ms y de diferentes
formas, que introduce contenidos o procedimientos a detalle, que se preocupa por el aprendizaje y atiende a los que no
entienden, que incluso explica al inicio de clase o antes de que los estudiantes traten de acercarse o descubrir por si mismos el contenido. Es un docente que propicia la participacin individual, de equipo y de manera grupal, particularmente
pasando al frente o al pizarrn a los estudiantes. El buen profesor hace sus lecciones dinmicas, interesantes y entretenidas, proponiendo actividades diversas, creativas y no montonas.

CONCLUSIONES
En este estudio se ha tratado de profundizar en aquellos componentes de la prctica pedaggica que desarrollan profesores exitosos en matemticas. La evidencia emprica, las percepciones y los testimonios encontrados permiten delinear
algunos patrones de desempeo docente que parecen iluminar respecto a factores de la prctica pedaggica que sin parecer extraordinarios pueden hacer la diferencia en procesos concretos de enseanza y de aprendizaje de la matemtica
en la escuela secundaria mexicana.
Se confirma la idea de que la prctica docente es un objeto de estudio relevante que debe abordarse si se desea comprender la naturaleza de la enseanza y del aprendizaje y si se busca profundizar en los factores causales del rendimiento
acadmico de los estudiantes.
En una prctica pedaggica exitosa en matemticas confluyen componentes no solo provenientes de la formacin de
los profesores, sino que en la cotidianidad del aula se amalgaman la experiencia efectiva, el conocimiento matemtico
y la pericia o tacto para resolver eficazmente las situaciones docentes.
6

Situaciones que podran catalogarse como tradicionales o que no encajan en los nuevos enfoques pedaggicos de la
matemtica, siguen emplendose por los profesores con buenos resultados. La explicacin frontal del contenido o procedimiento matemtico, el uso de estudiantes monitores y la promocin de competencias y estmulos entre los alumnos
son algunas de estas acciones que continan vigentes en estas prcticas exitosas.
La explicacin del contenido o la instruccin a detalle de algn procedimiento matemtico sigue siendo la estrategia
ms efectiva para promover el aprendizaje en matemticas. La explicacin frontal a los alumnos como estrategia de abordaje se ubica con mejores resultados cuando se trata de introducir contenidos matemticos nuevos o complejos.
Variables como la organizacin pertinente del grupo, formas variadas de evaluacin y retroalimentacin del aprendizaje, el repaso y la demostracin de contenidos, as como estrategias eficaces de enseanza y resolucin de problemas resultan efectivas cuando se proponen en el momento idneo, con la maniobra adecuada y cuando se tiene claro el
propsito de su aplicacin. El docente exitoso sabe cundo actuar, cmo hacerlo y lo ms importante reconoce por qu
intervenir de determinada manera. La prctica pedaggica por tanto, se traduce en una intervencin racionalizada y con
sentido del efecto que produce, no se improvisa sino que se acta de acuerdo a la circunstancia y a la experiencia efectiva.
Existen componentes de la prctica exitosa en matemticas que pudieran parecer acciones recurrentes entre los profesores, lo que otorga valor agregado es el momento en el que se propone durante la secuencia didctica y el propsito
con el que se ejecuta.
El estudio aun cuando devela situaciones concretas del trabajo en el aula, se enfoca en la prctica de profesores con
buen desempeo en matemticas, una tarea pendiente en investigacin sera contrastar con prcticas docentes de profesores sin reconocimiento profesional y que obtienen menores niveles promedio en los resultados de rendimiento de sus
estudiantes, adems de profundizar en la enseanza de contenidos matemticos especficos del nivel de secundaria. Por
otra parte sera conveniente indagar acerca de la posible interaccin de factores de la prctica docente con aquellos al
nivel del docente, de la escuela y de los estudiantes y su asociacin con el rendimiento acadmico.
Aceptar los resultados encontrados no significa que se deba dejar de lado los actuales enfoques y postulados de
la matemtica y de los programas de la asignatura en secundaria, los profesores exhiben prcticas que recuperan los
nuevos planteamientos, buscan seguir la normatividad, no obstante mantienen aquellos aspectos que les ofrecen resultados. En la prctica concreta se conservan rutinas exitosas y se instalan nuevos haceres que dan sentido y lgica al
accionar docente.

BIBLIOGRAFA

Baumert, J, Kunter, M, Blum, W, Brunner, M, Voss, T, Jordan A, Klusmann, U, Krauss, S, Neubrand, M, Tsay, Y. (2010) Teachers'
Mathematical Knowledge, Cognitive Activation in the Classroom and Student Progress. American Educational Research
Journal. 47: 133
Carvallo, M. (2005). Anlisis de los resultados obtenidos en estudios de eficacia escolar en Mxico, comparados con
los de otros pases. REICE, 80-108.
Carvallo, M. (2006). Factores que afectan el desempeo de alumnos mexicanos en edad de educacin secundaria: un estudio
dentro de la corriente de eficacia escolar. En REICE, Vol. 4. No. 3. P 30-53.
Cols, M., & Buenda, L. (1998). Investigacin Educativa. Sevilla: Alafar.
Glaser, B., & Strauss, A. (1967). The Discovery of Grounded Theory: strategies for qualitative research. New York: Aldine
Publishing Company.
Hattie, J. (2009). Visible learning. A synthesis of over 800 meta-analyses relating to achievement. Routledge, Taylor &
Francis group. New York. 378 p.
Heck, R. (2010). "Proposing and testing a multilevel model of school and teacher effects on student achievement".
At Analyzing school contexts. Influences of Principals and Teachers in the services of students. IPA Information
Age Publishings Inc. USA. Pp. 39-69.
Loera, A., Cazares, O., Hernndez, E., & Hernndez, R. (2005). Reporte Nacional Fase 2 Telesecundaria. Evaluacin Cualitativa del Programa Escuelas de Calidad 2002-2004. S.F.: Heuristica Educativa.

McKinney, S & et al (2007) Addressing urban high-poverty school teacher attrition by addressing urban high-poverty
school teacher retention: why effective teachers persevere. Educational Research and Review Vol. 3 (1), pp. 001-009.
Explorado el da 26 de mayo de 2008 del sitio http://www.academicjournals.org/ERR
Miles, M., & Huberman, A. (1994). Qualitative Data Analysis. An Expanded Sourcebook. California, USA: SAGE Publication,
Thousand Oaks.
Montero, E., Villalobos J y Valverde, A. (2007). Factores institucionales, pedaggicos, psicosociales y sociodemogrficos
asociados al rendimiento acadmico en la UCR: Un anlisis multinivel. RELIEVE, v 13, n. 2 p 215-234. Explorado el 23
de mayo de 2009 del sitio: http://www.uv.es/RELIEVE/v13n2/RELIEVEv13n2_5.htm
Phillips, M., (1997) What makes schools effective? A comparison of the relationships of Communitarian climate and Academic climate to Mathematics achievement and attendance during middle school. American Educational Research
Journal. Vol. 34, No 4. Pp. 633-662
Ruz del Cerro, J. (2003). La investigacin cualitativa. Una metodologa grfica de las narraciones procedentes de entrevistas a profundidad. Encuentros en psicologa social, 39-48.
Strauss, A., & Corbin, J. (1994). Grounded theory methodology: An overview. Thousand Oaks, CA: Sage.
Wilson, B and et al, (2002). The Relations Among School Environment Variables and Student Achievement: A Structural
Equation Modeling Approach to Effective Schools Research. Washington School Research Center. Technical Report #4.
November, 2002. Explorado el da 3 de junio del sitio: www.spu.edu/wsrc

Avaliao da poltica de educao no sistema


privativo de liberdade de adolescentes
14 de marzo de 2015

Avaliao da poltica de educao no sistema


privativo de liberdade de adolescentes
Irandi Pereira
Doutora em Educao pela Universidade de So Paulo, docente do Mestrado Profissional Adolescente em Conflito
com a Lei da Universidade Anhanguera de So Paulo e coordenadora do Ncleo de Estudos, Pesquisa Adolescente
e Gesto Pblica (Nepag), Brasil.
irandip@gmail.com

PALAVRAS-CHAVE: Educao. Poltica socioeducativa. Avaliao. Adolescente infrator.


PALABRAS CLAVE: Educacin. Poltica Socio. Evaluacin. Adolescente infractor.
KEYWORDS: Education. Socioeducational policy. Evaluation. Adolescent offender.
EJE TEMTICO 1: Modelos y polticas de evaluacin de docentes y directivos escolares

Resumo

Este artigo tem como objetivo apresentar consideraes sobre a avaliao da poltica pblica de educao em
espaos de privao de liberdade em desenvolvimento no Brasil. Algumas premissas sobre avaliao so trazidas
para o debate da educao e sua relao com a poltica pblica socioeducativa ao adolescente em conflito com a
lei. As pesquisas, tanto no trato da poltica de educao quanto da poltica socioeducativa ao adolescente privado
de liberdade, ainda so incipientes apesar de reconhecidas como direitos fundamentais e diante do interesse superior de adolescentes enquanto pessoas sujeitos de direitos.

Resumen

Este artculo tiene como objetivo presentar las consideraciones sobre la evaluacin de las polticas pblicas en materia de educacin en las zonas de privacin de libertad en fase de desarrollo en Brasil. Algunos supuestos acerca
de la evaluacin se ponen en la discusin de la educacin y su relacin con las polticas pblicas socio adolescentes
en conflicto con la ley. La investigacin, tanto en el trato con la poltica de la educacin como la situacin socio
poltica a la libertad adolescente privado, son an incipientes aunque reconocidos como derechos fundamentales
y en los mejores intereses de los jvenes como sujetos de derechos.

Abstract

This article objective is to present considerations about the educational public policy in development in Brazil in
places of deprivation of liberty. Some premises about evaluation are brought to debate of education and its relation with the socioeducational public policy for the adolescents in conflict with the law. Researches, both in dealing with education policy as the socioeducational policy for the adolescent deprived of liberty, are still incipient,
though recognized as fundamental rights and before the best interests of adolescents as persons subject to rights.

INTRODUO
Este artigo objetiva apresentar consideraes sobre a avaliao da poltica pblica de educao brasileira nos espaos de
privao de liberdade, e o recorte recai sobre seu desenvolvimento no interior do sistema de atendimento socioeducativo de adolescentes em conflito com a lei. Por adolescente em conflito com a lei entende-se a pessoa entre 12 e 18 anos
de idade, envolvida em determinadas circunstncias de cometimento de ato infracional - seu percurso nos sistemas de
Justia (na aplicao de medida socioeducativa) e do Executivo (na apurao do ato infracional e na execuo da poltica
socioeducativa) e, notadamente, sobre as relaes estabelecidas nesse percurso com familiares, pares, profissionais e
sociedade em geral.
Algumas premissas sobre avaliao so trazidas ao debate da poltica de educao e sua relao com a poltica socioeducativa. Por poltica socioeducativa compreende-se o sistema de atendimento nos trs mbitos da administrao pblica (federal, estadual e municipal), com suas diferentes competncias, atribuies e especificidades na ateno direta e/
ou indireta ao adolescente no cumprimento de medida judicial. Tais premissas encontram-se em diferentes documentos
pblicos como no Plano Nacional Decenal da Educao (2011-2020), no Plano Nacional Decenal de Direitos Humanos de
Crianas e Adolescentes (2012-2021) e no Plano Nacional Decenal de Atendimento Socioeducativo (2013-2022).
A poltica de educao nos espaos de privao de liberdade de adolescentes de responsabilidade do sistema estadual de educao, considerando-se a natureza das polticas de direitos humanos (transversalidade) e a socioeducativa
(incompletude institucional). E, assim, deve trazer, para o interior do sistema socioeducativo, diferentes modalidades de
educao, matrizes curriculares, estratgias e metodologias de ensino, processos avaliativos, certificao e, ainda, os profissionais necessrios ao desenvolvimento da educao escolar (docentes, gestores e operacionais) e material didtico e
pedaggico.
Estudos e pesquisas sobre avaliao da educao no sistema socioeducativo, como da prpria poltica socioeducativa,
so incipientes apesar do reconhecimento, na legislao brasileira, dos direitos fundamentais e do interesse superior do
adolescente na condio de sujeito de direitos, sua condio peculiar de pessoa em desenvolvimento, expressos em tratados internacionais da Organizao das Naes Unidas e ratificados pelo governo brasileiro.
A avaliao da educao escolar no interior do sistema socioeducativo ganha destaque a partir do ordenamento jurdico-institucional, aps 1988. Tem duas dimenses: a macro, que trata da avaliao do sistema socioeducativo nos trs
mbitos da administrao pblica brasileira, e a micro, que incide sobre a ateno direta ao adolescente em cumprimento
de medida judicial.

DESENVOLVIMENTO
Poltica socioeducativa e poltica educacional
A poltica pblica socioeducativa aquela voltada ao adolescente em conflito com a lei que, por deciso judicial e aps
o devido processo legal, deve cumpri-la no interior do sistema de atendimento socioeducativo. A idade mnima de responsabilizao penal 18 anos e o adolescente responde por seus atos conforme determina o ordenamento jurdico e
institucional especial: as leis federais n. 8.069/90 (Estatuto da Criana e do Adolescente ECA) e n 12.594/12 (Sistema
Nacional de Atendimento Socioeducativo - Sinase). As medidas tm carter restritivo de liberdade (Prestao de Servios
Comunidade e Liberdade Assistida) e privativo de liberdade (Semiliberdade e Internao), alm de outras1 (BRASIL,
ECA, 1990).
Na aplicao de uma medida socioeducativa preciso considerar a capacidade do adolescente em cumpri-la, levando-se em conta o princpio da dignidade humana e o respeito sua condio peculiar de pessoa em desenvolvimento,
Art. 112 Verificada a prtica de ato infracional, a autoridade competente poder aplicar ao adolescente as seguintes medidas: I. Advertncia;
II. Obrigao de reparao do dano; III. Prestao de Servios Comunidade; IV. Liberdade Assistida; V. Insero em regime de Semiliberdade.
VI. Internao em estabelecimento educacional; VII. Qualquer uma das previstas no art. 101, I a VI (BRASIL, ECA, 1990).

a brevidade de tempo para o cumprimento da medida, a natureza dos regimes de atendimento, o carter de responsabilizao e de no punio do envolvido nos espaos dos programas socioeducativos. A natureza jurdica das medidas socioeducativas tem trs dimenses: uma sancionatria e restritiva de direitos, outra de responsabilizao como apropriao
ou compreenso sobre o ato praticado, seu significado pessoal e social e, ainda, como garantia dos direitos sociais pela
condio peculiar de pessoa em desenvolvimento e sujeito de direitos (BRASIL, ECA, 1990).
No caso da privao de liberdade de adolescentes, o Estado brasileiro o responsvel principal pela tutela daqueles
e por isso impedido constitucionalmente de transferi-la a outro tipo de iniciativa. No caso do regime aberto, o acompanhamento poder ou no ser realizado direta (entidades governamentais) e/ou indiretamente (entidades no governamentais) desde que estas tenham programas inscritos e cadastrados em rgos pblicos responsveis pela poltica
socioeducativa e mediante parceria ou convnio formal entre as partes.
A poltica socioeducativa concebida transversalmente e por isso depende, para a sua execuo, das demais polticas
pblicas. Ela integra o sistema de garantia de direitos de modo interinstitucional (entre os Poderes Judicial, Legislativo
e Executivo), intersetorial (educao, sade, assistncia social, esporte, cultura, lazer, trabalho, moradia) e, por decorrncia, as prticas tm carter interdisciplinar. Enquanto modelo sistmico de atendimento, a execuo das medidas
socioeducativas de responsabilidade dos trs entes federados com funes normativas, executivas, avaliativas e de controle. O ente federado estadual o responsvel pela criao e manuteno de programas socioeducativos de privao de
liberdade (Internao, Internao Provisria e Semiliberdade), e o municipal, pelos servios em meio aberto (Prestao
de Servios Comunidade e Liberdade Assistida).
No Brasil, o levantamento, ano base 2011, realizado pela Secretaria de Direitos Humanos da Presidncia da Repblica
(SDH-PR), indicava a presena, no sistema nacional de atendimento, de 107.617 adolescentes em cumprimento de medidas socioeducativas, sendo 19.595 em privao de liberdade e 88.022 em restrio de liberdade e, desses, 86,91% so do
sexo masculino e 13,09%, do feminino. A populao total de adolescentes entre 12 e 18 anos incompletos de pouco mais
de 20 milhes e, desses, 0,9% cumpria alguma medida privativa de liberdade (BRASIL, IBGE Censo, 2010). Tais dados so
subestimados uma vez que no figura entre eles a aplicao de outras medidas socioeducativas (Advertncia e Obrigao
de Reparar o Dano) de iniciativa e finalizao da Justia da infncia e da juventude e por no comportar a organizao de
programas de atendimento.
A educao nos contextos privativos de liberdade (adulto e jovem) se insere no debate da diretriz Educao para todos, j proclamada como um direito humano na Declarao Universal dos Direitos Humanos (1948), documento-referncia da ONU para a edio de outros tratados complementares. A educao, enquanto direito humano, concebida como
a realizao da educao ao longo da vida, segundo a Conferncia Mundial Sobre Educao para Todos (Jontien, 1990)
e a resoluo n 1.990/20 do Conselho Econmico e Social das Naes Unidas (24/05/1990), recomenda, aos privados
de liberdade, a garantia do acesso educao (alfabetizao, educao bsica, formao profissional, educao fsica,
esporte, ensino superior, servios de biblioteca). E, a Declarao Universal dos Direitos Humanos (1948), no artigo 26,
afirma que toda pessoa tem direito educao e a Declarao Mundial sobre Educao para Todos (Jontiem, 1990), em
seu prembulo, defende que ainda persistem o descaso e/ou a desateno pblica com a educao escolar dos privados
de liberdade e uma educao com indicadores de qualidade.
No Brasil, com a Constituio Federal (1988), a ateno ao adolescente em conflito com a lei ganha novos contornos,
considerando-se a adoo do paradigma da doutrina da proteo integral, expresso em diversos documentos da ONU (um
conjunto de direitos para todas as crianas e adolescentes, sem nenhum trao discricionrio). Esse modelo, centrado no
reconhecimento desse grupo etrio como sujeito de direitos, reforou o direito educao pblica e, com isso, a necessidade de se criar mecanismos para a garantia, acompanhamento e avaliao dessa obrigatoriedade no sistema nacional
de atendimento socioeducativo.
Os artigos 205 a 213 da Carta Magna asseguram os direitos educativos aos brasileiros, incluindo os que se encontram
em contextos de privao de liberdade e aos que no tiveram acesso educao na idade apropriada. A LDB (1996) no
contempla dispositivos especficos sobre a educao no sistema de privao de liberdade; contudo ratifica a deciso constitucional da educao para todos, e a modalidade Educao de Jovens e Adultos (EJA) tem sido a mais desenvolvida nesses contextos. O Plano Nacional de Educao Nacional de Educao de 2001(PNE, 2001), dentre os objetivos e metas da
educao de jovens e adultos, previu o desenvolvimento em todas as unidades de privao de liberdade (sistema prisional
(adultos) e sistema socioeducativo (adolescentes) de programas de educao para os reclusos de nvel fundamental e

mdio e formao profissional, incluindo, tambm, o fornecimento de material didtico e a oferta de educao a distncia
(BRASIL, PNE, 2001). J, o ECA (1990), nos incisos X e XI do artigo 94, estabelece que cabe s unidades de internao garantir a escolarizao dos internos, e, no pargrafo nico do artigo 123, estende as atividades pedaggicas Internao
Provisria e, na Semiliberdade, as aes escolares devem ser realizadas nas escolas da comunidade do mesmo modo que
as medidas em meio aberto (PEREIRA, 2006; 2012).
Ao adolescente em privao de liberdade h uma srie de documentos internacionais da ONU que trata da garantia
das necessidades bsicas da pessoa menor de idade (proteo especial), e a preveno da delinquncia juvenil parte
essencial da preveno do delito na sociedade e o tratamento institucional deve assegurar cuidado, proteo, educao e
formao profissional com a possibilidade de que o adolescente desempenhe papel construtivo e produtivo para si e para
a coletividade. As Regras de Beijing (1990), ao remeter aos que se encontram em medidas de internao (privao de
liberdade), assegurar seu cuidado, proteo, educao e formao profissional para permitir-lhes que desempenhem um
papel cognitivo e produtivo na sociedade. As Regras Sobre a Proteo dos Jovens Privados de Liberdade (1990), dispe
sobre a gesto da educao, considerando que todo jovem em idade de escolaridade obrigatria ter o direito de receber
um ensino adaptado s suas necessidades e capacidades e destinado a prepar-lo para sua reintegrao na sociedade.
Para tanto, o ensino deve estar a cargo de professores competentes, atravs de programas integrados ao sistema de
ensino pblico para que, quando sejam postos em liberdade, os jovens possam continuar seus estudos sem dificuldade.
Sobre a educao, o ECA (1990), dedica parte do captulo IV e nos artigos 53 a 58, dispem que a criana e o adolescente tm direito educao, visando ao pleno desenvolvimento de sua pessoa, preparo para o exerccio da cidadania e
qualificao para o trabalho. Para isso, devem ser assegurados desde o direito igualdade de condies para o acesso e
permanncia na escola ao respeito de seus educadores - o de contestar critrios avaliativos e o de recorrer s instncias
escolares superiores e de organizar e participar em entidades estudantis - e, o mais importante, ter acesso escola pblica e gratuita, prxima de sua residncia (artigo 53).
Na reafirmao do direito constitucional, presente no artigo 208, destaca-se no ECA no 2 do artigo 54, dentre
outros deveres do Estado, que a no garantia de ensino obrigatrio pelo poder pblico, ou mesmo a sua oferta irregular,
importa responsabilidade da autoridade competente. O artigo 56 e seus incisos I, II III, respectivamente, definem que os
dirigentes de estabelecimentos de ensino fundamental comunicaro ao Conselho Tutelar os casos de maus-tratos envolvendo seus alunos, a reiterao de faltas injustificadas e de evaso escolar, esgotados os recursos escolares e os elevados
nveis de repetncia. O CT tem papel precpuo em zelar pelos direitos e fiscalizar a sua garantia e, nesse caso, o articulador entre a escola e o sistema de Justia. J o artigo 57 destaca que o poder pblico estimular pesquisas, experincias
e novas propostas relativas a calendrio, seriao, currculo, metodologia, didtica e avaliao, com vistas insero de
crianas e adolescentes excludos do ensino fundamental obrigatrio. Nesse sentido, h a possibilidade de enfrentar o
tema da excluso do ensino fundamental e de compreender melhor esse fenmeno e as alternativas mais adequadas para
super-lo. A modalidade de educao escolar ofertada aos adolescentes em privao de liberdade no sistema socioeducativo de atendimento tem priorizado a modalidade Educao de Jovens e Adultos (EJA); contudo, outras modalidades
poderiam ganhar destaque, como tambm, a oferta da educao escolar em tempo integral. O reconhecimento legal do
direito educao para os adolescentes em privao de liberdade no tem sido acompanhado de medidas efetivas para
a sua garantia de forma sistemtica e com qualidade no interior do sistema socioeducativo, segundo indicam estudos na
rea (PEREIRA, 2006; PEREIRA; ZAMORA; ALAPANIAN, 2014).
Os dados levantados pelo Conselho Nacional de Justia (CNJ), por meio do Projeto Justia ao Jovem (2012), mostraram descompasso entre o discurso (a lei) e a realidade encontrada nas unidades de privao de liberdade: no perodo de
19/07/2010 a 28/10/2011, encontravam-se em cumprimento de medida socioeducativa privativa de liberdade 17.502
adolescentes, distribudos em 320 estabelecimentos de internao e, desses, foram entrevistados 1.838 adolescentes
(10% do total geral de internos no pas), analisados 14.613 processos judiciais e visitadas todas as unidades de internao, ao todo, 320. E, dentre uma srie de quesitos, a escolaridade era um deles, considerando-se que o ECA (1990) determina que as unidades de privao de liberdade tenham o dever de promover a escolarizao (de responsabilidade das
Secretarias de Estado da Educao). Do total de total de entrevistados, 91% eram alfabetizados e 8%, no alfabetizados e,
na mdia, declararam ter parado de estudar entre oito e 16 anos de idade e interrompido os estudos aos 14 anos. Antes
da aplicao da medida de Internao, 57% declararam que no frequentavam a escola e 86% deles estavam no ensino
fundamental, entre a 5. e a 6. sries (sem a concluso da educao bsica obrigatria) e apenas 11% deles, no ensino

mdio. E, no cumprimento da medida, 72% declararam frequentar a escola diariamente e, um dos motivos alegados para
ausncia s aulas, foi por motivos de indisciplina e que a sano geralmente aplicada pela unidade de atendimento a no
presena s aulas, um contrassenso ao direito humano de crianas e adolescentes (BRASIL, CNJ, 2012).

CONCLUSO
A partir da presente reflexo, alguns indicativos podem servir de ponto de partida para as premissas de avaliao da
poltica de educao no interior sistema socioeducativo:
Adoo das orientaes internacionais: a primeira se relaciona as referncias definidas nos tratados internacionais
e, em especial, na Conferncia Mundial sobre Educao (Jontien, 1990). E, nesse sentido, preciso verificar se e como os
contedos da educao - os conhecimentos, as habilidades, os valores e as atitudes se apresentam no sistema de atendimento de adolescentes privados de liberdade; a segunda se trata da garantia a todos os reclusos do acesso educao, com incluso em programas de alfabetizao, educao bsica, formao profissional segundo resoluo 1.990/20
(24/05/1990) do Conselho Econmico e Social das Naes Unidas;
adoo da norma nacional: preciso avaliar se e como a poltica de educao desenvolvida ao adolescente em privao de liberdade no sentido de sua promoo e possibilidades de (re)insero social; tambm se e como a aquisio
de conhecimentos se desdobra em melhores condies para a vida pessoal do adolescente na relao com o tempo de
encarceramento ou se a presena s aulas significa apenas a ocupao do tempo disponvel do adolescente internado
(JULIO, 2013);
unidades de atendimento: avaliar se e como as unidades de atendimento do sistema socioeducativo contemplam
os processos de elaborao e desenvolvimento do PPI e a educao, com o PPP, considerando-se aproximaes e distanciamentos da ao entre os dois rgos responsveis pelo adolescente em cumprimento de medida socioeducativa
(Justia e educao). E, na elaborao do PIA do adolescente, se e como se d a presena dos profissionais da educao,
dos adolescentes e seus familiares, equipe tcnica das unidades de atendimento e sistema de Justia, em torno das metas
da educao escolar, tanto pelos internos quanto pela gesto das polticas de educao e ainda da gesto socioeducativa;
censo escolar: verificar se e como os adolescentes em privao de liberdade tm tido presena no censo escolar e
participado dos espaos de avaliao da educao em diferentes nveis (nacional e estadual);
deciso da medida socioeducativa e incluso na escola forma: esse indicador fundamental na avaliao, considerando-se que se d no perodo de tempo entre a deciso judicial da medida (justia) e a incluso do adolescente na escola
(executivo/unidade de atendimento);
metodologias e estratgias; modalidades de ensino; produo de material didtico: considerar nos processos avaliativos se, como e quais metodologias e estratgias de educao so utilizadas; quais as modalidades de ensino possveis,
considerando-se as especificidades dos adolescentes (idade, incluso/excluso/abandono escolar, distoro idade e srie
cursada) e a privao de liberdade; o desenvolvimento, produo e uso de material didtico;
condies estudo e trabalho: as condies de estudo, com salas-ambiente, oficinas, bibliotecas devem ser avaliadas,
considerando-se que o espao das unidades de atendimento no apropriado para o desenvolvimento da educao escolar e mesmo das atividades pedaggicas complementares, a parceria entre a poltica de educao e a poltica socioeducativa: as relaes entre gestores, docentes, Justia, adolescentes, familiares, socioeducadores;
formao continuada: avaliar a existncia e a qualidade de projeto poltico de formao continuada para o corpo de
socioeducadores (sistema socioeducativo) e para os profissionais da educao (docentes, gestores, apoio operacional);
egressos do sistema: avaliar a insero dos adolescentes na escola formal, extramuros do sistema socioeducativo,
para continuidade de seu processo educacional, da formao profissional, para o trabalho e para a vida sociofamiliar e
comunitria, entre outros indicativos.

BIBLIOGRAFIA
BRASIL. Constituio Federal da Repblica Federativa do Brasil, 1988.
_______. Estatuto da Criana e do Adolescente (Lei Federal 8.069), 1990.
_______. Lei de Diretrizes e Bases da Educao (Lei Federal 9.394), 1996.
_______. Ministrio da Educao. Plano Nacional de Educao (PNE), Braslia, DF: INEP. 2001.
_______. Sistema Nacional de Atendimento Socioeducativo (Lei Federal n 12.594), 2012.
BRASIL - SDH-PR. Levantamento Nacional do Atendimento Socioeducativo ao Adolescente em conflito com a Lei.
Braslia: Ministrio da Justia, Secretaria Nacional de Promoo dos direitos da Criana e do Adolescente da Presidncia da Repblica, 2012. Acessado em http.www.sedh.gov.br. 12/19/2013.
BRASIL - Presidncia da Repblica. Secretaria Especial dos Direitos Humanos. Conselho Nacional dos Direitos da Criana
e do Adolescente. Resoluo no. 119 Sistema Nacional de Atendimento Socioeducativo: parmetros pedaggicos e
arquitetnicos). Conanda /; SDH-PR, 2006.
BRASIL. Conselho Nacional de Justia. Panorama Nacional: a execuo das medidas socioeducativas de Internao
(Programa Justia ao Jovem), Braslia, 2012.
BRASIL - Fundao Instituto Brasileiro de Geografia e Estatstica. Censo 2010,
JULIO, E. F. Uma viso socioeducativa da educao como programa de reinsero social na poltica de execuo penal. http://www.ufsj.edu.br/portal2-repositorio/File/vertentes/Vertentes_35/elionaldo.pdf. Acessado em
12/11/2013.
KEIL, I. M. Direitos e liberdade princpios geradores da educao de qualidade no ensino fundamental. In UNGARETTI,
M. A. (org.) Direito de crianas e adolescentes educao no ensino fundamental, So Paulo : ABMP, 1, ed.,
2012..
LIBERATI, W. D. A gesto das polticas pblicas para o adolescente em conflito com a lei no Estado constitucional. In
LIBERTATI, W. D. (Coord.) Gesto da poltica de direitos ao adolescente em conflito com a lei, So Paulo: Letras
Jurdicas, 1. ed., 2012.
NOMA, A. K; BOIAGO, D. L. Polticas pblicas para a educao em contexto de privao de liberdade. In http://www.
utp.br/cadernos-de-pesquisa/pdfs/cad-pesq10/5-polticas-publicas-cp10.pdf. Acessado em 12/09/2013.
ONU. Declarao Universal dos Direitos Humanos, 1948.
_______. Conveno Americana sobre os Direitos Humanos (Paco de San Jos), 1969.
_______. Conferncia Mundial sobre Educao para Todos (Jontien), 1990.
_______. Regras Mnimas das Naes Unidas para a Infncia e a Juventude (Regras de Beijing), 1990.
_______. Regras Mnimas das Naes Unidas para a Preveno da Delinquncia Juvenil (Diretrizes de Riad), 1990.
_______. Regras Mnimas das Naes Unidas para a Proteo dos Jovens Privados de Liberdade, 1990.
PEREIRA, I. O Adolescente em conflito com a lei e o direito educao. So Paulo, Faculdade de Educao da USP
(Tese de Doutorado), 2006.
PEREIRA, I., ZAMORA, M.H. N.R, ALAPANIAN, S. Poltica pblica socioeducativa ao adolescente em conflito com a lei.
In MALACARNE, V. et.al. Violncia e educao: em busca de novos olhares. Curitiba/PR, Editora CRV, 1. ed., 2014.

Cmo se ensean las matemticas en aulas


chilenas? Un estudio exploratorio del
conocimiento pedaggico del contenido
de los profesores chilenos
14 de marzo de 2015

Cmo se ensean las matemticas en aulas


chilenas? Un estudio exploratorio del
conocimiento pedaggico del contenido
de los profesores chilenos1
Mara Beatriz Rodrguez Fras*
Psicloga, Magister en Psicologa Educacional, Mide UC, Universidad Catlica de Chile.
mrodriguezf@uc.cl

Ximena Patricia Carreo Campos


Profesora de Estado en Matemtica, Magister en Educacin Matemtica. Mide UC, Universidad Catlica de Chile.
xcarreno@uc.cl
Mara Herminia Ochsenius Alarcn
Psicloga, Magister en Psicologa Educacional, Licenciada en Matemtica. Magster en Ciencias Exactas,
mencin Matemticas, Doctora en Ciencias Exactas, mencin Matemticas, Chile.
hochsen@mat.puc.cl
Carmen Vernica Muoz Correa
Profesora de Estado en Matemtica
cveronicamunoz@gmail.com

PALABRAS CLAVE: Evaluacin docente, conocimiento pedaggico del contenido, enseanza de las matemticas.
EJE TEMTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen

Con el fin de aportar informacin til para focalizar esfuerzos por fortalecer la educacin matemtica en escuelas chilenas, este estudio explora en la evidencia disponible, recogida por el Ministerio de Educacin en el Programa de Asignacin de Excelencia Pedaggica (AEP), sistema voluntario de evaluacin docente. Mediante el anlisis de videos de
clases de matemtica que los postulantes presentan en el portafolio con el que son evaluados, se explora en prcticas
de enseanza distinguidas como indicadoras del conocimiento pedaggico del contenido matemtico, utilizando pautas de codificacin y rbricas construidas para estos fines. Del anlisis se identifican debilidades en las dimensiones
estudiadas: aunque en sus clases desarrollan explicaciones generalmente correctas y hacen adecuado uso de recursos
pedaggicos, la presentacin de contenidos se limita a un solo enfoque, y presenta escasa articulacin; las ocasiones de
promocin del razonamiento matemtico y la interaccin pedaggica con contenido matemtico, tambin son insuficientes. Adicionalmente, los resultados de este anlisis se relacionaron con los obtenidos por los profesores en la Prueba
de Conocimientos Disciplinarios que tambin rinden en el marco del programa, obtenindose resultados que sugieren
una relacin positiva entre el conocimiento que los docentes poseen de la disciplina y sus habilidades para ensearla.
Finalmente, se desprenden recomendaciones para la formacin inicial y continua de los docentes de matemtica y se
confirma la necesidad de fortalecer la comprensin conceptual profunda de la disciplina, de modo de focalizar las estrategias pedaggicas que se despliegan en el aula en la promocin de los aprendizajes matemticos en los estudiantes.
Este estudio forma parte de uno mayor, financiado por el Fondo de Investigacin y Desarrollo en Educacin (Fonide), del Centro de Estudios
del Ministerio de Educacin de Chile. El estudio completo, denominado Cunto saben de matemtica los docentes que la ensea y cmo se relaciona
este saber con sus prcticas de enseanza? fue dividido en dos secciones que, debido a su extensin, se presentan por separado para Colmee 2015.
La parte complementaria se denomina Qu saben de matemtica los docentes que la ensean?, y se presenta en ficha adjunta.

*Autor principal

INTRODUCCIN
La importancia de que los profesores conozcan bien los contenidos que ensean est establecida. El dominio disciplinario
del docente se ha vinculado empricamente con los resultados de los estudiantes (Monk, 1994; Frome, Lasater y Cooney,
2005) y es considerado como un componente central en la definicin de la calidad docente (Leinhardt y Smith, 1985; Ball
y McDiarmid, 1990; Mullens, Murnane, y Willett, 1996; Darling-Hammond y Young, 2002; Chambliss, Graeber y Clarke,
2003). Por otra parte, diversos estudios establecen que el conocimiento matemtico necesario para la enseanza es diferente del requerido por profesionales de otros mbitos relacionados con las matemticas (Ball, Hill y Bass, 2005; Ma,
1999; Papick, 2011).
Esta nocin, relativa a formas de conocer la disciplina desde una perspectiva pedaggica, se instala a partir del trabajo
de Lee Shulman (1987), quien introduce el constructo "conocimiento pedaggico del contenido" (CPC), como complementario y distinto del conocimiento del contenido y de las habilidades pedaggicas generales (Shulman, 1987).
Liping Ma (1999) compara profesores competentes en USA y China, mediante observaciones y entrevistas. Sus principales hallazgos se relacionan con lo que ella denomina Comprensin Profunda de la Matemtica Fundamental (CPMF),
presente en niveles significativamente inferiores en los profesores norteamericanos. Se caracteriza por la presencia de 4
atributos: Conexiones, presentacin de mltiples perspectivas, nfasis en ideas bsicas y coherencia longitudinal
entre contenidos del currculum (Ma, 1999).
Deborah Ball y Hyman Bass, de la Universidad de Michigan, especifican la nocin de Conocimiento Pedaggico del
Contenido para la Enseanza de las Matemticas (CME) y se focalizan en las dimensiones del conocimiento til en la sala
de clases y en lo que los profesores requieren saber para ser exitosos con sus estudiantes. Entre sus componentes est el
Conocimiento del contenido y los estudiantes, que refiere al proceso de aprendizaje de las matemticas, sus dificultades y
errores frecuentes (Ball et al., 2005).
El presente estudio aspira a complementar estos hallazgos, mediante un modelo de anlisis de la prctica de aula,
centrado en el conocimiento pedaggico del contenido matemtico. Se espera proporcionar orientaciones para la fomacin inicial y continua de los profesores de matemtica en Chile y con ello contribuir a mejorar la calidad de la enseanza
de esta disciplina, lo que an constituye un desafo prioritario para los sistemas educativos de nuestro pas y la regin.
Se utilizar evidencia disponible, recogida por el Ministerio de Educacin de este pas, en el marco de uno de los
sistemas de evaluacin docente: el Programa de Asignacin de Excelencia Pedaggica (AEP). Este sistema voluntario de
evaluacin, mediante una prueba escrita (Prueba de Conocimientos Disciplinarios y Pedaggicos) y un Portafolio, identifica a los maestros de excelencia y les otorga una serie de beneficios y reconocimientos para incentivarlos a permanecer
en las aulas.

DESARROLLO
Objetivo de estudio
Identificar y caracterizar prcticas de enseanza de las matemticas, definidas como indicadores del conocimiento pedaggico del contenido, en clases de una muestra de docentes y vincular tales resultados con su dominio disciplinario.

Metodologa

Para cumplir este objetivo, se analizaron 120 videos disponibles del programa AEP, de clases de ejes del curriculum Geometra y Datos y Azar, que los profesores postulantes entregan como parte de su Portafolio, y se explor en los aspectos
del desempeo docente que son objeto de este estudio y que no son evaluados por el programa. Adicionalmente, se consideraron los resultados de estos profesores en la Prueba de Conocimientos Disciplinarios que rinden en esta evaluacin.

Instrumentos
1. Se elaboraron pautas de codificacin y rbricas, para recodificar los videos en funcin de las dimensiones identificadas. El proceso de construccin de estos instrumentos se ilustra en la Figura 1:
Figura 1 Proceso de construccin de pautas de codificacin y rbricas

Una vez que se cont con el conjunto definitivo de indicadores para ambas pautas, se generaron las rbricas para
la evaluacin de la evidencia, distinguindose para cada indicador cuatro niveles de desempeo. Las pautas definitivas
para cada eje temtico, comparten la mayor parte de los indicadores (Tabla 1).
Tabla 1 Indicadores definitivos Pauta de Anlisis Estudio 2

INDICADORES

EJE

Precisin conceptual de las explicaciones.

Geom y D y A

Uso correcto del lenguaje matemtico y su notacin.

Geom y D y A

Uso de variados ejemplos o representaciones.

Geom y D y A

Uso de metforas.

Geom y D y A

Presentacin de mltiples perspectivas en la aproximacin a una solucin.

Geom y D y A

Relacin entre los contenidos tratados.

Geom y D y A

Uso correcto de recursos y tecnologas.

Geom y D y A

Uso de recursos y tecnologas pertinentes para contenidos de geometra.

Geom

Monitoreo de la comprensin de contenidos matemticos.

Geom y D y A

Promocin del razonamiento matemtico.

Geom y D y A

Seguimiento de intervenciones de los estudiantes.

Geom y D y A

Tratamiento de errores y dificultades de los estudiantes.

Geom y D y A

Promocin de habilidades cognitivas para la comprensin de la geometra.

Geom

Consideracin de los conocimientos previos de los estudiantes.

Geom y D y A

Calidad de la contextualizacin de los contenidos tratados.

DyA

Promocin de habilidades de interpretacin de datos y anlisis crtico de la informacin.

DyA

Promocin de habilidades de comunicacin de la informacin a partir de los datos.

DyA

2. Prueba de Conocimientos Disciplinarios AEP: instrumento diseado para evaluar el dominio disciplinario de los profesores postulantes al programa AEP. La prueba para docentes de matemtica se compone de tres preguntas de respues-

ta construida y un total de 40 temes cerrados. Se utiliza para este estudio el resultado en este ltimo set de preguntas.

Procedimiento

Las pautas y rbricas construidas fueron piloteadas y luego aplicadas en la codificacin de videos en un riguroso proceso de correccin precedido por una marcha blanca. Un equipo de 4 codificadores, docentes especialistas y de aula, fue
capacitado y los videos, asignados en forma annima y aleatoria. Se program un 20% de doble correccin para verificar
acuerdo interjueces.

Resultados
De la recodificacin de los videos se obtuvo una calificacin del desempeo de los docentes en los indicadores definidos
como clave para la enseanza del contenido.
Se presentan los resultados globales del conjunto de indicadores para cada eje 2, en una escala del 1 al 4, puntajes
asociados a cada uno de los cuatro niveles de desempeo en que poda ser clasificada la evidencia.
Figura 1 Resultados Prcticas de Enseanza de la Geometra (puntajes promedio)

En las clases de Geometra, se establece que los docentes evaluados obtienen, en promedio, mejor desempeo en
el indicador Promocin de habilidades cognitivas para la comprensin de la geometra. Por otra parte, el indicador que
presenta resultados ms bajos es Presentacin de mltiples perspectivas en la aproximacin a una solucin. El promedio
se ubica en el segundo nivel de desempeo, indicando que los contenidos se abordan desde una sola perspectiva, pero
correctamente.
Se excluyen los indicadores de la pauta que eran evaluables solo en caso de observarse determinadas situaciones (Uso de metforas, Uso de recursos
y tecnologas, Seguimiento de intervenciones con contenido matemtico, Tratamiento de errores de los estudiantes, Promocin de la habilidad
de interpretacin de datos y comunicacin de la informacin a partir de los datos), pues en aquellos casos en los que tal situacin no estaba presente,
el indicador no era calificado.

Figura 2 Resultados Prcticas de Enseanza de Datos y Azar (puntajes promedio)

En las clases de Datos y Azar, los indicadores que obtienen los mejores resultados son Uso de variados ejemplos, juegos
o experimentos. Al igual que en el eje de Geometra, el indicador Presentacin de mltiples perspectivas en la aproximacin
a una solucin es el que presenta resultados ms bajos, lo que podra indicar que la dificultad por parte de los docentes
de incorporar diversos enfoques para explicar los contenidos es transversal, y no depende del eje en el que se ensea.

Resultados en la Escala CPCM


Con los indicadores comunes a ambas pautas, se conform una escala que denominamos Escala de Conocimiento Pedaggico del Contenido Matemtico (CPCM) con la que se realiz un anlisis factorial exploratorio, del que emergieron dos
subescalas que fueron utilizadas como variables en estudio y cuya correlacin es de 0,4. Estas son:

Representacin del conocimiento matemtico: agrupa los indicadores relacionados con la presentacin de los
contenidos, el rigor conceptual observado y la flexibilidad con que se opera con ellos en las explicaciones. Sus resultados en las clases analizadas: explicaciones y uso del lenguaje y notacin matemtica mayoritariamente correctos
(se observan errores conceptuales en un 22% de las clases); ausencia casi absoluta del uso de metforas; muy bajo
porcentaje presenta contenidos con ms de un enfoque (9%); solo un tercio de los docentes establece relaciones
entre conceptos nuevos y anteriores o con conceptos bsicos subyacentes.
Promocin del conocimiento matemtico: agrupa indicadores relacionados con las acciones pedaggicas del docente destinadas a promover en los estudiantes la comprensin y aprendizaje de los contenidos y procedimientos
matemticos.

Sus resultados en las clases analizadas: menos de un tercio de los docentes realiza intervenciones en sus clases que
promueven el razonamiento matemtico, un tercio realiza monitoreo de la comprensin de los contenidos matemticos;
hay escasas intervenciones de contenido matemtico de los estudiantes (12.5%) y cuando aparecen, solo en un quinto de
las ocasiones son recogidas y trabajadas por los docentes.

Relacin entre conocimiento pedaggico del contenido y dominio disciplinario:


Se correlacion el desempeo en la prueba de conocimientos disciplinarios para los profesores integrantes de la muestra
y la escala CPCM. Las correlaciones obtenidas fueron bajas y ninguna de ellas estadsticamente significativa.
Complementariamente, se clasific a los profesores evaluados por su desempeo en la escala CPCM (y en cada una de
las subescalas), usando el siguiente criterio:

No logrado: puntaje promedio entre 1 y 2.


Parcialmente logrado: puntaje promedio entre 2,1 y 2,9.
Logrado: puntaje promedio entre 3 y 4.

Se compararon niveles extremos (logrado y no logrado), en trminos de sus desempeos promedio en la prueba de
conocimientos disciplinarios y en cada caso, se realiz un test t-student para muestras independientes. Los resultados,
en la Tabla 2.
Tabla 2 Puntaje en Prueba de Conocimientos Disciplinarios segn logro en escala y subescalas CPCM

Escala

No logrado

Logrado

Diferencia

Puntaje Prueba

Puntaje Prueba

Puntaje Prueba

Tamao efecto

Representacin

33

2,56

24

2,82

0,26

35%

Promocin

44

2,59

26

2,86

0,27

36%

CPCM

36

2,61

16

3,00

0,30*

53%

*Diferencia significativa al 10%

Tal como se aprecia en la tabla, se observa un mejor desempeo en la prueba entre aquellos profesores con un nivel
logrado, respecto de aquellos de nivel no logrado. Las diferencias representan un tamao de efecto del orden del 35% en
ambos casos.
La comparacin de los docentes de grupos extremos considerando la escala CPCM completa, revela que la diferencia
de puntaje de la prueba es del 53% de la desviacin estndar de esta escala. En este caso, la diferencia se puede considerar marginalmente significativa (t(50) = 1.88, p = .0654).
An tratndose de un grupo muy pequeo, estos resultados van en la direccin esperada: los docentes con mayor
conocimiento pedaggico del contenido matemtico, presentan en promedio un mejor dominio disciplinario de los contenidos que ensean.

CONCLUSIONES
El estudio explora una dimensin que en la actualidad se discute como componente del conocimiento que el docente
requiere para la enseanza de las matemticas: el conocimiento pedaggico del contenido, que no ha sido an abordado
por los sistemas de evaluacin vigentes en Chile. Mediante pautas construidas que operacionalizaron el constructo, se
recodificaron clases que un grupo de docentes present en el marco del programa AEP, poniendo el lente en las prcticas,
intervenciones, interacciones, explicaciones y acciones del docente, destinadas a la enseanza del contenido matemtico.
Los principales hallazgos, a continuacin:

En trminos de la precisin conceptual de las explicaciones y el uso correcto del lenguaje, los docentes estudiados

alcanzan mayoritariamente el nivel logrado. Abordan contenidos centrales y bsicos y los desarrollan con soltura y
con escasos errores; no obstante, el nfasis en la presentacin de contenidos est al servicio de la transferencia de
operatoria y procedimientos que los estudiantes deben replicar.
El bajo desempeo en aquellos indicadores que fueron incluidos precisamente por ser manifestaciones del Conocimiento Profundo de la Matemtica Fundamental (Ma, 1999) revela limitaciones en este dominio. Para Liping Ma
(1999), la capacidad de presentar varios enfoques para un procedimiento y operar con paquetes de conocimiento,
seala flexibilidad, profundidad y amplitud en la comprensin conceptual del docente. En esta muestra encontramos escasas seales de dicha profundidad conceptual: explicaciones y actividades presentadas de manera fragmentada, acotada, con escasa integracin con contenidos previos o con los conceptos fundamentales a la base.
La promocin del conocimiento matemtico es escasa en las clases analizadas, solo en un tercio de los casos los
docentes realizan intervenciones que promueven el razonamiento matemtico y en igual proporcin verifican que
los contenidos matemticos estn siendo comprendidos, lo que revela escasez de interacciones en torno al proceso
cognitivo que siguen los estudiantes y un limitado andamiaje de su aprendizaje por parte del docente.
El desempeo en el grupo de indicadores referido al componente del CPC Conocimiento del Contenido y de los Estudiantes (Hill y Bass, 2008), correspondiente al conocimiento acerca de cmo aprenden los estudiantes, se observa
descendido: hay escasa anticipacin a los errores de los estudiantes, ni se dispone de estrategias para abordarlos
oportunamente; tampoco se aprovechan sus intervenciones o consideran sus conocimientos previos para darle
articulacin a la enseanza.
Este tipo de conocimiento no es terico, sino que se adquiere en el ejercicio de la enseanza (Hill y Bass, 2008; Ma,
1999), por lo que la escasa interaccin pedaggica que revelan estos resultados podra no solo estar limitando el
proceso de aprendizaje de los estudiantes, sino tambin las oportunidades del docente para enriquecer su propio
conocimiento sobre la enseanza de su disciplina.
Se encontr evidencia, muy preliminar ciertamente, para sealar que el CPC estara vinculado al dominio del contenido que se ensea. Los docentes que mejor representan y promueven el aprendizaje de las matemticas en sus
estudiantes, daran cuenta de un mayor dominio de la disciplina.

Finalmente, estos hallazgos relevan dos desafos fundamentales para la formacin inicial y continua de docentes en Chile:

Necesidad de generar instancias de formacin inicial y continua cuyo objetivo sea promover la reflexin pedaggica

en contexto, en base al anlisis de su propia prctica, con foco en el aprendizaje de los estudiantes. Esto supone
prctica guiada temprana en la formacin inicial o experiencias de capacitacin mejor contextualizada para los
docentes en ejercicio.
Necesidad de fortalecer la formacin conceptual bsica de las matemticas, el dominio de las nociones bsicas de
la disciplina, promoviendo en los docentes y futuros docentes un enfoque conceptual, no solo procedimental (no
basta saber el cmo de la matemtica, sino tambin el porqu). Esta formacin matemtica adems, debe ser
orientada a la enseanza, lo que supone un desafo para la articulacin curricular y acadmica entre la formacin
pedaggica y de la especialidad.
8

BIBLIOGRAFA
Ball, D. y McDiarmid, G. (1990b). The subject matter preparation of teachers. In W. R. Houston, M. Haberman, y J. Sikula
(Eds.). Handbook of Research on Teacher Education, (pp. 437-439). New York: Macmillan.
Ball, D., Hill, H., y Bass, H. (2005). Knowing mathematics for teaching: Who knows mathematics well enough to teach third
grade, and how can we decide? American Educator, 29(3), 14-46.
Chambliss, M., Graeber, A. O. y Clark, K. (2003, April). Does Subject Matter Matter? Paper presented at the annual meeting
of the American Educational Research Association, Chicago.
Darling-Hammond, L. y Young, P. (2002). Defining highly qualified teachers: What does scientificallybased research
tells us? Educational Researcher, 31(9), 13-25.
Frome, P., Lasater, B., y Cooney, S. (2005). Well-qualified teachers and high quality teaching: Are they the same? Atlanta, GA:
Southern Regional Educational Board.
Hill, H., Ball, D., y Schilling, S. (2004). Developing Measures of Teachers Mathematical Knowledge for Teaching. Elementary
School Journal, 105(1),11-30.
Leinhardt, G., y Smith, D. A. (1985). Expertise in mathematics instruction: Subject matter knowledge. Journal of Educational Psychology, 77(3), 247-271.
Ma, L. (1999). Knowing and teaching elementary mathematics: teachers understanding of fundamental mathematics in
China and the United States. N. J.: Lawrence Erlbaum.
Monk, D. (1994). Subject area preparation of secondary mathematics and science teachers and students achievements.
Economics of Education Review, 13(2), 125-145.
Mullens, J. E., Murnane, R. J., y Willett, J. B. (1996). The contribution of training and subject matter knowledge to teaching
effectiveness: a multilevel analysis of longitudinal evidence from Belize. Comparative Education Review, 40, 139-57.
Papick, I. J. (2011). Strengthening the Mathematical Content Knowledge of Middle and Secondary Mathematics Teachers.
Notices of the American Mathematical Society, 58(3), 389-392.
Shulman L. (1987). Knowledge and teaching: foundations of the new reform. Harvard Educational Review, 57(1), 1-22.

Diseo de un sistema de seguimiento


de egresados de la Universidad Pedaggica
Nacional Unidad 161 de Morelia, Michoacn
14 de marzo de 2015

Diseo de un sistema de seguimiento


de egresados de la Universidad Pedaggica
Nacional Unidad 161 de Morelia, Michoacn
Rogelio Sosa Pulido
Coordinador

Cristina Salazar Guzmn


Luz Yunun Verduzco Melchor
Carlos Elas de la Pea Gochi
2012-2014
PALABRAS CLAVE: E
 ducacin, sociedad, empleo, cultura, evaluacin, profesionales de la educacin,
sistema, egresados.

1. PLANTEAMIENTO DEL OBJETO. DELIMITACIN


DEL NGULO DE INDAGACIN. OBJETIVO.
ENFOQUE Y ESTRATEGIA METODOLGICA

Construir un sistema de seguimiento de egresados como instrumento para el desarrollo curricular de la Universidad
Pedaggica Nacional (UPN) en Michoacn, frente a sus retos sociales y educativos, es el foco de inters de la presente
investigacin.
Con la presente investigacin se pretende disear un sistema de seguimiento de egresados como instrumento bsico
de la evaluacin y el desarrollo curricular de la Universidad Pedaggica Nacional (UPN) en Michoacn.
La problemtica educativa y social que vive Mxico ha evidenciado la importancia de la evaluacin en las reas fundamentales de la gestin pblica para el trazo de los objetivos y las polticas de desarrollo. Destaca la educacin como una
de las fundamentales en tanto que funcin orientada a la formacin para la vida y para el trabajo y elemento central del
modelo de desarrollo de las contemporneas sociedades del conocimiento, enmarcadas todas ellas en una grave crisis de
sustentabilidad del capitalismo neoliberal de nuestros das.
En ese contexto, confirman esta tesis las experiencias de pases como Corea del Sur, Taiwan, Singapur, India, Rusia,
China, Brasil y Sudfrica, por sealar slo algunos casos en los que la educacin ha sido un factor positivo para enfrentar
los retos de la situacin mundial.
El Estado Mexicano ha implementado desde el final de la Revolucin una poltica de expansin creciente y sostenida
de la educacin pblica al tenor del modelo de industrializacin y del desarrollo hacia adentro. Sin embargo, a partir de
1982 cambi tal poltica dejando crecer un rezago de mltiples facetas que arroja en la actualidad mayores disfuncionalidades internas y externas del sistema educativo que las diagnosticadas en las dcadas anteriores a ese ao de crisis.
En los ltimos treinta aos se agudiz la disfuncionalidad en la relacin educacin y sociedad evidenciada por la incapacidad de responder eficazmente a la crisis econmica y la descomposicin social. La formacin para el trabajo y para
la vida ha sido una divisa incumplida por el grave, crnico y creciente desempleo y los ndices de violencia e inseguridad.
Al interior del sistema, se agudiz el aislamiento estructural en la gestin de los diversos niveles y modalidades educativos; la formacin de profesionales de la educacin encontr mayores obstculos para su desarrollo como motor de cambio y eficacia pedaggica en un entorno de creciente conflictividad y contradiccin de intereses polticos que han envuelto

al Sistema Educativo y al subsistema de formacin. Ello influy claramente en el estancamiento y regresin del papel de la
Universidad Pedaggica Nacional, tanto en sus tareas docentes, como de investigacin y de incidencia social directa.
Las reformas educativas aplicadas en el ltimo perodo en los diversos niveles del sistema educativo carecieron de
la perspectiva ontolgica y prospectiva que permitieran retomar el papel central de la educacin como factor de reversin del deterioro social y se convirti ella misma en parte del problema, ms que de la solucin. Dichas reformas han
adolecido igualmente de procesos insuficientes de consulta y consenso con los actores involucrados, tal es el caso de la
ltima reforma curricular de la educacin normal.
En el panorama anterior, destaca la concepcin y aplicacin distorsionadas del proceso de descentralizacin emprendido a partir del Acuerdo Nacional para la Modernizacin de la Educacin Bsica de mayo de 1992, el cual ha contribuido,
sin duda, al deterioro del desarrollo de la UPN en el pas y en Michoacn.
El contenido del mismo permiti la desconcentracin de la administracin operativa de la educacin y de las relaciones laborales, con lo cual se transfirieron a los estados los conflictos obrero-patronales; sin embargo, la normatividad
curricular y pedaggica sigui centralizada igual que la distribucin de los recursos fiscales del gobierno federal a los
gobiernos de los estados. Los recursos de origen federal fueron reducindose progresivamente en trminos reales y los
gobiernos estatales, en su mayora carecieron de la capacidad financiera para sustituir la reduccin de las participaciones
federales hacia el sector.
La descentralizacin tuvo graves implicaciones entre las que destacan dos: el rezago y deterioro progresivo de las
condiciones de operacin del sistema educativo incluyendo el ingreso y las condiciones de trabajo del personal y la
conflictividad permanentes entre los tres rdenes de gobierno involucrados en la educacin derivadas de la tensin
magisterial y social por el reclamo justificado ante el deterioro sealado y la transferencia significativa del gasto hacia
los padres de familia.
En las condiciones anteriores se escindi la responsabilidad del desarrollo de la educacin entre los tres rdenes de
gobierno dado que tambin los ayuntamientos poseen facultades al respecto. En esas condiciones, cmo lograr la elemental coordinacin para garantizar en los hechos el cumplimiento eficaz del contenido del Artculo 3. Constitucional?.
La planeacin, la operacin y la evaluacin son, por definicin, un continuum del proceso de gestin educativa; sin
embargo, a diferencia de la situacin que se presenta en otros pases, como Estados Unidos, Canad y algunos europeos,
en Mxico, la hipercentralizacin normativa y financiera del sistema coloca a los gobiernos estatales principalmente en
operadores del mismo con las limitaciones ya sealadas.
El punto de partida para abordar la problemtica sealada es la construccin de un modelo de evaluacin educativa
que enfrente las dos grandes dimensiones del problema: la que se refiere a la identificacin de la problemtica que impide
al sistema educativo mexicano convertirse en el factor determinante del desarrollo nacional en los diversos rdenes de la
dinmica social y la relacionada con su problemtica interna.
Una parte esencial del modelo de evaluacin sealado es el SISTEMA DE SEGUIMIENTO DE EGRESADOS como herramienta clave que permita dar cuenta de los resultados reales de los procesos formativos en los mbitos educativo y social
previstos en los perfiles de egreso de los diversos planes de estudio.
Distinguimos, en efecto, entre los resultados ms importantes a lograr en un eficaz sistema de esta naturaleza, por
una parte, la constatacin del logro del perfil del egresado en cada programa formativo y por la otra no menos importante la evidencia objetiva de los ajustes a realizar al currculo respectivo y la generacin de nuevas ofertas formativas
pertinentes en la dinmica del desarrollo curricular que debe caracterizar a todas las carreras y campos formativos de la
educacin superior y especficamente a la formacin de profesionales de la educacin.
Lo anterior reviste destacada importancia si se considera que los programas acadmicos que ha ofrecido y que ofrece
la UPN, tanto, los de origen nacional diseados en la instancia de la UPN Ajusco, como los que han sido diseados en las
unidades UPN en el estado, han carecido de la adecuada evaluacin y desarrollo. Los perfiles de egreso de los mismos han
carecido del efectivo seguimiento que se requiere.
El SISTEMA DE SEGUIMIENTO DE EGRESADOS (SSE) no puede ser una obra de carcter administrativo ni ser objeto
de un diseo terico y formal solamente. Se demanda por la naturaleza de la problemtica que ha de enfrentar, la realizacin de un proyecto de investigacin que recoja los elementos principales de un diagnstico institucional e interinstitucional; la revisin objetiva de los procesos educativos y sociales que han transformado al Estado de Michoacn en
las ltimas dcadas y especficamente el comportamiento del campo de la formacin de profesionales de la educacin.

Igualmente, es indispensable revisar crticamente las experiencias de diseo y operacin de sistemas de seguimiento de
egresados de las unidades UPN en el pas y de instituciones afines en Mxico y en el mundo, de tal manera que se plantee
un SSE eficaz, flexible y ajustado a las condiciones socioeducativas de los diversos contextos en los que realizan su funcin
formativa las unidades UPN en el estado a fin de contribuir realmente a mejorar significativa y positivamente el impacto
de la educacin en el desarrollo social de la entidad.
Se trata de tomar a la sociedad michoacana y no solamente al sistema educativo estatal y nacional como referencia
directa para establecer las pautas del SSE que se pretende construir. Ello marca una diferencia mayor frente a los estudios
y esfuerzos de evaluacin y gestin ensayados en la UPN que mantienen una referencia cuasi exclusiva del sistema educativo, derivada principalmente del hecho que la institucin naci para nivelar a maestros de la educacin bsica.

Objetivos
Los objetivos del Sistema de Seguimiento de Egresados de la UPN en Michoacn a construir son:

I. Identificar los resultados de los procesos formativos que genera esta institucin como respuestas a los problemas

econmicos, educativos, sociales, polticos y culturales prioritarios que atraviesa la sociedad michoacana.
II. Contar con instrumentos eficaces de retroalimentacin que permitan el mejoramiento del desarrollo curricular, la
prctica pedaggica y la administracin institucional de los programas acadmicos de los que egresan los alumnos de
la institucin.
III. Contar con experiencias terico metodolgicas slidas para realizar cotejos pertinentes con otras experiencias y procesos similares en el pas y en otros pases.

Enfoque y estrategia metodolgica

Se abordan los criterios metodolgicos en esta investigacin bajo la perspectiva zemmelmiana de considerarlos como herramientas que propician la apertura del pensamiento a la realidad buscando reconocer opciones posibles y sujetndose
a la exigencia de objetividad. (Zemelman, 2011) Por ello, los criterios metodolgicos estn abiertos a diversas formas de
instrumentalizacin en funcin de la naturaleza y dinmica del objeto.
En la perspectiva de identificar las caractersticas sealadas en el objeto, se ha establecido la va de la problematizacin del mismo con el apoyo de un sistema crtico conceptual organizado en mbitos de orden, tanto para identificar y definir los elementos sustanciales del objeto como para los conceptos con los que se abordar el ejercicio problematizador.
Pero, este posicionamiento requiere explicar por qu no se asumi aqu la vertiente positivista del mtodo hipottico
deductivo an hegemnica en el mbito acadmico de nuestro pas y por tanto es pertinente plantear los trminos
del debate y del deslinde frente a tal perspectiva.
Efectivamente, en el marco del debate epistemolgico en el campo de las ciencias sociales y las humanidades, interesa
recuperar la polmica abierta desde la perspectiva marxista hacia el positivismo y la vertiente hipottico deductiva del
mismo vigente hasta el presente especialmente en los espacios de la educacin superior mexicana.
La perspectiva verificacionista del mtodo hipottico deductivo presenta el inconveniente de encauzar el proceso
investigativo mediante el uso de hiptesis y marcos tericos que tienen un efecto limitante por su carcter prescriptivo y
frecuentemente estrecho en objetos como el presente.
Abraham Kaplan, por ejemplo, planteaba que es factible utilizar bsicamente el mismo mtodo en las ciencias naturales que en las ciencias del comportamiento; segn l, a pesar de que podra haber una diferencia entre la lgica en uso
de las diversas ciencias y la lgica reconstruida, el mtodo hipotticodeductivo ofreca la reconstruccin lgica ms
aceptada si se atenda al problema de la relacin de los conceptos en la teora, al papel de las hiptesis, a la pregunta de
cmo suministrar una explicacin adecuada y de qu modo lograr la verificacin (Kaplan, 1964) y Adorno, por su parte,
afirma que en el positivismo hay un primado de la lgica y de la causalidad sobre lo que l denominaba la totalidad concreta (Adorno, 2001).

En sntesis, pareca imponerse la idea de un mtodo cientfico y de que el camino de la investigacin desde la teora
hacia los datos deba ser estrictamente lgico; este camino era el de la comprobacin de las hiptesis dentro de una lgica
de primer orden de las proposiciones.
No obstante lo anterior, en el escenario del debate epistemolgico universal, se desarrollaron a travs del siglo XX y
sobre todo en la segunda parte del mismo, propuestas ajenas y contrarias a la perspectiva verificacionista. De acuerdo a
De la Garza, en este perodo se han delineado dos grandes vertientes en torno al debate sobre el mtodo de las ciencias
sociales y las del espritu: por un lado, las propuestas vinculadas al positivismo y al naturalismo;
por el otro, las localizadas tanto en la vertiente fenomenolgica (Alfred Schtz) como en la hermenutica (Hans Georg
Gadamer y Paul Ricur) y en la proveniente de la teora crtica (Theodor W. Adorno y Jrgen Habermas) al igual que en
aqullas otras asociadas al estructuralismo y posestructuralismo (Michel Foucault, Jacques Derrida) y al pensamiento
francs (Cornelius Castoriadis, Alan Touraine, Pierre Bourdieu), al pragmatismo anglosajn sea en la lnea que proviene de Charles Sanders Peirce, John Dewey y George Herbert Mead o sea en aquella otra que se remonta al poderoso
influjo del Wittgenstein de las Philosophische Untersuchungen [Investigaciones Filosficas] (1953) y a propuestas como
la teora de la estructuracin de Anthony Giddens.
stas ltimas propuestas parecen compartir (segn De la Garza) en comn la idea de que el mbito de objetos del
que se ocupan las ciencias del espritu o, para el caso que nos ocupa, las ciencias sociales se halla preestructurado
simblica, discursivamente, por lo que el acceso al mismo tiene que estar mediado por una comprensin de sentido. En
efecto, a diferencia de las ciencias naturales, las ciencias sociales investigan un mundo que ha sido producido por los seres
humanos y al cual se accede siempre desde el horizonte de una precomprensin.
Con ello se delinea lo que en la hermenutica se denomina el crculo hermenutico por medio del cual se expresa la
aparente paradoja de que la comprensin de la sociedad por parte del investigador implica siempre ya una precomprensin de la misma tanto por parte de l como por parte de los propios actores sociales. No hay por ello ni puede haber
una suerte de acceso directo e inmediato y sin una comprensin previa a la sociedad. Este crculo, como bien lo seala
Habermas, no puede romperse por medio de ninguna inmediatez sea sta a priori o emprica del acceso [al mundo
social], sino que debe pensarse en forma dialctica slo en vinculacin con la hermenutica natural del mundo de la vida
social. En lugar del nexo hipottico deductivo entre proposiciones aparece entonces la explicacin hermenutica del
sentido; en lugar de una relacin ordenada unvoca de smbolos y significados, las categoras pre comprendidas adquieren su determinacin en forma sucesiva con la posicin que adquieren en el nexo desarrollado (De la Garza, 2006).
Ya desde 1988 este autor planteaba, En lugar del nexo hipottico-deductivo entre proposiciones aparece entonces
la explicacin hermenutica del sentido; en lugar de una relacin ordenada unvoca de smbolos y significados, las categoras pre comprendidas adquieren su determinacin en forma sucesiva con la posicin que adquieren en el nexo desarrollado (De la Garza, 1988) y plantea la recuperacin de la perspectiva epistemolgica marxista del circuito concreto
abstracto concreto en donde el proceso inicia desde el concreto real representado, el objeto en relacin de praxis-conocimiento con el sujeto. Este concreto real se constituye como la unidad dialctica, no identificable, entre sujeto y objeto
en relacin prctica y sobre el cual se ejerce un proceso de abstraccin mediante la teora, para retornar al concreto como
concreto pensado.
En la perspectiva anterior destaca el problema de la relacin sujeto objeto, en la cual, Marx no plantea como punto
de partida la referencia sensorial, pero, tampoco ignora el papel del conocimiento previo sobre el objeto. En esa idea, no
existe un conocimiento sensorial puro en los seres humanos y propone transformar intuiciones y representaciones en
conceptos, pero, la incidencia del objeto en el sujeto no es por contemplacin ni como aplicacin de la teora al objeto,
sino como praxis. sta se concibe en un sentido histrico y social y no individual y abstracto.
Entre el concreto real y el concreto pensado se extienden las dos fases del proceso del conocimiento la de investigacin y la de exposicin. Del concreto real se avanzara en una primera fase del proceso del conocimiento hacia lo
abstracto (la abstraccin ms simple). A esta primera fase le denomina Marx fase de investigacin distinguindola de la
fase de exposicin
En la fase de investigacin se debe buscar asimilar detalladamente la materia u objeto de investigacin analizando
sus formas de desarrollo y descubrir sus nexos internos. Una vez cubierta esta fase, se puede exponer adecuadamente el
movimiento real del objeto.
5

En la misma perspectiva crtica de corte marxista y en un esfuerzo de concrecin del proceso investigativo, Zemelman
propone los siguientes criterios metodolgicos (Zemelman, 2006, 2011):
1.
2.
3.
4.
5.

Definicin del problema eje;


Delimitacin de la problemtica;
Definicin de los observables:;
Determinacin de los puntos de articulacin;
Campo de opciones viables y eleccin de alternativas.

Con base en los anteriores elementos y definiciones, se plantea una posible contrastacin de los procesos investigativos derivados del mtodo hipottico deductivo de matriz positivista y el planteamiento de un procesos de reconstruccin
del conocimiento e intervencin sobre el objeto de corte crtico marxista.
Es conveniente aclarar que las secuencia que se expone en la tabla nmero 1, no es sino una gua factible de modificarse en funcin de las necesidades investigativas que requiere el objeto.
Tabla 1Dos procesos alternativos de investigacin cientfica de lo social y de las humanidades.
Rogelio Sosa, 2012.

1. POSITIVISMO HIPOTTICO-DEDUCTIVO

2. DIALCTICO CRTICO RECONSTRUCTIVISTA

Denominacin

Denominacin

Objetivo/Justificacin

Objetivo/Justificacin

Definicin y delimitacin del objeto de investigacin

Problematizacin preliminar. Estado del


conocimiento.Delimitacin inicial del ngulo
de indagacin

Construccin del Marco Terico del objeto. Estado del conocimiento.

Problematizacin terico-emprica del objeto

Construccin de hiptesis

Especificacin de los elementos sustanciales


del objeto

Definicin de la estrategia de la investigacin

Eleccin y definicin genrico-especfica


de conceptos ordenadores

Definicin de variables

Matriz de problematizacin

Operacionalizacin de variables

Seleccin de los cruces prioritarios

Diseo de la indagacin emprica

Problematizacin/interpelacin al objeto
(preguntas) por campos definidos
segn la naturaleza de ste

Metodologa operativa y diseo del muestreo, en su caso

Definicin de ncleos problemticos

Diseo y prueba de instrumentos


Aplicacin de instrumentos
Concentracin y sistematizacin de datos empricos
Interpretacin: Contrastacin de los resultados, respecto a las hiptesis
planteadas y a los elementos centrales del marco terico
Conclusiones

Determinacin de indicadores.
Diseo de la indagacin emprica a partir
del contenido de los indicadores
Metodologa operativa y diseo del muestreo,
en su caso
Diseo y prueba de instrumentos
Aplicacin de instrumentos

Bibliografa

Concentracin y sistematizacin de datos


empricos

Apndices y anexos, en su caso.

Interpretacin: problematizacin de los resultados


de la indagacin emprica y explicacin
terica del objeto.
Conclusiones
Bibliografa
Apndices y anexos, en su caso.

A continuacin y con base en la opcin 2 planteada en la tabla 1, se desarrolla la secuencia observada en esta investigacin, dirigida a construir un Sistema de seguimiento de egresados de la Universidad Pedaggica Nacional, Unidad 161
de Morelia, Michoacn (fase 4 del proceso).

2. JUSTIFICACIN/PROBLEMATIZACIN PRELIMINAR
Motivaciones personales
Los integrantes del equipo investigador establecieron el consenso de orientar los esfuerzos de investigacin y formulacin de trabajos recepcionales individuales hacia el objeto planteado, con la idea de contribuir a resolver uno de los
problemas estructurales visibles en la marcha de la UPN en Michoacn como es la falta de un sistema de evaluacin de la
institucin toda, sin lo cual, es muy difcil realizar una planeacin prospectiva eficaz.
Cmo saber entonces el resultado del esfuerzo institucional realizado para formar una generacin tras otra con los
programas educativos que ofrece, que ha ofrecido y que seguir ofreciendo esta institucin en el Estado de Michoacn a
travs de sus cuatro unidades y sus 17 sedes regionales?.
Cmo enfatizar e impulsar los aciertos curriculares, organizacionales e institucionales en general y superar los vacos, errores y deficiencias en esos mbitos si se carece de un sistema de evaluacin institucional?.
Considerando la amplitud y complejidad de ese reto, el docente que coordina este proyecto de investigacin y los
alumnos asociados a l, hemos tomado la decisin de focalizar nuestro esfuerzo en el referente central del seguimiento de
egresados porque valoramos que en ello se evidencian en gran medida los resultados reales alcanzados en los procesos
formativos a que se aboca la UPN en Michoacn.
En efecto, la prctica profesional de los egresados expresa el grado de cumplimiento del perfil del egresado que todo
programa educativo se propone alcanzar. El incumplimiento parcial o total del mismo y la deteccin de sus causas permitir a la institucin tomar las medidas pertinentes.
Si el proceso evaluativo institucional involucra al menos cinco niveles de atencin como son: los alumnos, los docentes, la gestin institucional, el currculo y el impacto social logrado con la prctica profesional de los egresados, interesa
entonces como foco de investigacin en nuestro caso, abordar el ltimo aspecto.
Concebimos de esta manera la construccin de un sistema de seguimiento de egresados de la UPN en Michoacn,
como una parte esencial del sistema de evaluacin a construirse en la institucin, tanto en el nivel de cada sede regional y
Unidad como en el conjunto de las mismas porque no advertimos razn alguna para limitar el alcance de dicho esfuerzo.
Por lo anterior, ser muy motivante lograr interesar con el esfuerzo presente a la comunidad universitaria de la UPN
en el estado y a las autoridades educativas para la construccin participativa de un sistema integral de evaluacin de la
institucin.

Justificacin social
La ausencia de un modelo de evaluacin pertinente y eficaz que incorpore un sistema formal de seguimiento de egresados para la toma de decisiones ha repercutido en la acumulacin de graves rezagos en el sector educativo del pas y de
Michoacn.
El Instituto Nacional de Evaluacin Educativa (INEE) hace esfuerzos importantes por construir no slo procesos eficaces de evaluacin en el sector, sino lograr que cubran la estructura y dinmica del conjunto del sistema educativo. En
su Plan Maestro 2007-2014 el INEE plantea que en el ao 2014 el instituto ser una instancia reconocida socialmente
por la calidad e imparcialidad de su trabajo; los resultados de sus evaluaciones sern referencia obligada y creble sobre
la situacin del Sistema Educativo Mexicano; junto con las dems instancias de un sistema nacional de evaluacin articu7

lado, ser posible ofrecer bases slidas para orientar los esfuerzos de autoridades, maestros y padres de familia hacia la
mejora educativa.
Sin embargo, es significativo que el sistema de seguimiento de egresados sea una lnea de accin estratgica poco
discutida e integrada en la visin general de la poltica de estado dirigida a la evaluacin de la educacin.
En esa perspectiva, este proyecto pretende contribuir a la meta de integrar el seguimiento de egresados como factor
clave de la evaluacin educativa en lo que se refiere a la formacin de profesionales en la UPN, considerando la importante
dimensin que sta tiene en el Estado de Michoacn y contribuir a orientar el diseo, operacin y evaluacin de nueva
oferta educativa para este nivel en la entidad.
El beneficio educativo y social que ofrece la generacin de dicho sistema se resume en lo siguiente:

Dotar a las comunidades de la UPN en el estado y a las autoridades correspondientes de una herramienta para cono-

cer con precisin los resultados de los procesos formativos de los diversos programas acadmicos que se imparten
en las unidades de esta institucin, en referencia a los graves problemas econmicos, educativos, sociales, polticos
y culturales que atraviesa la sociedad michoacana.
Contar en las unidades de la UPN en el estado con un referente continuo de retroalimentacin que permita revisar
el diseo curricular, la prctica pedaggica y la administracin institucional, entre otros elementos sustantivos de
los programas acadmicos de los que egresan los alumnos de la institucin.

El SSE permitir realizar cotejos pertinentes con otras experiencias y procesos de evaluacin similares en el pas y en
otros pases.

Usuarios especficos de los resultados del proyecto


Los usuarios considerados de manera destacada son:

La sociedad michoacana y sus organizaciones sociales y profesionales usuarias de la educacin ubicadas en las
reas econmica, social y cultural en el estado y los empleadores pblicos y privados.

Los directivos de la Universidad Pedaggica Nacional en Michoacn; y sus equipos tcnicos encargados de la planeacin, el desarrollo acadmico, administrativo y de vinculacin y difusin.

Los funcionarios y equipos tcnicos de la Secretara de Educacin en el Estado.


Las comunidades universitarias de la UPN en Michoacn.
Las instituciones pblicas y privadas dedicadas a la investigacin, innovacin y seguimiento de la formacin de
profesionales de la educacin en Michoacn, en el pas y en el extranjero.

Contenido innovador

Actualmente se carece de un Sistema de Seguimiento de Egresados que incluya los elementos e indicadores necesarios
para dar cuenta de la situacin y dinmica profesional de los egresados en un proceso interactivo y permanente; tampoco
incluyen la relacin directa de la institucin de egreso con los usuarios de los servicios profesionales de los egresados
de la misma. El sistema que se propone construir a partir de los resultados de esta investigacin, prev integrar tales
elementos e indicadores.
El modelo incluir los criterios, mecanismos e instrumentos pertinentes que permitan la vinculacin de los resultados
con la toma de decisiones en las instancias correspondientes y la participacin directa de los actores del entorno educativo y social que no han tenido ingerencia en el seguimiento de egresados o la han tenido en un grado no significativo.
Adicionalmente, el sistema que se plantea construir puede ser referencia vlida para los ejercicios de seguimiento
de egresados que se realizan en otras unidades de la UPN en el pas, sin que se desplacen necesariamente acciones de
seguimiento y evaluacin vigentes.

Aportaciones cientficas
Las aportaciones ms relevantes de esta investigacin se refieren a la experiencia de aplicacin del pensamiento complejo a un objeto socioeducativo y haciendo converger en el proceso indagatorio la propuesta de la reconstruccin de matriz
marxista
Sobre la primera, el Pensamiento Complejo es una propuesta importante por sus perspectivas novedosas, desafiantes y su poder analtico y explicativo. En las ciencias sociales y humanas encontramos objetos de alta complejidad cuyo
abordaje con la perspectiva del conocimiento positivista tradicional ha demostrado ser claramente insuficiente y sesgado
hacia perspectivas de corte descriptivo o verificacionista.
El pensamiento complejo plantea paradigmas de gran aliento explicativo y potencial transformacin de la realidad: la
perspectiva de la transdiciplinariedad como enfoque de intervencin desde la naturaleza, condiciones y dinmica de los
objetos de conocimiento de la realidad ms que desde prescripcin y explicacin de las disciplinas cientficas; la Biotica
que condiciona todo esfuerzo y ejercicio de conocimiento al mejoramiento del ser humano como especie; el holismo
ambientalista que plantea la necesidad de establecer un nueva relacin social que haga pertinente al ser humano frente
a la naturaleza y la epistemologa hermenutica de segundo orden que cuestiona los presupuestos cognitivos del ideal
clsico; entre otros, el presupuesto de objetividad, la dicotoma sujeto-objeto y el lugar del mtodo en la cognicin. Exponentes destacados de este enfoque son, Morin, Sotolongo, Feyerabend, Maturana, Von Foerster y otros.
El proyecto de investigacin se asienta as mismo en la Metodologa de la Reconstruccin de matriz marxista cuyos
principales exponentes en nuestro pas son Hugo Zemmelman, Enrique de la Garza, Fernando Castaeda, entre otros.
En la visin de la reconstruccin del conocimiento, la realidad es una totalidad en movimiento, que fluye en un proceso investigativo en una secuencia del concreto-abstracto-concreto Desde la definicin de un concreto real (representado) seguido de una serie de abstracciones por niveles de realidad permiten reconstruir en el proceso de explicacin y
potenciacin del mismo, un concreto pensado, como totalidad concreta. En esta propuesta se plantea la secuencia de las
estrategias de indagacin que determinan el cronograma que gua este proyecto.
Vale enfatizar que a diferencia del Positivismo Lgico, en la perspectiva dialctica del Pensamiento Complejo y la Reconstruccin no se trata de verificar sino de transformar el objeto reconstruirlo desde sus potencialidades y construir teora. Los elementos diferenciales fundamentales del enfoque dialctico-reconstructivista son los siguientes: la concepcin primaria de totalidad concreta en movimiento como referente onto-epistemolgico fundamental; la articulacin
dialctica, contradictoria e inseparable entre esencia y apariencia, en la que sta es un nivel de realidad y el papel activo
fundamental de los sujetos en la realidad e incluso en la construccin y reconstruccin misma del conocimiento sobre ella.
El conocimiento de la realidad se encuentra organizado por reas, polticas, econmicas, etc. Cada una de las cuales se
encuentran vinculadas con el objeto de investigacin y en cuyos espacios se definirn conceptos ordenadores que permitan establecer las relaciones posibles entre conceptos del rea correspondiente y entre reas.
Se considerarn en la problematizacin del objeto categoras y conceptos vinculados directamente a la evaluacin
educativa desde la prctica de los sujetos que han egresado de los programas formativos de la Universidad Pedaggica
Nacional en Michoacn
Se identificarn dos grados de coherencia: el primero, referido al grado de coherencia entre los elementos centrales
del perfil de egreso a lograr en cada uno de los programas acadmicos de las unidades UPN en Michoacn y los realmente
logrados en el perodo de los ltimos cinco aos y el segundo, el que se refiere al grado de coherencia de los perfiles de
egreso planteados en cada caso, en relacin a las necesidades y expectativas planteadas desde el mercado de trabajo y
desde el desarrollo social y cultural.
En la indagacin emprica se utilizarn centralmente las herramientas del anlisis de contenido y la aplicacin de
cuestionarios y entrevistas.

El estado del conocimiento

En este apartado se hace referencia a experiencias relacionadas con los sistemas, programas, insercin en el mercado de
trabajo y publicaciones de los actores vinculados directamente al seguimiento de egresados de instituciones mexicanas

incluyendo a la propia Universidad Pedaggica Nacional igualmente, se consideran experiencias destacadas de otros
pases, especialmente de Amrica Latina y Estados Unidos.
Se diferencian para efectos de este proyecto un sistema y un programa de seguimiento de egresados refirindose el
primero a una estructura formal cuyo funcionamiento y evaluacin recae en la institucin interesada en desarrollar de
manera organizada y permanente el seguimiento de sus egresados, en tanto que un programa comprende de manera general el funcionamiento de dicho seguimiento en trminos de objetivos, metas, funciones y cronograma de actividades.
Se incluye adems en el estado del conocimiento la referencia a experiencias especficas de seguimiento de insercin
en el mercado de trabajo y publicaciones representativas de los actores del seguimiento de egresados.

Referentes de sistemas y programas de seguimiento de egresados en mxico.


De acuerdo con la Asociacin Nacional de Universidades e Instituciones de Educacin Superior (ANUIES, 1998), los estudios
de egresados son el procedimiento por medio del cual una institucin identifica la actividad profesional que los egresados
desarrollan, su campo de accin, su nivel de ingresos, las posibles desviaciones profesionales que han tenido as como sus
causas, su ubicacin acadmica y su formacin posterior. Se reconoce por la ANUIES las dificultades institucionales que
explican el bajo desarrollo de los sistemas y programas de desarrollo de egresados en Mxico, dados los altos costos de
operacin que implican los mismos, la falta de especialistas y equipos calificados en el seno de las instituciones y la carencia
tambin de una cultura institucional de evaluacin curricular desde el seguimiento de egresados, entre otros factores.
Los estudios de seguimiento de egresados se ubican en el contexto de la evaluacin externa del currculo. En Mxico,
los estudios sistemticos sobre egresados a nivel superior se registran en el rea metropolitana del Distrito Federal y
fueron realizados en la dcada de los aos sesenta, instituciones como la Universidad Nacional Autnoma de Mxico,
la Universidad Autnoma Metropolitana Plantel Azcapotzalco, el Instituto Politcnico Nacional y la Escuela Nacional de
Estudios Profesionales Zaragoza y en el interior del pas, en las universidades Veracruzana y Autnoma de Nuevo Len.
A finales de los aos noventa, ANUIES hizo pblica su posicin y concepcin sobre los Estudios de Seguimiento de
Egresados. De esta manera se plante el Esquema bsico para estudios de egresados en el cual se establece que las Instituciones de Educacin superior (IES) debern considerar la realizacin permanente de estudios sobre seguimiento de
egresados, con propsitos de retroalimentacin curricular y de educacin Institucional (ANUIES, op.cit).
En el documento referido, se plantea como objetivo general Desarrollar un esquema bsico para los estudios de egresados que facilite a las instituciones de educacin superior la realizacin de este tipo de estudios y les permita obtener
informacin confiable y pertinente para apoyar la toma de decisiones y la planeacin acadmica en el nivel institucional,
estatal, regional y nacional y como objetivos especficos:
Disponer de una metodologa que permita:

Comparar el grado de ajuste entre los resultados obtenidos en el proceso educativo por las instituciones de edu-

10

cacin superior y las necesidades y exigencias del campo profesional a travs del anlisis del desempeo de los
egresados en el mercado de trabajo.
Caracterizar la resultante del proceso educativo a travs de la comparacin del desempeo de los egresados de las
distintas instituciones que conforman el sistema de instituciones de educacin superior en Mxico.
Conocer la coherencia que existe entre los perfiles terminales y los objetivos de los planes y programas de estudio
de las licenciaturas que se ofrecen en el sistema de educacin superior, y los requerimientos formativos actuales de
las distintas prcticas profesionales.
Contar con informacin confiable sobre el desempeo profesional de los egresados y de su relacin con los aciertos
y posibles fallas en su formacin, para sustentar las decisiones acadmicas que permitan superar en forma continua
el nivel acadmico del proceso formativo.
Conocer las nuevas exigencias que plantea el ejercicio profesional a los egresados como consecuencia de las transformaciones econmicas, sociales y tecnolgicas, para su incorporacin oportuna en los planes y programas de
estudios y el diseo de programas de educacin continua pertinentes para la actualizacin de profesionales en
ejercicio.

Valorar la flexibilidad de los egresados para incorporarse a ambientes diversos, en la hiptesis de un mercado la-

boral cambiante, y proponer en su caso, modificaciones a las estrategias formativas que mejoren sus perspectivas
profesionales.
Conocer el grado de satisfaccin de los egresados respecto a la calidad de la formacin recibida en la institucin en
la cual cursaron sus estudios.
Contar con informacin que permita a las instituciones de educacin superior, por un lado, orientar la distribucin
de sus recursos hacia la solucin de los problemas especficos que obstaculizan el logro de los estndares deseables
de calidad en el proceso de formacin de profesionales y, por otro, concursar por recursos alternos al presupuesto
universitario para fortalecer su desarrollo y avanzar en su proceso de consolidacin.
Contar con informacin pertinente y confiable para analizar las ventajas y desventajas de los diferentes modelos y
opciones educativas, para proponer su fortalecimiento o revisin.
Contar con informacin sobre las tasas de empleo en los distintos sectores del mercado laboral para afinar las polticas de ingreso.
Contribuir a mejorar la imagen de las instituciones en su rea de influencia mediante la difusin de la informacin
sobre el desempeo de sus egresados, a fin de fortalecer la confianza de la sociedad en sus instituciones educativas.
En el documento sealado se destaca adems un conjunto de orientaciones y recomendaciones:

Sobre las limitaciones para los estudios sobre el desempeo profesional de los egresados

es importante sealar que los estudios de egresados no constituyen una actividad constante entre las tareas que llevan a cabo regularmente la mayora de las instituciones de educacin superior por varias razones, a saber:

Su alto costo, que tiende a ubicarlos con una baja prioridad dentro del presupuesto institucional.
Su alto grado de dificultad cuando no se cuenta con una base de datos para localizar gilmente a los egresados
La carencia de expertos en este tipo de investigaciones.

Los estudios de egresados que se pueden rastrear en la historia de una institucin, salvo excepciones, son muy heterogneos en cuanto a:

La metodologa utilizada
El universo que abarcan
Los cortes temporales
Los criterios utilizados
Las instancias que intervienen en su ejecucin

En muchos estudios se observan niveles de estratificacin distintos (institucin, campus, facultad, carrera) o se mezclan
diferentes intereses de informacin (trayectoria escolar, opinin de empleadores, estudios de gnero, etc.) lo cual hace
an ms difcil cualquier anlisis comparativo.

Insuficiente atencin institucional a la necesidad de contar con informacin confiable sobre los resultados del proceso formativo que opera.
Carencia de bancos de informacin o directorios actualizados de egresados de las instituciones.
Inexistencia de estadsticas de primeras entradas al mercado de trabajo de los egresados.
Carencia de una metodologa bsica para la realizacin de estudios sobre el desempeo profesional de los egresados en un gran nmero de instituciones.
Heterogeneidad en torno a conceptos, variables e indicadores de carcter general y de especial relevancia para su
consideracin en los estudios sobre el desempeo profesional de los egresados. Incluso, el concepto de egresado
difiere de una institucin a otra.

11

Insuficiencia, cuando no carencia absoluta, de infraestructura fsica, humana y tecnolgica para la realizacin de
estudios de egresados en muchas instituciones.

Ausencia de criterios respecto a los niveles de estratificacin convenientes y a la periodicidad recomendable para
los estudios de egresados.

Inexistencia de estrategias de socializacin de la informacin derivada de los estudios de egresados, e incluso de las

estadsticas bsicas sobre trayectoria escolar y eficiencia terminal, entre los niveles de la organizacin institucional
que tienen bajo su responsabilidad las decisiones fundamentales para la planeacin, organizacin, operacin, control y evaluacin de los procesos acadmicos.
Insuficiencia de especialistas en educacin para el procesamiento y la interpretacin de los resultados de los estudios de egresados.

Sobre las Recomendaciones


A) Recomendaciones sobre los estudios de carcter institucional:

12

1. Institucionalizar los estudios de egresados en tanto herramientas cognitivas que permiten sustentar decisiones acadmicas para mejorar el proceso de formacin de los futuros profesionales y corregir desviaciones. Las estrategias
para la institucionalizacin pueden adoptar distintos niveles de formalizacin, de acuerdo con las polticas prevalecientes en las instituciones (aprobacin por sus cuerpos legislativos como tarea inherente al quehacer universitario o
como requisito para la aprobacin de reformas curriculares profundas.
2. Institucionalizar las estrategias de socializacin de la informacin generada por los estudios sobre el desempeo de
egresados. Es importante sealar que la institucionalizacin de los estudios de desempeo de egresados slo ser til
si se acompaa de la institucionalizacin de estrategias de socializacin de la informacin generada por dichos estudios. Estas estrategias debern garantizar el acceso a la informacin a las instancias que intervienen en las distintas
fases de la planeacin, organizacin y operacin de las actividades de la docencia mismas que, a partir de los aciertos
y desviaciones evidenciadas por el estudio, tienen a su cargo las acciones para consolidar los aspectos valiosos o realizar las acciones correctivas pertinentes.
3. Crear bancos de informacin sobre los egresados de cada institucin y actualizarlos en forma constante, lo que constituye una necesidad de primera magnitud para la realizacin de cualquier estudio de egresados.
4. Realizar en forma peridica estudios de egresados. Se recomienda la realizacin de estudios integrales sobre el desempeo profesional de los egresados de todos los programas de una institucin en forma peridica (cada seis aos).
Este lapso permite identificar variantes en el mercado laboral y cambios en las tendencias de aceptacin de los egresados de las instituciones derivadas de las transformaciones econmicas, polticas y sociales del entorno institucional. Lapsos menores resultaran muy onerosos y no seran tiles para detectar diferencias relevantes.
5. Definir el momento adecuado para la realizacin de estudios de egresados, de acuerdo con los siguientes tipos de
estudios:
5.1. Estadsticas de primeras entradas al mercado de trabajo entre las estadsticas bsicas de las IES. Las estadsticas
de primeras entradas al mercado de trabajo constituyen una herramienta fundamental para medir la aceptacin
de los egresados en los distintos campos profesionales, a partir de la percepcin que la sociedad del rea de
influencia tiene de la institucin y de su reaccin ante la misma.
5.2. Estudios sobre el desempeo de egresados. Para obtener informacin significativa sobre el desempeo de los
egresados de una institucin se requiere que haya transcurrido un lapso considerable despus de la fecha del
egreso (cinco aos), lapso en el cual muchos nuevos profesionales consiguen un empleo estable en un rea
laboral relacionada con sus estudios. En este trmino, an no han acumulado suficiente experiencia en el ejercicio profesional como para que esta cualidad constituya una de las variables fundamentales para su movilidad,
entendida como el acceso a puestos superiores u opciones mejores. En este caso, la calidad de la formacin recibida en la institucin en la cual se formaron constituye la variable ms relevante. Por lo anterior se recomienda
orientar el estudio hacia las cohortes que tienen alrededor de cinco aos en el mercado de trabajo. En el caso

de existir la intencin de un estudio ms amplio se recomienda incluir a egresados de generaciones o cohortes


contiguas, que hayan sido formadas con el mismo plan de estudios. En la decisin de incluir ms de una cohorte
en el estudio, tambin deber considerarse que no hayan ocurrido cambios trascendentales en el entorno econmico y social que pudiesen determinar diferencias en el acceso al mercado de trabajo.
5.3. Estudios de seguimiento (confirmatorios). Se estima conveniente la realizacin de estudios de seguimiento
sobre una muestra de la cohorte considerada en un estudio de desempeo de egresados, tres o cuatro aos
despus de dicho estudio, ya que sus resultados pueden arrojar evidencias adicionales sobre aspectos no suficientemente explorados en el primer estudio.
Adems este tipo de investigacin permite mantener el contacto con los egresados para fines diversos como
son los programas de educacin continua, actualizacin o el establecimiento de formas de colaboracin diversas.
6. Utilizar tcnicas modernas para recoger la informacin en los estudios de egresados. Con el objeto de generar la posibilidad de estudios comparativos intra e interinstitucionales, se recomienda el levantamiento de la informacin en
hojas sensibles al lector ptico.
De no hacerse as, el esfuerzo humano y econmico invertido en la realizacin de estudios de desempeo de los
egresados correra el riesgo de ser desaprovechado por la lentitud y la inexactitud del procesamiento manual de la
informacin.
7. Consolidar la infraestructura requerida para la realizacin de estudios de egresados a fin de garantizar su viabilidad.
Existe la necesidad de contar con estudios regionales sobre desempeo y movilidad de los egresados, con el objeto de
ajustar la oferta educativa a la amplitud del mercado laboral de cada regin. La posibilidad de emprender un estudio
de egresados de carcter estatal, regional o nacional, supone la existencia de una infraestructura bsica (equipamiento de cmputo) para su operacin. Se recomienda la consideracin de una partida especial dentro del subsidio
que se otorga a las instituciones de educacin superior pblicas para la adquisicin de la infraestructura bsica en la
realizacin de los estudios sobre el desempeo de los egresados.
8. Establecer convenios entre las instituciones y las delegaciones regionales del INEGI para facilitar el procesamiento automatizado de las encuestas. La disponibilidad de un lector ptico por entidad se considera suficiente. Las instituciones
que cuentan con un lector ptico podran apoyar en la lectura a aqullas que no disponen de este equipamiento.
9. Apoyar todos los estudios de egresados en una metodologa rigurosa que contemple todos los aspectos relacionados
con el diseo muestral (cohortes, ao de egreso, estratificacin, mecanismo de sustitucin de egresados de la muestra
no localizados).
10. Conservar el esquema bsico de los estudios de egresados como elemento de referencia para estudios longitudinales
y transversales en el nivel institucional, regional y nacional. Cuando sea necesaria informacin adicional o se considere conveniente investigar otras facetas de la vida de los egresados, se recomienda ampliar los instrumentos preparados para el estudio bsico conservando invariablemente el ncleo de informacin correspondiente a este ltimo, a fin
de preservar su carcter referencial.

B) Recomendaciones sobre estudios especiales:

13

11. Realizar anlisis comparativos entre resultados de diferentes estudios de egresados. La realizacin de estudios comparativos del desempeo de egresados de diferentes reas del conocimiento o de diferentes instituciones deber
partir de los resultados de los estudios realizados previamente por las instituciones y no interferir con los mismos.
12. Manejar en forma confidencial la informacin generada por estudios comparativos. Establecer mecanismos para hacer llegar a las instituciones de educacin superior los resultados de los estudios de carcter interinstitucional, a fin
de propiciar la adopcin de las medidas orientadas a solucionar los problemas detectados en el estudio y reservar a
cada institucin la decisin de hacer pblicos los resultados de los mismos.
13. Realizar estudios de egresados cuando se requiera comprobar los resultados de los procesos de modificacin de
planes y programas de estudio. Cuando se realicen modificaciones profundas al currculo de una licenciatura, se recomienda la realizacin de estudios de egresados a partir del 3er. ao posterior al egreso de las generaciones formadas
con el plan de estudios modificado, a fin de constatar el impacto de las reformas aplicadas.

14. Generar estrategias para el anlisis de la informacin obtenida por los estudios a egresados. Uno de los problemas
ms sentidos en las instituciones es el referido a la insuficiente explotacin de la informacin, debido a la escasez de
analistas e investigadores educativos; de hecho, gran parte de las decisiones trascendentales para la evolucin institucional se toman intuitivamente o en respuesta a presiones sociales o polticas. Es recomendable aproximar a los
investigadores en educacin existentes en las instituciones a las reas de planeacin para conjugar los esfuerzos de
estas ltimas con la capacidad de anlisis interpretativo de las primeras. Este acercamiento podra potenciarse con un
programa de estancias sabticas para investigadores educativos que permita aprovechar la experiencia de expertos
en el campo de la educacin para un mejor autoconocimiento de las instituciones de educacin superior.

C) Recomendaciones de carcter operativo:


15. No diferir el desarrollo de estudios sobre egresados tratando de recuperar la informacin de todos los profesionales
formados a lo largo de la historia de la institucin. Enfocar la atencin a las ltimas generaciones, que tengan cuando
menos tres aos en el mercado laboral.
16. Iniciar los estudios de egresados en cuanto se tenga actualizado el directorio correspondiente para evitar el desperdicio de esfuerzos y recursos.

En el marco anterior, se encuentra especficamente en la UPN el panorama siguiente:

UPN Ajusco, D.F.


En el caso de la Universidad Pedaggica Nacional, Unidad Ajusco (UPN Ajusco) se ha realizado una experiencia especfica
en la Licenciatura en Psicologa, la cual se imparte en la modalidad escolarizada. En base en a un cuestionario aplicado
bajo el formato propuesto por la ANUIES (op.cit); el nmero de participantes fue de 783 egresados de las generaciones
egresadas desde 1994 hasta 2002.
Los resultados arrojaron que el 97.1% de los egresados continan viviendo en la Zona Metropolitana de la ciudad de
Mxico, ya que en esta zona existe mayor mercado laboral para los psiclogos educativos.
El 85.0% de los entrevistados desempea alguna actividad en el sector laboral. De stos, siete de cada diez trabajan
en el sector educativo, y el 7.7% tiene empresa propia y de quienes trabajan en el sector educativo el 14.8% lo hace en la
docencia. Ello, a pesar que la licenciatura no est orientada directamente a esa actividad.
Respecto a la valoracin de los egresados sobre la calidad de su formacin, el 21.3% la considera excelente y el 78.7%
la califica como buena.
Como puede apreciarse, el alcance de este estudio se refiri bsicamente a la ubicacin en el mercado laboral y a la
valoracin de los egresados sobre su formacin en la institucin respectiva.

UPN Ecatepec, Mx.

14

En la Unidad 153 de la UPN en Ecatepec, Estado de Mxico, se realiz un estudio en dos vertientes: una dimensin
interna valorando el alcance de los objetivos educativos establecidos en las lneas de Educacin Inicial y Educacin de
Adultos de la Licenciatura en Intervencin Educativa (LIE) y una dimensin externa dirigida a valorar la aplicacin del
currculo en el campo laboral en que se ubican los egresados de esta licenciatura (Huerta, J. Antonio y otros, 2010).
Los resultados en la segunda vertiente arrojaron que los egresados de ambas lneas se ubicaron laboralmente en un
porcentaje que va del 81%, al 94% y al 100% en el sector educativo en las tres generaciones consideradas en el estudio.
El segundo dato importante es que no se registr una diferencia significativa en el tipo de trabajo realizado por los
egresados de ambas lneas. Ello, tiene implicaciones importante para evaluar el impacto socioeducativo del diseo curricular de la LIE y de ambas lneas.

UPN Zacatecas, Zac.


En la Unidad UPN de Zacatecas, el Dr. Jaime R. Caldern Lpez-Velarde realiz un estudio sobre los egresados de la LIE
cuyos resultados confirman la tendencia nacional (Caldern, 2009).
En el estudio de referencia se aplic un cuestionario a los egresados en cuyos resultados se destaca que no obstante la
situacin laboral desventajosa que enfrentan los mismos, correspondientes a la 1. Generacin de la LIE de la UPN de Zacatecas (eventualidad, alta movilidad, sueldos bajos, etc.) su valoracin fue positiva. Esto se debe segn el autor a
que el 90% de los egresados cuenta con empleo, pero dos de cada tres, son docentes de educacin bsica, situacin que
se corresponde con la principal expectativa que manifestaron al elegir esta carrera. Sin embargo, este hecho, adems de
cuestionar el desempeo profesional deseable del perfil de egreso y la dbil relacin con las lneas de profesionalizacin,
revela que los jvenes egresados de la LIE no han tenido otras alternativas laborales en donde desplieguen las competencias adquiridas. La falta de identidad profesional, el desconocimiento entre los empleadores de la carrera y la escasa
insercin de los egresados en otras instituciones (asociaciones civiles, dependencias pblicas federales y estatales que
desarrollan programas educativos) y en proyectos independientes de autoempleo son aspectos que requieren explorarse
ms ampliamente para explicar tal desajuste.(op.cit).
Indica en sus conclusiones el autor que es imprescindible que los responsables acadmicos de la LIE retomen los
aspectos y problemas anotados para superarlos mediante los ajustes curriculares correspondientes y, a su vez, realizar
diagnsticos educativos que fundamenten la continuidad o inclusin de nuevas lneas de profesionalizacin. Finalmente,
estudios cualitativos de abandono escolar y de seguimiento de egresados de la 2. Generacin, deben ser complementados con la opinin de los empleadores.

UPN Los Mochis, Sin.


En la UPN, Unidad 253 de Los Mochis, Sinaloa se reporta que los egresados de los programas educativos de la Unidad
han sido reconocidos en el ao 2009 en el nivel 2 por los Comits Interinstitucionales para la Evaluacin de la Educacin
Superior (CIIES). En la visin de esta dependencia de educacin superior (DES) se plantea el logro del nivel 1 en el ao
2010, tanto para licenciatura como para posgrado, y la acreditacin al 2012 en sus PE de licenciatura. (UPN Unidad 253,
2009)
Sin embargo, se aclara en el documento citado que An queda pendiente continuar con el estudio del seguimiento
de egresados para medir el impacto de los programas educativos que aproximadamente cada diez aos se implementan
en las Unidades UPN. En este sentido no se cuenta con estudios de satisfaccin de empleadores. No hay una vinculacin
constante con las instituciones educativas que emplean a los egresados y de la deteccin de las necesidades de actualizacin, capacitacin y educacin.

UPN Puebla, Pue.


Un docente investigador de la Unidad UPN 211 de Puebla, Pue, realiz un estudio de seguimiento de egresados sobre la
Maestra en Educacin con Campo en Formacin Docente en el mbito Regional de la UPN, Unidad 211 de Puebla, Pue.
(Cuamatzin, F.,2005) encontrando que en cuanto a la ubicacin laboral de los egresados antes de cursar la maestra, casi
la totalidad (27/30) realizaba funciones de docencia y los dems realizaba funciones directivas en el sistema educativo.
Despus de estudiar la maestra, nos dice el autor hay cambios significativos en las funciones que cumplen los
egresados en sus respectivos trabajos: 17 cumplen funciones de docencia solamente, de los cuales 10 lo hace en educacin bsica y 7 en educacin superior; 9 de ellos ocupan puestos directivos (dos de ellos supervisores y siete directores,
de los cuales 3 son comisionados); varios de ellos (8) ha pasado a realizar funciones de coordinacin y apoyo pedaggico,
cuyos puestos tiene denominaciones como: Apoyo Tcnico Pedaggico, Asesor Pedaggico, Coordinador Acadmico y de
Fomento a la Investigacin; cuatro de ellos alternan funciones directivas y docentes.
15

La informacin precedente representa, por un lado, una caracterstica importante de un programa de posgrado en
educacin: los aspirantes ya cuentan con un empleo en algn nivel del sistema educativo, en este caso, casi la totalidad
realizando funciones de docencia, por lo que el estudiar un posgrado les representa la posibilidad de mantener su empleo
o mejorar sus condiciones laborales. Por otro lado, hay un cambio significativo con respecto a las funciones profesionales
que realizan los egresados con posterioridad a sus estudios de maestra, ya que 17 de ellos pasan a cumplir funciones
directivas o de coordinacin y asesora, lo que estara expresando un impacto importante del programa educativo en las
condiciones laborales de los egresados. (op.cit).
Es interesante la experiencia citada porque resulta replicada en varias unidades de la UPN en el pas que cuentan con
programas de maestra en educacin como sucede en la Unidad 161 de Morelia, Mich. Se puede inferir que tales estudios
promueven el mejoramiento de la funcin profesional de los egresados, cuando como es el caso ya se tena una ubicacin laboral por parte de estos en el sector educativo y al terminar los estudios se reincorporan a las mismas funciones.
Ello, contribuye a un mejoramiento laboral en general.
Como en otros casos, el estudio comprendi la consulta a los egresados sobre sus opiniones acerca de la pertinencia
y calidad de la formacin recibida en el programa educativo. Los resultados ofrecen referencias tiles para el proceso de
desarrollo curricular del mismo.
Igual sentido adquiere la consulta que se hizo en el estudio sobre la opinin de los egresados sobre el funcionamiento
general y especfico de la estructura de organizacin y del conjunto de la gestin de la institucin.
Un dato interesante result ser la consulta a los egresados sobre las causas de su carencia de grado a pesar de haber
concluido los cursos del programa. De ello, se pueden desprender estrategias y programas de promocin de los procesos
de graduacin focalizados a superar las causas registradas en los resultados del estudio.
As mismo, el estudio comprendi la consulta sobre la accesibilidad a programas de becas que pueden apoyar la
inscripcin, permanencia y culminacin de los estudios. A partir de ello, la institucin puede realizar un programa de
ampliacin o apertura de becas para posgrado con recursos propios y de otras dependencias locales, federales o internacionales.
En relacin a los estudios realizados por los egresados con posterioridad a la Maestra, se report que solamente
11/30 de ellos han realizado algn tipo de estudios, cuyas caractersticas son: predominan diplomados o especialidades
en diversos temas relacionados con la educacin, tales como: filosofa para nios, administracin y gestin educativa,
habilidades directivas, habilidades docentes, interculturalidad, estrategias educativas.
Destacan dos de los egresados, que han continuado con estudios de Doctorado en Pedagoga: aun cuando menos del
50% de los egresados del Programa ha continuado con algn tipo de estudios, tampoco es despreciable el esfuerzo de
los que s lo han hecho, en general con estudios relacionados con los requerimientos profesionales que enfrentan en sus
respectivos trabajos.
Este aspecto reviste la mayor importancia porque permite identificar los factores estructurales, tanto contextuales
como institucionales que estn determinando en Mxico y especialmente en el interior del pas el bajo ndice de matrcula en programas doctorales de la educacin. Ello, incide sin duda en el significativo estancamiento de la produccin de
investigaciones de calidad que deben enfrentar los graves rezagos del sector.

Seguimiento de egresados de la LIE-EPJA


En el ao 2012 concluy el trabajo de campo realizado en el marco del proyecto de investigacin Seguimiento de egresados de la lnea de Educacin de personas jvenes y adultas de la LIE-UPN, auspiciado por la UPN, Unidad 31A de Mrida
Yuc., el cual tuvo como propsitos mostrar el impacto que ha tenido la UPN en este campo educativo a travs de sus
egresados, as como aportar elementos para la mejora y actualizacin del plan de estudios de la LIE-EPJA y su gestin
acadmica en la Unidad 31-A y as, dar respuesta a las necesidades sociales y de este campo profesional en el estado.
Asimismo, contar con informacin relacionada con el impacto y la pertinencia de la LIE y de qu manera realmente
est coadyuvando al desarrollo econmico, social y cultural de nuestra entidad. Otro aspecto importante es conocer qu
ventajas y dificultades han encontrado sus egresados en el mercado de trabajo, as como las condiciones en que stos se
16

insertan en el campo laboral; las necesidades de ajustar los resultados de la formacin y las exigencias del campo profesional; la movilidad laboral y social y las necesidades respecto a su educacin continua.
De igual manera, es relevante el conocimiento sobre la actualizacin de los programas que imparte la licenciatura, sobre la congruencia entre la formacin recibida de acuerdo con el plan de estudio de la LIE con las exigencias del desarrollo
de los nuevos conocimientos y tecnologas que requiere el mercado de trabajo, as como la formacin y actualizacin de
la planta docente de acuerdo a los perfiles de formacin requeridos para atender un programa de esta naturaleza. (Rodrguez, Ana Mara, 2012).
Se asumieron ocho de las diez dimensiones que propone la ANUIES (op.cit): 1) Datos generales, 2)Trayectoria acadmica del egresado, 3)Valoracin de la formacin recibida en la UPN (Plan de estudios), 4)Opinin sobre los conocimientos
y habilidades aprendidas, 5)Opinin de los egresados sobre la formacin social recibida, 6)Experiencia en el mercado
laboral, 7)Desempeo profesional (nivel de satisfaccin y exigencias), 8)Recomendaciones para mejorar el perfil de formacin profesional de los egresados participantes.

Referencias generales en otras unidades de la UPN


En diversas unidades de la UPN en el pas se ha realizado alguna experiencia relacionada con el seguimiento de egresados
de uno o varios programas educativos, sin embargo, no se trata de programas o sistemas estructurados sino de iniciativas
coyunturales en el inters especial de conocer cmo se han integrado los egresados en el mercado de trabajo relacionado
con el perfil de egreso de su programa de formacin y obtener una valoracin de los egresados sobre la pertinencia y
calidad del mismo.
En las experiencias sealadas se inscriben el protocolo de investigacin del ao 2011 sobre seguimiento de egresados
de la LIE en la Unidad de Acapulco, Gro.; la aplicacin de cdula o cuestionario aplicado en 2012 a egresados de la LIE en
la Unidad 22 a de Quertaro, Qro. y en la Unidad 161 de Morelia, Mich., en 2011; la encuesta realizada en la Unidad 112 de
Celaya, Gto. a los egresados de la Maestra en Innovacin en la Escuela y Educacin Media Superior y Superior.

Experiencias de seguimiento de egresados en otras instituciones


de educacin superior en Mxico
Universidad de Quintana Roo
Proyecto Decimo Estudio de Egresados de la Universidad de Quintana Roo.

17

Este trabajo utiliza la base del cuestionario de la ANUIES para realizar el seguimiento de egresados. La informacin refiere a la opinin de los egresados sobre la informacin recibida, el plan de estudios, la calidad acadmica de los docentes
y la imagen de la universidad. Se trata de una de las experiencias en seguimiento de egresados ms amplia y sistemtica
de las encontradas en el estado del conocimiento de este proyecto; sin embargo, hay que destacar que para realizar el estudio, la Universidad de Quintana Roo contrat los servicios de una empresa especializada: Quadra Mercados, S.A. de C.V.
Destaca en esta experiencia la carencia de una base de datos pertinente y la dificultad del contacto con los egresados
problema que se atendi realizando, adems de una vinculacin individual por Internet, la entrega de cuestionarios a los
egresados y a los estudiantes que estn a punto de egresar incluso mediante la entrevista cara a cara en su hogar o lugar
de trabajo por encuestadores capacitados.
La experiencia de referencia constituye el dcimo seguimiento de egresados de esta institucin sobre una muestra de
la poblacin de egresados de todas las generaciones.
Se centran los objetivos de su indagacin en la vinculacin entre educacin y sector productivo dando una alta prioridad al fortalecimiento de los programas de educacin superior y su relacin con el mercado laboral; se busca disponer
de informacin actualizada que pueda alimentar los procesos de planeacin educativa y evaluar la pertinencia de los
programas educativos. Su objetivo general manifiesto es evaluar la preparacin y calidad acadmica de los egresados y
su vinculacin con el mercado laboral mediante la opinin de los propios egresados; as como estimar el grado de satis-

faccin de los egresados respecto a su formacin y evaluar el plan de estudios y calidad de los programas acadmicos.
(Universidad de Quintana Roo, 2010).

Exalumnos en Mxico
El sitio de internet Exalumnos.com tiene como objetivo, rescatar el contacto entre los egresados de nivel tcnico, normal,
nivel medio superior y superior de toda la repblica mexicana mediante una pgina web la cual contiene datos de diferentes estados con sus respectivas ciudades, al inscribirse el egresado de alguna de las escuelas puede tener acceso a las
referencias de los egresados inscritos. Este sitio es una herramienta muy til en la obtencin y creacin de una base de
datos de los egresados para este proyecto de investigacin sobre el diseo de un sistema para la UPN unidad 161 Morelia.
El sitio referido cubre informacin sobre el conjunto de los estados y ciudades de la repblica ofreciendo diferentes
servicios, como informacin sobre proyectos que estn realizando, ofertas educativas y convocatorias especficas sobre
diplomados y cursos de capacitacin, actualizacin profesional y otros.
Los beneficios ms destacados son:

Al pertenecer a la comunidad de exalumnos.com se tiene acceso a distintos servicios y contactos con los compaeros de la escuela de procedencia.

Incluir la fotografa del interesado o incluso un vnculo a su pgina web personal, para que los participantes conozcan los datos, perfiles, experiencias, intereses e informacin destacada de cada uno.

Revisar convocatorias para eventos especiales de cada generacin y estar enterados de las ltimas novedades que
tienen que ver con su escuela y generacin y de procedencia.

Universidad de Colima
Programa Institucional de Seguimiento de Egresados
Este proyecto maneja un reporte general de los egresados de la generacin 2006, tiene como objetivo conocer la ubicacin, el desempeo y el desarrollo profesional de los egresados de la institucin, destaca en este reporte el proceso de
recopilacin de datos generado en dos etapas; la primera con la recopilacin de datos previa al egreso (ficha de preegreso), la segunda la bsqueda de egresados para la aplicacin de encuestas. (Universidad de Colima, 2009).
Este proyecto no maneja encuestas en especfico para cada carrera y la encuesta sealada se realiz a los seis meses
del egreso; tiempo no suficiente para generar datos, tales como si se gener con la realizacin de los estudios una mejor
remuneracin y la experiencia de trabajo entre otros datos relevantes.
Los apartados que comprende son: origen socio familiar y trayectoria posterior al egreso, ritmos de incorporacin al
mercado de trabajo, el empleo actual, rasgos generales del desempeo profesional por reas de conocimiento, satisfaccin con la Universidad de procedencia y la carrera, recomendaciones y opiniones sobre la formacin; finalizando con
algunos anexos.
El proceso de recoleccin de informacin se dividi en dos etapas. La primera fue la aplicacin de una ficha de preegreso, realizada cuando los egresados cursaban el ltimo semestre de la carrera, con la finalidad de localizarlos despus
de egresar. La segunda fue la bsqueda de los egresados para la aplicacin de la encuesta a partir de los seis meses de
haber culminado la carrera.
Los resultados ms relevantes logrados con la experiencia mencionada se refieren a 1)Origen socio familiar y trayectoria acadmica posterior al egreso, 2) Ritmos de incorporacin al mercado de trabajo, 3)Datos del empleo actual, 4) Rasgos generales del desempeo profesional, 5) Satisfaccin con la universidad y la carrera, 6) Recomendaciones y opiniones
sobre la formacin recibida y 7)Conclusiones sobre fortalezas y reas de oportunidad. (op.cit).

18

Instituto Tecnolgico de Ciudad Acua, Coahuila


Estudio sobre el desempleo de los egresados del Tecnolgico de Ciudad Acua, Coahuila.
El Desempleo es uno de los problemas que actualmente afecta a los egresados de todo el pas y es un dato importante y
destacado a tomar en cuenta en cualquier sistema de seguimiento de egresados; a l se asocian datos importantes como
la insercin en el campo laboral o grado de vinculacin de sus estudios realizados con la actividad profesional desempeada o en el caso de no trabajar cuales son las dificultades que han enfrentado; dicha investigacin propone preguntas las
cuales obvias y carecen de un estudio o anlisis personalizado para cada licenciatura.
Para formular las preguntas se plante primeramente el diferente tipo de desempleo que se puede presentar y que se
resume en los tipos siguientes (Cruz, 2011):

a) El desempleo cclico: Se origina como parte de las repercusiones que se tienen a nivel laboral, en el comportamiento
econmico, en funcin de transitar por los fases de recuperacin, aumento, apogeo y descenso de la actividad econmica. La contraccin de ese ciclo provoca una mayor cantidad de desempleo y se denomina recesin. Si la recesin se
presenta de manera aguda y durante un tiempo considerable, se convierte en depresin; se genera en este ltimo caso
el desempleo depresivo.
b) El desempleo estacional: Se caracteriza por prcticamente predecibles pocas del ao en que la demanda laboral es
baja, producto de los ciclos de produccin en determinada lnea productiva. Un ejemplo ilustrativo de esto es la estacionalidad agrcola y la demanda de trabajadores, en pocas de siembra y de cosecha. En pocas de mantenimiento de
cultivos y cra de ganado, se reduce la demanda de operarios.
c) El desempleo friccional: Se deriva del tiempo que se requiere para encontrar, ya sea una nueva colocacin o bien de
poder conseguir el primer empleo, al ingresar en el mercado laboral. Se trata de factores que pueden estar asociados
al tipo estructural de paro.
d) El desempleo estructural: Se debe a la influencia de factores que estarn de manera ms permanente en el sistema.
Entre los mismos se tiene al aumento de productividad, a las fusiones de empresas, a la contratacin en otros pases.
Este ltimo factor, a pesar de que no existe mayor integracin de los mercados laborales del mundo, s permite que
pases con mayores niveles de mano de obra que pases industrializados, puedan competir por procesos de produccin o bien prestacin de servicios.
e) Tecnolgico: Causado por el reemplazo de trabajadores por las mquinas o la tecnologa avanzada.
f) Clsico: Cuando el salario verdadero para un trabajo se fija sobre el nivel del mercado, comnmente con la participacin del gobierno o sindicatos, aunque algo sugiere que incluso los tabes sociales puedan evitar que los salarios
bajen al nivel del claro del mercado.
g) Marxiano: Cuando el desempleo es necesario para motivar a trabajadores para el trabajo difcil y para mantener los
salarios en un bajo nivel
1.
2.
3.
4.
5.
6.

Preguntas aplicadas:
Causas por las que no has encontrado empleo?
La crisis econmica afecta en que no se genere empleos?
La competencia profesional es una causa del desempleo en los egresados?
Las fuentes de empleo son suficientes?
Cules son las carreras ms demandadas en la localidad?
Te afecta que las empresas requieran experiencia laboral?

Universidad Autnoma de Campeche

19

En el ao 2008 se public el texto Gnesis y evolucin de los estudios de egresados en la Universidad Autnoma de Campeche, Mxico. (Alonzo, Diana, L. 2008) en el que se resea el origen, en 1983 de los primeros estudios de egresados en
dicha institucin. En l se da cuenta que tales estudios han evolucionado hasta contar a partir del 2008 con el Programa

Institucional de Estudio y Seguimiento de Egresados que emplea las TICs para facilitar el contacto con los egresados y
ampliar la cobertura.
En lo general, el marco normativo y conceptual utilizado ha sido el Cuestionario tipo para el estudio de egresados
propuesto por la Asociacin de Universidades e Instituciones de Educacin Superior (ANUIES) el cual consta de 108 preguntas divididas en 15 apartados:
1) datos generales del egresado y antecedentes socio familiares, 2) datos socioeconmicos actuales, 3) condiciones
econmicas durante la licenciatura, 4) estudios de bachillerato o equivalente, 5) estudios de licenciatura, 6) eleccin de
carrera e institucin, 7) continuacin de la formacin, 8) trayectoria y ubicacin en el mercado laboral, 9) desempeo
profesional, 10) exigencias en el desempeo profesional cotidiano del trabajo actual, 11) opinin de los egresados sobre
la formacin profesional recibida,12) recomendaciones de los egresados para mejorar el perfil de formacin profesional,
13) opinin de los egresados sobre la organizacin acadmica, 14) opinin de los egresados sobre la organizacin institucional, 15) satisfaccin con la institucin y con la carrera cursada.
En el ao 2002, se realiz el proyecto Estudio de egresados como herramienta bsica para la mejora permanente
de los planes y programas de estudio y la planeacin acadmica de la Universidad Autnoma de Campeche, el cual tuvo
como objetivo: Implantar un programa permanente de estudio y seguimiento de egresados a nivel institucional, que
permita obtener informacin confiable y pertinente para apoyar la toma de decisiones y la planeacin acadmica de la
UACam; pero al igual que otras Instituciones de Educacin Superior (IES) del pas, inicialmente slo realiz estudios a
nivel piloto en algunas facultades y/o escuelas superiores, que consideran la metodologa propuesta por ANUIES, pero sin
lograr sistematizar y homogeneizar el programa en toda la universidad.
Este cuestionario se encuentra totalmente digitalizado y disponible en la pgina web de la Universidad, con lo cual
el egresado puede acceder a l, mediante su nmero de matrcula y los datos reportados pueden ser exportados al sistema de computacin estadstico Statistical Package for the Social Sciences (SPSS), para su procesamiento y anlisis
posterior. Los resultados as obtenidos permiten proporcionar de forma oportuna datos confiables de los egresados a los
organismos evaluadores y acreditadores de los programas educativos de nuestra mxima casa de estudios.
El Programa Institucional de Estudio y Seguimiento de Egresados, ve necesario de igual manera como varios de los
diferentes estudios el empleo de las TICS para facilitar el contacto con los egresados y ampliar la cobertura.
Es conveniente sealar que el programa de seguimiento de egresados enunciado y el cuestionario de la ANUIES no
plantean los trminos en que se puede y se debe disear un sistema institucional de seguimiento de egresados especificando el papel, responsabilidades, atribuciones, normas y estructura de organizacin del mismo. Las aportaciones de la
UACam y de ANUIES son susceptibles de recuperarse para el cumplimiento de la programacin anual de un sistema de
seguimiento de egresados en marcha.

Sistema de seguimiento de egresados de la Universidad Veracruzana


En la Universidad Veracruzana se ha puesto en marcha uno de los sistemas de egresados ms ambiciosos e integrales
de las experiencias revisadas en el estado del conocimiento de este proyecto. En un documento presentado en el V Congreso internacional de Administracin Universitaria realizado en Pachuca, Hgo. En 2006, se especificaron los objetivos
del mismo:

Organizar un sistema institucional y un modelo operativo


Fortalecer los estudios institucionales de egresados
Desarrollar procedimientos operativos para la sistematizacin y actualizacin de la informacin
Hacer propia la intencin de ANUIES y adoptar un esquema bsico es decir un modelo con metodologa replicable
tanto al interior como al exterior de la institucin.

En la perspectiva anterior, se plantearon los estudios de egresados como estrategia evaluativa de las IES, segn lo
propone la ANUIES; as, se consideran como prioritario identificar
20

El desempeo de los Egresados en el mercado de trabajo.


Los mecanismos de acceso, aceptacin y evolucin profesional y salarial.
El desenvolvimiento del egresado en el mbito de su formacin continua y estudios de posgrado.
Conocer la coherencia entre perfiles terminales y objetivos de planes y programas de estudio.
Conocer nuevas exigencias del ejercicio profesional.
Flexibilidad de los egresados para incorporarse a un mercado laboral cambiante.
Contar con informacin para orientar recursos a lograr estndares de calidad en la formacin.
Conocer opiniones de los egresados sobre la calidad y la satisfaccin con su formacin y con la institucin formadora.

Para lo anterior, se propone, en lo general, como metas de los estudios de egresados IES:

Evaluar indirectamente la calidad del proceso de educacin y de la Planta Acadmica


Generar Indicadores Confiables de los programas educativos y
Mejorar las estrategias de pertinencia de los mismos.

Acorde con las definiciones anteriores, se disea el modelo que orienta el conjunto del sistema de estudios de egresados:
Modelo de evaluacin

Estudios de egresados

Estudios de opinin de expertos


sobre requerimientos actuales
y futuros de formacin

Estudios de opinin de empleadores


sobre requerimientos actuales
y futuros de formacin

Anlisis de la organizacin
acadmica y los planes de estudio

Como indicadores de impacto a identificar se determinan los siguientes:

Ritmos de Insercin de los egresados en el mercado de trabajo.


Tasa de Ocupacin y de Desempleo abierto. Incorporacin laboral y ubicacin laboral.
Tiempo para encontrar empleo al egreso.
Tamao de la organizacin.
Rgimen jurdico.
Sector econmico.
Nivel Jerrquico.
Ingresos.
Tipo de Contratacin.
21

Como indicadores de desempeo y desarrollo profesional se sealan:

Continuacin de la Formacin
Coincidencia entre Estudios y actividad profesional
Exigencias encontradas
Actividades y Cargos Desempeados

Otros indicadores a considerar, son:

Satisfaccin con la Institucin


Satisfaccin con la Carrera

Mecanismos de vinculacin:

Factores de empleo
Medios de empleo
Vnculos profesionales

El sistema prev especficamente tambin, los instrumentos de la propuesta para su aplicacin en la Universidad
Veracruzana, los instrumentos y procesos referidos a los estudios y usos de la informacin; formacin y actualizacin del
directorio de egresados; el organigrama de la Coordinacin de seguimiento de egresados; el mapa de los campus y localidades de la Universidad Veracruzana que estn en la cobertura del sistema; la integracin de la informacin del Directorio
de Egresados en un sistema manual o automatizado; los medios de actualizacin; la cdula para capturar la informacin
individual de los egresados; la hora de ruta y secuencia de acciones realizadas; los productos a lograr en cuanto al impacto; una sntesis explicativa sobre las caractersticas del Sistema de Egresados (SE); un resumen de acciones nuevas y
futuras a realizar; la integracin al Sistema Integral de Informacin Universitaria (SIIU); el diagrama conceptual del SE y
el flujograma de su funcionamiento; la explicacin grfica sobre la entrada a la informacin en la pgina virtual correspondiente; una explicacin de los objetivos y funciones de la Coordinacin del Programa Institucional de Seguimiento de
Egresados y la planeacin administrativa del uso y explotacin de la base de datos del Directorio Institucional de Egresados; explicacin del acceso y navegacin en la pgina web respectiva y una explicacin sobre el Programa de la UV para
sus egresados y las conclusiones de la experiencia desarrollada.

Los sistemas de seguimiento de egresados en otros pases


A continuacin se hace referencia a las experiencias con mayor afinidad hacia el objeto de investigacin.

A) Destaca la experiencia realizada en Centroamrica por el Consejo Superior Universitario Centroamericano en coordinacin con el Servicio Alemn de Intercambio Acadmico, en el cual se concluye (Arechavala, 2009):

22

Para que los estudios de seguimiento de egresados generen la informacin pertinente, es necesario el compromiso
serio de las instituciones bajo estudio, en particular con respecto a la creacin de condiciones para la recoleccin y procesamiento de los datos. Este compromiso debe definirse a mediano plazo a travs de la implementacin de polticas y de
lneas estratgicas a nivel institucional para la instrumentalizacin y operacionalizacin de este tipo de estudios, tanto a
nivel de pregrado como de posgrado.
A corto plazo debe invertirse en la capacitacin de equipos locales a travs de proyectos cofinanciados para tener
profesionales capacitados en esta rea de estudios de educacin superior. A largo plazo, los estudios de seguimiento
requieren ser parte integral del quehacer de los programas acadmicos como elemento de una cultura de evaluacin y
mejoramiento institucional. Adems de la voluntad poltica de facilitar la institucionalizacin de estos estudios, tambin
se hace necesario proporcionar los recursos financieros para la realizacin de los mismos

Debido a que estos estudios permiten el fomento de la cultura de evaluacin y el mejoramiento institucional, es necesaria la definicin de polticas y estrategias para la realizacin de los mismos. Es importante asumir la realizacin de
estos estudios como un mecanismo para la rendicin de cuentas a la sociedad, como diagnstico de las capacidades y
herramienta para remediar las limitaciones de las universidades. Asimismo, los estudios de seguimiento de egresados
pueden constituirse en un requisito para obtener la acreditacin regional de los programas de grado y posgrado.
El trabajo en equipo y la utilizacin de medios de comunicacin avanzados, especialmente Internet, permiten alcanzar con mayor eficiencia los objetivos propuestos en estudios de egresados y mejorar la calidad de la informacin.
La comunicacin por medios virtuales se constituye en forma eficiente para mantener una va activa en la discusin y
anlisis de resultados. Sin embargo, al realizar estudios de seguimiento de egresados se hace necesario planificar talleres
presenciales de trabajo en grupo, con el equipo de investigadores, en especial cuando el estudio se realiza a nivel regional.
Estos talleres permiten discutir y analizar los resultados.
Con la finalidad de propiciar la institucionalizacin de los estudios de egresados e involucrar a los diferentes actores
en la realizacin de los mismos es importante promover mecanismos para la divulgacin de los resultados de los estudios
de esta ndole, con especial inters en los aspectos metodolgicos, en espacios tales como: asociaciones de egresados,
grupos acadmicos en las universidades, congresos,As mismo, se hace necesario el establecimiento de mecanismos
para sistematizar la oferta de educacin continua a egresados y fortalecer redes de investigadores, por parte de los programas de posgrado regionales. Lo anterior, podr facilitar a futuro un contacto ms frecuente del graduado con su universidad y con los programas, lo cual crea nexos de pertenencia de los mismos.

B) La Universidad Catlica de Chile plantea en su Reglamento de Egresados (Universidad Catlica, S/F) Resolucin N
1727-2009-CUULADECH:

a) que los graduados participan en el gobierno de la misma. Esta es una disposicin importante y no vista en las instituciones mexicanas.
b) les brinda programas de perfeccionamiento profesional a nivel de cursos de formacin contnua, diplomados, ttulos
profesionales de segunda especialidad, maestras y doctorados;
c) promueve y estimula la organizacin de asociaciones de egresados con fines sociales, de investigacin y de proyeccin
social y extensin universitaria; reconociendo dichas organizaciones y apoyando sus actividades. No se precisa el
grado de autonoma que tienen estas organizaciones respecto a la universidad.
d) las unidades acadmicas brindarn incentivos para estimular la participacin de los graduados en las actividades de
capacitacin de la universidad y
e) los egresados de la universidad tendrn derecho a un nmero de vacantes en el programa de formacin docente.
C) En el caso del Consejo de Colegios y Universidades del Estado de Minnesota, Estados Unidos, (Minnesota State Colleges & Universities, 2005) desde el 14 de junio de 2005 se estableci una poltica de seguimiento de graduados
estructurada en tres partes:
Parte 1. El propsito del Sistema de Seguimiento de Graduados es proporcionar a los estudiantes y prospectos a
serlo, los tomadores de decisiones y el pblico en general informacin sobre el empleo y los resultados educativos de
los graduados de los colegios y universidades del Estado de Minnesota.
Parte 2. Responsabilidad del Consejero. Deber crear y mantener un sistema para recopilar y publicar la informacin sobre el empleo y los resultados educativos de los recin graduados.
Parte 3. Responsabilidad de la Institucin. Cada universidad deber encuestar a sus graduados anualmente para
recoger la informacin de seguimiento de acuerdo con las normas establecidas. Cada universidad participar en el
seguimiento y llenado de la encuesta de graduados en el Sistema Integrado de Registro Estatal
La relevancia de este sistema de seguimiento de egresados estriba en la coordinacin interinstitucional que prev
para la consolidacin de datos que permite ofrecer una visin de conjunto sobre el comportamiento de las cohortes
de egresados de las diversas carreras que operan en el conjunto de las instituciones implicadas.

23

D) En el caso de El Instituto Superior de Educacin Pblico Ciro Alegra Bazn de Per, se plantea la instauracin de un
Plan de Seguimiento de Egresados en la perspectiva de sustentar la autoevaluacin, la planeacin y el mejoramiento
de la gestin y desarrollo institucional as como calibrar y desarrollar el impacto social de las carreras profesionales
que se imparten. Explcitamente hacia los estudiantes matriculados que estn prximos a egresar se pretende facilitar
la identificacin de sus competencias para su empleabilidad y la autogestin.
En el Objetivo General del Plan se indica (ISP-CAB, 2008):

Disear e implementarte estrategias de acercamiento del instituto Superior de Educacin Publico Ciro Alegra
Bazn de Chepn con sus egresados, con el fin de obtener informacin confiable y pertinente sobre su ubicacin y las
actividades que desempean en el mbito laboral, el grado de satisfaccin y el nivel de exigencia de los empleadores
en el desempeo profesionales de nuestros egresados, lo que permitir apoyar la toma de decisiones y la planeacin
acadmica en el nivel institucional.
Tal objetivo se desglosa en los siguientes objetivos especficos:

a) Conformar y consolidar las comisiones de seguimiento de egresados y opinin de empleadores.


b) Establecer los tiempos y formas para la realizacin de las encuestas.
c) Contar con informacin confiable sobre el desempeo profesional de los egresados y de su relacin con los aciertos
y posibles fallas en su formacin, enriquecer con ello la toma de decisiones para implementar acciones que permitan
superar el nivel acadmico en el perodo formativo.
d) Conocer las nuevas exigencias que plantea el ejercicio profesional a los egresados como consecuencia de las transformaciones econmicas, sociales y tecnolgicas, para su incorporacin oportuna en los planes y programas de estudio,
as como para el diseo de programas de complementacin contina a nuestros egresados.
e) Conocer el grado de satisfaccin de los Egresados respecto a la calidad de la formacin recibida durante sus tres aos
de estudio en nuestra institucin.
f) Generar la informacin suficiente y pertinente que permita a la comisin encargada del seguimiento de egresados
revisar los planes de estudios para conocer la coherencia que existe entre los perfiles profesionales, capacidades
terminales y las competencias.
E) Igualmente en Per, dentro de El Ministerio de Educacin, La Direccin Nacional de Educacin Superior y Tcnico
Profesional y su Direccin de Educacin Superior Tecnolgica y Tcnico Productiva ha construido un MDULO DE
SEGUIMIENTO DE EGRESADOS DE LOS INSTITUTOS SUPERIORES TECNOLGICOS. (MEP/DNESTP/DESTTP, 2006).
En ese mdulo se plantean los tems siguientes:

24

1. Ao en que ingreso al Instituto Superior Tecnolgico.


2. Ao que termin
3. Ao que se titul
4. Edad
5. Sexo
6. Estado civil
7. Actualmente trabaja?
8. Remuneracin mensual
9. Tipo de empresa
10. Actividad/rubro
11. A partir de su experiencia laboral, la formacin profesional que recibi con respecto a su desempeo laboral es:
12. Desde que egres cunto tiempo tiene sin trabajar?
13. Ha recibido reconocimiento personal o profesional?

El mdulo est diseado para ser operado totalmente en lnea tanto por la institucin como por los egresados y aunque es evidente que el contenido del mdulo es limitado, fue diseado en 2006 es posible que haya sido actualizado
con nuevas versiones.

F) La Agencia Internacional de Desarrollo de la Oficina de Cooperacin de la Unin Europea a travs del programa ALFA
financi el proyecto Red Graduados y Asociacin Columbus en cuyo marco el Instituto Tecnolgico y de Estudios
Superiores de Monterrey dise en 2006 el Manual de instrumentos y recomendaciones sobre seguimiento de egresados. Es un documento dirigido a las autoridades de las instituciones de educacin superior y plantea como (El)
propsito fundamentalproporcionar un contexto general sobre la utilidad de este tipo de proyectos; cules son los
temas principales que abordan, cmo se planean y se llevan a cabo, por qu es importante recabar la opinin de los
empleadores de los egresados, aspectos clave para implementar estudios de seguimiento de egresados, y la deteccin
de reas de oportunidad para la mejora de este tipo de actividades. (Unin Europea-ITESM, 2006).

Segn se anota en el manual: Este Manual representa la culminacin de dos aos de trabajo del Proyecto GRADUA2,
el cual inici sus actividades en febrero de 2004, e incorpora la experiencia de las universidades e instituciones que lo
conformaron (10 de Amrica Latina y 11 de Europa). Estas instituciones, que representan a 12 pases, han desarrollado
una cultura de seguimiento de egresados como parte de sus programas de efectividad institucional. En el manual de
referencia se destacan como elementos clave para el establecimiento de un sistema de seguimiento de egresados los
siguientes:

Es indispensable que la direccin de la institucin tome conciencia de la importancia estratgica que tiene para

la misma conocer el destino posterior de sus egresados y asumir el compromiso institucional de llevar a cabo los
estudios requeridos para ello.
La organizacin del rgano ejecutor del seguimiento debe ubicarse en una posicin cercana a la direccin para que
tenga influencia en todos los sectores de la institucin.
La existencia de una cultura de evaluacin en la universidad potencia o facilita la aceptacin e incorporacin por
parte de la comunidad universitaria de los procesos de seguimiento a egresados.
Es necesario que la institucin defina claramente el rgano responsable de llevar a cabo el trabajo de seguimiento
y le asigne los recursos adecuados para se fin (financieros y humanos).
Se deben establecer procedimientos, darlos a conocer y asegurar su aceptacin en todos aquellos involucrados en
el seguimiento de los egresados.
La institucin debe conocer experiencias exitosas de otras instituciones universitarias y adaptarlas a su contexto.

Estas recomendaciones tienen pertinencia porque derivan de conocimientos y experiencias acumuladas por las organizaciones participantes en este esfuerzo internacional sobre el tema. En su momento, la Unidad 161 de la UPN puede gestionar su incorporacin a las actividades que dicha instancia promueve ya que se trata de un referente de instituciones serias
y confiables, si bien se tratara de contextualizar la ubicacin econmica, socioeducativa y poltica de cada una de ellas.

G) La Universidad Simn Bolvar de Venezuela sede Ccuta ha elaborado un Manual del Egresado que constituye
una importante experiencia de funcionamiento de un sistema de seguimiento de egresados tanto en el mbito de la
institucin y como en el de los egresados y su organizacin en cuanto tales (Universidad Simn Bolvar, 2010).
El contenido de dicho manual se organiza de la manera siguiente:

25

1. INFORMACIN GENERAL
1.1 Misin
1.2 Servicios
1.3 Trmites de Documentos
1.4 Paz y salvo del Egresado
1.5 Perfil Profesional del Egresado

1.6 Tips para Egresados


1.7 Convenios
1.8 Egresado Destacado
1.9 Relaciones Internacionales
1.10 Asesoras y Centro de Informacin de Estudios en el Exterior
2. POLTICAS Y ESTRATEGIAS DE SEGUIMIENTO DE EGRESADOS
2.1 Objetivos
2.1.1 Generales
2.1.2 Especficos
2.2 Polticas
2.3 Estrategias generales

Desde el inicio, el Programa de Egresados se propone establecer relaciones que permitan tanto el desarrollo institucional como el crecimiento del egresado, a partir de una formacin que consulte las necesidades de la sociedad en la
cual se circunscribe para contribuir al ejercicio profesional acorde con los requerimientos del desarrollo de la Regin y
del Pas.
Resalta la importancia que se expresa en el documento sobre la orientacin a ofrecer al egresado para realizar con
mayor eficacia su insercin en el mercado laboral. Se le plantean recomendaciones detalladas sobre cmo elaborar un
currculo u hoja de vida y cmo realizar la entrevista de seleccin ante empleadores con precisiones a considerar antes,
durante y despus de la misma.
Igualmente, se le orienta sobre los procedimientos para legalizar documentos y homologar ttulos en vistas a laborar
en el extranjero.
Se hace una exposicin detallada sobre los beneficios otorgados por la institucin en el portafolios de sta a los cuales puede acceder como egresado y los trminos de su participacin en las evaluaciones curriculares de los programas
educativos de la misma.
El manual es explcito en la exposicin de las actividades de actualizacin y capacitacin (educacin continua y posgrados) a disposicin de los egresados.
Resulta significativo que la institucin promueve con gran nfasis y con la inclusin de propuestas concretas la organizacin gremial de los egresados. Explica al respecto las ventajas de asociarse en lo acadmico, lo personal y lo organizativo. Seala adems las opciones para que los egresados se vinculen laboralmente con la institucin a travs de las
polticas respectivas de reclutamiento y seleccin de personal en las que los egresados tienen preferencia.
El manual otorga especial atencin al seguimiento de la ubicacin laboral del egresado a travs de las encuestas respectivas y establece los criterios, mecanismos e instrumentos para identificar el impacto social y acadmico del egresado
en su entorno.

Programas y acciones relevantes de seguimiento de egresados


A) La Universidad Pedaggica Nacional Francisco Morazn de Honduras, Centroamrica que a partir de 2006 puso en
marcha su Programa de seguimiento a los graduados a nivel institucional (Proseg), constituido con un Comit Coordinador Institucional para la Ejecucin del Proseg el cual funciona en coordinacin con la Asociacin de Graduados
constituida y las redes de graduados en formacin. (UPN Honduras, 2006).

Los resultados esperados son: Directorio de graduados de la UPNFM, estudio de graduados, sistema de comunicacin, capacitacin y actualizacin y asociacin de egresados.
Sus objetivos generales son:

26

1. Consolidar y mantener un directorio de graduados.


2. Desarrollar un proceso de seguimiento y evaluacin de los graduados en el marco de su desempeo laboral.

3. Establecer un sistema de comunicacin permanente, interactivo y de doble va entre los graduados y la Universidad
Pedaggica.
4. Ofrecer posibilidades de capacitacin y actualizacin para el mejoramiento del graduado.
5. Crear los ambientes propicios para impulsar las innovaciones curriculares.
6. Promover los espacios y condiciones para la organizacin de los graduados, a travs de redes por reas disciplinares.
Sus funciones:

1. Convocar al comit Proseg, a reuniones de trabajo y de consultas.


2. Presentar propuestas o proyectos de accin con los graduados ante las autoridades universitarias, para la aprobacin
de los mismos.
3. Gestin y promocin de eventos institucionales para el beneficio de los graduados.
4. Gestionar y administrar el apoyo extra institucional para el logro de los resultados esperados con el PROSEG.
5. Servir de enlace entre el sector empleador de los graduados y la UPNFM
6. Servir de enlace entre las unidades acadmicas y el comit coordinador institucional.
7. Planificar y ejecutar las acciones que se emprendern con sus respectivos graduados, tanto en la sede central como en
los Centros universitarios regionales.
8. Promover la participacin de graduados de las diferentes carreras en la consecucin de las acciones planteadas para
ellos mismos.
B) Destaca en las experiencias de sistemas sobre seguimiento de egresados en Colombia, la Universidad Nacional que
cuenta en la Facultad de Ciencias Humanas con sistema estructurado con un portafolios de servicios y beneficios que
comprende:

1. Servicios para egresados de Cobertura Nacional: Sistema Nacional de Bibliotecas SINAB y editorial de la Universidad
Nacional de Colombia; acceso a informacin institucional; participacin en actividades organizadas por la universidad y cuenta de correo electrnico institucional.
Adicionalmente, otorgamiento de descuentos en los servicios y programas de divulgacin cultural, publicaciones,
libros y suscripciones a publicaciones peridicas y cursos de extensin y actualizacin; arrendamiento de escenarios
deportivos, auditorios, salones para cursos o eventos; colaboracin en la difusin de informacin sobre las Asociaciones de Egresados; difusin de oportunidades de enlace laboral a travs del Sistema de Informacin de Egresados y
divulgacin de oportunidades de becas internacionales.
2. Servicios para egresados con cobertura en Bogot: la Unidad de Emprendimiento Facultad de Ciencias Econmicas y
el rea de cultura Bienestar Universitario.
3. Servicios para egresados con cobertura en la Facultad de Ciencias Humanas: Coordinacin de Egresados Facultad de
Ciencias Humanas, Secretara Acadmica, Educacin continua y permanente, Centro de Psicologa Aplicada: Servicio
de Atencin Psicolgica, (SAP) Evaluacin Neuropsicolgica; Laboratorio de Psicologa Jurdica.
4. Servicios para egresados ofrecidos por externos: Amrica Solidaria, Ensea por Colombia, Cooperativa de Profesores.
C) Es relevante el caso de la Universidad de la Gran Colombia, en cuya institucin se han formalizado un conjunto de
Polticas y estrategias de seguimiento a egresados mediante el Decreto 1001 del 3 Abril de 2006. En l se establecen
objetivos, polticas y estrategias de gran alcance:

Objetivo general
Fortalecer la relacin interactiva entre los egresados y los dems estamentos de la comunidad Gran colombiana con el
propsito de propiciar la formacin continuada de los egresados y enriquecer los procesos de mejoramiento de la Universidad.
27

Objetivos Especficos
Fomentar el sentido de pertenencia del egresado Gran colombiano
Fortalecer el posicionamiento de la Universidad a travs de la cualificacin de sus egresados.
Aprovechar la experiencia del egresado para el mejoramiento de los servicios educativos que ofrece la Universidad.

Polticas:
1. Poltica de Integracin: Fomentar la participacin y solidaridad entre los egresados a travs de encuentros anuales de
egresados de cada programa.
2. Poltica de Empleo: Los programas a travs de la coordinacin de proyeccin social de cada facultad y de contactos
empresariales facilita la captacin de hojas de vida y la divulgacin de oportunidades de empleo.
3. Poltica de creacin de Empresas: Facilita la comunicacin de los egresados con los consultorios y otros entes encargados de propiciar y apoyar la creacin de empresas como Incubar Colombia y del programa emprender del Sena.
4. Poltica de seguimiento: Propicia la actualizacin de los datos de los egresados por medio de la gestin de la coordinacin de cada facultad.
5. Poltica de Medicin: Cada programa har seguimiento al desempeo laboral de sus egresados y su participacin en
comunidades acadmicas o profesionales.
6. Polticas de asociacin: La Universidad apoya todas las actividades de creacin y funcionamiento de la asociacin de
egresados de la Universidad La Gran Colombia.
7. Poltica de Capacitacin permanente: La Universidad fomenta la capacitacin permanente de los egresados a travs de la
facultad de Postgrado y Formacin Continuada a donde se le brinda a los egresados de inters con descuentos especiales.

Estrategias
1. Conformar la asociacin de egresados de cada programa y de la Universidad.
2. Realizar encuentro anual de egresados por programa.
3. Mantener seguimiento al impacto y desempeo laboral de los egresados a travs de encuestas diseadas para medir
estos parmetros.
4. Difundir los servicios de extensin universitaria entre egresados.
5. Cada Facultad con Postgrados propiciar espacios para la discusin de temas de actualidad e inters disciplinar y social.
6. Facilitar los procesos relacionados con el empleo y el espritu empresarial (a travs de las coordinaciones y consultorios)
7. Sistematizar toda la informacin relacionada con los egresados.
8. Vincular a los egresados en los consejos y comits de la Facultad.

Destaca el compromiso explcito de la Universidad en la creacin directa de empresas comunitarias y otras iniciativas
para la apertura de fuentes de empleo para sus egresados. Ello, se plantea slo como enunciado sino que deriva en el
establecimiento de criterios, mecanismos y procedimientos para desarrollar las iniciativas valoradas como pertinentes.
La experiencia de esta institucin se remonta al ao 1962. A la fecha y con la experiencia acumulada, ha hecho parte
del proceso de creacin de ms de 5000 empresas y a travs de la direccin de extensin y servicio a la comunidad sigue
mediante la informacin, orientacin, capacitacin y asesora acompaando este programa.

Insercin de los egresados en el mercado laboral


A) Al construir un sistema de seguimiento de egresados en el campo educativo como es el caso de la Universidad Pedaggica Nacional se debe considerar el factor antigedad en el ejercicio profesional como elemento importante en
el momento de evaluar la insercin en el campo laboral de los mismos.

28

Para el caso de los egresados de las licenciaturas se presenta el problema en la mayora de los casos de la carencia
de experiencia previa en el campo en que se formaron. Como se reporta en una investigacin al respecto realizada en

Argentina (Jaramillo, 2012) La antigedad y el puntaje son formas de capital cultural que adquieren algunos egresados
al participar de las reglas de juego del campo de la docencia. En este campo de trabajo la normativa (Estatuto Docente) no
solo se caracteriza por privilegiar el requisito de la antigedad para acceder a horas vacantes, sino tambin por establecer
un criterio cuantitativo (puntaje) en la seleccin de su personal. En este contexto, aquellos egresados que cumplen estos
requisitos se encuentran con mayores ventajas para acceder a este espacio de trabajo.
En contraposicin, aquellos que no poseen el atributo de la antigedad y puntaje en la docencia capital cultural
institucionalizado perciben a estos requisitos como uno de los obstculos ms difciles de sortear.
Una graduada interrogada sobre este asunto sealaba: Te pedan antigedad en la docencia pero si uno egresaba
no poda tener antigedad, digamos, como graduada. En aquel momento creo que dos aos, tres aos. En el caso de los
egresados de los programas de posgrado no se presenta esa situacin mayoritariamente porque se trata de profesionales
con experiencia en el campo de formacin.
Sin embargo, habr que considerar en su caso, precisamente el factor antigedad previa en el ejercicio profesional
para identificar y diferenciar el impacto que tuvo en l la formacin adicional lograda con el posgrado, respecto al impacto
de su formacin y experiencia previas en su situacin laboral como egresado del posgrado en cuestin. Esta consideracin ser til al abordar la construccin del sistema de seguimiento de egresados de las maestras educacin, tanto en la
de educacin bsica y como en la de desarrollo curricular

B) En la Universidad de Valparaso. Chile, se realiz en 2010 un trabajo de investigacin denominado Caracterizacin


de la insercin laboral a partir de las competencias demandadas por los empleadores a los egresados y estudiantes en
prctica profesional de la carrera de Socio economa de la Universidad de Valparaso (Gederlini y Valeska, 2010) de
l se desprenden, entre otras, dos conclusiones importantes:

El impacto de la globalizacin econmica y la dinmica de los mercados laborales demanda a las instituciones de

educacin superior una vinculacin permanente con los mismos a fin de adecuar la estructura curricular de los
perfiles de egreso en sus diversos planes de estudio.
Si bien es necesario identificar e incorporar las competencias que se demandan en el mercado laboral y hacia la
cual las carreras pretenden dirigir la oferta de profesionales, ello no debe ser un criterio rgido en la reformulacin
de los planes de estudios, dada precisamente la acelerada dinmica de los cambios que operan en los perfiles de
desempeo en los centros de trabajo.

De acuerdo con lo anterior, en el espacio de las instituciones formadoras de profesionales de la educacin se deben
considerar tales elementos en tanto que el desarrollo curricular de la oferta de formacin generada en las mismas requiere vincularse ms estrechamente a la dinmica de la sociedad superando la visin endgena respecto al sistema educativo
prevaleciente en el diseo de planes y programas de estudio de estas instituciones.
En el mbito de la insercin laboral de los egresados, especficamente de la Universidad Pedaggica Nacional, frecuentemente se encuentran en espacios de mayor grado de autonoma al que se presenta en las instituciones de carcter
privado, sea dentro de la produccin de bienes y servicios o sea en el mbito educativo. Ello le da ms relevancia a la
segunda de las conclusiones sealadas.

C) En el Sistema Universitario de Dakota del Norte, Estados Unidos, (NDUS, por sus siglas en ingls) en relacin con el
seguimiento de egresados se hace nfasis en su absorcin en el mercado de trabajo. (NDUS, 2012). Casi 68% de los
7,884 estudiantes graduados del Sistema a partir de 2009 estaban empleados o rematriculados durante el curso acadmico 2010. El nmero de graduados en tales circunstancias alcanz a 5,260, el porcentaje mayor desde que se inici
la formulacin de informes de seguimiento en 2008.

Resulta notable que la primera generacin reportada un ao despus de su graduacin en 2009, el 63,1% de los estudiantes (4972) estaban empleados en Dakota del Norte. El desglose de ese porcentaje por sexo de los graduados fue del
34% de mujeres y el 29,1% hombres.
29

Se reconoce que en tales resultados influyeron el entorno econmico y otros factores tales como, el mejor papel de
los colegios comunitarios (community colleges), la calidad de vida; el aumento de las oportunidades y el atractivo de los
programas de posgrado que ha aumentado el crecimiento de la inscripcin en la investigacin universitaria.

D) En el Sistema de Universidades Tecnolgicas del Estado de Texas se realizan hace ms de una dcada encuestas sistemticas con los empleadores para conocer si los egresados de las instituciones tecnolgicas del nivel superior trabajan en ocupaciones relacionadas con su campo de estudio (UT-System, 2014).

Independientemente de las dificultades para recibir la informacin oportunamente por parte de los empleadores
hay retrasos hasta de 6 meses en las respuestas y de las deficiencias propias del instrumento como la carencia de informacin sobre el ttulo profesional de la ocupacin y la no especificacin de horas trabajadas, se trata del mejor recurso
para documentar la dinmica del mercado de trabajo para los egresados.
La pregunta crucial sobre por qu necesitamos saber la ocupacin de nuestros egresados? se resuelve en funcin
que los evaluadores de programas curriculares necesitan saber la relacin entre el perfil de egreso y el empleo real de los
estudiantes egresados y orientar ms eficazmente la prestacin de servicios de educacin y formacin.
La ltima encuesta fue financiada con fondos del Departamento de la Fuerza de Trabajo de los EUA. Los resultados
preliminares arrojaron 1,017 registros de las cuales 966 fueron encontrados trabajando en la ocupacin de cerca o directamente relacionados con el programa que estudiaron destacando las profesiones siguientes:

Profesor de Ingls, Lengua y Literatura.


Administracin y Direccin de Empresas.
Ingeniera Civil.
Ingeniero Asociado.
Ingeniero Mecnico
Mercadotecnia.
Contador.
Ingeniera Informtica.
Analista Programador.

En cuanto a trabajos especializados, destacan los siguientes:

Calefaccin, Ventilacin, Aire Acondicionado.


Tecnologa de Soldadura.
Formacin en enfermera prctica.
Colisin, Reparacin y Autoservicio.
Asistente de Maestro.
Gerente de Restaurante.
Diseo de Tecnologa.

D) La Universidad del Estado de Florida, a travs de su Divisin de Asuntos Estudiantiles realiza cada semestre y desde
2006 una Encuesta Senior de seguimiento de egresados. (FSU-DSA, 2012) En la que corresponde al semestre 20112012, incorpora datos importantes tanto de la trayectoria de los estudiantes en el perodo de formacin y actuacin
dentro de la universidad, como en relacin con los trminos en que se ubica dentro del mercado de trabajo. En este
caso, el porcentaje de respuesta alcanz el 30% y en ella se incluyeron datos sobre: gnero, raza y lugar de residencia.

Se indagaron los planes de los egresados al dejar la culminar su carrera: tomar tiempo libre, iniciar o formar una
familia, cumplir el servicio militar, conseguir un empleo, incorporarse a la educacin continua o cumplir un servicio comunitario o trabajo voluntario.
30

En cuanto a las preguntas sobre la actuacin dentro de la universidad, se incluyeron: la participacin en una organizacin estudiantil, la participacin en servicio comunitario o trabajo voluntario, empleo parcial fuera de la institucin,
prctica profesional, competencias deportivas, participacin como representante o lder estudiantil.
Destacan los datos siguientes: el 60% se incorpor a un empleo al egresar; 40% se dedic a buscar empleo. De los
empleados, 91% lograron empleo de tiempo completo y de ellos, 4% lo hicieron en empleo por cuenta propia, 64% se
ubicaron en el Estado de Florida, 75% ocuparon un empleo que requiere ttulo universitario y el 79% de los empleados
se ubicaron en un puesto relacionado principalmente con su campo de formacin.

Publicaciones de las organizaciones de egresados.


En la Universidad Autnoma Latinoamericana de Medelln, Colombia, el boletn de los egresados ( UALC, 2012) incluye:
oferta laboral, reconocimientos a egresados destacados, eventos vinculados a la actividad profesional y al empleo, actividades y eventos especficos de actualizacin.
Los egresados de La Universidad de Los Llanos, Colombia, (U. de los Llanos, S/F) cuenta con una revista altamente estructurada denominada Corocora que convoca a la publicacin de trabajos de investigacin y colaboraciones acadmicas
de los egresados bajo criterios editoriales de seleccin y calidad. Su contenido se estructura bajo las secciones siguientes:

SOCIALES (2 pginas)
CARTA DEL EGRESADO (1 pgina)
EGRESADOS DESTACADOS (3 pginas)
ASOCIACION DE EGRESADOS (1 pgina)
CIENCIA Y TECNOLOGIA (1 pgina)
CARTA DEL RECTOR (1 Pgina)
UNILLANOS EN CAMINO (Noticias de la Universidad) (1 Pgina)
DIVULGACION POSTGRADOS (1Pgina)
PROMOCION PREGRADOS (1 Pgina)
FACULTADES (2 Pginas por Facultad)
PROGRAMA DE EGRESADOS (1 Pgina)
BOLSA DE EMPLEO (1 Pgina)
POLITICA EDITORIAL
PUBLICIDAD

Llama la atencin la poltica de consolidar en una sola publicacin los contenidos de inters para los egresados de
todos los planes de estudio tanto de nivel licenciatura como de posgrado e igual que en el caso de la institucin anterior,
se incluye una seccin de reconocimientos a los egresados destacados.

3. PROBLEMATIZACIN TERICO-EMPRICA DEL OBJETO


a. Especificacin de los elementos sustanciales del objeto
stos derivan directamente de la denominacin del objeto y se ubican en tres campos bsicos: contexto, relacin directa educacin y sociedad currculo y gestin institucional.
Se definen como elementos sustanciales del objeto aquellos que constituyen la naturaleza del mismo sobre la que se
realiza la problematizacin central del mismo y en este proyecto se pueden desagregar en los trminos siguientes:
31

Contexto: mbitos econmico, social, poltico y cultural.

El econmico en empleadores privados, pblicos y sociales. El social en familia, medios, comunidad y sociedad. El poltico
en afiliacin a organizaciones polticas, participacin poltica propiamente dicha y organizaciones de egresados. El cultural, se enfatiza en la formacin y prctica cultural del egresado.
Currculo: Planes y programas; los que se desagregan en objetivos, perfil de egreso, lneas o campos formativos, formacin docente y evaluacin curricular.
Gestin: se desagrega en recursos institucionales para el seguimiento de egresados, desagregados a su vez en recursos humanos, financieros y materiales y dentro de la gestin se incluye la actualizacin de los egresados, la vinculacin
institucional, la difusin y la normatividad y organizacin como soporte del posible sistema de seguimiento de egresados.

b. Eleccin y definicin genrico-especfica de conceptos ordenadores


La definicin genrica se desprende de los cuerpos tericos disciplinarios de los que procede cada concepto y la especfica se define en funcin de la concrecin que cada concepto tiene en el objeto de investigacin. Los conceptos ordenadores
se agrupan igualmente en los campos del contexto, el currculo y la gestin.
Se procedi a realizar la definicin de los conceptos ordenadores en su acepcin genrica y especfica. (Ver anexo 1)

c. Matriz de problematizacin
Es el cuadro de doble entrada en la que se cruzan cada uno de los elementos sustantivos del objeto con cada uno de los
conceptos ordenadores. (Ver anexos 2, 3 ,4 y 5)

Seleccin de los cruces prioritarios

La priorizacin de los cruces de la matriz se establece a partir de una ponderacin de cada uno considerando el contenido del concepto ordenador y el elemento sustancial del objeto tanto en el plano de la realidad como en el plano de la
concrecin deseable. En cada uno de esos dos planos, es posible identificar un relativo nivel de importancia de un cruce
determinado en funcin de la naturaleza y dinmica del objeto. Para ello se usar una escala de 0 a 4 niveles posibles de
importancia. La asignacin del nivel se realiza mediante una ponderacin que parte 1)del estado del conocimiento del objeto y 2) de la definicin de las categoras y conceptos ordenadores tanto en su definicin genrica como de su definicin
especfica; ambos en su relacin con cada uno de los elementos sustanciales del objeto.
Con el ejercicio anterior es posible definir los cruces prioritarios y realizar la problematizacin.

d. Problematizacin/interpelacin al objeto (preguntas y debate terico)


por campos definidos segn la naturaleza de ste
En cada uno de los cruces prioritarios dentro de cada uno de los campos de la matriz, se formulan preguntas sobre la
situacin real y las posibilidades de potenciacin del objeto de investigacin desde el cruce correspondiente.

e. Determinacin de indicadores

32

Al trmino de la problematizacin de los cruces prioritarios es posible identificar ncleos en los que se asocian diversos
cruces prioritarios. Esas reas o ncleos sern especialmente considerados para la definicin de los indicadores que
guiarn la indagacin emprica.

Con base en la identificacin de los ncleos problemticos y el contenido de las preguntas incluidas en ellos, es posible
construir los indicadores centrales que guiarn la indagacin emprica en el proceso de investigacin del objeto.

f. Diseo de la indagacin emprica a partir del contenido de los indicadores.


Metodologa operativa y diseo del muestreo, en su caso.
En relacin a la estrategia operacional para transitar de la problematizacin del objeto a la indagacin emprica, se expresa en las columnas de la Tabla No. 2.
Conviene aclarar que dado el contenido de los indicadores construidos a partir de las preguntas reflexivas de los
cruces de las matrices de problematizacin, se hizo pertinente slo aplicar un tipo de instrumentos, que result ser el de
cuestionario.
En cuanto a los criterios estadsticos para la seleccin de las muestras correspondientes a cada uno de los programas
y sujetos a interpelar, se resumen en los siguientes (ver Tabla No. 3):
Tabla 3 Definicin de muestras de poblacin para la aplicacin de cuestionarios por actor y programa educativo
No.

1.

2.

3.

4.

33

PROGRAMA EDUCATIVO

Licenciatura en Intervencin educativa,


terminal en Orientacin Educacional
(LIE-O).

Licenciatura en Desarrollo Comunitario.


(LDC)

Maestra en Educacin con campo en


Desarrollo Curricular.
(MECDC)

Maestra en Educacin Bsica.


(MEB)

ACTOR

MUESTRA

Egresados.

10%

Empleadores.

10%

Diseadores del currculo.

100%
(universo)

Autoridades UPN

100%
(universo)

Egresados.

10%

Empleadores.

10%

Diseadores del currculo.

100%
(universo)

Autoridades UPN

100%
(universo)

Egresados.

10%

Empleadores.

10%

Diseadores del currculo.

100%
(universo)

Autoridades UPN

100%
(universo)

Egresados.

10%

Empleadores.

10%

Diseadores del currculo.

100%
(universo)

Autoridades UPN

100%
(universo)

1. Se definieron en lo general los siguientes porcentajes en funcin de los actores: para diseadores del currculo y autoridades, dado su nmero y accesibilidad, el conjunto del universo, 100%. Para los egresados y empleadores, el 10%
en funcin del nmero.
2. No fue posible aplicar considerar en el caso de los egresados y los empleadores el criterio de muestreo aleatorio
estratificado, por cuotas sede UPN, sexo, generacin, y ubicacin geogrfica de su trabajo dada la enorme difi-

cultad para localizar a estos actores y su lenta o nula respuesta en un porcentaje muy elevado de frecuencias. Se opt
por ello, en sustituir los individuos no localizados o con demora excesiva en la respuesta por individuos fsicamente
accesibles y dispuestos a colaborar en esta indagacin. Ello, no altera significativamente los resultados en virtud que
la presente investigacin no pretende ser un ejercicio de seguimiento de egresados, sino un estudio para determinar
las condiciones institucionales y contextuales para establecer, en su caso, un sistema de egresados en la unidad UPN
especificada.
3. La aplicacin de los cuestionarios se realiz indistintamente por la va electrnica o con el llenado de los cuestionarios impresos.
a. Diseo y prueba de instrumentos. (Ver cuestionarios en anexos 7-18)
b. Aplicacin de instrumentos.
c. Concentracin y sistematizacin de datos empricos.

g. Interpretacin: problematizacin de los resultados de la indagacin


emprica y explicacin terica y transformacin del objeto
Con los resultados obtenidos de la indagacin emprica derivada de la previa problematizacin del objeto, es posible exponer su reconstruccin en la perspectiva de buscar la potenciacin del mismo. En este caso, la generacin del diseo del
sistema de seguimiento de egresados para la Unidad 161 de la UPN en Morelia, Michoacn, Mxico.
En la perspectiva anterior, es posible plantar una explicacin terico emprica de este objeto a partir de los resultados
de la indagacin realizada con los principales sujetos involucrados la cual deriv de la problematizacin previamente
realizada mediante la aplicacin de los conceptos ordenadores a los elementos sustanciales del mismo. Igualmente,
en un segundo momento es posible recuperar los elementos esenciales aportados por los referentes del estado del
conocimiento para construir una propuesta pertinente de un Sistema de Seguimiento de Egresados para la Unidad 161
de la UPN.
En el primero de los planos sealados se configuran los elementos relevantes siguientes:
PARA LA MAESTRA EN EDUCACIN BSICA (MEB):

FUENTES DE INFORMACIN

34

Adorno, T. W., (1975). Dialctica negativa, Editorial Taurus, Madrid.


Arechavala, Ivy L.G. (Coordinadora) (2009). Estudio de seguimiento de egresados de programas de posgrado regionales
centroamericanos. Consejo Superior Universitario Centroamericano y Servicio Alemn de Intercambio Acadmico.
Guatemala.
Asociacin de Egresados Universidad de los Llanos, Colombia (2009). Revista de la Asociacin de Egresados de la Universidad de los Llanos, especificaciones y poltica editorial. Documento interno. Colombia.
De la Garza, E. (1988). Hacia una metodologa de la reconstruccin. Editorial Porra. Mxico.
De la Garza, E. (2006). Hacia dnde va la teora social, en http://docencia.izt.uam.mx/egt/publicaciones/capituloslibros/
Hacia%20donde%20va%20la%20Teor%EDa%20Social.pdf
Florida State University, Division of Student Affairs (2012). The Senior Survey (SS) of the Graduate Follow Up Study Fall
2011 & Spring 2012. USA. En: http://www.career.fsu.edu/stats/2012SeniorSurveySummary.pdf
Gederlini, G.B. y Valeska, L. (2010). Caracterizacin de la insercin laboral a partir de las competencias demandadas
por los empleadores a los egresados y estudiantes en prctica profesional de la carrera de Socio economa de la Universidad de Valparaso tesis de licenciatura en Ciencias Socioeconmicas, dirigida por el Profesor Sergio Balbotn
Guerrero, Universidad de Valparaso, Chile.

Instituto Superior de Educacin Pblico Ciro Alegra Bazn (2008). Plan de seguimiento de egresados del ISP Ciro
Alegra Bazn- Chepn. Per. En http://www.isepcab.edu.pe.
Jaramillo, D. Arnaldo (2012). La insercin laboral de los egresados en Ciencias de la Educacin. Editorial de la Universidad
Nacional de Jujuy, Argentina.
Kaplan, A., (1964). The conduct of inquiry, Chandler Publishing Co., Nueva York.
Ministerio de Educacin de Per (2006) Mdulo de seguimiento de egresados, Direccin Nacional de Educacin Superior y Tcnico Profesional, Direccin de Educacin Superior Tecnolgica y Tcnico Productiva. Per. En http://destp.
minedu.gob.pe/seist.
Minnesota State Colleges & Universities (2005). Graduate Follow-Up System. Board Policies, Chapter 3-Educational Policies. Internal doc. USA.
North Dakota University System, (2012). State Retention of Graduates at Highest Level NDUS y "Follow-Up on North
Dakota Education and Training". Internal bulletin. USA.
Texas State Technical College System (2014). Are TX graduates working in jobs related to their field of study?. USA. En:
http://www.texasair.org/conference/2014/presentations/D4.pdf
Unin Europea-ITESM (2006). Manual de instrumentos y recomendaciones sobre seguimiento de egresados. Programa
Editorial del Instituto Tecnolgico y de Estudios Superiores de Monterrey y Grupo Noriega Editores. Mxico. En www.
gradua2.org.mx
Universidad Autnoma Latinoamericana (2012). Boletn Egresados de la UNAULA, Medelln, Colombia.
Universidad Catlica de Chile, (2011). Reglamento de Egresados, Resolucin N1727-2009-CUULADECH-Departamento
Acadmico de Responsabilidad Social, Universidad Catlica de Chile.
Universidad de la Gran Colombia, (2006). Decreto 1001 del 3 Abril de 2006: Polticas y estrategias de seguimiento a egresados de la Universidad la Gran Colombia.
Universidad Nacional de Colombia (2013). Portafolios de servicios y beneficios para egresados. Facultad de Ciencias Humanas. Documento interno. Colombia.
Universidad Pedaggica Nacional, Repblica de Honduras (2006). Programa de seguimiento a los graduados a nivel institucional (Proseg). Edicin interna. Honduras.
Universidad Simn Bolvar (2010). Manual del Egresado. Edicin de la Universidad Simn Bolvar, San Jos de Ccuta,
Venezuela.
Zemmelman, H., (2006). Alternativas en el mtodo de la investigacin cientfica. Es la prueba de hiptesis el nico camino?. En De la Garza, E., Coordinador, Tratado latinoamericano de sociologa. Editorial Anthropos y Universidad
Autnoma Metropolitana, Unidad Iztapalapa, Mxico.
Zemelman, H. (2011). Conocimiento y estudio del presente. Instituto Internacional de Integracin del Convenio Andrs
Bello (III-CAB). Vicepresidencia del Estado Plurinacional de Bolivia.

ENTREGABLES
1. Documento general con el contenido del Sistema de Seguimiento de Egresados de la Unidad UPN 161 de Morelia, con
los anexos siguientes: a)Documento sobre la orientacin metodolgica, b)Tabla comparativa de elementos destacados de los sistemas de seguimiento de egresados en las instituciones consideradas.
2. Versin para ser publicada en ediciones y medios estatales, nacionales y extranjeros.
3. Tesis de grado de maestra de los alumnos participantes en este proyecto.

El presente proyecto de investigacin se aloja en la Universidad Pedaggica Nacional, Unidad 161 de Morelia, Michoacn.
La aprobacin institucional ya establecida garantiza que los productos de este proyecto sean incorporados, en su caso,
al espacio de la toma de decisiones de los directivos e instancias colegiadas de decisin de esta Unidad UPN y eventualmente los directivos de otras unidades UPN y de las autoridades educativas del estado y de la Unidad UPN Ajusco.
35

Se incorporan tres estudiantes de la Maestra en Educacin con Campo en Desarrollo Curricular de la Unidad UPN 161
a este proyecto en el marco de la investigacin para su tesis de grado. Adicionalmente, existen recursos de uso potencial
en infraestructura, equipo y el personal de apoyo necesario para el proyecto. Ello se refiere a espacios fsicos, equipo de
cmputo y telecomunicaciones, apoyo logstico y administrativo y fuentes de informacin.

CRONOGRAMA GENERAL

36

CONTENIDO

FECHA

Denominacin, planteamiento del objeto. Delimitacin del ngulo de indagacin.


Objetivo. Enfoque y estrategia metodolgica.

Enero-febrero 2013

Justificacin/problematizacin preliminar. Estado del conocimiento

Marzo-junio 2013

Problematizacin terico-emprica del objeto.

Julio-septiembre 2013

Especificacin de los elementos sustanciales del objeto.

Julio 2013

Eleccin y definicin genrico-especfica de conceptos ordenadores.

Agosto-octubre 2013

Matriz de problematizacin.

Noviembre 2013-febrero 2014

Seleccin de los cruces prioritarios.

Marzo 2014

Problematizacin/interpelacin al objeto (preguntas y debate terico)


por campos definidos segn la naturaleza de ste.

Abril-julio 2014

Determinacin de indicadores.

Agosto 2014

Diseo de la indagacin emprica a partir del contenido de los indicadores.

Septiembre-octubre 2014

Metodologa operativa y diseo del muestreo, en su caso.

Septiembre 2014

Diseo y prueba de instrumentos.

Septiembre 2014

Aplicacin de instrumentos.

Septiembre 2014

Concentracin y sistematizacin de datos empricos.

Octubre 2014

Interpretacin: problematizacin de los resultados de la indagacin emprica


y explicacin terica y transformacin del objeto.

Noviembre 2014

Conclusiones.

Noviembre 2014

Elaboracin del Informe de Investigacin/Tesis de grado.

Diciembre 2014-Enero 2015

La pertinencia del portafolio


como instrumento de evaluacin
desde la perspectiva de los docentes
14 de marzo de 2015

La pertinencia del portafolio


como instrumento de evaluacin
desde la perspectiva de los docentes
Leticia Pelcastre Villafuerte
Maestra en Educacin, Instituto Nacional para la Evaluacin de la Educacin, Mxico.
lpelcastre@inee.edu.mx

Susana Quinto Simn


Maestra en Desarrollo y Planeacin de la Educacin, Instituto Nacional para la Evaluacin de la Educacin, Mxico.
squinto@inee.edu.mx
Claudia Navarro Corona
Doctora en Ciencias Educativas, Instituto Nacional para la Evaluacin de la Educacin, Mxico.
cnavarro@inee.edu.mx
Yolanda Edith Leyva Barajas
Doctora en Educacin, Instituto Nacional para la Evaluacin de la Educacin, Mxico.
yleyva@inee.edu.mx

Marina Fernanda Gonzlez Nava


Maestra en Anlisis Experimental de la Conducta, Instituto Nacional para la Evaluacin de la Educacin, Mxico.
mfgonzalez@inee.edu.mx
PALABRAS CLAVE: Evaluacin, docente, portafolio, instrumento, Mxico
EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo

Resumen

En este trabajo se presentan algunos resultados de las opiniones de docentes de educacin bsica y media superior obtenidos mediante grupos de enfoque realizados en nueve entidades federativas de Mxico. Estos resultados
recogen la opinin acerca de la pertinencia y significado del portafolio como instrumento de evaluacin docente.
Se presentan las diferentes concepciones de los profesores y algunas de las caractersticas que, desde su opinin,
tiene el portafolio por nivel educativo. Se encontr que para los profesores de educacin bsica, el portafolio es un
instrumento de evidencia de su desempeo y de los alumnos, aunque tambin expresaron algunas resistencias en
su uso. En educacin media superior, el portafolio es considerado como una herramienta para reflexionar sobre
su prctica educativa.

INTRODUCCIN

En Mxico, la cultura de la evaluacin se ha promovido desde diferentes programas y ejercicios de diagnstico. En 1992
surgi el Programa Nacional de Carrera Magisterial, un sistema de promocin horizontal que tuvo como propsito reconocer y estimular a los profesores de educacin bsica de las escuelas pblicas (SEP-SNTE, 2011b). Uno de los factores
que se evaluaron fue la preparacin profesional, misma que valoraba a travs de un examen, las habilidades, capacidades
y conocimientos de los profesores respecto al nivel, modalidad, grado y asignatura. Tambin se incorporaron los resultados de los aprendizajes de los estudiantes obtenidos por medio de la prueba Evaluacin Nacional del logro Acadmico en
Centros Escolares (ENLACE) (SEP-SNTE, 2011b).
Otro programa dirigido a evaluar a los profesores fue la Evaluacin Universal de Docentes y Directivos en Educacin
Bsica, que tuvo como objetivo mejorar las prcticas educativas a travs de un diagnstico que permita conocer las reas
de oportunidad de los docentes para capacitarse. Esta evaluacin se constitua por dos componentes: aprovechamiento
escolar y competencias profesionales. El aprovechamiento escolar para los profesores de educacin primaria fue diagnosticado a travs de los resultados de la prueba ENLACE, en educacin secundaria se evaluaba por pruebas matriciales.
Las competencias profesionales se integraban por tres elementos: la preparacin profesional, el desempeo profesional
y la formacin continua. La preparacin profesional se evaluaba por medio de un examen estandarizado, el desempeo
profesional a travs de la prctica docente en el aula con base en los Estndares de Desempeo Docente y Gestin Escolar;
y la formacin continua se valoraba por los trayectos formativos de los participantes para fortalecer sus competencias
acadmicas (SEP-SNTE, 2011a).
En 2002 surge en Educacin Media Superior, el programa de Estmulos al Desempeo del Personal Docente, el que tena
como objetivo impulsar y reconocer la calidad, dedicacin y permanencia de los profesores de Educacin Media Superior
y Superior. En este programa, el proceso y los instrumentos de evaluacin utilizados eran determinados por cada institucin educativa (SHCP, 2002).
Tanto en el Programa Nacional de Carrera Magisterial de educacin bsica como en el programa de Estmulos al Desempeo del Personal Docente de Educacin Media Superior, las evaluaciones tenan un carcter sumativo, los resultados
del desempeo docente determinaban la obtencin de un estmulo. Mientras que la Evaluacin Universal de Docentes y
Directivos en Educacin Bsica era una evaluacin con sentido formativo, pues serva para orientar la capacitacin que
el profesor necesitaba.
En 2010, la Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE) presento el documento Mejorar las
escuelas: Estrategias para la accin en Mxico, que tuvo como objetivo ayudar a las autoridades educativas en Mxico, y
a las de otros pases miembros de la OCDE, a fortalecer sus sistemas educativos (OCDE, 2010, p. 3), por medio de quince recomendaciones realizadas en los temas de enseanza y gestin escolar. Una de sus recomendaciones fue Evaluar
para ayudar a mejorar, donde se expone la importancia de desarrollar e implementar un modelo riguroso de evaluacin
docente que contemple la evaluacin sumativa y formativa, de ser un sistema puramente formativo, a uno que combine
aspectos tanto formativos como sumativos. Su propsito es permitir la retroalimentacin, asesorar y orientar a los docentes para que mejoren sus prcticas (OCDE, 2010).
Tanto los programas de evaluacin docente de educacin bsica (EB) y educacin media superior (EMS), mencionados anteriormente, as como las recomendaciones de la OCDE daban cuenta de la importancia de la evaluacin docente.
En 2013, se emprendi una Reforma Educativa en Mxico, en la que se reconoce que la evaluacin del desempeo docente
es necesaria para diagnosticar los logros y dificultades de los maestros en su prctica para garantizar la calidad educativa
(DOF, 2013a).
El Instituto Nacional para la Evaluacin de la Educacin (INEE) funge como la mxima autoridad en materia de evaluacin educativa a nivel nacional, pues es responsable de coordinar el Sistema Nacional de Evaluacin Educativa, cuyas
principales funciones es evaluar al sistema educativo nacional, as como contribuir a la evaluacin de los procesos de
formacin, actualizacin y capacitacin de los docentes (DOF, 2013b).
Como accin inicial, en el cumplimiento de estas funciones, el INEE se dio a la tarea de recolectar las opiniones de los
maestros de EB y EMS sobre qu evaluar y cmo evaluar el desempeo docente. En el tema de cmo evaluar se preguntaba a los profesores sobre la pertinencia de diferentes estrategias e instrumentos de evaluacin como: la observacin
en clase, el portafolio, el cuestionario de autoevaluacin, entrevista a padres, directores y grupos focales con alumnos.

Esto se realiz a partir de una encuesta en lnea alojada en un micro sitio en la pgina oficial del INEE. Para ampliar la
informacin obtenida mediante la encuesta, se llevaron a cabo grupos focales por cada nivel educativo. Estos se realizaron
en nueve estados de la Repblica Mexicana. A partir de la informacin obtenida surgieron las siguientes preguntas que
orientaron el anlisis de los resultados de los grupos de enfoque:

Es el portafolio un instrumento de evaluacin pertinente para el desempeo docente?


Qu significa el portafolio para los docentes?

El objetivo de esta ponencia es presentar la percepcin de los docentes de diferentes niveles educativos respecto al uso y
pertinencia del portafolio como instrumento de evaluacin del desempeo docente.

DESARROLLO
Marco terico
Caractersticas del portafolio de evidencias

El portafolio de evidencias ha sido utilizado para recopilar, anotar y reflexionar sobre la prctica docente, su integracin
requiere de un esfuerzo y compromiso constante por parte de los profesores, por lo que se considera un instrumento til
para el desarrollo profesional y para monitorear la enseanza e introducir cambios de mejora (Martnez, 2013).
Cuando el portafolio es empleado para evaluar el desempeo docente se convierte en un instrumento de reflexin
de su prctica. De acuerdo con Atienza (2009), el portafolio permite que el docente sea consciente de su labor y pueda
ajustar su prctica:
El portafolio nace entonces como una forma de dar cabida a las distintas formas en que el profesor se acerca a reflexionar sobre su enseanza con el fin de descubrir su propia identidad como docente y de transformarla, en caso de que
lo estime oportuno. Esta parece ser la cualidad distintiva del portafolio del profesor, la reflexin al servicio de la toma de
conciencia de la propia competencia docente y de la disposicin al cambio (Atienza, 2009, p. 3).
Arbes (2014) refiere que el portafolio se sustenta tericamente en la evaluacin reflexiva y comprensiva. La evaluacin reflexiva describe a la evaluacin en, sobre y para de la prctica educativa; la reflexin en la accin es realizar un anlisis para reorganizar lo que estamos haciendo; sobre la accin es verbalizar, compartir con otros lo reflexionado y para
es tomar conciencia sobre la accin para realizar mejoras a futuro. La evaluacin comprensiva es de carcter cualitativa
por fundamentarse en la actividad humana; participativa, porque los actores se implican en el proceso de evaluacin y
formativa, pues a travs de la informacin obtenida se reorganiza la labor educativa.
La finalidad del portafolio es identificar los problemas o dificultades que un docente enfrenta en su prctica para
reflexionar por qu ocurren, qu importancia tienen, qu consecuencias y cul es su origen (Atienza, 2009). Permite
comprender los conocimientos, creencias, experiencias y necesidades de las situaciones educativas a las que se enfrenta
un docente.
A travs del portafolio, los maestros pueden examinar sus destrezas, reconocer sus debilidades y fortalezas, potenciar
su autonoma y autocrtica, pues este instrumento permite dar cuenta de lo que hay detrs del trabajo del profesor, revela
su pensamiento y la toma de decisiones en las estrategias y recursos didcticos que el docente utiliza en el aula.
El portafolio se caracteriza por estimular la experimentacin, la reflexin y la investigacin: por potenciar el dilogo
con los problemas y los logros, por focalizar la atencin en los momentos claves del proceso y por reflejar el punto de vista
personal de los protagonistas (Atienza, 2009, p. 7), favorece el pensamiento crtico, la evaluacin continua, el trabajo
colaborativo al compartir con otros docentes sus problemas y resultados, otorga una mayor responsabilidad, pues se
conocen los avances y retrocesos y es un proceso continuo de diagnstico y de transformacin.

La estructura del portafolio puede ser variada, no existe un formato nico. Bozu (2012) refiere que existen dos modelos: (a) donde se presentan evidencias sobre sus competencias docentes y (b) una recopilacin de materiales. La constitucin del portafolio puede presentar algunos inconvenientes tales como: invertir mucho tiempo en su creacin, recoleccin y revisin; el registro limitado de los aspectos verbales de la enseanza (Martnez, 2013); y las prcticas deshonestas
como la seleccin de las mejores evidencias.

Mtodo
La presente ponencia se realiz a partir de los resultados de dos estudios de la Direccin General de Evaluacin de Docentes y Directivos del INEE. En el apartado Resultados de la Encuesta en lnea a profesores de Educacin Bsica y Media
Superior sobre la evaluacin del desempeo docente, se recuper el anlisis de estadstica descriptiva de los cinco aspectos
que dan cuenta del desempeo docente. En el Anlisis de los resultados del ejercicio de consulta a profesores mediante grupos de enfoque, se rescat el anlisis cualitativo de la opinin de los docentes en el cmo evaluar.
Se consideraron ambas perspectivas de anlisis por ser complementarias para el estudio y comprensin de nuestro
objeto de investigacin, el portafolio como instrumento de evaluacin de desempeo docente.

Encuesta en lnea
En los meses de junio y julio del 2014, el INEE puso a disposicin de los docentes, directivos y asesores de EB y EMS, un
cuestionario en lnea sobre los aspectos fundamentales de la evaluacin del desempeo docente, a partir de los elementos
del perfil docente propuesto por la Secretara de Educacin Pblica. El cuestionario se divida en tres secciones: (a) qu
evaluar del desempeo docente; (b) cmo evaluar el desempeo docente; y (c) qu factores de contexto son importantes
para alcanzar un desempeo docente profesional y eficaz.
En la segunda seccin del cuestionario, se presentaban diferentes estrategias de evaluacin y se preguntaba al participante su opinin sobre su pertinencia, as como los elementos que deberan considerarse en cada una.
En el mes de agosto del mismo ao se realiz un anlisis estadstico descriptivo donde se calcul el porcentaje de las
respuestas de los docentes y el coeficiente de variacin para saber el grado de homogeneidad de los juicios (INEE, 2014).
Con las opiniones recabadas en el cuestionario hasta ese momento de 57,096, se decidi considerar slo una muestra no
probabilstica. De esta forma se analizaron solo los cuestionarios en donde se contestaron todas las preguntas y dentro
de stos nicamente los cuestionarios respondidos por docentes, los cuales representaron el 56% de la poblacin, 18,872
profesores de EB y 13,263 profesores de EMS (INEE, 2014).

Grupos focales
Durante septiembre y octubre del 2014, en un marco de transparencia y proximidad, el INEE realiz grupos focales en
nueve entidades federativas: Baja California, Chiapas, Durango, Jalisco, Nayarit, Nuevo Len, Puebla, Sinaloa y Yucatn;
con el fin de profundizar la informacin obtenida a travs del cuestionario en lnea. En cada uno de los estados se llevaron
a cabo cuatro grupos constituidos por docentes: uno de preescolar, uno de primaria, uno de secundaria, y uno de EMS. En
total se realizaron 36 grupos focales y participaron 424 docentes.
Una vez obtenida la informacin, se procedi a la identificacin y clasificacin de unidades para codificarlas, es decir,
asignar a cada unidad un indicativo (cdigo) propio de la categora en la que se considera incluida (Rodrguez, et al.,
2005, p. 141) Las cuatro categoras fueron: qu (qu evaluar del desempeo docente), cmo (cmo evaluar) y el contexto
general de la evaluacin. A partir de estas categoras se analiz la informacin del qu evaluar y cmo evaluar.

Resultados
En este apartado se exponen los principales hallazgos obtenidos de los ejercicios de consulta, se presenta la pertinencia,
el significado del portafolio y las recomendaciones realizadas por los participantes para su uso como instrumento de
evaluacin del desempeo docente.

Pertinencia del portafolio


El anlisis del cuestionario en lnea mostro que ms del 50% de los profesores de EB y el 46% de los profesores de EMS
consideraron al portafolio como una estrategia pertinente para la evaluacin docente. En la tabla 1 se muestran las opiniones de los docentes por nivel educativo.
Tabla 1Respuestas de los docentes a la pregunta qu tan pertinente resulta el portafolio de evidencias
para la evaluacin del desempeo docente?*
Preescolar
(%)

Primaria
(%)

Secundaria
(%)

Media superior
(%)

Muy pertinente

36.6

38.8

40.5

45.6

Pertinente

52.8

51.7

50.6

46.1

Poco pertinente

10.6

09.5

08.9

08.3

Total

100

100

100

100

*Fuente: Elaboracin propia a partir de la base de datos del cuestionario en lnea

Percepcin
Los resultados del anlisis de los grupos focales mostraron que la conceptualizacin que los docentes de EB y EMS tienen
sobre el portafolio es distinta en cada nivel educativo.
Para los profesores de preescolar el portafolio representa la evidencia del desempeo de los estudiantes, por lo que
refieren: productos y tareas de los alumnos que de veras me den seal y me den cuenta de ese avance (Jalisco), el
expediente del niola estadstica, los programas alternos (Chiapas) y rescatar evidencias con un proyecto, con fotos
(Chiapas) y nuestra evaluacin es cualitativaen estos productos de las tareas, lo que hagan los nios est perfectamente bien hecho, porque no soy quien para decirle que est feo (Baja California).
Los docentes de primaria conciben al portafolio como una coleccin de evidencias del propio desempeo. Respecto
a los elementos que debe incluir el portafolio, los profesores sealaron los productos que den cuenta de su prctica educativa como: ...productos, tareas y reflexiones sobre el desempeo, todo lo dems creo que va dentro de lo mismo (Durango), Yo agregara fotografas especficamente, porque actualmente los recursos tecnolgicos vienen fechados y hay
que reconocer que muchos somos muy tramposos (Nayarit), algn tipo de instrumento de evaluacin, llmese rbrica,
lista de cotejo, para poder evaluar el trabajo que hace el alumno. Nos hara falta. Yo agregara ese aspecto (Nuevo Len).
Por su parte, los profesores de secundaria coincidieron en que el portafolio no es un instrumento pertinente para
evaluar su desempeo, y expusieron algunas razones tales como:

Falta de tiempo:

... s se dificulta en cuestin de los tiempos y tendra que ser trabajo ya extracurricular (Sinaloa). yo he estado
comisionada y mi nombramiento es tecnologa, tengo la preparacin de ingls y he estado comisionada ah, son clases
de 3 horas a la semana por grupo, entonces recolectar un portafolio de evidencias es algo complicado (Puebla).

Es un instrumento manipulable:

El portafolio de evidencias es manipulable por eso a m no me gusta mucho se pueden seleccionar los mejores
trabajos de los mejores alumnos y mostrarlos como portafolios de evidencias, pero no creo que me sirva a m para que
me evalen porquellega el supervisor o el director y me dice, mustreme su portafolio y elijo los mejores trabajos
(Nayarit).
A diferencia de los docentes de secundaria, los profesores de media superior, consideraron al portafolio como un
instrumento de evaluacin pertinente, pues cuentan con cierta experiencia en su estructura y uso, a m las estrategias
que me gustara que utilizaran para que me evaluaran, sera primeramente mi portafolio de evidencias (Nuevo Len),
yo considero que un portafolio bien estructurado, igual que nos dijeran bien cmo estructurarlo, podramos tener evidencias de todo nuestro trabajo (Chiapas), y lo que es el portafolio de evidencias porque ah es donde el maestro tiene
integrado todas las evidencias de su plan de trabajo (Chiapas).
Tambin expresaron algunos elementos que pueden formar parte del portafolio, tales como:

el portafolio, es tu portafolio personal, no se asusten lo que van a llevar, es de calendario, cronograma, tu evaluacin,
digo tu planeacin, tu secuencia didctica, listas de asistencias, todo eso no se asusten por el portafolio es lo ms usual
y prctico, el que trabaja o no trabaja es el maestro (Nayarit).
Yo pienso que en el portafolio del docente no tienen por qu ir los productos ni las tareas; en el portafolio del docente
lo que debe venir de entrada es la planeacin didctica, el instrumento con el que voy a evaluar al estudiante,
la descripcin de la actividad, mi avance programtico, y algn anexo si le quiero agregar algn material didctico
(Yucatn).

Recomendaciones
A partir de las opiniones de los docentes que participaron en los grupos focales se identificaron las siguientes recomendaciones:

Incluir encuestas realizadas a los estudiantes que sirvan como punto de partida para la reflexin docente, pudieran

ser las encuestas de los nios tu reflexin porque t puedes pensar que lo ests haciendo bien, pero tus alumnos
tienen otra opinin de tu trabajo (Yucatn).
Incorporar los cuestionarios de autoevaluacin como anlisis de su desempeo, yo incluira en mi portafolio de
evidencias mi cuestionario de autoevaluacin al inicio del semestre, a mediados del semestre y al final del semestre,
porque eso es mo nada ms (Nuevo Len).
Comparar el portafolio del docente con el de los alumnos, ... si t quieres evaluar la veracidad de un portafolio de
evidencias de un profesor donde debe de estar plasmada toda la planeacin del semestre, debe de coincidir con el
del estudiante, el maestro debe de tener un portafolio, la diferencia es que el alumno va a tener adems la descripcin de la actividad (Yucatn).
Anexar la planeacin y material didctico que refleje el trabajo del profesor, en el portafolio del docente lo que debe
venir de entrada es la planeacin didctica, el instrumento con el que voy a evaluar al estudiante, la descripcin de
la actividad, mi avance programtico, y algn anexo si le quiero agregar algn material didctico (Mrida).
Incorporar las evidencias de trabajo de los alumnos realizadas en el aula, si porque es mas de alguna manera ms confiable lo que se trabaja en el saln donde el maestro coordina, revisa, est observando las tareas que los alumnos traen
de sus casas, entonces igual habra que especificar productos elaborados durante la clase, tus evidencias (Puebla).
Incluir evaluaciones diagnstico para saber el punto de partida en los temas, bueno lo que yo hago con mi portafolio de evidencias, cuando nos dan una planeacin lo primero que hago es anexar una prueba diagnstico de mi

tema, para saber que ajuste le voy a hacer para calibrar a los muchachos para que todos iniciemos ms o menos con
lo bsico (Nayarit).

CONCLUSIONES
A partir de los resultados del cuestionario en lnea, los docentes consideraron que el portafolio es un instrumento pertinente para la evaluacin de su desempeo.
En los grupos focales, los profesores especificaron que para que el portafolio cumpla con su funcin formativa es
importante percibirlo como un instrumento de reflexin de su labor educativa, enfatizando con ello su valor para la evaluacin formativa, ya que para la evaluacin sumativa, advierten de posibles desviaciones que podran afectar la validez
de las evidencias del portafolio.
Se encontr que los docentes de EB y EMS confieren un significado diferente al portafolio y a su contenido.
En preescolar, por ejemplo, el portafolio se asocia principalmente a la idea de coleccionar los trabajos realizados por
los alumnos, por lo que se asume que su alcance permite al docente visualizar de manera ms concreta el avance de los
nios y dar cuenta del desempeo docente, solamente de manera indirecta.
En primaria, el portafolio es considerado como un instrumento que brinda al profesor evidencias de su propio desempeo y retroalimentacin sobre su planeacin de clase.
En secundaria, el uso del portafolio no es considerado como un instrumento que ofrezca ventajas a los docentes, en
virtud de que durante la discusin en los grupos focales, no se logr obtener ninguna conclusin clara respecto a cmo
conceptualizan el portafolio ni al uso que pudiera tener para la mejora de su desempeo.
Finalmente, en educacin media superior, de manera semejante a los profesores de primaria, el portafolio es concebido como un instrumento que les permite reflexionar sobre sus reas de oportunidad para realizar mejoras en su enseanza. Los profesores de este nivel expresaron con mayor nfasis el valor formativo de este instrumento para mejorar el
desempeo docente.
Las aportaciones expuestas son de carcter preliminar; sin embargo, identifican vetas de informacin para la investigacin educativa en materia de la evaluacin del desempeo de los profesores y son tiles para proponer lneas de
estudio que ofrezcan orientaciones metodolgicas a los tomadores de decisiones.

BIBLIOGRAFA
Arbes, M. (2014). El portafolio formativo. Un recurso para la reflexin y auto-evaluacin en la docencia, Perfiles educativos, 36, (143), 05-123.
Atienza, A. (2009). El portafolio del profesor como instrumento de autoformacin, marcoELE, revista de didctica Espaol
como Lengua Extranjera, (9), 1-19.
Bozu, Z. (2012). Cmo elaborar un portafolio para mejorar la docencia universitaria. Una experiencia de formacin del
profesorado novel. Barcelona: Octaedro.
Diario Oficial de la Federacin. (2013a). Decreto de Reforma al Artculo 3 Constitucional, fracciones III, VII, VIII y 73 fraccin XXV. 26 de febrero del 2013, Mxico.
Diario Oficial de la Federacin. (2013b). Ley General del Servicio Profesional Docente. 19 de septiembre del 2013, Mxico.
Instituto Nacional para la Evaluacin de la Educacin. (2014). Anlisis de los resultados del ejercicio de consulta a profesores mediante grupos de enfoque. Documento no publicado. Mxico, INEE.
Instituto Nacional para la Evaluacin de la Educacin (2014). Resultados de la Encuesta en lnea a profesores de Educacin
Bsica y Media Superior sobre la evaluacin del desempeo docente. Recuperado de http://www.inee.edu.mx/index.
php/organos-colegiados/consejo-pedagogico-de-evaluacion/1833-prresentaciones
8

Martnez, J. (2013). Combinacin de mediciones de la prctica y el desempeo docente: consideraciones tcnicas y conceptuales para la evaluacin docente. Revista de Investigacin Educacional Latinoamericana, 50 (1), 4-20.
Organizacin para la Cooperacin y el Desarrollo Econmico (2010). Mejorar las escuelas, Estrategias para la accin en
Mxico. Mxico, OCDE.
Rodrguez, C., Lorenzo, O. y Herrera, L. (2005). Teora y prctica del anlisis de datos cualitativos. Proceso general y criterios de calidad, Revista Internacional de Ciencias Sociales y Humanidades, Sociotam, XV, (2), 133-154.
Secretara de Educacin Pblica y Sindicato Nacional de Trabajadores de la Educacin. (2011a). Acuerdo para la Evaluacin Universal de Docentes y Directivos en Servicio de Educacin Bsica. Recuperado de: http://www.evaluacionuniversal.sep.gob.mx/acuerdo.pdf
Secretara de Educacin Pblica y Sindicato Nacional de Trabajadores de la Educacin. (2011b). Programa Nacional de Carrera Magisterial, Lineamientos Generales. Recuperado de: http://www.sep.gob.mx/work/models/sep1/Resource/2241/1/
images/LINEAMIENTOS_GENERALES_2011.pdf
Secretara de Hacienda y Crdito Pblico. (2012). Lineamientos Generales para la Operacin del Programa de Estmulos
al Desempeo del Personal Docente de Educacin Media Superior y Superior. Recuperado de: http://www.normateca.gob.mx/Archivos/LINEAMIENTOS%20GENERALES%20PARA%20LA%20OPERACION%20DEL%20PROGRAMA%20
DE%20ESTIMULOS%20AL%20DESEMPENO%20DEL%20PERSONAL%20DOCENTE%20DE%20EDUCACION%20MEDIA%20SUPERIOR%20Y%20SUPERIOR.PDF

Modelo para evaluar la autenticidad de


las actividades propuestas por docentes
de primaria en la asignatura de matemticas
Lesly Yahaira Rodrguez Martnez
Estudiante de Doctorado, Universidad Autnoma de Aguascalientes, Mxico.
yahaira-07@hotmail.comlesly.rodriguez@uaa.mx
Mara Guadalupe Prez Martnez
Doctorado, Universidad Autnoma de Aguascalientes, Mxico.
perez.mariag@gmail.com

PALABRAS CLAVE: Evaluacin de prcticas docentes, actividades autnticas, prcticas docentes en matemticas.
EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

La Reforma Integral de Educacin Bsica generalizada a partir de 2011 plantea un modelo de enseanza encaminado a favorecer el aprendizaje activo, as como el diseo e implementacin de actividades que promuevan la
construccin de aprendizajes significativos, contextualizados y que tomen como referencia las experiencias de los
alumnos o sus aprendizajes previos. Este tipo de actividades en la literatura se ha denominado por diferentes autores con el trmino de actividades o tareas autnticas (Newmann y Wehlage, 1993; Newmann, Marks y Gamoran, 1996 y Wiggins 1998), puesto que incluyen propiedades especficas como: plantear propsitos bien definidos,
establecer destinatarios reales, incluir un repertorio de recursos cognitivos, as como generar incertidumbre y
establecer restricciones que exigen al alumno un nivel de pensamiento ms complejo.
De acuerdo con estos planteamientos curriculares y lo que se ha encontrado en la investigacin educativa,
convendra que la evaluacin de las prcticas docentes contemplara la autenticidad de las actividades que se proponen a los alumnos.
Esta ponencia tiene como objetivo describir la propuesta de un modelo para conocer y evaluar la autenticidad
de las actividades que los docentes de primaria plantean a sus alumnos en la asignatura de matemticas. Para lograr lo anterior se contemplan tres apartados principales. El primero presenta una revisin de la literatura sobre
las tareas o actividades docentes. El segundo describe la operacionalizacin de este constructo y las implicaciones
para su medicin y evaluacin. El ltimo apartado desarrolla la propuesta del modelo de medicin y evaluacin,
contemplando la estrategia de validacin.

FirstMath: los primeros cinco aos


de la enseanza de las matemticas.
Avances de la aplicacin piloto, Mxico
14 de marzo de 2015

FirstMath: los primeros cinco aos


de la enseanza de las matemticas.
Avances de la aplicacin piloto, Mxico
Erika Canch Gngora
Doctora, INEE, Mxico.
ecanche@inee.edu.mx

Emilio Domnguez Bravo


Licenciado, INEE, Mxico.
edominguez@inee.edu.mx

Ana Laura Barriendos Rodrguez


Maestra, INEE, Mxico.
lbarriendos@inee.edu.mx
PALABRAS CLAVE: FirstMath, matemticas, evaluacin, docentes.
EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

FirstMath es un estudio comparativo internacional que pretende conocer cmo aprenden los maestros lo necesario para ensear matemticas durante sus primeros aos en la docencia, as como explorar la influencia que
ejerce en ellos la formacin inicial, el contexto escolar y las oportunidades de aprendizaje que tienen en la prctica.
El estudio est en curso y actualmente los pases participantes han concluido la aplicacin piloto. Mxico
participa en FirstMath y aplic el piloto a finales del 2014 en el estado de Puebla con maestros de primaria,
secundaria y bachillerato.
En este trabajo se presenta informacin general del estudio as como algunos datos derivados de dos de los instrumentos que se aplicaron en el piloto de Mxico (las pruebas de matemticas y de didctica de las matemticas
para maestros, y las pruebas de matemticas para alumnos).

INTRODUCCIN
FirstMath1 (FM) es un estudio comparativo entre pases respecto a la manera en que los maestros principiantes definidos como aquellos que tienen cinco aos o menos de experiencia como responsables de un grupo de alumnos y que al
momento de la aplicacin enseen matemticas en cualquier grado de primaria, secundaria o bachillerato2 aprenden
lo necesario para ensear matemticas durante sus primeros aos en la docencia. 15+ pases entre los que se incluye
Mxico, participan en FM.3
La importancia de FM radica en que por primera vez se contar con datos rigurosos, sistemticos y representativos
acerca de lo que los maestros principiantes saben sobre matemticas y sobre su enseanza, de sus creencias, antecedentes, los contextos de las escuelas en las que trabajan, las oportunidades para aprender que tuvieron antes de ingresar
a la docencia y las que se les ofrecen durante sus primeros aos de servicio docente. Adems, FM ofrecer una buena
oportunidad para analizar la manera en la que estos factores influencian las prcticas de enseanza y el aprendizaje de
los estudiantes.4 La informacin que el estudio obtenga buscar ayudar a comprender qu polticas educativas y prcticas
llevan a unos u otros resultados, es decir, poder contestar de manera general si ciertas polticas y prcticas producen mejores resultados para unas escuelas que para otras. La discusin de los resultados e implicaciones para cada pas estar
en manos del mismo, y desde una mirada ms global, el equipo internacional podr proveer elementos de anlisis que
permitan observar semejanzas y diferencias de acuerdo con prcticas generales, y si sera deseable hacer algn cambio
(Tatto y otros, 2014).
FM plantea dos componentes de investigacin principales:
I. Estudios sobre los antecedentes, oportunidades para aprender, creencias y conocimientos (de matemticas y de di-

dctica de las matemticas) de los maestros principiantes.

II. Estudios sobre las maneras en las que el conocimiento y experiencias de los maestros principiantes influencian las

prcticas docentes y el aprendizaje de los alumnos.

Para obtener los datos que permitan llevar a cabo esos anlisis, se recoger informacin de maestros principiantes y
de sus alumnos. Cabe aclarar que la participacin de los alumnos tiene como propsito medir el reto que esos alumnos
especficos plantean al maestro principiante, y no evaluarlo en funcin de los resultados que los alumnos obtengan en la
prueba. Los instrumentos que FM ha desarrollados son:

Instrumentos para maestros. Prueba de matemticas y didctica de las matemticas, Cuestionario de contexto,
Protocolo de observacin de clases de matemticas y Entrevistas.

Instrumentos para alumnos. Prueba de matemticas y Cuestionario de contexto.

En Mxico, el piloto se aplic en el 2014 a una muestra cuidadosamente seleccionada en el estado de Puebla. En este
trabajo se describe la conformacin de la muestra, por un lado; y por otro, dos de los instrumentos de FM que se aplicaron
en el piloto la Evaluacin de matemticas y de didctica de las matemticas para maestros y la Evaluacin de matemticas para alumnos y algunos de los datos iniciales obtenidos.

Es coordinado por el Centro Internacional de Investigacin de Educacin y Desarrollo Docente de la Universidad del Estado de Michigan (MSU,
Michigan State University) y la investigadora principal es Mara Teresa Tatto (Michigan State University). El estudio cuenta con apoyo de la National
Science Fundation NSF, Award No. DRL-0910001.
2
O equivalente de nivel medio superior.
3
En Mxico, la coordinacin del proyecto es responsabilidad del Instituto Nacional para la Evaluacin de la Educacin (INEE).
4
Sin embargo, es importante aclarar que no se pretende comparar una escuela con otra, un maestro con otro, ni un grupo de alumnos con otro; de hecho,
se hacen esfuerzos para asegurar que estas comparaciones a nivel individual o de escuelas no sean posibles.
1

DESARROLLO
Aplicacin del piloto
El objetivo principal del piloto de FM fue tener respuestas a una escala pequea pero representativa con el fin de examinar el proceso de aplicacin y los resultados, y as prever lo necesario hacia la aplicacin definitiva. Mxico eligi aplicar
el piloto en Puebla por tener escuelas en contextos sociales, econmicos y culturales variados, y debido a que la entidad
ha mostrado histricamente inters en realizar actividades que contribuyan al conocimiento y a la mejora de los procesos
y resultados educativos.
Mxico defini las siguientes variables de estratificacin para conformar la muestra del piloto: nivel educativo (categoras: primaria, secundaria y bachillerato); financiamiento (categoras: pblico y privado); rea (categoras: urbana y rural); tipo educativo (categoras: primaria general, primaria comunitaria, primaria indgena, secundaria general,
secundaria comunitaria, telesecundaria, secundaria tcnica, bachillerato general, bachillerato tecnolgico y profesional
tcnico). El procedimiento para obtener la muestra se realiz en dos fases: 1) Obtener una muestra de escuelas a partir de
informacin del Formato 911 (2012-2013) y del Censo de Poblacin y Vivienda 20135). Obtener una muestra de maestros
principiantes y experimentados mediante informacin proveniente de un cribado o screening en cada escuela que conform la muestra en la fase anterior. Se averiguaron datos de la plantilla docente en cada una, especficamente el nmero de
aos frente a grupo de cada maestro que enseaba matemticas, su edad y gnero.
Por otro lado, se acord con las autoridades educativas de la entidad incluir un segundo grupo de maestros que se
diferenciara de los principiantes en el nmero de aos de servicio.6 El propsito fue contar con evidencia que permita
valorar si hay aspectos que puedan atribuirse a la condicin de principiante, y si hay otros que resulten comunes a los
maestros de un mismo nivel o tipo de servicio independientemente del nmero de aos que lleven como docentes. Al conformar la muestra final se busc que los maestros principiantes y experimentados de cada estrato trabajaran en la misma
escuela (aunque no fue posible en todos los casos). La muestra final qued conformada como se observa en la Tabla 1.
Tabla 1 Distribucin de la muestra final de maestros.
Nivel

Tipo
localidad

Comunitario

Pblico

Rural

Indgena

Pblico

Rural

Urbana

10

Rural

11

General

Bachillerato

Principiante

Experimentado

TOTAL

Privado

Urbana

Pblico

Rural

13

Tcnica

Pblico

Urbana

General

Pblico

Urbana

Urbana

Rural

Privado

Urbana

Privado

Urbana

48

23

32

39

71

General

Pblico

Formato 911 (2012-2013) SEP; Sistema Nacional de Informacin Educativa (2012-2013) SEP; Censo de Poblacin y Vivienda 2013 INEGI.
El maestro experimentado fue definido como una persona que cuenta con entre 8 y 15 aos de experiencia como maestro frente a grupo, enseando
cualquier asignatura en cualquier nivel, sin importar si tiene formacin pedaggica o matemtica. Mxico solicit al equipo internacional una muestra
de maestros experimentados considerando las mismas variables de estratificacin empleadas para los principiantes y, de ser posible, que trabajaran
en las mismas escuelas que los principiantes. Desarrollar la muestra con estas caractersticas no fue posible para todas las variables de estratificacin,
y el equipo internacional sugiri incluir maestros que cumplieran con el parmetro aos de experiencia de 8 a 15 y que se encuentre en alguna
escuela de cualquiera de las dos muestras diseada por MSU (ver ms adelante).

5
6

Pblico

Telesecundaria

Prof. Tcnica
TOTAL

Experiencia

Sostenimiento

Primaria

Secundaria

Sexo

Tipo de servicio

Todos los maestros principiantes y experimentados de la muestra contestaron la Prueba de matemticas y didctica de las matemticas. La Prueba de matemticas para alumnos fue respondida por los estudiantes de 16 maestros
principiantes, elegidos en funcin del ndice de marginacin de la localidad de la escuela con la intencin de probar el
instrumento con estudiantes de diversos contextos (Tabla 2). En primaria, los estudiantes cursaban de 4 a 6 grado al
momento de la aplicacin.
Tabla 2 Distribucin de grupos que presentaron la evaluacin de matemticas para alumnos
Experiencia profesor

Principiante

Nivel

Nmero de grupos

Primaria

Secundaria
Bachillerato

2
2

Modalidad

Sostenimiento

Zona

General

Pblico

Rural

General

Pblico

Urbana

General

Privado

Urbana

General

Pblico

Urbana

Telesecundaria

Pblico

Rural

General

Pblico

Rural

General

Privado

Urbana

Evaluacin de matemticas y didctica de las matemticas para maestros


FM desarroll dos pruebas para maestros en las que se evalan conocimientos matemticos y de didctica de las matemticas, una est dirigida a quienes ensean en el nivel de primaria y la otra a los de secundaria y bachillerato. Las pruebas
de FM se sustentan en los dominios conceptuales del contenido matemtico definidos para TIMSS (2013)7, y en los subdominios cognitivos utilizados en TEDS-M.8
TIMSS considera cuatro dominios conceptuales del contenido matemtico: nmeros, lgebra, geometra y datos. Ahora bien, TIMSS evala el conocimiento matemtico de los alumnos y dicho conocimiento es cualitativamente distinto que
el que se espera que posean los maestros. As pues, en TEDS-M se distinguen dos dimensiones al interior de los cuatro
dominios de TIMSS con la intencin de caracterizar los tipos de conocimiento de los maestros: el conocimiento del contenido matemtico (MCK) y el conocimiento pedaggico o didctico del contenido matemtico (MPCK) por sus siglas en
ingls y siguiendo las ideas de Shulman (1987 citado en Senk y otros, 2008).
La dimensin MCK comprende definiciones, conceptos y procedimientos que hay que aprender del objeto matemtico; mientras que la dimensin MPCK incluye formas tiles de representacin de esas ideas, analogas, ejemplos y explicaciones de un tema, conocimientos acerca de lo que puede resultar difcil o fcil de aprender para los estudiantes,
concepciones y errores comunes de acuerdo a su edad y nivel educativo, etc. Es decir, la dimensin MPCK es claramente
una dimensin de conocimientos para la docencia (a diferencia de MCK). En las pruebas para maestros de FM, cerca de
una cuarta parte de los reactivos es de MPCK y el resto de MCK.
Con la finalidad de definir operacionalmente estas dimensiones, se distinguen tres subdominios cognitivos en la dimensin MCK que son Conocimiento, Aplicacin y Razonamiento; y dos subdominios cognitivos en MPCK que son Planificacin de la enseanza y Enaccin (enacting).9
Las pruebas de matemticas para maestros se distribuyen como se muestra en la Tabla 3.
TIMSS (Trends in International Mathematics and Science Study), desarrollado por la Asociacin Internacional para la Evaluacin del Logro Educacional
(IEA), es un estudio que se aplica cada 4 aos que permite medir los logros de aprendizaje de estudiantes de 4 y 8 (2 de secundaria) grados
de educacin bsica en matemticas y ciencias a nivel internacional.
8
TEDSM (Teacher Education and Development Study in Mathematics) es el primer estudio comparativo internacional centrado en la formacin
inicial de los profesores de matemticas de educacin primaria y secundaria. Cont con el apoyo de la Association for the Evaluation of Educational
Achievement (IEA). http://www.iea.nl/teds-m.html
9
Conocimiento. Se refiere a hechos, conceptos y procedimientos matemticos (TIMSS).
Aplicacin.- Se centra en valorar la capacidad para aplicar el conocimiento y en la comprensin conceptual al momento de resolver problemas
o contestar preguntas (TIMSS).
Razonamiento.- Va ms all de la resolucin de problemas rutinarios, tiene que ver con situaciones no conocidas, contextos complejos y problemas
con etapas (TIMSS).
Planificacin.- Valora los vnculos entre mtodos didcticos y diseos instruccionales, as como la identificacin de diferentes enfoques en la resolucin
de un problema.
Enaccin (enacting)- requiere hacer valoraciones analticas sobre posibles soluciones o argumentos matemticos de los estudiantes, sus conceptos
errneos o incluso la respuesta apropiada ante respuestas o explicaciones incorrectas.
7

Tabla 3 Distribucin de los reactivos de las pruebas para profesores


Maestros de primaria
Dominio

Nmero de reactivos

Maestros de secundaria y bachillerato

Porcentaje

Nmero de reactivos

Porcentaje

Geometra

22

42

17

35

lgebra

12

22

14

29

19

15

28

17

Datos
Nmeros
Total
Subdominio

53

Porcentaje

11

18

38

17

32

10

21

17

19

18

34

16

Planificacin
Total

100

Nmero de reactivos

Enaccin
Conocimiento

48

Porcentaje

Razonamiento
Aplicacin

100

Nmero de reactivos

53

100

48

100

Los reactivos se presentan en tres formatos: de respuesta construida (22% en la de primaria y 29% en la de secundaria), de opcin mltiple (28% y 31%) y de opcin mltiple compleja10 (50% y 40%).
Los siguientes reactivos se incluyen a manera de ejemplo, no obstante, ninguno de stos forma parte de la prueba de FM.

Ejemplo 1
Ejemplo 1 (Primaria)
Dominio:

Subdominio:

Formato del tem:

Dimensin:

lgebra

Aplicacin

MC

MCK

Los objetos en la balanza se han equilibrado exactamente. En el platillo de la izquierda hay una masa de 1 kg y medio
ladrillo. En el platillo de la derecha hay un ladrillo completo.

Cul es la masa del ladrillo completo?


A. 0.5 kg
B. 1 kg
C. 2 kg
D. 2 kg

Reactivos de opcin mltiple con 4 o 5 sub tems a su interior que tambin son de opcin mltiple.

10

Ejemplo 2
Ejemplo 2 (Primaria)
Dominio:

Subdominio:

Formato del tem:

Dimensin:

Geometra

Planeacin

CR

MPCK

Cuando se ensea a los nios acerca de la medicin de longitud, por primera vez, la profesora [Ho] prefiere comenzar
haciendo que los nios midan el ancho de su libro con clips, y luego con sus lpices.
D dos razones por las que podra tener para preferir hacer esto en lugar de simplemente ensear a los nios cmo
usar una regla.
Explicacin 1

Explicacin 2

Ejemplo 3
Ejemplo 3 (Secundaria)
Dominio:

Subdominio:

Formato del tem:

Dimensin:

Nmeros

Conocimiento

CMC

MCK

Determine si cada uno de los siguientes es un nmero irracional siempre, a veces o nunca:

Seala una opcin en cada fila

Siempre

A veces

Nunca

A.

El resultado de dividir la circunferencia


de un crculo por su dimetro.

o1

o2

o3

B.

La diagonal de un cuadrado con lados


de longitud 1.

o1

o2

o3

C.

El resultado de dividir 22 entre 7.

o1

o2

o3

Evaluacin de matemticas para alumnos


Las pruebas para alumnos tambin se conforman en torno a los dominios conceptuales de contenido matemtico de
TIMSS (excluyendo el dominio de lgebra en el nivel primaria) y considerando nicamente los subdominios que componen la dimensin MCK (Conocimiento, Aplicacin y Razonamiento).11
Todos los reactivos de la prueba de primaria fueron tomados de TIMSS para 4 grado de primaria. En la prueba de secundaria y bachillerato
hay reactivos tomados de TIMSS, de TEDS-M y elaborados para FM.

11

Las pruebas de matemticas para alumnos se distribuyen como se muestra en la Tabla 4.

Tabla 4 Distribucin de los reactivos de las pruebas para alumnos.


Alumnos de primaria
Dominio

Alumnos de secundaria y bachillerato

Nmero de reactivos

Porcentaje

Nmero de reactivos

Geometra

17

16

36

Datos

13

18

21

70

14

32

14

Nmeros
Algebra
Total
Subdominio
Razonamiento

Porcentaje

30

100

44

100

Nmero de reactivos

Porcentaje

Nmero de reactivos

Porcentaje

23

24

54

Aplicacin

12

40

13

30

Conocimiento

11

37

16

Total

30

100

44

100

De estos reactivos, en primaria hay 14 (47%) de respuesta construida y 16 de opcin mltiple (53%). En secundaria 6
(14%) son de respuesta construida, 13 (29%) de opcin mltiple, y los 26 restantes de opcin mltiple compleja.
Los siguientes reactivos se incluyen a manera de ejemplo. Fueron tomados de TIMSS para 4 grado de primaria.

Ejemplo 4
Ejemplo 4

Dominio: Datos

Subdominio: Aplicacin

Darn pidi a sus amigos que le dijeran cul es su color favorito. l recogi la informacin en la tabla que se muestra a
continuacin.
Color favorito

Nmero de amigos

Rojo

Verde

Azul

Amarillo

Entonces Darn comenz a dibujar un grfico para mostrar la informacin. Completa el grfico de Darn.

Ejemplo 5
Ejemplo 5
Dominio: Geometra, formas y medidas

Subdominio: Conocimiento

Uno de estos ngulos es un ngulo recto. Cul es?

Primeros resultados
En la Prueba para maestros de primaria el dominio en el que los maestros participantes obtuvieron mejores puntuaciones fue el de Geometra con 38% de respuestas correctas en promedio, incluso considerando que 5 de los 12 reactivos
de este dominio que se incluyeron en la prueba son de respuesta construida. El dominio que result ser el ms difcil fue
Algebra con 18% de respuestas correctas en promedio. En el caso de la Prueba para maestros de secundaria y bachillerato el dominio que represent un mayor desafo fue Geometra y en el que obtuvieron mejores puntuaciones fue Datos con
25% y 38% de respuestas correctas en promedio, respectivamente. En todos los dominios, los maestros participantes de
bachillerato obtuvieron mayores puntuaciones que los de secundaria.
En la Tabla 5 se resumen los estadsticos sobre el porcentaje de aciertos de los profesores en funcin de las dimensiones MCK y MPCK.
Tabla 5 Porcentajes de aciertos obtenidos por los profesores segn MCK y MPCK.
MAESTROS DE PRIMARIA
% DE ACIERTOS

MAESTROS DE SECUNDARIA Y BACHILLERATO


% DE ACIERTOS

MPCK

MCK

MPCK

MCK

Media

22

33

24

33

Mnimo

17

Mximo

50

48

71

74

Para los alumnos de primaria que participaron, el dominio ms fcil fue Datos, luego Geometra y por ltimo Nmeros
con 55%, 41% y 34% de respuestas correctas en promedio, respectivamente. Los alumnos de secundaria y bachillerato
encontraron ms difciles los reactivos de lgebra (13% respuestas correctas en promedio en secundaria y 10% en bachillerato), y ms fciles los de Geometra (35% en secundaria y 33% en bachillerato).

COMENTARIOS
El propsito central del piloto fue proveer evidencia emprica sobre la viabilidad de FM como un estudio comparativo internacional a gran escala, cuestin que se respondi afirmativamente. El anlisis de los datos obtenidos estar disponible
en prximas fechas, tanto a nivel agrupado (de todos los pases participantes) como por pas.
En Mxico, el piloto permiti detectar aspectos a mejorar para la aplicacin definitiva. En primer lugar, la conformacin de la muestra, debido a que encontrar a la poblacin objetivo no es una tarea trivial, no obstante, el proceso puede
mejorarse. Actualmente se desarrollan procedimientos alternos al seguido en el piloto para incrementar la probabilidad
de encontrar maestros principiantes de matemticas en los estratos definidos y adems, tener una aproximacin de la
poblacin total y su distribucin en las escuelas del pas.
Aunque a partir de los datos del piloto no es posible hacer afirmaciones que intenten explicar las puntuaciones obtenidas por maestros y alumnos, sin embargo, se abren interrogantes en varios sentidos:
(a) De manera general, los instrumentos de evaluacin resultaron difciles para los maestros y alumnos participantes
aunque en ningn caso los contenidos matemticos evaluados corresponden a programas de educacin superior.12 Esto
debe tenerse en cuenta al interpretar los resultados pues poco puede afirmarse sobre el objeto de evaluacin cuando una
parte muy pequea de la poblacin objetivo responde correctamente o cuando la tasa de reactivos no respondidos es alta.
Una vez que se concluyan los anlisis del piloto de todos los pases, se anticipa que ser necesario reconsiderar algunos
de los supuestos con los que fueron construidas las pruebas.
(b) Respecto a los maestros que participaron en el piloto de Mxico, de manera general obtuvieron mejores resultados
los que ensean matemticas en el bachillerato, tanto en los reactivos de MCK como en los de MPCK. Esto invita a explorar
varias hiptesis, entre ellas, si los mejores resultados de los maestros de bachillerato se deben a que ensean contenidos
de un nivel ms alto y por ende, tienen un mejor dominio de la asignatura y esto los coloca en una mejor posicin para
contestar correctamente tanto los reactivos de MCK como los de MPCK (aunque la mayora de ellos carezcan de formacin pedaggica); si la formacin inicial de los maestros de los tres niveles educativos que contempla FM es un factor
importante al responder estas pruebas; si la distribucin de los reactivos de MCK (77% en primaria y 75% en secundaria
y bachillerato) y MPCK (23% y 25, respectivamente) en las pruebas no est permitiendo obtener la misma cantidad de
informacin sobre de uno y otro aspecto.
(c) Lo anterior no ocurri con los alumnos de secundaria y bachillerato. En general, los alumnos de secundaria que
participaron en el piloto de Mxico obtuvieron puntuaciones apenas por encima o iguales que los de bachillerato. Sera
deseable entonces explorar la relacin entre puntuaciones obtenidas por los maestros en reactivos de MCK y MPCK y las
puntuaciones de los alumnos, y adems incluir en el anlisis la informacin que el resto de los instrumentos de FM aporte
para tratar de comprender esta relacin.
(d) El anlisis de los dos grupos de maestros incluidos en la muestra (principiantes y experimentados) se encuentra
en curso, no obstante, datos iniciales muestran que en lo referente a la Prueba de matemticas y didctica de las matemticas, la diferencia entre unos y otros no es significativa. La informacin obtenida en el resto de los instrumentos servir
para seguir explorando este aspecto en la poblacin evaluada.
Como puede apreciarse aun habindose abordado solamente dos de los instrumentos, FM es un estudio complejo que
supone muchos retos para el diseo, la aplicacin y el anlisis. No obstante, los pases participantes estn sumndose a
los esfuerzos conjuntos por considerarlo un estudio relevante que permitir obtener evidencia emprica acerca de quines son los maestros principiantes y en qu contextos trabajan; qu saben, qu creen, qu apoyos tienen en sus escuelas y
de qu manera articulan lo anterior en sus clases de matemticas. Con seguridad la informacin ser valiosa para conocer
a esa fraccin de maestros y para la toma de decisiones de poltica educativa.

Teniendo como referente los programas vigentes en Mxico, en la Prueba para maestros de secundaria y bachillerato slo 4 de los 30 de los reactivos
abordan temas que se estudian en el bachillerato. Hay adems 7 reactivos en los que el contenido a evaluar se estudia en la secundaria aunque
no exactamente desde la misma perspectiva que la solucin del reactivo demanda. Por ejemplo, Pi como la relacin entre el dimetro y el radio,
o Pi como un nmero irracional.

12

10

BIBLIOGRAFA
International Association for the Evaluation of Educational Achievement (IEA) (2012). Brese, Falk y Tatto, Maria Teresa
(eds.). TEDS-M 2008, User Guide for the International Database. Supplement 4. IEA Secretariat, Amsterdam.
Tatto, Teresa y otros (2014). School Coordinator Manual. Field trial. Adapted from the TEDS-M study: School Coordinator
Manual. Teacher Education in Mathematics Study TEDS-M 2008 (2006).
Tatto, Teresa; Schwille, John; Senk, Sharon; Ingvarson, Lawrence; Rowley, Glenn; Peck, Rray; Bankov, Kiril; Rodriguez,
Michael; and Reckase, Mark (2012). Policy, practice, and readiness to teach primary and secondary mathematics in 17
countries: Findings from the IEA Teacher Education and Development Study in Mathematics (TEDS-M). IEA Secretariat,
Amsterdam.
TIMSS 2011 Assessment (2013). International Association for the Evaluation of Educational Achievement (IEA). Publisher:
TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College, Chestnut Hill, MA and International Association for the Evaluation of Educational Achievement (IEA), IEA Secretariat, Amsterdam, Amsterdam.
Senk, Sharon; Peck, Ray; Bankov, Kiril; and Tatto, Teresa (2008). Conceptualizing and measuring mathematical knowledge
for teaching: Issues from TEDS-M, an IEA cross-national study. 11th International Congress of Mathematics Education
(ICME).

11

El uso de una bitcora de preguntas abiertas.


Posibilidades para evaluar
el desempeo docente
14 de marzo de 2015

El uso de una bitcora de preguntas abiertas.


Posibilidades para evaluar
el desempeo docente
Ana Cecilia Alvarez Loera*
Maestra en Investigacin Educativa, Instituto Nacional para la Evaluacin de la Educacin, Mxico.
aalvarez@inee.edu.mx
Luis Horacio Pedroza Zuiga
Maestro en Investigacin Educativa, Universidad Autnoma de Baja California, Mxico.
hpedroza@hotmail.com

PALABRAS CLAVE: evaluacin docente, prctica docente, currculo implementado.


EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

La evaluacin del desempeo docente se reconoce como un elemento para la mejora de los sistemas educativos.
Los instrumentos para medir las prcticas suelen ser altamente costosos. En este trabajo se documenta la experiencia de emplear una bitcora de preguntas abiertas para evaluar la congruencia de la prctica docente con
la propuesta curricular oficial. La bitcora permite indagar tres dimensiones de la prctica docente: propsitos
formativos, presencia de los enfoques pedaggicos y demanda cognitiva de las actividades. Los resultados provienen de una muestra de 2,500 docentes del nivel de educacin preescolar en Mxico. Se discute el uso potencial
de la herramienta para evaluar dimensiones complejas de la prctica docente en evaluaciones de desempeo a
gran escala.

*Autor principal

INTRODUCCIN
Una premisa actual es que la calidad de un sistema educativo tiene como base la calidad de los docentes. Los sistemas
educativos con altos desempeo ponen particular nfasis en la seleccin de los aspirantes a la docencia, capacitacin
y buenos salarios iniciales (Barber & Mourshed, 2008).En Amrica Latina las polticas incluyen la evaluacin de postulantes, la evaluacin de la formacin inicial y evaluacin del desempeo profesional. En Mxico, hasta hace poco, la
evaluacin de docentes se realizaba a travs de las direcciones de los centros escolares o de las supervisiones de distinto
nivel del sistema educativo y se aplicaban exmenes de conocimientos curriculares, cuya elaboracin y procesamiento de
resultados estaba a cargo de federacin. Esta evaluacin estaba ms ligada al progreso en la carrera docente y menos a un
mejoramiento de la prctica profesional (Shulmeyer, 2002).
La reciente reforma educativa Mxico tiene como uno de sus componentes, la creacin del Servicio Profesional Docente, que da lugar a la evaluacin para el ingreso, promocin, reconocimiento y permanencia de docentes y directivos;
dichas evaluaciones a cargo de las autoridades federales y las estatales deben desarrollarse de acuerdo con los lineamientos establecidos en la materia por el Instituto Nacional para la Evaluacin de la Educacin (INEE).
Esta tarea de enorme envergadura requiere la articulacin de diversas instituciones y actores para llevarse a cabo con
xito, e impone algunos desafos; uno de ellos es la definicin de un marco de la buena enseanza consensuado por diversos actores sociales; otro es la planeacin de una estrategia nacional para la evaluacin de casi 2 millones de docentes
que existen en el pas; una ms es el desarrollo de instrumentos adecuados para capturar la complejidad de las prcticas
docentes; adems garantizar la validez de los referentes, procesos y resultados de la evaluacin; y demostrar que la evaluacin del desempeo docente sirve para mejorar los resultados del sistema educativo.
Esta ponencia abona en particular, a la discusin del desarrollo de instrumentos adecuados para evaluar el desempeo docente; se presenta la experiencia en el uso de una bitcora abierta para evaluar las prcticas docentes en el marco de
un estudio de evaluacin de la implementacin curricular; y se muestran las posibilidades de informacin que se pueden
obtener con esta herramienta, as mismo, se proponen algunas consideraciones al emplear el instrumento para evaluar
el desempeo docente.

DESARROLLO
La Reforma de Educacin Preescolar en Mxico incluy la formulacin de un currculo flexible basado en el desarrollo
de competencias, y tena como eje la transformacin de las prcticas docentes. Recientemente se desarroll en el INEE
(2013) una evaluacin para conocer el grado de alineacin de las prcticas docentes respecto a tres dimensiones: los
propsitos, los enfoques pedaggicos del Programa de Educacin Preescolar 2004 (PEP 2004), y la demanda cognitiva de
las actividades que se desarrollan en las aulas.1
Estos elementos centrales de la evaluacin: propsitos, enfoque pedaggico y demanda cognitiva, se definieron considerando que el PEP 2004 orienta sus propsitos formativos al desarrollo de competencias en los nios, ofrece algunos
criterios pedaggicos generales para promover el trabajo con los seis campos formativos, y propone el fomento de la
actividad cognitiva compleja en los nios. Estas categoras de anlisis de la prctica docente son relevantes para evaluar
la implementacin curricular, porque la literatura seala que algunos de los elementos centrales para llevar con xito las
reformas educativas son el conocimiento de los contenidos y el dominio pedaggico que tienen los docentes del programa
de estudios (Shulman, 1997; Fulln, 2002).
El conocimiento pedaggico del contenido se refiere al conocimiento de los contenidos curriculares para su enseanza (Shulman, 1997), desde un punto de vista prctico, representa la habilidad de los docentes para hacer accesibles los
contenidos para los estudiantes.

Los resultados y procedimientos de esta evaluacin se encuentran disponibles para su consulta (INEE, 2013a, 2013b).

En el caso del PEP 2004, no existen contenidos propiamente dichos, sino que se establecen una serie de competencias
a desarrollar para cada campo formativo y queda a criterio de los docentes la seleccin de contenidos especficos a tratar
y el diseo de situaciones didcticas para conseguir los fines formativos.
Lo que se ha denominado en este estudio enfoque pedaggico se refiere a la presencia de rasgos de los enfoques pedaggicos de cada campo formativo en las actividades de aprendizaje propuestas por las educadoras a los nios, a efectos
de favorecer el desarrollo de competencias en los nios.
La demanda cognitiva se entiende como los procesos cognoscitivos de los nios implicados en la realizacin de la actividad de aprendizaje; para dar cuenta de stos se emple la taxonoma de Anderson y Krathwohl (2001), que contiene
seis categoras de procesos cognitivos: recordar, entender, aplicar, analizar, evaluar y crear.
Los instrumentos para medir prcticas docentes suelen ser costosos, pues demandan inversin de tiempo y recursos
monetarios importantes, sobre todo si se trata de observacin directa o mediante video (McDonald, et al., 2009; Pianta &
Hamre, 2009; Stigler, Gallimore & Hiebert, 2000); una alternativa empleada han sido las bitcoras (Porter, 2002; Rowan
& Correnti, 2009), que generalmente son cuestionarios cerrados.
Se desarroll una variante de este ltimo tipo de instrumento pero en una modalidad abierta; a dicho instrumento se
le denomin Bitcora para la Evaluacin de la Prctica Docente (BEPP) que es un auto-registro de la prctica docente, que
permite recoger informacin sobre las actividades de aprendizaje desarrolladas en el aula. La tarea consiste en que las
educadoras registren durante tres das consecutivos, las actividades realizadas con los nios durante una jornada escolar.
El formato les demanda describir de cada actividad realizada: a) qu intencin tena la actividad, b) qu hicieron los nios
durante la actividad, c) cmo intervino la docente y d) duracin de la actividad (ver figura 1).

Figura 1 Vista de la BEPP

El instrumento tiene un formato similar a las planificaciones docentes que suelen realizar las educadoras, en trminos
de que en estas prevn los propsitos, las actividades a realizar, la metodologa de trabajo y la distribucin del tiempo de
la jornada escolar, por lo que su llenado resulta familiar.
Para la codificacin de la informacin recabada, se desarrollaron rbricas, que se validaron por un comit de expertos. Las rbricas establecan los criterios para la clasificacin de la informacin, algunas ms simples, que iban desde la
codificacin de informacin literal del registro, como la duracin de la actividad; y otras complejas como la clasificacin
de la informacin en categoras preestablecidas; hasta la determinacin de un juicio sobre la actividad descrita por las
educadoras, con base a ciertos criterios.

Para la primera dimensin de evaluacin, se identific si las actividades tenan el propsito de desarrollar alguna de
las competencias descritas en el programa y el campo formativo al que correspondan. Para la dimensin de enfoque pedaggico de las actividades, se establecieron una serie de acciones de los nios y de la educadora durante la actividad de
aprendizaje que indicaban la presencia de un trabajo congruente con los enfoques didcticos de cada uno de los campos
formativos del programa. Por ejemplo en Pensamiento Matemtico una accin relacionada es que la actividad de aprendizaje incluya un planteamiento de problema matemtico; en Lenguaje y Comunicacin, que se propicie la exploracin de
textos; en Exploracin y Conocimiento del Mundo, que se promueva la observacin de objetos, seres y eventos de la naturaleza. Para la demanda cognitiva se identificaba la mxima demanda cognitiva involucrada en la tarea de aprendizaje,
de acuerdo a la taxonoma antes sealada.
El instrumento se aplic a una muestra piloto de 280 educadoras de preescolar de todas las modalidades educativas. Previo a esta aplicacin, se realizaron observaciones de aula para verificar la correspondencia con los registros;
aunque cabe sealar que no se tiene documentado este proceso, a juicio del equipo coordinador del estudio, exista una
alta correspondencia entre lo registrado por los docentes y lo reportado por observadores externos. Tambin se pudo
identificar que elementos como el propsito de la actividad no eran susceptibles de observacin, solo podan verificarse
mediante entrevista al docente, o quedaban plasmados en los registros. El levantamiento definitivo de la informacin se
realiz con una muestra representativa de escuelas de todas las modalidades educativas; aqu se recopilaron los registros
de 2526 docentes de preescolar.
La codificacin de la informacin se realiz mediante una herramienta informtica. La pantalla permita visualizar la
bitcora respondida por la educadora, previamente digitalizada y desplegaba las rbricas para su codificacin. El sistema permita el avance en la calificacin de acuerdo a un diagrama de flujo que estableca el orden para la evaluacin. La
sistematizacin de la informacin se realiz previa capacitacin del personal; la codificacin de los instrumentos de la
muestra definitiva se llev a cabo una vez que se alcanz un acuerdo inter-jueces de .80 (INEE, 2013).
La confiabilidad de la codificacin se realiz a partir la teora de la generalizabilidad (Shavelson & Webb, 1991). Los
resultados indicaron que para puntajes globales del instrumento el coeficiente de determinacin fue superior a .86 y para
puntajes por dimensin, dos fueron menores a .50, el resto de dimensiones tuvieron un coeficiente de determinacin
entre .61 y .92. Lo que muestra una aceptable confiabilidad de la codificacin en los puntajes globales y la mayora de las
dimensiones (INEE, 2013).
Una vez conformada la base de datos, la principal unidad de anlisis fue cada una de las actividades desarrolladas
por las docentes, aunque tambin se generaron algunos indicadores a nivel de docentes. De esta manera se pudo obtener
evidencia del grado en que las actividades que se desarrollan en aula estn alineadas al currculo.
En la figura 2, puede verse que solo un tercio de las actividades tiene propsitos vinculados al desarrollo de competencias que se proponen en el programa de estudios, mientras un porcentaje similar se destina a actividades de organizacin escolar (recreo, activacin fsica, honores a la bandera, entre otros).
Figura 2 Porcentaje de actividades segn su propsito

Por su parte, de las actividades que s buscaban el desarrollo de competencias, solo un porcentaje menor, se desarrolla
de acuerdo a los enfoques didcticos de los campos formativos. En la figura 3, se aprecia un mayor grado de congruencia

de las prcticas en el campo formativo de Lenguaje y comunicacin, donde 88% de las actividades presenta al menos una
caracterstica del enfoque, mientras en Pensamiento Matemtico el porcentaje es mnimo, las actividades no se desarrollan de acuerdo al enfoque de solucin de problemas.
Figura 3 Porcentaje de actividades acordes con los enfoques didcticos

Otro elemento de anlisis fue la demanda cognitiva de las actividades. En la figura 4, se muestra que la mayor parte de
las actividades involucran solo procesos memorsticos, dejando de lado procesos de mayor complejidad cognitiva, segn
la clasificacin empleada para el anlisis.
Figura 4 Porcentaje de actividades segn la demanda cognitiva

Por su parte, al analizar todas las actividades realizadas por las docentes se pudo identificar en qu medida se emplea
el tiempo de la jornada escolar para desarrollar las competencias del programa. Se gener el ndice de prctica congruente con el programa, que representa la proporcin de la jornada escolar que se destina a actividades con propsitos
congruentes con el programa de estudios y de acuerdo con los enfoques didcticos.

En la figura 5, se aprecia que a nivel nacional hay diferencias en la forma de implementar el currculo, pues solamente
una cuarta parte de las educadoras destina ms del 75% del tiempo de la jornada escolar a actividades orientadas al desarrollo de competencias. Se encontr que existen diferencias importantes por modalidad educativa, siendo las docentes
de escuelas urbanas y rurales de modalidad general quienes destinan ms tiempo al trabajo con el programa; en escuelas
de cursos comunitarios e indgenas el porcentaje de educadoras que no destina tiempo a actividades congruentes con el
programa oscila entre el 23 y 33%.
Los resultados de este estudio ponen de manifiesto las diferencias en las formas de implementacin del currculo, lo
que representa oportunidades desiguales para los estudiantes de desarrollar las competencias sealadas en el programa.
La bitcora aqu descrita permite recoger informacin sobre la forma en que se est implementando el currculo por
parte de las educadoras, y se considera,-por tratarse de un instrumento abierto en que los docentes describen su prctica-, de bajo costo y potencialmente til para evaluar algunos elementos de la prctica en evaluaciones del desempeo
docente. Una de las dimensiones aqu analizadas es el dominio del enfoque pedaggico de los campos formativo en las
actividades realizadas, que corresponde en cierta medida al conocimiento pedaggico del contenido, presente en los
modelos de evaluacin del desempeo y prctica docente (Altet, 2005; Garca, Loredo Carranza, 2008; Manzi, Gonzlez &
Sun, 2008; Shulman, 2005). Este instrumento permitira una aproximacin a esta dimensin desde el anlisis de la prctica de los docentes y no solo a partir de sus conocimientos tericos medidos mediante exmenes.
De cualquier modo cabe sealar que la informacin recuperada mediante la bitcora permite dar cuenta de las actividades que desarrollan las educadoras en una jornada escolar tpica, de modo que representan una muestra de la forma en
que se desarrolla el currculo. Sin embargo para efectos de usarlo para determinar la capacidad docente de implementar
el currculo se requerirn nuevos estudios de validacin que permitan determinar con qu cantidad de das de registro es
posible hacer inferencias ms precisas sobre el desempeo docente, sobre todo reconociendo que en el caso de educacin
preescolar, no existe una secuencia preestablecida de contenidos a tratar, que permitan medir el avance en la forma en
que se promueven las competencias, que la forma en que se desarrollan las actividades en el aula dependen tambin de
los conocimientos y nivel de desarrollo de los nios, entre otros factores.
Figura 5 Porcentaje de docentes segn la proporcin de la jornada escolar que se destina al programa de estudios

CONCLUSIONES

La complejidad para evaluar el desempeo implica necesariamente hacer uso de distintos instrumentos y fuentes de
informacin, las bitcoras como la aqu presentada, es uno de los instrumentos que podran ser tiles en esta tarea.
La Bitcora para la Evaluacin de la Prctica Docente se vislumbra como un instrumento potencialmente til para
evaluar el desempeo docente, aunque es necesario realizar estudios que aporten evidencias de validez para este uso.

Algunas caractersticas que sobresalen son su aplicacin a bajo costo, la flexibilidad para recabar informacin y la posibilidad de medir algunos rasgos complejos de la prctica docente.
El instrumento aqu presentado, por ser auto-administrado, permite obtener una medicin de la prctica pedaggica
a un costo menor que la observacin en vivo o grabada, aun considerando el costo de la codificacin. Se considera que
es una alternativa adecuada en evaluaciones a gran escala, especialmente en sistemas educativos tan grandes como el
mexicano, donde el total de docentes de preescolar en el pas es de alrededor de 220,000 lo que hace muy costoso poder
hacer observaciones en el aula.
Un instrumento de esta naturaleza permite identificar el tipo de prcticas a las que estn expuestos los nios en el
aula, por ejemplo las demandas cognitivas de las actividades. Ello es especialmente relevante para evaluar el desempeo docente, sobre todo si se considera que uno de los principios pedaggicos que rigen a los estndares de desempeo
(Council of Chief State School Officers, 2013; NBPTS, 2013), es que el docente sea capaz de promover un aprendizaje activo por parte del alumno. Otro de los elementos complejos de la prctica pedaggica que permite evaluar el instrumento
y su codificacin mediante rbricas es el denominado conocimiento del contenido que implica que el docente no solo
conozca el contenido disciplinar sino cmo ensearlo.
La metodologa empleada en este estudio podra ser de utilidad en la evaluacin de planeaciones docentes, es decir,
se podran emplear las rbricas para valorar los propsitos, las actividades de aprendizaje en funcin de su apego a los
enfoques pedaggicos, su demanda cognitiva, y la duracin; adems podra darse cuenta de otros elementos, como su
coherencia interna.
No obstante, los auto-reportes con preguntas abiertas como las del presente instrumento, tambin tienen limitaciones, puesto que se basan en lo que los docentes reportan, las preguntas abiertas se ven influenciadas por las habilidades
de expresin escrita de los informantes y por el espacio disponible en el instrumento para describir la prctica. Por su
parte una consideracin adicional ser que el proceso de elaboracin de rbricas, capacitacin y codificacin es una
tarea altamente compleja y muy demandante en tiempo; lo que hace elevar un poco los costos en relacin a los instrumentos cerrados.
Con respecto a la validacin de uso de este instrumento para evaluar el desempeo docente, futuros estudios con
bitcoras deberan recolectar informacin de ms jornadas escolares, para determinar con cuntas se pueden hacer inferencias en todo el ciclo escolar. Esta estimacin podra realizarse a partir de un estudio de dependencia, asegurando
un diseo que permita tener informacin con interaccin de codificadores y das de la jornada, que ofrezcan informacin
sobre la variacin de la prctica atribuible al evaluador. Resultados de otras bitcoras, como las propuestas por Rowan y
Correnti (2009), sealan que 20 mediciones podran ser un nmero adecuado para hacer inferencias precisas del desempeo docentes en el ciclo escolar.

BIBLIOGRAFA
Altet, M. (2005). La competencia del maestro profesional o la importancia de saber analizarlas prcticas. En Paquay, L.,
Altet, M., Charlier, E. & Perrenoud, P. (Coords.).La formacin profesional del maestro. Estrategias y competencias
(pp. 33-48). Mxico: FCE.
Anderson, L. & Krathwohl, D. (Eds.) (2001).A Taxonomy for Learning, Teaching and Assessing: A revision of Blooms Taxonomy of Educational Objectives. New York: Longman.
Barber, M. & Mourshed, M. (2008). Cmo hicieron los sistemas educativos con mejor desempeo del mundo para alcanzar
sus objetivos. Chile: PREAL, McKinsey & Company.
Garca, B., Loredo, J., & Carranza, G. (2008). Anlisis de la prctica educativa de los docentes: pensamiento, interaccin y
reflexin. Revista Electrnica de Investigacin Educativa [nmero especial], 2-14.
Council of Chief State School Officers. (2013). Interstate Teacher Assessment and Support Consortium InTASC Model Core
Teaching Standards and Learning Progressions for Teachers 1.0: A Resource for Ongoing Teacher Development. Washington,
DC: Autor.
8

Fulln, C. (2002). El significado del cambio educativo: un cuarto de siglo de aprendizaje. Profesorado, revista de currculum y formacin del profesorado, 6, 1-2.
INEE (2013a).Prcticas pedaggicas y desarrollo profesional docente en preescolar. Mxico: Autor.
INEE. (2013b). Prcticas pedaggicas y desarrollo profesional docente en Preescolar. Reporte tcnico Mxico: Autor.
McDonald, C. et al. (2009). The ISI classroom observation system: Examining the literacy instruction provided to individual students. Educational Researcher, 38(2), 85-99.
Manzi. J., Gonzlez, .R. & Sun, Y. (2008). La Evaluacin Docente en Chile. Chile: Pontificia Universidad Catlica de ChileMIDE UC.
National Board for Professional Teaching Standards (2013).Early Childhood Generalist Standards. Third Edition. Arlintong: NBPTS.
Pianta, R. y Hamre, B. (2009). Conceptualization, measurement, and improvement of classroom processes: Standardized
observation can leverage capacity. Educational Researcher, 38, 10911.
Porter, C. (2002). Measuring the Content of Instruction: Uses in Research and Practice. Educational Researcher, 31, (3).
Rowan & Correnti (2009) Studying Reading Instruction With Teacher Logs: Lessons From the Study of Instructional Improvement. Educational Researcher, 38:120.
SEP (2004). Programa de Educacin Preescolar 2004. Mxico: SEP.
Shavelson, R. & Webb, N. (1991). A Primer on Generalizability Theory.Thousand Oaks, CA: SagePublications.
Shulman, L (2005). Conocimiento y enseanza: fundamentos de la nueva Reforma. Revista de currculum y formacin del
profesorado, 9, 2 (2005).
Shulmeyer, A. (2002). Estado actual de la evaluacin docente. Conferencia Regional El Desempeo de los Maestros en Amrica Latina y el Caribe: Nuevas Prioridades, Brasilia, Brasil, 10-12 de julio.
Stigler, W., Gallimore, R., &Hiebert, J. (2000). Using video surveys to compare classrooms and teaching across cultures:
Examples and lessons from the TIMSS video studies. Educational Psychologist, 35 (2), 87-100.

Las consignas de pruebas escritas


como herramienta de evaluacin
del desempeo docente
14 de marzo de 2015

Las consignas de pruebas escritas


como herramienta de evaluacin
del desempeo docente
Jennifer Vinas-Forcade*
Magister, Instituto Nacional de Evaluacin Educativa (INEEd), Uruguay.
jvinas@ineed.edu.uyjennifer.vinas@gmail.com
Cecilia Emery Bianco
Magister, Instituto Nacional de Evaluacin Educativa (INEEd), Uruguay.
cemery@ineed.edu.uyceciliaemery@gmail.com
PALABRAS CLAVE: pruebas escritas, complejidad, adaptacin curricular, evaluacin
EJE TEMTICO: 2. Innovaciones en evaluacin y medicin del desempeo docente y directivo

Resumen

Reconociendo el rol clave de los docentes en la mejora de la calidad de la educacin brindada por los sistemas
educativos, principalmente en los procesos de enseanza y aprendizaje, se propone el anlisis de las consignas de
pruebas escritas en la aproximacin al desempeo docente y su evaluacin. Se presenta la prueba escrita como
herramienta que evidencia los contenidos y modos de evaluar privilegiados por el docente y se brinda una gua
para su codificacin y anlisis. Se incluyen adems los resultados de un estudio de estas caractersticas realizado
por el INEEd en Uruguay (2013) y recomendaciones para su uso en evaluacin del desempeo docente.

*Autor principal

INTRODUCCIN

Ante el desafo de mejorar la calidad de la educacin brindada a los estudiantes Uruguay, as como los dems pases de
la regin, reconoce el rol clave de los docentes en el sistema educativo, particularmente en los procesos de enseanza y
aprendizaje. La evaluacin del desempeo docente busca, en este contexto, distinguir a aquellos cuyas prcticas contribuyen en mayor medida a que los estudiantes logren los aprendizajes esperados. Se busca identificar, adems, a los docentes
que mayores apoyos necesitan para la mejora de su desempeo profesional.
La dificultad, sin embargo, radica en cmo aproximarse a las prcticas docentes y desarrollar sistemas de evaluacin
de desempeo que permitan esta adecuada diferenciacin. Tradicionalmente esta evaluacin es realizada por el director
del centro educativo, valindose principalmente de datos de la actividad computada: asistencia, licencias, puntualidad,
etc. Esto determina que se cuente con poca evidencia del desempeo real del docente en el da a da, a lo largo del ao
lectivo. Tambin a nivel de sistema la evaluacin docente se basa principalmente en aquello de lo que se tiene registro:
la antigedad en el cargo, la titulacin y la certificacin de capacitaciones a lo largo de la carrera, todo lo que acontece
fuera del aula.
Incluso en los casos en que se cuenta con un evaluador externo, que visita al docente y observa su trabajo en el aula,
los recursos humanos y econmicos disponibles son muchas veces escasos, lo que conduce a que esta evaluacin no

pueda realizarse con la suficiente periodicidad.1 En el campo acadmico, la observacin directa ha sido reemplazada en
algunos estudios por filmacin del trabajo en el aula. Esta modalidad requiere tambin contar con recursos humanos,
econmicos, tcnicos y temporales suficientes, a la vez que puede presentar dificultades: resistencia del docente al registro audiovisual de sus prcticas, leyes que requieran consentimiento escrito para el registro de la imagen ajena (particularmente de menores de edad).
Una va complementaria a esta modalidad de evaluacin es el anlisis de las consignas de las pruebas y trabajos
escritos que los docentes proponen a sus estudiantes a lo largo del ao lectivo. Esta clase de evaluacin requiere menor
uso de recursos que las antes mencionadas, adems de aprovechar los registros y archivos de pruebas disponibles2 en los
centros educativos. En las siguientes pginas se sintetiza el modo en que, desde el INEEd, se utilizaron pruebas escritas
para conocer las diferencias en los modos de evaluar a los estudiantes en educacin primaria y media. Este instrumento
posibilita una diferenciacin entre modalidades e instrumentos de evaluacin en el aula que puede utilizarse, en combinacin con otros, como herramienta de evaluacin del desempeo docente.

DESARROLLO
El estudio: incidencia de las prcticas de evaluacin en el trnsito entre ciclos
La investigacin realizada por un equipo tcnico del INEEd3 a lo largo del ao 2013, tuvo por objetivo principal la descripcin de las prcticas de evaluacin de aprendizajes en el aula y su papel en el trnsito entre ciclos educativos, es decir,
en el pasaje del ltimo ao de educacin primaria (sexto de escuela) al primer ao de educacin media en instituciones
pblicas urbanas de Uruguay.
Para ello se consult a los principales actores involucrados: docentes y estudiantes de ambos ciclos. Los estudiantes volcaron sus percepciones en una encuesta especfica para cada grado, a la vez que intercambiaron perspectivas en
grupos focales. Por su parte, los docentes proporcionaron al equipo las consignas de pruebas escritas aplicadas a sus
estudiantes en los aos 2012 y 2013, contextualizando estos instrumentos a travs de una entrevista en profundidad y
una breve encuesta.
Atendiendo al tema central de este congreso, a continuacin se hace foco en el modo en que se trabaj con las pruebas
escritas, y el uso que de ellas puede hacerse para la evaluacin docente.

Antecedentes y marco terico


Este anlisis de pruebas escritas como modo de acercamiento a las prcticas docentes de evaluacin y de enseanza
en el aula haya sus principales antecedentes en los estudios de Ravela y otros en diferentes pases de la regin (Ravela,
2009:49-89; Ravela, 2010; Ravela y otros, 2014:20-45),
Estudiar qu y cmo evalan los docentes en el aula remite, inevitablemente, a un segundo problema: qu es lo que
ensean. Las propuestas de evaluacin de aprendizajes que los docentes plantean a sus estudiantes constituyen una
va privilegiada para conocer sus enfoques de la enseanza y los tipos de aprendizajes que promueven y valoran (IEE,
2014:4).
Estos estudios, as como el que aqu se presenta, buscan visibilizar las prcticas docentes en el aula, para de este modo
contribuir a su mejora. Se parte del supuesto de que la seleccin de los contenidos del programa que el docente incluye
En educacin secundaria en Uruguay, por ejemplo, hay un inspector de asignatura cada 424 profesores. El mnimo deseable, de acuerdo a los propios
inspectores, sera 1/250. El ratio actual, segn indican, lleva a que solo se pueda visitar a cada docente en el aula una vez cada tres o cuatro aos.
Incluso en caso de no contar los centros educativos con un archivo de pruebas, no requiere mayor esfuerzo establecer esta prctica, o recabar las
pruebas directamente de los docentes.
3
Vanessa Anfitti, Cecilia Emery, Fiorella Ferrando, Mara No Seijas, Jennifer Vinas-Forcade. Direccin: Federico Rodrguez. Consultoras: Silvina Larripa,
Beatriz Macedo. Codificacin pruebas: Lilin Bentancour, Ivanna Centantino, Melissa Levrero, Beatriz Macedo, Wellington Mazzotti.
1
2

en la evaluacin, as como los modos en que estos son evaluados, ponen de manifiesto un conjunto de habilidades y contenidos que este docente considera especialmente relevantes para el curso que imparte. Como sealan Daz-Barriga Arceo
y Hernndez Rojas (2003), a pesar de los inconvenientes y las fuertes crticas que se les han hecho, las pruebas de lpiz y
papel continan siendo los instrumentos ms utilizados en la evaluacin escolar (p.379).
Analizando las pruebas escritas puede observarse en qu medida se corresponde la seleccin realizada por el docente
con aquello que se privilegia en el sistema educativo en que se desempea. La normativa vigente en cada pas permite un
acercamiento a esto ltimo. Tambin el currculum, como conjunto de regulaciones vinculadas con los procesos de seleccin, organizacin, distribucin, transmisin y evaluacin del contenido escolar (Gvirtz y Palamidessi, 2004), constituye
sin dudas uno de los referentes de las prcticas de evaluacin de aprendizajes en el aula.
De acuerdo con Camillioni (1998), si el docente tiene que contar con teoras explicativas acerca de cmo aprenden
los alumnos y sobre qu es ensear, tambin deber trabajar con teoras acerca de la evaluacin, su relacin con los procesos de enseanza y aprendizaje, el lugar que ocupa la evaluacin en la administracin de un proyecto de enseanza, qu
alcances y lmites debe tener (p.70). Para la autora, es deseable insistir en la necesidad de que todas esas teoras sean
consistentes entre s y conformen, en su conjunto, una base de percepcin, pensamiento, sentimiento y conocimiento que
permita fundar y justificar la accin docente (pp. 70-71).
No obstante, esto no es sencillo pues, como afirma Perrenoud (2008), la investigacin didctica tiene una deuda con la
produccin de conocimiento sobre evaluacin. Por otra parte, la formacin docente en la regin tampoco ha sabido darle
a la evaluacin un espacio de tratamiento privilegiado: la evaluacin casi no es objeto de estudio durante la formacin
docente (IEE, 2011:7), pero puede ser uno de los focos del desarrollo profesional que se brinde a los docentes a lo largo
de su carrera. Una evaluacin del desempeo docente que incorpore el anlisis de los modos en que estos evalan permitir identificar, entre otras, las necesidades de capacitacin en el rea.

La codificacin de pruebas escritas


Para codificar las pruebas, se defini un manual de codificacin4 que establece dimensiones para valorar cada tem o actividad, as como al agrupamiento al que pertenece. Se defini al tem como la unidad mnima pasible de recibir puntuacin
en la prueba, o que supone la realizacin de una tarea identificable, que puede recortarse como singular en la consigna
de trabajo. El agrupamiento es el conjunto de tems que comparten un mismo estmulo o tema.

Dimensiones a codificar
De la prueba: su periodicidad (mensual, semestral) y cantidad de versiones existentes.
Del agrupamiento: lugar que ocupa en la prueba y tema/contenido principal.
Del tem:
Lugar que ocupa en la prueba y en el agrupamiento
Existencia o no de un estmulo / informacin adicional brindada y tipo: texto breve/medio/extenso, cuadro/tabla,
imagen/infografa, mapa geogrfico/conceptual, etc.
Tipo: opcin mltiple, apareamiento, verdadero/falso, ordenamiento, completamiento con/sin informacin dada,
produccin ms/menos extensa, etc.
Contenido evaluado y adecuacin a la pauta curricular.
Tipo de situacin presentada: trivial, disciplinar/escolarizada, disciplinar/contextualizada, cotidiana, social, experimental.
Procesos cognitivos evaluados: memoria, aplicacin, comprensin, valoracin y produccin, con sus respectivos
sub-procesos.5
Ver Anexo disponible en https://drive.google.com/file/d/0B4mKhvl4HFjIbF9kZ3B4b3VrVXc/view?usp=sharing
Ver anexo, p.3-5, en base a Doyle 1983; Anderson y Krathwohl 2001.

4
5

Tipo y sub-tipos 6 de conocimiento evaluado: factual, conceptual, procedural o metacognitivo.


Actualizacin del enfoque didctico

Aplicando cdigos para cada caso, se obtienen luego planillas por asignatura en las que cada fila representa un tem y
cada columna representa una dimensin (ver figura 1). El procesamiento de estos datos permite conocer lo que predomina para cada dimensin y asignatura. Para obtener informacin por docente, necesaria para su evaluacin de desempeo,
debe agregarse una columna en que se ingrese, para cada tem, el cdigo del docente que propuso la prueba en que este
se encuentra. Esta informacin no fue incluida en el estudio que aqu se presenta por no tener por objetivo el anlisis de
los resultados obtenidos por docente.
Figura 1 Vista parcial de la codificacin de pruebas escritas de Matemtica

Resultados obtenidos en el estudio


El anlisis de la codificacin de las pruebas escritas recabadas en este estudio revel una preponderancia de las tareas
de memoria y repeticin, en que los enunciados tienden a ser breves y requieren respuestas breves y unvocas (figura 2).
Esto se corresponde con los tipos de conocimiento priorizados en las pruebas. Predominan los tems que buscan evaluar
la adquisicin de conocimientos factuales, de terminologa, detalles, elementos especficos e informacin literal (figura 3).
Figura 2 Ejemplo prueba de Historia

Ver anexo, p.6, en base a Anderson y Krathwohl 2001.

Figura 3 Ejemplo prueba de Ciencias Fsicas

En menor proporcin se encuentran tareas de aplicacin rutinaria o ejercitacin de procedimientos, donde tambin
la memorizacin aparece como estrategia central de aprendizaje. Se identifican unas pocas tareas de comprensin, mientras que las de valoracin y de produccin entre las que se incluye la resolucin de problemas o situaciones complejas son muy escasas.
En cuanto a los conocimientos, el conceptual (significados de palabras o expresiones, clasificaciones, categoras, principios, generalizaciones, teoras, modelos o estructuras) aparece en segundo lugar, en menor proporcin que el factual.
Le sigue el procedural (habilidades, algoritmos especficos y reglas, tcnicas y mtodos) ms frecuente en primaria que
en media. No se encontraron pruebas que evalen el conocimiento metacognitivo (estratgico, de los objetivos cognitivos,
contexto y condiciones de aprendizaje, y autoconocimiento).
La contextualizacin de las tareas mediante el uso de estmulos es mayor en educacin primaria que en media. En
ambos ciclos, sin embargo, la mayora de las tareas carecen de correspondencia con la vida extra-escolar. Se trata de actividades de tipo disciplinar-escolarizadas, contextualizadas en situaciones creadas en y para la escuela, aunque pueden
mantener cierta relacin con el campo disciplinar de referencia (figura 4). Solo en pocos casos se proponen actividades
que buscan trascender el espacio escolar, ofreciendo oportunidades para que los estudiantes resignifiquen saberes disciplinares en contextos sociales ms amplios (figura 5) o de la vida en sociedad en general (figura 6).
Figura 4 Ejemplo prueba de Historia

Figura 5 Ejemplo prueba de Matemtica

Figura 6 Ejemplo prueba de Matemtica

La adecuacin a la pauta curricular y actualizacin del enfoque didctico fueron codificados en una escala de cuatro
puntos. En trminos generales, los contenidos de las pruebas se corresponden con la pauta curricular, aunque se observan diferencias epistemolgicas y didcticas con lo prescrito en los marcos curriculares. Estas diferencias, sin embargo,
podran explicarse por la poca informacin que el marco curricular vigente en Uruguay brinda acerca de cmo y para
qu deben ser evaluados los contenidos. Para su uso en evaluacin del desempeo docente, la actualizacin didctica
deseable en cada sistema educativo debera ser definida a partir de un marco terico especfico para cada asignatura o
disciplina, previo a la aplicacin de la evaluacin.

Consideraciones para el uso de pruebas escritas como herramienta de evaluacin


del desempeo docente: Limitaciones del instrumento
Las pruebas escritas permiten un acercamiento al modo en que el docente evala a sus estudiantes. Sin embargo, el
anlisis del discurso de los docentes participantes del estudio muestra que estas prcticas no siempre se corresponden
con la concepcin de evaluacin que expresa el docente o con lo que este considera deseable. A su vez, las decisiones de
calificacin y promocin que toman los docentes, si bien otorgan gran importancia a las pruebas escritas, incluyen tambin el desempeo de los estudiantes en otras instancias de evaluacin, tales como la participacin en clase o la entrega
de tareas domiciliarias.
Al momento de evaluar el desempeo del docente se debera considerar el conjunto de instrumentos y prcticas de
enseanza y evaluacin que desarrolla. El anlisis de pruebas escritas es un modo de acercarse a estas ltimas, que debe
utilizarse en conjunto con otras herramientas para conocer mejor el desempeo del docente, particularmente las reas
en las que es necesario enfocar planes de mejora.
Como afirman Daz-Barriga Arceo y Hernndez Rojas (2003), ningn instrumento es por s mismo suficiente (aunque hay algunos que definitivamente son superiores que otros) si no se utiliza en forma inteligente y reflexiva (p.361).

CONCLUSIONES
El anlisis de las consignas de pruebas escritas que los docentes proponen a sus estudiantes permite conocer algunos
aspectos del modo en que el docente concibe y realiza la evaluacin en el aula.
El trabajo con pruebas escritas, por requerir menor cantidad de recursos humanos, econmicos y tcnicos que la
filmacin u observacin directa de aulas, se presenta como una herramienta favorable y complementaria en la evaluacin
del desempeo docente. Se trata de una herramienta til, principalmente, para detectar reas en que el docente requiere
apoyos adicionales. No debe, sin embargo, ser utilizada como nica informacin acerca del quehacer docente, dadas sus
limitaciones para ilustrar comprehensivamente la enseanza y evaluacin en el aula.

BIBLIOGRAFA
ANDERSON, L. y KRATHWOHL, D. E. (2001), A Taxonomy for learning, teaching and assessing: A revision of Bloom's taxonomy of educational objectives, Addison Wesley Longman, Inc, New York.
CAMILLONI, Alicia (1998a), La calidad de los programas de evaluacin y de los instrumentos que los integran en
CAMILLONI Alicia y otros, La evaluacin de los aprendizajes en el debate didctico contemporneo, Paids Educador,
Buenos Aires.
DAZ BARRIGA ARCEO, Frida y HERNNDEZ ROJAS, Gerardo (2003), Estrategias docentes para un aprendizaje significativo,
McGraw-Hill, Mxico.
DOYLE, Walter (1983), Academic work, Review of Educational Research, University of Texas, vol. 53 nm. 2, Austin.
GVIRTZ, Silvina y PALAMIDESSI, Mariano (2004), Currculum y enseanza. El ABC de la tarea docente, Aique, Buenos Aires.
IEE -INSTITUTO DE EVALUACIN EDUCATIVA (2011), La evaluacin en las aulas de secundaria bsica en cuatro pases
de Amrica Latina, Propuesta al Cuarto Concurso del Fondo de Investigaciones Educativas FIE-PREAL, Universidad
Catlica del Uruguay, Montevideo.
PERRENOUD, Phillipe (2008), La evaluacin de los alumnos. De la produccin de la excelencia a la regulacin de los aprendizajes. Entre dos lgicas, Editorial Colihue, Buenos Aires.
RAVELA, Pedro (2009), Consignas, devoluciones y calificaciones: los problemas de la evaluacin en las aulas de educacin primaria en Amrica Latina, Pginas de Educacin, Vol. 2, Universidad Catlica del Uruguay, Montevideo,
pp. 49-89.
RAVELA, Pedro (2010), La evaluacin de aprendizajes en las aulas de primaria en America Latina. Enfoques y prcticas,
en WAINERMAN, Catalina y DE VIRGILIO,
Mercedes (comps.), El Quehacer de la Investigacin en Educacin, captulo 5, Manantial, Universidad de San Andrs,
Buenos Aires.
RAVELA, Pedro, LEYMONI, J., VIAS, J. y HARETCHE, C. (2014), La evaluacin en las aulas de secundaria bsica en cuatro
pases de Amrica Latina en Propuesta Educativa de FLACSO, Volumen 1, Ao 23, pp. 20-45.

La IPD como modelo de evaluacin


del desempeo docente orientado
a procesos de formacin
14 de marzo de 2015

La IPD como modelo de evaluacin


del desempeo docente orientado
a procesos de formacin
M.C. Victor Hugo Torres Fernndez*
Estudiante de Doctorado en Ciencias Educativas
Instituto de Investigacin y Desarrollo Docente
Universidad Autnoma de Baja California, Mxico.
victorres5@hotmail.com
Dr. Lewis S. McAnally Salas
Investigador y docente
Instituto de Investigacin y Desarrollo Docente
Universidad Autnoma de Baja California.
PALABRAS CLAVE: modelo, evaluacin, desempeo docente, inteligencia prctica, formacin.
EJE TEMTICO: 1. Modelo de evaluacin docente.

Resumen

Hasta 250 palabras. ste debe reflejar los aspectos ms relevantes y ser congruente con el ttulo, expresar la relevancia terica y prctica del trabajo.
La implementacin de un enfoque constructivista en el proceso de aprendizaje en educacin media superior,
requiere que el profesor desarrolle una serie de competencias, en contextos determinados. Por lo cual para orientar la formacin y actualizacin de los docentes se deben aplicar nuevos mecanismos de evaluacin que lleven a
un proceso educativo de mayor calidad. En esta investigacin se propone el desarrollo de un modelo conceptual
encauzado a evaluar el desempeo docente y orientado a la formacin del maestro, el cual integra para su anlisis
competencias docentes, elementos de contexto y factores de la prctica convencional relevantes, considerando sus
complejas interacciones, sustentado en el anlisis de los procesos cognitivos del profesor y desde el enfoque de la
inteligencia practica desarrollado por Sternberg (1993). A partir de lo cual, es factible identificar, caracterizar e
integrar elementos que permitan medir fortalezas y reas de oportunidad del profesor y generar en consecuencia
programas de formacin acordes a los requerimientos del docente.

*Autor principal

INTRODUCCIN
Dentro del esquema constructivista de educacin aplicado a nivel medio superior la funcin del docente requiere ser
reevaluada e identificar cual es el nivel de desempeo que el profesor exhibe frente a los requerimientos del modelo
propuesto (Acuerdo 442, 2008) y en su caso generar esquemas de actualizacin pertinentes.
En consecuencia, la evaluacin del desempeo del profesor se vuelve un recurso fundamental para orientar un
proceso de mejora, a travs de la formacin, actualizacin y capacitacin para el desarrollo de las competencias docentes (Acuerdo 447, 2008), integrando otros elementos recurrentes del entorno escolar analizados por diversos autores
(Dahllof & Lundgren, 1970; Clark & Peterson, 1989; Fernndez, 2001; Karaagac & Threlfall, 2004; Rueda, 2004; Gemes
& Loredo, 2008; Castillo, 2009; OCDE, 2009; Ramrez et al., 2012; Andrade, 2013 y Reyes, 2014), y que estn relacionados con elementos del contexto escolar, como son: las creencias del docente, objetivos, recursos disponibles para
desarrollar la actividad y toda accin que permita la realizacin del quehacer educativo. As como ciertos factores de la
prctica tradicional.

DESARROLLO
Problemtica
La evaluacin tradicional del desempeo docente se enfoca a cubrir procesos administrativos y reparto de estmulos,
pero no orienta hacia procesos de formacin del maestro para implementar un proceso educativo de calidad (Cordero et.
al., 2011; Reyes, 2014). Por lo cual, es necesario la construccin de modelos que permitan identificar y analizar el grado
de desarrollo de competencias docentes con base en el modelo educativo implementado, considerando contextos especficos. Ubicando, en primera instancia, riesgos y reas de oportunidad, con base en parmetros e indicadores establecidos
y que hagan viable la evaluacin del desempeo orientado a fortalecer reas de la formacin docente que permitan optimizar su actuar dentro de su labor profesional.

Objetivo
Objetivo general
Desarrollar un modelo conceptual con base en procesos cognitivos para evaluar el desempeo docente.

Objetivos especficos

Desarrollar el modelo conceptual con base en las competencias docentes, elementos de contexto y aquellos sealados como relevantes.

Identificar e integrar a partir de las competencias docentes, el contexto y la prctica tradicional, aquellos componentes que se consideren relevantes en la construccin del modelo para evaluar el desempeo docente de
profesores de EMS.

Materiales y mtodos
Identificacin, caracterizacin de componentes y construccin del modelo
La elaboracin del modelo, es un desarrollo terico que parte del anlisis detallado de una serie de referentes que se
describen a continuacin:
Acuerdos 442 y 447 (2008) y la Ley General del Servicio Profesional Docente (LGSPD, 2013), documentos que dan
sustento al enfoque constructivista y el necesario desarrollo de competencias por parte de los profesores, en EMS.
Estudios relacionados con las medidas para la evaluacin tradicional del desempeo docente, como los elaborados
por Luna & Torquemada (2008); Luna et. al, (2011) y Reyes (2014), buscando su posible alineacin al nuevo enfoque
educativo y la factibilidad de uso.
Modelos cognitivos previos que fueron elaborados a partir de considerar que el pensamiento, el lado oculto del docente es el detonador de sus acciones, como los desarrollados por Jackson, (1968), Shavelson & Sterns, (1981), Nicholson,
(1996), y Clark & Peterson, (1997) y donde la estas propuestas son analizadas, como referentes en la construccin de un
modelo para evaluar el desempeo docente.
Se plantea que el contexto (todo aquello que se relaciona con su prctica profesional) influye en lo que el docente
piensa, por lo que estudios de diversos autores son analizados (Dahllof & Lundgren 1970; Clark & Peterson (op. cit.);
Fernndez, 2001; Karaagac & Threlfall, 2004; Rueda, 2004; Gemes & Loredo, 2008; Castillo, 2009; OCDE, 2009; Ramrez
et al., 2012; Andrade, 2013; Nava & Rueda, 2013 y Reyes, 2014. De los cuales se consideran 5 de ellos para esta investigacin, dado el impacto que tienen sobre el quehacer docente.
La subteora de la inteligencia practica, un componente de la Teora Trirquica, propuesto por Sternberg (1993), se
analiza de manera puntual, ya que presenta desde el enfoque de la inteligencia, muchos aspectos que se alinean con los
planteamientos de la RIEMS y que ms adelante se propone y discute su representatividad para ser tomado en cuenta
como un factor integrador de los elementos que se consideran determinantes del quehacer docente en contextos especficos, y que adicionalmente ofrece alternativas validadas para la cuantificacin de aquellos que la conformen.
En la elaboracin de este modelo, es factible considerar la integracin de otros elementos que se asuman como relevantes para desarrollar una adecuada funcin docente. En este caso se incorporo, el llamado juicio de meritos, que desde
la perspectiva de la RIEMS, le permite al maestro y al estudiante conocer cul es su nivel de manejo de informacin inicial
para interactuar con sus pares al momento de aplicar la informacin y construir su conocimiento en el aula. Este componente se integra a las competencias docentes e interacta con elementos del contexto y se etiqueta como [Tradicional].

Resultados

Esta propuesta implica el desarrollo de un modelo sustentado, desde un enfoque que considera la complejidad de las
interacciones entre los elementos que impactan y determinan el desempeo, el cual permite identificar y analizar los
procesos cognitivos del docente asociados con sus competencias y referenciada en funcin de los elementos del contexto
y de la prctica tradicional.
En esta investigacin se considera que a partir de la conceptualizacin de los modelos sobre procesos cognitivos,
citados previamente, es posible plantear que todo aquello que realiza un profesor es producto de lo que piensa, y solo
acta en consecuencia. Y que adicionalmente, lo que piensa es influenciado por el contexto, como lo documentan diversos
autores ya sealados.
El estudio de los procesos cognitivos de los docentes se considera que puede ser analizada desde el enfoque particular
y relevante de la subteora de la Inteligencia Prctica (IP) planteado por Sternberg (1985, 1995) (fig. 1), ya que permite
explicar en detalle, los procesos que requiere desarrollar el profesor al momento de realizar su prctica educativa (adaptacin, conformacin y seleccin), por lo que si el concepto de IP se enmarca dentro del quehacer del profesor, se llega a
elaborar un constructo al que se denomina inteligencia prctica docente (IPD) y conceptualizarla, ya sea como la capacidad de articular y movilizar saberes, habilidades y actitudes, que le permiten a cada docente responder eficazmente
a demandas en su quehacer profesional de manera rpida, pertinente y creativa, movilizando los elementos necesarios

para ello, dentro del proceso de aprendizaje, o expresndolo como el proceso cognitivo realizado por un maestro, referido
a travs del desarrollo de sus competencias en un contexto determinado (fig.2).
Figura 1Dimensiones de la teora Trirquica de la inteligencia propuesta por Sternberg (1985).
Donde destaca para los fines de esta investigacin la subteora relacionada con la IP.

Figura 2La IPD, integrada por tres factores: competencias docentes, elementos de contexto
y aspectos de la prctica tradicional.

Por otra parte, Sternberg et. al. (1995) y Wagner & Sternberg (1985), han demostrado que la IP es factible de ser
evaluada a partir del llamado conocimiento tcito (CT), por medio de una metodologa diseada, estructurada y validada
a travs de inventarios de conocimiento (Busch et al., 2003), lo que implcitamente representara una medida directa del
desempeo docente.
Por lo tanto, el modelo de la IPD presenta las siguientes caractersticas:

Es un constructo que implica los procesos cognitivos del docente.


Integra aquellos elementos que se insertan en su realidad, e incluyen: las competencias docentes, aspectos de la

prctica tradicional y los componentes de contexto que impactan el quehacer educativo gestionado por el profesor.
Los procesos cognitivos que desarrolla un docente pueden ser identificados y analizados a partir del CT, a travs de
los inventarios de conocimiento.
A partir de la IPD, es factible evaluar el grado de relevancia de los diferentes elementos que determinan la prctica
docente y elaborar un modelo emprico.

Componentes de la IPD
A partir de la conceptualizacin de la IPD, se identifican y seleccionan los componentes que la constituyen y hacen viable
el desarrollo del modelo, como se describe a continuacin.
Dentro de la propuesta educativa implementada a nivel medio superior y el perfil docente requerido, determinadas
competencias resultan relevantes en la elaboracin del constructo IPD y que para los fines de esta investigacin son siete
competencias, las cuales se consideran (tabla 1).
Tabla 1Competencias docentes, codificacin y descripcin general, consideradas como parte del la IPD y requeridas
para su valoracin dentro del modelo de evaluacin del desempeo docente.

Competencia docente

Codificacin

Descripcin general

1. Organiza su formacin continua

[Forma]

Aprende, incorpora y evala nuevos procesos de


aprendizaje. Se actualiza en el manejo de las TIC
y un segundo idioma.

2. Domina y estructura los saberes para


facilitar experiencias de aprendizaje.

[Facilita]

Argumenta naturaleza, mtodos y saberes. Los procesos


de aprendizaje a utilizar y conocimientos a desarrollar.

3. Planifica procesos de aprendizaje


atendiendo el enfoque por competencias.

[Planifica]

Identifica conocimientos requeridos para el desarrollo


del estudiante, disea y utiliza materiales apropiados
y contextualiza su aplicacin en la vida cotidiana dentro
de la comunidad a la que pertenece.

4. Aplica procesos de aprendizaje


innovadores.

[Innova]

Usa las Tics dentro de sus estrategias en los procesos


de aprendizaje; acorde a las aspiraciones, necesidades
y posibilidades de acuerdo al marco sociocultural
del estudiante.

5. Evala los procesos de aprendizaje


con enfoque formativo

[Evala]

Establece criterios de evaluacin, los comunica,


aplica en los procesos de aprendizaje; fomenta la auto
y la co-evaluacin entre los estudiantes.

6. Construye ambientes de aprendizaje


autnomo y colaborativo

[Construye]

Favorece un aprendizaje critico, reflexivo y creativo,


incentiva a los estudiantes en lo individual y en grupo,
propicia el uso de Tics para procesar e interpretar
informacin y generar conocimiento.

7. Contribuye a generar un ambiente


propicio para el desarrollo integral
del estudiante.

[Contribuye]

Practica y promueve el respeto, favorece el dialogo,


estimula la participacin, favorece la integracin entre
los estudiantes.

Prctica tradicional
La prctica tradicional, si bien no es una competencia, para el desarrollo del modelo de IPD se considera que aporta
ciertas caractersticas que pueden ser relevantes dentro del proceso de aprendizaje gestionado por el maestro, como es,
el darle la posibilidad tanto al estudiante como al profesor de conocer el nivel de manejo de la informacin previo a su
utilizacin dentro del proceso de socializacin y construccin de conocimientos de los estudiantes. Por lo que conocer
el grado de dominio inicial de la informacin a travs de cuestionarios, preguntas directas o evaluaciones individuales,
enriquece y da mayor sustento al manejo, anlisis y aplicacin que el estudiante haga de la informacin al interactuar con
sus pares durante el proceso de aprendizaje.
Considerando que esta prctica le permite al profesor identificar el nivel de actitud y habilidades iniciales (responsabilidad, compromiso y familiarizacin y entendimiento de la informacin) requeridas por los estudiantes, es integrada
como un elemento a considerar dentro de los componentes de inters en esta propuesta (tabla 2), la cual interacta con
las competencias del profesor como un elemento til en el desarrollo de su labor.
Tabla 2 Componente de la prctica tradicional relevante dentro de la IPD, su codificacin y descripcin general
Componente
Prctica tradicional

Codificacin

Descripcin general

[Tradicional]

Prctica educativa que identifica el grado de manejo


de la informacin por juicio de mritos alcanzados en
cuestionamientos, preguntas o evaluaciones individuales.

Elementos de contexto
Con base en lo sugerido por diferentes autores (mencionados en la metodologa) y por la relevancia que tienen en el actuar del profesor, los factores de contexto deben ser integrados en un modelo de evaluacin del desempeo docente, por
lo cual y para los fines de esta investigacin se considera la incorporacin de los factores contextuales indicados (tabla 3).
Tabla 3 Elementos de contexto relacionados con el quehacer docente, codificacin y caracterizacin.
Elemento de Contexto

Codificacin

Descripcin general

Conocimiento contextual

[Conocimiento]

Los saberes que se tienen en relacin a la dinmica


escolar, grupal y social; el uso de las Tics por los
estudiantes, etc.

Creencias

[Creencia]

Interpretaciones sesgadas de la realidad.

Recursos

[Recurso]

Todo material, medio, estrategia que usa para


conducir el aprendizaje.

Objetivos o tareas

[Objetivo]

Lo que desea obtener, sea en el plano personal,


profesional o acadmico.

Acciones

[Accin]

Actividades organizadas y dirigidas producto


de una construccin mental del docente.

Modelo de IPD

La elaboracin del constructo IPD muestra una serie de avances en relacin a las propuestas previamente presentadas
sobre procesos cognitivos del profesor y su posible vinculacin con la evaluacin del desempeo docente. A diferencia de
los modelos anteriores, en la IPD se propone:

La IPD se propone como un constructo que orienta hacia la evaluacin del desempeo docente a partir de los elemen-

tos que conforman los factores competencias docentes (CD) y contexto (fig. 3), convirtindose en una herramienta
que orienta cualquier proceso de intervencin dirigido a la formacin, capacitacin o actualizacin del profesor.

Figura 3 Factores que conforman la IPD, como constructo que permite evaluar el desempeo docente.

El modelo sustentado a partir de la IPD, ofrece un enfoque cualitativo, que para su aplicacin ofrecer un sustento

cuantitativo y que a partir del anlisis de los datos permitira establecer la relevancia entre los componentes que lo
constituyen, con base en referentes del enfoque educativo implementado (fig. 4).

Figura 4Modelo de la inteligencia prctica docente propuesto para la evaluacin del desempeo docente en EMS,
donde se define cada componente que ser considerado para el anlisis.

CONCLUSIONES
La IPD considera un enfoque integrador de los diversos componentes que la definen.
La IPD permite caracterizar, identificar y medir la relevancia de los componentes que la integran y eventualmente
realizar una evaluacin del desempeo docente.

El desarrollo de la IPD como alternativa de evaluacin del desempeo docente est definida a partir de referentes tericos
acordes al nuevo modelo educativo que se aplica en EMS, tales como: competencias docentes, elementos del contexto, as
como ciertos factores de la prctica tradicional.
Las competencias docentes relevantes para definir la IPD son: [Forma], [Facilita], [Planifica], [Innova], [Evala],
[Construye] y [Contribuye].
Los elementos de contexto que se consideran importantes en la evaluacin de la IPD, son: [Conocimiento], [Creencia],
[Recurso], [Objetivo] y [Accin].
Elementos relevantes de la prctica tradicional son: conocer el grado de desempeo del estudiante por juicio de mritos a travs de cuestionarios, preguntas, exmenes o evaluaciones individuales.
La IPD se propone como un constructo que permite evaluar el desempeo docente a partir de los elementos que conforman los factores competencias docentes (CD) y contexto.

BIBLIOGRAFA
Andrade, J. (2013). Creencias sobre el uso de las TIC de los docentes de educacin primaria en Mxico. Sinctica, 41. Recuperado de http://www.sinectica.iteso.mx/?seccion=articulo&lang=es&id=623_creencias_sobre_el_uso_de_las_tic_de_los_
docentes_de_educacion_primaria_en_mexico
Acuerdo 442. (2008). Se establece el Sistema Nacional de Bachillerato en un marco de diversidad. Diario Oficial de la
Federacin. Viernes 26 de septiembre de 2008. (Primera seccin). Recuperado de http://www.sems.gob.mx/work/
models/sems/Resource/10905/1/images/Acuerdo_numero_442_establece_SNB.pdf
Acuerdo 447. (2008). Se establecen las competencias docentes para quienes impartan educacin media superior en la
modalidad escolarizada. Diario Oficial de la Federacin. Mircoles 29 de octubre de 2008. (Seccin tres). Recuperado de http://www.sems.gob.mx/work/models/sems/Resource/10905/1/images/Acuerdo_447_competencias_docentes_EMS.pdf
Busch, P., Richards, D. & Dampney, C. (2003). The graphical interpretation of plausible tacit knowledge flows. Australasian
Symposium on Information Visualization, Adelaide, 2003.
Castillo, A. (2009). Los conocimientos y creencias de los profesores en relacin con su prctica docente. X Congreso Nacional de Investigacin Educativa, rea 16: Sujetos de la educacin. Veracruz. Recuperado de http://www.comie.org.mx/
congreso/memoriaelectronica/v10/contenido/contenido0116T.htm
Clark, C. & Peterson, P. (1997).Procesos de Pensamiento de los Docentes. Captulo VI. En Wittrock, M. (Ed.), La investigacin de la enseanza III. Profesores y estudiantes. (443-531). Paids educador.
Cordero, G., Luna, E., Pons, R. & Serrano, J. (2011). La evaluacin de los programas de formacin de profesores: el caso de
un programa de Mtodos de aprendizaje Cooperativo en una universidad pblica estatal, Luna, E. (Ed.), Aportaciones
de la Investigacin a la evaluacin de estudiantes y docentes. Universidad Autnoma de Baja California. Miguel ngel
Porra.
Dahllof, U. & Lundgren, U. (1970). Project Compass 23. Macro and micro approaches combined for curriculum process
analysis: A Swedish educational field project. Annual meeting of the American Educational Research Association.
Minneapolis, USA. March 1970. Recuperado de https://www.google.com/search?q=Dahllof%2C+U.+Y+Lundgren%2C+U.+%281970%29.+Macro+and+micro+approaches+combined+for+curriculum+process+analysis%3A+A+Swedish+educational+field+proyect.+Gutemburgo%2C+Suecia%3A+Universidad+de+Gutemburgo.+&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:es-ES:official&client=firefox-a&channel=np&source=hp
9

Gemes, C. & Loredo, J. (2008). Los Procesos de Evaluacin del desempeo Docente en el nivel Medio Superior: una perspectiva de mejora continua. Primera Reunin Internacional de Evaluacin en Educacin Media Superior y Superior. Recuperado de http://www.ieia.com.mx/materialesreuniones/1aReunionInternacionaldeEvaluacion/PONENCIAS19Septiembre/4.EvaldelaDocencia%28Sesion3%29/ED.8-CarmelaGuemes-Javier%20Loredo.pdf
INEE. (2014a). Bases para la formulacin del Programa de Mediano Plazo para la Evaluacin del Servicio Profesional Docente (2015-2017). Instituto Nacional de Evaluacin Educativa. Mxico. Recuperado de http://estudiaen.jalisco.gob.
mx/cepse/sites/estudiaen.jalisco.gob.mx.cepse/files/bases_pmp-spd_2015-2017_final.pdf
Jackson, P. (1968). Life in classrooms. Holt, Rinehart and Winston. New York. USA.
Karaagac, M.K. & Threlfall (2004). The tension between teacher beliefs and teacher practice: the impact of the work setting. Proceedings of the 28th Conference of the International Group for the Psychology of Mathematics Education. 3. 137144. Recuperado de http://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0CCkQFjAB&url=
http%3A%2F%2Ffiles.eric.ed.gov%2Ffulltext%2FED489538.pdf&ei=8TkeVOKpBYK2ogSk1oFA&usg=AFQjCNHXHNrn
G5kppQQ-vv8ZGRDrSmKRTg&sig2=iOBX8-_jgCY_gbMeIUo6FQ&bvm=bv.75775273,d.cGU
Ley General del Servicio profesional Docente (2013). Decreto, Diario Oficial de la Federacin, 11/09/2013. Recuperado
de www.diputados.gob.mx/LeyesBiblio/pdf/LGSPD.pdf
Luna, E. & Torquemada, A. (2008). Los cuestionarios de evaluacin de la docencia por los alumnos: balance y perspectivas
de su agenda. Revista electrnica de investigacin educativa (REDIE). 10. Recuperado de http://www.scielo.org.mx/
scielo.php?pid=S1607-40412008000300007&script=sci_arttext
Luna, E., Armburo V. & Cordero, G. (2011). La efectividad de la enseanza y su relacin con las caractersticas del profesor y del curso: aportaciones para el diseo de sistemas de evaluacin docente. En Luna, E. (Ed). Aportaciones de la
Investigacin a la evaluacin de estudiantes y docentes. Universidad Autnoma de Baja California: Miguel ngel Porra.
Nicholson, A. (1996). Can We Reveal the Inner World of Teachers? Some Research Issues. British Educational Research
Association (BERA) Conference, 12-15 September 1996. Lancaster University, England, U.K. Recuperado de http://www.
leeds.ac.uk/educol/documents/000000075.htm
OCDE (2009). CHAPTER 4. Teaching practices, teachers beliefs and attitudes. Creating Effective Teaching and Learning
Environments: First Results from Talis ISBN 978-92-64-05605-3. Recuperado de http://www.oecd.org/education/
school/43023606.pdf
Ramrez, E., Caedo, I. & Clemente, M. (2012). Las actitudes y creencias de los profesores de secundaria sobre el uso de
Internet en sus clases. Comunicar. 29 (38). 147-155. Revista Cientfica de Educomunicacin. Recuperado de www.
revistacomunicar.com
Reyes, E. (2014). Validez del cuestionario de opinin de alumnos universitarios sobre la competencia docente. Tesis
doctorado en ciencias educativas. Universidad Autnoma de Baja California. Instituto de Investigacin y Desarrollo
Educativo. Ensenada, Baja California, Mxico. Junio 2014.
Shavelson,R. & Stern,P.(1981). "Research on teachers pedagogical judgments, decisions, and behavior."Review of Educational Research,51,455-498. Recuperado de http://130.154.3.14/content/dam/rand/pubs/papers/2006/P6639.pdf
Sternberg, R., Wagner, R. & Okagaki, L. (1993). Practical intelligence: The nature and role of tacit knowledge in work and
school. En Reese, H. & Puckett, J. (Eds.), Advance in lifespan development. Hillsdale, NJ: Erlbaum.
Sternberg, R., Wagner, K., Williams, M. & Horvath, A. (1995). Testing common sense. American Psychologist, 50 (11),
912-927.
Sternberg, R. (1997). Inteligencia exitosa. Barcelona: Paidos.
Sternberg, R., Forsythe, B., Hedlund, J., Horvath, A., Wagner, R., Williams, M. & Grigorenko, L. (2000). Practical intelligence
in everyday life. Oxford: Cambridge Press.
Wagner, R., & Sternberg, R. (1985). Practical intelligence in real-world pursuits: The role of tacit knowledge. Journal
of Personality and Social Psychology, 49 (2), 436-548. Recuperado de http://psycnet.apa.org/index.cfm?fa=search.
displayRecord&id=1B574B6F-EB3F-920E-9540-80F7CB52A89E&resultID=1&page=1&dbTab=pa&search=true

10

La evaluacin docente.
Implicaciones para la supervisin
y asesora en Mxico
14 de marzo de 2015

La evaluacin docente.
Implicaciones para la supervisin
y asesora en Mxico
Lilia Antonio Prez
Maestra en Ciencias de la Educacin, Coordinacin Nacional del Servicio Profesional Docente,
Secretara de Educacin Pblica, Mxico.
lilia.antonio@sep.gob.mx

PALABRAS CLAVE: evaluacin docente, asesora, supervisin


EJE TEMTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones

Resumen

Si bien la evaluacin constituye una de las funciones inherentes al quehacer profesional de los equipos de supervisin de las escuelas de educacin bsica en Mxico, la promulgacin de la Ley General del Servicio Profesional
Docente en septiembre de 2013, plantea retos importantes para asesores y supervisores, si se toma en cuenta
el trayecto histrico y las condiciones actuales en que estos actores educativos desarrollan cotidianamente su
trabajo con las escuelas, para hacer efectivamente de la evaluacin, un dispositivo para promover el desarrollo
profesional de los docentes.
La presente ponencia tiene la intencin de plantear algunos de los principales desafos que los equipos de supervisin tienen frente a la evaluacin de los docentes, a partir de testimonios que dan cuenta de las condiciones
cotidianas en que desarrollan su trabajo con los planteles escolares, as como de las diferentes perspectivas de
sus protagonistas sobre las actividades de seguimiento y evaluacin que ya desarrollan con los maestros; siendo aspectos que entran en tensin con respecto los planteamientos normativos y acadmicos emergentes sobre
la evaluacin del desempeo docente. Estos testimonios son producto de un estudio de corte cualitativo que se
desarroll en 2013 en una de las entidades de la Repblica Mexicana, con la finalidad de explorar los alcances y
lmites que los equipos de supervisin tienen para concretar las funciones de evaluacin y asesora a los maestros
y escuelas que se ubican en sus respectivas zonas escolares.

INTRODUCCIN
Diversos estudios han confirmado que las prcticas de enseanza de los docentes constituyen el factor escolar que incide
ms en el aprendizaje de los nios y jvenes que cursan la educacin bsica (UNESCO, 2007; Ravela, 2009), por tanto, la
generacin de acciones de poltica educativa para fortalecer la profesin docente debe ser una de las prioridades de un
sistema educativo que busca mejorar la calidad del servicio que se ofrece en las escuelas (OCDE, 2009).
En este contexto, la profesin docente ha de pensarse como un trayecto sistemtico de desarrollo profesional (Imbernn, 2004; Perrenoud, 2006) en donde los maestros cuenten con diversas oportunidades para el aprendizaje de la
profesin a lo largo de su carrera: desde el ingreso a una institucin formadora de docentes o, en su caso, ingreso como
maestro frente a grupo en una escuela de educacin bsica, hasta su consolidacin como un docente experto que apoya
a otros en su formacin profesional.
Dentro de esta perspectiva de la profesin docente, la evaluacin constituye uno de los dispositivos centrales que
pueden ofrecer insumos sustantivos de informacin para promover su desarrollo profesional: desde la retroalimentacin
directa al propio docente con miras a mejorar su desempeo, hasta la orientacin de las polticas de formacin, acompaamiento y asesora a los docentes de las escuelas de educacin bsica en nuestro pas.
En este sentido, es innegable la potencialidad que la evaluacin puede tener para promover el desarrollo profesional
de los docentes; no obstante, cabe preguntarse sobre las condiciones que actualmente tiene el sistema educativo mexicano para hacer de la evaluacin docente un dispositivo efectivo de mejora, entre ellas, la relacionada con quienes, por
su cercana con las escuelas y maestros de educacin bsica desempearan un papel importante en este proceso: los
equipos de supervisin, pero Quines integran los equipos de supervisin en Mxico y qu actividades desarrollan
cotidianamente con las escuelas?, Cul es su experiencia con respecto a la evaluacin docente como dispositivo para el
desarrollo profesional?, Qu condiciones tienen actualmente para afrontar este importante reto?
La presente ponencia busca dar algunas respuestas a estas preguntas con la finalidad de aportar a la discusin sobre
las implicaciones de implementar un modelo de evaluacin docente que busca promover el desarrollo profesional de los
maestros en Mxico, para ello se describir brevemente la metodologa empleada en el estudio, las condiciones actuales
en que desarrollan el trabajo con las escuelas, para finalmente referir algunas de las experiencias de estos equipos de
supervisin con respecto al acompaamiento y evaluacin que realizan con los docentes, todo ello con la intencin de
reflexionar sobre los alcances y lmites que se pueden vislumbrar sobre la participacin de estos actores educativos en
los procesos de evaluacin docente.

1. PERSPECTIVA METODOLGICA
El estudio en el que se enmarca la presente ponencia, fue desarrollado por Innovacin y Asesora Educativa A.C. ante la
peticin de los Servicios Educativos Integrados al Estado de Mxico1, para realizar una investigacin de corte cualitativo
sobre la forma en que los equipos de supervisin de educacin preescolar evalan y asesoran a los docentes en la implementacin del actual Programa de Preescolar.
Primeramente se hizo una revisin bibliogrfica y documental sobre la figura del supervisor y del asesor en el sistema
educativo mexicano. Asimismo, se realiz un seguimiento al trabajo de cuatro equipos de supervisin de preescolar sobre
el trabajo que realizan con las escuelas y docentes de su demarcacin educativa, a travs de dos tcnicas: Observacin no
participante y entrevistas a profundidad. Se realizaron 10 sesiones de observacin no participante y 1 entrevista a profundidad a cada equipo de supervisin, dando un total de 40 registros de observacin y 4 entrevistas a profundidad. Un estudio de corte cualitativo busca identificar el sentido y significado que para los actores tienen sus propias prcticas. Un acercamiento de esta naturaleza contribuye a detectar procesos finos que se relacionan con saberes, certidumbres y conflictos
que son visibles con dilogos y observaciones de las conductas de los participantes, (Woods 1987) (Velasco y Daz 1997).
Como integrante de Innovacin y Asesora A.C., form parte del equipo que desarroll el trabajo de campo, particip en el proceso de anlisis
e interpretacin de la informacin obtenida y en la redaccin del informe final respectivo.

Para ello, un punto de partida es la descripcin densa de la realidad (Geertz, 1992), a partir del registro detallado de
acciones, dilogos y lenguaje no verbal de quienes son observados, en este caso, de los equipos de supervisin en su trabajo cotidiano con los docentes y escuelas. Posteriormente se procedi al anlisis de todos los registros de observacin
y entrevistas para identificar recurrencias sobre las acciones y concepciones de estos sujetos (Heller,1977); en un ir y
venir entre el referente oficial, la literatura sobre el tema y el referente emprico, para llegar a conclusiones que permiten
identificar, con mayor precisin, algunas tendencias en lo que respecta a los sentidos y significados que estos equipos de
supervisin asignan a la evaluacin y asesora que desarrollan con los docentes.

2. SITUACIN ACTUAL DE LOS EQUIPOS


DE SUPERVISIN EN MXICO
Los equipos de supervisin en nuestro pas tienen bajo su responsabilidad un conjunto de escuelas que comparten un
determinado territorio, nivel y tipo de servicio educativo; estos equipos se encuentran integrados por un supervisor y
personal docente con funciones de asesora tcnico-pedaggica, denominados ATPs.
El equipo es dirigido por el supervisor quien ostenta la autoridad oficial en una demarcacin territorial y constituye
formalmente el enlace entre las escuelas y la administracin educativa, generalmente se ha accedido al cargo por antigedad en el servicio, mritos sindicales, capacidad para responder a las demandas de carcter administrativo y solventar
conflictos en las escuelas, lo que deriva en un perfil con nfasis en lo poltico-administrativo que contrasta con el matiz
tcnico-pedaggico y acadmico que se promueve en el discurso oficial sobre la supervisin en Mxico (SEP, 2006).
Por su parte, los asesores tcnico pedaggicos usualmente han accedido al cargo por recomendacin de sus supervisores escolares, carecen de una plaza propia son maestros frente a grupo comisionados-, as como de un modelo institucional de asesoramiento y de una normatividad actualizada que regule sus funciones, as como el acceso, permanencia
y promocin en la funcin (SEP, 2005).
Dentro de este contexto, la implementacin de mltiples programas y proyectos que demanda la administracin educativa, pautan gran parte del trabajo de los equipos de supervisin con las escuelas, limitando las posibilidades de un
proceso ms sistemtico de seguimiento y apoyo acadmico a las escuelas, ante la fuerte carga administrativa que se
derivan de estas acciones de poltica educativa (SEP, 2005).

3. LA EVALUACIN DOCENTE. EXPERIENCIAS


Y PERSPECTIVAS DE LOS EQUIPOS DE SUPERVISIN
Herederos de un sistema con poca regulacin para el acceso a las funciones de supervisin y asesora a las escuelas de
educacin bsica, los equipos de supervisin afrontan cotidianamente el reto de responder a los planteamientos de un
deber ser tcnico-pedaggico presente en los discursos oficiales sobre estas funciones; entre ellas, lo relativo a la funcin inherente de evaluar el quehacer profesional de los maestros frente a grupo, con miras a ofrecerles asesora para la
mejora de su desempeo. Qu concepciones ponen en juego los equipos de supervisin al observar el desempeo de
un docente en un saln de clases?, Qu propsitos vislumbran en sus visitas a aula?, Cmo articulan estas visitas con
la idea de ofrecer asesora a los docentes para mejorar su desempeo profesional?, a continuacin se presentan algunas
experiencias.

a) La forma sobre el contenido en las visitas de aula

En el marco de este estudio de corte cualitativo, se tiene la siguiente explicacin de una supervisora respecto al propsito
de su visita de aula en una de las escuelas:

Supervisora: Estoy haciendo visita (comienza a leer el documento que trae) para fortalecer a la directora en la
evaluacin y acompaamiento que ella hace a la prctica docente en la escuela, el propsito est relacionado con
las necesidades de la educadora, partiendo del diagnstico que ya tiene la propia docente (pide a la directora su
diagnstico para mostrrmelo). (R1, p.2)
Cabe precisar que este proceso de acompaamiento a los docentes, se realiz a partir de un cuestionario de autodiagnstico aplicado a las educadoras de la zona y con base en este instrumento, llevaron un seguimiento a travs de visitas
de aula en donde su labor es apoyar y orientar a la directora en este proceso.
Dirigindose a la directora sobre su gua de observacin a la prctica docente que tiene en sus manos, mientras se
encuentran observando a una educadora en su trabajo con los nios:

Supervisora: Primeramente debes cuidar que tu propsito de visita de aula lo anotes aqu (seala la gua, mientras,
la educadora observada plantea preguntas a los nios, se nota un tanto nerviosa). Adems de que no est
suficientemente preciso
Directora: Pero si antes lo haba revisado y lo haba autorizado.
Supervisora: S, pero debes consultar el programa antes, recuerda que aqu debes poner la necesidad de tu educadora, y
te falt colocar la fecha de hoy (ambas tienen su mirada centrada en la gua).
Bajo esta dinmica de dilogo sobre el formato de visita transcurren 20 minutos ms, la supervisora recibe una
llamada y ambas se retiran del saln (R4, p. 6)
Como se puede advertir en esta visita de aula, la atencin parece centrarse ms en precisiones sobre el llenado de la
gua de observacin que propiamente en la observacin del trabajo que la educadora realiza con los nios; si bien estas
precisiones pueden ser de utilidad para efectos de la documentacin del proceso, stas podran haberse realizado de
manera previa o posterior a la visita de aula. Por cuestiones de espacio no se refieren las orientaciones que esta supervisora brindaba de manera recurrente a las directoras (R1, R2, R4, R7, R8, R10); pero dentro de las mismas prevaleca
la preocupacin sobre el llenado correcto de las guas de observacin y de revisin de los planes de clase, por sobre los
necesidades de formacin identificadas en las educadoras a partir de estas visitas. Pese a que las visitas a aula tienen un
amplio potencial tcnico-pedaggico, en trminos de identificar reas de oportunidad sobre el desempeo docente de
las maestras de esta zona escolar, el sentido que le asigna esta supervisora es ms administrativo, pues se centra ms en
la forma que en el contenido, probablemente como producto de la necesidad de atender constantemente las demandas
administrativas del sistema y tal vez por la escasez de herramientas con que cuenta para promover y desarrollar procesos
de evaluacin del desempeo docente encaminados a la mejora profesional.

b) Y sin embargo puede haber contenido en las visitas de aula


En el mismo contexto de seguimiento al trabajo docente de las educadoras en esta entidad de la Repblica Mexicana,
otro equipo de supervisin conversa sobre la forma en que se encuentran desarrollando este proceso:
Supervisora: (Dirigindose a la asesora) Cmo elaboraste el diagnstico?

Asesora: Las maestras se hicieron una autoevaluacin a manera de cuestionario, porque de otra forma no se puede,
dicen que nunca hay tiempo, pero creo que es un buen comienzo no?
Supervisora: (Mientras revisa los documentos que le entreg la asesora) Cmo trabajaste lo de las competencias
profesionales?
5

Asesora: Hice un concentrado en donde enlist todas las competencias profesionales y la escala de evaluacin que ellas
se asignaron, creo que no fueron del todo sinceras, lo que pasa es que les da miedo pensar que estn en el primer nivel,
pero les digo que la idea es poderlas ayudar.(R18, p.5)
En esta conversacin se puede apreciar cmo la realizacin del autodiagnstico por parte de las educadoras, como
punto de partida para su seguimiento en las visitas a aula, puede ser un contenido susceptible de ser problematizado:
Tanto la asesora como la supervisora comentan que el cuestionario puede no ser suficiente para realizar un autodiagnstico del trabajo de las educadoras; no obstante lo vislumbran como un buen inicio. En esta conversacin tambin se
refieren los temores de las educadoras sobre el uso que pueden dar a la informacin que ellas consignen en el cuestionario de autoevaluacin y la manera en que la asesora les comenta el sentido que esta actividad tiene para el equipo de
supervisin: Apoyarlas; de esta forma, se comienza a esbozar la construccin del sentido que tendr el seguimiento,
evaluacin y apoyo al desempeo docente en esta zona escolar, entre las educadoras y el equipo de supervisin.
Es as que teniendo como punto de partida el autodiagnstico, el equipo de supervisin realiza las visitas a aula en
las escuelas que integran esta zona escolar y, como producto de estas visitas, intercambian opiniones sobre lo observado
en las aulas:
Supervisora: Ahora que fuimos al Jardn de nios Rosaura Zapata, me parece que a las maestras todava les hace falta
integrar varios aspectos del enfoque didctico de los campos formativos

Asesora: S, las maestras tienen su grado de maestra pero es pura teora!, les hace falta ponerlo en prctica, veo que
pueden plasmarlo en su planeacin (de clase) pero no al momento de trabajar con los nios, por ejemplo cuando hago
las visitas le ponen demasiado nfasis a la disciplina, la otra vez la maestra Martha siempre anda bien al pendiente de
que nadie hable y todos pongan atencin cuando el enfoque te plantea la importancia de promover que los chiquitos se
expresen, la escuela es un medio para interactuar, ms preescolar que es su iniciacin en la escuela (R17, p. 7)
Como se puede apreciar en esta conversacin, el equipo de supervisin conversa sobre algunas fortalezas que han
identificado en las educadoras, a partir de las visitas a aula en la zona escolar, tales como su preparacin profesional y
la realizacin de sus planeaciones de clase; sin embargo, tambin ha identificado algunas debilidades en su desempeo
docente, como el reto de promover ambientes ms favorables para el aprendizaje, a travs de formas de interaccin ms
enriquecedoras con los alumnos.
De manera posterior a este tipo de conversaciones, este equipo de supervisin desarrolla algunas actividades para
atender estas necesidades de formacin en las educadoras (R12, R13, R15, R17, R18, R20) que por cuestiones de espacio
no nos detendremos a analizar a profundidad; en este caso las visitas a aula constituyen, para este equipo de supervisin,
un valioso dispositivo para la identificacin de necesidades de apoyo acadmico para mejorar el desempeo docente en
la zona escolar.

CONCLUSIONES

Las visitas a aula para observar la prctica docente, pueden tener diversidad de sentidos para los equipos de supervisin:
Desde un nfasis prioritariamente administrativo y centrado en la forma, hasta constituir un medio para detectar reas
de oportunidad en el desempeo de los maestros en la zona escolar. Esta heterogeneidad nos da cuenta de la necesidad
de reconocer y aprovechar el capital de experiencia que los equipos de supervisin tienen en la materia, como punto
de partida para generar procesos sistemticos de formacin que recuperen y problematicen estos saberes a la luz de la
teora y la experiencia nacional e internacional que existe sobre la evaluacin docente, con la finalidad de fortalecer las
competencias profesionales de estos importantes actores educativos, para que se encuentren en mejores condiciones
de emplear a la evaluacin como un efectivo dispositivo de apoyo al desarrollo profesional de los docentes de su zona

o sector escolar. El camino no es fcil, pero se comienza por recuperar la experiencia de los actores educativos involucrados en materia de evaluacin docente y por reconocer las asignaturas pendientes para fortalecer las funciones de
supervisin y asesora en el sistema educativo mexicano.

BIBLIOGRAFA
Geertz, Clifford (1992). La interpretacin de las culturas. Barcelona, (Espaa), Edit. Gedisa.
Heller, Agnes (1977). Sociologa de la vida cotidiana. Barcelona, (Espaa), Edit. Pennsula.
Imbernn, (2004). La formacin y el desarrollo profesional del profesorado. Coleccin Biblioteca de Aula, Barcelona,
(Espaa), Edit. Grao.
OCDE (2009). Los docentes son importantes: atraer, formar y conservar a los docentes eficientes. Traduccin y edicin: Gilda
Moreno y Laura Valencia.
Perrenoud, Philippe (2006). Diez nuevas competencias para ensear. Barcelona, (Espaa), Edit. Grao.
Ravela, Pedro (2009). Captulo 8. La evaluacin del desempeo docente para el desarrollo de las competencias profesionales. En Martnez, F. (2009) Avances y desafos de la evaluacin educativa. Organizacin de Estados Iberoamericanos
y Fundacin Santillana.
SEP (2006). Orientaciones tcnicas para fortalecer la accin acadmica de la supervisin, Coleccin Documentos para
fortalecer la Gestin Escolar, Mxico.
SEP (2005). Orientaciones generales para constituir y operar el Servicio de Asesora Acadmica a la Escuela, Mxico.
UNESCO (2007). Eficacia escolar y factores asociados en Amrica Latina y el Caribe. Laboratorio Latinoamericano de
Evaluacin de la Calidad de la Educacin, Santiago (Chile).
Velasco y Daz (1997). La lgica de la investigacin etnogrfica. Un modelo de trabajo para etngrafos de la escuela. Madrid,
(Espaa), Edit. Trotta.
Woods, Peter (1987) La escuela por dentro: La etnografa en la Investigacin Educativa. Barcelona, (Espaa), Edit. Paids.

Uso de una plataforma virtual


para la recoleccin de datos y del Sweave
del entorno R para el anlisis de datos
y elaboracin de informes
14 de marzo de 2015

Uso de una plataforma virtual


para la recoleccin de datos y del Sweave
del entorno R para el anlisis de datos
y elaboracin de informes
Anala Correa Berrueta*
Ayudante Grado 1, Centro Universitario de la Regin Este UdelaR, Uruguay.
analiacorreaberrueta@gmail.com

Pilar Cecilia Rodrguez Morales


Profesora Adjunta Grado 3, Centro Universitario de la Regin Este UdelaR, Uruguay.
prodriguez@cure.edu.uy
Mara Martina Daz Rodrguez
Asistente Grado 2, Centro Universitario de la Regin Este UdelaR, Uruguay.
lqmdiaz@gmail.com

PALABRAS CLAVE: Evaluacin, TIC, Innovacin, Recoleccin de datos, Procesamiento automatizado.


EJE TEMTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones

Resumen

El presente trabajo versa sobre la automatizacin y digitalizacin del proceso de recoleccin y anlisis de datos a
travs de la combinacin de una plataforma virtual para la recoleccin de datos de evaluacin de los programas
educativos del Centro Universitario de la Regin Este y la utilizacin del Sweave del software estadstico R para su
procesamiento y posterior replicacin en aos sucesivos.
La plataforma virtual posibilita la obtencin automtica de los datos que luego se procesan a travs del Sweave
de R. Este novedoso sistema permite insertar el cdigo generado en documentos de LaTeX y actualizar paulatina
mente los informes diseados bajo licencia LaTeX.
Los procesos de evaluacin, como forma de mejorar la calidad de la educacin superior, necesitan de reco
leccin sistemtica de informacin y generacin de informes peridicos. Como forma de agilizar la recoleccin y
anlisis de datos es necesario crear mecanismos sencillos y de gran alcance para que se pueda procesar y difundir
rpidamente la informacin.
Para una universidad pblica de bajo presupuesto, utilizar procesos alternativos a los tradicionales de recolec
cin de datos y su posterior procesamiento, a su vez sin costos generados de produccin, son de notoria relevancia
y envergadura para la institucin.

*Autor principal

INTRODUCCIN
La invencin de las tecnologas de la informacin y la comunicacin (TIC) han propiciado mltiples cambios en la manera
de recoger, analizar y presentar datos de investigacin. Para Murillo (1999) el mundo virtual que discurre por nuestro
monitor al navegar por Internet, no slo nos acerca a los centros de documentacin o nos facilita la comunicacin con
otros investigadores sino que nos abre un amplio abanico de posibilidades que, sin duda, modificar nuestro ritual inves
tigador. En este sentido la Unidad de Apoyo a la Enseanza (UAE)1 del Centro Universitario Regional Este (CURE) de la
Universidad de la Repblica (UdelaR) se propuso en el ao 2011 cambiar el soporte de los cuestionarios de evaluacin de
centro, docente y asignaturas, de papel a digital. Esto se debi a varios factores: la necesidad de acelerar el procesamiento
de la informacin, evitar el ingreso manual de datos, ahorrar recursos materiales y lograr la plena participacin desde las
distintas sedes del Centro Regional2. Este factor fue uno de los que tuvo mayor peso a la hora de buscar una alternativa al
clsico sistema de recoleccin en papel y procesamiento va scanner o de ingreso manual de datos al formato digital de
encuestas con este nuevo sistema por primera vez se lograba la obtencin automtica de las respuestas y la posibilidad
de que los estudiantes pudieran acceder a realizar las evaluaciones en simultneo en las distintas sedes.
Los procesos de evaluacin, como forma de mejorar la calidad de la educacin superior, permiten generar diagns
ticos y propuestas de mejora constante por lo que se hace necesario para la recoleccin de datos generar mecanismos
sencillos y de alcance universal que puedan ser procesados y difundidos rpidamente.
Para ello se estudiaron distintas tcnicas y software disponibles en la red y se opt por utilizar el sistema de encuestas
que la plataforma educativa de la UdelaR ofrece dentro de cursos a distancia.
La plataforma educativa de la UdelaR est licenciada bajo el soporte del software libre Moodle. La palabra Moodle
es un acrnimo de: Module ObjectOriented Dynamic Learning Environment (Entorno Modular de Aprendizaje Dinmico
Orientado a Objetivos) (Moodle,2014). Este entorno virtual de aprendizaje ofrece distintas funcionalidades que prin
cipalmente sirven de apoyo a las estrategias de enseanza, investigacin y extensin, algunas de ellas son: creacin y
gestin de cursos, creacin de espacios para grupos de trabajo, comunicacin, creacin colectiva, gestin de usuarios,
aprendizaje colaborativo y herramientas de evaluacin (Moodle, 2014).
Segn Ros (2008) la plataforma Moodle es sencilla y potente. Ecolgica y econmica. Moodle se extiende exponen
cialmente por los centros de enseanza de todo el mundo. Permite la autogestin del tiempo, lo que posibilita que las
personas puedan lograr mayor independencia y autonoma. Moodle puede funcionar en cualquier computador en el que
pueda correr PHP, y soporta varios tipos de bases de datos (en especial MySql).Tiene una interfaz de navegador de tec
nologa amigable, ligera, eficiente y compatible.
Por el contrario como desventajas encuentra que al no existir presencia directa de docentes es elemental que en esta
plataforma exista la comunicacin y colaboracin constantemente. No permite organizar los mdulos para cada estu
diante o grupo de estudiantes por lo que todos los estudiantes ven lo mismo. En el caso de las encuestas no es posible
organizarlas por mdulos, grupo de preguntas, saltos de pgina, etc.
Sin embargo mediante este soporte se logr contar con gran cantidad de datos en formato digital en muy poco tiempo.
Esto hizo que se tuviera que revisar la forma de anlisis de los datos, ya que se empezaron a generar demoras en el proce
samiento y redaccin de informes . Para mejorar este aspecto se comenz a utilizar el software Sweave, parte del entorno
R, de forma de generar informes automatizados.

La Unidad de Apoyo a la Enseanza (UAE) tiene como objetivo principal promover la mejora de la educacin universitaria en la regin Este.
Dentro de sus actividades se encuentran: el asesoramiento en el diseo e implementacin de una oferta educativa que satisfaga las necesidades
de educacin universitaria de la poblacin y se enmarque dentro de los objetivos de desarrollo de la UdelaR y del pas la evaluacin de planes
y programas para implementar mejoras la evaluacin de aprendizajes la identificacin de carencias y dificultades de los estudiantes y la creacin
de programas para ayudarlos la creacin de planes de actualizacin pedaggica para docentes el asesoramiento a los estudiantes el asesoramiento
a docentes en asuntos didcticos y la evaluacin de la calidad de la educacin que brinda el CURE.
2
El CURE naci como un centro universitario regional que abarca tres sedes locales, cada una ubicada en un departamento contiguo, aproximadamente
cuenta con unos 2500 estudiantes y 200 docentes, hay un total de diecisiete programas educativos (ciclos o carreras) que se dictan en las distintas
sedes, cuatro de ellas se pueden cursar en ms de una sede universitaria.
1

JUSTIFICACIN
La decisin por la que la Unidad de Apoyo a la Enseanza del CURE opt por salir de los mtodos tradicionales de reco
leccin de datos y procesamiento de los mismos, se debe a mltiples factores.
Por un lado, el procedimiento utilizado en los primeros aos de aplicacin de las evaluaciones era casi por completo
manual se utilizaba formularios en papel o para ser ledos por scanners que luego se ingresaban de forma manual para
la obtencin de los datos en formato digital y, por ltimo, eran procesados por el software estadstico SPSS. Finalmente,
se confeccionaba el informe, este proceso llevaba alrededor de 6 a 8 meses de trabajo.
El equipo de la Unidad decidi buscar alternativas a este mtodo tradicional y rudimentario sin descuidar las suge
rencias del Consejo Delegado Acadmico de la Udelar sobre el uso de software libre, donde encomienda el uso de forma
tos abiertos estndares para el tratamiento de la informacin y la promocin del uso de software libre con licenciamiento
GPL en actividades de docencia, investigacin y extensin.
En principio se haca necesario cambiar el instrumento de recoleccin de papel a digital ya que la aplicacin del
instrumento no alcanzaba la cobertura deseable dentro de las sedes del centro y generalmente no era completado en
su totalidad.
La eleccin de plataforma educativa de la Udelar, bajo licencia Moodle, era la opcin ms conveniente ya que los estu
diantes estaban familiarizados con la herramienta y se respetaba la poltica educativa sobre el uso de formatos abiertos.
Con el sistema de encuestas de Moodle la obtencin de los datos se lograba automticamente, pero el procesamiento y
la elaboracin de informes segua siendo bastante lento, es por ello que se sigui investigando sobre alternativas al proce
samiento por SPSS (software de licencia no libre). Era necesario encontrar un procedimiento que, con mnimos cambios,
pudiera ser utilizados ao a ao en las distintas evaluaciones. De esta forma, se buscaba que, adems del anlisis de los
datos, el informe se obtuviese casi automticamente al cambiar la base de datos con la que se trabajaba. Se encontr la
posibilidad de procesar los datos a travs del Sweave de R e insertar el cdigo generado en documentos de LaTeX para
luego actualizar paulatinamente los informes previamente diseados bajo licencia LaTeX.
Los informes obtenidos son importantes insumos de trabajo para aquellas comisiones o unidades cogobernadas del
Centro que se encuentran relacionadas con los temas que la evaluacin aborda.

DESARROLLO
Sobre la evaluacin
Prez Juste (2006:32) define a la evaluacin pedaggica como la valoracin, a partir de criterios y de referencias prees
pecificadas, de la informacin tcnicamente diseada y sistemticamente recogida y organizada, sobre cuantos factores
relevantes integran los procesos educativos para facilitar la toma de decisiones de mejora. En tal sentido, una de las fun
ciones de la evaluacin, tal vez la ms importante, es la que se orienta hacia la mejora, es decir, que constituye la base para
la toma de decisiones en el plano educativo. Por este motivo es necesario contar con un proceso sistemtico de recogida
de informacin de forma de realizar comparaciones anuales.

El objeto de la evaluacin
Entendemos la evaluacin en un sentido amplio y por tanto consideramos que no slo los aprendizajes de los estudiantes
deben ser evaluados, tambin los centros educativos, los docentes y los planes deben ser objeto de evaluacin.
En este sentido, nuestra evaluacin est orientada a recoger las valoraciones de los estudiantes en torno a tres obje
tos: el Centro Universitario, las asignaturas y los docentes.
4

Objetivos de la evaluacin
En forma global es posible inferir que con esta evaluacin se pretende beneficiar a todos los actores que conforman el
centro universitario: estudiantes, docentes, autoridades, funcionarios/as y la sociedad civil en general.
En funcin de lo anterior, fueron establecidos los siguientes objetivos especficos:

Valorar la aplicacin de los programas.


Conocer el grado de satisfaccin de los usuarios con respecto a la pertinencia curricular, actuacin docente, oferta
acadmica, acceso a tareas de investigacin y extensin, sistema administrativo, cogobierno.

Detectar reas a mejorar.


Plantear acciones de mejora en relacin a estas dimensiones: propuesta curricular, actuacin docente, promocin
de cultura evaluativa, calidad de la educacin.

Sobre el instrumento de recogida de datos


El instrumento elegido es el cuestionario, el mismo est basado sobre el soporte Encuesta que ofrece la plataforma virtual
de la UdelaR. La encuesta es una actividad de curso a distancia que proporciona varios instrumentos de encuestacin
verificada, incluyendo COLLES (Constructivist OnLine Learning Environment Survey) (Taylor & Maor, 2014) y ATTLS
(Attitudes to Thinking and Learning Survey)(Galotti et al., 1999), que han sido encontrados tiles en la evaluacin y esti
macin del aprendizaje en ambientes en lnea.
La eleccin de este instrumento se justifica por la necesidad de recabar una cantidad considerable de datos con la
mayor facilidad posible dada las condiciones internas del centro universitario. El mecanismo anterior generaba que el
proceso de recoleccin de datos fuese mucho ms lento y propenso a cometer errores, a su vez aumentaba la dificultad
de realizacin en gran escala generando costos a la institucin. Por el contrario, este nuevo soporte no solo favorece un
alcance mayor a bajo costo, sino que tambin genera la posibilidad de la obtencin de los datos instantneamente.
Como sealan Orellana y Snchez (2006) en las plataformas educativas los datos obtenidos se caracterizan por su
formato digital, lo que proporciona al investigador la facilidad y comodidad de su registro en forma casi instantnea y
automtica mientras los datos van surgiendo, pues basta con hacer un par de clic para lograrlo.

Sobre la construccin del instrumento en formato digital


Las encuestas en Moodle son relativamente sencillas de abordar y la oferta de campos y escalas que ofrece se asemejan
al viejo formato en papel, entonces la construccin del instrumento no se torn un problema para el equipo, en cambio,
la dificultad estuvo en el momento de presentar el instrumento de recoleccin a los estudiantes para que pudiesen com
pletarlo y en el procesamiento posterior de los datos obtenidos.
Debido a que la plataforma educativa se cre originalmente para cursos en modalidades no presencial y semipresen
cial (Taylor & Maor, 2000), se consider oportuno generar un espacio tipo foro para alojar el instrumento. Este espacio se
ubicara al inicio de la plataforma y estara con acceso libre a los estudiantes y docentes.
Luego de generado el espacio se implementaron varios mdulos de evaluacin que contenan las evaluaciones del
centro, asignaturas y docentes en este orden. El primer mdulo contena un solo formulario para la evaluacin del Centro,
los segundos y terceros mdulos contenan varios formularios para las asignaturas del primer y segundo semestre y los
dos ltimos mdulos alojaron formularios suficientes para evaluar a los docentes de primer y segundo semestre. En la
siguiente figura se muestra como ejemplo la forma en que se presenta uno de los mdulos.

Este sistema elegido slo posibilita al estudiante a completar un cuestionario a la vez, por lo que se debi prever la
cantidad de cuestionarios como asignaturas y docentes el estudiante deseaba evaluar. En base a este aspecto a resolver,
el equipo debi estimar cuntos cuestionarios podra completar un estudiante que cursara un ao completo de univer
sidad, establecindose un nmero de 6 cuestionarios para asignaturas cursadas durante un semestre y 12 cuestionarios
para evaluar a sus respectivos docentes.
Una vez que el espacio se conform como tal, se prosigui a difundir el nuevo mecanismo implantado y a promover
entre el estudiantado la cumplimentacin de los cuestionarios.
En la siguiente figura se presenta el formato que toman las encuestas dentro de la plataforma:

A continuacin se detallan algunas percepciones que se observaron sobre este nuevo sistema:

Los estudiantes cuentan con el tiempo necesario para elegir o construir su respuesta sin entorpecer el tiempo
en el aula, hay ms tiempo para pensar y expresar mejor lo que se quiere decir.

Se eliminaron los cuestionarios entregados en blanco y se redujeron enormemente aquellos cuestionarios conside
rados inconsistentes.

Su naturaleza y desarrollo permite al estudiante responder los cuestionarios en diferentes ocasiones (sesiones)
sin provocar molestias en sus actividades.

Proporciona al equipo de investigacin la posibilidad de llevar un conteo en tiempo real de los formularios recibi
dos y hacer un seguimiento de las respuestas que se van obteniendo durante el proceso de recoleccin.

Debe hacerse hincapi en la difusin y comunicacin de la herramienta.


El equipo tcnico debe garantizar el respaldo continuo ante eventuales problemas de accesibilidad del estudiante
al cuestionario.
Por razones de seguridad de la plataforma virtual no es posible garantizar el absoluto anonimato del estudiante.
Debido a las limitantes del sistema Encuesta de Moodle una vez finalizada la obtencin de datos se debe proceder
a la fusin manual de las planillas que proporciona la plataforma virtual.

Sobre el anlisis de los datos


La plataforma virtual utilizada como soporte permite descargar los datos en distintos formatos (excel, ods, csv, txt) por lo
tanto puede ser levantados en cualquier software de anlisis estadstico (SPSS, STATA, R).
Frente a la necesidad de obtener informes sobre los resultados de las evaluaciones en forma peridica, se busc la
forma de automatizar los anlisis estadsticos y a su vez la redaccin de los informes. Para esto se comenz a utilizar la he
rramienta Sweave (Leisch, 2002a), que permite insertar el cdigo del software estadstico R en documentos de LaTeX con
el objetivo de realizar los anlisis de los datos. Este software permite actualizar los informes automticamente si los datos
cambian. Se ejecuta a travs de R y todas las salidas (anlisis estadsticos, tablas y grficos) se crean en ese momento y
se insertan en un documento de LaTeX, pudiendo obtener finalmente un archivo en formato Adobe.pdf (Leisch, 2002b).
Sweave es parte de la instalacin del R, que es un entorno de software libre de anlisis estadstico de datos. Tiene la
particularidad de compilar y ejecutar en una amplia variedad de plataformas UNIX, Windows y MacOS.
El archivo a crear contendr partes de cdigos escritos en R y partes de cdigos escritos en LaTeX y se guardar con
la extensin .Rnw. Luego en R se ejecutar Sweave (nombredelarchivo.Rnw), crendose un archivo con extensin .tex.
Sweave tambin permite escribir resultados en medio de un texto. Esta funcionalidad es muy til ya que si hay algn
cambio en los datos, los resultados cambian y con ello el resultado puesto en el medio del texto.
Se puede encontrar en Leisch (2002 a y b), Morales Rivera y Carmona (2007) descripciones detalladas de la interfase
entre Sweave y R. Lo que no se encuentra en estos textos es la forma de crear cdigos que puedan ser utilizados en suce
sivos anlisis. Esto se logra a travs de la creacin de funciones que ofrece el R, ya sea utilizando funciones ya creadas por
los miles de usuarios de R, adaptndolas o creando las especficas para nuestra tarea.
En la siguiente figura se muestra cmo se presenta el archivo con los cdigos de R y LaTeX donde se llama a la funcin
cuafreq, que calcula las frecuencias de estudiantes que completaron las evaluaciones por Sede donde cursa en la base
de datos Diag:

CONCLUSIONES
Ventajas y limitaciones del uso de la plataforma virtual para la recoleccin de datos:
Una de las ventajas encontradas durante la implementacin de este nuevo sistema de recoleccin de datos es que se
eliminaron los cuestionarios entregados en blanco y se redujeron enormemente aquellos cuestionarios considerados
inconsistentes ya que los estudiantes cuentan con el tiempo necesario para elegir o construir su respuesta sin entorpecer
el tiempo en el aula, hay ms tiempo para pensar y expresar mejor lo que se quiere decir.
Su naturaleza y desarrollo permite al estudiante responder los cuestionarios en diferentes ocasiones (sesiones) sin
ocasionar molestias en sus actividades y proporciona al equipo de investigacin llevar un conteo en tiempo real de los
formularios recibidos y hacer un seguimiento de las respuestas que se van obteniendo durante el proceso de recoleccin.
No es necesario invertir recursos humanos o materiales en el ingreso de los datos. Se facilita enormemente la produc
cin de informes. Las dificultades se han presentado en la difusin y comunicacin de la herramienta y en la apropiacin
del espacio de evaluacin por parte de los estudiantes. Tambin se hace necesario brindar soporte tcnico para garantizar
el acceso a la plataforma.
Finalmente, por razones de seguridad de la plataforma virtual no es posible que las respuestas sean annimas como
solicitaba parte de los estudiantes. En este sentido, se trabaj con los estudiantes informando sobre la proteccin del
microdato.

Ventajas y limitaciones del uso del Sweave para el anlisis de datos


y elaboracin de informes

Sweave permite tener en un solo archivo todos los cdigos para el anlisis estadstico, desde los ms simples, como los
anlisis descriptivos, hasta aquellos ms complejos, como los relacionados con la fiabilidad (correlacin testretest, alfa
de Cronbach), y validez de los instrumentos (anlisis factoriales). Tambin en el mismo archivo se escriben los cdigos
para las tablas y grficas. Permite crear los cdigos a ser utilizados en diferentes anlisis adaptndose perfectamente
para estudios longitudinales a gran escala. Esta es una ventaja que ayuda a ahorrar tiempo a mediano y largo plazo en los
anlisis y elaboracin de informes.
Las desventajas del Sweave estn relacionadas con el manejo de los lenguajes LaTeX y R, que requieren de una forma
cin especfica, especialmente este ltimo y de conocimientos de Estadstica que fundamenten los anlisis y su interpre
tacin (Garca Prez, 2008). Tambin se puede sealar como una limitacin no poder tener una visualizacin inmediata

de los resultados cuando se realizan modificaciones, debindose esperar a ejecutar el comando Sweave en el entorno R,
para luego abrir el archivo .tex y crear el pdf. Este proceso puede llevar varios minutos, dependiendo de la extensin del
archivo y la cantidad de grficos.
Si bien se debe invertir un tiempo considerable la primera vez que se escriben los cdigos, luego se hace mucho ms
sencillo replicar estudios con datos nuevos. Por ltimo, al ser R un software libre, cuenta con miles de colaboradores que
producen paquetes que facilitan algunos procesos y anlisis.

BIBLIOGRAFA
Carmona, F. (2007). Generacin automtica de informes con Sweave y LaTeX. Barcelona: Departamento de Estadstica.
Universidad de Barcelona.
Galotti, K. M., Clinchy, B. M., Ainsworth, K., Lavin, B., & Mansfield, A. F. (1999). A New Way of Assessing Ways of Knowing:
The Attitudes Towards Thinking and Learning Survey (ATTLS). Sex Roles, 40(9/10), 745766.
Garca Prez, A. (2008). Estadstica aplicada con R. Madrid: UNED.
Leisch, F. ( 2002a). Sweave: Dynamic generation of statistical reports using literate data analysis. In Wolfgang Hrdle and
Bernd Rnz, editors, Compstat 2002 Proceedings in Computational Statistics, pp. 575580. Physica Verlag, Heidelberg.
Leisch, F. (2002b). Sweave, part I: Mixing R and Latex. R News, 2(3):2831, December.
Moodle (2014). About Moodle. Features. Disponible en: moodle.org.
Morales Rivera, M.A. (s/f) Generacin automtica de reportes con R y LaTeX. Disponible en: cran.rproject.org/doc/contrib/
RiveraTutorial_Sweave.pdf
Murillo, J. (1999). Internet: Nuevas herramientas para la Investigacin Educativa. Revista de Investigacin Educativa, 17,
495499
Orellana Lpez, D. Snchez Gmez, C. (2006).Tcnicas de Recoleccin de Datos en Entornos Virtuales ms Usadas en la
Investigacin Cualitativa. Revista de Investigacin Educativa, Vol. 24, n. 1, pp. 205222.
Prez Juste, R. (2006). Evaluacin de Programas Educativos. Madrid: La Muralla.
Ros, I. (2008). Moodle, la plataforma para la enseanza y organizacin escolar.
Ikastorratza, eRevista de Didctica 2. Disponible en: http://www.ehu.es/ikastorratza/2_alea/moodle.pdf (ISSN: 1988
5911).
Taylor, P. C. & Maor, D. (2014). The Constructivist OnLine Learning Environment Survey (COLLES). Perth, Western Australia:
Curtin University of Technology. Disponible en: http://surveylearning.moodle.com/colles/.
Taylor, P. & Maor, D. (2000). Assessing the efficacy of online teaching with the Constructivist OnLine Learning Environ
ment Survey. In A. Herrmann and M.M. Kulski (Eds), Flexible Futures in Tertiary Teaching. Proceedings of the 9th
Annual Teaching Learning Forum, 24 February 2000. Perth: Curtin University of Technology.

Hacia una evaluacin comprehensiva


de la prctica docente en la universidad,
desde la metodologa mixta
14 de marzo de 2015

Hacia una evaluacin comprehensiva


de la prctica docente en la universidad,
desde la metodologa mixta
Dra. Alma Ma. del Amparo Salinas Quintanilla*
Universidad Pedaggica Nacional/Universidad Autnoma de Tamaulipas, Mxico.
salinasamparo@gmail.com
Mtro. Jos Guadalupe Daz Reyes
Universidad Pedaggica Nacional/Universidad Autnoma de Tamaulipas, Mxico.
jgpe51@gmail.com
PALABRAS CLAVE: evaluacin, prctica docente, metodologa mixta.
EJE TEMTICO: 2. Innovaciones en evaluacin y medicin del desempeo docente y directivo.
Refiere una propuesta para la utilizacin de metodologa mixta en la evaluacin de la prctica del docente universitario

Resumen

Evaluar la prctica docente presenta un complejo mundo de variables que inciden en sta. Evaluar la prctica
docente en la Universidad e ir hacia su comprehensin, dibuja escenarios diversificados, que solamente se pueden
atender a travs de la investigacin, desde una metodologa mixta. Escenarios que dibujen las lneas cuantitativas
del aula, entretejidas con las realidades abstractas de los sujetos que en ella interactan.
La metodologa mixta permite describir medidas e inferencias a travs de estudios de varianza y conocer percepciones y creencias del profesorado desde las subjetividades, emanadas en un grupo de discusin.
Los resultados obtenidos en esta experiencia investigativa se relacionan con variables, como: planeacin didctica, prcticas cotidianas, vinculacin universidad contexto e investigacin. En lo subjetivo, existe una tendencia a descifrar los significados que se configuran a travs de las interrelaciones con los otros, en el que los aspectos
culturales, psicopedaggicos y sociales se hacen presentes.
Actualmente, la prctica evaluativa de la funcin docente es concebida como un proceso de representacin,
formacin y transformacin a travs del cual se le da sentido y significado al proyecto universitario. Por lo tanto,
uno de los elementos indispensables para el ejercicio de sta es la prctica investigativa.

*Autor principal

INTRODUCCIN
La evaluacin de la prctica del docente universitario demanda estudios que permitan un anlisis profundo de la cuestin.
Estudios, que describan, no solamente las causas de los problemas; si no, tambin que ayuden a comprehender los procesos que se viven en la prctica cotidiana. Estas prcticas exigen el uso de metodologas que permitan conocer lo que
piensan y creen los protagonistas de la tarea educativa, sus representaciones y argumentos en el ejercicio de la accin
docente. Hay que advertir que la intencin por evaluar las prcticas docentes universitarias es consecuencia de la adopcin del enfoque por competencias que ha implicado roles distintos a los tradicionales tanto para los maestros como para
los estudiantes; y la evaluacin de la prctica docente puede resultar un elemento importante en el mejoramiento de la
misma prctica y la formacin continua del profesorado.
Stake (2006) seala que la evaluacin comprehensiva pretende reflejar la complejidad de las prcticas educativas.
Conlleva la finalidad de encontrar soluciones a los problemas que estn presentes en la cotidianidad, a travs del dilogo,
la discusin y el anlisis de sta.
Por su parte, Greene (2005) considera a los mtodos mixtos como una orientacin de la investigacin social que
permite valorar la realidad desde diversas perspectivas, considerando los aspectos objetivos y subjetivos de la misma.
Considerando que, la conceptualizacin de evaluacin de la prctica docente que prevalece en el mbito universitario,
es desde los resultados obtenidos a travs de cuestionarios que son aplicados a los alumnos, para conocer sus percepciones acerca de la prctica de los docentes. Los rubros que abarcan estos instrumentos se relacionan con la organizacin y
planificacin de la clase en el aula, la comunicacin del profesor con los alumnos, la forma en cmo se evalan los aprendizajes y con la asistencia del profesor a los horarios asignados. Es decir se asume un modelo de control burocrtico, que
solo sirve para asignar una puntuacin al estmulo a la carrera docente y se soslayan aspectos relacionados con la eficiencia de los procesos, dado que no se contempla el contexto, ni se utilizan otros procedimientos que rescaten los aspectos
subjetivos que estn presentes en el quehacer diario, en el aula.
Se vislumbra un profundo divorcio entre las dinmicas escolares y la normatividad para realizar la evaluacin de stas. Se promueven aprendizajes memorsticos que slo sirven para dar respuesta a exmenes estereotipados, alejados de
una realidad, que se dibuja impregnada de complejidades, en una sociedad cada vez ms turbulenta.
Coincidiendo con Ardoino (1997) se plantean las siguientes interrogantes cul es el sentido de la evaluacin de
la prctica docente desde las percepciones de los propios actores? qu tan confiables son los datos, producto de un
cuestionario sobre la evaluacin de la prctica docente universitaria? este tipo de evaluacin, tiene implicaciones en la
transformacin de la prctica? considerando a sta como una actividad compleja y multidimensional, que se realiza en
contextos especficos y desde la ptica de diversas perspectivas y entramado de creencias de cada sujeto.
Para ello se propone la utilizacin de una metodologa mixta que permita la comprehensin de la prctica docente
universitaria como experiencias vividas, en las que el factor humano es sensible a las caractersticas del contexto y sus
interactuantes.

Propsitos de la investigacin
Evaluar la prctica docente universitaria desde el paradigma de la metodologa mixta, para conocer y describir las variables y categoras asociadas con esta tarea: al mismo tiempo, que se incursiona en un modelo integrador y comprehensivo
del fenmeno estudiado.

DESARROLLO

Justificacin terica
Evaluacin formativa
Para innovar hacia una nueva cultura en la evaluacin de la prctica docente universitaria, se debe asumir una actitud
formativa; ya que, una evaluacin formativa favorece el desarrollo personal y profesional del sujeto y con ello se logra una
comprehensin del fenmeno. Una prctica formativa de la evaluacin, retroalimenta este quehacer, da voz a los actores
que participan en ella y permite la toma de desiciones de manera participativa.
Tejedor (2003) considera que,
la evaluacin formativa es aceptada por la mayora del profesorado universitario, aunque en algn caso se ponga
en duda su eficacia y la cientificidad de los procedimientos seguidos usualmente; el profesorado se implica mucho
ms en el debate sobre las estrategias a utilizar. La razn por la que los profesores aceptan este tipo de evaluacin
es porque reciben informacin sobre los resultados, porque se les evala sobre comportamientos especficamente
docentes y porque cada da en mayor medida el profesorado se interesa por aquello que puede hacerle sentir mejor
profesionalmente. (p. 166).

Una evaluacin de la prctica docente con carcter formativo implica el anlisis del ejercicio profesional in situ, con la
identificacin de fortalezas y debilidades de la misma; pero sobre todo, con la identificacin de acciones de mejora que
respondan a las problemticas enfrentadas. Este tipo de evaluacin es diversificado a travs de la autoevaluacin, evaluacin entre pares (colegas) y evaluacin externa. Transformar las prcticas evaluativas en procesos formativos requiere,
necesariamente, del ejercicio de prcticas investigativas, que permitan la identificacin de variables tratadas estadsticamente; pero tambin de procesos descriptivos e interpretativos que acerquen al profesorado hacia la comprehensin
y transformacin de la prctica docente propia.

Metodologa mixta
El anlisis de la prctica docente universitaria se considera un proceso complejo, cuyo estudio requiere del uso de paradigmas complementarios, que eliminen los sesgos de los enfoques galileanos o aristotlicos, que por aos se han utilizado
en las prcticas investigativas en el mbito educativo. Cmo encontrar la objetividad en una realidad impregnada de
subjetivismos?
La complejidad de la prctica docente demanda estudios que permitan un anlisis profundo de la cuestin, que permitan describir, no solamente las causas de los problemas, si no, tambin los procesos que se viven de manera cotidiana.
Exigen el uso de metodologas que permitan conocer lo que piensan y creen los protagonistas de la tarea educativa, sus
representaciones y argumentos de la accin docente.
Los mtodos mixtos segn Tashakkori y Teddlie (2010) representan una orientacin con epistemologa y tcnicas
especficas, con nfasis en una filosofa pragmtica sobre las consecuencias de la accin en las prcticas del mundo real.
Existen fundamentalmente tres razones que pueden determinar la integracin de los mtodos cuantitativo y cualitativo (mtodos mixtos) en la investigacin social: complementacin, combinacin y triangulacin. Bericat (1998) las define
de la siguiente manera:
Existe complementacin cuando, en el marco de un mismo estudio, se obtienen dos imgenes, una procedente
de mtodos de orientacin cualitativa y otra de mtodos de orientacin cuantitativa. Por lo que la estrategia de
combinacin se refiere se trata de integrar subsidiariamente un mtodo, sea el cualitativo o el cuantitativo,
en el otro mtodo, con el objeto de fortalecer la validez de este ltimo compensando sus propias debilidades mediante
la incorporacin de informaciones que proceden de la aplicacin del otro mtodo, a tenor de sus fortalezas metodolgicas.

La estrategia de triangulacin no trata de completar nuestra visin de la realidad en dos miradas, sino de utilizar ambas orientaciones para el reconocimiento de uno mismo e idntico aspecto de la realidad social. (p. 37-38).
Por lo que, esta estrategia metodolgica puede ser til en las prcticas evaluativas comprehensivas de la funcin
docente del profesorado universitario.

Prctica docente universitaria


En la actualidad, hablar de la prctica docente universitaria implica un proceso de acciones complejas que comprenden
tareas de diseo curricular y planificacin didctica, estrategias de ambientes de aprendizaje colaborativo y procesos
participativos de evaluacin y seguimiento de los aprendizajes.
Se exige a los profesores un amplio dominio disciplinar y pedaggico para crear ambientes de aprendizaje, desde una
perspectiva significativa, en los que los alumnos sean protagonistas de sus propios aprendizajes.
Ante estas exigencias, la prctica docente universitaria adquiere una connotacin intencional (Bazdresch, 2000) que
implica el ejercicio y prctica de acciones realizadas por el profesor para facilitar que el alumno construya sus propios
aprendizajes. Schn (1994) define la prctica profesional de los profesores, como un proceso creativo, de reflexin sobre
la accin que ejerce en los contextos donde ocurre la misma. El ejercicio de una prctica docente reflexiva est relacionado con las demandas de una profesionalizacin de la tarea del profesor.
Imbernn (1997) Prieto (2001) y Montero (2001) conceptualizan a la profesionalizacin docente como una compleja
trama de significaciones en torno a la educacin, desde sus dimensiones terico-prcticas, que se va construyendo y
reconstruyendo constantemente durante toda la vida profesional. Es un conocimiento que no es en absoluto nico, que
admite una gradacin desde el conocimiento del sentido comn hasta el conocimiento especializado. El conocimiento
de sentido comn o vulgar se presenta tambin en la estructura social, formando parte del patrimonio cultural de una
sociedad determinada, que se traspasa de generacin en generacin. Es por ello que los seres humanos son educados en
la familia, en la escuela y en la sociedad en general. (Salinas Quintanilla, 2013, p. 10-11).
El dominio disciplinario y pedaggico y el vnculo entre stos y las estrategias didcticas, son elementos de la prctica
docente que deben incorporarse en los procesos de evaluacin docente, con el propsito de identificar categoras, que
sirvan como referentes para establecer parmetros en la tarea evaluativa.

Aproximaciones a los resultados

Desde posturas pragmticas y con un diseo explicativo secuencial, los mtodos mixtos han permitido el anlisis de la
prctica docente, considerando para ello tareas propias de sta: planeacin didctica, desarrollo de la prctica docente,
investigacin; y vinculacin escuela comunidad. Cuyos resultados han sido contrastados con las percepciones que poseen
los profesores sobre sus propias prcticas. Percepciones construidas desde significados culturales, psicopedaggicos y
sociales. (Salinas Quintanilla, 2008).
En la etapa cuantitativa participaron 60 docentes universitarios (30 docentes de universidad privada y 30 docentes
de universidad pblica). Muestra no probabilstica dirigida, a la que se le administr un instrumento tipo escalar. En la
etapa cualitativa se realiz un grupo de discusin con la participacin de 6 docentes de educacin superior pblica y 4
docentes de educacin superior privada.
Para revisar la relacin entre las variables enunciadas, se utiliz la prueba estadstica de Chi cuadrada. Encontrndose
diferencias significativas, con niveles de confianza de .01 y .05 en tres de las variables estudiadas: planeacin didctica,
con una X 2 obtenida de 10.77 > 9.21 con una diferencia significativa con alpha= 0.01. Vinculacin universidad contexto con
niveles de confianza de .01 = 9.21, donde X2 = 12.82. Desarrollo de la prctica docente present diferencias estadsticas
significativas con niveles de confianza X 2 = 23.13 > 9.21. La variable denominada investigacin no present significancia.
Lo que permite deducir que existe una gran brecha entre la teora y la prctica, ya que la investigacin permite el acercamiento al conocimiento construido por otros, al mismo tiempo que brinda herramientas para el anlisis de situaciones
cotidianas que estn presentes en el quehacer pedaggico. Si bien es cierto que existe una preocupacin por las tareas de

planeacin y el desarrollo de la prctica docente, as como la necesidad de estrechar los vnculos de la universidad con su
contexto, el quehacer ulico se mantiene anclado en una formacin academicista.
Con el fin de comprobar las diferencias significativas entre los indicadores analizados, se utiliz el anlisis de varianza
univariada (ANOVA). En cada caso se observ que el valor de p-crtico fuera menor a 0.05. Adems se aplicaron las pruebas post hoc de Tukey y de Tamhanes para mayor precisin en este tipo de anlisis. Encontrando diferencias significativas
en las variables planeacin didctica y desarrollo de la prctica docente, entre los docentes de educacin superior privada
y los docentes de educacin superior de una universidad pblica.
De esta manera se comprueba que el quehacer ulico se constrie a un modelo pedaggico tradicionalista, donde lo
que preocupa es que el alumno guarde en la memoria una serie de datos y acontecimientos, sin que se cuestione para qu
le sirven o qu relacin guardan stos, con el contexto.
Desde un anlisis cualitativo, la prctica docente aparece conformada por dos categoras: dimensin personal y
dimensin institucional.
La categora dimensin personal tiene que ver con el significado de ser profesor, y sobre el cmo y dnde se ha aprendido a serlo.
Un docente debe ser muy alegre, optimista, creativo, debe comprender a sus alumnos y trasmitirles
sus conocimientos (D1).

Se hace nfasis en caractersticas personales, al mismo tiempo que se dibuja la tarea del docente mediador entre los
alumnos y el proceso enseanza aprendizaje. Entendindose por mediador como el sujeto que se encuentra en medio de
dicho proceso y el cual selecciona y distribuye actividades y recursos para que se desarrolle el acto cognitivo.
Tambin, se describe al docente como un individuo que se muestra abierto a la opinin de los otros

Significa ante todo la aceptacin de las ideas...de otros valores. Estar siempre abiertos al cambio...a la superacin. (D1).
Nuestra labor empieza con humanizar la educacin, con ayudar a los alumnos a soar, a desear ser mejores. (D3).
Se puede observar en estas conceptualizaciones la combinacin de un modelo de apostolado con una orientacin
racional tcnica, donde se mezclan virtudes humanas y conceptos tcnicos en la definicin del profesor. Priorizando la
razn instrumental, como factor dominante, lo normativo, lo formal, lo tcnico, lo burocrtico. (Hirsch, 1996).
El cmo y dnde han aprendido a ser profesores, alude a la dimensin personal de la prctica docente y en ese sentido
resulta fundamental identificar las diversas influencias que se reconocen en la formacin y ejercicio de la docencia.
En la categora denominada dimensin institucional se alude a los tiempos y espacios escolares y a las competencias
profesionales que caracterizan las prcticas docentes.
Considero que tenemos un amplio margen para innovar, cuando no perdemos el rumbo y no nos olvidamos
que somos maestros, que nos debemos a nuestros alumnos y que apoyndonos de todo lo que est a nuestro alcance
les proporcionamos los medios para la informacin. (D5).

En este discurso predomina la idea de que el docente tiene el espacio necesario para innovar, pues se debe antes que
nada al alumno y a la comunidad donde realiza la prctica docente. Caracterizando a sta como un apostolado, donde se
necesita el esfuerzo constante y de la disposicin en cualquier momento del profesor.
Si queremos, el espacio que tenemos para innovar es toda nuestra comunidad, maestros, padres de familia
siempre haciendo un trabajo armnico para poder ser agentes de cambio de la comunidad que rodea la institucin
Esta innovacin la hacemos pensando siempre en nuestros alumnos que son el futuro de nuestro pas. (D3).

Tambin existen otras opiniones, las menos, diferentes en el sentido de que el profesor se enfrenta a innumerables
obstculos, ambiguamente mencionados y poco abundados, en lo que se precisa un poco es en el aspecto de las condicio-

nes materiales del trabajo; y por otro lado, expresado de forma oral por algn participante, la dificultad en las relaciones
humanas que existen en algunas instituciones.
El maestro se enfrenta en su labor cotidiana con un gran nmero de obstculos que se le presentan que le impiden
hasta cierto punto innovar, podemos vencer las limitaciones en nuestro contexto, asimismo invitar a los compaeros
a innovar. (D5).

Al hablar de innovacin, no se puede ignorar que sta lleva implcita un proceso de reflexin sobre las condiciones
personales, sociales y laborales; y que por lo tanto conlleva un trabajo colaborativo, que trae como consecuencia una
nueva cultura del trabajo docente, basada en el trabajo de academias.
Desde el punto de vista emprico, el docente universitario en el desempeo de las prcticas cotidianas no es tan creativo, como se pudiera esperar, segn los elementos-condiciones materiales del trabajo, saberes particulares e historia
individual y de la institucin en la que se labora, segn Heller citado por (Carrizales, 1987, p. 73-74) La vida cotidiana
est caracterizada, por la continuidad, el pragmatismo, economicismo, ultra generalizacin, mimesis, prejuicio, espontanesmo y entonacin; en ella prevalece el hbito, la costumbre, la norma, la razn, es decir la permanencia.
A partir de todo lo anterior se puede deducir, que las relaciones que se establecen entre los sujetos de la institucin
profesores, alumnos, directivos, comunidad le dan un sentido particular a las prcticas, mismas que no pueden ejercerse como lo quiere algn individuo particular ni como lo desea la institucin; sino que se entrecruzan las expectativas,
intenciones, significados, proyectos y experiencias, de quienes construyen la cotidianeidad en el trabajo y al combinarse
estos niveles de lo social en la prctica, se conforman interacciones entre los individuos, modos de pensar, maneras de actuar, entonces las prcticas educativas institucionales se constituyen en Un espacio tiempo de concrecin y conjuncin,
tanto de concepciones, propsitos y lineamientos operativos derivados de las propuestas socio-educativas, as como de
experiencias, percepciones y proyectos de quienes en ella intervienen (Zamora y Pineda, 1995, p. 8).
Por lo que, en el desarrollo de las prcticas docentes universitarias se identifican problemas bsicos, que se ubican
principalmente en tres planos del conocimiento: el conceptual, el operativo y el actitudinal. El primero se refiere al
dominio de los conceptos bsicos de la profesin; el segundo, al dominio de las competencias necesarias para desarrollar las tareas propias de la profesin; y el ltimo se refiere a las capacidades para relacionarse adecuadamente con
los dems en el contexto laboral. Aspectos que deben reflejarse en las prcticas evaluativas de la prctica docente
universitaria y esto solamente se puede obtener mediante la aplicacin de instrumentos cuantitativos y cualitativos.
(mtodos mixtos).

CONCLUSIONES

Actualmente, las prcticas de evaluacin se conciben como un proceso gradual de transicin desde una perspectiva tradicionalista, que considera este proceso con una funcin esencialmente cuantitativa, hacia una perspectiva de la evaluacin
integrada al propio proceso de enseanza-aprendizaje con un carcter formativo, donde la evaluacin constituya una
situacin de aprendizaje.
Los resultados obtenidos en el anlisis de la variable investigacin, en los que se presenta una carencia de esta prctica en las tareas a evaluar, denotan el ejercicio de prcticas docentes vinculadas a la teora, priorizando este tipo de
conocimiento y soslayando el desarrollo de competencias instrumentales; y por ende, actitudinales.
Las prcticas de la evaluacin, desde un modelo tradicional, persisten y son frecuentes en las instituciones universitarias. Es decir, se relaciona a la evaluacin con instrumentos estandarizados, que sirven para sumar puntos y recibir
estmulos econmicos. Raramente los resultados de la evaluacin de la prctica docente retroalimentan el quehacer cotidiano que se realiza en las aulas.
Por lo que, es una necesidad urgente la migracin hacia una conceptualizacin de la evaluacin de la prctica docente que permita el desarrollo autnomo de docentes y alumnos, que favorezca la creacin de ambientes de aprendizaje, a travs de investigaciones desde una metodologa mixta, en el que se entretejan los hilos de la subjetividad en la

cotidianeidad de los hechos construidos empricamente. Incorporar en las prcticas de evaluacin docente, aspectos
relacionados con la dimensin personal de los sujetos, a travs del significado de ser profesor y el cmo y dnde se ha
aprendido a serlo. Aspectos relacionados con el contexto institucional, desde el que se realizan las prcticas docentes,
tales como: el uso de los tiempos y espacios escolares; pero sobre todo, a las competencias profesionales que posee y
aplica el docente universitario en la realizacin de stas.
Esto trae como consecuencia un cambio en la conceptualizacin de la enseanza y de los aprendizajes. Un cambio de
paradigma en la planeacin didctica y en los procesos de evaluacin de los procesos ulicos. Pero sobre todo, surge la
necesidad de las prcticas investigativas como un recurso para realizar una evaluacin comprehensiva de los procesos
educativos.
Como respuesta a la razn instrumentalista vitoreada por la modernidad, surgen las metodologas mixtas (cuantitativocualitativo) que permiten rescatar el objeto y el sujeto que interactan en situaciones complejas (prcticas docentes)
y con ello visualizar un amplio campo de la cultura de la evaluacin de stas.

BIBLIOGRAFA
Ardoino, J. (1997). La evaluacin en el nivel universitario. Mxico: Universidad Iberoamericana.
Bazdresch, M. (2000).Vivir la educacin, transformar la prctica. Mxico: SEP-Conaculta.
Bericat, E. (1998). La integracin de los mtodos cuantitativo y cualitativo en la investigacin social. Barcelona: Ariel.
Carrizales, C. (1987). Formacin de la experiencia docente. En Anlisis de la prctica docente. (Antologa ) Mxico: SEPUPN.
Greene, J. C. (2005). Synthesis: A reprise on mixing methods. En Discovering successful pathways in childrens development:
Mixed methods in the study of childhood and family life. 405-419.
Hirsch, A. (1996). Educacin y burocracia. Mxico: Gernika.
Salinas Quintanilla, A. M. d A. (2008). Percepciones del profesorado sobre la profesionalizacin y prcticas docentes: significados culturales, psicopedaggicos y sociales. (Tesis doctoral indita). Universidad Autnoma de Tamaulipas. Cd.
Victoria, Tamaulipas, Mxico.
Salinas Quintanilla, A. M. d A. (2013). Las percepciones del profesorado y la profesionalizacin docente. Estudio desde la
complementariedad metodolgica. Alemania: Acadmica Espaola.
Schn, D. (1994). La prctica reflexiva: aceptar y aprender de la discrepancia.Cuadernos de pedagoga, 222, 8892.
Stake, R. (2006). Evaluacin comprensiva y evaluacin basada en estndares. Barcelona: Grao.
Tashakkori A, Teddlie C. (2010). Mixed Methods in Social and Behavioral Research. Los Angeles CA: Sage.
Tejedor, F. J. (1985). Problemtica de la enseanza universitaria. Revista de Investigacin Educativa, 3 (6).
Zamora, A. y Pineda, J. M. (Ed.) (1995). Reflexin terico metodolgica para el estudio de la prctica docente. Mxico: UPN.

Aspectos metodolgicos de la encuesta


de opinin estudiantil del curso y el docente
en la Facultad de Ciencias Sociales, Uruguay
14 de marzo de 2015

Aspectos metodolgicos de la encuesta


de opinin estudiantil del curso y el docente
en la Facultad de Ciencias Sociales, Uruguay
Natalia Moreira Cancela
Licenciada y Magster en Sociologa, Universidad de la Repblica, Uruguay,
natalia.moreira@cienciassociales.edu.uy
PALABRAS CLAVE: E
 valuacin de los cursos, Evaluacin de los docentes, Espacio Virtual de Aprendizaje,
Facultad de Ciencias Sociales, Universidad de la Repblica.
EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

El objetivo de este trabajo es dar cuenta de las transformaciones metodolgicas y de implementacin por las que
ha transitado la Encuesta de opinin estudiantil del curso y el docente de la Facultad de Ciencias Sociales (FCS) de
la Universidad de la Repblica (UdelaR) de Uruguay en el ltimo perodo.
Durante el ao 2013 y el primer semestre de 2014 sesion una comisin asesora del Consejo de la FCS que
tuvo como principal cometido trabajar para la modificacin de los cuestionarios utilizados para la evaluacin
estudiantil, as como tambin analizar y proponer nuevas modalidades de aplicacin de la misma. Luego de un
largo proceso institucional, en el segundo semestre de 2014 comenz la implementacin de esta nueva encuesta
de evaluacin del plantel docente y de las asignaturas. Este proceso implic la confeccin de nuevos cuestionarios,
as como tambin la realizacin de modificaciones en el procesamiento de la informacin a la interna de la FCS, y
la realizacin de una evaluacin piloto utilizando las Tecnologas de la Informacin y Comunicacin (TIC) disponibles en la UdelaR.
Se considera relevante presentar la evaluacin de esta experiencia de transformacin, ya que podra ser de utilidad para otras instituciones educativas que estn repensando su sistema de evaluacin docente, al tiempo que se
plantean algunas respuestas al debate sobre la implementacin de estas encuestas de forma personal o utilizando
las TIC, siempre presente en lo que a este tema refiere.

INTRODUCCIN
La Facultad de Ciencias Sociales de la Universidad de la Repblica de Uruguay fue creada por resolucin del Consejo Directivo Central en 1989 y comenz a funcionar en 1991.1 Desde 1998 lleva adelante la denominada Encuesta de opinin
a estudiantes sobre los cursos y el profesorado, la cual se aplica en cada semestre lectivo a todos los cursos y docentes.
La Unidad de Asesoramiento y Evaluacin (UAE) se ocupa de toda la gestin referida a esta actividad, que consiste en la
coordinacin de horarios con docentes, la contratacin, capacitacin y supervisin de becarios que se ocupan de aplicar
la encuesta, la gestin posterior de procesamiento de formularios y la difusin de los resultados.
Durante el ao 2013 y el primer semestre de 2014 sesion la Comisin de Encuestas Estudiantiles, creada por el
Consejo de facultad por la resolucin N 1552 de fecha 4.10.2012 con integrantes de las diferentes unidades acadmicas
de la facultad (Departamento de Sociologa, Departamento de Trabajo Social, Instituto de Ciencia Poltica, Unidad Multidisciplinaria y Departamento de Economa), la UAE y el orden estudiantil. El cometido de esta comisin fue revisar el
entonces actual modelo de evaluacin estudiantil, y proponer modificaciones para su mejor funcionamiento. Luego de un
largo proceso de intercambio y discusiones, se alcanzaron acuerdos y el documento elaborado por la Comisin fue aprobado por el Consejo de la FCS. En este segundo semestre de 2014 se comenz con la implementacin del nuevo modelo
de evaluacin.

LA EVALUACIN ESTUDIANTIL EN CIENCIAS SOCIALES


La evaluacin estudiantil entre 1998 y 2013
Desde 1998 la Facultad de Ciencias Sociales aplica la Encuesta de opinin a estudiantes sobre los cursos y el profesorado con el objetivo de relevar las opiniones de los estudiantes acerca de los cursos que se dictan en cada semestre y los
docentes involucrados.
La informacin recogida en esta evaluacin es un insumo para el proceso continuo de mejoramiento de la actividad
de enseanza, en tanto recoge las opiniones y percepciones vertidas por los estudiantes sobre la misma. La valoracin
estudiantil de aspectos concretos y cotidianos de la enseanza se integra a un ciclo que, conjuntamente con la opinin de
docentes, la investigacin y la gestin acadmica, la fortalezcan en su dimensin pedaggica.
Por otra parte, se integra como un elemento en la evaluacin global de la funcin docente en el contexto de la renovacin de los cargos. En este sentido es relevante el manejo cuidadoso de los informes que surgen de las encuestas en el
contexto del conjunto de la actividad del docente, la asignatura, licenciatura, entre otros.

Aspectos metodolgicos y difusin de la informacin


La evaluacin estudiantil se realiza en la Facultad de Ciencias Sociales en cada semestre lectivo y consiste en el relevamiento de las opiniones de los estudiantes acerca de los cursos a los que asisten y los docentes que dictan las clases.
Se trata de una evaluacin annima, en donde se releva informacin sobre diversos aspectos vinculados a desempeo
docente en la funcin de enseanza, la relacin docente estudiante y las estrategias de enseanza utilizadas.
Estas encuestas se ubican en un contexto ms amplio de la evaluacin de la funcin docente, la que comprende diversas modalidades, entre ellas la evaluacin realizada por el superior y la realizada por los pares. Se entienden como
un insumo del proceso de evaluacin docente, aportando informacin valiosa sobre aspectos de la funcin de enseanza
desde la perspectiva de los estudiantes, sujetos directamente involucrados en esta tarea.
http://cienciassociales.edu.uy/institucional

Esta evaluacin se organiza en 2 formularios, uno destinado a la evaluacin de las asignaturas, y otro para la evaluacin de los docentes. La opinin de los estudiantes se determina para la mayor parte de las preguntas a travs de una
escala con elementos de tipo Likert de cinco puntos, donde las categoras de respuesta son Totalmente en desacuerdo,
En desacuerdo, Ni de acuerdo ni en desacuerdo, De acuerdo, y Totalmente de acuerdo).
En el caso del cuestionario de evaluacin de docentes, releva la percepcin de los estudiantes en cinco dimensiones:
Requerimientos formales (2 tems), Dominio de la asignatura (1 tem), Organizacin del curso (3 tems), Didctica en el
aula (6 tems) y Aprendizaje (1 tem) (Perera el al, 2012).
El cuestionario de asignatura
releva informacin relativa a aspectos de organizacin del curso que favorecen el aprendizaje de los estudiantes y
cuestiones de tipo motivacional en relacin a la materia, as como algunas caractersticas que permiten aproximarse
escasamente al perfil del estudiante. As se pueden organizar los tems en las siguientes dimensiones: Organizacin
general de la asignatura (7 tems), Aspectos motivacionales (4 tems) y Perfil del estudiante (6 tems). En este segundo
instrumento no todas las respuestas son de escala, ya que algunas preguntas deben ser agrupadas en categoras
especficas de respuesta. (Perera el al, 2012).

Los formularios originalmente contenan una hoja adicional sobre preguntas que caracterizaban al estudiante. Actualmente no se aplican, ya que desde hace varios aos fueron eliminados por el tiempo que llevaba el llenado de los
formularios.
Los formularios en papel se aplican durante las ltimas 6 semanas de curso (en cada semestre), personalmente en el
saln de clase. Para realizar esta tarea se contratan 3 becarios que tienen como principal tarea la visita a cada una de las
clases, la aplicacin de los formularios y la supervisin de los mismos.
La poblacin encuestada actualmente no coincide con los inscriptos a los cursos, ya que hay estudiantes que abandonan por motivos personales o laborales, que obtienen bajas calificaciones en las primeras evaluaciones parciales, y que se
desvinculan del curso antes de que se aplique la evaluacin.
El procesamiento de los datos se realiza fuera de la Facultad de Ciencias Sociales a travs de un scanner que permite
la lectura de los datos registrados en los formularios. Este procedimiento es realizado en el Centro de Estudiantes de la
Facultad de Ingeniera de la UdelaR.
Los informes correspondientes a estas evaluaciones son enviados a los docentes que los solicitan y a los directores
de las unidades acadmicas. Tambin son adjuntados a los informes de actividad docente que se presentan al Consejo de
facultad. Estos informes son uno de los elementos con los que se cuenta para la renovacin de los docentes en sus cargos.
Estos documentos actualmente no presentan indicadores agregados (como promedios), sino tablas de frecuencias
(absolutas y relativas) de los valores en la escala de 1 a 5 de las respuestas, y los diagramas de barras (histogramas) correspondientes. En cada una de las preguntas se informa del nmero de respuestas vlidas para la misma.
Algunos de los puntos dbiles del sistema tradicional que fueron identificados por Biramontes y Segovia (2012) se
relacionan con: 1) la logstica que requiere, 2) los costos que tiene y 3) lo lento que resulta el proceso desde su aplicacin
hasta su anlisis y divulgacin de los resultados.
En relacin al primer aspecto, la logstica, se comienza a trabajar en la planificacin de la evaluacin desde el inicio
del semestre lectivo. Desde Bedela de facultad se envan los datos a la UAE sobre las asignaturas, los cursos, docentes
y horarios del semestre. Esta informacin es corroborada con los responsables de las 4 licenciaturas que se dictan en
facultad,2 y luego se procede a la confeccin del calendario de visitas. Para el armado de este calendario se coordina con
los docentes sobre sus preferencias de das y horarios para la realizacin de la encuesta. Luego de esto se convoca a los
becarios que trabajarn en la encuesta y se los capacita para la tarea a desempear. Debido a que la contratacin es solamente por 6 semanas, algunas veces resulta complejo encontrar a becarios que estn dispuestos a asumir la tarea, y en
algunas ocasiones se producen renuncias durante el proceso de trabajo.
En cuanto al segundo punto, referido a los costos, la aplicacin de esta encuesta en papel requiere costos de impresin
de formularios, los sueldos de los becarios y el procesamiento por fuera de la facultad.
Sociologa, Ciencia Poltica, Trabajo Social y Desarrollo

Por ltimo, otra de las desventajas que tiene el sistema de evaluacin que histricamente se aplica en la facultad tiene
que ver con los tiempos de gestin, aplicacin y procesamiento de la informacin. Desde que se inicia el contacto con
Bedela, para tener el acceso a la informacin de los cursos y docentes hasta que se entregan los informes a los docentes
pasan 6 meses. Si uno de los objetivos que tiene esta evaluacin es poder generar insumos para la transformacin y mejora de los cursos y mtodos de enseanza, es necesario contar con la informacin en un plazo menor, que permita actuar
rpidamente sobre los problemas detectados.

La encuesta de opinin estudiantil del curso y el docente. 2014


Luego del trabajo realizado durante el ao 2013 y principios de 2014 por la Comisin asesora del Consejo en esta materia,
se aprobaron una serie de modificaciones a la anterior evaluacin estudiantil.

1. Se modifica su anterior denominacin, para llamarse a partir del segundo semestre de 2014 Encuesta estudiantil de
evaluacin del curso y el docente. Esta encuesta se ocupar del desempeo docente en la funcin de enseanza, la
relacin docente estudiante, las tcnicas didcticas y las estrategias de enseanza, distinguindose claramente de la
evaluacin global de un docente.
2. Se establece de forma explcita que la poblacin objetivo cuya opinin se desea recoger es el conjunto de estudiantes
que han establecido un vnculo activo con la asignatura y el o los docentes, dejando en claro que los estudiantes que
participan de la evaluacin estudiantil no son todos los inscriptos.
3. Se propone la realizacin en forma experimental de un relevamiento de las encuestas basado en la respuesta online
usando el Espacio Virtual de Aprendizaje (plataforma moodle de la UdelaR).3 Se propone que en el segundo semestre de 2014 se ponga en prctica para un conjunto de asignaturas y se estudie los resultados de la experiencia para
evaluar su generalizacin.
4. La Comisin propone un conjunto de cambios en la administracin de las Encuestas. Se mantendr el secreto estadstico de las respuestas individuales. No se establece en el mediano plazo la obligatoriedad de las encuestas. Se plantea
la devolucin de algunos resultados en forma pblica.
5. La Comisin propone que mientras las encuestas se continen relevando en papel, el procesamiento de los formularios pase a realizarse dentro de Facultad de Ciencias Sociales. El ahorro de recursos y la mejora en la calidad de la
informacin a travs de la validacin de los formularios justifican esta decisin.
6. Se realiza una propuesta de nuevos formularios de docente y asignatura, y de nuevos formatos para los informes respectivos.

Nuevos formularios del curso y el docente


La estructura de la nueva encuesta de evaluacin incluye tres secciones: I. Perfil del estudiante; II. Cuestionario de asignatura, que a su vez incluye II.1 Organizacin de la asignatura, II.2 Relacin con la asignatura y II.3 Aspectos motivacionales
y III. Cuestionario del docente, que contiene III.1, Actividad del docente y III.2 Didctica y aprendizaje. Estas secciones no
aparecen identificadas en el formulario que se aplique, igual que se ha estado haciendo hasta hoy.
Estos formularios se aplicaron por primera vez durante las ltimas 6 semanas del segundo semestre de los cursos de
2014. Fueron bien recibidos por los estudiantes y docentes, y a pesar de que se incluy nuevamente un apartado destinado al perfil de los estudiantes no hubo un incremento de tiempo relevante.
Actualmente la Facultad ha terminado el procesamiento de los datos y se encuentra realizando la tarea de difusin
de los informes que contienen los resultados de la encuesta. En un anlisis rpido hemos podido valorar la importancia
de la ltima pregunta de ambos cuestionarios, en donde se les permite a los estudiantes agregar comentarios que crean
pertinentes acerca de la asignatura y de cada docente evaluado. Este espacio, sobre el que no tenamos la certeza de que
eva.universidad.edu.uy

fuera a ser utilizado por ellos, result de gran relevancia. Aparecieron importantes valoraciones de parte de los estudiantes, ya sea para premiar a algn docente, como tambin para dejar plasmadas sus crticas, que en la mayor de las veces
presentan argumentos. Este espacio ha permitido complementar de manera sustantiva las respuestas a las preguntas
cerradas que se incluyen en la encuesta.

Primeros resultados de la evaluacin en lnea


Durante el segundo semestre de 2014, adems de aplicarse los nuevos formularios en papel, se realiz un piloto en donde
se seleccionaron algunas asignaturas y docentes para que participaran de la evaluacin en lnea. Para esta evaluacin
se consideraron algunos elementes que se entendieron relevantes. Se seleccionaron cursos del ciclo inicial y del ciclo
avanzado; que pertenecieran a las mallas curriculares de las 4 licenciaturas que se dictan en facultad; y que estuvieran
dictados por docentes que tuvieran ms de un subgrupo a su cargo. Este piloto de evaluacin, al igual que la evaluacin
en formato papel, no es obligatorio para los estudiantes, ya que no est dispuesta ninguna sancin por la no participacin
de la encuesta.
En el siguiente cuadro presentamos las asignaturas seleccionadas para la evaluacin piloto y las licenciaturas a las
que pertenecen.
Cuadro 1 Asignaturas seleccionadas para la evaluacin piloto en lnea segn licenciatura
Licenciatura

Asignatura
Estadstica Social
Metodologa de la Investigacin

Ciclo inicial

Historia contempornea de Amrica Latina


Seminario multidisciplinario
Matemtica para las Ciencias Sociales
Sociologa del Uruguay

Sociologa/Desarrollo/ Trabajo social

Metodologa cuantitativa II. Probabilidad y muestreo

Sociologa/Desarrollo/ Trabajo social

Cualitativa II: Anlisis cualitativo

Sociologa/Desarrollo/ Trabajo social

Epistemologa

Sociologa

Anlisis sociolgico I

Sociologa/Trabajo social

Teora sociolgica IV

Ciencia Poltica

Instituciones II

Fuente: elaboracin propia

Para la realizacin de este piloto se cre un curso en la Plataforma EVA dedicado especficamente a la evaluacin estudiantil. Los estudiantes pertenecientes a los cursos seleccionados fueron matriculados a partir de la lista de inscriptos a
cursos y fueron comunicados directamente a su correo electrnico sobre la invitacin a participar de la evaluacin. Cada
uno de los estudiantes deba ingresar al sitio en EVA y automticamente le aparecan los cursos y docentes que tena que
evaluar. Se cre un foro de intercambio para las dudas que pudieran surgir.
La aplicacin del piloto se realiz entre el 25 de noviembre y el 4 de diciembre de 2014. Durante este perodo se enviaron 2 mensajes a los estudiantes, recordando los plazos para la participacin de la encuesta.
Como primeros resultados de este piloto podemos decir que tuvo muy buena repercusin de parte de los estudiantes.
En el primer da en que estuvo disponible la encuesta se recibieron casi 200 formularios. A su vez, el foro creado para las
consultas de los estudiantes tuvo una alta participacin, en donde surgieron algunas inquietudes de parte de ellos, principalmente a raz de que haban cambiado de grupo y no podan evaluar al docente con el que efectivamente haban cursado.

Al culminar el plazo para la realizacin de la evaluacin en EVA se completaron 690 formularios, incluyendo evaluaciones de asignatura, de docentes responsables de clases tericas y ayudantes de prctico.
A continuacin presentamos un cuadro comparativo entre las evaluaciones realizadas en EVA y en papel de los docentes que dictan cursos prcticos.
Cuadro 2 Comparacin de evaluaciones realizadas en EVA y en papel
Formularios en EVA

Formularios
en papel

EVA -papel

Docente 1

30

17

13

Estadstica - CI

Docente 2

21

14

Estadstica - CI

Docente 3

18

-12

Metodologa - CI

Docente 4

34

11

23

Historia del Amrica Latina - CI

Docente 5

29

39

-10

Asignatura

Docente

Estadstica - CI

Diferencia

Seminario - CI

Docente 6

19

28

-9

Seminario - CI

Docente 7

18

16

Seminario - CI

Docente 8

38

30

Sociologa del Uruguay - CI

Docente 9

12

19

-7

Cualitativa II. Anlisis cualitativo - CA

Docente 10

17

16

Teora Sociolgica IV - CA

Docente 11

11

-7

228

212

15

TOTAL
Fuente: elaboracin propia

Como figura en el cuadro, en las evaluaciones realizadas a los docentes de prctico, la cantidad de evaluaciones realizadas en EVA superan a las evaluaciones en formato papel (228 a 212). Tambin podemos observar en la ltima columna
las diferencias caso a caso, donde vemos que en ms de la mitad de los casos la cantidad de las evaluaciones realizadas en
lnea es mayor que las hechas en papel.

CONCLUSIONES

En este segundo semestre de 2014 comenz a implementarse la Encuesta estudiantil de evaluacin del curso y el docente
luego de las modificaciones aprobadas por el Consejo de la Facultad de Ciencias Sociales. Estas transformaciones implicaron la aplicacin de nuevos formularios y la realizacin de un piloto de evaluacin en lnea.
Los nuevos formularios incorporan informacin del perfil de los estudiantes y algunos indicadores de resumen del
desempeo docente, al tiempo que se elimina informacin que puede ser recogida desde otros mecanismos institucionales (asistencia, horario, entre otros) Incluyeron tambin una pregunta destinada al planteo de comentarios sobre los
docentes y las asignaturas que fue utilizada por los estudiantes para dar cuenta de sus valoraciones, presentando muchas
veces argumentos a sus planteos. Se cree que este espacio de opinin abierto es uno de los aspectos novedosos que trae
esta evaluacin y que sin duda es de gran relevancia para complementar y fundamentar las respuestas que aparecen en
las preguntas cerradas. Aparecieron principalmente valoraciones muy positivas y muy negativas acerca de los cursos y
los docentes, justificando en cada caso esta opinin.
Tambin se aplic en este semestre el piloto de la evaluacin en lnea a travs de la plataforma moodle de la UdelaR.
La aplicacin de la encuesta bajo esta modalidad permiti independizar la contestacin por parte de los estudiantes del hecho de asistir fsicamente al curso. Asimismo elimin la instancia de escaneado de los formularios para su procesamiento,

en la cual se perda una parte muy grande de la informacin de los formularios y haba una gran demora en los plazos.
Los resultados de las encuestas respondidas en lnea estn disponibles y pre-procesados casi inmediatamente.
Si esta modalidad se aprueba de forma definitiva a partir de los resultados encontrados, se podrn reasignar los
recursos actualmente destinados a la contratacin de becarios e impresin de formularios, aplicndolos a fortalecer
las capacidades de anlisis y procesamiento internos en la Facultad de Ciencias Sociales.

BIBLIOGRAFA
Biramontes, T. y J. Segovia (2012), La evaluacin docente en la FCS: consideraciones sobre su potencial y propuestas de
mejora. Unidad de Asesoramiento y Evaluacin (UAE), Facultad de Ciencias Sociales, Universidad de la Repblica.
Moodle.org, Foro de Discusin sobre Herramientas para Encuestas de Evaluacin Docente en linea con Moodle. https://
moodle.org/mod/forum/discuss.php?d=124016
Paramo, R. Estndares de Calidad, Accesibilidad y Usabilidad para la realizacin y el diseo de Encuestas por Internet
http://www.netquest.com/papers/Rparamo_Estandares_enconline.pdf
Perera, H et al (2012) La evaluacin de las actividades docentes segn la opinin de los estudiantes de la FCS UAE FCS
UdelaR. Disponible en: http://www.fcs.edu.uy/archivos/DT%20evaluacion%20actividades%20docentes%20x%20
opinion%20de%20los%20estudiantes%20de%20la%20FCS.pdf
Unidad de Asesoramiento y Evaluacin (UAE) (2012). Informe acerca de la Evaluacin de la funcin de enseanza:
Encuesta de opinin a estudiantes sobre los Cursos y el Profesorado. (1993-2011).
U. de Burgos Encuestas de evaluacin docente on-line: Modelo de Encuesta Institucional. http://www.ubu.es/es/
eval-docente-1

Instrumento para evaluar el desempeo


docente en educacin secundaria
desde la percepcin de los estudiantes
14 de marzo de 2015

Instrumento para evaluar el desempeo


docente en educacin secundaria
desde la percepcin de los estudiantes
Autor principal: Irma Gloria Arregui Eaton
Licenciada en Ciencias de la Educacin (UABC). Instituto de investigacin y desarrollo educativo.
Ensenada, Baja California. Mxico.
irma.arregui@uabc.edu.mx
Autor(es) secundario(s):

Alicia Alel Chaparro Caso-Lpez


Doctorado en anlisis experimental del comportamiento (UNAM).
Instituto de investigacin y desarrollo educativo. Ensenada, Baja California. Mxico.
achaparro@uabc.edu.mx
Carlos Daz Lpez
Licenciado en Psicologa (UABC). Instituto de investigacin y desarrollo educativo.
Ensenada, Baja California. Mxico.
carlos8diaz@gmail.com

PALABRAS CLAVE: Evaluacin; desempeo docente; estudiantes; educacin secundaria.


EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

En la actualidad, el desempeo docente es considerado uno de los ejes articuladores de los diversos procesos que
se realizan en cualquier sistema educativo formal (Estrada, 2002). En un contexto en el que lograr la calidad de
los procesos educativos es una prioridad, el estudio que se presenta se realiz con el objetivo de desarrollar un
instrumento para evaluar el desempeo docente desde la percepcin de los estudiantes de secundaria, apoyado
en el Marco Para la Enseanza de Danielson (2013). Material y mtodo. Se diseo un banco de 128 tems, que
fueron sometidos a un proceso de validez de contenido con la tcnica de jueces expertos, en la que participaron
13 docentes en ejercicio. Las valoraciones de los jueces se analizaron a partir del ndice de validez de contenido
de Lawshe (1975), resultando un banco de 110 tems. Se piloteo el cuestionario en una muestra de 852 estudiantes de los tres grados de secundaria. Los datos obtenidos fueron sometidos a un proceso de optimizacin de la
medida con el propsito de generar un banco de tems menor, que resultara ms apropiado para evaluaciones a
gran escala. Conclusiones. Se pretende que los hallazgos aporten informacin relevante que contribuya al campo
de la evaluacin docente, a travs de la obtencin de evidencias directas del desempeo docente en el aula, desde
la percepcin de los estudiantes, mismas que de apoyo para encaminar la mejora del trabajo docente y con ello
contribuir al reto que implica elevar la calidad de la educacin en Mxico.

INTRODUCCIN
En el desempeo docente, se conjugan varios elementos, que al ser evaluados contribuyen a determinar si la accin del
profesor en el aula, est dirigida eficazmente al cumplimiento de los fines del acto educativo (Romo, 2013). En general, se
reconoce que la evaluacin del desempeo docente es una tarea compleja, en la que el principal dilema se ha centrado en
cmo hacerlo, quin debe hacerlo y para qu debe evaluarse (Valenzuela, 2002).
Ante la premisa de que en la mejora de los procesos educativos habrn de participar todos los actores involucrados
(Vaillant, 2008), se destaca la importancia de la participacin de los estudiantes en la evaluacin del desempeo docente,
principalmente en los procesos de organizacin y aplicacin de estrategias y tcnicas de enseanza, de acuerdo con Nieto
y Portela (2008, como se cit en Romn, 2010) sobre todo si se considera que son los estudiantes quienes pasan muchas
horas en el saln de clases, ms de lo que ningn observador lo ha hecho ni lo har (Ferguson, 2012).
A este respecto, cabe destacar que la participacin de los estudiantes, en la evaluacin del desempeo docente, de acuerdo
con la literatura especializada, es una estrategia hasta hoy empleada principalmente en el nivel superior (Rueda, 2008; Luna
y Torquemada, 2008). No obstante, toda vez que se ha reconocido el protagonismo de los estudiantes, incluidos los niveles
de educacin bsica, en el proceso de enseanza-aprendizaje, se considera necesario incluirlos en los procesos de evaluacin del desempeo de sus profesores (Nieto y Portela, 2008).
De acuerdo con Romn (2010) aunque en diversos pases de Latinoamrica, se ha establecido que los estudiantes son
capaces de sealar las acciones y caractersticas de sus maestros que favorecen su inters por aprender, as como las que
influyen en su deseo por permanecer o abandonar la escuela, en otras palabras ellos representan una fuente irremplazable de
informacin til para valorar la calidad del trabajo de los docentes en servicio; tambin se ha encontrado que la participacin
de los estudiantes de primaria y secundaria, en la evaluacin del desempeo de sus docentes es casi nula (Romn, 2010).
No obstante, dado que la evaluacin del desempeo docente se plantea el seguimiento de las acciones educativas
dentro del aula y de los avances alcanzados por los estudiantes, con el propsito de dar a conocer al propio docente sus
fortalezas y reas de oportunidad, as como para generar propuestas de mejora (De Chaparro, Romero, Rincn y Jaime,
2008) se considera que los estudiantes podran tener dificultades para valorar el grado de conocimientos del docente
sobre la disciplina que imparte, debido a su falta de conocimientos y criterio para ello (Elizalde y Reyes, 2008; Romn,
2010) aunque, al mismo tiempo, se reconoce la importancia de incluir su participacin, como parte de las estrategias para
conseguir la mejora en el desarrollo del proceso de enseanza-aprendizaje en las escuelas, al concebirlos como principales receptores del trabajo docente en el aula.
Adems, ante la dificultad para definir los indicadores ms eficaces para medir la calidad del desempeo docente
en el aula (Elizalde y Reyes, 2008) de acuerdo con Schmelkes y Mancera (2010) se considera relevante implementar
estrategias para la evaluacin del desempeo docente apoyadas en estndares, como una forma de generar insumos
para la mejora educativa (Monja, 2012). Se destaca que en general, en los diferentes marcos internacionales se enfatiza la
importancia de cuatro reas centrales del desempeo profesional docente, las cuales son: (a) planeacin y preparacin;
(b) clima de aula; (c) instruccin y (d) responsabilidades profesionales, mismas que coinciden con las que fueron delineadas por Danielson en el Marco para la Buena Enseanza desde su primera edicin en el ao 1996 y se mantienen hasta la
edicin 2013. Se subraya que este marco ha sido sealado como el ms clsico de los marcos de estndares de desempeo docente (Montt, 2011). A partir de lo expuesto, el objetivo del estudio que se presenta, fue desarrollar un instrumento
para evaluar el desempeo docente en educacin secundaria, dirigido a los estudiantes.

DESARROLLO
Mtodo
El estudio comprometi dos fases, en una primera el objetivo se centr en establecer la validez de contenido de los tems
y en una posterior, en la optimizacin de la medida, a travs de la depuracin de los tems y del establecimiento de sus
propiedades mtricas.

Participantes
Para la fase de establecimiento de validez de contenido, se involucraron 13 expertos en docencia, 11 mujeres y 2 hombres,
con un promedio de 13 aos de experiencia docente. En la segunda fase, participaron 852 estudiantes de secundaria, 376
hombres y 476 mujeres con promedio de edad de 14 aos.

Instrumento
Para el desarrollo del banco de tems se emple como punto de partida el conjunto de indicadores del marco para la enseanza de Danielson (2013). Dicho marco incluye un total de 103 indicadores, de los cuales al ser analizados 14 fueron
descartados como tiles para el diseo de tems, pues se determin que su contenido est enfocado a indagar acciones
docentes que no pueden ser fcilmente juzgadas por los estudiantes. As, con los 89 indicadores restantes se dise un
banco de 128 tems, dado que algunos de ellos pudieron utilizarse como base para el diseo de ms de un tem.

Evidencias de validez de contenido


Para estimar la validez de contenido del banco de 128 tems se realiz un proceso de jueceo, cuyos resultados fueron analizados a partir del ndice validez de contenido de Lawshe (1975), el cual consiste en la valoracin grupal necesaria, til y
esencial de cada uno de los tems. Dada la participacin de un total de 13 expertos participantes, de acuerdo con Lawshe
(1975) un ndice de al menos .54 es suficiente para indicar que cada uno de los tems ha sido valorado como esencial.
Una vez realizado el anlisis, aquellos tems con un ndice menor a .54 fueron eliminados.
Cabe sealar que, como resultado de las observaciones y sugerencias de los propios jueces fue posible preservar 17
tems cuyo ndice alcanz un IVC de 0.538, dado que fueron sealados como esenciales para medir el desempeo docente
en el aula, resultando un banco con un total de 110 tems.

Optimizacin de la Medida
Con los 110 tems resultantes de la etapa de anlisis de validez de contenido, se sometieron a un proceso de optimizacin
de la medida, con el propsito de generar un banco de tems menor, que resultara ms apropiado para evaluaciones a gran
escala, con adolescentes. Para la realizacin de este proceso se efecto el procedimiento de optimizacin de la medida de
constructos complejos, propuesta por Jornet, Gonzalez-Such y Perales (2012). Este procedimiento se desarroll en tres
fases, a travs de las cuales se busc por un lado, seleccionar aquellos tems que aportan informacin suficiente, con un
elevado grado de confiabilidad y validez. Y por otro, reducir la cantidad de tems a partir de la eliminacin de aquellos
que eran redundantes o aportaban menos informacin.
4

Tabla 1 tems eliminados a partir del anlisis de Lawshe.

tem (s)

Congruencia
tem/sub-dimensin

Congruencia reactivo/
indicador

El tem
puede ser respondido
por los estudiantes

Jueces a favor

IVC

Jueces a favor

IVC

Jueces a favor

IVC

El profesor nos devuelve los trabajos


de clase sealando cmo corregir
nuestros errores.

0.384

0.384

11

0.692

Mis profesores relacionan los temas


de clase con experiencias personales.

0.384

0.384

0.230

11

Cuando mi profesor explica su clase,


es como si me conociera muy bien
pues en su clase habla de cosas que
me suceden todos los das o sobre cosas
que mis compaeros y yo conocemos.

0.230

0.384

0.384

13

El profesor organiza actividades a las que


invita a participar a los padres de familia.

0.385

0.384

0.384

14

El profesor conoce las necesidades


de aprendizaje de cada uno de
los estudiantes de la clase.

0.385

0.076

0.076

15

El profesor nos explica qu vamos


a aprender en cada clase.

0.385

0.076

11

0.692

17

El profesor nos explica qu vamos


a aprender en cada clase.

0.385

10

0.538

0.384

18

El profesor propone actividades diferentes


para cada uno segn nuestro avance.

0.230

0.230

0.230

20

El profesor utiliza materiales que


complementan la informacin de los libros
de texto que nos da la SEP.

0.385

0.230

0.385

32

El profesor realiza evaluaciones diferentes


a los compaeros con necesidades
especiales.

0.230

0.230

0.076

37

El profesor se acerca a nosotros


cuando nos habla.

0.385

0.385

0.385

53

El profesor nos pone a trabajar


en alguna de las actividades del da
mientras pasa lista.

0.076

0.385

10

0.538

59

Mis compaeros y yo nos acomodamos


en orden para cambiar de actividad
durante la clase.

0.230

0.385

10

0.538

92

El profesor consigue que todos participen


en la discusin de un tema.

0.385

0.385

10

0.538

118

El profesor invita a otros profesores


como observadores de su clase

0.076

0.230

0.231

120

El profesor participa como voluntario


en actividades de apoyo a nuestra
comunidad.

0.385

11

0.692

122

Los estudiantes hablan de este profesor.

0.231

0.076

0.230

123

Otros profesores hablan bien


de este profesor.

0.385

0.385

10

0.385
0.538

Tabla 2 tems preservados por sugerencias y observaciones de los jueces participantes.

tem (s)

Congruencia
tem/sub-dimensin

Congruencia tem/
indicador

El tem
puede ser respondido
por los estudiantes

Jueces a favor

IVC

Jueces a favor

IVC

Jueces a favor

IVC

Durante la clase, el profesor va mencionado


los conceptos ms importantes
de cada tema.

10

0.538

11

0.692

12

0.846

El profesor nos devuelve los exmenes


sealando cmo corregir nuestros errores.

10

0.538

10

0.538

12

0.846

12

El profesor incluye en los temas


de su clase cosas que nos interesan.

10

0.538

10

0.538

11

0.692

19

El profesor utiliza los libros proporcionados


por la SEP.

10

0.538

10

0.538

10

0.538

23

El profesor nos deja tareas en las que


nos sugiere visitar la biblioteca pblica,
hemeroteca, museos o fbricas etc.

10

0.538

11

0.692

11

0.692

36

El profesor nos pregunta sobre las cosas


que hacemos el fin de semana (deportes
o hobbies)

10

0.538

10

0.538

11

0.692

58

Todos participamos en la organizacin


de la clase.

10

0.538

11

0.692

11

0.692

62

El profesor nos recuerda las reglas


de la clase.

10

0.538

11

0.692

10

0.538

70

El profesor nos premia cuando respetamos


las reglas de la clase.

10

0.538

10

0.538

11

0.692

71

Me siento a gusto en esta clase.

10

0.538

12

0.846

13

1.000

78

El saln de clases tiene el mobiliario


y material que necesitamos.

10

0.538

10

0.538

12

0.846

99

El profesor deja que trabajemos


a nuestro propio ritmo.

10

0.538

10

0.538

12

0.846

108

El profesor aprovecha cualquier situacin


para ensearnos cosas nuevas

10

0.538

11

0.692

11

0.692

109

El profesor nos pide nuestra opinin


sobre las actividades que hacemos durante
la clase.

10

0.538

0.385

12

0.846

115

El profesor enva reportes a nuestros padres


sobre nuestro avance.

10

0.538

10

0.538

10

0.538

121

El profesor nos organiza para que apoyemos


a nuestra comunidad.

10

0.538

11

0.692

0.385

126

El profesor dice que los estudiantes


somos lo ms importante en la escuela.

10

0.538

10

0.538

11

0.692

Fase 1. Anlisis de consistencia interna del banco de tems original


Se realiz un anlisis de consistencia interna al total de 110 tems, los cuales se distribuan en las cuatro dimensiones del
marco para la buena enseanza (Planeacin y preparacin k = 25, Clima de aula k = 43, Enseanza o instruccin k = 28,
Responsabilidades profesionales k = 14), el resultado que se obtuvo indic que el conjunto de los 110 tems registraron
un ndice de consistencia interna de .98 (ver tabla 3).

Fase 2. Exploracin del comportamiento de los tems de la versin original


Esta fase permiti eliminar un total de 16 tems que se presentaban una distribucin sesgada, es decir aquellos en los que
se observaba ms de1 80% de respuestas hacia un extremo de la escala de respuesta. Esto dio como resultado un total de
94 tems distribuidos en las cuatro dimensiones del marco (Planeacin y preparacin k = 22, Clima de aula k = 35, Enseanza o instruccin k = 26, Responsabilidades profesionales k = 11) que conservaron un nivel de consistencia interna y
una correlacin con el total de tems original aceptables (ver tabla 3).
Tabla 3 Alfa y correlacin tem-total de cada una de las fases de optimizacin de la medida
Fases

Total de tems

Alfa

110

0.98

Correlacin tem total

94

0.98

0.997

71

0.98

0.993

Fuente: elaboracin propia.

Fase 3. Seleccin de tems a partir de criterios de calidad mtrica


Con los 94 tems resultantes de la fase 2, los cuales se consider seguan siendo demasiados para ser empleados en procesos de evaluacin del desempeo docente a gran escala y desde la percepcin de los estudiantes, se determin eliminar
aquellos tems que presentaban una correlacin punto biserial inferior a .30, as como tambin aquellos que registraban
una correlacin inter-tem mayor a .50, a partir de lo cual de los 94 tems que se enlistaban al inicio de esta segunda fase,
se eliminaron un total de 23 tems, quedando un total de 71 tems distribuidos como sigue: Planeacin y preparacin k =
16, Clima de aula k =2 5, Enseanza o instruccin k = 21, Responsabilidades profesionales k = 9, los cuales conservaban
tanto un nivel de consistencia interna, como una correlacin con el total de tems original aceptables (ver tabla 3).

CONCLUSIONES

En este trabajo se presenta una propuesta para la evaluacin del desempeo docente basado en la opinin de los estudiantes. El primer anlisis llevado a cabo, implic el establecimiento de la validez de contenido, con base en el juicio de
expertos en docencia. Los datos obtenidos en este primer procedimiento mostraron que los tems que integraban cada
una de las dimensiones, verdaderamente miden el constructo de inters, pues el ndice de Lawshe, es una forma ms objetiva de establecer que las cuatro dimensiones del Marco para la Enseanza de Danielson (2013) estn representadas en
el banco de tems. Por lo tanto, podemos afirmar que los tems que presentamos son vlidos para la evaluacin del desempeo docente a travs de la percepcin de los estudiantes. Asimismo, se considera que el instrumento, al estar basado en
el marco de Danielson, es til para obtener informacin relacionada con la calidad de la planeacin y preparacin de las
actividades docentes, el clima de aula, las prcticas de enseanza o instruccin, y finalmente las acciones que evidencian
la responsabilidad profesional del docente con el proceso de enseanza-aprendizaje.

Asimismo, aunque se tena asegurada la validez de la propuesta, la cantidad de tems es inapropiada para ser aplicada a estudiantes de secundaria, por lo que se consider necesario reducir la cantidad de tems, pero conservando sus
propiedades mtricas. As, se logr un banco de 71 tems, que resulta ms apropiado para aplicarse a estudiantes de
secundaria. Este proceso contribuy a asegurar una propuesta evaluativa ms prctica, pero que conserva el contenido
de las dimensiones originales. En conclusin, se considera que el instrumento que se propone es til y confiable para
que los estudiantes aporten informacin que permita evaluar el desempeo de sus docentes. No obstante, la cantidad de
tems que integran el instrumento es an numeroso, por lo que se reconoce la necesidad de realizar nuevos estudios con
el propsito de obtener una versin an ms compacta, pero cuidando sus propiedades mtricas. Una vez obtenida esta
versin, someterla a un nuevo proceso de validez, a travs de un anlisis factorial confirmatorio.
Con base en los resultados obtenidos, se considera que el instrumento diseado constituye una herramienta til para
recoger informacin que permita la valoracin de la calidad del desempeo docente. Sin embargo, debe tenerse en cuenta
que este estudio, se realizo en un contexto particular, es decir, en una ciudad fronteriza cuyas caractersticas de dinmica
escolar y de la propia poblacin, pueden influir en los resultados de la valoracin docente. Por ello resultara pertinente
tener en cuenta la necesidad de realizar estudios de validez contextual (Nsamenang, 1992) que ayuden a verificar que el
instrumento funcione igual en diferentes poblaciones, por ejemplo: estados del centro y sur de la Republica Mexicana, o
incluso en otros pases.
Asimismo, se sugiere usar este instrumento en combinacin con otros instrumentos y herramientas para la evaluacin del desempeo, a fin de recuperar ms informacin que a su vez permita establecer las caractersticas del buen desempeo docente. Es decir, si bien la propuesta evaluativa que se presenta en este estudio, muestra ser una herramienta
til para la valoracin del desempeo docente, sta no debe utilizarse como nico medio de evaluacin, sino que debe ser
acompaada de otros medios de verificacin que ayuden a tener una visin integral del desempeo docente.

BIBLIOGRAFA

Estrada, L. (2002). El Desempeo Docente. Departamento de Filosofa Facultad de Ciencias de la Educacin Universidad de
Carabobo-Venezuela. Recuperado a partir de https://upload.wikimedia.org/wikipedia/commons/d/dd/IMPORTANCIA_
DEL_DESEMPE%C3%91O_DOCENTE.pdf
Ferguson, R. (2012). Can student surveys measure teaching quality? Phi Delta Kappan, 94(3), 24-28.
Danielson, C. (2013). The Framework for Teaching Evaluation Instrument. The Danielson Group. Recuperado a partir de
http://danielsongroup.org/
De Chaparro, G. J., Romero, L. J., Rincn, E., y Jaime, L. H. (2008). Evaluacin de desempeo docente. Cuadernos de Lingstica
Hispnica, (11), 167-178.
Lawshe, C. H. (1975). A Quantitative Approach To Content Validity.
Monja, M. I. (2012). Desempeo docente. Recuperado a partir de http://mariaisabelmonja.wordpress.com/2012/02/06/
desempeno-docente/
Romn, M. (2010). La voz ausente de estudiantes y padres en la evaluacin del desempeo docente. Serie Documentos de
trabajo, (49). Recuperado a partir de http://www.cide.cl/documentos/preal_49_MR.pdf
Romo, J. (2013). Evaluacin Comprehensiva del Desempeo Docente. Conciencia Tecnolgica, 46), 52-55.
Schmelkes, S., y Mancera, C. (2010). Recomendaciones de polticas especficas sobre el desarrollo de un marco integral para
la evaluacin de maestros en servicio. Recuperado a partir de http://www.inidedelauia.org/2012/02/recomendacionesde-politicas.html
Jornet-Meli, J.M., Gonzlez-Such, J. y Perales, M.J. (2012). Diseo de cuestionarios de contexto para la evaluacin de los
sistemas educativos: optimizacin de la medida de constructos complejos. Revista de la Sociedad Espaola de Pedagoga Bordn, 64 (2), 89-110. Recuperado a partir de http://www.uv.es/gem/gemhistorico/mavaco/publicaciones/
Diseno_de_cuestionarios_de_contexto.pdf
Valenzuela, J. (2002). Evaluacin del desempeo docente a partir de la opinin de los alumnos (tesis de maestra).
Universidad de Sonora, Sonora, Mxico.

Measuring the effectiveness


of Teaching Knowledge Test (TKT) in Mexico
14 de marzo de 2015

Measuring the effectiveness


of Teaching Knowledge Test (TKT) in Mexico
Rosala Valero Elizondo
Maestra en Ciencias, Cambridge English Language Assessment, Mxico.
rosalia-valero@cambridgeenglish.mx
PALABRAS CLAVE: Evaluacin, ingls, docentes, TKT, Mxico.
EJE TEMTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos

Resumen

Hasta 250 palabras. ste debe reflejar los aspectos ms relevantes y ser congruente con el ttulo, expresar la relevancia terica y prctica del trabajo.
In May 2005, Cambridge English Language Assessment introduced the Teaching Knowledge Test (TKT) for
English teachers who would like to gain an international qualification recognising their experience (see Khalifa
2008 for an account of TKT development and validation).
TKT is widely used in Mexico by different institudions in both public and private sectors. The Direccin General de Acreditacin, Incoproracin y Revalidacin (DGAIR) of the Secretara de Educacin Pblica y Cultura (SEP)
who have recognised and approved the use of TKT (performance bands 3 and 4) in gaining an associate degree in
English Language Teaching (Tcnico Superior Universitario (TSU) en Enseanza del Ingls).
Given the extensive usage of TKT In Mexico, Cambridge English embarked in a national research project to understand the effects and consequences which result from using and referring to TKT in the Mexican educational context.
The construct definition of the knowledge measured by TKT is based summarized in Tsui and Nicholson
(1999) and in Tsui (2003) as follows:

Subject matter knowledge, i.e., knowledge of the concepts and terminology of a subject discipline; the understanding of the facts, concepts, substantive and syntactic structures of a subject discipline.

General pedagogic knowledge, i.e., knowledge of general principles (strategies, beliefs and practices) of teaching and learning which are applicable across subject disciplines.

Pedagogic content knowledge, i.e., specialised knowledge of how to represent content/subject matter
knowledge in diverse ways that students can understand (e.g. through examples, analogies).

Knowledge of context, i.e., knowledge of social, cultural and institutional contexts in which teaching and
learning takes place.

This paper describes an initial phase of the study undertaken by Cambridge English Language Assessment to understand the effects and consequences of the use of TKT within the Mexican educational context where TKT is widely used
in both public and private sectors. This investigation is in line with the concept of impact by design, which suggests that
assessment systems should be designed from the outset with the potential to achieve positive impacts and takes an ex
ante approach to anticipating the possible consequences of using the test in particular contexts (Saville 2012:5).

CAMBRIDGE ENGLISH TKT


In 2005, TKT was introduced for teachers of English who would like to gain an international qualification recognising their
teaching knowledge, enhance their career opportunities by broadening their teaching experience into specialist areas, keep their
teaching skills up to date, or for those who would like to enter the English teaching profession. The construct definition of the
knowledge measured by TKT is based on Tsui and Nicholson (1999) and Tsui (2003) and includes:

subject matter knowledge (the concepts, terminology and syntactic structures in a subject discipline)
general pedagogic knowledge (general principles of teaching and learning)
pedagogic content knowledge (specialised knowledge of how to represent content/subject matter knowledge in
ways that students can understand)

knowledge of context (the social/cultural/institutional contexts where teaching and learning take place).

TKT is divided into core and specialist modules (see Table 1). Results are reported in terms of band performance with Band 1 reflecting limited knowledge of content areas, Band 2 showing basic but systematic
knowledge, Band 3 indicating breadth and depth of knowledge and Band 4 illustrating extensive knowledge
of TKT content areas.
Table 1 TKT modules
Core modules

Specialist modules

Module 1 Background to language teaching

TKT: Content and Language Integrated Learning(TKT: CLIL)

Module 2 Planning for language teaching

TKT: Knowledge About Language (TKT: KAL)

Module 3 Classroom management

TKT: Young Learners

Practical Assessment of teaching competence

TKT has been adopted at governmental level in Brazil, Chile, Colombia, Ecuador, Egypt, Italy, Portugal, Thailand and Vietnam.

THE RESEARCH STUDY


The research design

The goal was to investigate the effectiveness of TKT from two key stakeholders groups perspectives: a) policy makers,
planners and implementers; and b) teachers who have taken TKT.
Quantitative and qualitative data were analysed and discussed within a mixed-methods research design, which
enabled building a rich picture, while the triangulation of information from multiple sources enhanced confidence in
the findings.

A total of 660 stakeholders across all Mexico provided their views and their ratings using a Likert scale on a series of
questions. Figure 1 shows the percentage of respondents from each state in Mexico. Given the scale of this study and the
sample, the results need to be interpreted with caution and should not be seen as representative. However, these preliminary findings can be seen as a potential indicator of the wider impact of TKT.
Figure 1 Survey responses by state

20%

Percentage of respondents

18%
16%
14%
12%
10%
8%
6%
4%
2%

Distrito Federal
Estado de Mxico
Nuevo Len
Aguascalientes
Durango
Veracruz
Quintana Roo
Baja California
Jalisco
Coahuila
Tabasco
Michoacn
Quertaro
Puebla
Sinaloa
Oaxaca
Chiapas
Guerrero
Morelos
Chihuahua
Hidalgo
San Luis Potos
Campeche
Guanajuato
Sonora
Tamaulipas
Colima
Yucatn
Baja California Sur
Nayarit
Tlaxcala
Zacatecas

0%

Research participants
The first group of research participants were policy makers, planners and implementers (n=27). Structured interviews
were conducted with nine government officials, 16 respondents from the higher education sector and two from private
teacher training institutes, with an average of 8.5 years of experience within their respective workplaces.
The second group of research participants were 633 teachers who had taken TKT who completed the survey on a
voluntary basis. Most of the respondents were female (71%) and they represented various age groups with 31% aged
20-29, 34% aged 30-39, 25% aged 40-49 and 10% aged 50+. They teach in various educational settings: state and private
primary and secondary schools, language institutes and universities. Most respondents (~90%) are highly experienced
teachers, and about 40% of them have a Bachelors or a Masters degree in English Language Teaching.

RESULTS AND DISCUSSION


Stakeholder perceptions of TKT Group 1
Policy makers, planners and implementers answered five interview questions:

What made your institution decide to adopt and/or require your academic staff to take TKT?
What were your expectations when you decided to adopt/require teaching staff to take TKT? What was the impact
on your institution, teaching staff, etc.?

What has been the impact of adopting TKT?


To what extent has TKT met your expectations? How?
If your expectations were not fulfilled, why not?

Government perspective
Within this sector, compliance with the requirements of the PNIEB (Proyecto Nacional de Ingls en Educacin Bsica)
programme run by SEP (the State Ministry of Education) was the main motivation for adopting TKT. The acknowledgment of the number of in-service teachers who need to improve their language and teaching proficiency and the desire to
raise the standards of language teacher education at the pre-service level were also key drivers for the adoption of TKT.
Another motivating factor was the ability to partner with an internationally recognised examination board and make use
of its teaching qualification to reach the desired goal of higher standards of teacher education and to satisfy the demand
for qualified and certified teachers, e.g.:
It is an honor to be able to say that our public school English teachers have the profile and the teaching skills that they
need, and this is not only something that the state affirms but is certified by a formal exam applied by the University of
Cambridge. We are finally on our way to achieving our goal of being able to state that the State of Aguascalientes has
the highest quality English teachers.(Valeria Alvarez Borrego, Instituto de Educacin de Aguascalientes)

The expectations of this stakeholder group were met in terms of improvements in teaching practices and students
language proficiency together with an improved ability to measure existing teachers knowledge and skills as a result of
adopting TKT. According to these respondents, adopting TKT has also resulted in a diversity of teaching strategies and a
better understanding of the learning process:
The teachers who certified with TKT came to realize that there is much to learn about second language teaching and
they continue to look for ways to improve their teaching skills. The results for the educational community (parents,
administrators, permanent teaching staff, etc.) have been very positive. (Claudia Roco Valenzuela Ortiz, SEP, Culiacan,
Sinaloa)

Some expectations of this group were not met, especially when teachers had not taken the TKT qualification, either due to insufficient funding or lack of interest, or being content with teacher preparation courses
which did not provide an internationally recognised qualification:
Our objectives were not met because our teachers did not proceed with the process; they did not get their TSU [Tcnico
Superior Universitario, Associate Degree] at the end of the modules. (Myrna D. Segura C, SEP, Hermosillo, Sonora)

Higher education perspective


The key motivating factors for implementing TKT in the higher education sector were certification, accreditation and
international recognition, which largely overlap with the goals of the government sector. Two further goals of university
decision-makers are to train teachers by offering opportunities to learn or improve their basic teaching skills as part of
their courses and to equip university students with better skills for the employment market in order to increase their
prospects. Compliance with the requirements of regulatory bodies such as SEP is as important as showing educational
leadership and offering a competitive edge when compared to universities who do not offer Cambridge English teaching
qualifications. Higher education respondents commented:
We also were looking to unify criteria when hiring English teachers by specifying the training and teaching experience
required The impact has been huge and is expanding across all of Baja California. I think it has surpassed our
expectations because we have become a point of reference for other institutions both public and private. (Patricia
Columba Godinez Martinez, Universidad Politcnica De Baja California, Mexicali, Baja California)

Our expectation was to elevate the quality of our classes and in this way continue to show educational leadership in
the city of Queretaro. We also need to comply with the policies of the state education ministry, which now requires more
accreditation for English teachers in the classroom. (Daro Malpica Basurto, Universidad Contempornea, Quertaro,
Quertaro)

The beneficial effects among universities are seen in good TKT exam performance, which has resulted
in an increasing number of certified teachers, and in teachers being motivated to attend professional development events and undertake higher level study. As in the government sector, there is a belief in the higher
education sector that students language proficiency is a direct result of teachers language proficiency.
Beneficial impact is also seen in improved classroom practice, better understanding of the learning process, higher proficiency levels, and enhanced teacher employability.

Private teacher training institute perspective


The third group of respondents who took part in structured interviews were those who have adopted TKT in private
language institutes. This group opted to offer TKT preparation courses and subsequent certification because of their
perception of TKT as an ideal initial qualification leading to further teaching qualifications.
Expectations in this sector were met:
Our expectations regarding the preparation courses we offer for TKT have been fully satisfied However we have not
reached 100% certification of the teachers we prepared to take the exam, and the reasons for this range from financial
difficulties to scheduling problems. (Rafael Diazgonzlez Plata, Instituto de Desarrollo de Habilidades Docentes SC,
Metepec, Estado de Mxico)

Stakeholder perceptions of TKT Group 2


The teachers who had taken TKT responded to survey questions with regard to the perceived impact of TKT on their
knowledge, skills and attitude, as well as personal and professional development. The findings arising from their responses are discussed next.

Teachers expectations of TKT


The majority of teachers indicated professional development, international recognition and career advancement as the
main reasons why they decided to take TKT. Around a third had taken TKT because their employer required it, or because
they did not have an existing teaching qualification, whilst others took it for personal development.
Figure 2 shows what teachers initially expected to gain from taking TKT. In general, teachers expected to gain formal
recognition and evaluation of teaching knowledge and practice, with other expectations including for personal development, for work abroad, and even to keep their current job.
Figure 2 Initial expectations of TKT

Percentage of respondents

80%
70%
60%
50%
40%
30%
20%
10%
0%
To have formal
recognition of my
teaching
experience

To evaluate my
teaching
knowledge and
practice

To get a better
job, or have a
promotion in my
current job

To start the
accreditation
process towards
becoming a
Tcnico Superior
Universitario en
Enseanza del
Ingls

Other

When asked whether their expectations have been met, 93% of the respondents reported that TKT has
exceeded their expectations.

Teachers perception of TKT impact


This section looks at the perceived impact of TKT on teachers personal and professional development, pedagogical practices and beliefs.

Impact on personal and professional development


Tables 2 and 3 illustrate the positive effect of TKT as perceived by the majority of respondents. These results reflect
improved knowledge in terms of a better understanding of theoretical and practical issues, improved skills in terms of
self-reflection and self-awareness, as well as improved attitudes in terms of confidence and motivation gained.
7

Table 2 Personal development (% agreement)


Strongly
agree

Agree

Neutral

Disagree

Strongly
disagree

I feel more motivated to continue developing


as a professional teacher.

63

30

0.3

I feel more confident in presenting at TEFL seminars


and conferences.

37

39

21

0.6

I feel more confident to take part in discussions


about teaching and learning.

49

35

13

0.6

I feel more confident about my teaching skills.

55

34

0.3

I have developed greater self-awareness


of negative aspects of my teaching.

46

41

11

0.0

I have developed greater self-awareness


of positive aspects of my teaching.

53

40

0.2

I now reflect more on my teaching than I used to.

51

37

10

0.2

I find teaching more enjoyable.

53

35

10

0.0

Strongly
agree

Agree

Neutral

Disagree

Strongly
disagree

I shall have more professional career opportunities in


other countries in the future.

44

33

18

0.8

I shall have more professional career opportunities in


Mexico in the future.

53

33

11

0.5

I can understand articles and books on TEFL more easily.

38

40

18

0.6

I have developed a better understanding of the


communicative approaches in current English Language
Teaching methodology.

51

40

0.1

I have developed a better understanding of the


theoretical principles underlying my teaching.

52

40

0.2

Statement

Table 3 Professional development (% agreement)


Statement

Typical comments from teachers on their personal and professional development include:

I'm really grateful with my TKT because it makes me feel better when teaching and I improve myself as a person and as
a professional person. (An experienced teacher, 40s, Estado de Mxico)
The TKT tests help me a lot to get a new and better job. Now I feel more prepared and competent to teach English.
(Teacher, 20s, Quintana Roo)

Impact on beliefs and pedagogical practices


When asked whether preparing for TKT or taking the test changed any of the respondents previously held beliefs and
feelings about language teaching, 50% gave a positive response, summarised in Table 4.

Table 4 Changed beliefs


Thematic categories

Number of respondents

Teaching methods and preparation

203

Learning new information

107

Desire for further study to improve knowledge

103

Student-centred teaching

49

Perception of ability to teach

47

Lesson planning and schemes of work

45

Figures 3 and 4 illustrate responses to statements about lesson preparation and classroom practice.
Figure 3 Impact of TKT on lesson preparation

I have more ideas for the classroom


I feel better equipped to evaluate teaching
materials
Strongly agree

My lesson planning has improved

Agree

I can identify my students' needs more


precisely
I plan for and meet my students needs
more effectively
0%

20%

40%

60%

80%

100%

Percentage of respondents

Figure 4 Impact of TKT on classroom practice

My students can learn more from my


lessons
I use more appropriate assessment
activities and tests with my students
I use more suitable resources, classroom
materials and teaching aids

Strongly agree
Agree

My teaching methods better match the


age, level and needs of my students
I use more appropriate interaction patterns
in my teaching
My teaching skills have improved
0%

20%

40%

60%

80%

Percentage of respondents

100%

Respondents indicated that their teaching skills had improved across most contexts and that they can identify their
students needs better and can plan to meet those needs more effectively (especially in state secondary schools, as well as
in state and private primary schools). Teachers use more appropriate interaction patterns in the classroom (especially in
state and private primary schools, state secondary and private language schools); feel better equipped to evaluate teaching materials (especially in state secondary schools), and they have more ideas for the classroom (particularly in private
primary and in state and private secondary schools). One of the outstanding comments received was the following:
TKT has had an impact on the way I communicate, especially with teachers. I am an ICT [Information and Communication Technology] Coordinator as well as an English Teacher. TKT helped me to communicate the ICT curricula to the Homeroom Teachers (subject teachers) in an easy, practical and specific way. So much in fact, that I was able to break their paper
and pencil dependency due to their inability to relate to technology as English or any other subject teachers. TKT allow me to
speak in the same language and to reach students in a more effective way. Even though TKT is designed for English teaching,
it can be easily adapted to any school subject. (An experienced teacher, 40s, Nuevo Len)
Results showed that, in state primary and secondary contexts, teaching methods better match the age, level and needs
of students; in both state and private secondary schools teachers use more suitable resources, classroom materials and
teaching aids; and state secondary and upper secondary teachers use more appropriate assessment activities and tests
with their students. In state language schools teachers feel that their students can learn more from their lessons.
The above sections have dealt with stakeholders perceptions. In order to complement the picture emerging from the
survey and structured interviews, teachers performance on TKT was examined and compared to teacher performance
in the rest of the world.

Performance on TKT
Figure 5 is based on data from three consecutive academic years (2009/10, 2010/11 and 2011/12) and compares the
performance of Mexican candidates with candidates from all other countries.
Figure 5 Average percentages in each TKT band in Mexico and the rest of the world (ROW) 2009-2012

70%

percentage of candidature

60%
50%
40%

2009/10
2010/11
2011/12

30%
20%
10%
0%
Mexico

ROW

Band 1

10

Mexico

ROW

Band 2

Mexico

ROW

Band 3

Mexico

ROW

Band 4

This figure provides a clear indication that the standard of Mexican teachers is improving, borne out by the number
of candidates achieving Bands 1 and 2 decreasing over time, while the number of candidates achieving Bands 3 and 4
has increased.
The performance of Mexican candidates is on a par with those from all other countries as far as Band 3 is concerned
(note that Band 3 is the minimum level accepted by certain regulatory bodies in Mexico). Similarly, there is no difference
between other countries and Mexico on Band 1 performance . However, the picture differs if we look at Bands 2 or 4,
indicating that candidates from other countries are performing better than Mexican candidates.

CONCLUSIONS
This study has provided insights into the perceived effects of the adoption of TKT in Mexico. At an individual level, it is
mainly seen as a personal and professional development opportunity. At an institutional level, it is viewed as a way of
improving the quality of teaching and the ability of teaching staff both of which have a positive impact on an institutions
reputation and ability to deliver reform initiatives. Stakeholder comments attest to the positive effect that TKT has in
raising teaching standards.
The surveyed teachers felt that TKT had improved their understanding of theoretical and practical teaching issues
and helped them become reflective practitioners. TKT also helped with lesson planning, preparing and structuring

their work, as well as with evaluation of teaching materials. Many teachers mentioned an increased understanding
of their learners needs and their ability to design better teaching activities which contributed to them focusing on
learners and learning. There is strong evidence that TKT helps increase teachers confidence, and that teachers believe that it leads to better career opportunities in Mexico and abroad.

The study reported here was the initial phase of a longer research study. Cambridge English Language Assessment is
planning to conduct other studies to track the longer-term effects of TKT in a range of contexts.

REFERENCES
Rolwing, K (2006) Education in Mexico, World Education News and Reviews 19 (3), available online: www.wes.org/ewenr/
06jun/practical.htm
Saville, N (2012) Applying a model for investigating the impact of language assessment within educational contexts:
The Cambridge ESOL approach, Research Notes 50, 4-8.
Tsui, A (2003) Understanding Expertise in Teaching, Cambridge: Cambridge University Press.
Tsui, A and Nicholson, S (1999) A hypermedia database and English as a second language teaching knowledge enrichment, Journal of Information Technology for Teacher Education 8 (2), 215-237.

11

Exmenes de egreso, validez y concecuencias


sobre los egresados: el caso chileno
14 de marzo de 2015

Exmenes de egreso, validez y concecuencias


sobre los egresados: el caso chileno
Mara del Rosario Rivero Castro*
PhD en Educacin, Universidad de California, Berkeley, Centro de Estudios de Polticas y Prcticas en Educacin
(CEPPE). Pontificia Universidad Catlica de Chile, Chile.
rosario.rivero.c@gmail.com

Constanza Hurtado
Sociloga, Pontificia Universidad Catlica de Chile, Centro de Estudios de Polticas y Prcticas en Educacin (CEPPE).
Pontificia Universidad Catlica de Chile, Chile.
cehurtad@uc.cl
Ernesto San Martn
Phd en Ciencias, orientacin en Estadstica. Universidad Catlica de Lovaina, Blgica, Centro de Estudios de Polticas
y Prcticas en Educacin (CEPPE). Pontificia Universidad Catlica de Chile, Chile.
esanmart@mat.puc.cl

PALABRAS CLAVE: Exmenes de egreso, Prueba INICIA, evaluacin docente, aseguramiento de la calidad.
EJE TEMTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen

Para asegurar la calidad de los docentes muchos pases han avanzado en la implementacin de evaluaciones de
desempeo a los egresados de pedagoga con distintos niveles de consecuencias.
As, en Chile desde el 2008 se aplican pruebas de conocimientos de lpiz y papel a los egresados de pedagoga,
llamada INICIA. Si bien en la actualidad sus resultados se usan exclusivamente para informar a las instituciones
sobre el desempeo de sus egresados, la creciente tendencia internacional y nacional hacia el aseguramiento de
la calidad de los docentes sumado a diversas iniciativas nacionales estn presionando hacia nuevos usos de estas
evaluaciones con altas consecuencias individuales (habilitacin e incentivos monetarios).
Este artculo utiliza el caso chileno para estudiar la validez predictiva de los exmenes de egreso de conocimiento y de lpiz y papel. En particular, esta investigacin analiza en qu medida el desempeo de egresados en
INICIA: 1) predicen los resultados de los aprendizajes de los alumnos, 2) predicen los resultados de los aprendizajes de los alumnos en comparacin a otras evaluaciones y 3) contribuyen informacin nica a la prediccin de los
resultados de los estudiantes sobre lo que informan otras evaluaciones.
Sera desfavorable para el sistema habilitar y asignar dinero a docentes con alto desempeo en una prueba de
contenido de lpiz y papel si sus alumnos no logran aprendizajes significativos. Este artculo busca contribuir con
evidencia sobre la validez de medir el desempeo de los egresados a travs de evaluaciones de contenidos de lpiz
y papel para atribuir fuertes consecuencias individuales.

*Autor principal

INTRODUCCIN
Asegurar la calidad de los docentes es uno de los pilares de un sistema educacional exitoso. Existe amplio consenso del
rol que tiene un profesor en el desarrollo de sus alumnos y la evidencia muestra sistemticamente que la efectividad del
docente es el factor ms relevante en explicar el aporte del establecimiento educacional a los aprendizajes de sus estudiantes (Leithwood, Seashore, Anderson & Wahlstrom, 2004).
Para asegurar su calidad muchos pases han avanzado en la implementacin de mayor accountability a los programas
de formacin inicial docente. Dentro del conjunto de polticas de trabajo adoptadas, una lnea ha sido el diseo e implementacin de evaluaciones de desempeo a los egresados de pedagoga con distintos niveles de consecuencias asociadas
al desempeo. En algunos pases los resultados son utilizados con el objetivo de filtrar el ingreso de nuevos profesores
al mercado laboral, permitiendo que slo aquellos que logran un determinado estndar de calidad ejerzan la profesin.
Adicionalmente, los resultados tambin son utilizados como informacin pblica relevante para el mercado escolar
(directores y universidades), con miras a generar competencia por calidad y/o asignar recursos o privilegios a aquellos
profesores de mejor desempeo.
Esta creciente tendencia hacia mayor accountability de los programas de educacin ha estado acompaada de una
necesidad de recolectar mayor y mejor evidencia sobre el desempeo de los docentes novatos, lo que ha impulsado el desarrollo de sistemas de evaluacin cada vez ms complejos. Por ejemplo, los pases desarrollados han implementado evaluaciones de desempeo basadas en mltiples instrumentos que recogen evidencia de la calidad de la formacin recibida
y definen la posibilidad de ejercer la profesin, entre los que destacan: portafolios, evaluaciones de prcticas, aprobacin
de test de conocimientos de lpiz y papel, entre otros. Adicionalmente, en algunos casos, dichas evaluaciones de desempeo se insertan a su vez en sistemas de certificacin docente ms exigentes para quienes desean ejercer la profesin.
A su vez, diversas instituciones manifiestan la necesidad de tener indicadores vlidos y confiables mas all de la
aprobacin de test de conocimientos de lpiz y papel y recomiendan que para habilitar a los docentes se deben incluir
evaluaciones del desempeo docente en el aula, de su capacidad para trabajar con estudiantes con mltiples necesidades
y de las competencias ms directamente relacionadas con el aprendizaje de los estudiantes (National Academy of Education, National Research Council, Ball and RAND Mathematics Study Panel, 2003; Darling Hammond and Baratz-Snowdon,
2005; Darling-Hammond and Bransford, 2005).
Por su parte, en Amrica Latina hemos avanzado a tener un mayor aseguramiento de la calidad de los programas de
formacin, desarrollando estndares que definen la calidad docentes orientados a la formacin y sistemas de acreditacin de los programas de pedagoga; incluyendo evaluaciones de desempeo a los egresados, y en algunos casos sistemas
de certificacin (Avalos, 2011). El caso chileno no es la excepcin. Las polticas educacionales chilenas referidas a la
Formacin Inicial Docente han transitado desde iniciativas de apoyo con muy escasas medidas de rendicin de cuentas a
fines de los noventa, hacia una combinacin stas con medidas de accountability, altas consecuencias y mayor regulacin
en el aseguramiento de la calidad de los futuros profesores, durante la ltima dcada.
En esta lnea en el 2008 surgieron polticas como la instalacin de evaluaciones de desempeo a los egresados de pedagoga con el objetivo de informar a las instituciones sobre los niveles de conocimiento de sus egresados. Para este propsito
se dise el examen INICIA, evaluacin de desempeo constituida por pruebas de conocimientos de lpiz y papel y de respuesta mltiple. Este test evala, en distintas pruebas, conocimientos y habilidades disciplinarias y pedaggicas basadas
en los Estndares Orientadores de formacin pedaggica para docentes de prvulos, enseanza primaria y secundaria. Su
rendicin es voluntaria, y se aplica cada ao entregando los resultados agregados a instituciones y a la opinin pblica.
Si bien en la actualidad los resultados de la prueba INICIA se usan exclusivamente para informar a las facultades de
pedagoga sobre el nivel de conocimientos de sus egresados, la creciente tendencia internacional y nacional hacia el aseguramiento de la calidad de los programas de pedagoga sumado a diversas iniciativas nacionales que discuten nuevos
usos de las evaluaciones de desempeo con altas consecuencias individuales1, hacen urgente estudiar la validez predictiva de evaluaciones de desempeo con las caractersticas de la prueba INICIA en el contexto latinoamericano.
El proyecto de ley del ao 2012 propone transformar la prueba INICIA en un Examen de Excelencia Profesional Docente, y con esto hacer obligatoria
su rendicin para aquellos profesores que busquen trabajo en el sector que recibe financiamiento estatal. En segundo lugar, el proyecto propone
una Asignacin de Excelencia Pedaggica Inicial para los profesores recin egresados, lo que significa que los salarios variarn segn el desempeo
relativo de los profesores en la evaluacin INICIA, entre otros criterios.

Las evaluaciones de desempeo definidas como pruebas de conocimiento de lpiz y papel tienen la gran ventaja de
ser simples y poco intensivas en recursos para masificar su aplicacin a todo el universo de profesores recin egresados.
Sin embargo, en aquellos sistemas que han optado por usar evaluaciones de conocimientos de los egresados con altas
consecuencias (por ejemplo para habilitar a los docentes para un periodo de ejercicio o como condicin para ingresar a la
certificacin) han surgido dudas sobre la validez de este tipo de evaluaciones de desempeo para discriminar a aquellos
profesores mejor preparados para la enseanza (Wilson, 2014).
En la actualidad, en Chile y otros pases en desarrollo estn comenzando a utilizar pruebas de conocimiento de lpiz y
papel para evaluar el desempeo y no se cuenta con evidencia sobre su validez para predecir el aprendizaje de los alumnos y por ende su efectividad en medir la calidad de los egresados. Usando el caso chileno, este artculo busca contestar
en qu medida las evaluaciones de desempeo de egresados basadas en pruebas de contenidos de lpiz y papel: 1) predicen los resultados de los aprendizajes de los alumnos, 2) predicen los resultados de los aprendizajes de los alumnos en
comparacin a otras evaluaciones y 3) contribuyen informacin nica a la prediccin de los resultados de los estudiantes
sobre lo que informan otras evaluaciones.
Chile es uno de los pases pioneros de la regin en implementar de evaluaciones de desempeo docente ya sea a
recin egresados como aquellos profesores con mayor experiencia. Los resultados de este estudio pueden ser de gran
utilidad para el diseo e implementacin de otros sistemas de evaluacin en la regin. Sera desfavorable tanto para
cada docente como para el sistema educacional habilitar y/o asignar dinero a un docente con una alta calificacin en una
prueba de contenido de lpiz y papel si es que el docente no logra aprendizajes en sus alumnos. Por otro lado, sera ms
desfavorable an no habilitar a docentes con una baja calificacin en la prueba si el docente logra que sus alumnos aprendan. En esta lnea, este artculo busca contribuir con evidencia sobre la validez de medir el desempeo de los egresados a
travs de evaluaciones de conocimientos de lpiz y papel para atribuir fuertes consecuencias individuales.

DESARROLLO
Revisin literatura 2
Esta investigacin presenta una extensa revisin bibliogrfica internacional que 1) describe los tipos de instrumentos
utilizados para evaluar a docentes recin egresados y que estn asociados a altas consecuencias individuales y 2) analiza
la validez externa de las evaluaciones docentes revisadas.

Metodologa
Para estudiar la validez de la prueba INICIA como medida de efectividad docente este estudio utiliza una metodologa en
dos etapas. En la primera etapa se construyen dos medidas de efectividad de la escuela, llamados efectos escuela techo y
efecto escuela piso. Estas medidas intentan cuantificar la efectividad de la escuela en promover el aprendizaje asociada a
aquellos factores que son manejables por el establecimiento. Se estiman los efectos escuela piso y techo a partir de modelos jerrquicos lineales (HLM) de dos niveles. En un primer nivel se incluyen variables de los estudiantes (educacin de
los padres e ingreso familiar) y en el segundo nivel se utilizan variables a nivel de escuela (aos de educacin promedio
de los padres y puntaje promedio de resultados en pruebas nacionales del ao 2008) como predictores del desempeo de
los alumnos en la prueba Simce de matemticas de cuarto grado. En base a la ecuacin (1) se estimaron dos regresiones
con distintas variables de control para estimar los efectos escuela piso y techo. En la primera estimacin se incluyen solo
variables a nivel de alumno, estimando a travs del error i j el efecto escuela techo. En la segunda regresin se incluyen
Por espacio solo se describe el contenido de la seccin.

variables de control a nivel alumno y a nivel escuela, estimando a travs del error i j el efecto escuela piso 3. El supuesto es
que la parte no explicada del desempeo de los alumnos en los modelos HLM debiera ser una aproximacin valida de la
efectividad de la escuela.
PtjeSIMCEmathi j = 0i + Caractersticas alumnos ij + Caractersticas escuela ij + i j (1)

PtjeSIMCEmathi j = puntaje de un alumno i en curso de profesor j.


0i = puntaje de un alumno i en curso j con 0 aos promedio educacin de los padres y 0 ingresos econmicos

de los padres de alumno i en curso de profesor j.


Caractersticas alumnos ij = caractersticas socioeconmicas de un alumno i en curso de profesor j
Caractersticas alumnos ij = caractersticas socioeconmicas y de desempeo de la escuela de un alumno i en
curso de profesor j.
i j = error aleatorio asociado con estudiante i en curso de profesor j.
En la segunda etapa, basada en regresiones lineales, se estudia la asociacin entre el desempeo de los profesores en
INICIA y las medidas de efectividad de la escuela construidas en la etapa anterior (efectos escuela). Se utilizan distintas
especificaciones de esta asociacin para contestar las tres preguntas de investigacin. Considerando que la efectividad
docente es uno de los factores que componen la efectividad de las escuelas, se espera que la prueba INICIA, como medida
valida de efectividad docente, prediga la efectividad de las escuelas, y por lo tanto, que el desempeo en INICIA se asocie
positivamente con los efectos escuelas piso y techo.
La Tabla 1 muestra parte de los resultados de la segunda etapa para la primera pregunta de investigacin.
Tabla 1 Modelos puntaje INICIA disciplinaria
1

VARIABLES

E. techo

E. techo

E. techo

E. piso

E. piso

E. piso

Puntaje INICIA disciplinaria

0.0757***

0.0761***

0.0635***

0.0545***

0.0548***

0.0552***

0.0203

0.0208

0.0203

0.0195

0.0208

0.021

Aos
experiencia

0.382

0.337

0.237

0.229

0.557

0.531

0.574

2.NSE medio

5.898***

Ref: NSE bajo


3. NSE alto

Observations
R-squared

0.575
1.115

1.286

1.393

7.480***

-0.693

1.492
Constant

1.584

96.44***

95.47***

92.02***

97.18***

96.57***

96.30***

1.254

1.889

1.913

1.3

1.964

2.078

291

291

291

273

273

273

0.046

0.047

0.141

0.025

0.025

0.031

El efecto piso es menor (y ms exiguente) que el efecto techo ya que mide la efectividad de la escuela controlando por variables a nivel de escuela.

CONCLUSIONES

Este estudio entrega evidencia sobre la validez predictiva de la prueba INICIA en un escenario de altas consecuencias
asociados al desempeo individual de los docentes en esta. Las principales conclusiones son:
Acorde con la evidencia sobre la validez de evaluaciones docentes basadas en test de conocimiento de lpiz y papel,
este estudio encuentra que los resultados de INICIA disciplinaria y pedaggica tienen una relacin positiva, significativa
y consistente con la efectividad de la escuela, medida por los efectos escuela piso y techo basado en los aprendizajes de
sus alumnos. En cuanto a las otras medidas de desempeo estudiadas prueba de seleccin universitaria y Docente
ms los resultados muestran que la primera se asocia de manera positiva pero no consistente con la efectividad futura
de los docentes. La segunda evaluacin, ms compleja en sus instrumentos y aplicada a docentes que ya se encuentran en
ejercicio, muestra una asociacin positiva, significativa y consistente con la efectividad escolar. Complementariamente, la
prueba INICIA es un mejor predictor al comparar con los resultados en pruebas de conocimiento aplicadas al finalizar la
formacin secundaria y un peor predictor al comprar con los resultados de evaluaciones de desempeo de docentes en
ejercicio (profesores con 2 o ms aos de experiencia).
Los resultados permiten concluir que la informacin el desempeo en la prueba INICIA y por ende la formacin (ya
sea disciplinarios o pedaggicos) es un buen predictor de la efectividad futura. A la vez se concluye que los indicadores
de desempeo de los docentes (INICIA, Docente Mas) que miden la calidad de la formacin pedaggica y del desempeo
en el aula, son mejores instrumentos que una medida que no ha sido construida en base a los estndares docentes (PSU).
Es decir, aun cuando la PSU comparte con INICIA el conocimientos disciplinarios (en matemticas y en lenguaje) esta
informacin es dbil para distinguir entre profesores de mejor desempeo en el aula de otros. Este resultado contradice
la idea de que ambas mediciones son equivalentes como predictores de efectividad docente, debido a la alta correlacin
entre ambas (Manzi et al., 2011).
A su vez los resultados permiten concluir que Docente Ms es un buen, e incluso, mejor predictor de efectividad
docente al comparar con INICIA. Una de las posibles razones, apoyada por la evidencia revisada, es que evaluaciones
ms complejas, que incluyen observaciones de aula o de portafolios, mantienen una asociacin robusta con los logros de
aprendizaje de los alumnos.
Todo lo anterior permite sostener que los resultados entregan luces de que el test INICIA s contribuye con informacin nica sobre el desempeo docente, siendo vlido su uso para distinguir entre docentes egresados ms efectivos. Aun
as, desconocemos si otorgar consecuencias a los resultados de INICIA es la mejor eleccin para optimizar las polticas de
mejoramiento escolar. Por esta misma razn es fundamental estudiar si los resultados se mantienen en el tiempo, o bien,
se trata de un efecto singular de los primeros aos de ejercicio. Adems, tal como sealan los estudios de costo-efectividad, los instrumentos de habilitacin deben optimizar los recursos invertidos en las evaluaciones en funcin de su validez
y confiabilidad para predecir la efectividad docente.
Algunas precauciones a tomar en cuenta sobre la evidencia aqu encontrada se refiere a que el tamao de esta muestra es pequeo y que las pruebas de conocimiento aplicadas a los estudiantes solo rescatan su desempeo en un momento en el tiempo. En la medida que sea posible analizar la validez con una mayor muestra de docentes, los resultados
sern ms robustos. Como observamos en este estudio, los resultados de validez de un instrumento no solo se vinculan
al formato de aplicacin del test (lpiz y papel, respuestas mltiples) sino que tambin se explican por el constructo y su
vinculacin a aspectos asociados a un mejor desempeo docente. Por este motivo, otra de las limitaciones del estudio, es
que estos resultados no son extrapolables a cualquier prueba de lpiz y papel.
Pese a lo anterior, este es un aporte al sistema nacional de evaluaciones docentes y a la realidad regional en que se
inserta Chile, caracterizada por escasos estudios de validez de evaluaciones docentes. Sobre esto, la metodologa con que
se aborda el problema es una contribucin para sistemas que cuentan con menos evidencia en este mbito, ya que es una
manera novedosa de estudiar la validez externa de un instrumento y en dos escenarios, uno exigente y uno menos exigente. Lo que en el futuro podra servir para evaluar el grado de consecuencias asignables a instrumentos de evaluacin;
y a la vez comparar con otros instrumentos, como se hace en este trabajo.
Futuras investigaciones podrn profundizar en los estudios de validez predictiva de las otras secciones del examen
INICIA e incluir los resultados de las pruebas de pedagoga aplicadas a distintos programas de formacin (parvularia y
secundaria). Asimismo, es deseable complementar estos resultados de validez con otras herramientas como la observacin de clases, para aportar en comprensin de estos hallazgos.

BIBLIOGRAFA
Avalos, B. Proyecto Estratgico Regional Sobre Docentes UNESCO-OREALC /Centro de Estudios de Polticas y Prcticas
enEducacin (CEPPE)
Ball, D. L. the Rand Mathematics Study Panel (2003). Mathematical Proficiency for All Students: Toward a Strategic Research and Development Program in Mathematics Education.
Darling-Hammond, L., & Baratz-Snowden, J. C. (2005). A good teacher in every classroom: Preparing the highly qualified
teachers our children deserve. Jossey-Bass Inc Pub.
Hammerness, K., Darling-Hammond, L., Bransford, J., Berliner, D., Cochran-Smith, M., McDonald, M., & Zeichner, K. (2005).
How teachers learn and develop. Preparing teachers for a changing world: What teachers should learn and be able
to do, 1.
Leithwood, K. A., Louis, K. S., Anderson, S., & Wahlstrom, K. (2004). Review of research: How leadership influences student learning. University of Minnesota Toronto. Retrieved from http://www.sisd.net/cms/lib/TX01001452/Centricity/
Domain/33/ReviewofResearch-LearningFromLeadership.pdf
Manzi, J. (2010). Programa INICIA: fundamentos y primeros avances. In Ecos de la revolucin pingina. Santiago: Editorial Pehun. Retrieved from http://www.ciae.uchile.cl/documentos/presentaciones_seminario_3/003_Manzi.pdf
Manzi, J, Lacerna. P, Meckes. L, Ramos. I, Garcia. M, Pavez. P, Ortega. L, San Martn. E (2011) Qu caractersticas de la
formacin inicial de los docentes se asocian a mayores avances en su aprendizaje de conocimientos disciplinarios?
Proyecto Fonide N: F511015. Ministerio de Educacin Chile.
Wilson, M., Hallam, P. J., Pecheone, R. L., & Moss, P. A. (2014). Evaluating the Validity of Portfolio Assessments for Licensure
Decisions.Education policy analysis archives, 22, 6.

Factores asociados con el ingreso


al servicio profesional de docentes formados
en escuelas normales
14 de marzo de 2015

Factores asociados con el ingreso


al servicio profesional de docentes formados
en escuelas normales
Ramn Bernal Pedraza*
Especialista en estadstica aplicada, Ceneval, Mxico.
ramon.bernal@ceneval.edu.mx

Adriana Mendieta Parra


Maestra en Psicologa, Ceneval, Mxico.
adriana.mendieta@ceneval.edu.mx

Ana Lilia Njera Sierra


Maestra en Administracin de Organizaciones, Ceneval, Mxico.
ana.najera@ceneval.edu.mx
Hctor Dorantes Castillo
Actuario, Ceneval, Mxico.
hector.dorantes@ceneval.edu.mx

Noem Navarrete Aguirre


Lic. Ceneval, Mxico.
noemi.navarrete@ceneval.edu.mx
PALABRAS CLAVE: Servicio Profesional Docente, ingreso, formacin inicial, cuestionario de contexto, multinivel.
EJE TEMTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.

Resumen

Con la intencin de explorar algunos factores asociados con el desempeo en el concurso de ingreso al Servicio
Profesional Docente (SPD) obtenido por los docentes formados en escuelas normales e identificar aspectos que
permitan mejorar su formacin, se relacionaron los resultados de dicho concurso con el desempeo obtenido en
una evaluacin terminal y diversos factores de contexto. A travs de anlisis multinivel, se document que los
hbitos de estudio, de lectura, la percepcin de prestigio de la profesin docente, el nivel socioeconmico, el nivel
de marginacin, entre otros, ejercen efectos consistentes sobre los resultados en las diversas fases del concurso de
ingreso al SPD. Los resultados sugieren considerar la implementacin de polticas que compensen o potencien los
efectos de algunos de estos factores. Adicionalmente, se observ que los resultados entre las diversas evaluaciones
son sumamente consistentes.

*Autor principal

INTRODUCCIN
La Ley General del Servicio Profesional Docente establece que se debe de garantizar (a los docentes) la formacin, capacitacin y actualizacin continua a travs de polticas, programas y acciones especficas (DOF, 2013). Para colaborar
con este objetivo, resulta valioso conocer los factores que se relacionan con la formacin de los docentes de las escuelas
normales. Esta informacin puede ser obtenida a partir de relacionar los resultados de un cuestionario de contexto vlido
(Herrera Ortiz, et al., 2010) con una evaluacin criterial.
En este trabajo se aprovecha la evaluacin realizada en 2013 a docentes egresados de alguna licenciatura en educacin (Examen General de Conocimientos, EGC), adems de informacin recabada con un cuestionario diseado especficamente para contextualizar el desempeo de esta poblacin.
Con el objetivo de conocer aquellos factores presentes durante la formacin inicial de los docentes que se relacionan
con los resultados del concurso de ingreso 2014 al SPD, se busc analizar la correlacin de los resultados de los EGC con
los dos instrumentos utilizados en dicho concurso: el Examen de Conocimientos y Habilidades para la Prctica Docente
(ECHPD) y el Examen de Habilidades Intelectuales y Responsabilidades tico Profesionales (EHIREP). Adems, se analizaron los factores de contexto de los docentes y las escuelas que se relacionaron con los niveles de desempeo obtenidos
en estos ltimos exmenes y, adems, con el cumplimiento del perfil idneo requerido para ingresar al SPD.
Para este segundo objetivo, se aprovecharon las bondades del anlisis de regresin multinivel (Abela, 2011), evitando
interpretaciones errneas debidas a las diferencias de efectos entre las diversas escuelas y licenciaturas, permitiendo
llegar a conclusiones vlidas y generalizables a toda la muestra.

METODOLOGA
1. Sujetos
La muestra estuvo conformada por 8,177 docentes egresados de escuelas normales en 2013 que tambin participaron
en el concurso al SPD en 2014. Se consideraron nicamente a aquellos participantes que contaban con la informacin
completa de las tres fuentes utilizadas (Concurso al SPD-2014, EGC-2013 y el cuestionario de contexto), que no presentaron evaluacin complementaria y que concursaron para una plaza equivalente a la licenciatura en educacin evaluada.
Esta muestra represent el 6.6% de los 124,223 registros de la base del concurso de ingreso al SPD. No participaron en el
EGC los estados de Oaxaca y Michoacn. Aunque existieron grandes variaciones en la proporcin de representacin por
entidad, la representacin por nivel de marginacin estatal es un poco ms homognea (entre 4.1% y 8.5% por nivel); el
detalle de esta informacin se presenta en el Cuadro 1. La distribucin por EGC y tipo de plaza se presenta en el Cuadro 2.

2. Instrumentos

Se utilizaron 13 exmenes generales de carcter diagnstico, se disearon con el propsito de proporcionar informacin
que retroalimente la formacin del docente al finalizar su formacin. Por otra parte, al ser instrumentos de alta sensibilidad a la instruccin formal, las estructuras de los mismos estn determinadas por los cinco rasgos del perfil de egreso de
las licenciaturas en educacin que se imparten en las escuelas normales.
Estn conformados por entre 174 y 198 reactivos para las Licenciaturas en Educacin Preescolar (LEPRE), Primaria (LEPRI), y Educacin Fsica (LEF), y por entre 263 y 274 reactivos, los correspondientes a las 10 especialidades de
la Licenciatura en Educacin Secundaria (Biloga, Espaol, Fsica, Formacin Cvica y tica, Geografa, Historia, Ingls,
Matemticas, Telesecundaria y Qumica). El promedio de dificultad clsica (porcentaje de respuesta correcta) de estos
instrumentos fue de 56.14%, con discriminaciones medias (correlacin punto biserial) de 0.22 y 0.27, y con consistencias
internas globales (alfa de Cronbach) entre 0.92 y 0.96.

Cuadro 1Representacin de la muestra con respecto a la poblacin de concursantes a ingresar al SPD


por entidad y nivel de marginacin.

Entidad

Poblacin del
concurso al
SPD
N=

Muestra
n=

Chiapas
Guerrero
Tabasco
Veracruz
Puebla
Campeche
Yucatn
San Luis Potos
Hidalgo
Morelos
Sinaloa
Nayarit
Durango
Zacatecas
Quintana Roo
Guanajuato
Tlaxcala
Quertaro
Estado de Mxico
Jalisco
Chihuahua
Sonora
Aguascalientes
Tamaulipas
Baja California Sur
Colima
Baja California
Distrito Federal
Nuevo Len
Coahuila

5,434
4,800
3,667
4,498
8,195
1,095
2,952
3,455
1,386
3,139
3,973
3,419
3,544
2,346
1,607
7,315
1,237
2,654
11,282
10,751
4,258
2,983
2,092
2,420
1,152
1,454
4,222
4,756
4,910
6,321

196
219
80
112
780
146
329
388
173
104
93
285
339
236
108
718
233
360
123
328
134
163
242
412
158
257
245
344
342
530

3.6%
4.6%
2.2%
2.5%
9.5%
13.3%
11.1%
11.2%
12.5%
3.3%
2.3%
8.3%
9.6%
10.1%
6.7%
9.8%
18.8%
13.6%
1.1%
3.1%
3.1%
5.5%
11.6%
17.0%
13.7%
17.7%
5.8%
7.2%
7.0%
8.4%

Nivel de
marginacin
CONAPO

Poblacin del
concurso al
SPD
N=

Muestra
n=

Muy alto

10,234

415

4.1%

Alto

25,248

2,008

8.0%

Medio

29,234

2,476

8.5%

Bajo

36,392

1,817

5.0%

Muy bajo

20,209

1,461

7.2%

124,223

8,177

6.6%

Cuadro 2 Proporcin de la muestra y correlacin entre puntajes para cada EGC.

N=

Licenciatura
en
educacin
secundaria
especialidad
en

LEPRE
LEPRI
LEF
Telesecundaria
Espaol
Matemticas
Biologa
Ingls
Historia
Formacin Cvica y tica
Fsica
Geografa
Qumica
Total

29,126 2,986
34,623 2,074
10,779
733
11,086
483
6,565
446
6,914
366
4,398
306
3,503
238
3,712
155
8,174
148
1,803
97
1,761
79
1,779
66
124,223 8,177

Cuadro 3 Resumen tcnico de las escalas obtenidas.

n=

%
representacin

10.3%
6.0%
6.8%
4.4%
6.8%
5.3%
7.0%
6.8%
4.2%
1.8%
5.4%
4.5%
3.7%
6.6%

Correlacion de los puntajes


(Pearson)
EHIREP - EGC EGC ECHPD ECHPD EHIREP
0.68
0.69
0.69
0.68
0.68
0.64
0.64
0.63
0.63
0.59
0.58
0.63
0.61
0.66
0.70
0.65
0.76
0.67
0.67
0.76
0.71
0.60
0.62
0.62
0.67
0.60
0.61
0.72
0.74
0.70
0.61
0.80
0.55
0.75
0.72
0.74
0.59
0.75
0.62
0.64
0.65
0.64

El cuestionario de contexto fue diseado con base en los lineamientos estipulados por el Ceneval (Herrera Ortiz, et al.,
2009), estuvo conformado originalmente por 200 preguntas que fueron seleccionadas y agrupadas con la metodologa
descrita por Herrera (2010). El puntaje de cada sustentante en las escalas, se obtuvo utilizando el Modelo de Crdito Parcial (Masters, 1982) con el software Winsteps. Se excluyeron de las escalas los reactivos que no ajustaron satisfactoriamente al modelo por su OUTFIT Residual cuadrtico medio no ponderado estandarizado e INFIT Residual cuadrtico
medio ponderado estandarizado (Wright & Linacre, 1992) ubicado fuera de los rangos determinados como ptimos por
el Centro (entre 0.7 y 1.3), y aquellas escalas que no obtuvieron ms de 60% de varianza explicada. Se utilizaron finalmente
58 preguntas agrupadas en 9 escalas, sus caractersticas se muestran en el Cuadro 3 y se describen a continuacin.

Tcnicas de aprendizaje activo (TAA)

En esta escala se consideran aspectos cognitivos que permiten a los estudiantes normalistas desarrollar y fortalecer activamente su aprendizaje con sentido crtico sobre su actuacin (Fernndez March, 2006). Esto corresponde a establecer
analogas, distinguir la informacin esencial de la secundaria, analizar problemticas para intentar resolverlas, formular
nuevas hiptesis e ideas, y obtener conclusiones propias.

Costumbres en clase (CC)

Considera las variables que arrojan informacin sobre el rol que asumen los estudiantes normalistas durante las jornadas
de clase, como son: la participacin, el respeto a sus compaeros y el uso de tcnicas de estudio durante la clase.

Percepcin de los formadores de docentes (PFD)

Incluye las variables relacionadas con la opinin que tienen los sustentantes acerca del desempeo de los formadores de
docentes dentro de los salones de clase. Se recoge la opinin sobre aspectos como la planeacin, las competencias didcticas y disciplinares, su profesionalismo y su contribucin al ambiente dentro del aula.

Percepcin de los servicios escolares (PSE)

Considera la opinin que tienen los estudiantes normalistas sobre la mejora de los servicios escolares en el ltimo ao
escolar; recoge aspectos como el transporte, material de apoyo didctico, servicio mdico y la administracin escolar.

Percepcin de las instalaciones y espacios facilitadores del aprendizaje (PI)

Incluye la opinin que tienen los estudiantes normalistas sobre la mejora de las instalaciones y espacios facilitadores del
aprendizaje (Falus & Golber, 2011) en el ltimo ao escolar, como son los talleres, las canchas deportivas, el auditorio, la
sala audiovisual, la biblioteca y el centro de cmputo.

Factores socioeconmicos (FS)

Rene informacin de algunos indicadores sociales y econmicos que se relacionaron consistentemente dentro de la
poblacin de sustentantes, particularmente incorpora el nivel acadmico y la principal actividad de los padres o tutores,
adems del ingreso familiar.

Tiempo de lectura (TL)

Comprende variables que miden las horas que los estudiantes normalistas destinan a la lectura de diversos textos, tales
como libros, peridicos, revistas e internet.

Descontento con la profesin docente (DPD)

Incluye variables que describen sentimientos o percepciones de descontento, apata e incluso decepcin respecto al quehacer profesional como docente.

Percepcin del prestigio docente (PPD)

En esta escala se consideran las variables relacionadas con la percepcin que tienen los sustentantes acerca del prestigio
y trascendencia social de la profesin docente.

3. Recodificacin de los datos


Se categorizaron los puntajes obtenidos en las escalas del cuestionario de contexto a partir del percentil 33 y 66 en tres
grupos (bajo, intermedio y alto). Los dictmenes sobresaliente y satisfactorio arrojados por los exmenes generales1 fueron fusionados en la categora Aprobado, excepto cuando se indique lo contrario. Los resultados individuales del ECHPD
y del EHIREP fueron recodificados en variables binarias fusionando los niveles de desempeo II y III (donde NI: no cumple con el perfil, NII: cumple satisfactoriamente, NIII: Nivel sobresaliente); el grupo de desempeo derivado del concurso
fue considerado como idneo (mnimo NII en los dos exmenes) y no idneo (nivel NII en alguno de los dos exmenes)
de acuerdo con lo establecido por el INEE (DOF, 2014). Se decidi clasificar la entidad de procedencia de acuerdo con el
ndice de marginacin emitido por el Conapo; se utiliz esta clasificacin ya que considera una visin de la marginacin
como fenmeno integral y adems, tiene un uso y aceptacin cada vez ms generalizado (Conapo, 2010).

4. Anlisis estadstico
Se calcul la correlacin de Pearson entre los puntajes obtenidos por los sustentantes en los tres instrumentos (EGC,
ECHPD y EHIREP). Adicionalmente, se ajustaron cuatro modelos de regresin multinivel con una funcin de enlace logit
de acuerdo con la metodologa descrita por Pardo (2007). Las observaciones se estructuraron en tres niveles; en el primero se consideraron las variables de los sustentantes, en el segundo las licenciaturas y en el tercero a las escuelas de
procedencia. A continuacin se describe cada modelo:

Modelo 1. Idoneidad asociada al dictamen obtenido en el EGC

Variable Respuesta: Probabilidad de que un sustentante obtuviese un perfil idneo para el SPD
Variable Predictora Nivel 1 (sustentante): Dictamen obtenido en el EGC.
Modelo 2. Idoneidad asociada con factores de contexto
Variable Respuesta: Probabilidad de que un sustentante obtuviese un perfil idneo para el SPD
Variables Predictoras Nivel 1 (sustentante): Categora de las escalas del cuestionario (TAC, PFD, PI, FS, TL, PPD), sexo,
otros estudios, nivel de marginacin.
Variables Predictoras Nivel 3 (escuela): Tipo de sostenimiento
Modelo 3. Nivel de desempeo en el EHIREP asociado con factores de contexto
Variable Respuesta: Probabilidad de que un sustentante obtuviese al menos el nivel II en el EHIREP
Variables Predictoras Nivel 1 (sustentante): Categora de las escalas del cuestionario (TAC, PFD, PI, FS, TL, PPD), sexo,
otros estudios, nivel de marginacin.
Variables Predictoras Nivel 3 (escuela): Tipo de sostenimiento
Modelo 4. Nivel de desempeo en el ECHPD asociado con factores de contexto
Variable Respuesta: Probabilidad de que un sustentante obtuviese al menos el nivel II en el ECHPD
Variables Predictoras Nivel 1 (sustentante): Categora de las escalas del cuestionario (TAC, PI, FS, TL, PPD), otros estudios, nivel de marginacin.
Variables Predictoras Nivel 3 (escuela): Tipo de sostenimiento
Las variables predictoras de efectos fijos probadas en los modelos 2, 3 y 4, fueron las categoras que cada sustentante obtuvo en las 9 escalas del cuestionario de contexto, adems se incorporaron otras variables de inters y el nivel
de marginacin estatal (Conapo, 2010). Se eligieron las variables por eliminacin regresiva comparado los modelos con
la Log-pseudo-verosimilitud (Faraway, 2002). Como variable de efectos aleatorios en el nivel III correspondiente a las
escuelas de procedencia se incluy su rgimen de sostenimiento en todos los modelos. Los modelos resultaron significativos (prueba F con p < 0.001) con un ajuste aceptable (74.6%, 70.0%, 69.6% y 78.7% pronosticado correctamente).
El nivel Satisfactorio indica que el sustentante demostr los conocimientos y habilidades bsicas y esenciales para el desempeo docente, mientras
que el nivel Sobresaliente indica que demostr los conocimientos y habilidades, que es ideal y recomendable que posea para la prctica docente. Como
complemento se encuentre el dictamen Insuficiente que indica que no hay evidencia de que el sustentante posea al menos el nivel satisfactorio.

En la seccin de resultados se presentan las comparaciones entre las medias estimadas para cada grupo con respecto a
la gran media (lnea roja) del modelo 2, las barras amarillas representan cambios significativos y las azules indican que
no hay diferencias, las lneas moradas representan la desviacin estndar.

RESULTADOS
Los estadsticos descriptivos se presentan en el Cuadro 3, en este se muestra la distribucin de los 8,177 sustentantes respecto a las variables consideradas en este estudio, como resultado en el EGC, la clasificacin de sus puntajes de acuerdo
con las 6 escalas del cuestionario de contexto, variables personales como sexo, otros estudios y nivel de marginacin de
sus estado de procedencia, as como tipo de sostenimiento de la escuela normal; est ultima variable corresponde a variables a nivel de las escuelas. Adicionalmente, se presenta a modo de tabla de contingencia, la proporcin de sustentaste
que alcanzaron el dictamen idneo en cada subgrupo.
Cuadro 4 Estadsticos descriptivos

Variable
Sexo del sustentante
Tiene otros estudios de nivel
licenciatura?
Nivel de marginacin del estado de
procedencia

Rgimen de la escuela de procedencia

Resultado en el EGC

ESCALAS DEL CUESTIONARIO

Tcnicas de aprendizaje activo


Percepcin de los formadores
de docentes
Percepcin de las
instalaciones y espacios
facilitadores del aprendizaje
Factores socioeconmicos

Tiempo de lectura

Percepcin del prestigio


docente

Total general

Categora

n=

Idneos

Hombre
Mujeres
S
No
Muy alto
Alto
Medio
Bajo
Muy bajo

2,051
6,126
419
7,758
415
2,008
2,476
1,817
1,461

25.1%
74.9%
5.1%
94.9%
5.1%
24.6%
30.3%
22.2%
17.9%

852
3,076
249
3,679
110
873
1,154
992
799

Proporcin
de idneos
0.42
0.50
0.59
0.47
0.27
0.43
0.47
0.55
0.55

Privada

2,312

28.3%

884

0.38

Pblico

5,865

71.7%

3,044

0.52

Insuficiente
Suficiente
Sobresaliente

3428
3442
1307

41.9%
42.1%
16.0%

813
2021
1094

0.24
0.59
0.84

Sin tcnicas
Intermedio
Con tcnicas
Mala
Intermedio
Buena
Mala
Intermedio
Buena
Nivel alto
Intermedio
Nivel bajo
No lectores
Intermedio
Lectores

3605
2,638
1,934
3,279
2,521
2,377
3,290
3,293
1,594
2,596
2,807
2,774
4,037
2,209
1,931

44.1%
32.3%
23.7%
40.1%
30.8%
29.1%
40.2%
40.3%
19.5%
31.7%
34.3%
33.9%
49.4%
27.0%
23.6%

1529
1,276
1,123
1,593
1,234
1,101
1,685
1,549
694
1,324
1,373
1,231
1,840
1,089
999

0.42
0.48
0.58
0.49
0.49
0.46
0.51
0.47
0.44
0.51
0.49
0.44
0.46
0.49
0.52

Percepcin de
desprestigio

3,527

43.1%

1,494

0.42

Intermedio

2,057

25.2%

1,074

0.52

Percepcin de
prestigio

2,593

31.7%

1,360

0.52

8,177

100%

3,928

0.48

La correlacin de Pearson entre los puntajes de los dos instrumentos del concurso (EHIREP y ECHPD) es de 0.64,
mientras que estos tienen valores de correlacin de 0.65 y 0.64 con respecto al EGC. Al analizar el detalle de las licenciaturas, la correlacin mnima y mxima se presentan en la especialidad de fsica con 0.55 (EGC-EHIREP) y 0.8 (EGC-ECHPD).

Modelo 1
Se encontr una asociacin estadsticamente significativa entre los dictmenes del EGC y la probabilidad de que un sustentante se ubique en el grupo idneo en el concurso de ingreso al SPD. Para este modelo la probabilidad promedio de que
un docente estuviera en el grupo con perfil idneo fue de 0.56; esta probabilidad se modifica significativamente dependiendo del dictamen obtenido en el EGC, siendo de 0.22 para el dictamen no suficiente, 0.57 para el suficiente y aumenta
a 0.85 para los sustentantes que obtuvieron un dictamen sobresaliente, como se muestra en la Figura 1.
Figura 1. Probabilidad de idoneidad por resultado del ECG

Efectos fijos
En los modelos se incorporaron 6 de las 9 escalas obtenidas, la percepcin de los servicios escolares, costumbres en clase
y descontento con la profesin docente no parecen estar relacionados consistentemente con los resultados del concurso.
En los modelos 2, 3 y 4, se incluyeron las mismas variables obteniendo resultados similares; nicamente para el ECHPD
(modelo 4), la escala de percepcin de los formadores de docentes y el sexo del sustentante no se relacionaron con el nivel
de desempeo. A continuacin, se describen los resultados obtenidos para predecir el resultado del concurso (modelo
2), el detalle de los parmetros estimados para el resto de los modelos se presentan en el Cuadro 4, en el que se expresan
como porcentaje de cambio con respecto a la gran media.
De las escalas incluidas en el modelo 2, resalta que el reporte del uso de tcnicas de aprendizaje activo y el tiempo
dedicado a lecturas recreativas estn asociados a aumentos de 22.7% y 18.6% respectivamente, con relacin a los sustentantes que reportan no hacerlo (Figura 2).
9

Figura 2 Probabilidad de idoneidad por tipo de tcnicas de aprendizaje activo

La percepcin negativa sobre los formadores de docentes y las instalaciones escolares estn asociadas con mayores
probabilidades de obtener un dictamen idneo en el concurso (13.6% y 15.8% respectivamente. Figura 3). De igual manera, una percepcin de prestigio sobre la profesin docente y un mayor nivel socioeconmico se asocia con aumentos
del 13.8% y 17.7% con respecto a los grupos opuestos.
Figura 3Probabilidad de idoneidad por tipo de percepcin de las instalaciones
y espacios facilitadores del aprendizaje

10

Las otras variables independientes incluidas en este nivel del modelo fueron el sexo del sustentante, ya que las mujeres
tienen 8.4% ms probabilidades de obtener un dictamen idneo; la realizacin previa de otros estudios de licenciatura
tambin est asociada con mayores probabilidades (20.6%). Finalmente, merecen atencin especial las probabilidades
asociadas al nivel de marginacin estatal, ya que aquellos sustentantes provenientes de entidades con muy alto nivel de
marginacin tienen 39.8% menos probabilidades de obtener un resultado global idneo cuando se les compara con el
promedio de la poblacin y 65.9% menos, cuando se compara con sustentantes provenientes de entidades con muy bajo
nivel de marginacin (Figura 4).
Figura 4 Probabilidad de idoneidad por grado de marginacin

Finalmente, se anexaron dos covariables al modelo, el promedio obtenido en la licenciatura y el nmero de docentes
diferentes que le impartieron clases durante la licenciatura. Para los clculos de los contrastes presentados se fijaron
estos valores, la media para el nmero de docentes fue de 17 y del promedio de licenciatura 8.7; estos valores fueron los
mismos para los modelos 3 y 4.

Efectos aleatorios
En las variables propias de las escuela, se encontr que aquellas con sostenimiento pblico tienen mayores probabilidades de aprobar 21.2%, 17.2% y 10.2%, respectivamente para los modelos 2 (Figura 5), 3 y 4.

11

Figura 5 Probabilidad de idoneidad por rgimen de la escuela de procedencia

En el Cuadro 5, se presenta el detalle de los parmetros incluidos y estimados, expresados como el cambio en la probabilidad asociado a cada nivel de una variable.

Cuadro 5Principales parmetros estimados con los modelos 2, 3 y 4. Todos los cambios de probabilidad presentados
son significativos (p > 0.05); se considera como referencia la gran media para cada modelo.

Grandes medias de probabilidad


Variable de inters

ESCALAS DEL CUESTIONARIO

NIVEL 1

Tcnicas de aprendizaje activo


Percepcin de los formadores
de docentes
Percepcin de las
instalaciones y espacios
facilitadores del aprendizaje
Factores socioeconmicos

Tiempo de lectura

NIVEL 3

VARIABLES
INDEPENDIENTES

Percepcin del prestigio


docente

12

Sexo del sustentante


Tiene otros estudios de nivel
licenciatura?
Nivel de marginacin del
estado de procedencia

Rgimen de la escuela de procedencia

Resultado del
Concurso

EHIREP

ECHPD

0.48

0.53

0.79

Cambios en la
Cambios en la
Cambios en la
Probabilidad de Probabilidad de Probabilidad de
ser dneo
superar el nivel I superar el nivel I

Categora

n=

Sin tcnicas
Intermedio
Con tcnicas
Mala
Intermedio
Buena
Mala
Intermedio
Buena
Nivel alto
Intermedio
Nivel bajo
No lectores
Intermedio
Lectores

3,605
2,638
1,934
3,279
2,521
2,377
3,290
3,293
1,594
2,596
2,807
2,774
4,037
2,209
1,931

-11.0%
-3.5%
14.5%
5.3%
n/s
-6.5%
7.3%
n/s
-8.2%
-9.2%
n/s
7.6%
-10.0%
n/s
8.8%

-10.8%
n/s
13.0%
3.7%
n/s
-4.7%
6.7%
n/s
-7.3%
-8.6%
n/s
6.9%
-8.8%
n/s
7.1%

-4.3%
n/s
5.5%
n/s
n/s
n/s
5.3%
n/s
-4.5%
-1.4%
n/s
2.6%
-3.1%
n/s
4.5%

Percepcin de
desprestigio

3,527

-10.0%

-9.1%

-2.0%

Intermedio

2,057

5.7%

5.8%

2.9%

Percepcin de
prestigio

2,593

4.5%

n/s

n/s

Hombre
Mujeres
S
No
Muy alto
Alto
Medio
Bajo
Muy bajo

2,051
6,126
419
7,758
415
2,008
2,476
1,817
1,461

-4.4%
4.4%
10.3%
-10.3%
-39.8%
n/s
n/s
n/s
26.1%

-5.2%
5.2%
8.6%
-8.8%
-41.0%
n/s
n/s
12.5%
22.0%

n/s
n/s
4.3%
-4.3%
-19.0%
5.2%
n/s
n/s
10.3%

Privada

2,312

-10.6%

-8.6%

-5.1%

Pblico

5,865

10.6%

8.6%

5.1%

CONCLUSIONES
En este trabajo se ha documentado que diversos factores como los hbitos de estudio, de lectura, la percepcin de prestigio de la profesin docente, el nivel socioeconmico y el nivel de marginacin estatal, ejercen efectos consistentes sobre
los resultados obtenidos por docentes egresados de escuelas normales en las diversas fases del concurso de ingreso al
SPD. Resulta relevante estudiar causalmente estas relaciones en el futuro para identificar sobre cules de estos factores
sera posible implementar polticas que compensen o potencien la formacin de los docentes de escuelas normales, para
que tengan mayores probabilidades de cumplir y alcanzar el perfil docente que el SPD requiere.
Simultneamente, se ha encontrado evidencia sobre la validez de los diferentes instrumentos analizados, ya que presentan resultados congruentes. Sin embargo, resulta de gran relevancia que se comparen estos resultados con instrumentos especficamente diseados para evaluar competencias y, durante el SPD, el desempeo.

BIBLIOGRAFA
Abela, J. A., 2011. El anlisis multinivel: Una revisin actualizada en el mbito sociolgico. Metodologa de Encuestas,
13(1), pp. 161-176.
Conapo, 2010. ndice de marginacin por entidad federativa y municipio 2010. [En lnea] Available at: http://www.conapo.
gob.mx/work/models/CONAPO/indices_margina/mf2010/CapitulosPDF/1_4.pdf [ltimo acceso: 28 Noviembre 2013].
DOF, 2013. DECRETO por el que se expide la Ley General del Servicio Profesional Docente. 11 Septiembre.
DOF, 2014. CRITERIOS TCNICOS Y DE PROCEDIMIENTO. Diario Oficial de la Federacin, 9 julio.
Falus, L. & Golber, M., 2011. Recursos, instalaciones y servicios basicos en las escuelas primarias de America Latina.
Otra forma que asume la desigualdad educativa. Cuadernos SITEAL, Issue 7.
Faraway, J. J., 2002. Practical Regression and ANOVA using R. s.l.:R.
Fernndez March, A., 2006. Metodologas activas para la formacin de competencias. Educatio siglo XXI, p. 9.
Herrera Ortiz, M., Garca Pinzn, I., Monroy Cazorla, L. & Perz Muos, R., 2009. Cuestionarios de contexto: Una herramienta
medular para el desarrollo de investigaciones educativas. Mxico: Ceneval.
Herrera Ortiz, M., Garca Pinzn, I., Monroy Cazorla, L. & Perz Muos, R., 2010. Escalamiento de varaibles de contexto.
Mxico: Ceneval.
Masters, G. N., 1982. A rasch model for partial credit scoring. Psychometrika, Volumen 47, pp. 149-174.
Pardo, A., Ruiz, M. A. & San Martn, R., 2007. Cmo ajustar e interpretar modelos multinivel con SPSS. Psicothema, 2(19),
pp. 308-321.
Wright, B. D. & Linacre, J. M., 1992. A users guide to bigsteps. Chicago: Mesa. Press.

13

Estudio comparativo entre dos versiones


(papel e informatizada) de una prueba
de diagnstico del rendimiento
en matemticas a estudiantes madrileos
de educacin secundaria

Estudio comparativo entre dos versiones


(papel e informatizada) de una prueba
de diagnstico del rendimiento
en matemticas a estudiantes madrileos
de educacin secundaria
Eva Jimnez Garca*
Maestra, Universidad Europea de Madrid, Espaa.
eva.jimenez@uem.es

Coral Gonzlez Barbera


Doctora, Universidad Complutense de Madrid, Espaa.
cgbarbera@edu.ucm.es
PALABRAS CLAVE: F
 uncionamiento diferencial de los tems, test informatizados, test en papel y lpiz,
Mantel- Haenszel y Regresin logstica.
EJE TEMTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones.

Resumen

Este trabajo evala la comparacin entre dos versiones (papel y online) de una prueba de rendimiento en matemticas en alumnos de 2 E.S.O y el efecto que tienen las dos versiones en la puntuacin de cada tem. Se utilizan
para la deteccin del funcionamiento diferencial de los tems la prueba Mantel- Haenszel y la regresin logstica.
El procedimiento Mantel- Haenszel, nos ofrece una prueba de contraste y la regresin logstica con las medidas
del efecto, nos permiten concluir que todos los tems que presentan DIF, ste lo es de forma irrelevante y dbil.
Lo que nos lleva a concluir que, ambas versiones son equivalentes.

*Autor principal

INTRODUCCIN

Los avances tecnolgicos a los que hoy estamos expuestos, han ocasionado un importante impacto en el formato de los
test, con la intencin de adaptarse a las necesidades a las que se enfrenta la sociedad. Por ello los test convencionales
comienzan a informatizarse (Olea, Abad y Barrada, 2010).
Son muchos los estudios internacionales que incorporan la informatizacin de las pruebas, PISA- ERA (Electronic
Reading Assessment), OCDE e ICILS (International Computer and Information Literacy Study), PISA (Programme for International Student Assessment) y PIAAC (Programme for International Assessment of Adult Skills).
En este trabajo, presentamos los datos de la Evaluacin de Diagnstico de 2010, concretamente la evaluacin del dominio cognitivo de Matemticas en 2 de Educacin Secundaria Obligatoria de la Comunidad de Madrid. Dicha evaluacin
tiene la peculiaridad de ser aplicada en formato tradicional (papel y lpiz) o informatizada.
La preocupacin principal cuando utilizamos diferentes modo de aplicacin (papel o informatizado) de un test, es el
posible sesgo que puede originar en las puntuaciones de los sujetos.
Son muchos los autores que han estudiado el tema, sin llegar a un acuerdo. Existen algunos partidarios de que el modo
de aplicacin afecta al rendimiento, unos a favor de las pruebas en papel (Choi y Tinkler, 2002; Ito y Sykes, 2004; Bennett
et al., 2008) y otros a favor de las pruebas informatizadas (Arribas, 2004).

Pero la mayora de autores concluyen la no existencia de diferencias en los resultados en funcin del modo de aplicacin, por tanto concluyen la equivalencia entre ambas pruebas (Taylor, Jamieson, Eignot y Kirsch, 1998; Pearson, 20022003; Wang, 2004; Johnson y Green, 2006; Kim y Huynh, 2007; Wang, Jiao, Young, Brooks, y Olson, 2007-2008.
Ante esta controversia, es fundamental llevar a cabo un anlisis pormenorizado de cada uno de los tems que conforman la prueba y verificar as la equivalencia de ambas pruebas. Siendo por tanto el objetivo de este trabajo la deteccin
a travs de una muestra representativa de alumnos, el Funcionamiento Diferencial de los tems1 en ambas versiones.
Pretendiendo conocer si el modo de aplicacin de un test afecta o no al funcionamiento diferencial de los tems.
Esencialmente cuando se llevan a cabo estudios del Funcionamiento Diferencial de los tems (de ahora en adelante DIF)
principalmente se utilizan para llevar a cabo estos estudios variables de carcter demogrfico como gnero (Hamilton,
1999), raza (Scheuneman y Grima, 1997), tipo de escuela de los alumnos (Scheuneman y Grima, 1997). O relacionadas
con caractersticas del test, en especial relativas al tipo de tem (Thissen y Steinberg, 1997; ONeill y McPeek, 1993), o el
grado de dificultad de la prueba (Arribas, 2004).
An son pocos los estudios que utilicen metodologa DIF valorando el modo de aplicacin de la prueba, algunos a
destacar seran los llevados a cabo por Puhan, Boughton y Kim (2007), Keng, McClarty, y Davis (2008) y Poggio et al.,
(2005); con los mismos resultados, mostrando la equivalencia entre ambas pruebas dado que son mnimos los tems que
presentan DIF y si lo hacen es con tamaos del efecto pequeos y no significativos.

DISEO DE INVESTIGACIN
Participantes
La poblacin objeto de estudio corresponde a los alumnos matriculados en 2 ESO de la Comunidad de Madrid. En la tabla
1 se resume el conjunto de datos disponibles:
Tabla 1 Resumen de datos en funcin del tipo de centro y el modo de aplicacin
Tipo de centro

Test papel y lpiz

Test informatizado

Pblico

20205

828

Privado Concertado

19327

885

Privado

4663

513

Total

44195

2226

Teniendo en cuenta los datos de la aplicacin informatizada, hemos realizado una muestra aleatoria de la prueba en
papel y lpiz con el mismo nmero de sujetos que los disponibles en la prueba online segn el tipo de centro al que asiste
el alumno (pblico, privado o concertado). De tal forma que la muestra resultante queda recogida en la tabla 2.
Tabla 2 Resumen de la muestra
Test papel y lpiz

Test Informatizado

Pblico

828

828

Privado Concertado

885

885

Privado

513

513

Total

2226

2226

Acrnimo, en ingls del Differential Item Functioning.

Tipo de centro

Instrumentos
Las pruebas de Evaluacin de Diagnstico de 2010 de la Comunidad de Madrid, se tratan de pruebas proporcionadas
por la Consejera de Educacin.
El instrumento consta de 40 tems de opcin mltiple, en los que se evala la competencia en Matemticas para 2
Educacin Secundaria Obligatoria.
Esta evaluacin fue aplicada por los propios centros y profesores, que pudieron responder a las pruebas de manera
convencional (papel y lpiz), o a travs de la aplicacin informatizada.
Para llevar a cabo la aplicacin online, que requiere internet, es imprescindible garantizar la seguridad y la proteccin
de los datos.
Ante esta necesidad, se ha requerido la creacin de unas directrices para el diseo y la elaboracin correcta de los
test informatizados, habiendo un apartado especial en International Test Commission (2005), para las aplicaciones va
internet. Proponen una serie de aspectos que hemos tenido en cuenta cuando la aplicacin es llevada a cabo a travs
de internet (descripcin y pruebas tanto del hardware como software, guas para la correcta aplicacin, bloque acceso
a internet durante la aplicacin, pantalla no sobrecargada, instrucciones adaptadas, aplicacin supervisada y garanta
de seguridad y proteccin de datos por medio de claves).

Diseo y recoleccin de la informacin


El diseo utilizado en este trabajo es la encuesta, tcnica cuantitativa que nos permite recoger informacin sobre variables concretas. Esta recoleccin de la informacin ha sido posible mediante el uso de un test de rendimiento matemtico
elaborado tanto en papel como online.
El modo de realizar la prueba no fue mediante asignacin aleatoria, sino por seleccin de la propia escuela segn sus
intereses y los recursos tecnolgicos disponibles, siendo la versin en papel la ms elegida. Por este motivo, se tom la
decisin de realizar una muestra aleatoria de los datos en papel estratificando por el tipo de centro al que asiste el sujeto,
con la finalidad de obtener el mismo nmero de sujetos en centros pblicos, concertados y privados que en la prueba
online (vase tabla 2).
Para mejorar las estimaciones de la distribucin muestral, hemos llevado a cabo el procedimiento bootstrap. Procedimiento de remuestreo elaborado por Bradley Efron en 1979, donde cada remuestra tiene el mismo nmero de elementos
que la muestra original, pero al realizar la reposicin, cada muestra puede incluir datos ms de una vez. As, cada observacin individual tiene una probabilidad 1/n de ser elegido cada vez (Gil, 2005, p.253).
Con el mtodo bootstrap, la muestra es considerada como si fuera la poblacin; y nos permite dar un enfoque sobre
el uso de los estadsticos a la hora de hacer inferenciassobre los parmetros (Efron y Tibshirani, 1993).

Anlisis estadsticos
Han sido utilizados varios procedimientos para la deteccin del DIF, con la intencin de garantizar una mejor estimacin
y proporcionar conclusiones ms consistentes y aproximadas que si se utiliza un nico mtodo de deteccin.
Se ha llevado a cabo el procedimiento de Mantel- Haenszel que tiene una considerable limitacin ante su escasa
potencia estadstica para la deteccin del DIF no uniforme (Mellenbergh, 1982; Rogers y Swaminathan, 1993). Por ello,
y siguiendo a Swaminathan y Rogers (1990) hemos utilizado como alternativa, la regresin logstica, como mtodo de
anlisis del DIF uniforme y no uniforme. Ambos han sido realizados utilizando el procedimiento bootstrap con el programa SPSS, 19.
Para evitar problemas relativos al amplio tamao muestral con el que se trabaja en este estudio (2226 sujetos en cada
muestra), el nivel de significacin establecido ha sido de 0,01.
4

RESULTADOS
Prueba Mantel-Haenszel
En la tabla 4 presentamos los valores del coeficiente MH de la prueba de contraste ( X 2 MH), y las clasificaciones para
el DIF en los 40 tems de la prueba.
Tabla 4 Resumen de los coeficientes MH, Ln (MH) y MH X2 y funcionamiento diferencial de los tems
tem 1

Ln (MH)

1,022

0,022

1,135

tem 3

MH X2

Clase de DIF

0,100

DIF Irrelevante

0,127

3,648

DIF Irrelevante

1,089

0,085

1,702

DIF Irrelevante

tem 4

1,200

0,182

6,498

DIF Irrelevante

tem 5

1,002

0,002

0,000

DIF Irrelevante

tem 6

0,971

-0,029

0,154

DIF Irrelevante

tem 7

0,994

-0,006

0,004

DIF Irrelevante

tem 8

1,166

0,154

5,125

DIF Irrelevante

tem 9

1,153

0,142

4,772

DIF Irrelevante

tem 10

1,272

0,241

10,284

DIF Irrelevante

tem 11

0,992

-0,008

0,010

DIF Irrelevante

tem 12

1,138

0,129

4,224

DIF Irrelevante

tem 13

1,105

0,100

2,139

DIF Irrelevante

tem 14

1,407

0,342

25,095

DIF Irrelevante

tem 15

1,213

0,193

8,160

DIF Irrelevante

tem 16

1,016

0,016

0,042

DIF Irrelevante

tem 17

0,771

-0,260

15,191

DIF Irrelevante

tem 18

1,008

0,008

0,009

DIF Irrelevante

tem 19

0,839

-0,176

4,361

DIF Irrelevante

tem 20

1,408

0,342

26,207

DIF Irrelevante

tem 21

1,070

0,068

0,883

DIF Irrelevante

tem 22

0,962

-0,038

0,287

DIF Irrelevante

tem 23

0,811

-0,209

6,883

DIF Irrelevante

tem 24

0,795

-0,230

10,307

DIF Irrelevante

tem 25

0,942

-0,060

0,621

DIF Irrelevante

tem 26

0,868

-0,142

4,269

DIF Irrelevante

tem 27

0,891

-0,116

1,572

DIF Irrelevante

tem 28

0,826

-0,191

7,260

DIF Irrelevante

tem 29

1,172

0,158

0,509

DIF Irrelevante

tem 30

1,052

0,050

0,509

DIF Irrelevante

tem 31

1,201

0,183

7,261

DIF Irrelevante

tem 32

1,111

0,106

2,442

DIF Irrelevante

tem 33

0,830

-0,187

8,544

DIF Irrelevante

tem 34

0,834

-0,182

5,974

DIF Irrelevante

tem 35

0,896

-0,110

2,680

DIF Irrelevante

tem 36

0,984

-0,016

0,042

DIF Irrelevante

tem 37

0,731

-0,314

13,944

DIF Irrelevante

tem 38

0,697

-0,362

27,172

DIF Irrelevante

tem 39

0,880

-0,128

3,395

DIF Irrelevante

tem 40

0,805

-0,217

11,075

DIF Irrelevante

tem 2

MH

Nota: En cursiva se indican HM > 1 el tem favorece al grupo que hizo la prueba en papel. En negrita se indican HM < 1
el tem favorece al grupo que hizo la prueba online. |Ln (MH)| = 0 o < 1 (DIF irrelevante).

A pesar de obtener valores del coeficiente MH diferentes a 1 y por tanto concluir que existe DIF en todos los tems,
la transformacin logartmica del coeficiente MH nos indica que este funcionamiento diferencial de los tems es irrelevante en los 40 tems que conforman la prueba.
En consecuencia aceptamos la tercera hiptesis ya que el DIF es irrelevante y por tanto no favorece a ningn grupo
sea cual sea el modo de aplicacin de la prueba.

Regresin Logstica
Los resultados recogidos en la tabla 5 nos muestra los tems que presentan DIF, 17 tems, porque la diferencia entre el R2
del modelo 1 y del modelo 3 es significativo (p < 0,01).
Estos tems presentan DIF uniforme a favor del grupo focal (versin online) dado que la diferencia entre los valores
R2 obtenidos en el modelo 2 y 3 es pequea.
A pesar de que aparentemente estos tems presenten DIF, la medida del efecto del DIF, nos permite conocer su intensidad. Podemos apreciar como en todos los casos la presencia del DIF es muy dbil (valores inferiores a 0,035).
Por tanto, aunque la prueba X2 sea significativa, el tamao del efecto es muy pequeo, lo que nos lleva a considerar que
ningn tem presenta funcionamiento diferencial relevante y por tanto de nuevo aceptamos la tercera hiptesis.
Llevado a cabo el estudio del DIF, podemos concluir de forma global, que existen tems que presentan DIF (normalmente favorables a la prueba online). Pero la clase de DIF con el que nos encontramos es dbil e irrelevante, lo que nos
lleva a aceptar la hiptesis tercera planteada y concluir que el modo de aplicacin de un test no afecta significativamente
al funcionamiento diferencial de los tems.
Tabla 5 Regresin Logstica y funcionamiento diferencial de los tems
Regresin Logstica (R Nagelkerke)

ITEM

-2Log
Modelo 1

-2Log
Modelo 2

-2Log
Modelo 3

DIF X2

Diferencia
R2 Modelo
2-3

Diferencia
R2 Modelo
31

tem 1

0,130

0,130

0,133

11,632 (p = 0,003)

-0,003

0,003

DIF Dbil

tem 2

0,138

0,140

0,140

5,054 (p = 0,080)

0,000

0,002

No DIF

tem 3

0,058

0,059

0,06

6,584 (p = 0,037)

-0,001

0,002

No DIF

tem 4

0,262

0,263

0,263

5,980 (p = 0,050)

0,000

0,001

No DIF

tem 5

0,230

0,23

0,231

1,703 (p = 0,427)

-0,001

0,001

No DIF

tem 6

0,237

0,237

0,237

1,517 (p = 0,468)

0,000

0,000

No DIF

tem 7

0,134

0,134

0,134

0,151 (p = 0,927)

0,000

0,000

No DIF

tem 8

0,248

0,250

0,250

6,572 (p = 0,037)

0,000

0,002

No DIF

tem 9

0,151

0,153

0,154

11,398 (p = 0,003)

-0,001

0,003

DIF Dbil

tem 10

0,201

0,204

0,204

11,764 (p = 0,003)

0,000

0,003

DIF Dbil

tem 11

0,103

0,103

0,104

4,231 (p = 0,121)

-0,001

0,001

No DIF

tem 12

0,001

0,003

0,004

11,089 (p = 0,004)

-0,001

0,003

DIF Dbil

tem 13

0,130

0,131

0,132

4,637 (p = 0,098)

-0,001

0,002

No DIF

tem 14

0,112

0,119

0,121

29,089 (p = 0,000)

-0,002

0,009

DIF Dbil

tem 15

0,249

0,251

0,251

8,923 (p = 0,012)

0,000

0,002

DIF Dbil

tem 16

0,179

0,179

0,180

3,112 (p = 0,211)

-0,001

0,001

No DIF

tem 17

0,019

0,024

0,027

26,490 (p = 0,000)

-0,003

0,008

DIF Dbil

tem 18

0,106

0,106

0,106

0,227 (p = 0,893)

0,000

0,000

No DIF

tem 19

0,170

0,172

0,175

15,421 (p = 0,000)

-0,003

0,005

DIF Dbil

Clase de DIF

Regresin Logstica (R Nagelkerke)


ITEM

Diferencia
R2 Modelo
2-3

Diferencia
R2 Modelo
31

26,564 (p = 0,000)

0,000

0,006

DIF Dbil

2,827 (p = 0,243)

-0,001

0,001

No DIF

1,346 (p = 0,510)

0,000

0,000

No DIF

13,485 (p = 0,001)

-0,002

0,004

DIF Dbil

13,327 (p = 0,001)

0,000

0,003

DIF Dbil

22,146 (p = 0,000)

-0,004

0,004

DIF Dbil

4,678 (p = 0,096)

0,000

0,001

No DIF

6,396 (p = 0,041)

-0,001

0,002

No DIF

0,096

80903 (p = 0,012)

0,000

0,003

No DIF

0,211

5,968 (p = 0,051)

0,000

0,002

No DIF

0,250

6,318 (p = 0,042)

-0,001

0,002

No DIF

0,24

12,654 (p = 0,002)

-0,001

0,004

DIF Dbil

0,227

0,227

3,731 (p = 0,155)

0,000

0,001

No DIF

0,097

0,098

9,234 (p = 0,010)

-0,001

0,003

DIF Dbil

-2Log
Modelo 1

-2Log
Modelo 2

-2Log
Modelo 3

DIF X2

tem 20

0,236

0,242

0,242

tem 21

0,277

0,277

0,278

tem 22

0,211

0,211

0,211

tem 23

0,164

0,166

0,168

tem 24

0,347

0,35

0,350

tem 25

0,416

0,416

0,420

tem 26

0,262

0,263

0,263

tem 27

0,016

0,017

0,018

tem 28

0,093

0,096

tem 29

0,209

0,211

tem 30

0,248

0,249

tem 31

0,236

0,239

tem 32

0,226

tem 33

0,095

Clase de DIF

tem 34

0,253

0,254

0,254

4,314 (p = 0,116)

0,000

0,001

No DIF

tem 35

0,146

0,147

0,147

2,847 (p = 0,241)

0,000

0,001

No DIF

tem 36

0,141

0,141

0,141

1,825 (p = 0,401)

0,000

0,000

No DIF

tem 37

0,090

0,096

0,097

19,836 (p = 0,000)

-0,001

0,007

DIF Dbil

tem 38

0,290

0,296

0,296

28,189 (p = 0,000)

0,000

0,006

DIF Dbil

tem 39

0,253

0,254

0,254

4,314 (p = 0,116)

0,000

0,001

No DIF

tem 40

0,163

0,166

0,168

17,053 (p = 0,000)

-0,002

0,005

DIF Dbil

Nota: En negrita se indican Diferencia R Modelo 3 - Modelo 1 significativa (p > 0,01) (presenta DIF). En cursiva se indican tems
con DIF uniforme. Medida del efecto < 0,035 (DIF dbil).
2

CONCLUSIONES
En lo que respecta al objetivo planteado en este trabajo, podemos concluir, que el modo en el que se han aplicado las
pruebas no afecta significativamente al funcionamiento diferencial de los tems.
A la vista de las tcnicas expuestas para la deteccin del funcionamiento diferencial de los tems, el procedimiento
Mantel- Haenszel a pesar de que el coeficiente MH no es igual a 1 y por tanto concluir que existe DIF, la transformacin
logartmica del coeficiente MH nos indica que este funcionamiento diferencial de los tems es irrelevante en los 40 tems
que conforman la prueba.
Lo mismo sucede cuando utilizamos la regresin logstica como procedimiento para la deteccin del DIF. Los 17 tems
que presentan DIF lo hacen de forma muy dbil.
Con estos procedimientos podemos por tanto concluir que el modo de aplicacin de las pruebas (versin papel y
online) no afecta significativamente al funcionamiento diferencial de los tems. Y por consiguiente nos lleva a determinar
que ambas versiones (papel y online) son equivalentes.
Comprobada esta equivalencia, las pruebas en papel y lpiz elaboradas para la Evaluacin de Diagnstico 2010 podrn ser remplazadas por las pruebas online. De esta forma nos veremos favorecidos por muchos de los beneficios que
las versiones informatizadas nos ofrecen (menor coste, menores errores de grabacin, menor nmero de tems, menor
7

tiempo de aplicacin, permite fijar el tiempo de exposicin de preguntas, automatizacin de puntuaciones e informes,
entre otras).
Por ltimo, queremos sealar que este trabajo de investigacin presenta algunas limitaciones, fundamentalmente debidas a la no asignacin aleatoria del modo de aplicacin de la prueba. Para solventar este aspecto y de cara a futuras
lneas de investigacin sera interesante utilizar procedimientos propensity analysis, propuesto por Rosembaum y Rubin
(1983). Mtodos para controlar y reducir el sesgo de seleccin debido a la no asignacin aleatoria del sujeto al grupo,
como sucede en nuestro estudio.
Al igual que sera interesante estudiar el efecto que tiene el modo de aplicacin controlando el tipo de centro al que
asiste el estudiante (pblico, privado y concertado).

BIBLIOGRAFA
Arribas, D. (2004). Diferencias entre los test informatizados de primera generacin y los test en papel y lpiz: influencia
de la velocidad y el nivel de destreza informtica. Accin Psicologa, 3, 91-100.
Bennett, R.E., Braswell, J., Oranje, A., Sandene, B., Kaplan, B., Yan, F. (2008). Does it matter if I take my mathematics test on
computer? A second empirical study of mode effects in NAEP. Journal of Technology, Learning, and Assessment, 6, 1-39.
Choi, S.W. y Tinkler, T. (2002). Evaluating comparability of paper and computer-based assessment in a K12 setting. Paper
presented at annual meeting of the National Council on Measurement in Education, New Orleans, LA.
Efron, B y Tibshirani, R. J. (1993). An introduction to the Bootstrap. Nueva York, Chapman Y Hall/CRC.
Gil. J (2005). Aplicacin del mtodo bootstrap al contraste de hiptesis en la investigacin educativa. Revista de Educacin,
336, 251-265.
Hamilton, L. S. (1999). Detecting gender-based differential item functioning on a constructed response science test.
Applied Measurement in Education, 12, 211-235.
International Test Commission (ITC) (2005). International Guidelines on Computer-Based and Internet- Delivered Testing. Disponible en: http://www.intestcom.org/Downloads/ITC%20Guidelines%20on%20Computer%20-%20version%202005%20approved.pdf
Ito, K. y Sykes, R.C. (2004). Comparability of scores from norm-referenced paper-and-pencil and web-based linear tests for
grades 4-12. Ponencia presentada en la reunin anual de American Educational Research Association, San Diego, CA.
Johnson, M., y Green, S. (2006). On-line mathematics assessment: The impact of mode on performance and question
answering strategies. Journal of Technology, Learning, and Assessment, 4, 1-35.
Keng, L., McClarty, K. L., y Davis, L. L. (2008). Item-level comparative analysis of online and paper administrations of the
Texas assessment of knowledge and skills. Applied Measurement in Education, 2, 207-226.
Kim, D., y Huynh, H. (2007). Comparability of Computer and Paper-and-Pencil Versions of Algebra and Biology Assessments. The Journal of Technology, Learning, and Assessment, 6, 1-31.
Mellenbergh, G. (1982). Contingency table models for assesing item bias. Journal of Educational Statistics, 7, 105-118.
Olea, J., Abad, F. y Barrada, J. (2010). Test informatizados y otros nuevos tipos de test. Papeles del Psiclogo. 31, 94-107.
ONeill, K. A. y McPeek, W. M. (1993). Item and test characteristics that are associated with differential item functioning
(pp. 255-276). En P. W. Holland y H. Wainer (Eds.), Differential Item Functioning. New Jersey: Lawrence Erlbaum
Associates.
Pearson. (2002). Final report on the comparability of computer-delivered and paper tests for Algebra I, Earth Science and
English. Austin, TX: Author.
Pearson. (2003). Virginia standards of learning web-based assessments comparability study report Spring 2002 administration: Online & paper tests. Austin, TX: Author.
Poggio, J., Glasnapp, D.R., Yang, X., y Poggio, A.J. (2005). Comparative evaluation of score results from computerized and
paper & pencil mathematics testing in a large scale state assessment program. Journal of Technology, Learning,
and Assessment, 3, 1-30.
8

Rogers, H. J., y Swaminathan, H. (1993). A comparison of the logistic regression and Mantel-Haenszel procedures for
detecting differential item functioning. Applied Psychological Measurement, 17, 105-116.
Rosenbaum, P. y Rubin, D.B. (1983). The Central Role of the Propensity Score in Observational Studies for Causal Efects.
Biometrika, 70, 41-55.
Scheuneman, J. D. y Grima, A. (1997). Characteristics of quantitative Word items associated with differential performance
for female and black examines. Applied Measurement in Education, 10, 299-319.
Swaminathan, H., y Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures.
Journal of Educational Measurement, 27, 361-370.
Taylor, J., Jamieson, J., Eignor, D., y Kirsch, I. (1998). The relationship between computer-familiarity and performance on
computer-based TOEFL test tasks (TOEFL Research Report #61). Princeton, NJ: Educational Testing Service.
Thissen, D. y Steinberg, L. (1997). A response model for multiple-choice tems (pp. 51-65). En W. J. Van der Linden y R. K.
Hambleton (Eds.), Handboock of Modern Item Responde Theory. New York: Springer-Verlag Inc.
Wang, S. (2004). Online or paper: does delivery affect results? Administration mode comparability study for Stanford
diagnostic Reading and Mathematics tests. San Antonio, TX
Wang, S., Jiao, H., Young, M. J., Brooks, T. E., y Olson, J. (2007). A meta-analysis of testing mode effects in Grade K12
mathematics test. Educational and Psychological Measurement. 67, 219-238.
Wang, S., Jiao, H., Young, M. J., Brooks, T. E., y Olson, J. (2008). Comparability of computer-based and paper-and-pencil
testing in K-12 assessment: A meta-analysis of testing mode effects. Educational and Psychological Measurement.
68, 5-24.

The quality of teacher evaluation systems:


Validity evidence based on relations
to other variables

The quality of teacher evaluation systems:


Validity evidence based on relations
to other variables
Sandy Taut*
Ph.D, Profesora Asistente, Escuela de Psicologa, MIDE UC, Pontificia Universidad Catlica de Chile, Chile.
staut@uc.cl
Daniela Jimnez y Alejandra Barrientos
Escuela de Psicologa, MIDE UC, Pontificia Universidad Catlica de Chile, Chile.
daniela.jimenez@uc.cl / apbarrie@uc.cl

PALABRAS CLAVE: Evaluacin de desempeo docente, validez, estndares de medicin.


EJE TEMTICO: Requerimientos e implicaciones para el desarrollo de las evaluaciones

Resumen

La validez es un criterio de calidad clave para sistemas de medicin y evaluacin educacional. Existen estndares internacionales de las asociaciones profesionales que describen los criterios de calidad y las evidencias
necesarias para validar instrumentos y sistemas de medicin, siempre en el contexto de interpretaciones y usos
especficos de los resultados. Esta presentacin tiene como foco principal la validacin de sistemas de evaluacin docente, con nfasis en la evidencia que da cuenta de su relacin con otras variables como son el estudio en
profundidad del desempeo docente en aula usando instrumentos alternativos, sus conocimientos disciplinares,
la perspectiva y el aprendizaje de los estudiantes, entre otros. En concreto, se presentan ejemplos de estudios
de validacin de la Evaluacin Docente (Docentems) en Chile, incluyendo (a) un estudio comparando a grupos
extremos (docentes evaluados como insatisfactorios y destacados), y (b) un estudio comparando grupos adyacentes (docentes evaluados como bsicos y competentes), ambos utilizando evidencias empricas adicionales de
estudios en profundidad de una muestra de profesores, adems de (c) un estudio a gran escala relacionando el
nivel de desempeo docente con el progreso en el aprendizaje de sus estudiantes en la prueba nacional SIMCE.
La presentacin concluye con un llamado a incluir los estudios de validacin como tarea permanente en la planificacin de sistemas de evaluacin docente, sobre todo considerando la relevancia tica de la validez en el
contexto de la evaluacin de desempeo profesional.

*Autor principal

INTRODUCTION
Improving teacher effectiveness has become a major focus of educational reform policy in many countries. However,
existing efforts to measure teacher effectiveness and use the information as a tool to improve teacher and student performance have not been thoroughly evaluated. The experiences of educational researchers in Chile, who are implementing
and validating a national teacher evaluation system (NTES, or Docentems), can prove useful for researchers and policymakers in other Latin American countries.
Given the importance assigned to teacher evaluation and improvement policies and the resources devoted to them,
it is appropriate that they be thoroughly evaluated. The Standards for Educational and Psychological Testing, as well
as a number of researchers, call for a comprehensive validation agenda regarding large-scale educational assessments,
especially those with high-stakes consequences (American Educational Research Association, American Psychological
Association, & National Council on Measurement in Education, 1999; Joint Committee, 1988; Linn, 2006; Kane, 2006).
However, comprehensive validation of assessment and improvement systems is not an easy task. These systems are complex entities that include standards describing quality performance, strategies for measuring performance, classification
of effectiveness, and differential consequences, ranging from incentives for good performance, to supports for improvement, to sanctions (even dismissal) for poor performance. Evaluating the validity of such a system is an equally complex
process (Wolming & Wikstrm, 2010; Gaertner & Pant, 2011).
The scope of the effort may explain why comprehensive validation efforts regarding large-scale teacher assessment
systems have not been documented extensively in the literature. There are a few exceptions, including the National Board
for Professional Teaching Standards (NBPTS) certification of teaching excellence, as well as the Performance Assessment
for California Teachers (PACT) (National Research Council, 2008; Ingvarson & Hattie, 2008; Pecheone & Chung, 2007;
Goldhaber & Anthony, 2007; Harris & Sass, 2009). Some district-level teacher evaluation systems, for example the one in
Cincinnati, also count with a number of validation studies (Milanowski, 2004; Kane, Taylor, Tyler & Wooten, 2010).
This contribution comes out of the validation agenda that was implemented in the case of the large-scale teacher performance assessment system in Chile, the national teacher evaluation system (NTES, or Docentems; for more information see Manzi, Gonzalez & Sun, 2011; www.docentemas.cl). The paper presents the validity evidence regarding relations
with other variables (also known as convergent and discriminant validity). According to the Standards for Educational
and Psychological Testing (AERA, APA & NCME, 1999) validation research must include studies about relations with other
variables. Such studies provide either confirming or disconfirming evidence regarding the validity of the teacher evaluation system by using other relevant criterion variables.
We present three such validity studies: the first compares the teaching practices, disciplinary knowledge and students learning progress of teachers evaluated by the NTES as either unsatisfactory or outstanding (the extreme points of
the scale); the second compares these same types of evidence for teachers evaluated by the NTES as showing either basic
or competent performance (the adjacent points of the scale). Both of these studies are based on in-depth evidence from
a sample of teachers that was collected with a range of methods. The third is a large-scale study that examines the relationship between teachers NTES results and their students learning progress as measured by the national standardized
achievement testing system (SIMCE). We conclude with a call to include validation as a permanent task in the planning
and implementation of large-scale assessment systems, particularly in the context of teacher performance assessment
systems with high stakes consequences.

RESEARCH QUESTIONS
1. Do the highest and the lowest performing teachers (as determined by NTES) show meaningful differences in their
teaching performance when applying alternative instruments measuring similar, as well as complementary aspects
of teacher performance?
2. Do teachers obtaining adjacent performance categories (as established by NTES) show meaningful differences in
their teaching performance when applying alternative instruments measuring similar, as well as complementary aspects of teacher performance?
3. How does students learning progress in mathematics and Spanish language (as measured by the national standardized achievement testing system SIMCE) relate to their teachers NTES results?

METHODS
In order to answer the first two research questions, we performed correlational analyses and group comparisons. In order to study teacher performance with other measures, we conducted classroom observations and analyzed video-taped
lessons using different observational protocols, supervised expert assessments of alternative portfolios, asked teachers
to complete a subject and pedagogical knowledge test, and applied student testing at the beginning and at the end of the
school year, as well as for a particular teaching unit. The first study was conducted with a sample of N = 32 outstanding
and N = 26 unsatisfactory teachers, and the second with a sample of N = 22 basic and N = 29 competent teachers. In the
first study, these were Spanish or mathematics teachers between first and fourth grade, while for the second study we
recruited only seventh grade mathematics teachers.
In order to answer the third research question, we used a sample of teachers evaluated by NTES in 2006, had stayed
with the same group of students in 2005 and 2006, and for whom we had available these students SIMCE achievement
data in both 2004 (pre-test) and 2006 (post-test) (N = 150 mathematics teachers; N = 162 Spanish teachers). We first
applied value added methodology in four different two-level hierarchical regression models (Raudenbush & Bryk, 2002),
controlling for student prior achievement and other student-level variables, as well as variables characterizing the whole
group of students, in order to determine the level-two residual as the teacher effect (Braun, 2005; McCaffrey et al., 2003).
We then correlated the teacher effects on student learning with the teachers NTES results.

RESULTS
Study 1
We found that outstanding teachers had significantly better outcomes than the unsatisfactory teacher on half of the
performance indicators, and showed positive but not significant differences on the remaining indicators (see Table 1 for
details on the performance indicators and the effect sizes). We found especially strong and practically significant differences related to time on task during lessons, lesson structure, student behavior, and classroom assessment materials.
We also found moderate correlations (r ranging from 0.3 to 0.6, p < 0.05) between the results these same teachers had
obtained one year earlier in NTES and some indicators from the classroom observations, teaching materials binder and
teachers standardized test performance. These indicators were most strongly correlated to the NTES portfolio results.
Classroom observations and binder assessments also correlated significantly with the NTES supervisor and peer evaluations. The NTES self-evaluation results showed the lowest correlations with the performance on the validity studys
instruments (see Santelices & Taut, 2011).
4

Table 1 Effect sizes (Cohens d) for t-tests that showed significant mean differences.
Instrument

Indicator/sub-scale

Cohens d

Teachers content and


pedagogical knowledge test

Multiple-choice items

0.58

Open-ended items

0.48

Proportion of time in which less than 75% of students were on-task

0.98

Proportion of time in which more than 95% of students were on-task

0.86

Lesson structure

1.11

Especially stimulating instruction

0.62

Appropriate student behavior teaching

1.05

Instructional materials (holistic assessment)

0.46

Student evaluation design (continuous indicators)

1.21

Observation log

Post-observation
questionnaire

Binder with materials

Student performance (continuous indicators)

0.58

Student evaluation design and student performance (holistic assessment)

0.95

Own practice reflection (holistic assessment)

0.75

Study 2
Data collection was completed in December, 2014. First results are expected in March 2015.

Study 3
We present the correlation coefficients between the VA estimates from the four value-added models, and teachers scores
on each evaluation instrument separately (self-evaluation, peer interview, supervisor questionnaire, portfolio differentiated between video and written part, as well as the combination of both parts), as well as the final combined and weighted evaluation score. We also included, as an additional point of comparison besides the VA estimates, students post-test
scores (status) and the simple difference between pre- and post-test scores (diff). Table 2 presents the results for the
mathematics teachers in our study (N = 150).
For the Mathematics teachers the results show similar trends to those of Spanish teachers but the coefficients are
larger in size, the strongest reaching 0.31. We found weak and non-significant correlations between VA indicators of
teacher effectiveness and teachers self-evaluation and peer interview results, but somewhat larger and marginally significant correlations with the supervisor assessment. In the case of the portfolio, Mathematics teachers results in both the
written part and the video part are equally and significantly related to their VA indicators. For the overall evaluation result, correlations with VA indicators reach 0.29. Similar to the results for Spanish, the simple difference between students
pre- and post-test scores is just as related to teachers evaluation results as the VA indicators of teacher effectiveness. But
contrary to what we find in Spanish, Mathematics teachers evaluation results also correlate as much with students posttest scores (status measure) as they correlate with VA indicators. This seems to indicate that those Mathematics teachers
who obtain the highest (lowest) teacher evaluation results teach students with a high (low) post-test score (indicating
non-random assignment of teachers and students) and at the same time are the teachers who add the most (least) value,
as indicated by value added indicators of teacher effectiveness.

Table 2 Correlations between NTES evaluation results and teachers VA estimates in Mathematics (N = 150).
Status

Diff ()

Model 1

Model 2

Model 3

Model 4

Self-evaluation

-.02

.03

.01

.08

.07

.10

Peer interview

.11

.08

.10

.07

.03

.03

Supervisor questionnaire

.08

.13

.14

.14

.17*

.17*

Portfolio

.20*

.28**

.26**

.31**

.24**

.26**
.20*

Written part

.16*

.22**

.19*

.24**

.18*

Videotaped lesson

.16*

.20*

.20*

.24**

.20*

.21*

Overall evaluation result

.21**

.27**

.26**

.29**

.23**

.25**

Note: * p < .05. ** p < .01

We also calculated teachers results for six underlying portfolio factors (as determined by an exploratory factor analysis) and their VA indicators. We found highly significant correlations of 0.21 between VA indicators and Pedagogical
interaction1, for both Spanish and mathematics teachers. For all other factors, the correlations with VA indicators are
slightly higher in math than in Spanish. For both subjects, there are statistically significant correlations between VA indicators and Classroom management as well as Reflection and analysis. Lesson planning seems to be the dimension
that is least related to student achievement (see Taut, Valencia, Palacios, Santelices, Jimnez & Manzi, 2014).

CONCLUSIONS
The first research question addressed the differences in teaching practice between the highest and lowest performing
teachers as measured by alternative instruments using both similar and complementary indicators. The NTES process
reveals real differences between these two groups of teachers. The study of pedagogical practices showed substantial
differences (measured by effect size) between the performance of unsatisfactory and outstanding teachers, in terms
of relevant aspects of their pedagogical work in the classroom. In addition, the study found that three of the four instruments used in the NTES (especially the portfolio) have a moderate association with the instruments used in the research
study (only the NTES self-assessment is unrelated). Our results comparing teachers evaluated by two similar programs
(NTES and AEP), both based on the Guidelines for Good Teaching [MBE] (Ministry of Education, 2004) and including
portfolios, provide additional positive validity evidence. First findings from the study comparing adjacent performance
categories (basic versus competent) are expected for March 2015.
Another important criterion for establishing the validity of the NTES is the learning progress shown by students
taught by the evaluated teachers. In the context of our validation agenda for the Chilean national teacher evaluation, the
results of the third study provide evidence in support of the validity of this assessment program. We find correlations
between value added estimates of teacher effectiveness and these teachers overall result on the teacher evaluation that
are just slightly below expected levels, as derived from studies from other contexts (see Milanowski, 2004; Hill, Kapitula
& Umland, 2011; Kane et al., 2010; Grossman, Loeb, Cohen, Hammerness, Wyckoff,
Boyd & Lankford, 2010). Another relevant finding of our study is that the portfolio instrument, which is based on
direct classroom evidence, correlated more strongly with value-added teacher effects than supervisor, peer and self-assessments. Our study thus confirms the validity of this portfolio and serves as an argument in favour of its continued
inclusion in the evaluation process and of placing most weight of the final performance categorization on teachers portfolio results.
Indicators loading on this factor included: Quality of explanations; Quality of pedagogical interactions; Monitoring of pedagogical activities
depending on student learning.

We close with an urgent call in favour of including validation efforts in the planning and implementation of teacher evaluation systems, especially those with strong consequences for teachers. Important considerations in this regard include:

what is the optimal timing for validation research;


how to deal with the corruptive influence of high stakes on examinees behavior and test use (Brennan, 2006);
on the one hand, how to consider assessment system modifications due to external (non-technical) issues, but on the
other hand, the difficulty to introduce technical modifications once the system is in use;

in a complex political context, who sets the validity research agenda, who funds it, who decides how research results are comunicated, and who decides what modifications are suggested based on research results?

From our point of view it is a paramount responsibility of the assessment developer to perform validation research
and we ourselves performed large part of our validation research from underneath the same roof as the assessment
developer. Therefore, our validation results might be subject to suspicions. Notwithstanding this legitimate criticism, we
hope to have contributed to NTES legitimacy as a tool for educational policy making, and we hope our experiences are
helpful to other researchers responsible for validating similar assessment and improvement systems in Latin America
and beyond.

REFERENCES
American Educational Research Association, American Psychological Association, and National Council on Measurement
in Education (AERA, APA & NCME) (1999).
Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association.
Bill and Melinda Gates Foundation (2011). Learning about teaching. Initial findings from the measures of effective teaching
project. Retrieved from: https://docs.gatesfoundation.org/Documents/preliminary-findings-research-paper.pdf
Bill and Melinda Gates Foundation (2012). Gathering feedback for teaching. Combining high-quality observations with
student surveys and achievement gains. Retrieved from: http://www.metproject.org/downloads/MET_Gathering_
Feedback_Practioner_Brief.pdf
Braun, H. (2005). Using Student Progress to Evaluate Teachers: A Primer on Value-Added Models. Education Testing Service.
Retrieved from: http://www.ets.org/Media/Research/pdf/PICVAM.pdf
Brennan, R. L. (2006). Perspectives on the evolution and future of educational measurement. In R. L. Brennan (Ed.),
Educational measurement (4th ed., pp.1-16.). Westport, CT: Praeger.
Gaertner, H., & Pant, A. (2011). How valid are school inspections? Problems and strategies for validating processes and
results. Studies in Educational Evaluation, 37, 85-93.
Grossman, P., Loeb, S., Cohen, J., Hammerness, K., Wyckoff, J., Boyd , D. & Lankford, H. (2010). Measure for measure:
The relationships between measures of instructional practice in middle school English language arts and teachers
value-added scores. (Working Paper N 16015). Retrieved from: National Bureau of Economic Research Working
Paper website: http:/www.nber.org/papers/w16015
Hill, H. C., Kapitula, L. & Umland, K. (2011). A validity argument approach to evaluating teacher value-added scores.
American Educational Research Journal, 48(3), 794831. doi:10.3102/0002831210387916
Joint Committee on Standards for Educational Evaluation (1988). The Personnel Evaluation Standards: How to Assess
Systems for Evaluating Educators. Newbury Park: Corwin.
Kane, M. T. (2006). Validation. In R. L. Brennan (Ed.), Educational measurement (4th ed., pp. 1764). Westport, CT: Praeger
Publishers.
Kane, T. J., Taylor, E. S., Tyler, J. H. & Wooten, A. L. (2010). Identifying effective classroom practices using student achievement data (NBER Working Paper No. 15803). Cambridge, MA: National Bureau of Economic Research.
7

Linn, R. (2006). Educational accountability systems (CSE Technical Report No. 687). Los Angeles, CA: University of California, National Center for Research on Evaluation, Standards, and Student Testing (CRESST).
Manzi, J., Gonzlez, R., & Sun, Y. (Eds.) (2011). La evaluacin docente en Chile. Santiago, Chile: Facultad de Ciencias Sociales, Escuela de Psicologa, PUC.
McCaffrey, D. F., Lockwood, J. R., Hamilton, L. & Koretz, D. (2003). Evaluating Value-Added Models for Teacher Accountability. Santa Monica, CA: RAND.
Milanowski, A. (2004).The relationship between teacher performance evaluation scores and student achievement:
Evidence from Cincinnati. Peabody Journal of Education, 79(4), 33-53. doi: 10.1207/s15327930pje7904_3
Ministry of Education (2004). El Marco Para la Buena Enseanza. Santiago, Chile: Ministry of Education.
National Research Council (2008). Assessing accomplished teaching: Advanced - level certification programs. Committee on
Evaluation of Teacher Certification by the National Board for Professional Teaching Standards. Milton D. Hakel, Judith
Anderson Koenig, & Stuart W. Elliott, editors. Washington, D.C.: The National Academies Press.
Pecheone, R. & Chung, R. (2006). Evidence in teacher education: the performance assessment for California teachers
(PACT). Journal of Teacher Education, 57 (1), 22-36. doi: 10.1177/0022487105284045
Raudenbush, S. W. & Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods. Thousand
Oaks, CA: SAGE.
Santelices, M. V., & Taut, S. (2011). Convergent validity evidence regarding the Chilean standards-based teacher evaluation system. Assessment in Education: Principles, Policy & Practice, 18(1), 73-93. doi:10.1080/0969594X.2011.534948
Taut, S., Valencia, E., Palacios, D., Santelices, V., Jimnez, D. & Manzi, J. (2014). Teacher performance and student learning:
Linking evidence from two national assessment programs. Assessment in Education: Principles, Policy & Practice,
DOI: 10.1080/0969594X.2014.961406
Wolming, S., & Wikstrm, C. (2010). The concept of validity in theory and practice. Assessment in Education: Principles,
Policy and Practice, 17(2), 117-132.

Tiempo de aprender.
El uso y organizacin del tiempo
en las escuelas primarias en Mxico

Tiempo de aprender.
El uso y organizacin del tiempo
en las escuelas primarias en Mxico
Ana Elizabeth Razo Prez
Doctora en Polticas Pblicas, Centro de Investigacin y Docencia Econmicas, Mxico.
ana.razo@alumnos.cide.edu
PALABRAS CLAVE: Tiempo de instruccin, observacin, videograbacin.
EJE TEMTICO: Innovaciones en evaluacin y medicin del desempeo docente y directivo.

Resumen

Por ms de treinta aos, en Mxico, la forma en como el tiempo de clases es utilizado y organizado ha permanecido sin explorarse. Sabemos que el tiempo en la escuela y el tiempo de aprendizaje no son sinnimos. Sin embargo
muy poco sabemos del tamao de la brecha que existe entre ambos. En esta ponencia se abordan los resultados
del estudio sobre el uso y organizacin del tiempo en las escuelas primarias del pas. Desde una combinacin de
mtodos, se describe 1) el uso del tiempo de instruccin en la escuela, 2) el tipo de actividades educativas desarrolladas por el profesor durante la jornada escolar y el tiempo que destina en ellas, as como 3) los factores asociados
ayudan a explicar la organizacin del tiempo del tiempo del profesor. Los datos de este estudio fueron obtenidos a
partir de observacin videograbada de la prctica de aula en ocho escuelas primarias cuatro matutinas y cuatro
vespertinas. Las actividades educativas fueron grabadas durante una semana completa de clases, logrando un
total de 160 horas de clase analizadas, y codificadas siguiendo los protocolos diseados. Los resultados muestran
que slo una tercera parte del tiempo de instruccin es dedicado en interacciones educativas entre maestros y
alumnos. En tanto que la mitad de la jornada se destina en actividades educativas. As, el estudio del tiempo va
ms all de la duracin del da escolar. El nfasis se coloca en los periodos que los estudiantes estn expuestos a
experiencias educativas de calidad en la escuela.

INTRODUCCIN
El tiempo escolar es un concepto que ha sido permanentemente asociado con el mejoramiento educativo a partir de su
influencia, silenciosa pero fundamental, para alcanzar los propsitos de la educacin. Sin embargo, un nmero importante de estudios enfatizan que el efecto positivo del tiempo en la escuela proviene de su uso y aprovechamiento para lograr
aprendizajes, ms que en el solo transcurrir de los periodos. Es decir, la relevancia del tiempo en la educacin no est
solamente en su dimensin cronolgica medible, sino en su potencial como un medio que, en funcin de su utilizacin,
genera oportunidades de aprendizaje.
Si el supuesto que la influencia del tiempo est en la forma en cmo se utiliza y no en la cantidad destinada a una cierta
actividad, entonces la atencin debe centrarse en lo que ocurre dentro de la escuela y del saln de clases. Sin embargo,
muy poco se conoce sobre la distribucin y organizacin del tiempo durante la jornada escolar y sobre el aprovechamiento de los periodos destinados para las actividades pedaggicas. Es decir, qu ocurre durante ese tiempo dentro del saln
de clases?
Y si desconocemos la forma en cmo se utiliza el tiempo en la escuela, entonces cmo valorar si el tiempo disponible
para la enseanza es suficiente? De igual manera, es posible suponer la existencia de una brecha entre la cantidad de
tiempo asignado para la enseanza de los nios en la escuela y el tiempo efectivo que se utiliza dentro de ella para atender actividades con intencionalidad pedaggica. Esta diferencia podra representar una fuga y un derroche de recursos
humanos y financieros. Sin embargo, el detrimento ms grave se encuentra en el desaprovechamiento irreversible del
tiempo y de las oportunidades de aprendizaje de los nios.
El caso de Mxico resulta inquietante. En nuestro pas, los datos sobre el uso del tiempo de instruccin son escasos y
remotos. Las ltimas dos exploraciones realizadas se remontan a finales de los aos setenta1. As, a ms de treinta aos
de la investigacin ms cercana, se vuelve imprescindible estimar informacin actual sobre el uso y la organizacin del
tiempo en las escuelas pblicas de educacin primaria.
Dicho de otro modo, para aumentar las experiencias educativas durante la jornada escolar disponible, el primer paso
indispensable es conocer como se est utilizando y organizando el tiempo en la escuela.
A travs de esta investigacin se busca estimar el tamao de la brecha que existe entre el tiempo asignado para la
enseanza y el tiempo efectivo utilizado en instruccin. Saberlo nos permitir profundizar en la comprensin de las formas en cmo se utiliza el tiempo en las escuelas pblicas de nivel primaria desde la combinacin de tres perspectivas:
a) como un acontecer fsico/cronolgico medible en parmetros numricos -Cunto tiempo de la jornada escolar en las
escuelas primarias es dedicado a actividades de enseanza?; b) como fenmeno que se vive, en donde pueden ocurrir
interacciones propicias para la enseanza y el aprendizaje -Cmo utiliza el profesor de primaria el tiempo de instruccin
disponible en la escuela?-; y c) como el resultado de elementos contextuales -Cules son los factores asociados a la forma
en que los profesores de primaria organizan y distribuyen el tiempo disponible en la escuela?

DESARROLLO
A. La estructura del tiempo en la experiencia escolar: el uso del tiempo de instruccin
Para los familiarizados con la prctica docente maestros, educadores, investigadores- no es de sorprender dos caractersticas relevantes que emergen al observar el uso del tiempo en el aula: la relatividad y lo cambiante. La primera se
relaciona con la percepcin del tiempo utilizado por el maestro en funcin de los propsitos definidos. Es decir, veinte
segundos pueden parecer una eternidad en el aula cuando no se identifica una estructura clara en el proceso pedaggico,
El estudio de Paradise, R., Glvez, G., Rockwell, E., y Sobrecasas, S. (1981). El Uso del Tiempo y de los Libros de Texto en Primaria.
Cuadernos de Investigaciones Educativas No.1, junto con el trabajo de Muoz Izquierdo, C., Rodrguez, P., Restrepo, P., y Borrani, C. (1979).
El sndrome del atraso escolar y el abandono del sistema educativo, representan las ltimas exploraciones sobre el uso del tiempo en Mxico.

ni se visualizan los fines de la actividad. En cambio, los mismos veinte segundos podran pasar volando cuando los objetivos son manifiestos para todos y logran interesar e involucrar a los alumnos. El cambio de comportamiento es la segunda
caracterstica que claramente se distingue en la observacin continua de la jornada escolar. Al interior del saln de clases
la conducta del grupo y del profesor puede modificarse grandemente de una hora a otra sin alguna razn aparente. Y por
supuesto, tambin de da a da. La actividad escolar cotidiana es cambiante.
El aprendizaje efectivo depende en ltima instancia de la manera en que el tiempo se organiza, de la proporcin de
tiempo dedicado a la perseverancia de los estudiantes, o de su completo compromiso en el aprendizaje, as como del tiempo que los estudiantes con diferentes aptitudes y niveles de motivacin requieren para internalizar conceptos y elaborar
ideas (Carroll, 1989 citado en OECD, 2011).
De esta manera y para el presente estudio, se define Tiempo de Instruccin como la cantidad de tiempo que el
profesor destina, de manera consciente y deliberada, a las actividades con intencionalidad pedaggica en la escuela para influir en las oportunidades de aprendizaje de los nios.

Esquema 1 Relacin y definicin de los tipos de tiempo en la escuela

Tiempo asignado al ciclo


escolar

Das de clase en el ciclo escolar

Tiempo asignado a la escuela Horas de la jornada escolar diaria


Tiempo asignado a la clase

Horas destinadas a impartir clase

Tiempo de Instruccin

Cantidad de tiempo que el profesor destina de


manera consciente y deliberada en actividades con
intencionalidad pedaggica

Tiempo Comprometido
Tiempo de Aprendizaje
Acadmico

Periodo en el cual los estudiantes participan y se


involucran en actividades de aprendizaje durante
el tiempo de instruccin
Periodo preciso en donde los estudiantes reciben
instruccin escolar que est alineada con su
preparacin y el aprendizaje ocurre

Fuente: Elaboracin propia

De las actividades escolares


El uso del tiempo del maestro fue clasificado en segmentos de actividades pedaggicas y no pedaggicas a lo largo de
la jornada escolar. Estos periodos se codificaron en alguna de las 25 actividades que el maestro podra estar realizando
al interior del aula:

Tabla 1 Resumen de grupos de actividad escolar


Grupos de actividad

Usos del tiempo de instruccin


Inicio de la jornada escolar y saludo

Inicio y cierre de la jornada escolar.


Transiciones e Interrupciones.

Transicin a otra actividad


Cierre de la jornada escolar y despedida
Interrupcin no planeada
Interrupcin planeada
Lectura en voz alta (individual o en grupo)

Interaccin activa del maestro: conduce,


gua y se involucra en las diferentes
actividades pedaggicas que se realizan
en clase.

Exposicin y explicacin de clase


Trabajo en pequeos grupos
Discusiones, debates, preguntas y respuestas de clase
Ejercicios de prctica
Supervisin activa de las actividades de aprendizaje
Trabajo en pequeos grupos
Ejercicios de prctica individual

Interaccin pasiva del maestro: no est


involucrado en la actividad de los alumnos,
realiza otro tipo de tareas (diferentes
a las de enseanza) dentro del aula.

Prcticas de memorizacin
Escribir en el pizarrn
Lectura en silencio
Apoyo de instruccin
Supervisin pasiva

Gestin de clase
Evaluacin
Actividades fuera del saln de clases
(Ausencias)
Recreo

Gestin y organizacin de clase (instrucciones)


Acciones disciplinarias
Valoracin de los aprendizajes de los estudiantes
Docente fuera del aula, alumnos involucrados en actividades de aprendizaje
Docente fuera del aula, alumnos no involucrados en actividades de aprendizaje
Atencin a padres de familia
Recreo

La distribucin del tiempo de instruccin en las escuelas participantes

En las clases observadas suceden muchas cosas. Algunas de ellas pueden entenderse a partir de lo que se registra en la videograbacin del aula y otras tantas requieren de ser consideradas en un contexto ms amplio. As, los resultados cuantitativos
relacionados a la distribucin del tiempo se acompaan, en cada caso, de los factores y dimensiones que, a partir de las conversaciones con profesores y directivos, ayudan a entender el sentido de las acciones desarrolladas dentro del saln de clases.
Slo una tercera parte del tiempo de instruccin es utilizado en el tipo de actividades de aprendizaje asociadas con
mayores efectos en el logro educativo de los alumnos. Es decir, en el conjunto de actividades categorizadas en el grupo
Instruccin activa, se concentran aquellas acciones pedaggicas en donde el profesor est involucrado activamente con
las actividades de enseanza de los alumnos. Sin embargo este grupo absorbe tan slo el 35.45% del tiempo disponible
para el aprendizaje.
El segundo grupo de actividades con mayor porcentaje de tiempo utilizado es el de Gestin, en donde 13.52% del
tiempo se destina a organizar al grupo, dar instrucciones e indicaciones para las actividades a desarrollar y promover el
orden y la disciplina entre los alumnos. El grupo de actividades en Interaccin pasiva, con 12.54%, ocupa el tercer uso del
tiempo de instruccin. Aqu, los alumnos estn desarrollando actividades escolares, pero el profesor no estar involucrado en ellas. El cuatro destino ms frecuente del tiempo est identificado en los periodos de inicio y trmino de la jornada
escolar, as como en las interrupciones y transiciones de actividad en donde se dedica 12% del tiempo. En cuanto al recreo,

el periodo de media hora destinado para el descanso de maestros y alumnos, su duracin promedio es de 30 minutos,
representando un total de 11.12% de la jornada diaria. En las acciones de evaluacin se destina 8.88% del tiempo. Aqu
sobresale la revisin y calificacin de los cuadernos de los nios como la principal actividad de los maestros para la valoracin de los aprendizajes de los estudiantes. En las ausencias y atencin a padres se localiza 6.50% del tiempo.
Estas cifras no pueden, ni deben, analizarse en aislado. Muchos son los factores que se involucran y que se asocian con
esta distribucin del tiempo. Es indispensable sealar que, si bien el tipo de tiempo que se asocia a mayores efectos de
aprendizaje en los alumnos ocupa un porcentaje pequeo de la jornada escolar, esto no puede explicarse como una falta de
voluntad y de intencin del maestro. Al menos en los profesores observados en esta investigacin, la totalidad se distingue
por un alto grado de compromiso con sus alumnos. Con esto no se pretende justificar la erosin del tiempo. La intencin es
colocar el nfasis en las competencias docentes ms que en un juicio anticipado de desinters del maestro hacia sus alumnos.
El tiempo de instruccin de las jornadas escolares observadas, se distribuyen de la siguiente manera:
Grfica 1 Uso del tiempo de instruccin por grupos de actividad

Es posible proyectar la distribucin de las actividades y los tiempos de instruccin del maestro en un da regular de clase:

Grfica 2 Distribucin promedio del tiempo en un da regular de clases (4.5hrs), por grupo de actividad

La distribucin del tiempo por grupos de actividades es tan slo un punto de partida en la exploracin del aprovechamiento y organizacin de los periodos escolares.

El tiempo de instruccin y la evaluacin


Esta investigacin no intenta proponer que el tiempo de instruccin deba ser evaluado. El uso del tiempo de instruccin
es el reflejo y el resultado de un conjunto de factores que, ciertamente interesa que sean evaluados. Dicho de otro modo,
la forma en como se usa el tiempo es el efecto de competencia y habilidades docentes tales como el dominio de los contenidos, el repertorio de estrategias didcticas, la gestin y organizacin del grupo y la planeacin de las actividades en
la jornada considerando el contexto del grupo, por slo mencionar algunos. De esta forma, la efectividad en el uso del
tiempo en la escuela es slo un reflejo de otras variables en las que es fundamental una valoracin sobre su alcance, pero
tambin una evaluacin de las condiciones que se brindan para lograrlas.
La relacin entre el tiempo y la evaluacin en la escuela no est en el cumplimiento de horarios. Lo que para esta investigacin debe evaluarse no es el cumplimiento de bloques de asignaturas con duracin de 50 minutos. La evaluacin
del tiempo pasa por saber que cada minuto es aprovechado en experiencias educativas significativas para los alumnos.
Una estrategia efectiva para valorar los factores que influyen en el uso del tiempo es la observacin en aula. La observacin de la prctica pedaggica debe incluirse como parte de las experiencias cotidianas en la escuela. Es necesario
trabajar en conjunto para desarraigar la idea de la observacin punitiva y fiscalizadora y ubicarla como un componente
de apoyo y acompaamiento eficiente, emptico, justo y solidario con la tarea del maestro. Cierto que la observacin
promete ser un buen elemento para la evaluacin del desempeo docente, pero en un primer momento deber ser entendida como un instrumento para mejorar la prctica. En otras palabras, antes de ser utilizada como un instrumento que
modifique las relaciones laborales de los maestros, su posicin y sus beneficios en el sistema educativo, la observacin
conducida con rigor y profesionalismo- debe ser utilizada para retroalimentar, de manera especfica y pertinente, la
actividad pedaggica del maestro.

CONCLUSIONES

Esta investigacin confirma un supuesto sobre el tiempo escolar en nuestro pas. El tiempo de instruccin no est donde
nos gustara, pero lo cierto es que tampoco est donde creamos.
Menos de la mitad del tiempo disponible en la jornada escolar es utilizado en interacciones educativas intencionales
con los alumnos. La otra mitad del tiempo se distingue por acciones de gestin que no ocurren fuera del saln de clases o
en una manifestacin evidente por no ensear.
Los maestros observados ofrecen evidencias contrarias al estigma de docentes indiferentes de su prctica y despreocupados porque sus alumnos aprendan. Pero tambin, es cierto que se identifican pocas estrategias docentes para organizar y desarrollar las actividades de aula, y prevalece un nfasis en la cultura escolarizante, de procedimientos y formas,
ms que una cultura centrada en el aprendizaje.
Los maestros no son acompaados y orientados en su prctica. Nadie los observa en sus actividades docentes y ellos,
a su vez, no observan a nadie como parte de experiencias de enriquecimiento a su profesin. Para los profesores, la observacin se relaciona con un acto punitivo y de fiscalizacin, mucho ms vinculado con acciones de coercin que de mejora
y retroalimentacin de la actividad pedaggica. Es fundamental desarrollar estrategias para modificar la percepcin y el
uso de la observacin de la prctica en aula. Antes de posicionarla como un medio de evaluacin docente, es primordial
referirla como una estrategia de mejora y retroalimentacin.
Esta investigacin mostr referencias y evidencias para entender que la relacin entre el tiempo y el logro de los
estudiantes no es lineal. Su efecto estar en funcin de la calidad de las interacciones y las experiencias educativas que
desarrollen durante la jornada en la escuela. El reto est en maximizar las oportunidades de los alumnos en interacciones significativas. As, ms all de modificar la duracin de la jornada escolar, debemos detener la erosin del tiempo de

instruccin y las oportunidades de aprendizaje que se diluyen en los periodos distintos a los educativos durante el da de
clases, para impulsar condiciones y estrategias hacia el mejor uso del tiempo escolar que ahora disponemos. El tiempo
escolar es importante, pero aprovecharlo es imprescindible.
La evaluacin del tiempo en la escuela debe ser una medicin cautelosa para interpretar la efectividad de la tarea
docente. Es relevante recordar que el tiempo es slo un reflejo de las variables realmente fundamentales y a las que debemos enfocar los insumos para impulsarlas y los recursos para evaluarlas.
El tiempo de instruccin como recurso utilizado intencionalmente en el aprendizaje, es una variable poderosa, de bajo
costo y con posibilidad de estar bajo el control de los maestros. Necesitamos mayor conciencia y claridad para reconocer
la enseanza y el tiempo usado en ella como el objetivo principal de la escuela.

BIBLIOGRAFA

Abadzi, H. (2007). Absenteeism and Beyond: Instructional Time Loss and Consequences (Policy Research Working Paper
4376). The World Bank.
Aronson, J. (1995). Stop the Clock: Ending the Tyranny of Time in Education. Office of Educational Research and Improvement, FarWest Laboratory.
Bellei, C., Muoz, G., Prez, L., y Raczynsky, D. (2004). Escuelas Efectivas en Sectores de Pobreza: Quin dijo que no se
puede? Gobierno de Chile-UNICEF.
Berliner, D. (1978). Allocated Time, Engaged Time and Academic Learning Time in Elementary School Mathematics Instruction. National Council on Teaching Mathematics.
Bill and Melinda Gates Foundation (2013). Ensuring fair and reliable measures of effective teaching: culminating findings from de MET Project's Three-Year Study. Measures of Effective Teaching Project Policy and Practice Brief.
Estados Unidos.
Carnoy, M. (2010). La Ventaja Acadmica de Cuba Por qu los estudiantes cubanos rinden ms? Mxico: Fondo de Cultura
Econmica.
Carroll, J. (1963). A Model of School Learning. Teachers College Record, 64 (8), 723-733.
Casabianca, J., McCaffrey, D., Gitomer, D., Bell, C., Hamre, B., y Pianta, R. (2013). Effect of Observation Mode on Measure
of Secondary Mathematics Teaching. Educational and Psychological Measurement 73 (5), 757-783.
Center on Education Policy (2008). Instructional Time in Elementary Schools: A Closer Look at Changes for Specific
Subjects. Arts Education Policy Review, 109 (6), 23-28.
Fisher, Ch. y Berliner, D. (1985). Perspectives on Instructional Time. Ed. Longman, Estados Unidos.
Fullan, M. y Hargreaves, A. (2001). La escuela que queremos. Los objetivos por los que vale la pena luchar. Biblioteca para
la actualizacin del maestro, SEP.
Givvin, K. (2007). Evaluating teaching practice through video: examining purpuses, methodologies, and findings, en
Alicia Rivera (Ed.). Evaluacin de la prctica pedaggica a travs del video. UPN, Mxico.
Hattie, J. (2009). Visible Learning: A Synthesis of Over 800 meta-analyses relating to achievement. Routledge.
Hill, H. y Grossman, P. (2013). Learning from Teacher Observations: Challenges and Opportunities Posed by New teacher
Evaluation Systems. Harvard Educational Review, 83(2), 371-384.
Karweit, N. y Slavin, R. (1980). Time on Task: Issues of Timing, Sampling and Definition. Center for Social Organization
of Schools, The John Hopkins University.
Loera, A., Nslund-Hadley, E. y Alonzo, H. (2013). El desempeo pedaggico de docentes en Nuevo Len: hallazgos de un
estudio basado en videos de lecciones de matemticas y ciencias. Revista Latinoamericana de Estudios Educativos 43
(2), 11-41
Martinic, S. (1998). Tiempo y Aprendizaje. Banco Mundial, Departamento de desarrollo Humano, Paper No. 26.
Manzi, J., Preiss, D., y Flotss, P. (2007). Uso del video para la evaluacin de profesores y la investigacin de patrones
de enseanza: la experiencia chilena, en Alicia Rivera (Ed.). Evaluacin de la prctica pedaggica a travs del video.
UPN, Mxico.

Muoz Izquierdo, C., Rodrguez, P., Restrepo, P., y Borrani, C. (1979). El sndrome del atraso escolar y el abandono del
sistema educativo. Reeditado en Revista Latinoamericana de Estudios Educativos (2005), 35 (3-4), 221-285.
Murnane, R. y Ganimian, A. (2014). Improving Educational Outcomes in Developing Countries: Lessons from rigorous
evaluations. Working Paper 20284. National Bureau of Economic Research. Estados Unidos
National Educational Commission on Time and Learning (1994). Prisoners of Time. Consultado el 23 de abril de 2011 en
http://www2.ed.gov/pubs/PrisonersOfTime/index.html
OECD (2011). Quality Time for Students. Learning in and out of school. OECD, Pars.
OSullivan, M. (2006). Lesson observation and quality in primary education as contextual teaching and learning processes.
International Journal of Educational Development, 26, 246-260.
Paradise, R., Glvez, G., Rockwell, E., y Sobrecasas, S. (1981). El Uso del Tiempo y de los Libros de Texto en Primaria. Cuadernos de Investigaciones Educativas No.1, DIE, IPN, Mxico.
Pianta, R. (2012). Implementing Observation Protocols. Lessons for K-12 Education from the Field of Early Childhood. Center
for American Progress, Estados Unidos
Rosenshine, B. (1979). Content, time and direct instruction. En Peterson, P. y Walberg, H. (Eds.), Research on teaching:
Concepts, findings and implications. MrCutchan, Estados Unidos
Sarason, S. y Gtazek, S (2007). Productive Learning. Corwin Press
Scheerens, J. (Ed.) (2014). Effectiveness of Time Investments in Education. Insights from a Review and Meta-Analysis.
Simon, A. y Boyer, E. G. (1974). Mirros for behavior III. An Anthology for Observation Instruments. Comunication Materials
Center, Estados Unidos

También podría gustarte