rendimiento de cuentas basados en resultados en orden a la creacin de un proceso de mejora efectiva dentro de las escuelas. Se hace un anlisis critico de las formas y usos que tienen en las po- lticas educativas actuales. Por el contrario, la autoevaluacin promueve la implicacin de los profesores para mejorar la calidad, pero tampoco est exenta de problemas. Se plantea, pues, las formas para conjuntarlas. La capacidad para mejorar precede a las demandas externas de rendimiento de cuentas. La evaluacin interna constituye el punto de partida de la evaluacin externa, proporcionando una base para comprender de modo especfico el establecimiento escolar. Por su parte, el rendimiento de cuentas debe ser un proceso recproco (quid pro quo): proveer con la capacidad para satisfacer las ex- pectativas. Pal abras-cl ave: Rendi mi ent o de cuent as; Mejora escolar; Auto-evaluacin. INTRODUCCIN La eval uaci n i nst i t uci onal de l os establecimientos educacionales ha adqui- rido, a partir de los ochenta, un creciente i nt ers en l as pol t i cas educat i vas, llegando en determinados casos a una especie de "estado evaluador". Se ha producido, adems, una globalizacin de la evaluacin al final de siglo, con una comparacin creciente de resultados Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna Antonio Bolvar 1 interpases (TIMSS o PISA, son los ejemplos ms recientes). A su vez, a me- dida que se delega mayor autonoma a las instituciones escolares, como contrapar- tida se incrementa la necesidad de una evaluacin peridica de los resultados obtenidos. Ya sea con propsitos de mejora interna, para transferir responsa- bilidades, o para dar criterios a los clien- t es en su el ecci n, l a eval uaci n institucional se ha convertido, pues, en los ltimos aos en un cuestin estrella. El autntico reto actual es que lo que comenz siendo un medio de mejora institucional no acabe siendo atrapado o colonizado por la lgica mercantil, comn -por l o dems- para l as pol t i cas educat i vas conservadoras y l as socialdemcratas. El movimiento de reforma basado en estndares (Standards-Based Reform), dentro de la presin por la mejora, enten- dida como incremento de los niveles de aprendi zaj e de l os al umnos, est alcanzando el carcter de una nueva "ola" en t oda l a l i t erat ura y prct i ca anglosajonas, configurndose como la "nueva ortodoxia" del cambio educativo. Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 38 En Norteamrica lleva ya una dcada, donde la mayora de sus Estados estn inmersos en una carrera frentica por establecer estndares por niveles y materias, habiendo alcanzado nuevas exigencias con la ley federal No Child Left Behind Act ("que ningn nio se quede atrs") para que los Estados midan el "progreso anual adecuado" de l os alumnos. La "nacin en riesgo" del 83 (por referirme al famoso informe) ha dado lu- gar, veinte aos despus, a una cruzada por los estndares. Por su parte, en In- gl at erra, adems de l a Ofi ci na de Estndares para la Educacin (OFSTED), ha adqui ri do nuevos br os con l a direccin por David Hopkins de la Unidad de "Est ndares y Efect i vi dad" del Ministerio de Educacin. En fin, como se titula un reciente informe gubernamental i ngl s, est amos en "t i empo de estndares". En el inveterado problema de cmo hacer gobernable la enseanza, es decir cmo desde la poltica educativa se puede in- fluir positivamente en lo que se hace en el aula superando la dbil conexin, el movimiento de los estndares ha encon- trado una teora de accin: definir los re- sultados esperados, medirlos y usar los datos resultantes para influir en la enseanza, ya sea directamente mediante la intervencin de la autoridad o, como es ms comn, indirectamente por los in- centivos o sanciones derivadas de los resultados alcanzados, por la propia administracin educativa o cedindola a los clientes. Al respecto, declara Elmore (2000, p. 4), "se quiera o no, la reforma basada en estndares representa un cambio funda- mental en la relacin entre poltica y prctica docente. De este modo, las presiones para incrementar los resultados en el rendimiento de cuentas parecen haberse convertido actualmente, al menos para la poltica educativa, en la principal aveni- da para la reforma educativa. En muchos casos (Inglaterra, Nueva Zelanda o Chi- le) vinculada a una estrategia mercantil de dar criterios a los clientes para elegir centros, mediante la publicacin de clasificacin de los centros en "ranking". No obstante, como mostraremos, hay razonables dudas de si la evaluacin ex- terna de los resultados (accountability) pueda comportar un proceso de mejora interna (MEHRENS, 1998). Por una parte, resulta discutible que la evaluacin de centros, por s misma, pueda provocar una accin coordinada del profesorado que i ncrement e l os aprendi zaj es de l os alumnos (O'DAY, 2002). Por otra, una po- ltica evaluadora de "palos y zanahorias", como dice Darling-Hammond (2001), lleva poco lejos. En tercer lugar, Richard Elmore (2002) ha establecido el "principio de reciprocidad" en el rendimiento de cuent as, consi st ent e en que l as exigencias de consecucin de estndares tienen, recprocamente (quid pro quo), que corresponderse con la capacitacin para lograrlos. Las tesis que voy a defender en este artcu- lo es, en primer lugar, que una evaluacin institucional de los centros debe conjuntar: Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna 39 (a) dar cuenta de la eficiencia en los recur- sos como de la eficacia en el logro de resul- tados; y (b) servir como un proceso de mejora de la propia organizacin. En segun- do lugar, entenderemos la "evaluacin institucional" como un proceso y un espacio de confluencia que debiera inte- grar la evaluacin externa, dirigida a la eficacia y la interna o autoevaluacin, ms orientada a la mejora. La "evaluacin institucional" supone un proceso de revisin continuo y concertado por parte de los actores concernidos, para analizar y valorar, en todo o en parte, cmo est siendo realizada la misin educativa de la escuela o de una parte de la misma, con el fin de ir reajustando al contexto, fundamen- tar la toma de decisiones y rendir cuentas a la sociedad. En este sentido pueden ser complementarias una evaluacin externa y una autoevaluacin institucional, an cuando para que este dilogo (NEVO, 1997) pueda tener lugar, es preciso generar antes procesos de autorrevisin. De lo contrario, ser poco probable que la evaluacin exter- na pueda incidir significativamente en la mejora interna, siendo percibida como un control. Sin embargo, en la prctica, hay serios pro- blemas para integrarlas, adems de que responden a dos concepciones de las instituciones escolares (organizaciones formales o comunidades a construir social- mente). Primando la "revisin basada en la escuela" (school based review), inmersa en un ciclo de mejora interna, hoy se mantiene la necesidad de conjugarla con indicado- res de eficacia. El asunto ser cmo se haga y para qu. Por eso, la metodologa e ins- trumentos a emplear se subordinan a la cuestin previa de para qu queremos la evaluacin del centro. DOS GRANDES ORIENTACIONES EN LA EVALUACIN DE LAS OR- GANIZACIONES ESCOLARES La evaluacin de las organizaciones educativas se ha presentado ligada a los movimientos u "olas" que, en torno a la mejora, han recorrido ltimamente las pol t i cas e i nvest i gaci n sobre l as escuelas que, a su vez, son subsidiarios y expresan modos de concebi r l as escuelas: [a] Ef i caci a, Rendi mi ent o de cuentas o Calidad: indicadores o estndares que las escuelas han de conseguir en el aprendizaje de los alumnos. Los movimientos de "escuel as efi caces" (con su incidencia en el "valor aadido" del establecimiento escolar) y el "rendimiento de cuentas basado en estndares" se mueven en esta lnea. [b] Mejora de la escuela. Con un enfoque ms amplio de la mejora de la educacin, pretende generar las condiciones internas de los cent ros (aut orrevi si n) que promuevan el propio desarrollo de la organizacin, acentuando la la- bor de trabajo conjunto. De este modo, podemos inscribir la evaluacin de la accin educativa de los Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar 40 cent ros en dos grandes t radi ci ones (School Effectiveness y School Impro- vement): una, ms al servicio de la administracin educativa, que busca - mediante la eficacia- el control de los re- sultados; otra, basada en la mejora de los procesos organizativos del profesorado. A su vez, la primera, crecientemente, se est poniendo al servicio de los clientes, proporci onando el ement os para l a eleccin de centros (choice schools), en una lgica de mercado. La evaluacin de las escuelas se encuentra, pues, encallada entre una orientacin a la mejora interna o convertirse en un medio de control que, al establecer "ranking" entre los centros, pret ende i ncrement ar l a cal i dad, contribuyendo a agravar las desigualda- des entre escuelas. Por su parte, la autoevaluacin, dentro de una gestin basada en la escuela, es un dispositivo para aprender en l os procesos de planificacin y toma de decisiones, promoviendo el propio desarrollo de la organizacin. Su punto dbil es que exi- ge el compromiso y apropiacin de los implicados (BOLVAR, 1996). Se pueden distinguir, entonces, dos gran- des tipos de evaluacin institucional, dependiendo de quienes y desde qu perspectiva la realizan (BONAMI, 2005): (1) evaluacin externa: realizada por agentes externos, normalmente con metodologa cuantitativa, para ver el gra- do de implementacin del currculum o, ms comnmente, controlar los resulta- dos o rendimientos; y (2) autoevaluacin institucional: realizada por los que estn t rabaj ando en l a i nst i t uci n, con estrategias basadas en la movilizacin del personal para el desarrollo organizativo de las escuelas. La primera suele regirse por una lgica de fidelidad (en qu grado consiguen los resultados fijados en estndares o competencias), normalmen- te en trminos cuantitativos; mientras que la segunda se dirige preferentemente a autodiagnosticar los elementos disfun- cionales y necesidades, como paso previo para la mejora escolar. Como dicen Marchesi; Martn (1999, p.7-8): En el primer caso, el objetivo de la evaluacin es conocer el funcionamiento de los centros docentes para comprobar si cumplen los objetivos estable- cidos. De esta forma la administracin puede detectar los problemas ms importantes y adoptar las decisiones que se consideren oportunas. (...) En el otro polo se sita el compromiso y el progreso de la escuela, que se basan en la participacin voluntaria de los centros, en el compromiso de los profesores y en el acuerdo de la comunidad educativa. Los sistemas habituales que se utilizan son la autoevaluacin y la evaluacin interna, si bien pueden completarse con algn tipo de evaluacin externa. Cuando se entiende que el centro escolar da lugar a unos resultados determinados, que pueden ser externamente regulados, en este caso la evaluacin ser ms bien tcnica que participativa. Se primarn los instrumentos elaborados por expertos, con sus correspondientes variables o in- dicadores, que permitan situar a unos centros en comparacin con otros, o -en Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna 41 cualquier caso- diagnosticar la mejora producida. De este modo, se pretende evi t ar l os prej ui ci os propi os de l a subjetividad de los actores. Desde esta perspectiva, se reprocha al modelo participativo de autoevaluacin justo su virtualidad. Desde un enfoque tcnico la mejora ha de asentarse sobre la medida "objetiva" de variables (de entrada, proceso y salida). Como observan Jean-Louis Derouet e Ives Dutercq (1996), no se trata slo de un enfoque cuantitativo vs. cualitativo, sino que responde a una di vergenci a epistemolgica ms fundamental. La evaluacin de la eficacia de un centro escolar presupone "que el centro existe como realidad social, y que es lo sufici- entemente importante como para influir en los resultados de los alumnos". Pero es presuponer demasiado que sea una realidad ya dada, de la que pueda hacerse una foto fija. Frente a este enfoque, la autoevaluacin entiende que el centro como unidad social debe ser construida, antes de concluir en sus efectos. Desde est a perspect i va, como un t ant o enfticamente ha dicho Gather Thurler (1994), "la eficacia de un centro no se mide: se construye, se negocia, se practica y se vive". En definitiva, la doble perspectiva de la evaluacin de escuelas responde, en l- timo extremo, a una orientacin para evaluar resultados y otra, dirigida a la mejora interna (DEMAILLY et al., 1998). La primera se ha implementado, principal- mente, como rendimiento de cuentas o responsabilizacin. Si bien los servicios pblicos deben ser evaluados, tambin, en los ltimos tiempos, a partir de las experiencias inglesa y norteamericana, dicha evaluacin se est subordinando a una lgica mercantil. Por su parte, una evaluacin orientada hacia la mejora exi- ge o presupone el compromiso de los propi os i mpl i cados para i ni ci ar un proceso evaluativo como estrategia para incidir sobre la calidad de los procesos y resultados. Se puede argumentar, contra la lgica gerencialista, que las evaluaciones exter- nas de las instituciones escolares son necesarias tanto para asegurar la equidad de los ciudadanos en la educacin, acen- t uada cuando l os est abl eci mi ent os educacionales gocen de un grado mayor de descentralizacin y autonoma, como para aport ar l os recursos y apoyos necesarios a aquellas escuelas que no estn ofreciendo un entorno educativo parecido a otros (pblicos o privados) o para compensar en la medida de lo posible las desigualdades sociales. Desarrollar y evaluar el currculum de modo autnomo, al depender de cada contexto social, puede conllevar problemas de justicia y equidad (por ejemplo, incremento de di- ferencias) entre los escuelas o servir a intereses particulares no defendibles con unas m ni mas pret ensi ones de generalizabilidad, que puede corregir una evaluacin externa bien empleada. El asunto es cmo combinar un sistema Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar 42 de rendimiento de cuentas externo, que inevitablemente tiende a una uniformidad (y, por tanto, que todas las escuelas deben alcanzar los mismos niveles de consecucin de sus alumnos), con la variabilidad y particularidad de cada escuela. Superar esta tensin es difcil, pero -pensamos- ello no puede ser excusa para rechazar cualquier tipo de evaluacin externa. Se puede lograr establecer estndares, "sin estandarizacin", como dice Darling-Hammond, y contamos con realizaciones prcticas en esta lnea. Para que una reforma "basada en estndares" pueda contribuir a la mejora, no puede limitarse a establecerlos y evaluar, pues la mejora es un proceso que exige un apoyo sostenido en el tiempo. RENDIMIENTO DE CUENTAS Y ESTABLECIMIENTO DE ESTNDARES Si "accountable", en general, significa ser requerido para "responder" ante alguien (empresa o clientes) de haber cumplido los mandatos o metas encomendadas, en educacin ha llegado a extenderse el tr- mino accountability como "rendimiento de cuentas" o resultados, mediante una eval uaci n ext erna de cent ros y profesorado, normalmente por tests de resultados de los alumnos. Diversos analistas (ADAMS; KIRST, 1999; FIRESTONE, 2003; DARLING- HAMMOND, 2004) distinguen entre sis- temas de rendimiento de cuentas buro- crticos, legales, profesionales, polticos, morales o de mercado. En su forma ms habitual, suponen evaluar y clasificar los centros educativos, mediante "ranking" basados en los niveles de consecucin de los alumnos y otros indicadores, pu- blicar los informes y proporcionar recom- pensas o sanciones a las escuelas, en funcin de su mejora a lo largo del tiempo. Los estndares se refieren a los criterios especficos de lo que se espera que los estudiantes aprendan o sean capaces de hacer. Normalmente tienen dos formas de expresin en el currculum: a) estndares de contenido u objeti- vos, que determinan lo que en cada rea o materia deben los alumnos conocer o saber hacer (cont ent standards); b) est ndares de rendi mi ent o (perf ormance st andards), que especifican cmo deberan demostrar su competencia segn niveles de aprendizaje esperados, evaluando el grado en que domi nan di chos contenidos. En ambos casos se det ermi nan l os criterios e indicadores para medir los ni- veles del consecucin de los estudiantes. Cada estndar debe incluir: categoras de rendimiento, descriptores, ejemplos en cada categora, y reglas de decisin que orienten a los profesores para determinar cundo un alumno ha superado cada categora (LINN, 2000; BAKER; LINN, 2002). Una vez diseados los currculos, estructurados en torno a los estndares e i ndi cadores de rendi mi ent o, l a enseanza basada en estndares se diri- Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna 43 ge a lo que los alumnos deben aprender en clase para su dominio. Para ello los profesores deben tener una idea clara de lo que significa cada estndar, de cmo es evaluado, y de cmo guiar al alumno para conseguir su dominio. En la tradicin europea, sin embargo, se prefiere hablar mejor de "competencias" como capacidad de los alumnos de movilizar recursos (saberes, capacidades y otros) para actuar eficientemente en un tipo de contexto, que se revela por una actividad compleja puesta en obra en un tipo de contexto particular con un cierto grado de maestra (PERRENOUD, 2003). As, Eurydice (2000) ha publicado un amplio informe donde se analizan las competencias claves en la enseanza ge- neral obligatoria o, ms ampliamente, el proyecto DeSeCo de la OCDE sobre definicin y seleccin de competencias clave (RYCHEN; SALGANIK, 2004). Si en otros tiempos estaba reservada al mbito de la formacin profesional, actualmente los distintos gobiernos estn definiendo dichas competencias bsicas en cada nivel de la escolaridad, para su evaluacin posterior, como medio para garantizar una educacin de calidad para todos. Desde hace dcadas, los tericos de la organizacin escolar han descrito que las escuelas son organizaciones "dbilmente acopladas", por lo que el trabajo tcnico de la escuela (enseanza y aprendizaje) est slo dbilmente ligado a las estructuras administrativas. Cada profesor desarrolla de modo aislado su trabajo en el espacio sagrado de su clase, al tiempo que la propia autonoma profesional, impiden - en gran medi da - el cambi o de l as prcticas docentes que puedan promo- ver las administraciones educativas des- de instancias externas. Recuerda Elmore (2000, p.5-6) que la dbil articulacin sig- nifica que El "ncleo tcnico" de la educacin -las decisiones detalladas sobre qu ensear en un tiempo dado, cmo ensearlo, qu aprendizajes esperar de los alumnos, cmo agruparlos en las aulas para ensearles, qu se les debera exigir para que demuestren sus conocimientos y, sobre todo, cmo debera evaluarse su aprendizaje - reside en las aulas individuales, no en la organizacin que las envuelve. Como resultado, el ncleo de la enseanza es extremadamente resistente a la influ- encia externas para cambiar. La reforma basada en estndares pretende atacar este punto: presionar desde fuera en for- mas que afecten a lo que cada uno ensea en su aula y conjuntamente en el centro, forzando a mejorar la prctica educativa. Los profesores deben, pues, esforzarse en el aula para conseguir las metas fijadas a nivel estatal en los alumnos, dando cuenta de ello a nivel de centro. Cada cen- tro tiene autonoma para desarrollar el currculum, pero -mediante el rendimiento de cuentas del centro (accountability)- deber preocuparse por conseguir los estndares establecidos. Es el nuevo modo (re)centralizador de presionar pol- ticamente, determinando los que los Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar 44 estudiantes deben aprender y dominar, sujeto a evaluacin externa. De este modo, las presiones para incrementar los resultados se han convertido actualmente en la principal avenida para la reforma educativa. CRTICAS Y ALTERNATIVAS A LAS EVALUACIONES EXTERNAS POR ESTNDARES Las evaluaciones por rendimiento son ampliamente discutibles, dado que, a pe- sar de las precauciones, tratan a todos los centros educativos por igual, al margen de la extraccin social de su alumnado. En particular, las escuelas con bajo rendimiento, que son las que nos deben pri mari ament e i mport ar, no mejoraran por clasificarlas como de bajo nivel, justamente porque carecen de ca- pacidades para hacerlo mejor y, adems, porque llegar a niveles aceptables ser fruto de un proceso (largo) de desarrollo. Por eso, pretender superar el "gap" entre evaluacin y mejora, slo puede provenir de que el profesorado y los centros tengan las capacidades oportunas; por lo que ms que evaluar el rendimiento de los centros, prioritariamente se deber invertir en los recursos del centro esco- lar (entre los que se encuentra, en primer lugar, la capacitacin profesional de su profesorado). La construccin de capa- cidades es, pues, la "missing piece" de la reforma basada en estndares. Como titulbamos un trabajo nuestro anterior, al hilo de un comentario al texto de Elmore (2002), "si quiere mejorar las escuelas, preocpese por capacitarlas" (BOLVAR, 2003b). Una eval uaci n de cent ros, como est rat egi a de reforma basada en estndares, es insuficiente por s sola. En estos casos, argumentan Leithwood y Earl (2000), aparte de no ser tica, distrae a los estudiantes del mejor aprendizaje y a los profesores de la mejor enseanza, para concentrar a ambos en lo que piden en las pruebas. Si bien puede ser un primer paso, paralelamente se requiere desarrollar procesos de mejora que posibiliten que los centros puedan res- ponder a los estndares establecidos. Por s misma no crea incentivos de mejora, es ms -"culpabilizando a las vctimas" por el fracaso- puede i ncrement ar l a desmoralizacin del profesorado que trabaja en aquellos centros, clasificados bajos. A lo sumo, suele provocar una subordinacin de la enseanza ("ensear para el examen: teach to the test") a los estndares determinados y medidos en las evaluaciones externas. El rendimiento de cuentas tiene una defi- ciente teora de la accin, que no se corresponde con lo que sabemos sobre cmo promover la mejora. En efecto, pro- porcionar evidencias del rendimiento de los alumnos, unido con recompensas y castigos por altos o bajos rendimientos, no estimular a las escuelas y a los siste- mas escolares a centrarse en hacer lo que sea necesario para mejorar el aprendizaje. Tres problemas, al menos, hay aqu Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna 45 (ELMORE, 2002): los centros no suelen saber lo correcto que hay que hacer para mej orar, para l o que se requi ere capacitarlos; en segundo lugar, no hay teora psicolgica que apoye que la motivacin para hacerlo mejor provenga de sanciones y premios; en tercer lugar, en el caso de los centros peor situados no se les puede exigir que consigan, de pronto, niveles superiores, pues la mejora es un proceso de desarrollo que procede por estadios, no algo lineal. El argumento de que la introduccin de mecani smos compet i t i vos por l a evaluacin por estndares inducir a proveer una mayor cal i dad en l a educacin no tiene una confirmacin emprica general. En muchos casos su fin es la publicacin de los resultados, sin adoptar las medidas subsiguientes opor- t unas. Si endo i nsufi ci ent e l a investigacin, por ejemplo, en Nueva Zelanda la competencia, tal como la perciben los profesores, ha generado efectos negativos sobre la calidad del aprendizaje de los estudiantes y en otros aspectos de la escuela (LADD; FISKE, 2003). Por su parte Hargreaves (2003, p.100) muestra, al describir escuelas (Nueva York, Ontario) sometidas a la re- forma basada en estndares, cmo en la vida de los centros stos han degenera- do en una estandarizacin, que premia a los mejores y degrada o culpabiliza a los centros situados en zonas marginales: [. . . ] es i rrel evant e para l as escuelas que obtienen mejores resultados, a la vez que aumenta la exclusin de aquellos centros y estudiantes que obtienen peores resultados, que encuentran los estndares desesperadamente fuera de su alcance. En esta situacin, se reclama, redisear los sistemas de rendimiento de cuentas (FURHMAN, 2003; FURHMAN; ELMORE, 2004) en modos que hagan frente (y resuelvan) l os probl emas planteados. No ya slo que tengan que sat i sfacer -a su vez- det ermi nadas condiciones o estndares (BAKER; LINN, 2002) para conseguir una validez interna y social, sino en los propios usos que se l es est n dando (SIROTNIK 2004, SPILLANE, 2004). Richard Elmore (2002) establece el "principio de reciprocidad" en el rendimiento de cuentas, consisten- te en que las exigencias de consecucin de estndares tienen, recprocamente (quid pro quo), que corresponderse con la capacitacin para lograrlos. Establecer un control de niveles de consecucin exi- ge, del otro lado, poner los medios, re- cursos e incentivos que hagan posible la mejora. Por eso, la presin actual por la "accountability", situada en sus justos trminos, como hace Elmore (2002, p.5), exige que el sistema educativo proporci- one la capacidad necesaria para respon- de a dichas demandas: A fi n de que l a gent e en l as escuelas pueda responder a las presi ones ext ernas para el rendi mi ent o de cuent as ( account abi l i t y), t i enen que aprender a hacer su trabajo de modo diferente y a reconstruir la organizacin de las escuelas de otros modos distintos de hacer el trabajo. Si el pblico y los polti- cos quieren incrementar la Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar 46 atencin sobre la calidad acadmica y resultados, el quid pro quo es invertir en el conocimiento y las destrezas necesarias para producirlo. Si los educadores quieren legitimidad, propsitos y credibilidad para su trabajo, el quid pro quo es apren- der a hacer de modo diferente su trabajo y aceptar un nuevo mo- delo de rendimiento de cuentas. Hace ya unos aos, de modo similar, David Nevo (1997, p.192) estableci el principio de que [...] nadie tiene autoridad para evaluar si no est preparado para compartir la responsabilidad de las consecuencias de su evaluacin, ni nadie debera utili- zar la evaluacin si no es parte de la misma. Est e gran pri nci pi o, en t rmi nos prcticos, se opone a que se hagan evaluaciones externas si, paralelamente, no se hacen responsables de aportar los medios y capacidades para afrontar los resultados. La responsabilidad recproca de Elmore tiene su expresin aqu como un dilogo clarificador y constructivo entre las distintas partes implicadas en la mejora de los centros docentes. La evaluacin de centros requiere, paralela- mente, desarrollar procesos de mejora que capaciten a los centros para responder a los estndares establecidos. Una pol t i ca de reforma basada en estndares no se sostiene, pues, si no conlleva crear capacidades en los centros (MASSELL, 2000). Tal como est n diseados los centros, dice Elmore (2002), no estn preparados para responder a las presiones de rendimiento por estndares y rendimiento de cuentas, por lo que -si no se acta con otras medidas- puede poner en peligro el futuro de la educacin pblica. En efecto, para responder a dichas presiones, las escuelas deben comprometerse en un procesos sistem- ticos de mejora continua de la prctica educativa, para poner el foco en los aprendizajes de los alumnos. Al enten- der que la unidad de evaluacin es la escuela, se est presuponiendo que to- dos los individuos actan de modo con- junto y que la publicacin de rendimiento de cuentas motivar, en igual medida, a todo el colectivo. Pero las escuelas son, ahora mismo, colecciones de individuos. Como hemos defendido recientemente (BOLVAR, 2004), si bien la evaluacin de escuelas por estndares puede ser un medio para garantizar el "derecho de aprender" de todos (DARLING- HAMMOND, 2001), para que as fuera debe cumplir un conjunto de condiciones: a) versar sobre contenidos y capacida- des entendidas en sentido amplio, no li- mitadas a conocimientos en matemticas o lengua; b) tener en cuenta el contexto de cada escuel a ("est ndares si n est andari zaci n"); c) en l ugar de orientarse a clasificar escuelas para pro- vocar la competencia o dar criterios de eleccin a las familias, hacer un diagns- tico para apoyar a aquellos que no los consiguen; d) seguir el principio de reciprocidad: a los niveles de exigencia se deben, paralelamente, poner los medios Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna 47 (humanos, materiales y actuaciones sociales) que les permitan conseguirlos. Mientras se redisean las escuelas y la labor docente para que obtengan mejores resultados, quedan dos prcticas directas de mejora: incidir en los modos como los profesores ensean y l os al umnos aprenden, as como crear comunidades profesionales de aprendizaje. La primera es, al fin y al cabo, el ncleo del trabajo docente. Es verdad que deba ser rodeada por otros crculos que lo apoyen, pero de poco valdr si, al final, no tiene su impac- to en lo que se hace en el aula. La segun- da alternativa al individualismo de la po- l t i ca compet i t i va i nt ercent ros por alcanzar estndares de rendimiento o con- seguir clientes es crear comunidad profesionales de docentes que trabajan conj unt ament e, l o que exi ge unas condiciones organizativas y laborales que refuercen las oportunidades para apren- der unos de otros. Una concepcin ampliada del rendimiento de cuentas nos lleva a qu acciones puedan dar lugar a una mayor calidad e incrementar los niveles de aprendizaje de los alumnos. En lugar, pues, de usar los resul t ados de l a eval uaci n por est ndares para cast i gar a cent ros, alumnos o profesorado, se emplean como un ndice de a dnde hay que apoyar jus- tamente para que todos los alumnos puedan conseguir dichos estndares. En igual medida conviene dirigirse a los cambios organizativos que posibiliten un mayor aprendizaje del profesorado y de los estudiantes. Un rendimiento de cuentas genuino, pues, ocurre cuando hay formas establecidas para proveer una mejor educacin, al tiempo que modos de intervencin en aquellos casos en que no sucede. Los datos de evaluacin de cen- tros son, sin duda, necesarios, en la me- dida que proporcionan informacin tanto de lo que estn consiguiendo los alumnos y de cmo la escuela lo est sirviendo. Pero los datos son slo parte de un proceso que debiera ser ms global. Quedarse slo en ellos no sera un rendimientos de cuentas recproco. La poltica educativa no evaluacin de cen- tros no puede comenzar y acabar con los test. Al contrario, los resultados han de ser puntos de partida para la toma de decisiones. El rendimiento de cuentas por evaluacin de resultados de los centros si bien puede ser una va para provocar la mejora, actualmente -como se ha visto- es un ter- reno "mi nado", suj et o a ml t i pl es peligros. Si su no existencia es un remedio peor que la enfermedad, hay que exigir que los centros no pueden ser responsables hasta tanto no tengan, adems de medios y recursos, capacidad organizativa, para hacerlo. Mientras tan- to, es mejor -como llevamos tiempo haciendo- primar una concepcin y prctica de la autoevaluacin para la mejora interna, lo que no puede suponer renunci ar a ver sus di fi cul t ades e insuficiencias. Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar 48 AUTOEVALUACIN INSTITUCIONAL Entendemos la autoevaluacin como un proceso iniciado en el centro escolar, llevado a cabo por el profesorado y personal de la escuela, en el que se exa- mina y diagnostica, recogiendo de modo sistemtico informacin, el estado de la escuela (puntos fuertes y necesidades), con el propsito de encontrar respuestas a probl emas de l a escuel a y a sus posi bi l i dades de mej ora. Una aut oeval uaci n i nst i t uci onal , como desarrollo organizativo, se orienta y cifra ms en el diagnstico de la situacin e identificacin de necesidades que en una fase final del proceso. En funcin de una problemtica, dentro de un proyecto de escuela, los actores se movilizan para diagnosticarla, encontrar recursos y formaci n que cont ri buyan a su resolucin, en especial la mejora de la calidad de la educacin ofrecida. Dentro de una estrategia de mejora se in- tenta un cambio sistemtico de los procesos internos de la escuela en orden a incrementar los resultados y la accin educativa. Es una oportunidad para re- construir sus modos de ver sobre lo que est ocurriendo en las instituciones es- colares y, como tal, uno de los modos pri- vilegiados para incrementar el desarrollo profesional y, consecuentemente, la capacidad de la escuela para cambiar (GAIRN, 2002). De ah que haya sido empleado y propuesto por casi todas las tradiciones de mejora, aun cuando tengan distintos signo ideolgico: organizaciones que aprenden, cal i dad de gest i n, i nvest i gaci n-acci n, mej ora de l a escuela, desarrollo organizacional etc. Los propsitos de una autoevaluacin son conj unt ament e: (a) mej orar l a capacidad de la organizacin (relacio- nes sociales entre los miembros, clima y cul t ura organi zat i va, capaci dad de respuesta frente a presiones externas o demandas internas); y (b) mejorar la enseanza y el aprendizaje (desarrollo y competencia profesional del profesorado, eficacia de la escuela, incremento del aprendizaje de los alumnos). Esto exige tanto unas asunciones de partida como de unas estrategias para llevarla a cabo (KYRIAKIDES; CAMPBELL, 2004). Son condiciones necesarias para la aut oeval uaci n i r confi gurando el est abl eci mi ent o escol ar como una organizacin que aprende o comunidad profesional, que incluye -entre otros- estos componentes: a) normas y valores compartidos en torno a los propsitos de l a escuel a; b) cent rada que el aprendizaje de los estudiantes y en el desarrollo profesional del profesorado; c) oport uni dades para compart i r l a prctica, por lo que sta deja de ser pri- vada con oportunidades para trabajar en grupo; d) compromiso por obtener evi- dencias empricas sobre el estado de la escuela, para hacerla ms efectiva; e) re- laciones cooperativas que posibiliten t ant o un apoyo mut uo como un aprendizaje de la organizacin; f) toma de Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna 49 decisiones consensuadas, por lo que el poder y el liderazgo est distribuido en- tre los miembros. Dado que los centros escol ares -en general - no son organizaciones que aprenden, ni estn vert ebrados como comuni dades profesi onal es, es al go a const rui r (BOLVAR, 2000). Despus de la constatacin en los seten- ta del fracaso a nivel local de las reformas gerenciadas desde fuera, la escuela como organizacin se constituye en la unidad primaria del cambio y, dentro de este mar- co, l a aut oeval uaci n el mot or del desarrollo y la mejora. Desde estas coor- denadas la mejora de los aprendizajes de los alumnos, que es la misin ltima que justifica la experiencia escolar, se hace depender de la labor conjunta de toda la escuela. Por eso, la autoevaluacin institucional est inscrita en un proceso ms amplio de reconstruccin cultural de la escuela y de los modos de trabajar de los profesores. Para no reducirla a una cuestin tcnica, requiere planificar con- juntamente acciones de desarrollo de la escuela, en las que hay que legitimar, jus- tificar y consensuar las opciones de mejora que se van a tomar. Como proceso de trabajo colegiado, es necesario plani- f i car l a aut oeval uaci n, es deci r consensuar y entenderse sobre el plan de trabajo que se va a seguir (tiempos, espacios, responsabilidades). Una autoevaluacin requiere generar condiciones internas que incrementen la capacidad del establecimiento educativo para desarrollar iniciativas de mejora, sin renunciar a apoyos externos. En primer lugar, la literatura sobre las experiencias de autoevaluacin seala (KYRIAKIDES; CAMPBELL, 2004) que es preciso, en primer lugar, establecer un consenso y clarificar para qu se quiere entrar en un proceso de autorrevisin y mejora, al t i empo que crear un cl i ma de col aboraci n, const i t uyendo una comunidad profesional de aprendizaje. No puede i ni ci arse un proceso de autoevaluacin, con garantas de xito, si la mayor parte del profesorado, lidera- do por del equipo directivo, no est com- prometido en la mejora de la escuela. A la vez, para las dificultades que puedan presentarse, se precisa del apoyo de asesores u otros agentes del cambio. La escuela debe tener un marco para la mejora, compuesto por algunos de estos elementos: tener un foco claro y unifica- do para su trabajo de mejora; recoger y contar con datos sobre los niveles de consecucin, centrarse en las estrategias de enseanza ms adecuadas para satisfacer las necesidades diversas del alumnado. De acuerdo con las lecciones aprendidas, se precisa un enfoque siste- mtico en la recogida y anlisis de informacin, una planificacin abierta y evolutiva, con la participacin de todos los implicados. Sin una visin comparti- da del futuro de la escuela, un liderazgo transformativo y grupos de apoyo inter- no y externo, no es fcil que prosperen las iniciativas de mejora. Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar 50 Iniciar el "viaje de la mejora escolar", por recoger la metfora de Ainscow, Hopkins et al (2001), conlleva recorrer una serie de pasos, variables segn las diversas experiencias o enfoques, pero que -en conjunto- constan de: partir de diagnos- ticar dnde estamos ahora, una visin de a dnde quisiramos estar o llegar, plani- ficar un curso de accin y qu se deba hacer para conseguirlo, y -finalmente- en una perspectiva estratgica a largo plazo, a dnde iremos despus (Quadro 1). QUADRO 1: Fases del viaje de la mejora escolar La autoevaluacin, como revisin inter- na basada en la escuela, est inmersa en el proceso de desarrol l o de l a organizacin, como actitud permanente del grupo o institucin por supervisar y valorar lo que se est haciendo. Una primera fase de autorrevisin es el diag- nst i co organi zat i vo i ni ci al del establecimiento (detectar puntos fuertes y necesidades o puntos susceptibles de mejora) que, una vez sea compartido por el grupo, debe inducir a establecer pla- nes para la accin. La autoevaluacin va inmersa en "espiral" en el propio proceso de desarrollo (evaluacin como mejora), donde se va revisando y recogiendo informacin colegiadamente sobre la puesta en marcha de los planes de accin, qu va pasando, de qu forma y por qu, identificando problemas y necesidades, revisando y planificando sucesivamente lo que se ha hecho o se debiera/acuerda hacer. La recogida sistemtica de datos y su anl i si s no t i ene ot ro sent i do que emplearla para la mejora del centro. Por eso, el diagnstico pretende formarse una imagen vlida de las necesidades y pro- blemas de una escuela como organizacin como base para la accin. Una de las condiciones, para que as pueda suceder, es que todos los datos recogidos y pro- cedentes de diversas fuentes sean exa- Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna Fases del viaje de la mejora escolar Tareas clave Dnde estamos ahora?, cmo de bien lo estamos haciendo? Cmo lo conocemos? Diagnstico organizacional: puntos fuerte y necesitados de mejora Recogida y anlisis de datos Identificar areas con logros y necesitadas de mejora Dnde quisiramos estar?, cmo de bien quisiramos estar? Debatir la "visin de la escuela Identificar prioridades de mejora Cmo llegaremos hasta all? Planificar las acciones de mejora Medios y recursos (internos y externos) Acciones a desarrollar Qu debemos hacer para conseguirlo? Hacer que suceda Mantener vivo el impulso del proyecto Revisar frecuentemente el progreso conseguido
A dnde iremos despus? Pasar de un ciclo de mejora a otro Establecer una estructura que, de modo sostenido, facilite los procesos de mejora
51 minados y analizados por la propia escuela. En otro lugar (BOLVAR, 2003a) hemos expuesto un modelo de proceso, en que de la revisin y diagnstico del estado actual del funcionamiento del centro escolar, se emprenden acciones de mejora en aquellos aspectos que se consideren prioritarios. En este marco de trabajo, como forma habitual de trabajo, se parte consensuando un "mapa" de lo- gros y necesi dades, frut o del aut odi agnst i co o "chequeo" de l a situacin del centro, en un compromiso por revisar, concretar y sistematizar nuestras ideas educativas, de modo con- tinuo y en espiral, en un plan de accin. Se trata de un esfuerzo por sistematizar y concretar nuestras ideas educativas en un plan de accin. Como tal requiere el compromiso de todos o una mayora de los miembros para analizar reflexiva y co- operativamente donde se est, por qu y cmo se ha llegado, valorar los logros y necesidades y determinar qu cosas po- demos ir haciendo mejor dentro de lo posible: cmo van las cosas en el centro?, qu va funcionando aceptablemente?, qu cosas necesitaran mejora? estamos haciendo lo que querramos hacer? etc. Determinado y consensuado un mbito de mejora (contenido) se pasara a movilizar recursos (internos y/o externos) que contribuyan a su resolucin, en una bsqueda de soluciones (ideas, mtodos o recursos materiales). Normalmente para que una escuela o un grupo de profesores sea capaz de hacer frente a sus mbitos de mejora, y -sobre todo- para que su fundamentacin sea relevante y legtima, deben verse potenciados por nuevos marcos o ideas pedaggicas, formas de trabajo, etc. La elaboracin de planes pe- daggicos para la accin supone planifi- car conjuntamente tanto (a) los procesos de trabajo conjunto que se van a hacer durante la puesta en prctica, como (b) los aspectos de enseanza-aprendizaje con el alumnado en los que se van a foca- lizar. Esta planificacin se entiende como un proceso que se si t a en l a reconstruccin de la accin desde su pasado (qu se ha hecho hasta ahora), presente (qu se hace actualmente) y fu- turo (qu se va a hacer) por parte de los profesores; y que, a su vez, debe quedar abierto a otros desarrollos subsiguientes: puest a en prct i ca, segui mi ent o y eval uaci n, t oma de deci si ones encami nadas a su progresi va institucionalizacin. Finalmente, la autoevaluacin no puede quedar como la tarea de un ao, sino como un dispositivo de la capacidad para el cambio que el establecimiento escolar ha adquirido; por lo que para que se mantengan y sea sostenible se requiere los apoyos, incentivos y capacidades a lo largo del tiempo. QU HA DADO DE S LA AUTO- EVALUACIN? La autoevaluacin no est exenta de problemas, ni es una panacea. En primer lugar, es una expectativa poco realista creer que va a institucionalizarse en la Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar 52 mayora de las escuelas, provocando por s misma una mejora institucional de la accin educativa. Calhoum; Joyce (1998, p. 1293) calculaban que [...] slo sobre un diez por ciento de las escuelas han tenido capacidad para generar iniciati- vas que hayan cambiado sustantivamente las dimensiones curricular, instructiva y tecno- lgica de la escuela. El sistema escolar en su conjunto se ca- racteriza por una dbil autoevaluacin institucional, con escasos centros que cuenten con procesos sistemticos de dar cuenta de lo que hacen como base de una mejora sostenida. Por su parte, Meuret; Morlat-Aubriet (2001, 2003), en una evaluacin de lo que han dado de s los procesos de autoevaluacin en 100 cen- tros escolares europeos, dentro de un Proyecto piloto sobre mejora de la calidad de la enseanza escolar, sealan que si bien todos los centros y profesorado prefi eren l a aut oeval uaci n a l a evaluacin externa, a la hora de valorar los efectos slo la mitad reconoce que - de hecho- ha mejorado la enseanza. Est amos en un moment o de reconceptualizacin crtica de lo que ha dado de s el movimiento de mejora, don- de se inscribe una de las tradiciones ms relevantes de la autoevaluacin (School Based Review). Esto ha motivado -por una part e- el acercami ent o, cuando no conj unci n, con l a ori ent aci n de "eficacia escolar", eso s debidamente reformulada por la propia "mejora"; por otra, a poner en primer plano el incremen- to de los niveles de aprendizaje de los alumnos o el "valor aadido" proporcio- nado por el centro. As de la School Based Review, como estrategia identificadora del movimiento School Improvement, dice ahora Hopkins (HOPKINS; LAGERWEIJ, 1997) que, si bien ha servido para que la escuela identificase prioridades para un desarrollo futuro, su repercusin en la eficacia escolar ha sido muy limitada, al no ent rar en cmo i mpl ement ar el desarrollo de cambios selectivos en un perodo dado de tiempo. A mitad de los noventa comienzan crecientes sntomas de que dicha labor conjunta no est incidiendo -como se esperaba- sufi ci ent ement e en el aprendizaje de los alumnos. Las iniciati- vas desde la propia escuela no son, en cualquier caso, una panacea. Si ya no se puede, definitivamente, confiar en inicia- tivas centrales, tampoco las "bottom-up", por s mismas, nos llevan lejos. Es mejor, se dice ahora, dentro de lo que ha dado en llamarse "tercera ola" centrarse en aquellas variables prximas al aula, que son l as que pueden conduci r a l a implementacin efectiva, pues -en ltimo extremo- es "lo que los profesores hacen en clase lo que marca la diferencia en los resultados de aprendizaje de los alumnos" (HARRIS; HOPKINS, 1999, p. 258). As, un tanto radicalmente, Hopkins (HOPKINS; LAGERWEIJ, 1997, p.89) seala que todas las estrategias a nivel de escuel a empl eadas deben ser Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna 53 sometidas a la pregunta crucial: "qu relacin existe entre estas estrategias y los resultados de los alumnos?"; para res- ponder que, si bi en pueden ser condiciones necesarias o crear un con- texto para mejorar el currculum o la enseanza, no son suficientes, pues "por s solas tienen poco impacto directo en el progreso de los alumnos". Para que esto ltimo suceda, deben integrarse o generar modificaciones especficas del currculum o de la enseanza, seala. En esta direc- cin concluye, de cara al futuro, [...] la segunda sugerencia es vol ver a cent rar l a di scusi n sobre la innovacin y la refor- ma en l os resul t ados de l os alumnos. Si no se hace esto, todo el debat e sobre el cambi o educat i vo, l a mej ora de l a escuela y la igualdad social se- gui r si endo i deol gi co, semntico e intil (HOPKINS; LAGERWEIJ, 1997, p.100). Es un tanto fuerte y discutible, pudiendo pensar si est cediendo a lo que es la poltica neoliberal en su pas y retoman- do aires gerencialistas, antes abandonados. As pues, numerosas evidencias sugieren que el control por la escuela del proceso de cambio no necesariamente afecta o ha tenido el deseable impacto en los niveles de consecucin de los alumnos ni en la calidad educativa ofrecida. Muchas veces quedan empantanados, eluden cambios sustantivos en el plano didctico o slo modifican las estructuras de gobierno y modos de trabajo. Maximizar la mezcla product i va ent re responsabi l i dad y rendimiento de cuentas con el desarrollo e iniciativas de abajo parece ser clave. Como seala Darling-Hammond (2001, p.289) es necesario, en esta tercera ola, [...] desarrollar polticas que mantengan el frgil equilibrio entre los estndares externos que estimulen la mejora y la autonoma escolar que constituya el motor del cambio interno. Cuando lo que est en juego es garantizar el derecho de aprender de todos los alumnos, no puede ser dejado a lo que cada centro determine, an cuando sin su compromiso e implicacin se ir poco lejos. Adems, desde otra perspectiva, en los ltimos aos, con motivo de propuestas de "gestin basada en la escuela" y reestructuracin escolar, nos hemos vuelto ms crticos con la autorrevisin basada en la escuela. Desde una filosofa de la sospecha, se ha cuestionado si la idea de la escuela como unidad de cam- bio, con unos procesos autoevaluativos, no fuera sino una nueva "tecnologa del yo", que transfiere al propio centro el control que antes era ejercido - con escasos resultados- externamente. La autorrevisin sera un modo sutil de interiorizar el control externo. El asesor o consultor externo ejercera el papel de moralista/psiquiatra que trata de encauzar al orden razonable a la organizacin. La evaluacin de los centros deber conjuntar una dimensin orientada a un diagnstico de resultados con el prop- sito de que -a su vez- pueda servir para Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar 54 promover procesos de mejora interna. Por eso, las consecuencias de un proceso de evaluacin, bien situado y realizado, son - en primer lugar- la mejora; en segun- do, rendir cuentas de la labor desarrollada y rendimientos alcanzados, y-ms ampliamente- proporcionar informacin al personal de la escuela y a la sociedad. Como seala David Nevo (1998, p.90), una evaluacin debe ser constructiva y til, [...] si bien la idea de que la evaluacin formativa es una al- t er nat i va a la evaluacin sumativa puede ser un pretexto para rehuir las exigencias de responsabilizacin. [...] una evaluacin tambin debera ayudar a la escuela a demostrar sus mri- tos ante las autoridades educativas, los padres y el pblico en general. Otras consecuencias colaterales, no por ello menos relevantes, son: contribuir a generar una cultura de evaluacin tanto en los modos y procesos de llevarla a cabo como en i r asumi endo l a responsabilidad de los resultados ante la sociedad, ir perfeccionando y apropiando los instrumentos de evaluacin etc. Ori- entada a la mejora interna, es un medio para capacitar al propio centro para hacer sus opciones de mejora, construyendo condiciones y procesos que permitan innovar y ser expresin de su autonoma. CONJUGAR FORMAS DE EVALUACIN PARA LA MEJORA: EVALUACIN INSTITUCIONAL Si bien cabe justificar la legitimidad, e incluso necesidad, de una evaluacin ex- terna de los centros escolares y del sis- tema educativo, como obligacin de dar cuenta de en qu grado funciona como servicio pblico, como ya hemos sealado, hay razonables dudas sobre cmo estos informes de evaluacin puedan contribuir a una mejora interna de los centros, a me- nos que vayan acompaados de un con- junto de condiciones y procesos. Se plantea, entonces, la necesidad de conju- gar una evaluacin externa con una autoevalucin. Joan Mateo (2000, p.176) propone entender la evaluacin insti- tucional como integracin de perspecti- vas: La evaluacin interna constituye una estrategia de autorregulacin absolutamente necesaria para la generacin de compromiso entre el centro y su propia bsqueda de calidad y es un elemento clave de desarrollo institucional; sin em- bargo, precisa del enfoque exter- no, no tan slo porque le confiere credibilidad al someter a constrate el interno, sino tambin porque lo retroalimenta con nueva informacin evaluativa obtenida por otros medios, le somete a un anlisis ms diverso y plural y evita en definitiva la prdida de referen- tes que lo conduzcan a una exa- gerada subjetividad. Por su parte, la evaluacin externa necesita ser substanciada desde la interna, sta le aporta significado a sus procesos y evita su desarraigo. La evaluacin institucional trata de conjugar ambas perspectivas y aunarlas en un objetivo comn: la gestin eficaz y eficiciente de la calidad educativa en el marco globalizador e integrador de la institucin. As, la necesidad para un centro pblico de dar cuenta de sus propios resultados se combina con rendirse cuenta de sus Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna 55 propios avances, para tomar medidas a nivel local. La mirada externa con la propia percepcin interna. De hecho, las dos formas no se excluyen, al contrario puede (y, quizs, deben) ser complementarias. El probl ema si gue si endo, como matrimonio mal avenido, cul (evaluacin externa/interna) deba tener prioridad, cmo compatibilizar ambas, y de qu modo una no ahogue o anule a la otra. Por eso, el verdadero asunto es cmo (en qu condiciones) pueden de modo realis- ta llegar a ser compatibles e incluso potenciarse mutuamente; porque, en el estado actual de la evaluacin de centros en Europa, es menos la complementariedad de estos modelos cuanto su concurrencia lo que suele importar" (MEURET; MORLAIX-AUBRIET, 2001), lo que suele conllevar ms a un enfrentamiento que a una complementariedad. El dilema es cmo combinar un sistema de rendimiento de cuentas externo, que inevitablemente tiende a una uniformidad (y, por tanto, que todas las escuelas deben alcanzar los mismos niveles de consecucin de sus alumnos), con la variabilidad y particularidad de cada escuela. Superar esta tensin es difcil, sin que ello sea excusa para rechazar cualquier tipo de evaluacin externa. Lograr establecer estndares "sin estan- darizacin", como dice Darling-Hammond, es un reto. Para que una reforma "basada en estndares" pueda contribuir a la mejora, no puede limitarse a establecerlos y evaluar posteriormente su consecucin, pues la mejora es un proceso que exige un apoyo sost eni do en el t i empo. Adems, recprocamente exige proporcionar los medios y apoyos oportunos para que puedan conseguir tales estndares. Por ltimo, un "nuevo"sistema de rendimiento de cuentas debe tender a ser flexible, empleando una variedad de tipos de informacin. El asunto, como siempre, depender de cmo se lleve a cabo dicho control y los recursos dispuestos para la mejora. Por eso, un factor crtico del xito es la adecuada combi naci n de seri as exigencias externas con dispositivos que desarrollan la capacidad interna. El tema es cmo establecer estndares (y la correspondiente evaluacin) que definan ni vel es de consecuci n deseabl es (ELMORE; ROTHMAN, 1999; MASSELL, 2000), segn cada contexto (sin estandarizacin), y una evaluacin peridica que asegure una educacin de calidad para todos y, al tiempo, proporci- one los medios considerados necesarios para conseguirlo. David Nevo (1997), en un excelente libro sobre l a "eval uaci n basada en l a escuela" entiende que sta no tiene por qu oponerse a "evaluacin externa", es ms -para mutuo enriquecimiento- deben ser complementarias. Cada una puede tener ventajas para ciertos propsitos: evaluacin interna para una evaluacin formativa y para proveer feedback para la mejora, y la externa para una evaluacin sumativa, proporcionando informacin Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar 56 sobre rendimiento de cuentas o resulta- dos de unos centros, comparados con otros. La propia evaluacin externa puede verse favorecida en su realizacin cuando se apoya en los informes previos realiza- dos en el seno de un proceso de autoevaluacin. Todo ello a condicin de dejar de usar la evaluacin como una "fuente de coaccin e intimidacin, y empezar a utilizarla como la base del di- l ogo ent re cent ros, profesores y di rect ores, y el rest o del si st ema educativo y de la sociedad en general". Un centro escolar que no cuenta con ni ngn mecani smo i nt erno para su autorrevisin, tendr dificultades para sacar partido, en un dilogo constructivo, a cualquier informe de evaluacin exter- na. As, ha sucedido en Espaa (Plan EVA del Ministerio de 1994-97), al no haber sabido para qu se quera la evaluacin institucional, ni cules eran las priorida- des (generar una cultura evaluativa en los centros e iniciar procesos internos de revisin). Si una evaluacin externa quiere, como deca el objetivo general del Plan EVA, impulsar la autoevaluacin de los centros con el fin de mejorar la calidad de la enseanza que en ellos se imparte y no se preocupa por crear los procesos necesarios est abocada a fracasar. En estos casos cualquier evaluacin ex- terna engendrar actitudes defensivas y ser percibida como un intento de con- trolar el funcionamiento del centro y un atentado contra la autonoma profesional, lo que en nada contribuye a la mejora. Por eso, seala Nevo (1997), los que estn interesados en la evaluacin sumativa externa deberan animar a los centros a desarrollar mecanismos de evaluacin in- terna, no para sustituirla sino para hacerla ms efi caz. Normal ment e l a autoevaluacin institucional es una condi ci n pri ori t ari a para que una evaluacin externa contribuya a la mejora interna, al contar con procesos para sa- car partido a los informes de evaluacin. Como seala David Nevo (1997, p.167), "si la evaluacin de un centro es interna y externa a la vez, se convierte en un dilogo para la mejora, en vez de en acusaciones externas y defensiva interna" De modo si- milar defiende Elmore (2002) que el rendimiento de cuentas interno debe pre- ceder al externo y es una precondicin para los procesos de mejora. El evaluador externo puede adoptar la posicin de mediador, "amigo crtico", agente de cambio y dinamizador, etc., es decir, se gua por un conjunto de valores que pretenden ser educativos, en lugar de instrumentales, para los implicados, contribuyendo a hacer explcito un dibujo ms claro de la institucin y de lo que sig- nifica su trabajo en el conjunto ms amplio de las prcticas sociales (MACBEATH, 1999), como primer paso para la reflexin conjunta sobre lo que se hace, se debera hacer o sera legtimo lograr. En fin, como sealaba en otro trabajo (BOLVAR, 2003b), contina siendo un imperativo asegurar las oportunidades educativas para aprender de todos los Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna 57 alumnos, como ciudadanos, a recibir y alcanzar unos niveles educativos formal- ment e equi t at i vos. La cuest i n, inveterada, es cmo hacerlo en formas que contribuyan a mejorar los centros o aulas que consiguen bajos niveles en sus alumnos. Esta evaluacin por resultados, en cualquier caso, no puede buscar la homogeneidad en una sociedad desigual, sino la equidad (BOLVAR, 2005). Para ello, estimo, precisamos contar con algn tipo de dispositivos (externos, adems de internos) que garanticen la equidad de los alumnos (de "todos" los alumnos) en el derecho a aprender. Esto un sistema educativo no puede garantizarlo, si no se fijan unas metas o niveles a alcanzar (en un currculum comn o "bsico") y se evala su grado de consecucin en los centros. Por supuesto, como ya hemos resaltado, de nada vale contar con dichos dispositivos (mejores o peores) si, para- lelamente, no se tienen preparados los apoyos oportunos. En este segundo caso, hay que oponerse a cualquier medida de control, por buena o justificable que sea. Por eso, un factor crtico del xito es la adecuada combinacin de exigencias ex- ternas con dispositivos que desarrollan la capacidad interna. En lnea con la exce- l ent e posi ci n y argument aci n de Sirotnik (2004), podemos asentar estos principios de partida: la educacin pbli- ca juega un papel de primer orden en la configuracin de la ciudadana, cuya funcin debe ser desarrollar las mximas posi bi l i dades de l os al umnos. La administracin educativa tiene derecho (y obligacin) de conocer cmo funciona al respecto el sistema pblico de educacin. Al igual que los profesores y centros deben dar cuentas de su trabajo, tambin la propia administracin educativa debe rendirlas en orden a asegurar la equidad y calidad en la educacin. De este modo, el rendimiento de cuentas se da la mano con la responsabilidad, como tambin defiende Elmore (2002) con el principio quid pro quo en el sentido de, paralela- mente, proporcionar los medios y apoyos oportunos para que puedan conseguir tales estndares. De modo similar dice Darling-Hammond (2004): Adems de estndares sobre los resultados de los alumnos, los si st ema escol ares deben desarrollar estndares de opor- tunidades para aprender, que les permitan identificar en qu me- dida las escuelas estn propor- ci onando a l os al umnos l as condiciones que necesitan para desarrol l arse bi en y, en caso necesari o, poner en marcha acciones correctivas por parte de la administracin educativa. Evaluation of schools: between the accountability and the internal impro- vement Abstract: The paper anal yzes t he performance-based accountability systems in order t o t he creat i on of an effect i ve improvement process inside schools. A critical analysis is formulated of the forms and uses that have in the present educational politics. On the contrary, the autoevaluation promote t he t eachers' i nvol vement t o i mprove t he quality, but is neither free of problems. It is presented, therefore, the forms for integrate them. The capacity to improve precedes to the Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar Artigo recebido em: 15/05/2005. Aprovado para publicao em: 28/03/2006. 58 external demands of accountability. Internal evaluation constitutes the platform for external evaluation, providing a source of insight into the specific circunstances of a school. In turn, the accountability must be a reciprocal process (quid pro quo): to provide with the capacity to meet expectation. Keywords: Accountability; School improve- ment; Self-evaluation. REFERNCIAS ADAMS, J. E.; KIRST, M. W. New demands and concepts for educational accountability: Striving for results in an era of excelence. In: MURPHY, J. y LOUIS, K.S. (Eds.) Handbook of Research on Educational Administration. 2.ed. San Fran- cisco: Jossey-Bass, p. 463-489, 1999. AINSCOW, M., HOPKINS, D.; SOUTH-WORTH, G.; WEST, M. Hacia escuelas eficaces para todos. Manual para la formacin de equipos do- centes. Madrid, Narcea, 2001. BAKER, E.; LINN, R. Validity issues for accountability systems. Los ngeles, CA: Center for the Study of Evaluation, 2002. Disponible en: http://www.cse.ucla.edu/CRESST/ Reports/TR585.pdf BOLVAR, A. Autoevaluacin institucional para la mejora interna. In: ZABALZA, M.A. (Ed.): Reforma Educativa y Organizacin Escolar (p.915-944). Santiago de Compostela: Trculo, vol. II, p. 915-944, 1996. Disponible en http:// www.rinace.org/ (Biblioteca virtual) ______.Los centros educativos como organi- zaciones que aprenden. Promesa y realidades. Madrid: La Muralla, 2000. ______.Como melhorar as escolas? Estrat- gias e dinmicas de melhoria das prticas educativas. Porto: Edic. ASA, 2003a. ______. Si quiere mejorar las escuelas, preocpese por capacitarlas. El papel del rendimiento de cuentas por estndares en la mejora. Profesorado. Revista de Currculum y Formacin del Profesorado, n.1-2, ano 7, p.75-89, 2003b. Disponible en: http://www.ugr.es/~recfpro/Rev71 ART4.pdf . ______. Evaluacin de centros: Estndares para la mejora interna?. In: MORENO, J.M. (Org.).Organizacin y gestin de centros educativos. Madrid. UNED, p.333-361, 2004. ______. Equidad educativa y teoras de la Justicia. Revista Electrnica Iberoamericana de Calidad, Eficacia y Cambio en Educacin (REICE), v.3, n.1, enero-junio, 2005. Revista Electrnica: http://www.rinace.org/reice BONAMI, M. valuation interne et valuation externe: concurrence ou complmentarit. Cahiers de Recherche du GIRSEF, n.38 (avril), 2005. Disponible en: http://www.girsef.ucl. ac.be CALHOUN, E.; JOYCE, B. Inside-out and outside- in-learning from past and present school improvement paradigms. In: HARGREAVES, A., LIEBERMAN, A., FULLAN, M.; HOPKINS, D.(Eds.) International Handbook of Edu- cational Change, Dordrecht: Kluwer, p.1286- 1298, 1998. DARLING-HAMMOND, L. El derecho de aprender. Crear buenas escuelas para todos. Barcelona: Ariel, 2001. _______. Standards, accountability, and school reform. Teachers College Record, n.6, v.106, p.1047-1085, 2004. Edicin espaola par- cial ("Estndares, accountability y reforma esco- lar") en Biblioteca virtual de Red Iberoamericana de Investigacin sobre Cambio y Eficacia Escolar (Rinace). Disponible en: http://www.rinace.org/ DEROUET, J. L.; DUTERCQ, Y. Les tablissements scolaires et leurs efficacits. Elments pour une valuation. Paris: Institut National de Recherche Pdagogique. Centre Paul Lapie, 1996. DEMAILLY, L., GADREY, N., DEUBEL, Ph.; VERDIRE, J. valuer les tablissements scolaires enjeux, expriences, dbats. Paris: L'Harmattan, 1998. ELMORE, R.F.; ROTHMAN, R.(Eds.) Testing, teaching and learning. Wahshington, DC: National Academy Press, 1999. http://bools.nap. edu/html/testing_teaching/ ELMORE, R.F. Building a new structure for school leadership. Wahshington, DC: Albert Shanker Institute, 2000. Trabajo disponible en: http:// www.shankerinstitute.org. Tambin en: _______. School Reform from the Inside out: policy, practice, and performance. Cambridge, MA.: Harvard University Press, cap.2, 2004. Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna 59 ________. Bridging the gap between standards and achievement. The imperative for professional development in education. Washington: Albert Shanker Institute, 2002. Trabajo disponible en: http://www.shankerinstitute.org. Tambin en: _______. School Reform from the Inside out: policy, practice, and performance. Cambridge, MA.: Harvard University Press, cap. 3, 2004. Trad. espaola: "Salvar la brecha entre estndares y re- sultados. El imperativo para el desarrollo profesional en educacin", Revista Profesorado. Revista de Currculum y Formacin del Profesorado, n.1-2, ano 7, p. 9-48, 2003. Revista electrnica: http://www.ugr.es/~recfpro EURYDICE, Las competencias clave. Un concepto en expansin dentro de la educacin general obligatoria. Madrid: Unidad Europea de Eurydice, 2002. Disponible en: <http:// www. eur ydi ce. org/ Document s/ sur vey5/ es/ FrameSet.htm> FIRESTONE, W. Educational accountability.In: GUTHRIE, J. W. (Ed.) Encyclopedia of Education. 2 ed. Nueva York: MacMillan, v.2, p.651-656, 2003. FUHRMAN, S.H. Redisigning accountablity systems for education. Pennsylvania: Consortium for Policy Research in Education. Policy Brief RB-38, 2003. Disponible en: <http:/ /www.cpre.org> FUHRMAN, S.; ELMORE, R. (Eds.) Redesigning Accountability Systems for Education. New York: Teachers College Press, 2004. GAIRIN, J. La evaluacin de centros educativos. In: CASTILLO, S. (Org.) Compromisos de la evaluacin educativa. Madrid: Pearson Educacin/Prentice Hall, p.115-162, 2002. GATHER THURLER, M. L' efficacit des tablissements ne se mesure pas: elle se construit, se ngocie, se pratique et se vit. In: CRAHAY, M. (Ed.) Problmatique et mthodologie de l'valuation des tablissements de formation. Bruxelles: De Boeck, p.203-224, 1994. HARGREAVES, A. Ensear en la sociedad del conocimiento. Barcelona: Octaedro, 2003. HARRIS, A.; HOPKINS, D. Teaching and learning and the challenge or educational reform. Review. School Effectiveness and Scholl Impro- vement, n.2, v.10, p.257-267, 1999. HOPKINS, D.; LAGERWEIJ, N. La base de conocimientos de mejora de la escuela. In: REYNOLS, D. et al. Las escuelas eficaces. Claves para mejorar la enseanza. Madrid: Santillana, p.71-101, 1997. LADD, H.F.; FISKE, E.B. Does competition improve teaching and learning?. Evidence from New Zelanda. Educational Evaluation and Policy Analysis, n.1, v. 25, p.97-112, 2003. LEITHWOOD, K.; EARL, L. Educational accountability effects: an international perspective. Peabody Journal of Education, n. 4, v. 75, p. 1- 18, 2000. LINN, R.L. Assessments and accountability. Educational Researcher, n. 2, v. 29, p. 4-14, 2000. MARCHESI, A.; MARTN, E. Tendencias actuales en la evaluacin de centros docentes. Infancia y Aprendizaje, n.85, p.5-18, 1999. MASSELL, D. Building the capacity for standards-based reform. Federal Center Net work, 2000a. Disponible en: <http:// www.dssc. org/frc/pubs/Massell.pdf> MASSELL, D. The District role in building capacity: four strategies. Consortium for policy research in Education (CPRE). n RB- 32. http://www.cpre.org/publications/rb32.pdf. MATEO, J. La evaluacin educativa, su prctica y otras metforas. Barcelona: ICE/Horsori, 2000 MacBEATH, J. Schools must speak for themselves: the case for school self-evaluation. London: Routledge, 1999. MEHRENS, W.A. Consequences of assessment: what is the evidence. Education Policy Analysis Archives, n. 13, v. 6, 1998. Revista electrnica en: http://epaa.asu.edu/epaa/arch.html MEURET, D.; MORLAIX, S. Quelques conditions du sucss de l'auto-evaluation d'un tablissement scolaire: Leons d' une exprience l' chelle europenne. Journes d' tudes "La rgu- lation des systmes educatifs" (Paris, 26-27 mars 2001), 10p. Documento disponible en: <ht t p: / / www. ubour gogne. f r / I REDU/ 2001/ 01023.pdf> _______. Conditions of success of a school' s self-evaluation: Some lessons of an european Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Antonio Bolvar 60 experience. School Effectiveness and School Improvement, n.1, v.14, p.53-71, 2003. NEVO, D. Evaluacin basada en el centro. Un dilogo para la mejora educativa. Bilbao: Mensajero, 1997. _______. La evaluacin mediante el dilogo: Una contribucin posible al perfeccionamiento de la escuela. Perspectivas, n.1, v.28, p.87-100, 1998. O' DAY, J.A. Complexity, accountability, and school improvement. Harvard Educational Review, n.3, v.72, p. 293-329, 2002. PERRENOUD, P. Construir competencias desde la escuela. 2.ed. Providencia: Comunicaciones Noreste, 2003. RYCHEN, D.; SALGANIK, L. Definir y seleccionar las competencias fun- damentales para la vida. Mxico. Fondo de Cultura Econmica, 2004. SIROTNIK, K (Ed.) Holding accountability accountable: What ought to matter in public education. Nueva York: Teachers College Press, 2004. SPILLANE, J.P. Standards deviation: how schools misunderstand education policy. Cambridge, Massachusetts: Harvard University Press, 2004. Sobre o autor: 1 Antonio Bolvar Doctor en Ciencias de la Educacin. Catedrtico de Didctica y Organizacin Escolar en la Universidad de Granada. Web: http://www.ugr.es/ ~abolivar/ E-mail: abolivar@ugr.es Direccin Postal: Universidad de Granada, Facultad de Ciencias de la Educacin. Campus Universitario de Cartuja. C.P. 18071. Granada, Espaa. Gest. Ao, Salvador, v.9, n.1, p.37-60, jan./abr. 2006 Evaluacin institucional: entre el rendimiento de cuentas y la mejora interna
Lineamientos Generales para La Creación de Programas Educativos de Licenciatura, Maestría y Doctorado de La Universidad Pedagógica Nacional. y en Su Caso, Modificación, Suspensión y Cancelación