Metaevaluación de las tica. Si se negocia, ¿se puede plantear la posibi- lidad de que los evaluadores sean agentes exter- escuelas: el camino nos al sistema?, ¿se puede sugerir que sean otros los métodos?, ¿se puede decidir desde las escue- del aprendizaje, del rigor, las qué hacer con los informes?... Es necesario preguntarse por la actitud de los de la mejora y de la ética profesores y profesoras, por la artificialización del comportamiento cuando se hacen observa- ciones, por la calidad de la información cuando Miguel Angel Santos Guerra Universidad de Málaga, España se hacen entrevistas, por la riqueza de los infor- arrebol@uma.es mes elaborados, por la negociación de los mis- mos, por la capacidad de transformación que está teniendo la evaluación... Es necesario pregun- Se está hablando y escribiendo mucho sobre tarse por la preparación de los inspectores para la evaluación de los centros escolares, se están hacer un tipo determinado de evaluación, por el haciendo muchas evaluaciones, se está generan- tiempo de que disponen, por sus habilidades para do una cultura sobre l a evaluación. Ante ese he- llevarla a cabo... Es imprescindible interrogarse cho no hay que lanzar las campanas al vuelo, por la actitud del profesorado ante la evaluación: porque lo más importante no es hacer muchas por sus reticencias, por su colaboración, por su evaluaciones, ni siquiera hacerlas bien. Lo más disposición al cambio... importante es saber al servicio de qué personas ¿Por qué repetir los errores de una forma irra- y de qué valores se ponen. Quiero llamar la aten- cional y perseverante? ¿Quién garantiza que los ción en estas líneas sobre la necesidad de anali- zar lo que sucede con las evaluaciones. No bas- ta, pues, ponerlas en marcha para que ya nos sin- tamos satisfechos. La metaevaluación (o proceso de evaluación de las evaluaciones) permite pregun- tarse, al menos, por estas cinco cuestiones:
En el presente artículo el autor plantea la meta-
1 El aprendizaje evaluación de las escuelas como un proceso de valoración de las evaluaciones, de naturaleza Es necesario aprender de las evaluaciones que cualitativa, que da respuesta a aspectos inquie- se realizan. Todos podemos aprender: los patro- tantes como el aprendizaje, la mejora, el rigor, la cinadores, los evaluadores, los evaluados. Pero transferencia y la ética. Da significativa impor- solamente lo podremos hacer si reflexionamos tancia a este último, pues considera que, ade- de forma rigurosa y desapasionada sobre los pro- más de ser la metaevaluación un proceso técni- cesos y los resultados. No es razonable repetir co, contiene una dimensión ética, por lo cual men- los errores de manera casi mecánica. ciona doce criterios de carácter axiológico. Igual- En la evaluación que se pone en marcha por mente, en forma breve, refiere la manera de rea- prescripción legal se produce un cruce de mode- lizar este proceso, desatacando el proceso de los verdaderamente inquietante. Se corre el peli- negociación, la aplicación de criterios, el juicio gro de que la evaluación no responda plenamente de expertos y la opinión de los protagonistas. ni a uno ni a otro. Por una parte, se trata de una evaluación de rendimiento de cuentas (accoun- tability) ya que la ordena el poder y la realiza la autoridad académica (inspectores). Por otra par- Palabras clave: Evaluación, metaevaluación, mejo- te, se pretende hacer de ella una evaluación ne- ra.
18 A C C I O N P E D A G Ó G I C A, Vol. 9, Nos. 1 y 2 / 2000 Miguel A. Santos Guerra / Metaevaluación de las escuelas
E V A L U A C I O N D O S S I E R buenos propósitos al realizarla no han produci- Quienidentificacalidadconrendimientodealum- do efectos secundarios dañinos? ¿Quién puede nos es porque está interesado en que así sea. afirmar que está inmunizado contra la comisión La evaluación tiene que estar encaminada a de errores? Si así ha sido, ¿no es razonable y jus- la mejora de la práctica educativa. La evalua- to que se traten de evitar en futuras experiencias? ción es un garantía de la calidad para el centro El aprendizaje no se produce solamente so- educativo (Casanova, 1992), siempre y cuando bre l o s fallos, e rrores o conflictos. También es se realice, se oriente, se encamine a la mejora y importante analizar y desentrañar las explicacio- no tanto al control, a la comparación, a la clasifi- nessobrelosaciertos,sobrelacolaboraciónabier- cación, a la jerarquización o a la discriminación. ta, sobre la reflexión rigurosa, sobre el conoci- Para que la mejora se produzca es necesario miento elaborado, sobre los cambios efectivos... que la disposición de los que intervienen en ella sea abierta y comprometida. Si no existe actitud autocrítica y apertura a la opinión externa es muy 2 La mejora difícil que cambie algo profundamente. Si no existe una actitud comprometida con la práctica, Sé que la palabra mejora es casi infinita en es imposible que las transformaciones afecten a sus contenidos semánticos. ¿Qué es mejora? Sin zonas significativas. Los cambios, si se produ- embargo es una pregunta capital. Hay que des- cen, serán superficiales y anecdóticos. Hablo de entrañar el significado de este concepto como disposición positiva de todos los que intervie- hay que hacerlo con el de calidad. De lo contra- nen en la evaluación. Eso atañe también a la Ad- rio, no sólo se producirá confusión, sino tam- ministración. Si la evaluación muestra carencias, bién perversión. Cuando se realizan simplifica- deficiencias o errores en la gestión del sistema ciones, suelen hacerse de manera interesada. educativo, habrán de percibir los profesores que existe disponibilidad para asumir las decisiones de mejora. Si no sucede así, el profesorado verá la evaluación como un fenómeno de jerar- quización y de control. La mejora exige una negociación de los in- formes extensa y profunda. La negociación de informes es la piedra angular de la evaluación The role of metaevaluation in schools as a (Santos Guerra, 1998), porque permite conocer process of assessment of the evaluation, in a con claridad y rigor qué es lo que sucede y por qualitative approach, is reviewed; focusing on qué. De ese conocimiento pueden surgir las de- uneasy aspects such as learning, improvement, cisiones de cambio. rigor, transfer and ethics. A greater significance is given to the lattest, since it is considered that the metaevaluation besides being a technical 3 El rigor process contains an ethical dimension. This is detailed in twelve axiomatic criteria. The author Una de las preocupaciones más importantes also explains briefly how to achieve the process, de la metaevaluación es la comprobación del ri- outstanding the negotiation, the application of gor que ha tenido la evaluación. La evaluación these criteria, the judgement of experts and the que defiendo es de naturaleza cualitativa por con- opinion of the protagonist. siderar que no se puede captar fenómenos com- plejos desde métodos cuantitativos y, por consi- guiente, simplificados. No se deben aplicar a la utilización de meto- dología cualitativa los presupuestos de la vali- dez que se vienen aplicando en la investigación Key words: evaluation, metaevaluation, impro- vement. experimental. Esa dependencia genera una dis-
Miguel A. Santos Guerra / Metaevaluación de las escuelas A C C I O N P E D A G Ó G I C A, Vol. 9, Nos. 1 y 2 / 2000
19 D O S S I E R E V A L U A C I O N torsión del modelo y no da respuesta a la verda- urbe. Y que un centro de gran tamaño se aseme- dera cuestión: ¿Cómo saber si la evaluación que je más a otro de estas características que a una se ha realizado refleja con rigor lo que sucede escuela unitaria. en la escuela? Es preciso aplicar los criterios de Existe otra forma de establecer transfe- credibilidad y comprobar en qué medida esa eva- ribilidad, que se ha denominado "reader made", luación los cumple. Veamos algunos ejemplos: hecha por el lector del informe. Este se pregun- Si se han utilizado métodos diversos para ex- ta: ¿Pasará algo parecido en este otro centro? plorar el centro y se han triangulado las infor- Quien lee un informe sobre la evaluación de una maciones procedentes de ellos, habrá más rigor escuela y está en otra, puede preguntarse fácil- que si se ha utilizado un solo método. El proce- mente: ¿Pasará algo similar en la mía? so de triangulación consiste en la contrastación, en la depuración de los datos. La información procedente de distintos métodos no siempre dice 5 La ética lo mismo. No se trata con la triangulación de eli- minar las discrepancias, sino de explicarlas. Me detendré algo más en este apartado por Si se ha permanecido un tiempo largo en el considerarlo esencial en la metaevaluación. La centro observando lo que en él sucede, habrá metaevaluación no es un proceso exclusivamente más garantías que si solamente se ha permaneci- técnico. Como la misma evaluación, tiene una do en él un tiempo muy breve. Las pistas de re- dimensión sustancialmente ética. Por eso, la visión permiten hacer una valoración sobre la metaevaluación no se centra exclusivamente en naturaleza, el sentido, la ética y el rigor de la la búsqueda de criterios de carácter metodológico evaluación. ¿Existen esas pistas? o algorítmico, sino que se ha de centrar en su vertiente moral. En otro lugar (Santos Guerra, 1993) he he- 4 La transferencia cho referencia a los abusos de la evaluación. Los que en ese trabajo describo y denuncio han sido La evaluación que se hace de una escuela descubiertos en la práctica de la evaluación en puede servir para el aprendizaje y el cambio de España. No hablo, pues, de memoria. No es ne- otras escuelas. El hecho de que cada escuela sea cesario desarrollar el contenido de estos enun- diferente no oculta las características comunes ciados que hablan por sí solos: que las definen a todas. Difundir los informes de Convertir la evaluación en un elogio a quien las evaluaciones (salvaguardando el anonimato la patrocina o la realiza. de los protagonistas) puede ayudar a compren- Elegir sesgadamente para la evaluación algu- der lo que sucede con las escuelas.Y puede ser- nas parcelas o experiencias que favorezcan vir para que algunas reflexionen sobre los resul- una realidad o una visión sobre la misma. tados habidos en otras. Hacer una evaluación de diferente naturaleza y Para que la transferibilidad pueda producirse rigor para realidades igualmente importantes. hay que partir de descripciones minuciosas. Las Convertir la evaluación en un instrumento de afirmaciones de carácter genérico no aportan dominación, control y opresión. información relevante. Decir que un centro "fun- Poner la evaluación al servicio de quienes más ciona bien", que tiene "clima excelente", que tie- tienen o más pueden. ne "magníficos resultados", no nos permite co- Atribuir los resultados a causas más o menos nocer nada. En la medida que los centros tengan supuestas a través de procesos atributivos ar- características y contextos más similares, la bitrarios. transferibilidad será más fácil. En efecto, es ra- Encargar la evaluación a equipos o personas zonable esperar que lo que sucede en un centro sin independencia o valor para decir la verdad. privado se repita en otro de este mismo tipo. Es Silenciar los resultados de la evaluación res- probable que una escuela rural se parezca más a pecto a los evaluados o a otras audiencias. otra de este carácter que otra situada en una gran Seleccionar aquellos aspectos que permiten
20 A C C I O N P E D A G Ó G I C A, Vol. 9, Nos. 1 y 2 / 2000 Miguel A. Santos Guerra / Metaevaluación de las escuelas
E V A L U A C I O N D O S S I E R tomar decisiones que apoyan las iniciativas, siones coercitivas. Se sabe que esas pre- ideas o planteamientos del poder. siones pueden ser brutales o sutiles. Inter- Hacer públicas sólo aquellas partes del informe namente, tampoco deben existir mecanis- que tienen un carácter halagador para el poder. mos de control: nadie (persona o grupo) Descalificar la evaluación achacándole falta debe ejercer presión ni control sobre otros. de rigor si los resultados no interesan. Dar por buenos los resultados de la evalua- b) Racionalidad: Los participantes han de ac- ción a pesar de su falta de rigor, cuando esto tuar de forma lógica y sensata. Esto quiere es lo que interesa. decir el discurso y el proceso de la evalua- Utilizar los resultados para tomar decisiones ción están presididos por argumentos y no clara o subrepticiamente injustas. por caprichos o intereses. Aprovechar la evaluación para hacer falsas comparaciones entre lo que es realmente in- c) Aceptación de los términos: Las partes que comparable. firman el acuerdo aceptan libremente las Atribuir los malos resultados no al desarrollo reglas de procedimiento que han sido for- del programa sino a la torpeza, la pereza o la muladas de manera clara y transparente, mala preparación o voluntad de los usuarios tanto por lo que respecta a la naturaleza, del mismo. como a los objetivos y a los métodos de la evaluación. Es necesario mantener la vigilancia sobre esta cuestión trascendental porque no se trata de eva- d) Acuerdo conjunto: L a e q u i d a d requiere luar mucho, ni siquiera de evaluar de forma téc- que el acuerdo se considere como algo más nicamente perfecta, sino de saber al servicio de que la coincidencia entre opciones indivi- quién y de qué valores se pone la evaluación. duales. La negociación, cuando es inten- Nadie se alegraría de que se abriese una fábrica sa y sincera, no es un proceso sencillo. Exi- de cuchillos en una localidad si supiera que su ge tiempo, exige valentía.Y una discusión destino era la distribución de estos entre los ciu- sin barreras de todos los participantes. dadanos para ejercitarse en el acuchillamiento de sus enemigos. e) Desinterés: Hay que someter los intereses El quebrantamiento de la ética puede darse particulares a las preocupaciones, proble- en el fenómeno mismo de la evaluación, en su mas y necesidades de la causa común. Lle- globalidad o en algunos de sus partes específi- gar a un acuerdo no garantiza que se ha- cas. Se puede poner en marcha una evaluación yan supeditado los intereses particulares a al servicio del poder, del dinero o del prestigio los generales. de los patrocinadores, por ejemplo. Y se puede obtener información de forma fraudulenta realizan- f) Universalidad: La normativa tiene que do entrevistas que están falsamente planteadas. afectar a todos por igual, incluidos los eva- Care (1978) plantea las exigencias de un con- luadores. Si la normativa exige que se tra- trato equitativo de evaluación. En ese proceso te de forma distinta a diferentes personas, se ponen los cimientos del edificio de la ética. todos pueden situarse en cualquiera de esas Aunque no todas las exigencias tienen la misma formas. importancia ni su presentación está organizada según criterios axiológicos, es de interés enume- g) Interés comunitario: Quienes llegan a un rarlas con un brevísimo comentario. acuerdo para realizar la evaluación deben tener como meta que se produzca el máxi- a) Ausencia de coerción: La equidad exige mo beneficio para cada de los participantes. que los que tiene que participar en la eva- luación (evaluadores, evaluados, colabo- h) Información igual y completa: Nadie debe radores, jueces...) no estén sujetos a pre- tener acceso a una información privilegia-
Miguel A. Santos Guerra / Metaevaluación de las escuelas A C C I O N P E D A G Ó G I C A, Vol. 9, Nos. 1 y 2 / 2000
21 D O S S I E R E V A L U A C I O N da. Una condición de la equidad consiste ajuste moral. Se está dando a los que más tienen en que los participantes reciban informa- (cultura, dinero, poder...) todavía más a través de un ción sobre los hechos pertinentes y que ésta instrumento que parece neutral y aséptico. Es una se distribuya por igual. trampa terrible que algunos defienden de forma in- genua y muchos de manera interesada. i) Ausencia de riesgos: Uno de los propósi- tos del contrato de evaluación es que no se deriven riesgos para quienes se some- 6 ¿Cómo se realiza la metaevaluación? ten a ella, o bien reducirlos al mínimo. La metaevaluación puede emprenderse pa- j) Viabilidad: El contrat o d e evaluación ha ralelamente a la evaluación, aunque también de ser de tal naturaleza que sea posible lle- puede realizarse una vez finalizada esta. Por tra- varlo a cabo. Los evaluadores no deben tarse de una evaluación, han de exigírsele todos prometer actividades y oportunidades fan- aquellos requisitos que se le pide a la evalua- tásticas, por más deseables que éstas fue- ción. Existen varias formas de responder a las ran. El interés por conseguir el contrato cuestiones que aquí se plantean: puede lleva r a realizar promesas inviables. Cuando no es posible cumplir el contrato, a. El proceso de negociación éste no es equitativo. El proceso de negociación de informes es un excelente camino que nos permite conocer cómo k) Contar con todas las opiniones: Para que ha sido el proceso de evaluación y cómo se pue- el contrato sea equitativo, las partes deben den considerar sus resultados. La negociación tener la oportunidad de hacer constar lo no sólo se refiere al contenido del informe: afec- que crean conveniente. ta también a la calidad de los procesos que han hecho posible su elaboración.Y, cómo no, a l a s l) Participación: La condición final del con- posibilidades de mejora que de él parten. trato es que todos los participantes puedan Si existen, como en el caso de las escuelas, participar. Todo el mundo debe tener voz. muchas evaluaciones, se puede emitir un juicio más riguroso sobre lo que supone la evaluación La ética que se exige a la evaluación ha de y sobre lo que sería preciso hacer para mejorar- presidir también la metaevaluación. ¿Hasta dón- la. Algunas experiencias apuntan a este tipo de de ha de llegar esta exigencia? ¿Quién evalúa a procesos de metaevaluación (Luján y Puente, los evaluadores? Si se establecieran Comisiones 1996). Lo importante es sacar de ellas los ele- de Garantía de la Ética, ¿quién ejercería el con- mentos necesarios para iluminar y dirigir las de- trol democrático sobre ellas? cisiones políticas, la intervención de los ex- En su excelente y ya clásica obra «Evaluation pertos y la práctica de los docentes. with validity», traducida al castellano con el título «Evaluación, ética y poder», House (1980, ver- b. Aplicación de criterios sión española de 1994) exige a la evaluación ve- Hay que remitirse a un artículo de Guba(1993) racidad, belleza y justicia. No siempre se plantea que sirve de referencia para la respuesta a la pre- la evaluación siguiendo estos criterios. Cuando gunta de la validez y de la transferibilidad. Este se pretende medir los resultados de las experien- autor dice que no hay criterios absolutos, pero cias y de los centros escolares a través de pruebas que existen exigencias que permiten garantizar estandarizadas con el fin de hacer una clasifica- que se ha alcanzado el rigor necesario para afir- ción según la posición en la escala, y se conce- mar que lo que contiene el informe es un reflejo den luego recursos siguiendo esa clasificación, se fiel de lo que sucede, y n o u n a i nvención del está utilizando la evaluación al servicio de la in- evaluador. justicia y de la desigualdad. Por muy rigurosas y En el punto 3, anteriormente expuesto, he precisas que sean las pruebas, no se evita el des- mencionado algunos criterios que plantea Guba
22 A C C I O N P E D A G Ó G I C A, Vol. 9, Nos. 1 y 2 / 2000 Miguel A. Santos Guerra / Metaevaluación de las escuelas
E V A L U A C I O N D O S S I E R (1983) refiriéndose de forma especial a las eva- luaciones de carácter naturalista.
c. Juicio crítico de expertos
Se puede encomendar a expertos que no han participado en la evaluación y que tampoco es- tán vinculados a la acción evaluada, la emisión de opiniones sobre el proceso de evaluación. Para poder realizar un juicio fundado, los exper- tos tienen que conocer lo que ha sucedido en la evaluación. Para ello dispondrán de todos los materiales y podrán entrevistar a los protagonis- tas: patrocinadores, evaluadores y evaluados. La metaevaluación debe facilitar el aprendi- zaje de los evaluadores quienes, a través de aná- lisis, sugerencias y preguntas se acercan a la com- prensión de los procesos.
d. Opinión de los protagonistas
Una vez finalizada la evaluación, los prota- gonistas pueden emitir sus opiniones por escrito o de forma oral, de manera que sea posible des- cubrir aquellos problemas, dificultades o fallos que hayan condicionado el proceso. Si los protagonistas de la acción tienen la cla- ve del significado, los de la evaluación tienen en sus manos la interpretación de lo que ha sucedi- do en todas las fases de la evaluación. Ellos sa- ben qué sucedió con la iniciativa, cómo se hizo la negociación, cómo se ha explorado, qué ha suce- dido con los informes, cómo se han respetado las normas. A ellos, pues, h ay que preguntar, garanti- zando las condiciones de una expresión libre.
Care, N. (1978). Participation and policy. Ethics, 88.
Casanova, M. (1992). La evaluación, garantía de calidad del centro educativo. Zaragoza: Edel Vives. Guba, E. (1983). Criterios de credibilidad en la investigación naturalista. En G. Sacristán. y A. Pérez Gómez, La en- señanza: su teoría y su práctica. Madrid: Akal. House, E. (1994). Evaluación, ética y poder. Madrid: Morata. Lujan, J., y Puente, J. (1996). Evaluación de centros docen- tes: El Plan EVA. Madrid: MEC. Santos Guerra, M. A. (1993). La evaluación, un proceso de diálogo, comprensión y mejora. Archidona :Aljibe. Santos Guerra, M. A. (1998). Evaluar es comprender. Bue- nos Aires: Magisterio del Río de la Plata.
Miguel A. Santos Guerra / Metaevaluación de las escuelas A C C I O N P E D A G Ó G I C A, Vol. 9, Nos. 1 y 2 / 2000