Evaluación de Una Institución

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.
Crdito 7.3. LA EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Profesor Dr. Eustaquio Martn Rodrguez.
I. INTRODUCCIN: PRESENTACIN Y ORIENTACIONES . Uno de los objetivos prioritarios de las administraciones pblicas que aparece recurrentemente en los discursos polticos de las ltimas dcadas es, sin duda, el de la calidad. Parece evidente que existe un cierto acuerdo en que una vez resuelto el problema de la generalizacin de los servicios pblicos, lo urgente, lo que necesariamente tiene que abordarse es la mejora de su calidad. Siendo ste un planteamiento loable y sobre el que existe un cierto consenso entre todas las fuerzas sociales y polticas, las discrepancias, controversias y desencuentros surgen tanto cuando se trata de definir qu es y en qu consiste la calidad, como cuando se planifican y concretan las medidas y procedimientos para acometer su optimizacin. Desde cualquiera de las opciones posibles en estos casos, es innegable que la teora y prctica de la evaluacin institucional ha ido adquiriendo un protagonismo estelar ya sea como base sobre la que sustentar y legitimar las directrices de las polticas de las administraciones que a nivel nacional se ponen en juego; para fundamentar las decisiones que necesitan tomarse en la conduccin de los distintos programas y actuaciones; o para proveer a las instituciones y actores de herramientas y datos que, adems de facilitarles el conocimiento de sus quehaceres, les permitan profundizar en sus desarrollos institucional y profesional. La formacin es un componente fundamental para acometer los procesos de mejora del desempeo profesional. En otros mdulos ya se hablado de planes de formacin y, en ste, se ha abordado especficamente la evaluacin de actuaciones de formacin. Corresponde ahora plantear la evaluacin de una institucin de formacin. Lo relevante, en este caso, es disponer de informacin y conocimiento que nos permita valorar los procesos y resultados que se ponen de manifiesto en una organizacin cuyo elemento de identidad, con respecto a otras, es la de hacer posible la cualificacin y/o reciclaje de determinados profesionales. En este crdito, por tanto, se aborda la teora y prctica de la evaluacin institucional. En la primera parte, se analiza la emergencia y desarrollo de la misma,
para pasar, en una segunda, a considerar los elementos y requisitos de un proyecto de evaluacin de una institucin de formacin. En la parte terica se describe, por un lado, las condiciones externas en que surge, se desenvuelve y va cobrando importancia la evaluacin institucional en el ltimo tercio del siglo XX, teniendo en cuenta tanto la implementacin de las polticas anglosajonas de la accountability, como la constitucin del llamado Estado Evaluador. Por otro lado, se plantean asimismo los avances que se van produciendo en los debates sobre la evaluacin, en general, y su aplicacin a la evaluacin institucional con las propuestas de nuevos enfoques, especialmente lo que implica el paso, sobre todo, de la perspectiva gerencialista a la democrtica, con la disponibilidad de las diferentes modalidades de evaluacin, con las opciones que se presentan ante las distintas concepciones de lo institucional y, por ltimo, con las significaciones contrapuestas de qu es la evaluacin. En la parte prctica, hemos intentado ejemplificar cmo podra acometerse la evaluacin de una institucin de formacin. Nuestro intencin, en este caso, se ha centrado en ofrecer pautas y orientaciones que permitan ir elaborando a cada participante su propio proyecto de evaluacin. La propuesta es un tanto genrica en la medida que desconocemos la singularidad y particularidades de cada centro de formacin y deben ser los responsables e integrantes de los mismos, como no poda ser de otra manera, quienes precisen, perfilen y enriquezcan la misma. No obstante, nos hemos esforzado por clarificar el proceso y los procedimientos para delimitar y concretar el objeto de evaluacin, para identificar las fuentes de informacin, para seleccionar tcnicas e instrumentos de recogida de informacin y para proponer criterios de evaluacin. Somos conscientes de que nuestra propuesta es tentativa y provisional y que en ese proceso mutuo de enseanza y aprendizaje que conlleva la formacin, en el que todos los actores aprenden y ensean a la vez, dicha propuesta pueda completarse y transformarse con las aportaciones de todos.
II. PROPSITOS Y OBJETIVOS . Entre otros, se pretende: Destacar la importancia estratgica que ha ido adquiriendo la evaluacin institucional, Caracterizar la especificidad de la evaluacin de instituciones, Plantear algunos de los debates y dilemas que afectan a la evaluacin institucional. Identificar los elementos de un proyecto de evaluacin de una institucin de formacin. Establecer los mbitos, dimensiones, subdimensiones, fuentes de informacin, tcnicas e instrumentos de recogida de informacin y criterios de evaluacin de una institucin de formacin. Capacitar a los participantes para abordar la evaluacin de su institucin. Generaren los participantes la importancia de la cultura de evaluacin.
III. ESQUEMA DE CONTENIDOS . 1. Emergencia y desarrollo de la evaluacin institucional. 1.1. Condiciones externas en que emerge y se desenvuelve la evaluacin institucional. 1.2. Consideraciones en torno a la evaluacin institucional. 1.2.1. Enfoques de evaluacin. 1.2.2. Modalidades de evaluacin. 1.2.3. Las formas de concebir lo institucional. 1.2.4. Las diferentes significaciones de la evaluacin. 2. Elementos y requisitos de un proyecto de evaluacin de una institucin de formacin. 2.1. Delimitacin y concrecin del objeto de evaluacin. 2.2. Metodologa de evaluacin. 2.3. Evaluacin de los distintos mbitos de una institucin de formacin. 2.3.1- Evaluacin del Proyecto Institucional. 2.3.2.- Evaluacin del Plan de Actuacin. A.- Diseo del Plan. B.- Desarrollo / Seguimiento. C.- Resultados / Impacto 2.3.3.- Evaluacin de la Organizacin y Funcionamiento de la Institucin. 3.- Metaevaluacin : evaluacin de la evaluacin.
IV. DESARROLLO DE CONTENIDOS . 1. Emergencia y desarrollo de la evaluacin institucional. La evaluacin de instituciones se ha constituido, en el ltimo tercio del siglo XX, en un campo de estudio en permanente auge en el que se entrecruzan perspectivas, visiones e intereses de muy diversa naturaleza. Parece claro que su importancia viene determinada por la necesidad, mayoritariamente aceptada, de contar con informacin que permita conocer y optimizar la contribucin de las instituciones o centros a la formacin de los sujetos necesitados o inmersos en procesos de cualificacin profesional. Su protagonismo se debe a que son espacios sociales, dotados de sentido y significado, para hacer realidad un proyecto formativo. De su implicacin y compromiso depende la viabilidad y las formas concretas de llevar acabo las aspiraciones y expectativas de la sociedad. La evaluacin institucional, que como nuevo mbito evaluativo surge durante los aos setenta, continua su desarrollo en los 80 y se impulsa definitivamente como modalidad en los 90, no es, sin embargo, un elemento ajeno a las concepciones de la educacin y la formacin que se mantienen en las distintas fases de la evolucin sociopoltica, econmica y cultural del mundo occidental; no puede considerarse al margen de las polticas y principios que dan sentido a las distintas reformas en los que se ven inmersos los servicios pblicos; ni tampoco es comprensible en su complejidad si no se tienen en cuenta los debates y deliberaciones que se han ido produciendo sobre la misma en su conformacin como campo de estudio e investigacin.
1.1. Condiciones externas en que emerge y se desenvuelve la evaluacin institucional. Antes de nada tratemos de hacer un poco de memoria y reconstruir las condiciones en que aparece y se desenvuelve la evaluacin institucional para que de este modo podamos comprender las diferentes propuestas que se han ido desplegando al respecto. Nos referiremos fundamentalmente al campo educativo, dada su estrecha vinculacin con la formacin en general, aunque los puntos bsicos de este devenir son aplicables a otros sectores de los servicios pblicos.
A tal efecto, habra que comenzar sealando que la aparicin de las polticas anglosajonas de la accountability, primero en EE.UU. y ms tarde en el Reino Unido, est asociada a un momento histrico caracterizado por un clima de desconfianza hacia determinados sectores pblicos y, entre otros, al de la educacin. Cronolgicamente se inician en los primeros aos de la dcada de los 70, coincidiendo con la crisis energtica y econmica de los pases desarrollados y con un perodo de recesin, inflacin y aumento del paro. Esto va a dar lugar, por un lado, a un replanteamiento de los valores sociales y educativos, con fuertes recortes presupuestarios en todo lo relacionado con los programas sociales y con la generalizacin de un cierto escepticismo con respecto a las instituciones educativas y los profesores. Y, por otro, a que distintas iniciativas polticas y sociales promuevan medidas encaminadas a que el control de los currculos escolares no quede slo en manos de los profesores y a que los centros de enseanza informen pblicamente de sus logros y resultados. Las experiencias de autoevaluacin desarrolladas por la accountability, cuyo impulso ms decisivo se foment con la puesta en juego de las polticas neoliberales que definieron los mandatos de Ronald Reagan y Margaret Thatcher, van a coincidir, a finales de la dcada de los aos 80, con el surgimiento de lo que Neave (1988) acu con la denominacin del Estado Evaluador en la educacin superior. Con esta expresin se hace referencia a la alteracin que se produce en las relaciones entre Estado, Sociedad y Educacin Superior en una gran parte de los pases de Europa Occidental a finales de los aos 70 y principios de los 80. Neave y Van Vught (1994) argumentan que el paso del Estado Facilitador, que posibilit la expansin de la educacin superior haciendo frente a los retos de la gran demanda de estudios mediante la continuidad de las relaciones entre las instituciones de enseanza superior y los gobiernos, al Estado Evaluador pone de manifiesto un nuevo contexto de cambios sociales, econmicos y culturales de un peso considerable. De entre ellos habra que destacar, an cuando la influencia de cada uno de los factores puede ser diferente en los distintos pases, los siguientes: las reducciones presupuestarias en las dinmicas de crisis del Estado de Bienestar; las reformas generalizadas en el sector pblico como consecuencia del inicio de las polticas neoliberales; el papel atribuidos a la ciencia y la tecnologa en la insercin de las naciones y de los bloques regionales en un contexto internacional cada vez ms competitivo; el fenmeno de masificacin de la educacin superior que se desencadena en la mayora de los pases en la dcada de los
60; y la bsqueda de una mejor adecuacin de las relaciones con el mercado del trabajo y el mundo de la industria. Este cambio de relaciones se va a traducir, entre otros aspectos, en el paso de una evaluacin de mantenimiento a una evaluacin estratgica. Tratndose, mediante esta ltima, de llevar a cabo una revisin permanente de los objetivos de las reformas educativas realizadas para acometer las dificultades, los errores o deficiencias de las mismas. Las caractersticas ms relevantes de la evaluacin estratgica son la de tratarse de una evaluacin a posteriori en vez de a priori, y la de que no concede importancia al proceso cuanto a los resultados, es decir, hay un cambio de nfasis del proceso al producto, del estado inicial al resultado. Este cambio de la funcin y del concepto mismo de evaluacin implica, de acuerdo con Neave (2001: 224), que aspectos tales como el rendimiento estudiantil, el promedio de calificaciones, la productividad de la institucin y de los departamentos, que antes slo ocasionalmente eran sometidos a revisin y gestin de crisis, pasaron entonces a ser el objeto de mecanismos en alto grado complejos y crticos, regularmente aplicados, regularmente revisados e ntimamente vinculados con el propsito estratgico, no slo de orientar la poltica educativa nacional, sino tambin, al mismo tiempo, de que la institucin hiciera su propia autoevaluacin a fin de que pudiera discernir qu lugar ocupaba en el escenario nacional y planificar las maneras de mejorarlo o considerarlo. El concepto de Estado Evaluador , segn Whitty, Power y Halpin (1999: 55-56), puede aplicarse tambin a las etapas obligatorias de los sistemas educativos. Ellos lo asocian, en el marco de la reestructuracin, al racionalismo econmico en el sentido de considerar a la educacin como un bien de consumo y a la poltica educativa como un medio por el que se puede regularse y distribuirse con eficiencia y eficacia. Desde su perspectiva hay dos elementos que explican la naturaleza de las reformas curriculares que se van a llevar a cabo en los sistemas educativos, as como la funcin de la evaluacin en los mismos. Por una parte, la omnipresencia del discurso econmico y su cambio de relacin con el discurso poltico en el contexto de la globalizacin. Y, por otra parte, el reforzamiento de las tendencias neoconservadoras de las polticas educativas. La insistencia en los objetivos econmicos implica un desplazamiento de los propsitos sociales y culturales de la educacin. El afianzamiento de las polticas neoliberales introduce cambios de gran calado en el discurso educativo. En el juego de la oferta y la demanda del mercado, la educacin pasa a ser ms un bien de consumo 6
que un derecho, y los actores sociales, ms desde su papel de consumidores que de ciudadanos, se les invita a juzgar la calidad de la misma mediante parmetros e indicadores que resaltan su valor en trminos econmicos. El marchamo de la calidad, y la parafernalia de las normas para su catalogacin, no es sino un intento de llevar hasta sus ltimas consecuencias los procesos de produccin y el control de los productos, adoptados en las organizaciones industriales, a una gran parte de las instituciones del sector pblico. En el nuevo rumbo de este discurso educativo no puede perderse de vista, adems, las polticas de descentralizacin que delegan responsabilidades a las instituciones y profesores. La autonoma de centros y profesores, con relativa frecuencia, no deja de ser tambin una manera limitada de plantear el protagonismo de las instituciones y de sus actores, ya que, por una parte, su margen de maniobra es mnimo en cuanto a la capacidad de decidir sus trayectorias, pues sus cometidos son de carcter metodolgico- instrumental pero no entran en la deliberacin de los objetivos o propsitos, y, por otra, no se facilitan las condiciones para la creacin de una cultura institucional en la que se primen las formas de participacin y colaboracin que desde proyectos pedaggicos concretos conduzcan al desarrollo profesional e institucional. Y, como contrapartida, se siguen manteniendo y reforzando la centralizacin de los mecanismos de control. En este contexto, la evaluacin adquiere una relevancia nunca antes imaginada. No en vano, ya dur ante la dcada de los 80 en EE.UU., tal y como indica House (1992: 45), la evaluacin fue considerada demasiado importante como para dejarla en manos de los evaluadores y las grandes burocracias crearon sus propias agencias de evaluacin. House (1998: 124) identifica estas evaluaciones como una modalidad de evaluacin interna, para diferenciarlas de las realizadas por evaluadores independientes, y resalta los problemas de credibilidad y procedimientos que se derivan de la falta de independencia poltica de los evaluadores, as como del hecho de que una gran parte de la teora de la evaluacin fue construida y fundamentada desde las relaciones contractuales entre los evaluadores externos y las organizaciones. Neave (2001: 228) seala, en esta misma lnea, la aparicin desde mediados de la dcada de los 80 de poderosos intermediarios especializados que acometen, como agentes de evaluacin, la recopilacin de datos e informaciones de la educacin superior. Y otro tanto ocurre en la educacin no universitaria, en las dcadas de los aos 80 y 90, con la creacin de
instituciones ad hoc para la evaluacin de la calidad (Institutos o Centros de Evaluacin y / o Calidad). Como puede verse estas nuevas formas de concebir e instrumentar la evaluacin suponen, en bastantes ocasiones, una nueva reedicin corregida y aumentada de las primeras polticas de la accountability, de los aos 70 y 80, que van ir adquiriendo a lo largo de la dcada de los noventa, eso s, una gran proyeccin internacional. Su discurso va a ser recurrente desde los aos setenta hasta la actualidad, y an cuando sus argumentos tienen matices especficos, en distintos momentos o fases, su finalidad es inequvoca, la de valorar la productividad y rentabilidad de las instituciones educativas. A este respecto, parece evidente que el fomento de los primeros proyectos de evaluacin, que empez siendo una forma de comprobar la eficacia de los grandes programas norteamericanos de educacin compensatoria en los inicios de los setenta, fue tomando cuerpo, en los aos ochenta, con el movimiento de rendicin de cuentas auspiciado por las primeras experiencias de las polticas neoliberales anglosajonas, y se generaliz al contexto internacional con las opciones y decisiones que la globalizacin econmica ha venido concretando durante los ltimos aos.
1.2. Consideraciones en torno a la evaluacin institucional. La evaluacin institucional como nuevo mbito evaluativo ha asumido en su desarrollo algunas de las aportaciones y acuerdos logrados en los debates ms relevantes que se han producido en el campo de la evaluacin en general, ya que el acervo acumulado originariamente por la evaluacin de programas se ha ido proyectando en las propuestas con las que afrontar la valoracin del personal, de las instituciones y de los sistemas. En el caso concreto de la evaluacin de instituciones es importante considerar los posibles enfoques, las diversas modalidades, las formas de concebir lo que es una institucin, las diferentes formas de entender qu significa una evaluacin, etc. Todos estos aspectos se hacen presentes, de una u otra forma, en un proyecto de evaluacin institucional y, por consiguiente, es necesario conocer cules son sus implicaciones en el mismo.
1.2.1. Enfoques de evaluacin. Casi todas las obras y autores que analizan, en algn momento, la historia de la evaluacin resaltan que la reunin celebrada en el Churchill College de Cambridge, el 8
20 de diciembre de 1972, fue un acontecimiento con una enorme proyeccin para el desarrollo de la evaluacin. En dicha reunin, se llegaron a una serie de acuerdos en torno a la naturaleza de los estudios, a los diseos de la evaluacin, a las tcnicas e instrumentos de recogida de informacin y al papel y responsabilidad de los evaluadores que, de alguna manera, recogan las experiencias compartidas por un conjunto cada vez ms pujante de estudiosos de la teora y prctica de la evaluacin. Como fielmente transcribieron en sus notas MacDonald y Parlett, 1973, (puede verse en Sez Brezmes y otros, 1990: 104-113), la conferencia de Cambridge era un intento de repensar la evaluacin abiertamente, buscando lo que poda aprenderse de estas otras investigaciones [de historiadores, economistas, socilogos y antroplogos] y valorando las implicaciones, dificultades y potencialidades de los nuevos estilos de evaluacin (Pg.107). Nuevos estilos de evaluacin que, con respecto a los acuerdos alcanzados, destacaban la insatisfaccin con las evaluaciones que se venan realizando de las prcticas educativas porque no aportaban pruebas de los efectos de las mismas, por la insuficiente atencin prestada a los procesos educativos, por centrarse excesivamente en los cambios mensurables y por el predominio de un tipo de investigacin educativa que priorizaba la precisin de la medida y la generalidad de la teora. Las siguientes reuniones de este grupo, sobre todo la celebrada en 1975, en el que el tema debatido fue el de los Mtodos de estudios de casos, supuso un avance en la utilizacin de un lenguaje comn. La creacin de un espacio compartido entre autores anglonorteamericanos empezaba a dar sus frutos, aun cuando existiesen en ciertos momentos diferencias y desencuentros, en la vigorizacin de las nuevas vas y enfoques de evaluacin. Como seala, Simons (1999: 76), el estudio de casos era una metfora que pretenda atraer a quienes buscaban una forma de integrar las solicitudes de datos globales que se derivaban de diversas revisiones crticas de la tradicin de la evaluacin. Y, sin duda, denominaciones como evaluacin naturalista (Guba, 1978; Guba y Lincoln, 1981), evaluacin constructivista (Guba y Lincoln, 1989) y evaluacin democrtica deliberativa (House y Howe, 1999; House y Howe, 2000) representan algunos de los jalones de su trayectoria histrica. En el Reino Unido, la publicacin en 1976 de los artculos, por un lado, de Parlett y Hamilton de La evaluacin como iluminacin y, por otro, el de MacDonald de La evaluacin y el control de la educacin, vendran a refrendar los nuevos caminos emprendidos en este campo, cuyas formulaciones van ir madurando como consecuencia 9
del legado del movimiento del desarrollo curricular de los aos sesenta. Tanto la crtica al paradigma clsico <<agrcola-botnico>> como la consideracin de los evaluadores como figuras polticas que manifiestan de distinta manera sus actitudes ante la distribucin del poder en educacin, propiciaron la difusin del paradigma <<socioantropolgico>> y la clasificacin poltica de los distintos tipos de evaluacin: burocrtica, autocrtica y democrtica. El enfoque de evaluacin democrtica de MacDonald (1985: 475-76), se caracterizaba por ser: un servicio de informacin a la comunidad entera sobre las caractersticas del programa educativo. El patrocinio del estudio de evaluacin en s, no concede un derecho especial sobre este servicio. El evaluador democrtico reconoce el pluralismo de valores y busca la representacin de intereses diferentes en la formulacin del tema. El valor bsico es una colectividad de ciudadanos informados y el evaluador acta como un corredor que intercambia informacin entre grupos que desean conocimientos recprocos. Sus tcnicas de recoleccin y presentacin de datos, tienen que ser accesibles para personas no especialistas. Su actividad principal es la recoleccin de definiciones del programa y reacciones frente a l. Garantiza el secreto a los informantes y les ofrece el control sobre la utilizacin de la informacin que ellos le proporcionan. El informe no proporciona recomendaciones y el evaluador reconoce la necesidad de prudencia en el uso de la informacin. Establece una negociacin peridica de sus relaciones con patrocinadores y participantes del programa. El criterio de xito es el nmero de personas que pueden ayudar. El informe aspira al estatus de <<best-seller>>. Los conceptos claves de evaluacin democrtica son <<secreto>>, <<negociacin>> y <<accesibilidad>>. El concepto clave de justificacin es el <<derecho a saber>>. Estos planteamientos y, de un modo especial, las crticas que MacDonald haca a las evaluaciones que por entonces se desarrollaban en EE.UU., catalogndolas como burocrticas, es decir al servicio incondicional de los patrocinadores y desde una perspectiva gerencialista, o autocrticas, como servicio condicional al patrocinador pero que encuentran su legitimidad en los crculos acadmicos y de investigacin, van a hacer que la responsividad y las audiencias de la evaluacin sean los dos elementos claves que centren el debate ya iniciado. En un trabajo presentado por Robert Stake (1983: 96) en una conferencia del Consejo Escocs de Investigacin, celebrada en 1974 en Edimburgo, hablaba, al comparar los diseos preordenado y de rplica, de que una evaluacin es evaluacin de rplica 1) si se orienta ms directamente a las actividades del programa que a los propsitos de ste; 2) si responde a las exigencias de informacin de la audiencia, y 3) si al informar del xito y del fracaso del programa 10
alude a las diferentes perspectivas de valor de las personas en torno. De estas tres formas distintas puede ser un plan de evaluacin de rplica.
Los problemas endmicos, segn el anlisis de Guba y Lincoln (1989), de las primeras generaciones de la evaluacin han sido fundamentalmente la tendencia al gerencialismo, la deficiente consideracin del pluralismo de valores y la excesiva dependencia de un paradigma tecnolgico o cientfico-racional de carcter positivista. La tendencia hacia el gerencialismo se expresa, sobre todo, en el control y poder que ejercen los patrocinadores de la evaluacin para, en ltima instancia, ser ellos quienes decidan las preguntas, propsitos y divulgacin de los estudios por considerarse los dueos de los mismos. Este proceso es completamente injusto para aquellos grupos que no tienen el estatus del dirigente. Tambi n restringe los derechos del ciudadano, porque son las autoridades administrativas o los directivos los que controlan toda la informacin y la divulgacin del informe, y en consecuencia conculcan el derecho a la informacin. Puede darse una connivencia entre patrocinador y evaluador de modo que sean ellos quienes, al margen de otras personas y grupos interesados, determinen todos los elementos relevantes de la evaluacin. El pluralismo de valores era una problemtica ajena a la investigacin y evaluacin porque, hasta haca muy poco tiempo, se haba sostenido que la sociedad comparta valores y que todos sus miembros estaban aculturados y asuman dichos valores. Sin embargo, la inclusin del juicio en la evaluacin puso en evidencia que los objetivos eran instrumentos que incluan valores y ello implicaba un cierto acuerdo sobre stos. La cuestin de qu valores predominan en una evaluacin o qu valores pueden negociarse empieza a emerger como un asunto muy importante. La situacin se complica ya que, por una parte, se ha defendido que aunque existen diferencias de valores, los hallazgos de una evaluacin pueden ser vlidos porque la metodologa usada es cientfica y las ciencias estn demostradamente libre de valores. Pero si se postula, en cambio, que la ciencia no est libre de valores eso quiere decir que no slo los hallazgos estn sujetos a diferentes interpretaciones sino que los hechos en s mismos estn determinados por la interaccin con el sistema de valores del evaluador. Y el problema adquiere otras dimensiones, dado que entonces todos los hechos de evaluacin se convierten en actos polticos. Es decir cada acto de indagacin ya sea acto de investigacin, acto de evaluacin o anlisis de polticas llega a ser un acto poltico en este sentido. La afirmacin de la evaluacin libre de valores est en consonancia con 11
una tendencia gerencialista ya que, si no intervienen los valores, los hallazgos de una evaluacin representan los hechos tal y como realmente son, y deberan ser por tanto aceptados como verdades objetivas. El hecho de que el patrocinador fije los parmetros y los alcances del estudio parece que no tiene entonces trascendencia porque los hechos parecen no estar influidos por estas decisiones. Existe, asimismo, un compromiso excesivo con el paradigma positivista que entre otras tiene las siguientes limitaciones: una ausencia de contexto, salvo que est cuidadosamente controlado para generalizar resultados; gran dependencia de las medidas cuantitativas, porque el rigor que promete el paradigma parece descansar en la dureza de los datos que son conseguidos a travs de estos procedimientos; legitimacin de la evaluacin por el uso de mtodos cientficos que nos proporcionan un conocimiento de las cosas tal y como suceden, por lo que no podemos resistirnos a tales evidencias y no estamos autorizados a ponerlas en tela de juicio. Esto ltimo es lo que se denomina la coercin de la verdad, la verdad es innegociable y si un evaluador la proporciona los clientes no tienen ninguna oportunidad de rechazarla como alejada de su experiencia. Pero es que, adems, el uso de estos mtodos impide utilizar claves alternativas de pensamiento sobre el objeto a evaluar, siendo impensable incluir los puntos de vista de los participantes. Para el investigador o evaluador que se adhiere a este paradigma, como la ciencia est libre de valores, personalmente conlleva no asumir responsabilidad moral sobre sus acciones, no puede ser culpado porque est diciendo la verdad. Tampoco tiene ninguna responsabilidad sobre lo que sigue a la evaluacin ya que su papel termina cuando el informe es entregado. Ni siquiera es responsable de los hallazgos porque l simplemente refleja lo que sucede en la realidad.
1.2.2. Modalidades de evaluacin. Desde la perspectiva de los responsables de llevarla a cabo, puede hablarse de evaluacin externa y evaluacin interna. La primera corresponde a los tipos de estudios emprendidos por personas que no son miembros de las instituciones o de las comunidades profesionales que se evalan, mientras que la segunda es aquella que se realiza por los mismos miembros o instituciones que son objeto de evaluacin. Esta distincin, sin embargo, es tan formal que dice muy poco de la naturaleza e implicaciones de estos dos tipos de evaluaciones.
12
En princip io, habra que aclarar que una gran parte de las evaluaciones externas son llevadas a cabo por personas que, aunque no sean miembros de los centros o comunidades profesionales, s mantienen, por el contrario, una relacin directa con los servicios pblicos del que dependen stos. Es el caso, por ejemplo, de las evaluaciones conducidas por los servicios de supervisin o inspeccin o de las instituciones especficas de la administracin educativa. Por ello, estas evaluaciones son formalmente externas con respecto a las instituciones y actores, pero no en relacin con los responsables de determinar las polticas sobre las que se organiza y desarrolla el servicio pblico. Y lo que est en juego, en este tipo de estudios, es la capacidad e independencia de las personas u organismos para que los propsitos que las guan transciendan los intereses concretos o coyunturales de esas polticas. Esto ltimo es el motivo de que se hable de la evaluacin externa- independiente como una modalidad alternativa. A diferencia de la anterior, son estudios emprendidos por personas cualificadas que o bien no tienen conexin directa con la administracin de los niveles del sistema educativo de que se trate, o bien disponen de una cierta autonoma funcional, que les posibilita en uno y otro caso actuar con criterios informados por sus conocimientos profesionales. Tal y como han recalcado Angulo, Contreras y Santos (1991, 1994), la evaluacin externa-independiente se caracteriza, entre otras notas, por ser un servicio a la sociedad, realizada por evaluadores que no estn directamente implicados en las circunstancia y desarrollos de la realidad evaluada, que responde a las exigencias sociales y demandas democrticas de informacin pblica, cuyo propsito es asegurar el funcionamiento democrtico de las instituciones y sus actores, as como mostrar la calidad del servicio desde perspectivas no tecnocrticas1 . En la evaluacin interna, los programas, centros o componentes de la institucin asumen, a la vez, ser objeto y sujeto de su propio proceso de evaluacin. Hoy suele hablarse ms de autoevaluacin que de evaluacin interna, identificndose ambas como una misma modalidad de evaluacin. Sin embargo, en este caso concreto, habra que diferenciar entre la evaluacin interna que surge desde instancias ajenas a los propios centros y sus miembros, y la autoevaluacin que emerge desde el protagonismo, el compromiso y la madurez de las instituciones y sus actores.
1
Vase Angulo Rasco, J. F., Contreras Domingo, J. y Santos Guerra, M. A:(1991): Evaluacin Educativa y Participacin Democrtica, en Cuadernos de Pedagoga , n 195, pp. 74-79; .... Angulo Rasco, J. F., Contreras Domingo, J. y Santos Guerra, M. A. (1994): Evaluacin Educativa y Participacin, op. cit.
13
La evaluacin interna auspiciada, asesorada y hasta dirigida por instancias ajenas a los centros y sus miembros ha sido con frecuencia una forma de rendicin de cuentas encubierta para complementar u obtener la informacin que no era posible lograr a travs de la evaluacin externa. As, al menos ocurri en EE.UU. e Inglaterra durante los aos 70 y 80, y en esta direccin cabe interpretar algunas de las iniciativas de autoevaluacin que desde los aos 1997-98 se impulsaron en nuestro pas por el Ministerio de Educacin, una vez vista que la experiencia del Plan EVA era inviable para acometer la evaluacin de todos los centros educativos, dadas, por un lado, la escala temporal necesaria por unidad institucional2 y, por otro, la no disponibilidad, por parte de la administracin educativa, de los recursos humanos para llevarla a efecto. Por ello, tanto en los aos setenta como hoy tienen plena vigencia las sospechas de si la autoevaluacin de las escuelas no es sino una forma de rendicin de cuentas con un rostro ms humano 3 . Ante este estado de cosas, es lcito preguntarse de qu o quin es el auto de la autoevaluacin?, ya que las instituciones y los actores no tienen ninguna capacidad para decidir los aspectos mas sustantivos de un proyecto de evaluacin y, en el mejor de los casos, se les invita a cumplimentar una serie de protocolo s de recogida de informacin para recopilar datos o comprobar la introduccin de nuevos modelos de gestin institucional como ha sido, recientemente, el caso de la propuesta de la Gestin de la Calidad Total-. La diversidad de propuestas y experiencias en esta modalidad ha llevado, recientemente, a una autora como Saunders (1999: 426) a preguntarse cmo y por qu la autoevaluacin escolar es un animal de una especie diferente segn el hbitat donde se encuentre?. Desde una posicin totalmente opuesta, Kemmis (1986: 131) refuerza el protagonismo de los participantes en los procesos de autoevaluacin afirmando que: . Enfatizar el valor de la autocrtica no es defender el aislamiento de un programa. Al contrario, es pretender desarrollar el programa en base a un debate donde los participantes puedan adoptar puntos de vista ms amplios que los propios, llegando a la visin global del programa, dentro de un amplio contexto histrico. Pero tambin es recordar que una vez que un programa cede la autocrtica para dejar paso a la autoridad exterior, est perdiendo su autonoma como comunidad intelectual.
2
La carga de trabajo, estimada en horas de dedicacin, era para un Centro de EGB de 69,3 horas por inspector hasta contabilizar un total de 208 horas por centro, y para un Centro de BUP de 81,4 horas por inspector y 244,2 por centro. Vase MEC(1992): Plan de Evaluacin de Centros docentes. Niveles no universitarios. Programa piloto para el curso 1991-1992. Madrid, MEC, pp. 43-45. 3 Nuttall, D. (1985): School self-evaluation. Accountability with a human face?. York, Longman.
14
Para l, las aportaciones de evaluaciones externas, independientes y metaevaluaciones pueden contribuir enormemente a ilustrar, enriquecer y ampliar el debate sobre el que se sustente el desarrollo de un programa, en la medida que supone incorporar visiones externas que favorecen la comprensin y el dilogo, pero la autoevaluacin por parte de la comunidad del programa es la base de la evaluacin de un proyecto o programa; otros tipos de evaluacin pueden enriquecerla pero no sustituirla. En la postura de Kemmis, subyace un cuestionamiento de los principios de verdad, justicia, inters pblico, intereses de los diseadores o promotores cuando son planteados al margen de la pluralidad de valores y de la comunidad de intereses que concurren en cualquier actividad educativa. Todos ellos no pueden ser establecidos y definidos desde una sola de la instancias presentes, ya sea a travs de las legitimidades de los evaluadores, de los patrocinadores o de las administraciones. Es necesario que se conozcan y contrasten la diversidad de intereses y que se tienda a una construccin social negociada de los valores y principios que deben presidir el desarrollo del programa y su evaluacin.
1.2.3. Las formas de concebir lo institucional. La evaluacin como proceso que implica concebir, obtener y dar informacin conlleva una toma de posicin explcita o tcita sobre cmo se concibe el objeto de evaluacin. Estas concepciones determinan desde su inicio cualquier proyecto de evaluacin, ya se refiera ste a un mbito individual, es decir a la evaluacin de los actores de la formacin (alumnos, profesores, promotores, supervisores), a un mbito institucional o singular (evaluacin de centros, de programas o proyectos y materiales didcticos), o a un mbito sistmico (evaluacin de sistemas). La educacin, como sabemos, es la funcin o el mecanismo mediante el que las sociedades a lo largo de la historia han tratado de transmitir y conservar sus conocimientos, saberes, culturas y valores. La divisin del trabajo, primero, y la creacin y generalizacin de los sistemas educativos, despus, hicieron que los contextos de produccin y reproduccin de los conocimientos emergieran como elementos diferenciados en el quehacer educativo, de manera que es, a partir del momento en que las labores de formacin y socializacin intergeneracional tienen que ser asumidas por determinados actores y llevadas a cabo en ciertos espacios o lugares especficos, cuando empieza hablarse de instituciones escolares.
15
Las instituciones escolares son, pues, los organismos o establecimientos de los que se dota la sociedad para desarrollar una funcin de inters pblico como es la educacin. Al igual que sucede con otras instituciones sociales, su existencia tiene sentido y se justifica por la misin que asumen y sus competencias estn reguladas por las finalidades y metas que han de lograr. Todo ello es lo que caracteriza y diferencia a unas instituciones de otras, y lo que hace que los cometidos de instituciones como las escolares, sanitarias o polticas, por ejemplo, sean distintos en funcin de la singularidad y campos de actuacin de las mismas. La escuela, los centros o las instituciones educativas son denominaciones genricas que hacen referencia, de una u otra forma, a la organizacin en cuyo seno se lleva a cabo la formacin y socializacin de las nuevas generaciones, siendo estos cometidos los que la confieren su identidad. Sin duda, la formacin, los procesos de enseanza-aprendizaje o el currculo, entendido ste en su acepcin ms amplia, son los elementos nucleares que sustantivan a la organizacin escolar, los que van a hacer realidad y concretar el contexto propio en el que se va a desarrollar el texto curricular. Dicho contexto no es otro que la institucin escolar o, ms especficamente, la organizacin escolar. Los centros educativos son el eje y el motor de los procesos de cambio. Pero no deberamos perder de vista que la comprensin e interpretacin de lo que ocurre en la vida institucional significa, antes que nada, aceptar que los centros son organizaciones complejas, construidas socialmente, con elementos y culturas comunes en tanto que comparten objetivos, procedimientos y normativas derivados de su compromiso educativo, pero, a la vez, con caractersticas singulares, idiosincrsicas, fruto de las experiencias concretas en que se encuentra inmersa, de los procesos de interaccin que se llevan a cabo tanto en el interior de las mismas como en el contexto en que actan, de los procesos simblicos y micropolticos que impregnan su quehacer cotidiano, etc. Todos estos aspectos no se suman entre s, sino que estn directamente vinculados e interrelacionados de forma que constituyen una unidad o totalidad por lo que difcilmente pueden aislarse los unos de los otros. Esta forma de entender los centros se opone a la consideracin de los mismos como organizaciones racionales, instituciones instrumentalizadas para el logro de unas metas definidas desde instancias externas, planificadas de arriba abajo, y que lineal y pasivamente ejecutan sin interpretar y dotar de significado las directrices recibidas. Daz de Rada (1996: XVIII) plantea, a este respecto, que aunque la visin instrumental de la 16
enseanza tiende a reclamar para s la validez de una realidad objetiva, el punto de vista antropolgico llama la atencin sobre la existencia de una constante mediacin sociocultural, intersubjetiva, de los sentidos, los valores y los fines de todas las formas de racionalidad... La racionalidad instrumental, que enfatiza la dimensin objetivadora y universalista de la experiencia, se ve cotidianamente interpretada por una racionalidad de diverso orden, a la que denominar convencional, que pone el acento sobre la dimensin intersubjetiva y local de las interacciones concretas4 .
1.2.4. Las diferentes significaciones de la evaluacin. Adems de por el tipo de objeto y las posibles concepciones de ste, los proyectos de evaluacin pueden diferenciarse segn el significado que se atribuya al trmino de evaluacin. Los ingleses hacen referencia a los trminos assessment y evaluation para referirse a dos formas distintas de entender la misma. Por un lado, la palabra assessment , que podra traducirse por tasacin, est directamente vinculada en la cultura de la evaluacin a la tradicin psicomtrica de utilizacin de tests y procedimientos correlacinales de tratamiento de datos. Scriven (1991: 60) identifica el assesment con los juicios a travs de datos numricos, como procesos que se centran en este tipo de datos y menos en los enfoques de juicios valorativos, precisando que: normalmente se utiliza (el trmino assessment) como sinnimo de evaluacin, pero para quienes el producto es ms importante que el proceso hacen esfuerzos denodados para diferenciarlos, quiz para evitar las connotaciones peyorativas que para ellos tiene el trmino evaluacin. Ninguno de estos esfuerzos tiene mucho valor, ya que al carecer de lgica interna resultan inaceptables. Sobre la base de la distincin que hace MacDonald (1976) entre evaluation y assessment, en la que reserva a la primera el papel de la formulacin de afirmaciones o valoracin de un servicio educativo, mientras que identifica a la segunda con las valoraciones que se hacen no sobre el servicio sino sobre los logros de los receptores del mismo, Angulo (1990) concluye que: en este sentido, es claro que assessment est relacionado con la medicin de los aprendizajes alcanzados por los alumnos en relacin a los
4
Daz de Rada, A. (1996): Los primeros de la clase y los ltimos romnticos. Una etnografa para la crtica de la visin instrumental de la enseanza . Madrid, Siglo XXI.
17
objetivos propuestos, pero este proceso, sea o no necesario, no es nunca una evaluacin. En todo caso esta informacin puede ser una parte, no necesariamente privilegiada, de la informacin total que puede manejarse en una evaluacin (Pg.115). De una manera ms precisa y, tal vez, ms comprensible, Angulo (1994: 284285) plantea la clarificacin de ambos conceptos dentro de los enfoques procesual y estructural. En el primero de los enfoques, distingue a la evaluacin por su cometido de formular juicios de valor de cualquier actuacin educativa, y a la assessment la
identifica con el proceso de recogida, procesamiento y anlisis de la informacin que posibilitar a la evaluacin, precisamente, la formulacin del juicio de valor. En el enfoque estructural, y diferenciando el sentido y el objeto, establece que, con respecto al sentido, la evaluacin consistira en el proceso que permite el conocimiento de un servicio educativo prestado, a diferencia del assessmentque se limitar al impacto y repercusiones que tiene dicho servicio sobre sus receptores. Desde la perspectiva del objeto, la evaluacin ha de indagar sobre la influencia de los distintos componentes que intervienen en los procesos de enseanza (curriculares, organizativos, metodolgicos, administracin educativa, alumnos, profesores, etc.), en cambio assessment se fijar exclusivamente en los sujetos receptores del servicio educativo (alumnos).
2. Elementos y requisitos de un proyecto de evaluacin de una institucin de formacin. Con bastante frecuencia, se suele hablar y proponer la conveniencia de evaluar tal o cual programa o institucin. En la mayora de los casos, por el momento en que se hace la propuesta, parece claro que primero hay que poner en prctica la actuacin de que se trate y despus proceder a su evaluacin. Este hecho indica bien a las claras una de las concepciones dominantes de la evaluacin como mecanismo de anlisis y/o control terminal. Se evala para comprobar, una vez concluido el proceso, el grado de consecucin de los objetivos que se perseguan o para, lo que es lo mismo, presentar el balance definitivo de la experiencia. En realidad se establece una lnea clara de separacin entre el programa o la institucin y su evaluacin. La propuesta de evaluaci n que aqu se hace se presenta como un componente ntimamente ligado y en permanente relacin con el quehacer institucional, es decir no establece lneas de separacin o de discontinuidad entre accin y evaluacin; de tal manera que hay una influencia recproca y continua entre ambos: la institucin y su evaluacin. A
18
este respecto, parece evidente, de acuerdo con Kemmis (1992: 193) que para "cerrar el ciclo de evaluacin y accin, se requieren formas de investigacin y evaluacin que empleen ciclos de retroalimentacin sobre las consecuencias de decisiones en la situacin para la cual fueron tomadas". Planteada en estos trminos, la evaluacin se concibe como un proceso que necesariamente ha de considerar la interaccin dinmica que se genera entre las distintas fases de un programa o entre los distintos elementos constitutivos de una institucin. De muy poco servira plantearse la evaluacin del impacto de un programa o de las realizaciones de un plan anual de una institucin si se desconoce o no se ha valorado el diseo y desarrollo, en el caso del primero, o se ignora el proyecto y organizacin institucionales que informan al segundo. El carcter procesual conlleva la evaluacin de cada uno de estos elementos y componentes. Del mismo modo un proyecto de evaluacin no puede dejar de considerar el anlisis y valoracin de los logros de la institucin. Es necesario conocer cules son sus contribuciones a la cualificacin de los profesionales que participan en las distintas actuaciones planificadas. El balance de los resultados alcanzados tanto en los planes de formacin como en el trabajo institucional que sustenta las actuaciones emprendidas son dimensiones que permitirn valorar su eficacia y efectividad, adems de constituirse en elementos de referencia para definir o reorientar las polticas y procesos de planificacin de la formacin. Veamos ahora cules son los elementos y requisitos que han de observarse para llevar a cabo un proceso de evaluacin de una institucin de formacin. Para ello, nos fijaremos en cada uno de los pasos y condiciones que son necesarios tener en cuenta a la hora de concebir, obtener y dar informacin que, en definitiva, son los elementos bsicos sobre los que se sustenta la toma de decisiones.
2.1. Delimitacin y concrecin de l objeto de evaluacin. La evaluacin de cualquier programa, proyecto o institucin se genera casi siempre como consecuencia de las preguntas o interrogantes que se plantean sus responsables y/o participantes. En una institucin pueden, por ejemplo, surgir cuestiones problemticas como qu criterios deberamos emplear para planificar las actividades de formacin?, cmo recoger las necesidades y demandas de formacin?, qu modelo de formacin asumimos como institucin?, cul es el nivel de participacin de los sujetos en formacin?, cmo disear nuestro plan anual ?, de qu manera podramos racionalizar y 19
desburocratizar el trabajo de los distintos integrantes de la institucin?, hasta qu punto nuestra organizacin y formas de trabajar son las ms adecuadas?, somos realmente efectivos institucional y personalmente?, etc. Todos y cada uno de estos interrogantes, considerados aislada o conjuntamente, conducen a la problematizacin del desempeo institucional y consecuentemente a la consideracin de que es necesario recoger evidencias que permitan un debate crtico, participativo y plural sobre los mismos. Si ello fuera as estaramos en los comienzos de lo que ser la puesta en prctica de un proceso de evaluacin institucional. Por tanto, una tarea prioritaria tiene que ser la identificacin de las grandes dimensiones o reas objeto de evaluacin. Un centro de formacin, al igual que cualquier otra institucin educativa, vertebra su dinmica, en este caso peculiar en tanto que su propsito es la cualificacin de profesionales, sobre tres grandes pilares, a saber: un proyecto institucional, un plan de actuacin para un periodo de tiempo concreto (anual, por ejemplo) y su propia organizacin y funcionamiento internos. Estos tres ejes articulan, en permanente interaccin y dialcticamente, la vida de una institucin de formacin en la medida en que coordinada o separadamente configuran y justifican sus realizaciones. El Proyecto institucional es el marco de identidad propio que diferencia a los centros de formacin de otros tipos de instituciones y a los mismos centros entre s. Esta doble fuente de identidad es debida, por un lado, a que aqullos no son instancias con plena autonoma ni en su definicin ni en sus planes de actuacin, dado que dependen de la Administracin y, por otro lado, a sus propias caractersticas en tanto que intervienen en espacios concretos, con diferentes alternativas en cuanto a concepciones, metodologas, procesos formativos, etc. El Plan anual de actuacin es la respuesta especfica de una institucin de formacin al problema de las necesidades y demandas de formacin de los profesionales a los que ha de atender, as como a las posibles propuestas de autoformacin de los componentes de dicha institucin. En ellos se traslucen con cierta nitidez las polticas prioritarias de la Administracin, en la parte determinada por los programas y actividades institucionales, y los planteamientos de cada centro en lo que son las intervenciones de su responsabilidad. Por ltimo, la Organizacin y funcionamiento internos constituye un espacio de suma importancia si se tiene en cuenta que en l se refleja la red de relaciones y la distribucin y formas de trabajo de los centros de formacin, siendo a la vez el soporte 20
funcional con el que se encara todo el quehacer institucional. Al igual que ocurra con los otros dos grandes mbitos o reas, la organizacin misma, en sus componentes estructurales de partida, es algo que supera la capacidad de decisin de cada institucin de formacin, aunque s depende de cada una la definicin de sus modelos y formas de funcionamiento. La determinacin del objeto de la evaluacin, como puede verse, es una tarea imprescindible a la hora de concebir la concrecin de la misma. La decisin sobre lo que se va a evaluar necesita de este proceso de clarificacin, puesto que nos va a proporcionar elementos de juicio que nos permitirn, por una parte, analizar el grado de dificultad que implica cada una de los reas o dimensiones de evaluacin, y, por otro, tener muy presente el compromiso de trabajo que supone cualesquiera de las opciones posibles.
2.2. Metodologa de evaluacin. En los apartados 1.2.1. y siguientes se han planteado los distintos enfoques, modalidades, concepciones de las instituciones y significaciones de la evaluacin. Todos ellos, junto con las diferentes posiciones epistemolgicas y metodolgicas que fueron analizadas en el Mdulo 3 estn presentes a la hora de la elaboracin de un proyecto de evaluacin institucional. El evaluador se sita ante el objeto de evaluacin tratando de dilucidar cmo puede llegar a conocer su naturaleza y / o valor. Es obvio que la forma en que se aborda dicho objeto es ya diferente, desde el principio, si el proyecto se acomete como una propuesta de autoevaluacin o de evaluacin externa. En el primer caso, son los miembros de la institucin quienes deciden los asuntos sobre qu, cmo, cundo y para qu evaluar a partir de las necesidades, preocupaciones o preguntas que se hagan o tengan sobre la trayectoria institucional con anterioridad hemos visto cmo puede surgir o generarse la evaluacin como consecuencia de la problematizacin de ciertos cometidos o desempeos profesionales e institucionales -. Por el contrario, en un proyecto de valuaci n externa sern los responsables de llevar a cabo el mismo los que, en funcin de las demandas y necesidades de las diversas audiencias, determinarn los elementos sustantivos del mismo. En ambos casos el proyecto ir perfilndose a medida que vayan tomndose todo un conjunto de decisiones. Convendra recordar, para un mejor entendimiento de nuestra propuesta, que cuando hablbamos de metodologa precisbamos que nos referamos al contexto y lgica de uso de los mtodos. Pues bien, una de las decisiones que ha de tomarse es el tipo de 21
diseo por el que se va a optar en el proyecto de evaluacin institucional. Esta decisin exige considerar a la vez las caractersticas del objeto y lo que se desea o quiere conocerse del mismo ya que ser lo que determine la metodologa de evaluacin. El uso de un diseo preordenado implica, entre otros requisitos, que es el evaluador el que, desde su conocimiento experto, determina los hechos que necesitan conocerse; que los hechos son los elementos centrales de la evaluaci n al margen de las percepciones y valores de los participantes; que el diseo del estudio, una vez establecido, no debe modificarse para que los resultados no resulten contaminados por fenmenos o circunstancias no contempladas en la relacin entre las variables iniciales que han sido seleccionadas o controladas; que las variables han de ser susceptibles de cuantificacin y medicin; que los resultados se expresan generalmente a travs de datos numricos, etc. En cambio, si en una propuesta de evaluacin institucional como la que hacemos aqu, en la que se pretende conocer y valorar tanto los procesos como los resultados, se opta por un diseo emergente en vez de por uno preordenado parece claro que, entre otros supuestos, el evaluador debe tener en cuenta a las audiencias a la hora de determinar lo que se necesita conocer; que no existe una separacin entre los hechos y valores de los participantes; que el diseo del estudio es flexible y esta abierto para ir incorporando las dimensiones personales e institucionales, no planificadas previamente, pero que van surgiendo a lo largo del estudio y que son importantes para complementar y enriquecer el conocimiento del objeto de evaluacin; que las variables no tienen que ser necesariamente mensurables; que los resultados pueden expresarse no slo a travs de datos numricos sino tambin mediante el discurso y la voz de los miembros de la institucin, etc. La lgica y contexto de uso de uno u otro diseo supone que el evaluador se posiciona ante el objeto de evaluacin desde planteamientos ontolgicos, epistemolgicos, metodolgicos y tico-polticos distintos. La metodologa, en este caso, no se puede desvincular del resto de los elementos considerados ni acta por separado, ya que en sus distintos modos de proceder para llegar al conocimiento estn subsumidas la concepcin de la realidad, la forma de asegurar que conocemos lo que afirmamos conocer, as como desde los valores e instancias que se construye el conocimiento. Pinsese, por ejemplo, las diferencias que se ponen de manifiesto cuando se utilizan las metodologas denominadas, de un modo un tanto genrico, experimental y transaccional. Otra cosa muy distinta son las tcnicas e instrumentos para la recogida de informacin en las que, pese a su adscripcin a unas u otras metodologas, cada da es ms frecuente optar por el uso combinado de las mismas en correspondencia con la magnitud del objeto de evaluacin. 22
A modo de ejemplificacin, en las pginas siguientes se acomete el desarrollo de la propuesta de evaluacin de una institucin de formacin. En ella se ha procedido a concretar los tres grandes mbitos o reas de evaluacin, proyecto institucional, plan de actuacin y organizacin y funcionamiento de la institucin-, a travs de un conjunto de dimensiones que acotan y definen cada uno de ellos. Asimismo, cada una de las dimensiones se han vuelto a delimitar mediante subdimensiones o categoras de anlisis. A este respecto, ha de quedar claro que los mbitos o reas, las dimensiones y las subdimensiones o categoras de anlisis son los elementos que definen cada vez con un mayor nivel de concrecin el objeto de evaluacin, es decir, aquello que se quiere o necesita conocer. Cualquier proyecto de evaluacin ha de emprender, en su elaboracin, una labor sistemtica de anlisis y seleccin de los elementos ms relevantes de su objeto de estudio. En este proceso se juega una parte considerable de la calidad del proyecto, ya que se ha de clarificar y discernir lo que realmente es significativo para el conocimiento y valoracin de la institucin.
2.3. Evaluacin de los distintos mbitos de una institucin de formacin. Lecompte (1995), en uno de sus artculos sobre evaluacin de programas, nos ofrece una matriz de recogida de informacin que puede ayudarnos a establecer las coordenadas de un proyecto como el que nos ocupa, adems de servirnos como un instrumento de planificacin de todo el proceso de evaluacin. Tabla I.: Matriz de Planificacin para los Procedimientos de Recogida de Datos.
Qu se necesita conocer? A- Proyecto Institucional. Qu datos responden a esta cuestin? A- Principios y caractersticas que vertebran el Proyec-to. Fuentes de informacin ADocumentales, personales, y de situaciones o momentos de trabajo BDocumentales, personales, y de situaciones o momentos de trabajo CDocumentales, personales, y de situaciones o momentos de trabajo Responsable recogida informacin. A- Equipo de Eva luacin: todos los actores que parti- cipen o los responsables de la evaluacin externa. B- Equipo de luacin: idem rior... C- Equipo de luacin: idem rior... Eva ante-
B- Plan de actuacin.
B- Proceso de planificacin, puesta en prctica y balance de actuaciones
C- Organizacin y Funcionamiento de la institucin.
C- Estructura y dinmica ins-titucionales.
Eva ante-
23
La matriz, como puede observarse, es sencilla y lo que requiere es ir estableciendo, en primer lugar, qu es lo que se necesita conocer para pasar, despus, a determinar cules son los datos que nos permitirn recoger evidencias sobre dicha cuestin, continuar con qu o quines nos pueden proporcionar los mismos y, terminar, distribuyendo la responsabilidad de los miembros de la institucin o del equipo de evaluacin para la recogida de informacin. En este ltimo cometido los responsables cambiarn en funcin de si el proyecto se lleva a cabo mediante la modalidad de autoevaluacin o de evaluacin externa. En nuestro caso hacemos una propuesta muy similar, aunque en cada uno de los cuadros en que se presenta la evaluacin de los diferentes mbitos la primera columna est dedicada a establecer las dimensiones que perfilan o dibujan cada mbito; la segunda se reserva para concretar las subdimensiones o categoras de anlisis de las dimensiones; en la tercera se identifican las fuentes de informacin y las tcnicas e instrumentos de recogida de datos e informacin; y la cuarta recoge los posibles criterios de evaluacin, esto es, las normas o referentes de comparacin que nos servirn para juzgar o valorar la informacin, datos y evidencias disponibles. En todo el planteamiento que se hace de evaluacin, se descarta la utilizacin de criterios de costo-beneficio, ya que la asimilacin de las centros de formacin a las organizaciones productivas, empresas, es artificiosa y poco esclarecedora para evaluar el desempeo institucional. Pero ello no significa que se deba dejar de lado la valoracin de la eficacia institucional y que no se asuman criterios de costo-efectividad para evaluar el impacto social de los planes de actuacin. Para una mejor comprensin de los cuadros, debe tenerse en cuenta que mientras que en las columnas una y dos, en las que se recogen las dimensiones y subdimensiones, cada una de las filas aparece claramente separadas por lneas definidas, en las columnas cuatro y cinco las lneas de separacin de las filas son ms tenues o difusas. Con ello queremos indicar que para las dimensiones y subdimensiones de evaluacin se contemplan, en las columnas cuatro y cinco, una propuesta global de fuentes de informacin, tcnicas e instrumentos de recogida de informacin, as como de criterios de evaluacin, para el conjunto del mbito y no para cada una de las dimensiones de evaluacin.
24
2.3.1- Evaluacin del Proyecto Institucional. El objetivo de la evaluacin de este mbito o rea es bsicamente conocer cules son los elementos y principios que definen la identidad institucional del centro de formacin, as como en qu medida son aceptados, compartidos y asumidos por todos los miembros de la institucin. Tal y como se ha apuntado ya, cuando hablamos de proyecto institucional nos referimos a todo un conjunto de supuestos, creencias, concepciones, valores, compromisos y formas de actuar que son referentes ineludibles de la institucin. Todos ellos se engloban en las tres dimensiones que hemos denominado como marco institucional, modelo de formacin y marco profesional. En el Cuadro 1 se recogen los distintos componentes de evaluacin. Cuadro I.: EVALUACIN DEL PROYECTO INSTITUCIONAL. Dimensiones de Evaluacin. Subdimensiones o Categoras de anlisis.
.Rasgos y funciones de la institucin.
Fuentes de informacin, tcnica e instrumentos.

. Normativa, documentos, actas, publicaciones de la institucin. . Posicin de los actores institucionales. .Expectativas y posicin de los receptores. .Anlisis documental, cuestionarios, entrevistas
Criterios de Evaluacin.
Existencia de un Proyecto institucional
MARCO INSTITUCIONAL
.Caractersticas de la institucin. .mbito concreto de actuacin.
MODELOS DE FORMACIN
.Notas sustantivas y principios de la formacin. .Modalidades de formacin.
.Documentos, definiciones y opciones sobre la formacin. .Posicin de los actores institucionales. .Expectativas y posicin de los receptores. .Anlisis documental, cuestionarios, grupos de discusin, etc. .Documentacin legal y literatura sobre la formacin de los profesionales de las administraciones pblicas .Estudios e investigaciones sobre profesionalizacin. .Anlisis documental, cuestionarios, entrevistas.
Grado de formalizacin del Proyecto: componentes explcitos y tcitos.
MARCO PROFESIONAL
.Perfiles inicial y final de los profesionales .Principios y bases del trabajo profesional en los servicios pblicos dependientes de las administraciones
Conocimiento del Proyecto por parte de los actores y receptores del servicio: acuerdos, puntos conflictivos, valoracin global y analtica
25
Las tres dimensiones que definen un Proyecto institucional responden, a nuestro entender, a elementos relacionados con las caractersticas del centro, marco institucional, con el cometido principal que da sentido a la misma, modelos de formacin, y con las concepciones y posiciones que orientan y fundamentan la formacin, marco profesional. El marco institucional comprende, por una parte, las caractersticas generales del centro en tanto que institucin que, por dedicarse a la formacin, dispone de aspectos diferenciales con respecto a otras instituciones. Sus funciones y quehaceres suelen estar reguladas normativamente y responden a la misin que le ha sido encomendada por la instancia pblica o privada que decidi su fundacin o creacin. Por otra parte, un centro de formacin adems de contar con estas caractersticas generales, comunes a todas las instituciones con la misma misin, dispone asimismo de una cultura particular, que es lo que hace diferente a unos centros de otros, y que suele ser consecuencia de los ms diversos factores y circunstancias: experiencias vividas, tipos de relaciones que se establecen entre sus miembros, composicin de sus plantillas, implicacin en ciertos proyectos de innovacin, clima relacional, formas de resolver los conflictos, etc. Y un tercer eleme nto que viene a singularizar al centro es su mbito de actuacin. En principio, es de suponer que debe ser muy diferente que el centro acte en un contexto con mayor o menor tradicin con la formacin, con profesionales comprometidos o no con procesos de cambio e innovacin o que, simplemente, se encuentre trabajando en los contextos de la administracin central, autonmica o local. Los modelos de formacin hacen referencia a las posiciones terico-prcticas del centro sobre el cometido que es su razn de ser. Esta dimensin comprendera las definiciones que se mantienen institucionalmente sobre la formacin: tipo de profesional que desea formar; capacidades, competencias y habilidades que han de estar presentes en su desempeo profesional, propuestas posibles de cualificacin, etc. En estrecha vinculacin con stas estaran las reflexiones y argumentos sobre las diferentes modalidades de formacin, los distintos itinerarios formativos, los estudios e investigaciones que podran realizarse o se han realizado sobre la formacin, etc. Por ltimo, el marco profesional constituye bsicamente la posicin de la institucin sobre los debates y propuestas que, desde los estudios e investigaciones existentes, se estn haciendo sobre las concepciones y caractersticas de la formacin de los profesionales de las administraciones pblicas. A diferencia del anterior, modelos de formacin, en esta ocasin interesa disponer de informacin sobre el conocimiento institucional acerca de cules son las tendencias que se resaltan actualmente en la 26
formacin, las nuevas capacidades que hay que desarrollar en los profesionales, los perfiles terminales que se consideran ms adecuados, etc.
2.3.2.- Evaluacin del Plan de Actuacin. El Plan de actuacin puede considerarse, de alguna forma, como la planificacin del trabajo que, tanto interna como externamente, van a desarrollarse en el transcurso de determinadas fases temporales. Una parte considerable del mismo estar centrado en las actividades de formacin y autoformaci n, aunque en el mismo pueden incluirse estudios e investigaciones como los dedicados al diagnstico de necesidades de formacin, a la experimentacin de modelos de gestin institucional o a la puesta al da de las grandes tendencias y orientaciones sobre la formacin en las administraciones pblicas. Es por ello por lo que preferimos hablar de actuaciones en vez de actividades, ya que aunque sea en el plano terminolgico el uso de una u otra denominacin implica ampliar o reducir los mbitos de competencias del centro de formacin. Cuadro II.: EVALUACIN DEL PLAN DE ACTUACIN. Dimensiones de Evaluacin Subdimensiones o Fuentes de informacin, Categoras de anlisis tcnica y instrumentos.
.Deteccin de necesidades .Objetivos y prioridades .Actuaciones y modalidades .Difusin del Plan .Planteamientos de evaluacin .Progreso de las actuaciones .Realizacin de cada una de las actuaciones ..Modificaciones .Fuentes documentales, .Opiniones y percepciones de los diversos responsables y actores de la formacin, .Procesos de planificacin, desarrollo y resultados del plan
Criterios de Evaluacin
DISEO
.Relevancia .Pertinencia .Coherencia .Flexibilidad .Viabilidad
DESARROLLO/
.Diarios . .Parrillas de anlisis .Cuestionarios .Entrevistas .Guas de observacin .Estudios de caso .Trabajos y/o proyectos de los participantes . Desempeo profesional . Mejora institucional
.Descripcin de los procesos seguidos. .Adecuacin . Mrito y valor
SEGUIMIENTO introducidas
RESULTADOS/ IMPACTO
.Cualificacin de los participantes .Prctica profesional .Mejora de los servicios .Balance de todas actuaciones
.Eficacia y Efectividad de las actuaciones y del Plan. .Incidencia en los participantes, en su desempeo profesional y en los servicios
27
A los efectos de la evaluacin del Plan de actuacin podra distinguirse, tal y como se recoge en el Cuadro II, entre su Diseo, Desarrollo / Seguimiento y Resultados / Impacto.
A.- Diseo del Plan. De acuerdo con lo planteado en el mdulo V, si un plan de formacin es, de alguna manera, una propuesta de intervencin que pretende cubrir, ampliar o actualizar determinados saberes profesionales e institucionales, parece congruente que, desde el mismo momento en que se empieza a gestar y, por supuesto, durante su proceso de elaboracin, la evaluacin sea un elemento significativo sobre el que se sustente sus opciones y prioridades. Es decir, que el propio plan debera ser el fruto, por un lado, del anlisis de la informacin proporcionada por una evaluacin diagnstica de las necesidades y demandas formativas de los sujetos a los que se dirige el mismo, y, por otro lado, sus componentes han de ser analizados a la luz de los principios y lneas que singularizan los marcos profesionales, concepciones curriculares, modalidades de formacin y problemtica metodolgicas en que se inspira. El plan de actuacin como declaracin programtica tiene que ser analizado en cuanto a la ordenacin y vertebracin de sus distintos elementos. Se trata de vislumbrar la pertinencia entre las actuaciones y modalidades de formacin con respecto a los objetivos o metas del plan, la coherencia de los planteamientos de formacin y las acciones que van a llevarse a cabo, la viabilidad de sus propuestas, la articulacin e idoneidad de sus aspectos organizativos, la previsin de sus lneas de evaluacin, etc. La Evaluacin del Plan no puede dejar de considerar elementos tan importantes como los que a continuacin enumeramos: Diagnstico de las necesidades y demandas de formacin de los profesionales Principios terico-prcticos de carcter disciplinar, profesional y psicosociopedaggicos que fundamentan las actividades de formacin, Componentes de programas institucionales y del propio centro de formacin en el Plan, Actuaciones de la institucin en actividades de formacin, estudios e investigaciones y actividades de autoformacin, Objetivos del plan, Definicin de actividades prioritarias de formacin, Definicin de tipologa de actividades, 28
Opciones organizativas y metodolgicas de las actividades, Modos de seleccin, control de participacin y acreditacin de los participantes, Difusin de las actividades y del plan, Planteamientos y mecanismos de evaluacin del desarrollo y resultados del plan...
Adems de la identificacin de las principales subdimensiones que se van a evaluar, algunas de las cuales coinciden con los elementos que estructuran el plan de actuacin de una institucin de formacin, es necesario asimismo valorar cmo se lleva a cabo el proceso de planificacin, quines y de qu forma participan, que necesidades de las diferentes audiencias se tienen en cuenta, cmo se deciden los aspectos sustantivos del mismo, cmo se resuelven las divergencias y las propuestas distintas ante una misma actuacin, a quines se asigna la responsabilidad de la evaluacin de su seguimiento y resultados, etc.
B.- Desarrollo / Seguimiento. El desarrollo o puesta en prctica del plan de formacin es otro gran espacio de evaluacin que nos va a permitir valorar como se est llevando a cabo y, sobre todo, conocer los aspectos sobre los que actuar para que su ejecucin se adecue a lo planificado y a las caractersticas emergentes de los contextos y sujetos intervinientes. En esta dimensin de evaluacin es necesario contar con informacin y evidencias relevantes sobre la contribucin de las actuaciones emprendidas, los puntos fuertes y dbiles de las mismas, las dinmicas que se van generando en el transcurso del tiempo, las opiniones y valoraciones de los implicados (participantes, formadores y responsables del plan). En coherencia con lo dicho acerca de la diversidad de actuaciones formativas, la evaluacin debe centrarse ahora en l as actividades de formacin permanente, los estudios e investigaciones en curso de realizacin y en las ya mencionadas actividades de autoformacin asumidas por la institucin. Estas ltimas, a nuestro entender, son una muestra inequvoca de las inquietudes de un centro por fomentar el aprendizaje institucional en su compromiso con la formacin e innovacin. A diferencia de la evaluacin del diseo del plan, centrada en el mismo plan como propuesta planificada de actuacin, lo que nos interesa ahora es comprobar cmo se llevan a cabo dichas actuaciones y, lo que es igual importante, valorar el desarrollo de las mismas. Ambas cosas pueden permitirnos ir retroalimentando la puesta en prctica del 29
plan y acometer las modificaciones que se consideren necesarias tanto en las actuaciones como en el conjunto del plan, de acuerdo con la dimensin formativa de la evaluacin de este mbito.
C.- Resultados / Impacto. Un plan de actuacin no puede obviar el anlisis de sus resultados e impacto. Si como ya hemos dicho su existencia se justifica por ser una respuesta a lo que, un tanto genricamente, podramos denominar carencias formativas profesionales e
institucionales es necesario valorar cual ha sido su cometido a este respecto. Desde luego entre los aspectos bsicos que requieren ser analizados, la apropiacin, por parte de los participantes, de los saberes profesionales que justificaron la existencia de las actuaciones de formacin ocupa un papel central. Esta apropiacin implica, asimismo, el conocimiento de cmo aquellos se proyectan e incorporan en las prcticas y quehaceres de los profesionales en su desempeo laboral, as como en la mejora de la calidad de los servicios institucionales. Todo ello implica que se ha de afrontar lo que es una "rendicin de cuentas" o, lo que es lo mismo, elaborar un "balance" de resultados, en relacin con la eficacia y efectividad de las distintas actuaciones realizadas, as como teniendo en cuenta el plan como totalidad. El estudio del impacto profesional e institucional conlleva, dada la transferencia mediata de una gran parte de las actuaciones de cualificacin, el compromiso con propuestas complementarias que hagan un seguimiento y evaluacin demorados en el tiempo. Lo significativo, en este caso es estimar la contribucin del plan al desarrollo profesional e institucional y su aportacin especfica a la mejora de la calidad de los servicios pblicos.
2.3.3.- Evaluacin de la Organizacin y Funcionamiento de la Institucin. Constituye el tercer mbito de la evaluacin de una institucin de formacin. En cierto sentido, supone un proceso de introspeccin sobre las instituciones encargadas, no lo olvidemos, de la formacin permanente de los profesionales que trabajan en las distintas administraciones, as como de la optimizacin y mejora de la calidad en la prestacin de los servicios pblicos. Aun cuando los tres mbitos en que hemos estructurado convencionalmente la evaluacin de una institucin pueden abordarse a travs de cualquier modalidad, si se opta por una propuesta de autoevaluacin institucional, no cabe duda que el punto de partida de 30
un proceso de este tipo podra empezar por la valoracin crtica del quehacer institucional, desde el cuestionamiento interno de la organizacin y funcionamiento del centro. Y ello por distintos motivos, pero sobre todo por razones de ejemplaridad a la hora de iniciar y generar una cultura de evaluacin, y por el convencimiento de que las respuestas que se sean capaces de dar, tanto individual como colectivamente, contribuirn a fortalecer la madurez, desarrollo y aprendizaje institucionales. La evaluacin de este mbito se materializa en tres dimensiones: la estructura y dinmicas institucionales, la infraestructura institucional, y las relaciones y proyeccin exterior de la institucin. En el Cuadro III se recogen sus distintos elementos. Cuadro III.: EVALUACIN DE LA ORGANIZACIN Y FUNCIONAMIENTO DE LA INSTITUCIN. Dimensiones de Evaluacin Subdimensiones o Categoras de anlisis
. Organizacin y gestin institucionales
Fuentes de informacin, tcnica y instrumentos.

. Documentos, memorias, convenios, programas interinstitucionales, actas, .Datos de equipamientos, distribucin presupuesto, frecuencias y estadsticas del uso de los medios. .Procesos de planificacin y desarrollo del trabajo .Opiniones y percepciones de los diversos responsables y miembros del centro. .Grupos de discusin .Entrevistas .Cuestionarios .Observacin .Escalas de estimacin
Criterios de Evaluacin
Funcionalidad Compromiso profesional e institucional Eficacia y efectividad personal e institucional
ESTRUCTURA Y DINMICAS
INSTITUCIONALES
.Distribucin de cometidos y tareas .Trabajo personal e institucional .Cauces de comunicacin y participacin internos
.Edificio INFRAESTRUCTURA .Dotaciones presupuestarias .Equipamiento tecnolgico .Biblioteca, Hemeroteca y Mediateca .Publicaciones propias
Idoneidad de instalaciones, de los distintos equipamientos, Prioridades en distribucin de gastos Produccin bibliogrfica
INSTITUCIONAL
RELACIONES Y PROYECCIN EXTERIOR
.Relaciones y cauces de comunicacin con otros centros de formacin. .Relaciones y cauces de comunicacin con otras instancias, entidades e instituciones .Proyeccin exterior
.Parrillas de anlisis
Redes interinstitucionales para la formacin, Vinculacin con otras instancias, entidades e instituciones, Imagen institucional
31
La estructura y dinmicas institucionales engloba los distintos aspectos de la vida de un centro en relacin con sus organigramas formal y funcional, con la distribucin y realizacin de cometidos y tareas en los diferentes espacios de responsabilidad personal e institucional, con las formas de participacin y toma de decisiones en la institucin, con los procedimientos de coordinacin y de distribucin de la informacin, con el clima relacional, etc. La infraestructura institucional comprende el conjunto de recursos, medios y equipamientos con los que cuenta el centro para hacer posible su misin y funciones. En ellos se incluye desde el espacio fsico, edificio, su dotacin presupuestaria y los equipamientos tecnolgico y bibliogrficos, as como sus propias publicaciones. Todos ellos son importantes para una institucin de formacin y hasta detalles que pueden pasar inadvertidos como, por ejemplo, la distribucin del siempre escaso presupuesto econmico puede ser un indicador relevante de las polticas institucionales de formacin, tanto para estimar las prioridades dadas a los distintos tipos y modalidades como para valorar la relacin entre los gastos dedicados al mantenimiento y a la formacin. Las relaciones y proyeccin exterior de la institucin dan una idea de la importancia que se concede al establecimiento de vnculos con otros centros de formacin, con otras instancias, entidades e instituciones y a la imagen externa que se proyecta de la institucin. Es evidente que los centros de formacin no pueden permanecer enclaustrados en s mismos, necesitan intercambiar experiencias, estrategias, soluciones, con los centros que comparten una misma misin, establecer redes interinstitucionales, y encauzar relaciones ms amplias con diversas instituciones. Asimismo en la imagen externa proyectada se juega la confianza y credibilidad de dicha institucin.
3.- Metaevaluacin : evaluacin de la evaluacin. Una vez agotado el proceso previsto, aunque en nuestro caso nos hemos saltado algunos pasos como el procesamiento de la informacin y la elaboracin del informe de evaluacin por haber sido tratados en otros crditos de este mdulo, es conveniente que se proceda a una revisin crtica de lo realizado, tanto por honestidad intelectual con nosotros mismos como para aprender de la experiencia vivida. Aunque la metaevaluacin, en el mbito acadmico, se identifica con los estudios e investigaciones que someten a una revisin sistemtica y rigurosa los distintos elementos que integran un proyecto de evaluacin, tanto en sus propuesta como realizacin, en este
32
caso, y de una manera ms modesta pero no menos importante, hacemos referencia a la necesidad de analizar el proceso de evaluacin realizado. En este sentido, los aspectos que deben someterse a revisin son, entre otros, los siguientes: La delimitacin y concrecin del objeto de evaluacin, La planificacin del propio proceso de evaluacin, La metodologa empleada, Las fuentes de informacin seleccionadas, Las tcnicas e instrumentos de recogida de informacin, La validacin de la informacin, Los resultados y conclusiones. Los posibles sesgos y limitaciones del estudio, Las dificultades y problemas que han surgido, La posible institucionalizacin de algunos de los procedimientos, La incorporacin de las aportaciones relevantes de la evaluacin al trabajo cotidiano de la institucin y sus actores
V. RESUMEN. La evaluacin debe ser incorporada como un quehacer ms de los cometidos de una institucin de formacin. Aunque siempre se asocie, quirase o no, al control, no es menos cierto tambin que supone una forma de conocimiento que puede contribuir a los procesos de mejora y desarrollo institucional.
Un proyecto de evaluacin institucional requiere tomar una serie de decisiones en torno a su posible enfoque, a la modalidad con la que se llevar a cabo, a la concepcin de la institucin por la que se opta, a los procesos y resultados en que se centrar, etc. Todas ellas son importantes porque suponen, en no pocas ocasiones, la determinacin de la orientacin y marco terico desde el que se realizar el estudio. El proyecto, a su vez ir tomando cuerpo, conforme se vaya delimitando y concretando el objeto de evaluacin, es decir, se clarifique qu es lo que se quiere conocer, identifiquemos de qu fuentes podemos obtener informacin y datos, seleccionemos las tcnicas e instrumentos con las que recoger esa informacin y datos y establezcamos los criterios de evaluacin con los que proceder al juicio del mrito y / o valor del objeto evaluado.
33
En un proyecto de evaluacin como el que nos ocupa se juega una parte muy importante de la eficacia y efectividad institucionales, ya que una parte de las energas, esfuerzos y recursos que se dedican a la formacin se hacen, en ciertas ocasiones, sobre la base de propuestas que no tienen como soporte una buena evaluacin diagnstica de las necesidades y demandas de formacin; sus actuaciones, programas y planes no son sometidas a la evaluacin de sus procesos y resultados; y la propia institucin no se ha planteado conocer de una manera sistemtica sus formas de proceder, quehaceres y funcionamiento internos. A paliar estas deficiencias y desajustes es a lo que pretende contribuir un proyecto de evaluacin institucional.
VI. REFERENCIAS BIBLIOGRFICAS . Barbier, J-M. (1993): Evaluacin en los procesos de formacin. Barcelona, Ediciones Paidos. Guba, E. G. and Lincoln, Y.S. (1989): Fourth Generation Evaluation. Newbury Park (California), Sage Publications. House, E. R. (1992): Tendencias en evaluacin, Revista de educacin, n. 299, p. 4355 House, E. R. (1998): Acuerdos institucionales para la evaluacin, Perspectivas, vol. XXVIII, n1, marzo, pp.123-131. House, E. R. and Howe, K. R. (2000): Deliberative Democratic Evaluation, in Ryan, K. E and DeStefano, L (Eds.): Evaluation as a Democratic Process: Promoting Inclusin, Dialogue, and Deliberation. San Francisco, Jossey-Bass Publishers (New Directions for Evaluation, n 85, Spring), pp. 3-12. House, E. R. y Howe, K. R. (2001): Valores en evaluacin e investigacin social. Madrid, Ediciones Morata. Kemmis, S. (1986). "Seven Principles for Programme Evaluation in Curriculum Development and Innovation", en HOUSE, E.R.(eds.).: New Directions in Educational Evaluation. Lewes, Falmer Press. Kemmis, S. (1992). " Mejorando la educacin mediante la investigacin-accin", en SALAZAR, C.(ed.).: La investigacin- Accin participativa. Inicios y desarrollos. Madrid, Editorial Popular-O.E.I.-Quinto Centenario, (las cursivas son del autor).
34
LECOMPTE, M. D. (1995): Un matrimonio conveniente: diseo de investigacin cualitativa y estndares para la evaluacin de programas, Revista Electrnica de Investigacin y Evaluacin Educativa, vol 1, n 1. http://www2.uca.es/RELIEVE. MacDonald, B. (1985): La evaluacin y el control de la educacin, en Gimeno Sacristn, J. y Prez Gmez, A. (Eds.): La enseanza: su teora y su prctica. Madrid, Akal, 2 ed. MacDonald, B. y Parlett, M. (1990): Repensar la evaluacin: notas sobre la conferencia de Cambrigde, en Sez Brezmes, M. J. y otros: Evaluacin de programas, proyectos e instituciones en educacin. Alcal de Henares, Universidad de Alcal, Instituto de Ciencias de la Educacin. Neave, G. (1988): On the cultivation of quality, efficiency and enterprise: an overview of recent trends in higher education in Western Europe, 1968-1988, European Journal of Education, 23(1/2), pp. 7-23. Neave, G. (2001): Educacin superior: historia y poltica. Estudios comparativos sobre la universidad contempornea. Barcelona, Edit. Gedisa. Saunders, L. (1999): Who or What is School 'Self'-Evaluation for? School Effectiveness and School Improvement , v. 10, n 4, pp. 414 429. Scriven, M. (1991): Evaluation Thesaurus. Newbury Park, Sage Publications, first printing. Simons, H.: (1985) "Against the Rules Procedural Problems in Self-evaluation" en Curriculum Perspectives, Vol. 5, N 2. Octubre. Simons, H. (1987). Getting to know schools in a democracy: the politics & process of evaluation. London, The Falmer Press. (La evaluacin democrtica de las instituciones escolares. Madrid, Edic. Morata, 1999). Stake, R. E. (1983): Evaluacin de programas: en especial de Evaluacin de Rplica, en Dockrell, W. B. y Hamilton, D. (Eds.): Nuevas Reflexiones sobre la Investigacin Educativa. Madrid, Narcea. Whitty, G., Power, S. y Halpin, D. (1999): La escuela, el estado y el mercado. Madrid, Morata, pp.55-56.
35

Evaluación de Una Institución

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Evaluación de Una Institución

Cargado por

Copyright:

Formatos disponibles

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. LA EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

B- Proceso de planificacin, puesta en prctica y balance de actuaciones

C- Organizacin y Funcionamiento de la institucin.

C- Estructura y dinmica ins-titucionales.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Fuentes de informacin, tcnica e instrumentos.

.Caractersticas de la institucin. .mbito concreto de actuacin.

.Notas sustantivas y principios de la formacin. .Modalidades de formacin.

Grado de formalizacin del Proyecto: componentes explcitos y tcitos.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

.Relevancia .Pertinencia .Coherencia .Flexibilidad .Viabilidad

.Descripcin de los procesos seguidos. .Adecuacin . Mrito y valor

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Fuentes de informacin, tcnica y instrumentos.

RELACIONES Y PROYECCIN EXTERIOR

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

Crdito 7.3. EVALUACIN DE UNA INSTITUCIN DE FORMACIN.

También podría gustarte