Está en la página 1de 31

Documento de Ctedra:

No. 02 - Prof. Marucci

Indicadores de gestin y rendimiento: instrumentos para la calidad

Jos-Gins Mora Universidad de Valencia Campus dels Tarongers. 46022 Valencia Ap. Correos 2085 Tel.: 963 828 416 Fax: 963 828 415 E-mail: ginesj@uv.es

Sesudos acadmicos, que no decidiran sobre la forma de una hoja, sobre el origen de una palabra o sobre el autor de un manuscrito sin una concienzuda recopilacin de evidencias, toman decisiones sobre polticas de admisin, tamaos de las universidades, ratios alumnos/profesor, contenidos de los cursos y cuestiones similares basndose en dudosas suposiciones, datos fragmentarios y meras intuiciones. Aunque dedicados a la bsqueda del conocimiento, los universitarios han declinado hasta hace poco buscar el conocimiento sobre ellos mismos. Eric Ashby, Decision-Making in the Academic World. Introduccin

Las personas dedicadas a la gestin de las universidades, los polticos responsables del funcionamiento del sistema pblico de educacin superior o los acadmicos que analizan el sistema universitario, son conscientes de la falta de una informacin rigurosa sobre los inputs, los procesos y los outputs de las universidades. Esta situacin, aunque est cambiando paulatinamente, ha sido una deficiencia generalizada, no exclusiva de la Universidad espaola, que ha formado parte tradicionalmente de la idiosincrasia de las instituciones universitarias. Ante esta situacin se suele proclamar con frecuencia la necesidad de un sistema de indicadores que reflejen claramente la situacin de las universidades, que permitan analizar como funciona cada institucin, valorar su rendimiento y establecer comparaciones entre ellas. Sin embargo, las cosas son ms complicadas de lo que quisiramos y algunos de estos objetivos no parecen posibles, e incluso tal vez no sean aconsejables. Hace ms de diez aos que en los pases occidentales existe un debate abierto sobre indicadores de rendimiento de las universidades. La principal conclusin que se puede extraer a estas alturas del debate es que los indicadores, por si solos son una herramienta ms limitada de lo que algunos pensaban. Sin embargo, utilizados dentro de los actuales procesos de mejora de la calidad de las universidades, pueden convertirse en una herramienta auxiliar y valiosa para esa mejora, adems de servir de medio de informacin a la sociedad y a los que han de tomar decisiones sobre el funcionamiento de las instituciones de educacin superior. En este artculo revisamos el debate sobre la oportunidad de los indicadores de rendimiento dentro del contexto de la reciente evolucin de las universidades y de la bsqueda de la

calidad en la que estn inmersas. Tras contextualizar la existencia de los indicadores de rendimiento, analizamos sus posibilidades, revisamos su utilizacin en otros pases, y concluimos con un esbozo de propuesta de indicadores para las universidades espaolas. La reciente evolucin de la educacin superior1 La educacin superior ha sufrido en todo el mundo transformaciones radicales en las ltimas dcadas. En los sesenta, las universidades iniciaron cambios importantes que transformaron instituciones de elite en instituciones de masas. El fuerte incremento en el tamao de las cohortes de edad que alcanzaban la edad de ingreso en la universidad y el desarrollo econmico generalizado fueron los factores claves para que todas las fuerzas polticas y econmicas se pusieron implcitamente de acuerdo en promover el desarrollo de la educacin superior. Los gobiernos se aprestaron a satisfacer la creciente demanda social mediante la creacin de nuevos centros universitarios, la ampliacin de los existentes y, en general, con la asignacin de mayores recursos a la educacin superior. El objetivo primordial durante ese perodo fue desarrollar el sistema universitario de modo que proporcionara oportunidad de acceso al mayor nmero de ciudadanos. En la segunda mitad de los setenta y primeros aos ochenta, el gran crecimiento de los costes de los sistemas de educacin superior, junto con la aparicin de los primeros sntomas de lo que se ha llamado crisis del estado de bienestar, gener una preocupacin por el aumento de la eficiencia de las instituciones universitarias. En los pases en el que el gasto en educacin superior era ms elevado (especialmente en el Reino Unido) se produjeron recortes en el presupuesto de la educacin superior, cambiando la tendencia creciente que se mantena en los aos anteriores (Kaiser et al., 1992). La meta de los responsables de los sistemas universitarios durante este periodo fue instaurar un sistema de gestin que valorara la efectividad y, especialmente, la eficiencia de las instituciones universitarias. En este clima, tuvo lugar una enardecida discusin sobre la conveniencia de introducir indicadores de rendimiento del sistema universitario, en general, y de las instituciones, en particular. Bien entrados ya los aos ochenta, las universidades de los pases desarrollados inician una situacin de relativa estabilidad, tanto en el nmero de alumnos como en las aportaciones pblicas al presupuesto universitario. En este periodo se produce un fenmeno importante en la mayora de los pases europeos: la ampliacin de la autonoma de las universidades pblicas. Este incremento de la autonoma es fruto de una nueva manera de afrontar la
1

La evolucin de la Universidad espaola presenta algunas diferencias respecto a la que aqu se resume. Quiz la ms importantes sea que en Espaa los mismos fenmenos han ocurrido con cierto retraso temporal.

gestin de las instituciones pblicas por parte del propio Estado. Esta nueva concepcin de la gestin pblica (new public management) se basa en los siguientes principios (Dill, 1997a): a) separar los intereses del gobierno como propietario o financiador de una agencia de sus propios intereses como cliente de la misma agencia; b) fijar los objetivos de rendimiento para las agencias gubernamentales; c) delegar en las agencias la responsabilidad sobre el origen y el uso de los recursos; d) estimular el rendimiento a travs de contratos explcitos, la competencia entre agencias e incluso su privatizacin. Como consecuencia de esta nueva concepcin de la gestin pblica, de la ampliacin de la autonoma y de la relativa estabilidad financiera y humana de las universidades, existe un acuerdo generalizado de que ha llegado para ellas el momento de la calidad (Keller, 1998), el momento de dedicar una especial atencin a conseguir que las universidades se conviertan en organizaciones efectivas para los propsitos que la sociedad demanda, conectadas con las necesidades econmicas y culturales de esta sociedad, eficaces en su gestin y que ofrezcan a los individuos una educacin flexible que les capacite para adaptarse a un mundo tecnolgica y culturalmente cambiante. Estrategias en la bsqueda de la calidad En el camino de la bsqueda de la calidad de las universidades se pueden aplicar varias estrategias de carcter externo e interno. Estas estrategias no son alternativas, e incluso sera aconsejable realizar esfuerzos polticos e institucionales para desarrollarlas al mismo tiempo. Adems de servir para promover la calidad, las estrategias que se presentan a continuacin tienen algo en comn: necesitan de informacin fiable para poder implementarse. Por tanto, aconsejan definir un sistema de indicadores de gestin y rendimiento. Cambios en los criterios de financiacin externa de las universidades La primera estrategia para la calidad es utilizar los mecanismos de financiacin de la educacin superior como instrumentos que impulsen la eficacia del sistema universitario. Los gobiernos han descubierto que los incentivos financieros son un mecanismo ms efectivo para influir en el funcionamiento de las universidades que la pura intervencin administrativa que usaron en otros momentos, ya que estos incentivos cambian las actitudes de las instituciones y el comportamiento del profesorado en la bsqueda de la calidad. Dentro de esta estrategia, se dan dos tipos de actuaciones, la segunda de ellas muy exigente en necesidades de informacin:

Diversificacin de las fuentes de financiacin de las universidades. Es generalmente reconocido que la diversificacin de las fuentes de financiacin refuerza la autonoma de las instituciones y produce cambios en los mecanismos de toma de decisiones que facilitan las acciones y las actitudes para la mejora de la calidad. Cambios en los mecanismos de asignacin de recursos a las instituciones pblicas. Algunos de los instrumentos relacionados con la asignacin de recursos pblicos a las instituciones universitarias, que pueden ayudar a estimular la eficacia son los siguientes: Premiar directamente la consecucin de determinados niveles de calidad. Este sistema ha sido aplicado en diversos estados norteamericanos con la intencin de premiar el rendimiento (Layzell, 1998) y la calidad de las instituciones (Banta, 1986). En Europa ya se est aplicando en Finlandia (Hltt, 1998). Establecer fondos especiales para financiar programas cuyos objetivos sean la mejora de la calidad. La utilizacin de este tipo de financiacin va acompaada generalmente de recompensas adicionales si los objetivos son conseguidos y penalizaciones en el caso contrario. Este tipo de programas son utilizados en numerosos estados norteamericanos (Layzell y Caruthers, 1995). Utilizar frmulas, que adems de proporcionar estabilidad financiera a las instituciones, pueden introducir factores para promover la calidad de las unidades financiadas (Mora y Villarreal, 1995). Establecer contratos-programa entre las instituciones pblicas y las administraciones para la financiacin mediante el

cumplimiento de ciertos criterios de calidad y eficiencia (UPC, 1997). Distribuir fondos a las universidades mediante procesos

competitivos. Este mecanismo es utilizado para la financiacin de proyectos de investigacin en la mayora de los pases. Su utilizacin para la financiacin de otros aspectos de las

universidades es ms reducida, aunque ha sido propuesta recientemente para la financiacin del sistema universitario espaol (Consejo de Universidades, 1995). Es obvio que para la implantacin de cualquier de los cambios sealados en los mecanismos de asignacin de recursos, es necesario disponer de un sistema de informacin y de indicadores de rendimiento sobre el que haya acuerdo, tanto en su definicin como en su aplicacin. Llegar a este acuerdo no es una cuestin balad, ya que es necesario hacer valoraciones medibles acerca de la calidad y del rendimiento, algo siempre discutible y aventurado, pero mucho ms difcil cuando tienen repercusiones econmicas. De todos modos, es necesario intentarlo si se desea que sea posible establecer algunos de los citados mecanismos de asignacin de recursos. El mercado: La segunda estrategia en la bsqueda de la calidad Los sistemas universitarios pblicos estn sometidos a dos fuerzas contrapuestas: el control estatal y la autonoma universitaria. Todos los sistema universitarios se ubican en algn punto intermedio en la lnea de interaccin de ambos factores. A partir de los primeros aos de la dcada de los ochenta, se produjo un cambio en la posicin de los sistemas universitarios europeos, incrementndose la autonoma de las universidades, posiblemente porque los gobiernos se percibieron de la dificultad e inconveniencia de seguir manteniendo un control rgido sobre la Universidad en un mundo tan cambiante (Neave y van Vught, 1991, 1994). Desde otro punto de vista, las universidades son unidades productivas en las que existe una lgica tensin entre los que ofertan el producto y los que lo demandan. En trminos generales, las universidades europeas han estado tradicionalmente dirigidas por la oferta (el Estado o los acadmicos) que han interpretado las demandas segn sus criterios particulares, mejor o peor conectados con la realidad. Slo recientemente se han iniciado procesos para permitir que la demanda (los usuarios, los clientes de los servicios universitarios) sea tambin una fuerza directora del sistema universitario. Clark (1983) conjug ambas lneas de tensin en lo que llam el tringulo de coordinacin de los sistemas universitarios. Segn Clark, todo sistema universitario se puede ubicar en algn lugar interior de un tringulo cuyos vrtices son: el Estado, la oligarqua acadmica y el mercado. Entendiendo el mercado como la manifestacin de las demandas y necesidades de la sociedad respecto a la educacin superior. Dadas las connotaciones negativas que para muchos acadmicos europeos tiene el trmino mercado (contrariamente

al sentido positivo que tiene en la cultura americana del autor del esquema) podamos llamar sociedad a este vrtice del tringulo, sin que por ello cambiara su sentido original. La experiencia acumulada ensea que los sistemas universitarios deben mantenerse distantes del poder directo del Estado2. El Estado, como fuerza reguladora de la educacin superior, muestra una clara tendencia hacia la burocratizacin, lo que resulta esterlizante para unas instituciones como las universitarias en las que, hoy ms que nunca, la adaptabilidad debe ser un rasgo esencial. El Estado, que representa el inters general, debera limitar su actuacin a ser garante de que las relaciones entre instituciones y usuarios son adecuadas (McDaniel, 1997). Por otro lado, la experiencia muestra que dejar en manos de los acadmicos el gobierno de las universidades puede generar peligrosas tendencias corporativas3. El cambio de una universidad de elites a una universidad de masas, la necesidad de mejora, la creciente complejidad de las universidades, la competitividad y la diversificacin a nivel internacional y nacional, hacen que una creciente proporcin de la comunidad universitaria, los gobiernos de los pases occidentales y los expertos en educacin superior estn de acuerdo en que los sistemas universitarios deben inclinarse ms hacia el mercado (sociedad) como medio de estimular la sensibilidad de las instituciones a la satisfaccin de las demandas sociales (Neave y Van Vught, 1991). La decantacin hacia el mercado (sociedad) pondra de manifiesto las preferencias de los usuarios directos (estudiantes) e indirectos (empleadores), generndose un clima de competencia por los recursos y por los clientes estimulante para la calidad de las instituciones. La introduccin de tendencias de mercado en la educacin superior proporcionar incentivos a las universidades para mejorar la calidad de la enseanza y de la investigacin, para mejorar la productividad acadmica, para estimular la innovacin en los programas de enseanza y para mejorar los servicios que proporciona a la sociedad en general (OCDE, 1990; World Bank, 1994; Williams, 1995; UNESCO, 1995; Dill, 1997b). La disponibilidad de informacin correcta es imprescindible para un buen funcionamiento del mercado. Sin embargo, en el mundo de la educacin superior existen claras deficiencias de informacin: a) en primer lugar, la informacin sobre las universidades y sobre las oportunidades de las distintas elecciones que han de hacer los usuarios suele ser

Keller (1998) seala que el peligro de que las lealtades polticas sean ms importantes que las necesidades educativas ocurre con frecuencia, especialmente en pases de cultura hispnica (sic).
3

La reforma de los planes de estudio en la Universidad espaola es un ejemplo claro de como los intereses corporativos de los acadmicos pueden prevalecer sobre los de la sociedad e incluso sobre los de la institucin.

escasa, sobre todo en los sistema pblicos de educacin superior; b) aunque la informacin de que dispusieran los usuarios fuera mucho ms completa, la lentitud de los procesos educativos hace que el lapso de tiempo entre el momento en que esa informacin fue generada, la toma de decisin del usuario y el momento en el que se van a producir los resultados de su decisin, estn demasiado distantes en el tiempo; y c) los usuarios directos de la educacin superior, jvenes en su mayora y con una lgica falta de madurez, no usan siempre correctamente la informacin disponible. Por estas razones, el mercado no puede ser la nica fuerza directriz de la educacin superior. El Estado, garantizando el buen servicio a la sociedad, y los acadmicos, expertos en el proceso productivo, deben tener un papel relevante en las universidades, aunque inferior al que tradicionalmente han ejercido. El buen xito de las tendencias de mercado en la educacin superior exige desarrollar mucho mejor los sistemas de informacin sobre las universidades. En una situacin de creciente diversificacin y competencia entre las instituciones, la informacin que de a conocer a los posibles usuarios las ventajas de utilizar una determinada universidad o uno de sus servicios se hace imprescindible. La necesidad de los usuarios de la educacin superior de disponer de una informacin fiable exige acuerdos sobre la definicin de los conceptos y sobre los criterios para la elaboracin de esa informacin. La deseable tendencia hacia el mercado de las universidades es, por tanto, una razn importante para desarrollar adecuadamente sistemas de informacin y de rendimiento de las instituciones. Esta necesidad de informacin para el mercado es la que ha generado la rica informacin que proporcionan las universidades norteamericanas y que, como se comentar posteriormente, es estimulada por los gobiernos estatales en los sistemas pblicos de educacin superior. Tercera estrategia: la evaluacin La tercera estrategia para la mejora de la calidad de las universidades es la de la evaluacin institucional. Los recientes experimentos de evaluacin realizados en Europa (Frazer, 1997) y los programas vigentes ya en varios pases europeos, entre ellos Espaa (Mora, 1997; Consejo de Universidades, 1997; Mora y Vidal, 1998), son una muestra del creciente inters por esta estrategia de bsqueda de la calidad. Hay dos enfoques bsicos para las evaluaciones institucionales: el que centra su atencin en las medidas de rendimiento y de rendicin de cuentas, y el que enfatiza los aspectos de mejora del proceso. Aunque estos dos enfoques bsicos pueden darse combinados, existe obviamente una cierta tensin entre ellos. La opinin mayoritaria entre los expertos en evaluacin es que la mejora de la calidad de las instituciones debe ser el objetivo esencial

de la evaluacin. Mejorar la efectividad del sistema debe ser prioritario frente a otros objetivos, tambin importantes y legtimos, como pueden ser mejorar la eficiencia, facilitar la gestin, reasignar recursos, premiar o penalizar en funcin del rendimiento. Por otra parte, por motivos tcticos es razonable que la calidad sea el objetivo esencial de la evaluacin, ya que este enfoque resulta el ms conveniente para dar los primeros pasos en la instauracin de un sistema de evaluacin, permitiendo su implantacin con mayor suavidad. Durante la dcada de los ochenta hubo, especialmente en el Reino Unido, una tendencia a desarrollar el enfoque ms conectado con valoraciones de la eficiencia y de los factores econmicos, en detrimento de otros aspectos como la efectividad y el desarrollo profesional y educativo (Pollitt, 1987). Esta tendencia ha cambiado actualmente, como pone de manifiesto un reciente informe (Frazer, 1997) en el que se seala que las agencias europeas de evaluacin consideran que el objetivo prioritario de su actuacin es ayudar a las instituciones de educacin superior a mejorar. Sin embargo, estas mismas agencias destacan tambin que, entre sus objetivos bsicos, estn el hacer socialmente ms responsable al sistema de educacin superior, y el suministrar informacin a los usuarios directos de las instituciones y a los empleadores. La autoevaluacin, seguida por visitas externas de colegas, es el ms tpico proceso de evaluacin. Este mtodo se fundamenta en la hiptesis de que el sistema universitario es tan complejo que los que estn inmersos en l son los ms capacitados para opinar sobre la calidad o el buen funcionamiento de las instituciones universitarias. Estos mecanismos son utilizados por todos los pases europeos que han iniciado procesos de evaluacin (Frazer, 1997). La larga experiencia internacional, y la ms corta pero fructfera experiencia espaola, muestran que el enfoque de evaluacin institucional funciona adecuadamente, alcanzando razonablemente los objetivos perseguidos. Por un lado, genera una movilizacin real por la calidad, interiorizando estos procesos en las instituciones y generando mejoras. Por otro lado, el escrutinio de visitantes externos y, sobre todo, la publicidad de los informes finales proporciona una informacin a la sociedad, que puede considerarse aceptable. Sin embargo, hay algunas reticencias, no siempre explcitas, respecto a estos procesos de evaluacin. Algunos consideran a este tipo de procesos de evaluacin como demasiado suaves, carentes del rigor necesario. Hay dos respuestas posibles a esta opinin: a) las instituciones universitarias son organismos peculiares en las que los objetivos son mltiples y no jerarquizables, por los que los sistemas de control de calidad ms

cuantitativos que pueden instaurarse en otras empresas son de difcil aplicacin aqu; y b) el poder en las universidades es difuso, no slo por sus peculiares formas de gobierno (que podran cambiar) sino por la importancia y autonoma de los trabajadores en el proceso universitario. Esto hace que haya que contar necesariamente con los distintos grupos que configuran la institucin, tanto para su anlisis como para la implementacin de mejoras. La idea de evaluacin del rendimiento institucional, basada en la utilizacin de indicadores de rendimiento, que fue propuesta hace ya ms de una dcada, se ha abandonado ante las dificultades intrnsecas y extrnsecas de este tipo de evaluacin en entidades tan complejas como las universidades. Para realizar una evaluacin del rendimiento es necesario identificar, cuantificar y ponerse de acuerdo con exactitud en cual es el objetivo primordial de las instituciones; desarrollar, en segundo lugar, una jerarqua de objetivos secundarios que se deriven del primario; y, como consecuencia, comparar y medir finalmente los rendimientos reales frente a todos los objetivos propuestos. Estos pasos son excesivamente complicados cuando se trata de instituciones de educacin superior, ya que la educacin superior es intrnsecamente compleja, con objetivos diversos no jerarquizables. Las universidades sirven objetivos mltiples y, aunque sus operaciones puedan ser evaluadas en trminos de la efectividad con la que cada objetivo es alcanzado, no hay garanta de que diferentes razones de coste-eficacia apunten todas en la misma direccin. En consecuencia, los indicadores de rendimiento no son considerados ya por ningn experto como un mtodo alternativo para la evaluacin de la calidad de las universidades4. Como ya se ha mencionado, la metodologa de auto-evaluacin, complementada con visitas externas, ha mostrado una utilidad razonable, de tal modo que todos los expertos recomiendan la implantacin y el avance en esta metodologa como el mecanismo ms razonable de evaluacin y mejora de la calidad en las universidades. Sin embargo, para este auto-anlisis institucional es imprescindible disponer de informacin fiable y contar con indicadores que relacionen las magnitudes de input, procesos y output que estn presentes en la funcin universitaria. La necesidad de esta informacin para la evaluacin de la calidad es una de las exigencias ms generalizadas que han formulado los que han intervenido en los recientes procesos de evaluacin en Espaa, como se desprende del reciente informe sobre el Plan Nacional de la Calidad de la Universidades (Consejo de Universidades, 1997). Este sentir est de acuerdo con las tendencias internacionales que

ltimamente se ha puesto en boga utilizar la metodologa DEA (Data Envelopment Analysis) para medir eficiencias de instituciones pblicas. Sin embargo, su aplicacin a entidades con objetivos mltiples parece problemtica.

consideran a los indicadores de informacin estadstica y de rendimiento como piezas muy valiosas para la propia evaluacin institucional (Frazer, 1997). Cuarta estrategia: Cambios organizativos y gestin estratgica La cuarta estrategia utilizada para la mejora de la calidad tiene carcter fundamentalmente interno. Se trata de la puesta en marcha de cambios organizativos y mejoras en la gestin de las universidades con el objetivo de incrementar la eficiencia y la eficacia de los servicios que proporcionan. En este sentido las instituciones pueden adoptar mecanismos internos de asignacin de recursos (Williams, 1992; Massy y Hulfactor, 1993), adoptar nuevos sistemas de gestin, como pueden ser la aplicacin de algunas tcnicas presupuestarias innovadoras, poner en marcha mecanismos de Gestin Total de la Calidad (Teeter y Lozier, 1993; Pea, 1998; Winter, 1998) o aplicar sistemticamente la Gestin Estratgica para los procesos institucionales (Grao y Apodaca, 1997). Es obvio que la aplicacin de estas estrategias, exige disponer de informacin detallada y fiable sobre los procesos internos de las universidades y su relacin con el entorno. Una vez ms, la implantacin de procesos de mejora introduce la necesidad de definir indicadores de gestin y de rendimiento que faciliten la informacin y permitan la toma de decisiones. Es este caso de mejoras internas, esta informacin podra ser idiosincrsica de cada institucin. Sin embargo, si se establece un sistema de informacin peculiar para cada institucin se perdera una herramienta importante para el anlisis, que a veces es la nica disponible: la posibilidad de realizar comparaciones con instituciones semejantes. las razones para crear un sistema de indicadores de gestin y rendimiento Las estrategias sealadas anteriormente para promover la calidad de las universidades no son viables sino se desarrolla previamente un sistema de informacin sobre las universidades que faciliten, por un lado, las relaciones de estas con la sociedad y con las administraciones publicas, y, por otro, que posibiliten el anlisis interno y, consecuentemente, la implementacin de programas de mejoras. Podemos sintetizar las razones para desarrollar un sistema de indicadores en los siguientes puntos: Razones de carcter institucional: Los procesos de mejora interna, fruto de los procesos de evaluacin actualmente en marcha en toda Europa, necesitan informacin estadstica fiable y la construccin de indicadores que ayuden a comprender el funcionamiento de las propias instituciones. Los cambios en los sistemas de organizacin interna, la introduccin de procesos de Gestin de Calidad y, especialmente, de Gestin Estratgica

exigen disponer de informacin fiable y comparable con la de otras instituciones. Relaciones con la Administracin: El importante volumen de recursos dedicados a la educacin superior exige que las universidades respondan del uso que hacen de ellos mediante sistemas de informacin difanos. La rendicin de cuentas es una obligacin de las instituciones pblicas, que no puede reducirse a una mera presentacin de datos contables. Hay que informar sobre cmo se han usado los recursos, y cuales han sido los resultados de su uso. Los indicadores de rendimiento son un utensilio valido para tal fin. Los nuevos mecanismos de asignacin de recursos que estn aplicndose (frmulas de asignacin o contratos programa), exigen disponer de informacin fiable sobre la realidad de las instituciones. Relaciones con la sociedad: En un sistema universitario de calidad, en donde la competencia entre las instituciones se incremente en respuesta a las demandas sociales, los estudiantes, como usuarios directos, deben disponer de informacin fidedigna que les permita tomar sus decisiones basndose en criterios razonables. Esta necesidad de informacin es tambin extensible a las empresas, tambien usuarios de las instituciones universitarias. Las exigencias de informacin por parte de los empleadores sobre las cualificaciones de los universitarios hace necesario establecer

mecanismos que proporcionen esta informacin. La movilidad de los titulados universitarios en la UE, exige establecer sistemas europeos de informacin sobre las universidades. En este sentido, existe una reciente propuesta de la Comisin Europea para que se instauren programas de evaluacin de las universidades de la UE, posiblemente el germen de un sistema de informacin comn. los INDICADORES DE RENDIMIENTO. Justificada la necesidad de establecer sistemas de informacin estadstica y de indicadores de rendimiento en las universidades dentro de un contexto de bsqueda de la calidad, podemos ya pasar a discutir cuales deben ser las caractersticas de estos indicadores, cules

son los problemas que se pueden generar y cul es la prctica habitual de su uso en otros pases. Los indicadores de rendimiento se pueden definir como medidas objetivas, usualmente cuantitativas, de los logros de una institucin o de todo un sistema de educacin superior. El uso de los indicadores de rendimiento puede ayudar considerablemente a establecer un cierto orden y a hacer previsiones en un sistema tan complejo como es en la actualidad cualquier institucin universitaria. Cuando los indicadores son suficientemente desarrollados ayudan a entender la situacin de los problemas con respecto a unas variables determinadas, a ver como es su evolucin en el tiempo y a hacer previsiones para el futuro. Su carcter cuantitativo ayuda a detectar con rapidez las tendencias de los cambios en las necesidades de la sociedad, en las preferencias por determinados tipos de cursos o estudios, y, en consecuencia, en la reasignacin de recursos a las partes del sistema universitario ms necesitadas en cada momento (Sizer, 1982). A pesar del inters que presentan los indicadores de rendimiento, su definicin y utilizacin presenta algunos de los problemas que se enuncian a continuacin: La primera dificultad radica es la misma posibilidad de construir los indicadores. Para definir un conjunto de indicadores habra que llegar, en primer lugar, a un acuerdo sobre los objetivos culturales, econmicos, poltico-sociales, tecnolgicos, y educativos de una sociedad, de sus sistema de educacin superior y de sus instituciones individuales. En el caso de llegar a tal acuerdo, habra que preguntarse si es posible trasladar aquellos objetivos a medidas cuantificables en la forma de indicadores de rendimiento, con pesos adecuados para cada objetivo, de modo que podamos medir la efectividad y la eficiencia de la institucin. Los indicadores de rendimiento son, por su propia naturaleza, ambiguos, al menos que sean usados en un contexto de dialogo adecuado entre las partes implicadas y sean utilizados para objetivos aceptables por todos (Bormans et al., 1987). Los indicadores de rendimiento son siempre aproximaciones imperfectas de una caracterstica final, de modo que siempre hay lugar para el debate sobre sus mritos o deficiencias (In'tVeld, 1990). Otro de los problemas importantes que puede ocasionar la utilizacin de los indicadores de rendimiento, especialmente cuando son usados por organismos externos preocupados esencialmente por las cuestiones

financieras, es el nfasis que se le puede prestar a las medidas de eficiencia y de efectividad a corto plazo en contra de las metas a largo plazo que deben tener las universidades (Sizer, 1982). Especialmente problemtico es el uso de indicadores relacionados con la asignacin de fondos. Su utilizacin ha de ser extremadamente cuidadosa, porque puede generarse un crculo vicioso: pueden estar indicando malos resultados en una institucin porque los recursos son bajos, lo que puede dar lugar a que se le asignen menos recursos todava (Williams, 1986). Dadas las dificultades que rodean la definicin y el diseo de los indicadores de rendimiento, la tendencia ms habitual ha sido la de usar aqullos que, o bien son ms sencillos de obtener, o estn relacionados con la medida de partes del sistema universitario que son ms fcilmente medibles, descuidndose de este modo aspectos ms esenciales pero que tienen mayor dificultad para traducirse en indicadores cuantitativos (Weert, 1990). Existe el peligro de convertir los indicadores en estndares de calidad, interpretados como tal, y utilizados inadecuadamente. Los indicadores de rendimiento se pueden convertir en una meta por si mismos, y no simplemente en lo que son: una manifestacin parcial de una realidad compleja (Vroeijenstijn, 1995). Las dificultades inherentes a la utilizacin de indicadores de rendimiento, junto con el criticismo hacia ellos por parte de la comunidad universitaria, han hecho que haya prosperado muy poco su uso como medida del rendimiento institucional. Sin embargo, en los ltimos aos el centro del inters en la discusin sobre el uso de los indicadores ha pasado desde los problemas de eficiencia a los de eficacia, y de las comparaciones entre instituciones, a la utilizacin interna de los indicadores como herramienta para la mejora de la calidad. En este nuevo clima de preocupacin por la calidad, y habiendo cambiado las perspectivas bajo las que anteriormente se proponan, el uso de los indicadores vuelve a recobrar auge. Los indicadores de rendimiento, adecuadamente definidos y adecuadamente interpretados pueden jugar un papel til en la determinacin de la poltica educativa, en la gestin de una institucin y en la optimizacin de la calidad educativa. Otro punto de vista respecto a los indicadores, que tambin est empezando a cambiar, es el de su misma definicin. Se est

proponiendo que pasen de ser exclusivamente una informacin numrica de tipo estadstico, a algo ms completo que incluya juicios subjetivos y opiniones consensuadas. El principio debera ser el de "medir lo que debe ser evaluado", en vez de "medir lo que es fcil de medir", aunque para ello haya que recurrir a sistemas no necesariamente numricos de evaluar (Dochy et al., 1990). En estos momentos existe una amplia experiencia e informacin sobre el uso de indicadores de rendimiento, sobre los problemas que plantean, sobre su validez y sobre su interpretacin. El problema que hay que resolver es el de encontrar los indicadores ms idneos y el de llegar a un acuerdo entre las partes implicadas, tanto para su uso como para su interpretacin. Tipos y rasgos bsicos de los indicadores de rendimiento Existe una amplia literatura sobre tipologa, caractersticas y propiedades de los diferentes indicadores de rendimiento (Cuenin, 1987; Sizer, 1990; Dochy et al., 1990; De Miguel, 1991; Cave et al., 1997). Sintetizaremos brevemente lo ms destacado. Segn su estructura, podemos distinguir dos tipos de indicadores: Estadsticos (o de gestin). Cifras absolutas que describen una situacin. De rendimiento. Relacionados con un objetivo o con una valoracin sobre la institucin o su entorno. Tienen, por tanto, carcter relativo y pueden llevar implcito algn tipo de juicio de valor. Otra clasificacin de los indicadores de rendimiento basada en diversos criterios es la siguiente: Segn las funciones de la educacin superior: indicadores de enseanza, de investigacin y de servicios. Segn el objeto: indicadores de input, de proceso, de output. Segn el tipo de medida: indicador cuantitativo, indicador cualitativo. Definir un sistema de indicadores de rendimiento exige desarrollar todas las facetas posibles. Deben cubrir todas las funciones de la educacin superior, deben considerar todos los elementos que intervienen y, aunque preferentemente cuantitativos, pueden extenderse cuando sea necesario a estimaciones cualitativas. Adems un sistema de indicadores debe cumplir con una serie de requisitos que le den validez y que los hagan utilizables, con

fiabilidad y confianza en sus resultados, por todas las partes implicadas. Cave et al. (1997) proponen los siguientes principios para valorar cuando los indicadores propuestos son razonables: 1. Relevancia. Con qu exactitud mide el indicador de rendimiento el verdadero rendimiento subyacente, relacionado con los objetivos dados de la organizacin? 2. Ambigedad. Es posible identificar de una manera clara un valor alto o bajo del indicador como favorable o desfavorable? Esto puede parecer un requisito obvio, sin embargo, no es difcil citar ejemplos donde esto no se satisface. Por ejemplo, un alto coste por alumno puede interpretarse como signo de despilfarro o de calidad 3. Capacidad de ser manipulado. Si un indicador de rendimiento puede ser fcilmente manipulado por el individuo u organismo que se pretende valorar, su validez se reduce. 4. Coste de recogida. Algunos indicadores de rendimiento se pueden calcular fcilmente tomando datos que ya estn disponibles para instituciones o para el sistema de educacin superior. Otros requieren recogida de datos costosa y quiz no factible. 5. Nivel de agregacin. Cada indicador de rendimiento posee su propio nivel o niveles de agregacin naturales - individual, de departamento, disciplina, institucin o el sistema de educacin superior en general. Por tanto, puede resultar difcil igualmente aunarlos o atribuirles pesos. 6. Relacin con otros indicadores. Con frecuencia, se utilizan varios indicadores para medir un mismo aspecto del rendimiento o uno similar. En tales circunstancias, la existencia de indicadores mltiples es una prueba til de consistencia. La utilizacin de los indicadores de rendimiento El diseo de un sistema de indicadores de gestin y de rendimiento debe estar unido a los objetivos y estructura que tenga cada sistema de educacin superior o institucin universitaria. Por tanto, el diseo ha de ser necesariamente idiosincrsico. A pesar de ello,

a titulo de ejemplo presentamos aqu dos sistemas de indicadores que estn siendo utilizados en algunos pases5. En el primer caso, referido al Reino Unido, los indicadores son fundamentalmente informativos y tienen como objetivo mostrar los datos bsicos de las instituciones para uso de la administracin y de los usuarios. El segundo caso que presentamos, referido al estado de Colorado, tiene un enfoque distinto. El sistema de indicadores de Colorado trata fundamentalmente de valorar cmo las instituciones pblicas responden a las necesidades de la sociedad. Es un enfoque claramente de respuesta a las necesidades y demandas de la sociedad, en consonancia con los objetivos de aquel sistema universitario. Indicadores de rendimiento en el Reino Unido En el entorno europeo, el Reino Unido es el pas que ms intentos ha realizado por desarrollar un sistema de indicadores. Presentamos a continuacin la ltima de las propuestas de Estadsticas de Gestin de Educacin Superior de 1996 tomada de Cave et al. (1997): Macro-estadsticas para la enseanza. Solicitantes y admisiones. A1 A2 A3 A4 A5 A6 A7 A8 A9 B1 B2 B3 B4 C1 C2 C3 C4 Solicitantes. Solicitantes con domicilio en el Reino Unido por edad y genero. Solicitantes con domicilio en el Reino Unido por materia. Solicitantes con domicilio en el Reino Unido por origen tnico. Solicitantes con domicilio en el Reino Unido por clase social. Admitidos. Admitidos del Reino Unido por edad y genero. Admitidos del Reino Unido por rea temtica y genero. Admitidos del Reino Unido por grupo tnico y edad. Tasas de participacin. Participacin de los alumnos por modalidad. Participacin de los alumnos por genero. Participacin de los alumnos por grupo tnico. Poblacin estudiantil. Poblacin estudiantil por programas. Nuevos alumnos por programas. Minusvalias de alumnos.

Participacin.

Descripcin de la poblacin estudiantil.

Progresin. D1 Finalizacin del curso con buenos resultados por genero.


5

Otros listados de indicadores pueden encontrase en Kells (1993), Taylor y Massy (1996), Gaither (1996) y Cave et al. (1997).

D2 Finalizacin del curso con buenos resultados por grupo de edades. Costes. E1 ndice de ingresos. E2 Coste por curso y estudiante con buenos resultados. E3 Costes totales de las instituciones Educacin Superior. Duracin de la experiencia de Educacin Superior. F1 Duracin de la experiencia en Educacin Superior. Cualificaciones. G1 G2 G3 G4 Finalizacin con cualificaciones por gnero. Finalizacin con cualificaciones por grupo de edad. Alumnos que adquieren cualificaciones por tipo de materias. Alumnos que adquieren cualificaciones por tipo de cualificaciones.

Primeros empleos. H1 Individuos que dejan la institucin, y que estn trabajando o siguen estudiando, por gnero. H2 Individuos que dejan la institucin, y que estn trabajando o estudiando, por tipo de programa. H3 Individuos que dejan la institucin, y que estn trabajando o estudiando, por edad. Impacto en la poblacin. Porcentaje de poblacin del Reino Unido con cualificaciones de educacin superior por edad y gnero a lo largo del tiempo. Macro-estadsticas financieras. ndice de financiacin pblica de la Educacin Superior. Proporcin de los fondos pblicos con respecto al total de ingresos. Proporcin de subvenciones del Funding Council para la enseanza con respecto a los ingresos totales. 4. Proporcin de subvenciones del Funding Council para la investigacin con respecto a los ingresos totales. 5. Proporcin de subvenciones del Research Council para la investigacin con respecto a los ingresos totales. 6. Proporcin de las tasas de alumnos extranjeros con respecto a los ingresos totales. Estadsticas Institucionales para la enseanza. Tasas de progresin de los alumnos. 1. 2. Proporcin de estudiantes que son evaluados como incapaces de progresar. Proporcin de estudiantes que son evaluados como capaces de progresar, pero no lo hacen. Individuos que dejan la institucin segn el motivo. Proporcin de alumnos que reciben la titulacin por calificacin. Proporcin de titulados que tienen empleo. 1. 2. 3. I1

Cualificaciones de salida. 3. 4. 5.

Destinos de empleo.

6. Proporcin de titulados que estn desempleados. 7. Proporcin de titulados que tienen un empleo temporal. 8. Proporcin de titulados que realizan estudios posteriores. 9. Proporcin de titulados que no se encuentran disponibles para un empleo. 10. Proporcin de titulados con destino desconocido. Perfiles financieros institucionales. Proporcin de activos lquidos con respecto a pasivos corrientes. Relacin diaria entre los activos lquidos netos y el gasto total. Proporcin de activos corrientes con respecto a pasivos corrientes. Relacin diaria de aumentos/descensos en el dinero en efectivo con respecto al gasto total. 5. Relacin diaria de flujo de caja neta precedente de actividades operativas ms ingresos por inversiones y otros servicios financieros con respecto al gasto total. 6. Proporcin entre los costes salariales y el gasto total. 7. Proporcin entre el supervit (dficit) para el ao y el ingreso total. 8. Relacin diaria entre los fondos generales y el gasto total. 9. Proporcin entre los fondos totales generales y el gasto total. 10. Proporcin entre pasivos a largo plazo y fondos totales generales. 11. Proporcin de los intereses pagables respecto al ingreso total. 12. Proporcin del gasto de mantenimiento de las instalaciones respecto al gasto total. 13. Proporcin de las subvenciones de los Funding Councils respecto al ingreso total. 14. Proporcin de la subvencin para la enseanza procedente de los Funding Councils respecto al ingreso total. 15. Proporcin de la subvencin para la investigacin de los Funding Councils respecto al ingreso total. 16. Proporcin de las tasas de alumnos de la Unin Europea y nacionales respecto al ingreso total. 17. Proporcin de las tasas de los extranjeros respecto al ingreso total. 18. Proporcin del ingreso procedente de los consejos de investigacin y de entidades benficas respecto al ingreso total. 19. Proporcin de los ingresos procedentes de otras subvenciones de investigacin y de contratos respecto al ingreso total. 20. Proporcin de los ingresos procedentes de otros servicios respecto al ingreso total. 21. Proporcin de los ingresos de las residencias y comedores respecto al ingreso total. 22. Proporcin de los ingresos diversos respecto al ingreso total. Indicadores de rendimiento en Estados Unidos La educacin superior en Estados Unidos se organiza por estados, con absoluta independencia entre ellos. En consecuencia, cada uno de los cincuenta estados genera distintos sistemas de informacin sobre las instituciones universitarias. En los ltimos aos, un buen nmero de estados han desarrollado sistemas de indicadores de rendimiento, fundamentalmente en relacin con la financiacin por rendimiento y con la informacin publica sobre el funcionamiento y los resultados de las instituciones. 1. 2. 3. 4.

A titulo de ejemplo, se presenta a continuacin los indicadores propuestos en Colorado (Gaither, 1996), uno de los estados ms avanzados en el desarrollado de la definicin de indicadores. Como se puede apreciar por su lectura, se trata de indicadores que dan un paso hacia adelante respecto a los que se plantean en el Reino Unido. En Colorado, los indicadores son una herramienta utilizada por los responsables estatales del sistema pblico de educacin superior para estimular la respuesta de las instituciones pblicas de educacin superior a las necesidades sociales y a las demandas de los usuarios (estudiantes y empleadores). 1. Indicadores de rendimiento institucional potencial. 1.a.1.Tasa de graduacin dentro del 100% y del 150% de la duracin del programa. 1.a.2.Persistencia en el primer ao. 1.a.3.Tasa de xito dentro del 100% y del 150% de la duracin del programa. 1.a.4.Costes educativos completo). por estudiante (ETC, equivalentes tiempo

1.a.5.Ratio estudiante (ETC)/profesor. 1.a.6.Proporcin de grupos con menos de 8 estudiantes. 1.a.7.Proporcin de titulaciones con menos de 5 graduados anuales. 1.a.8.Ratio entre el nmero total de asignaturas ofrecidas y estudiantes (ETC). 1.a.9.Nmero medio de crditos obtenidos por los graduados. 1.b.1.Dlares gastados en la renovacin de plantas de servicios con respecto al valor total de reemplazamiento. 1.b.2.Dlares gastados en la renovacin de equipamiento educativo respecto al valor total en inventario. 1.b.3.Dlares gastados en formacin docente del profesorado respecto al nmero total de estos (ETC). 1.b.4.Nmero total de nuevos asignaturas ofrecidas como proporcin del total de asignaturas. 1.c.1.Existencia y funcionamiento de un programa aceptable de evaluacin institucional. 1.c.2.Existencia y funcionamiento de un programa aceptable de recogida de datos sobre problemas, nivel de satisfaccin y xito de los estudiantes. 1.c.3.Existencia de un mecanismo regular de informacin sobre las necesidades de los empleadores y los profesionales con efectos sobre los planes de estudio. 1.c.4.Respuesta de los estudiantes, por medio de encuestas, sobre el grado en que la institucin solicita sus opiniones sobre el rendimiento y sobre sugerencias para la mejora.

1.c.5.Testimonio de los empleadores sobre el grado en que la institucin solicita su informacin para planificar y evaluar programas educativos. 1.c.6.Publicacin regular, y diseminacin adecuada de informacin, a los estudiantes actuales y potenciales sobre los programas y su funcionamiento. 2. Indicadores de potencial satisfaccin y xito de los estudiantes 2.a.1.Tasas de graduacin, persistencia y xito, desglosadas por diversas caractersticas demogrficas. 2.a.2.Proporcin de graduados que obtienen un empleo, desglosado por grado de relacin con su campo. 2.a.3.Salarios medios de los graduados una ao despus de la graduacin. 2.a.4.Proporcin de graduados siguiendo estudios posteriores. 2.a.5.Satisfaccin expresada por los graduados sobre los resultados de la titulacin recibida. 2.b.1.Probabilidad para un estudiante de primero de matricularse en una asignatura de menos de 15 estudiantes. 2.b.2.Satisfaccin expresada por los graduados y por los estudiantes sobre la formacin recibida 2.b.3.Satisfaccin expresada por los graduados y por los estudiantes sobre el asesoramiento recibido. 2.b.4.Satisfaccin expresada por los graduados y por los estudiantes sobre el contacto con el profesorado fuera de clase. 2.b.5.Proporcin de crditos impartidos por profesorado regular en los primeros cursos. 2.b.6.Porcentaje de graduados y estudiantes que creen que la formacin que reciben es relevante para las metas que tenan fijadas. 2.c.1.Porcentaje de graduados y estudiantes que piensan que su graduacin se retras porque no pudieron matricularse en las asignaturas que deseaban. 2.c.2.Proporcin de estudiantes matriculados en asignaturas que no fueron su primera eleccin. 2.c.3.Porcentaje de estudiantes que muestran preocupacin sobre los servicios de apoyo a la educacin. 2.c.4.Porcentaje de estudiantes que muestran su satisfaccin por como son tratados por los servicios administrativos. 2.d.1.Coste medio de la institucin para el estudiante. 2.d.2.Valor medio de las necesidades financieras de los estudiantes. 3. Indicadores de potencial satisfaccin de los empleadores. 3.a.1.Porcentaje de empleadores que creen que la institucin busca sus opiniones para la programacin acadmica y responde a ellas. 3.a.2.Porcentaje de empleadores que se muestran satisfechos con las capacidades de los graduados de la institucin.

3.b.1.Porcentajes de estudiantes a tiempo parcial, cursos nocturnos, programas profesionales y educacin continua. 3.b.2.Proporcin de empleadores que se muestran satisfechos con la importancia y la disponibilidad de cursos de educacin continua y cursos profesionales. 3.c.1.Porcentaje de empleadores expresando satisfaccin con el efecto de la investigacin aplicada y de la asistencia tcnica de la institucin sobre su empresa y sobre las actividades de la institucin en esas reas. 3.c.2.Proporcin de investigacin financiada por empresas y organizaciones de Colorado. 4. Indicadores de potencial rendimiento del sistema. 4.a.1.Tasas de participacin en la educacin superior por regiones, y por caractersticas demogrficas. 4.a.2.Porcentajes de graduados en la poblacin por institucin, por regiones, y por caractersticas demogrficas. 4.b.1.Coste para el alumno de las instituciones pblicas en relacin con el salario mediano. 4.b.2.Subvencin pblica por estudiante (ETC) en el sistema pblico de Colorado. 4.c.1.Nmero de ttulos, por nivel y campo, respecto a individuos empleados en un trabajo relacionado con la titulacin. 4.c.2.Niveles educativos de la poblacin adulta del estado. 4.c.3.Proporcin de graduados involucrados en actividades voluntarias o cvicas. 4.d.1.Nmero de convenios establecidos con distritos escolares. 4.d.2.Si la institucin tiene establecidos criterio claros para la admisin de alumnos, adems de las notas de acceso. 4.d.3.Dlares invertidos en tecnologa para la innovacin educativa, por estudiante (ETC) una propuesta de indicadores para la Universidad espaola La Universidad espaola ha llegado al final del periodo en el que satisfacer la creciente demanda de plazas era la principal preocupacin de sus gestores. En estos momentos, la Universidad se enfrenta a una nueva situacin en la que el nmero de alumnos totales ya no va a crecer. Por primera vez en la historia de la universidad que hemos vivido los que ahora nos encontramos en ella, habr que competir por los estudiantes, habr que plantearse el cerrar programas docentes o la reconversin de personal de unas reas a otras. Esto supone abandonar unos comportamientos de gestin acomodados al crecimiento continuo, para instaurar mecanismos mucho ms rigurosos de gestin de los recursos fsicos y humanos, y de la organizacin del sistema productivo de las universidades.

En la situacin que se avecina, la toma de decisiones correcta y la gestin de calidad en las universidades ser, ms que nunca, una necesidad ineludible para evitar caer en errores cuya solucin en el futuro ser mucho ms complicada. Un serio problema que se plantea cuando se aborda la mejora de las universidades espaolas es la deficiencia de informacin fiable que permita la toma de decisiones como lo atestiguan los primeros resultados de la evaluacin de las universidades (Consejo de Universidades, 1997). Demasiados elementos bsicos del sistema productivo de las instituciones carecen de una clara definicin. Conceptos tan bsicos como estudiante o profesor a tiempo completo no estn unvocamente definidos; variables importantes para analizar el sistema productivo de las universidades como el tiempo de permanencia medio no estn disponibles; medidas de output, por encima del nmero de titulados, son parciales o inexistentes. Incluso magnitudes de tipo econmico, que por su naturaleza serian ms fcilmente medibles, tienen problemas de definicin. Aunque algunas universidades puedan tener solucionados parte de estos problemas para su gestin interna, la falta de acuerdos comunes impiden la comparacin, lo que dificulta la toma de decisiones. Los problemas sealados exigen la definicin y puesta en marcha de un sistema de indicadores que sea comnmente aceptado, que sea un instrumento de informacin, interna y externa, para la mejora, y que sirva para la toma de decisiones sobre las instituciones individuales y sobre el sistema en su conjunto. Para llegar a un acuerdo completo y consensuado sobre indicadores para la Universidad espaola, se podran planear un proceso en varias etapas sucesivas: En primer lugar habra de hacerse una propuesta de indicadores de gestin. En esta fase deberan intervenir las universidades que estuvieran ms interesadas en estos aspectos y que tuvieran ms desarrollado un sistema de informacin para la gestin. La propuesta de indicadores de gestin debera ser discutida junto con un grupo de trabajo de gestores y acadmicos elegidos ad hoc por las universidades participantes. En estas reuniones se tratara de definir los objetivos perseguidos por las instituciones para, consecuentemente, encontrar los indicadores

adecuados. Los indicadores definidos se implementaran con datos de las universidades participantes en esta fase. En la siguiente fase se podra repetir el proceso anterior para definir indicadores de rendimiento, es decir, combinaciones de indicadores de gestin que resumen informacin adecuada sobre el funcionamiento de

las universidades. Esta fase exigira de nuevo la participacin de un grupo de expertos de las universidades participantes. Por ltimo, tras el anlisis de los resultados obtenidos en las anteriores fases, se podra formular una propuesta final de indicadores, que tras ser discutida por una amplia participacin de las universidades espaolas, pudieran ser aplicados al conjunto del sistema universitario espaol. Aspectos objeto de cuantificacin En una primera fase, los indicadores que se establezcan deben ser de carcter meramente informativo, en la lnea de los ya implantados en otros pases europeos. En estos momentos, el desarrollo de la investigacin institucional de las universidades espaolas es todava demasiado dbil como para pensar en el establecimiento de un sistema como el que se mencion para Colorado, a pesar de que este enfoque nos parece ms adecuado. Sin embargo, en un desarrollo posterior el sistema espaol de indicadores debera tender tambin a introducir medidas de satisfaccin de los usuarios. Otra caracterstica que debern cumplir los indicadores propuestos es el de la factibilidad. Con esfuerzos de informacin adicionales, no excesivamente importantes para las instituciones, deberan poder obtenerse todos ellos. Slo a modo de esbozo, y como posible inicio de una discusin sobre indicadores, presentamos a continuacin una lista que no pretende ser exhaustiva de aquellos aspectos que pueden ser objeto de la definicin de indicadores para las universidades espaolas. No se trata de una lista de indicadores ya definidos, porque esta definicin slo puede ser el resultado del trabajo colectivo de un grupo de expertos e interesados en el proceso. Indicadores financieros Estructura econmica del entorno Renta per capita de la CCAA VAB por sectores econmicos regionales Empresas del entorno desglosadas por caractersticas Poblacin regional/provincial etc.

Estructura econmica del sistema universitario Estructura de ingresos del sistema universitario (espaol, de la CCAA). Estructura de gastos del sistema universitario (espaol, de la CCAA). Datos sobre el sistema de ayudas a los estudiantes etc.

Estructura de ingresos Porcentaje que representa la subvencin del gobierno regional Porcentaje que representan las tasas pagadas por los alumnos Porcentaje que representan las compensaciones de tasas Porcentaje que representan las subvenciones de otras fuentes pblicas Porcentaje que representan las subvenciones de otras fuentes privadas Porcentaje que representan las ingresos por gestin de recursos propios Porcentaje que representan las ingresos por contratos de investigacin Porcentaje que representan las ingresos por contratos de servicios etc.

Estructura de gastos Porcentaje que representa el gasto de personal Porcentaje que representa el gasto en edificaciones nuevas Porcentaje que representa el gasto en reposicin Porcentaje que representa el gasto en bienes y servicios Porcentaje que representa el gasto en equipamientos para la enseanza Porcentaje que representa el gasto en equipamientos para la investigacin etc. Estructura de costes Costes medios por estudiante y titulacin Coste medio por titulado Costes medios de los distintos servicios etc.

Estructura de los recursos humanos Tipologa laboral del profesorado Tipologa laboral de resto de personal Relacin profesor (ETC)/personal (ETC) Mecanismos de formacin etc. Indicadores de procesos educativos Estructura educativa del entorno Pirmide de poblacin de la CCAA Tasas de participacin en la secundaria postobligatoria en la CCAA Tasas de paso a la educacin superior etc.

Relacionados con la demanda Alumnos que solicitan ingresar (segn caractersticas destacables) Alumnos que ingresan (segn caractersticas destacables) Estudiantes extranjeros Estudiantes adultos etc. Estructura del alumnado Alumnos (ETC) por titulaciones y otras caractersticas demogrficas Crditos matriculados por alumno (DNI) en media Porcentaje de estudiantes a tiempo parcial Alumnos que reciben ayudas econmicas Estudiantes que participan en estudios en el extranjero etc. Estructura del profesorado Profesores dedicados a la enseanza (ETC) por reas Carga lectiva media Movilidad Formacin pedaggica etc.

Relacionados con los procesos Razn alumnos/profesor (ETC) por titulaciones. Porcentaje de asignaturas con ms de 75 alumnos por titulacin Porcentaje de asignaturas con ms de 25 alumnos por titulacin Carga de trabajo de los estudiantes por titulaciones etc.

Relacionados con el desarrollo del proceso educativo Tasas de abandono. Tasas de repeticin. Tasas de graduacin. Duracin media de los estudios etc.

Relacionados con los recursos dedicados a la enseanza Coste medio por estudiante en las titulaciones. Recursos bibliogrficos por reas. Recursos tecnolgicos por reas Espacio disponible para la enseanza etc.

Relacionados con los estudios de postgrado Programas de doctorado Programas de formacin continua Nmero de doctores

etc. Indicadores de investigacin. Relacionados con los resultados Publicaciones del profesorado Patentes Contratos Proyectos etc.

Relacionados con los medios dedicados a la investigacin Profesores dedicados a la investigacin Contratos Proyectos etc. Indicadores de graduados Relacionados con el empleo Situacin de empleo de los graduados recientes Tipo de empleo etc. Relacionados con la satisfaccin Nivel de satisfaccin con la formacin recibida Nivel de relacin con la institucin etc. Indicadores de servicios Relacionados con servicios a los alumnos Servicios deportivos Servicios culturales Servicios para el empleo etc.

Relacionados con servicios a las empresas Servicios de asistencia tcnica Servicios de transferencia tecnolgica etc. Relacionados con servicios a la sociedad en general Importancia de la formacin continua Importancia de la formacin profesional etc. Indicadores sobre procesos de calidad Relacionados con la existencia de los procesos Existencia de planes de calidad Existencia de planes estratgicos

Existencia de auto-evaluaciones Existencia de encuestas de satisfaccin de los clientes etc. Relacionados con los resultados Valoraciones sobre la calidad de las unidades REFERENCIAS Banta, T. W. (1986) Performance Funding in Higher Education: A Critical Analysis of Tennessees Experience, Boulder, Colorado, NCHEMS. Bormans, M. J.; Brouwer, R.; In't Veld, R. J.; Mertens, F. J. (1987) The role of performance indicators in improving the dialogue between government and universities. International Journal of Management in Higher Education, 11, 2, 181-194. Cave, M.; Hanney, S.; Henkel, M.; Kogan, M. (1997) The use of performance indicators in higher education. London, Jessica Kingsley. Clark, B. R. (1983) The Higher Education System: Academic Organization in Cross National Perspective. Berkeley, University of California Press. Consejo de Universidades (1995) Informe sobre financiacin de la Universidad, Universidades, VI, 2-46. Consejo de Universidades (1997) Informe de la primera convocatoria del Plan Nacional de Evaluacin de la Calidad de las Universidades. Madrid, Consejo de Universidades. Cuenin, S. (1987) The use of performance indicators in universities: an international survey. International Journal of Management in Higher Education, 11, 2, 117-139. De Miguel, M. (1991) Utilizacin de indicadores en la evaluacin de la docencia. En De Miguel, M.; Mora, J. G.; Rodrguez, S. (Eds.) La evaluacin de las instituciones universitarias, Madrid, Consejo de Universidades. Dill, D. D. (1997a) Evaluating the Evaluative State: Implications for Research in Higher Education. Ponencia presentada en el 10th CHER Conference, Alicante, Septiembre. Dill, D. D. (1997b) Higher education markets and public policy, Higher Education Policy, 10, 3/4, 167-185. Dochy, F. J. R. C.; Segers, M. S. R.; Wijnen, W. H. F. W. (1990): Selecting Performance Indicators. En Goedegebuure, L. C. J.; Maassen, P. A.M.; Westerheijden, D. F. (Ed.), Peer Review and Performance Indicators. Utrecht, Uitjeverij Lemma. Existe versin castellana en De Miguel, M.; Mora, J. G.; Rodrguez, S. (Eds.) La evaluacin de las instituciones universitarias, Madrid, Consejo de Universidades, 1991. Frazer, M. (1997) Report on the Modalities of External Evaluation of Higher Education in Europe: 1995-1997, Higher Education in Europe, XXII, 3, 349-401. Gaither, G. H. (Ed) (1996) Performance Indicators in higher education. What Works, What Doesnt, and Whats Next?. The Texas A&M University System

Grao, J.; Apodaca, P. (1997) Herramientas de gestin para el cambio y la mejora institucional en la enseanza superior . Ponencia presentada en las Jornadas de Reflexin: Retos presentes y futuros de la Universidad, Consejo de Universidades e IVIE, Valencia. Hltt, S. (1998): Funding of Universities in Finland. Towards a goal oriented government steering, European Journal of Education, 33, 1, 55-63. In'tVeld, R. (1990) The dynamics of evaluation: threats and opportunities. En Report of the IMHE Study Group on Evaluation in Higher Education , presentado a la 10th General Conference of Member Institutions del Programme on Institutional Management in Higher Education. Paris, OCDE, Septiembre. Kaiser, F.; Koelman, J. B. J.; Florax, R. J .G. M. y Van Vught, F. (1992) Public expenditure on higher education, London, Jessica Kingsley. Keller, G. (1998) The New Importance of Strategic Management at Universities. Ponencia presentada en el Seminario Universitat: Estatgies per avanar, Barcelona, UPC, Enero. Kells, H. (1993) The development of performance indicators for higher education. A compendium for twelve countries. Paris, OCDE: Layzell, D. (1998) Linking Performance to Funding Outcomes For Public Institutions of Higher Education: The U.S. Experience. European Journal of Education, 33, 1, 103-111. Layzell, D. T.; Caruthers, J. K. (1995) Performance Funding at the State Level: Trends and Prospects, ponencia presentada en la Annual Meeting of The Association for the Study of Higher Education, Orlando, Florida. Massy, W. F. y Hulfactor, Michael C. (1993) Optimizing Allocation Strategy. En P. G. Altbach y D. B. Johnstone (Eds.), The Funding of Higher Education. International Perspectives, New York, Garland. McDaniel, O. (1997) Les Establissements denseignement suprieur, peuvent-ils se passer de lintervention d letat? Gestion de lenseignement superieur, 9, 2, 129-149. Mora, J. G. (1997) Quality assessment in Spain: an on-going process, Higher Education Management, 9, 1, 59-70. Mora, J. G. y Villarreal, E. (1995) New financial relationships between the administration and universities: the Valencian case, Higher Education Management, 7, 3, 297-307. Mora, J. G. y Vidal, J. (1998) Introducing Quality Assurance in Spanish University. En J. Gaither (Ed.), Quality Assurance in Higher Education, New Directions on Institutional Research, San Francisco, Jossey-Bass. Neave, G. y van Vught, F. (1991) Prometheus Bound, Oxford, Pergamon. Neave, G. y van Vught, F. (1994 ) Government and Higher Education Relationships Across Three Continents: The Winds of Change , Oxford, Pergamon. OCDE (1990) Financing Higher Education: Current Patterns, Paris, OECD. OCDE (varios aos) Education at a Glance. OECD Indicators. Paris, OECD.

Pea, D. (1998) Calidad total en las universidades. Ponencia presentada en el Seminario Universitat: Estatgies per avanar, Barcelona, UPC, Enero. Pollitt, Christopher (1987) The Politics of Performance Assessment: lessons for higher education?. Studies in Higher Education, 12, 1, 87-98. Sizer, J. (1982) Assessing institutional performance and progress. En Leslie Wagner (Ed), Agenda for institutional change in higher education . Guildford, UK, Society for Research in Higher Education. Sizer, J. (1990) Funding Councils and Performance Indicators in Quality assessment in the United Kingdom. En Goedegebuure, L. C. J.; Maassen, P. A.M.; Westerheijden, D. F. (Ed.), Peer Review and Performance Indicators. Utrecht, Uitjeverij Lemma. Existe versin castellana en De Miguel, M.; Mora, J. G.; Rodrguez, S. (Eds.) La evaluacin de las instituciones universitarias, Madrid, Consejo de Universidades, 1991. Taylor, B. E.; Massy, W. F. (1996) Strategic Indicators for Higher Education. Pricenton, Petersons. Teeter, D. J. y Lozier, G. G. (Eds.) (1993) Pursuit of Quality in Higher Education: case Studies in Total Quality Management, New Directions for Institutional Research, San Francisco, Jossey-Bass. UNESCO (1995) Documento de Poltica para el Cambio y el Desarrollo en la Educacin Superior, Pars, UNESCO. UPC (1997) Contracte Programa 1997-2000. Barcelona: UPC. Vroeijenstijn, A. I. (1995) Improvement and accountability: Navigating between Scylla and Charybdis. London, Jessica Kingsley. Weert, E. de (1990) A macro-analysis of quality assessment in higher education. Higher Education, 19, 57-72. Williams, G. (1986) The Missing Bottom Line. En G. C. Moodie (Ed), Standards and Criteria in Higher Education. Guilford, UK, Society for Research into Higher Education. Williams, G. (1992) Changing Patterns of Finance in Higher Education, Buckingham, UK, SRHE. Williams, G. (1995) The marketization of higher education: reforms and potential reforms in higher education finance, en D. Dill y B. Sporn (Eds.), Emerging Patterns of Social Demand and University Reform: Through a Glass Darkly. Oxford, Pergamon. Winter, R. S. (1998) El viaje de la calidad: Lo que he visto, odo y aprendido. Ponencia presentada en el Seminario Universitat: Estatgies per avanar, Barcelona, UPC, Enero. World Bank (1994) Higher education: The Lessons of experience. Development in practice, Washington, D. C., World Bank.

También podría gustarte