La Universidad del Futuro

Indicadores de calidad en la evaluacin del profesorado universitario

Antonio Pulido San Romn Junio 2005 Madrid

Instituto L.R. Klein, Universidad Autnoma de

La Universidad del Futuro

RESUMEN

Los indicadores de calidad afectan no slo a los profesores directamente evaluados, sino que marcan los rasgos que deseamos para la universidad del futuro. Decidir la ponderacin relativa que debe darse a las actividades educativas o de investigacin es una cuestin clave, sobre todo cuando esta ltima se mide por algn indicador parcial.

Se revisa cul es el papel de la I+D universitaria en el proceso de innovacin y en el desarrollo de la sociedad del conocimiento. Se comentan diversos indicadores de calidad para la evaluacin de profesores universitarios y algunas de sus limitaciones, en particular en el campo de las ciencias sociales y, especialmente, en economa y administracin de empresas.

Palabras clave: Poltica cientfica, evaluacin universidad Clasificacin JEL: I23, I28, 031

ABSTRACT

Quality indicators not only affect to directly assessed teachers (professors), they also show us the desired features of the future university. Deciding the relative consideration that must be given to research and educational activities is the key question, above all when research is measured by a partial indicator.

The role that university R+D plays in the innovation process and development of knowledge society is revised. There is a discussion about different quality indicators useful for the assessment of university teachers and their limitations, in special at the field of social sciences, specially economics and business management.

Key Words: Scientific Policy, University assessment Classification: JEL: I23, I28, 031
2

La Universidad del Futuro

1.- Importancia de la seleccin de indicadores y su ponderacin

La clebre novela de Aldous Huxley, Un mundo feliz, recrea un planeta, en el ao 600 de la Era Fordiana, dirigido por Diez Interventores Mundiales y perfectamente organizado por castas intelectuales, desde los alfas y los betas hasta los gammas, deltas y epsilones. Todo dependa de la seleccin de embriones y de los ingredientes aadidos en el proceso de decantacin. Los Directores de Predestinacin, decidan el futuro de cada vulo en la Sala de Predestinacin Social. Sabemos que los Alfa-Ms eran los que estaban destinados a las ms altas responsabilidades intelectuales; posiblemente seran como los Premios Nobel de nuestro mundo. Muchos de los Alfa posiblemente seran profesores universitarios que estaran clasificados, a su vez, segn su destino prefijado, desde los full professor de seis estrellas hasta los becarios asistentes de los colaboradores.

Sin necesidad de caer en los excesos de ese mundo husleiriano, podemos aun imaginarnos una universidad utpica en que todos sus integrantes ejercen su funcin con competencia y responsabilidad, guiados exclusivamente por los intereses de la sociedad a la que sirven. Los profesores se han seleccionado entre los candidatos ms competentes y su carrera hacia puestos de mayor responsabilidad se realiza con criterios objetivos sobre su capacidad y esfuerzo. Los alumnos estn vocacionalmente dedicados a sus carreras. Los profesores reparten su tiempo entre sus atenciones docentes y una labor investigadora, que repercute tanto en su capacidad de enseanza como en su aportacin de nuevos conocimientos a la sociedad en su conjunto. Los responsables de la poltica universitaria tienen como gua de trabajo la mejora del sistema formativo y de investigacin.

A nadie se le escapa que la Universidad (en cualquier pas y en cualquier momento) est muy lejos de esa situacin idlica. Como deca Nicols Maquiavelo, en su dedicatoria a Lorenzo de Mdicis de El prncipe, no puedo ofreceros mayor regalo que el conocimiento instantneo de lo que tantos aos y peligros me ha costado aprender.

La Universidad del Futuro

Empecemos por reconocer que los funcionarios y contratados universitarios (directivos, profesores o personal administrativo) tienen sus propios intereses, lo que no debiera escandalizar a ningn economista mnimamente versado en public choice: segn esta teora la burocracia, a sus diferentes niveles, promueve polticas que les convienen. No es que no estn dispuestos a hacer algn sacrificio por el bienestar pblico; pero sus actuaciones estn claramente condicionadas por sus propios intereses.

En particular, es razonable pensar que todo profesor universitario est preocupado por su prestigio, su promocin acadmica, su estabilidad laboral y por maximizar su satisfaccin con la actividad realizada. Las reglas que se establezcan para medir el prestigio y potenciar la carrera acadmica de un profesor sern, por tanto, el campo de lucha en que tienen que medirse los diferentes candidatos a los recursos limitados de los que dispone la Universidad.

Por tanto, la discusin sobre los indicadores de calidad de la actividad de un profesor universitario y su ponderacin relativa, est necesariamente rodeada de defensa de intereses personales y de grupo.

En el momento de la implantacin de un sistema de indicadores de calidad, los profesores se encuentran con una evaluacin que los sita en esa carrera por el prestigio y la promocin acadmica. Quien est iniciando su actividad como profesor, dispone de una gua de actuacin futura. Aquellos profesores con ms antigedad descubren, de repente, cul es el valor que se atribuye a sus esfuerzos acumulados de docencia, investigacin o participacin en otras actividades de gestin universitaria o colaboracin con la sociedad. Una vez establecidos y consolidados los criterios de calidad, se est marcando el camino que deben seguir los profesores para alcanzar el xito; es decir, estamos diseando la universidad ideal que deseamos en el futuro.

En resumen, el sistema que se establezca de indicadores de calidad va mucho ms all de suministrar una informacin til y unas reglas de juego:

La Universidad del Futuro

condiciona el futuro de los profesores implicados y establece la Universidad hacia la que queremos ir.

Todos somos conscientes de que la primera gran decisin consiste en determinar el peso que, en la actividad de un profesor universitario, deben tener docencia e investigacin. Creo que nadie pone en cuestin que un buen profesor universitario tiene que tener la doble faceta de docente e investigador. Sin docencia de calidad, incumplira la funcin esencial para la que la Universidad ha sido concebida. Sin investigacin de calidad, el profesor se quedara en un mero repetidor de recetas cada da ms atrasadas y la sociedad, en su conjunto, se resentira al carecer de su liderazgo innovador.

Personalmente, no creo, por tanto, en la dicotoma entre Universidad-docente y Universidad-investigadora. Nadie debiera dudar de que la investigacin cientfica es consustancial con la propia existencia de la Universidad. Con palabras de Ortega y Gasset (Misin de la Universidad, 1933): Una atmsfera cargada de entusiasmo y esfuerzos cientficos es el supuesto radical para la existencia de la Universidad... La ciencia es la dignidad de la Universidad; ms aun es el alma de la Universidad, el principio mismo que le nutre de vida e impide que sea slo un vil mecanismo.

Pero pasarse en la dosis investigadora tambin puede resultar peligroso. Hace ms de 70 aos deca tambin Ortega que ha sido desastrosa la tendencia que ha llevado al predominio de la investigacin en la Universidad al descuidar tanto la educacin de profesionales como la trasmisin de la cultura, en su sentido ms amplio. Aun podramos aadir, con una visin ms adaptada a nuestros tiempos, la necesidad de tener en cuenta el objetivo de socializacin y desarrollo de capacidades de sus estudiantes, adems del de compromiso con la sociedad. Poner por delante de los restantes objetivos la investigacin, puede conducir incluso a deformar la tarea de los profesores universitarios, con efectos perniciosos sobre la formacin de capital humano. Confundir excelencia universitaria con excelencia investigadora es un desenfoque que todos debiramos tratar de evitar.

La Universidad del Futuro

Sin embargo, hay una cierta justificacin para que la excelencia investigadora se haya convertido, incluso a escala mundial, en el signo clave de prestigio personal e institucional.

Por una parte, parece ms fcil medir la calidad investigadora que la calidad docente; es decir, admitiendo que un profesor universitario tiene que hacer docencia e investigacin, el criterio discriminante ms evidente de calidad (no de cantidad) estara en la investigacin.

Por otra parte, la excelencia investigadora conlleva prestigio de las universidades a la que pertenecen los profesores ms renombrados y, como consecuencia, son un atractivo para reclutar los mejores estudiantes y, por tanto, para destacar tambin por una enseanza de calidad o, al menos, para futuros triunfadores.

En los cuadros 1 y 2 adjuntos he incluido una relacin de las 20 universidades consideradas como ms prestigiosas en el mundo (Academic Ranking of World Universities) y los criterios y pesos utilizados. Como puede verse, casi todos los indicadores son de calidad investigadora, incluso los referidos a calidad de la educacin, que se mide por los alumnos que han ganado algn Premio Nobel u otras distinciones en su campo de saber.

Adems de servir de criterio discriminante para la excelencia del profesorado y prestigio institucional, la investigacin universitaria cuenta con un importante respaldo poltico-social como consecuencia del papel que los esfuerzos en I+D+i se admite que tienen sobre el desarrollo de una sociedad. Sin embargo, se entremezclan consideraciones correctas acerca del papel crucial que tiene la innovacin, el progreso tecnolgico y el conocimiento sobre el crecimiento econmico de un pas, con algunas ideas confusas sobre contenido y estrategia de la investigacin universitaria. A este tema dedicaremos el siguiente epgrafe.

La Universidad del Futuro

Cuadro 1 Worlds top 20 universities World Ranking 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

University
Harvard Stanford (California) Cambridge University of California-Berkeley MIT California Institute of Technology Princeton Oxford Columbia Chicago Yale Cornell University of California-San Diego Tokyo Pennsylvania University of California- Los Angeles University of California-San Francisco Wisconsin-Madison Michigan-Ann Arbor Washington-Seattle US US UK US US US US UK US US US US US

Country

Japan US US US US US US

Fuente: Academic Ranking of World Universities, 2004

La Universidad del Futuro

Cuadro 2 Ranking Criteria and Weights Criteria Quality Education of

Indicator
Alumni of an institution winning Nobel Prizes and Field Medals Staff of an institution winning Nobel

Weight 10%

Quality Faculty

of

Prizes and Field Medals Highly cited researchers in 21 broad subject categories Articles published in Nature and Science

20%

20% 20%

Research Output

Articles

in

Science

Citation

Index20%

expanded and Social Science Citation Index

Size Institution

of

Academic performance with respect to the size of an institution

10% 100%

Total
Fuente: Academic Ranking of World Universities, 2004

La Universidad del Futuro

2.- El largo camino de la I+D a la innovacin

Crear ciencia no es un objetivo en s mismo para una sociedad. Pero el conocimiento cientfico es un requisito para la innovacin; y la innovacin es un instrumento decisivo para potenciar el desarrollo econmico y social. Como consecuencia, la poltica cientfica no debiera tratar la promocin de la ciencia como una accin aislada, sino que es necesario que quede plenamente integrada en el conjunto del sistema socioeconmico. Solo en este contexto puede entenderse el papel de la investigacin universitaria. Por ello, admitir la exigencia radical de la investigacin cientfica universitaria, no puede llevar ni a poner exclusivamente la Universidad al servicio de la ciencia, ni a confundir poltica universitaria con poltica cientfica.

El primer paso que se exige para disear una poltica cientfica equilibrada es reconocer que la investigacin trasciende al mundo universitario para integrarse en una amplia red de centros pblicos y privados de investigacin. Con datos comparables (cuadro 3), las instituciones de enseanza superior aportan un 15% de los investigadores de EEUU, un 36% en el conjunto de la UE-25 y un 59% en Espaa (53% segn los ltimos datos disponibles, referidos al 2003). Los investigadores en empresas son amplia mayora en EEUU (81%), casi la mitad en la UE (47%) y uno de cada cuatro en Espaa (24% en 2001, que se ha elevado hasta 30% en 2003). Cuadro 3
Investigadores por sector institucional (equivalentes a jornada completa, datos para 2001) Porcentaje por sector Empresa Espaa UE-25 EE.UU. 23,7 47,3 80,5 Educacin Gobierno 16,7 14,5 3,8 Superior 58,6 36,0 14,7 80.081 1.084.726 1.261.227 Total investigadores Tasa crecimiento anual 1996-2001 9,2 3,7 4,3 de

Fuente: Comisin Europea, DG Research (2003). Key Figures 2003-2004 9

La Universidad del Futuro

Estimular y coordinar esfuerzos de ese amplio entramado de instituciones investigadoras es el objetivo bsico de la poltica cientfica de cualquier pas, que se concreta en los planes nacionales y regionales de I+D+i, con la i de innovacin aun ocupando, en muchos casos, un papel secundario respecto a la I de investigacin, matizada por el desarrollo de procesos y productos.

En el cuadro adjunto se incluyen los doce objetivos estratgicos del Plan Nacional de I+D, 2004-2007. Los cinco primeros tienen relacin directa con el desarrollo del propio sistema de ciencia y tecnologa, los tres siguientes con la coordinacin de acciones del sector pblico y los cuatro ltimos con el fomento de la competitividad empresarial.

10

La Universidad del Futuro

Cuadro 4 Objetivos estratgicos del PN de I+D (2004-2007) Sistema espaol de ciencia-tecnologa-empresa 1. Incrementar el nivel de la ciencia y la tecnologa espaolas, tanto en tamao como en calidad. 2. Aumentar el nmero y la calidad de los recursos humanos, tanto en el sector pblico como en el privado. 3. Fortalecer la dimensin internacional de la ciencia y la tecnologa espaolas, con especial referencia al Espacio Europeo de Investigacin e Innovacin. 4. Potenciar el papel del sistema pblico en la generacin de conocimiento de carcter fundamental. 5. Mejorar la visibilidad y comunicacin de los avances de la ciencia y la tecnologa en la sociedad espaola. Coordinacin del sistema 6. Reforzar la cooperacin entre la Administracin General del Estado y las CCAA y, en particular, mejorar la coordinacin entre el PN de I+D+i y los planes de I+D+i de las CCAA. 7. Mejorar la coordinacin entre los rganos de gestin del PN, as como perfeccionar los procedimientos de evaluacin y gestin del PN. 8. Impulsar la cooperacin y coordinacin entre las instituciones del sector pblico de I+D. Competitividad empresarial 9. Elevar la capacidad tecnolgica e innovadora de las empresas. 10. Promover la creacin de tejido empresarial innovador. 11. Contribuir a la creacin de un entorno favorable a la inversin en I+D+i. 12. Mejorar la interaccin, colaboracin y asociacin entre el sector pblico de I+D y el sector empresarial.
Fuente: CICYT (2003).

Es generalmente reconocido que el esfuerzo en I+D en Espaa est por debajo del que le corresponde. Segn los datos ms recientes (INE, Estadsticas sobre actividades en I+D 2003, noviembre 2004) el gasto realizado en I+D se
11

La Universidad del Futuro

estima en algo ms de los ocho mil millones de euros, el 1,1% del PIB a comparar con el 2% para el conjunto de la UE25 (3% como objetivo de la Agenda de Lisboa para el 2010) o el 2,8% de EEUU. En esa cifra est incluida, segn las normas metodolgicas utilizadas por la encuesta, la investigacin y el desarrollo experimental (I+D), que comprende el trabajo creativo llevado a cabo de forma sistemtica para incrementar el volumen de conocimientos, incluido el conocimiento del hombre, la cultura y la sociedad, y el uso de esos conocimientos para crear nuevas aplicaciones (Manual de Frascati).

En todo caso, si medimos la eficacia del gasto en I+D en nmero de publicaciones cientficas internacionales recogidas en el SCI (Science Citation Index) u otros ndices internacionales similares, la productividad de nuestros investigadores es sorprendentemente elevada, a pesar del reconocido sesgo hacia publicaciones en ingls, como idioma cientfico universal.

La cuota que le corresponde a Espaa por gasto en I+D o nmero de investigadores se supera ampliamente en publicaciones cientficas internacionales. Con un gasto en I+D sobre el PIB de casi la mitad de la UE-15 y algo menos del 40% de EEUU, la produccin cientfica, relativizada al nmero de habitantes de cada pas, es en Espaa slo el 16% inferior a la del conjunto de la UE-15 y del orden de tres cuartas partes del nivel en EEUU. Si se tiene en cuenta el gasto relativo, incluso nuestro pas estara por encima del promedio UE-15 o de EE.UU.

12

La Universidad del Futuro

Cuadro 5

Rendimiento del esfuerzo en I+D medido a travs de publicaciones internacionales

Espaa UE15 Nmero de publicaciones internacionales por milln de habitantes (% variacin 1995-2002) Gasto en I+D (% s/PIB) ndice de rendimiento (Publicaciones por habitante por cada 1% de PIB invertido) Gasto por investigador (miles de euros) ndice de rendimiento corregido por el gasto por investigador (EEUU=100)
Fuente: Elaboracin propia a partir de datos de la Comisin Europea (2004), Towards a European Research rea. Science, Technology and Innovation. Para Espaa los datos de gasto e investigadores estn actualizados a 2003 a travs de la Estadstica sobre actividades I+D del INE.

EEUU

567 (4,3) 1,10 515 89 376

673 (2,1) 1,98 340 171 129

774 (0,7) 2,76 280 182 100

Aunque los planteamientos ms actuales de un sistema de I+D+i son mucho ms amplios y complejos que los tradicionales, an hay participantes en este sistema (responsables polticos, gestores o investigadores de base) que siguen razonando en trminos de un esquema lineal que se inicia en la investigacin (principalmente de carcter bsico) y termina en la innovacin.

Gasto en I+D

Inven cione s

Adaptaci n empresari al

Innovacin de productos procesos y

13

La Universidad del Futuro

Con este planteamiento, si deseamos ms innovacin la solucin es inmediata: incrementar el esfuerzo en I+D y, con fondos pblicos, la forma ms razonable es aumentar la investigacin en la Universidad. Como principal, y casi nico, requisito para el xito de la operacin: comprobar que el esfuerzo da unos resultados de calidad, medidos por la publicacin en las revistas cientficas internacionales de impacto reconocido.

Frente a este planteamiento simplista es preciso revindicar un complejo ecosistema de la innovacin, en que la I+D es solo una (aunque imprescindible) de las variadas fuentes de la innovacin; y las publicaciones cientficas internacionales, uno ms de los indicadores de resultados del esfuerzo en I+D+i.

De hecho, la Direccin General de Empresa de la Comisin Europea (2002) en un estudio sobre nuevos enfoques en la poltica de la innovacin (Innovation Tomorrow. Making innovation an integral part of the broader structural agenda) diferencia tres sucesivas y perfeccionadas generaciones en poltica cientfica:

Primera generacin: El desarrollo de las innovaciones se basaba en una idea lineal: el proceso comienza con el trabajo en el laboratorio y avanza a travs de diferentes etapas hasta que se encuentra una aplicacin empresarial. Segunda generacin: El proceso se vuelve ms complejo, con ms coordinacin y retroalimentacin entre las diferentes etapas dentro de un sistema de innovacin en que importa tanto la creacin como la difusin de innovaciones. Tercera generacin: Coloca a la innovacin en el centro de las acciones polticas para conseguir una economa basada en el conocimiento: Investigacin, Educacin, Competencia, Poltica Regional, etc.

Aparte de los resultados de la I+D, la innovacin en procesos, productos o pautas de comportamiento y organizacin, muchas veces proviene de nuevas ideas (no necesariamente producto de un proceso cientfico de investigacin); de la difusin de innovaciones ya existentes; del conocimiento incorporado en la compra
14

La Universidad del Futuro

de nuevos materiales o equipo productivo; de la adquisicin de propiedad intelectual en cualquier otro pas, etc.

Cualquier economista sabe bien que el crecimiento econmico de un pas en un ao determinado no tiene, prcticamente, relacin alguna con el gasto en I+D que dicho pas realice en los aos inmediatamente anteriores. Por una parte, est el largo camino temporal que lleva del conocimiento cientfico a la aplicacin al mundo real. Por otra, las mltiples prdidas por conocimiento no utilizado, que se ha quedado obsoleto antes de aplicarse o que no ha tenido una mnima aceptacin por sus utilizadores potenciales. Pero, adems de todo lo anterior, est el impacto en el crecimiento de la innovacin introducida a travs de las otras mltiples fuentes de conocimiento: capital productivo, patentes adquiridas, royalties por utilizacin de innovaciones externas, nuevas ideas surgidas de la cooperacin con proveedores y clientes o de una reorganizacin empresarial, etc. La suma de todos estos factores de innovacin, junto con la I+D+i de aos anteriores que haya conseguido introducirse en el sistema productivo, son el autntico capital de conocimientos que condiciona a corto, medio y largo plazo la potencialidad de crecimiento econmico de un pas.

En los ltimos aos, hay un acuerdo creciente entre los responsables de las polticas pblicas en referirse al tringulo del conocimiento (educacin, investigacin e innovacin). Con algunas confusiones y contradicciones, va consolidndose una base comn que vincula necesariamente la investigacin con sus implicaciones econmico-sociales y con la educacin y otros condicionantes de la mejora general de conocimientos y la innovacin entendida en un amplio sentido.

15

La Universidad del Futuro

Cuadro 6
Indicadores seleccionados por la UE para medir y comparar entre pases una economa basada en el conocimiento I. Indicadores de esfuerzo I.1.-Gasto total en I+D I.2.-Nmero de investigadores I.3.-Nuevos doctores en Ciencia y Tecnologa I.4.-Gasto total en educacin I.5.-Aprendizaje de por vida I.6.-Gobierno government) I.7.-Formacin Bruta de capital fijo (excluida construccin) II. Indicadores de rendimiento II.1.-PIB por hora trabajada II.2.-Patentes II.3.-Publicaciones cientficas II.4.-Comercio electrnico II.5.-Tasa de xito escolar Aspecto detectado Productividad Rendimiento I+D Rendimiento I+D Resultado informacin Efectividad del sistema educativo Fuente: Comisin Europea, DG Research. Key Figures 2003-2004 de las infraestructuras de la electrnico (E-

Aspecto detectado Creacin del conocimiento Creacin del conocimiento Creacin del conocimiento Creacin y difusin del conocimiento Difusin del conocimiento: capital humano Difusin del conocimiento: infraestructura de la informacin Difusin del conocimiento: nuevas tecnologas incorporadas

Mas all de los indicadores seleccionados (siempre discutibles), hay dos aspectos relevantes en esta eleccin. Uno, es el reconocimiento explcito de que el conocimiento (y, por tanto, la innovacin) se obtiene de fuentes muy diversas, una de las cuales es el esfuerzo en I+D, pero donde tambin juega un papel esencial todo lo vinculado con la educacin como aportacin a la creacin del conocimiento (formacin de investigadores, doctores, ...) y las diferentes vas de difusin del
16

La Universidad del Futuro

conocimiento (formacin y aprendizaje en general, infraestructuras de la informacin, progreso tecnolgico incorporado). Un segundo aspecto destacable es la necesidad de vincular esfuerzo con rendimiento y medir este ltimo con diversas unidades. La eficacia del sistema de I+D va ms all de las publicaciones cientficas y, al menos, debe considerar la capacidad para transformarlo en patentes. Pero tambin hay que evaluar el rendimiento de las inversiones en infraestructura o del sistema educativo. En ltimo trmino, no hay que olvidar los objetivos finalistas de la Agenda de Lisboa: productividad, competitividad, cohesin social y desarrollo sostenible.

En esa nueva sociedad del conocimiento, en que la innovacin permanente juega un papel central, las universidades constituyen una institucin bsica tanto por su aportacin en la formacin de las nuevas generaciones, como por su participacin en la educacin de por vida, la preparacin de nuevos investigadores o su importante contribucin al sistema de I+D+i.

Parece que existe un acuerdo creciente en que las universidades deben ser los actores principales en cuatro funciones claves:

Produccin de conocimiento mediante la investigacin Transferencia de conocimientos a travs de la educacin y el aprendizaje Diseminacin del conocimiento mediante publicaciones Explotacin del conocimiento con su aportacin a la innovacin de la sociedad de su conjunto.

La consecuencia inmediata de este enfoque es la necesidad de adaptar las universidades a estas exigencias de la sociedad, superando posibles

planteamientos inmovilistas o desenfoques sobre su papel en educacin e investigacin. Una reunin internacional convocada por la Comunidad Europea (abril 2004) sobre la universidad del futuro (The Europe of Knowledge 2020: A vision for University-based research and innovation) ha repasado siete temas claves: produccin de conocimiento, relacin entre educacin superior e investigacin,
17

La Universidad del Futuro

financiacin, relaciones entre universidades y regiones, gobierno de universidades, preparacin de investigadores y en busca de la excelencia.

De entre los mensajes clave para el futuro de las universidades podemos destacar los siguientes: La fortaleza del sistema europeo de investigacin depende de una nueva generacin de investigadores de alta calidad, cuya preparacin exige un cambio cultural. Las universidades deben plantear la formacin de investigadores hacia el exterior y no como carrera acadmica interna. El desarrollo de las competencias de los graduados universitarios requiere una atencin creciente en la doble direccin de prepararlos para los mercados laborales del futuro y adaptar los procesos de aprendizaje y adquisicin de competencias. Es importante fortalecer la relacin entre investigacin y educacin. Deben tomarse medidas para promover entornos que estimulen la transferencia de conocimientos, tales como redes, desarrollos

empresariales (spin-off), patentes y licencias. Dedicar una atencin especial a potenciar las relaciones entre universidad y empresa o sociedad.

En particular es importante insistir en que la investigacin universitaria no se limita al que se ha denominado conocimiento codificado, sino que existan al menos otros tres grandes tipos de productos en el largo camino que conduce de la creacin de conocimiento, a su difusin y explotacin final: (1) Conocimiento codificado: Artculos y otras publicaciones de y para la comunidad cientfica cuya calidad e importancia se determina en procesos de evaluacin por pares (peer review) y citas de otros investigadores. (2) Conocimiento incorporado al proceso formativo: La formacin de graduados, masters y doctorados necesita una corriente permanente de nuevos conocimientos que
18

puede

favorecer

una

investigacin

La Universidad del Futuro

universitaria que valore su aportacin a ese proceso formativo y no solo a la investigacin en s misma. (3) Conocimiento colectivo: Debe esperarse que la investigacin contribuya a la produccin de bienes colectivos, en campos tales como salud, medio ambiente, seguridad,... y tambin a la cultura y toma de decisiones colectivas, a travs de su participacin en empresas innovadoras, startup, think-tanks, fundaciones, etc. (4) Conocimiento transferido e impulso innovador: Relaciones con otros agentes innovadores a travs de contratos de investigacin, creacin de empresas spin-off, patentes, licencias,...

La universidad es una institucin clave en el proceso innovador de una sociedad del conocimiento. Precisamente por ello, su papel no se limita a proporcionar una educacin tradicional, formar investigadores para su carrera acadmica interna y desarrollar un conocimiento codificado de acceso restringido a la comunidad cientfica. Debe reforzarse su aportacin a la innovacin de la sociedad en su conjunto a travs de una investigacin que considere tambin sus repercusiones en el proceso formativo y su capacidad de utilizacin social, contribuyendo, adems, a la difusin de los nuevos conocimientos generados.

3.- Indicadores de calidad

En Pulido y Prez (2003) resumimos los principales resultados de un proyecto realizado para el Ministerio de Educacin y Ciencia sobre Evaluacin de la calidad docente e investigadora. Aparte de otras consideraciones tericas sobre el tema, la experiencia consisti en ponderar, por un grupo amplio de profesores que actuaban como expertos (151 en total), las distintas actividades que realiza un profesor universitario de entre una lista previa de 54 y evaluar, posteriormente, a diferentes profesores universitarios (222 en total). Aunque tanto la seleccin de expertos, como la de profesores a evaluar tienen elementos subjetivos y de oportunidad, la experiencia puede resultar indicativa para los objetivos buscados. El primer objetivo era conocer la ponderacin que se asignaba a las distintas actividades de un profesor y sus posibles discrepancias por campos de
19

La Universidad del Futuro

conocimiento. El segundo, detectar la profundidad de los cambios en la evaluacin relativa de los profesores segn la ponderacin que se adoptase.

Respecto al primer aspecto (vase cuadro 7 adjunto) pudimos comprobar que no exista una diferencia estadsticamente significativa por campos de conocimiento; que se valoraba prcticamente por igual docencia e investigacin; que dentro de la actividad docente se valoraban principalmente las clases, tutoras y elaboracin de material docente; que dentro de la actividad investigadora, los mayores pesos se asignaban a artculos en revistas internacionales y libros o captulos de libros cientficos (los de texto se valoraban como material docente).

Con relacin a la valoracin de profesores, pudimos comprobar la fuerte incidencia que en su ordenacin implicaba el tomar el conjunto de actividades (ponderada segn la propuesta de expertos), considerar slo la investigacin o restringir sta exclusivamente a publicaciones. Ms an, con los datos disponibles de la muestra se observaba una muy escasa relacin entre esfuerzo docente e investigador. La ordenacin, realizada con criterios mixtos de cantidad (nmero de horas de docencia, nmero de artculos, etc) y calidad (nota de encuesta a alumnos, nivel de la publicacin, etc), era muy diferente si se realizaba por separado para investigacin y docencia. Los profesores ms investigadores no eran precisamente los ms dedicados y valorados por su docencia (coeficiente de correlacin entre ordenaciones de 0,15), aunque con excepciones.

Nuestra principal recomendacin era que las Agencias de Evaluacin deberan considerar diversos aspectos de la actividad de un profesor a fin de evitar injusticias comparativas. Utilizar exclusivamente algn indicador aislado (aunque sea tan relevante como la publicacin en revistas internacionales de prestigio reconocido) implica una valoracin implcita a priori que debiera estar muy matizada, dada la distorsin que provoca.

20

La Universidad del Futuro

Cuadro 7
Ponderaciones de actividades seleccionadas Peso 1 nivel (sobre puntos) Investigacin Publicaciones Proyectos de investigacin Congresos Transferencia de resultados Formacin de investigadores Premios y distinciones 43 35 21 11 10 17 6 100 Docencia Clases y tutoras Programas y material docente Participacin docentes en actividades 43 58 28 14 100 Gestin Gestin investigacin Gestin docencia Otras tareas de gestin 14 44 40 16 100
Fuente: A. Pulido y J. Prez (2003), Propuesta metodolgica para la evaluacin de la calidad docente e investigadora: planteamiento y experimentacin

Peso 2 nivel (100 puntos por

100

apartado)

21

La Universidad del Futuro

En este sentido, el sistema de evaluacin utilizado por la ANECA en una primera etapa de unos dos aos y medio de duracin (desde el RD 1052/2002, BOE 12/10/02 hasta la Resolucin de la DGU, BOE 4/3/05) primaban de forma decisiva aquellas actividades en que se estableca un mnimo a superar necesariamente para conseguir una evaluacin positiva (principalmente artculos en revistas internacionales de impacto, estancias en universidades de prestigio y proyectos considerados como competitivos).

Las nuevas normas (Principios y orientaciones para la aplicacin de criterios de evaluacin) introducen cambios significativos. En primer lugar, no existen mnimos por tipo de actividad, sino una nota conjunta a superar. En segundo trmino, las actividades docentes se ponderan tambin de forma importante, aunque predomine ligeramente la importancia concedida a la investigacin. Como tercer aspecto, existe una tabla orientativa de puntacin para cada uno de los items considerados y para cada figura contractual y campo de actividad. Por ltimo existen orientaciones sobre el nivel necesario para alcanzar la puntuacin mxima en cada item.

22

La Universidad del Futuro

Cuadro 8
Tabla orientativa para la evaluacin de las figuras de PCD (Profesor Contratado Doctor) y PAD (Profesor Ayudante Doctor) en Ciencias Sociales y Jurdicas PCD 1.- Experiencia investigadora 1.A 1.B 1.C 1.D 1.E 1.F 1.G 2.2.A 2.B 2.C 2.D 3.3.A 3.B 3.C 4.Publicaciones cientficas Libros y captulos de libros Pueden valorarse conjuntamente Mx. 60 puntos 30 12 5 2 4 5 2 Mx. 30 puntos 17 3 3 7 Mx. 8 puntos 6 2 Mx. 2 puntos Mx. 26 puntos 12 9 5 Mx. 5 puntos 55 en total PAD Mx. 60 puntos 30 12 5 9 4 Mx. 9 puntos

Proyectos de investigacin + contratos de investigacin Transferencia de tecnologa Direccin de tesis doctorales Congresos, conferencias, seminarios Otros mritos Experiencia docente Amplitud, diversidad, intensidad, tipo Evaluaciones sobre calidad Formacin docente Material docente, proyectos innovacin docente Experiencia acadmica y profesional Formacin acadmica Estancias en otros centros Experiencia profesional Otros mritos

50 entre 1 y 2 55 en total Fuente: ANECA (2005), Principios y orientaciones para la aplicacin de criterios de evaluacin Total para evaluacin positiva

4.- Consideraciones adicionales sobre indicadores de calidad en el campo de la Economa y la Administracin de Empresas

El campo de las humanidades, ciencias sociales y jurdicas, en general, y de la economa, en particular, tiene algunas peculiaridades respecto a las ciencias experimentales, en particular en cuanto a canales y contenido de publicaciones, proyectos de investigacin y contratos con empresas o Administraciones Pblicas.

23

La Universidad del Futuro

El primer tipo de diferencias incluye las de tipo cultural, de hbitos de publicacin, canales disponibles y oportunidades alternativas. Hay razones explicativas (que no justificaciones interesadas) de por qu un economista publica menos artculos en revistas internacionales de alto impacto que un fsico, por ejemplo. Partimos de una situacin propia de campos cientficos con menor tradicin, menos globalizados, con escasez relativa de revistas que sigan patrones cientficos de seleccin de artculos y diversas alternativas de difusin de los conocimientos de sus profesores (libros, contratos de investigacin pblicos o privados, asesoramiento,...).

Sin embargo, esas diferencias pueden explicar niveles de partida, pero no constituyen razones vlidas para no caminar en la direccin correcta de una produccin cientfica con control de calidad y entroncada en los canales de difusin internacional. Habr que cambiar hbitos, adaptar canales de difusin y compatibilizar la publicacin en revistas o monogrficos internacionales con otras formas ms habituales de difundir y utilizar nuestros conocimientos.

Las revistas espaolas de economa y de administracin de empresas debern adaptarse a los patrones generalmente aceptados de calidad y, en particular, a la evaluacin annima por pares (peer review) de los artculos recibidos. Sabemos que no es procedimiento seguro para filtrar los artculos de mayor calidad, pero no se conoce otro mejor.

Lo razonable es corregir, en lo posible, los defectos potenciales de la evaluacin por pares (o los citation index) y, al mismo tiempo, no olvidar que cualquier indicador es slo una aproximacin parcial y a veces deformada de la realidad que trata de describir.

Trabajos sobre peer review, como el elaborado por Christian Seidl (2005), nos avisan de la posibilidad de rechazar artculos vlidos por prestar atencin preferente a que no pase ninguno que no lo merezca; de su discutible influencia en la mejora de los originales iniciales al coste de un retraso en su publicacin; del

24

La Universidad del Futuro

riesgo de que se retraigan los artculos con contenidos innovadores respecto a los ms tradicionales; de la posibilidad de favoritismo y discriminaciones. A pesar de los riesgos de existencia de clubs de apoyo mutuo, crculos de proximidad, multipublicacin de artculos con pequeas variantes, exceso de cientifismo que pueda enmascarar la simplicidad de algunas ideas con un aparato metodolgico innecesariamente complejo y de difcil comprensin,..., debemos apostar por publicaciones cientficamente controladas por nuestros pares en el conocimiento.

Pero si ha de defenderse un conocimiento codificado de calidad, que circule y se difunda entre los especialistas del mundo entero, no debe ser a costa de eliminar otras alternativas, tambin razonables, de difusin del conocimiento, que pueden tener una especial justificacin en las ciencias sociales.

Existe toda una tradicin en considerar que la ciencia y la investigacin cientfica corresponde, muy principalmente, al rea de las ciencias duras o experimentales, frente a las ciencias sociales y humanidades. Ms aun, el conocimiento cientfico se mide a travs de indicadores que inclinan la balanza hacia la innovacin en procesos o productos con una base fsica (patentes) o que tienen como destinatario final a otros miembros de la propia comunidad cientfica (revistas cientficas internacionales). La consecuencia no es slo que la financiacin pblica se encamine preferentemente hacia el conocimiento codificado, sino que, adems, slo cierto tipo de investigacin tenga un reconocimiento acadmico.

Merecen una reflexin especial las siguientes frases correspondientes al informe de la Comisin Europea (2004), The Europe of Knowledge 2020, sobre la innovacin en el sector servicios, que en las economas desarrolladas representa el 70% del Valor Aadido Bruto.

Hasta muy recientemente la innovacin en los servicios se ha sostenido en recursos internos de la empresa u organizacin que los ofreca. Esto est empezando a cambiar y las empresas en este sector empiezan a buscar recursos
25

La Universidad del Futuro

externos para la innovacin. Una observacin muy importante a este respecto es que los servicios se apoyan mucho ms en las ciencias sociales y humanidades que lo hace la industria. Las disciplinas acadmicas que soportan las manufacturas han tenido muchas dcadas de interaccin y evolucin en las que su relacin con las empresas ha cambiado para ofrecer un soporte efectivo. Este no ha sido el caso de las ciencias sociales y humanidades. Si las universidades apuestan por proporcionar un apoyo significativo al sector servicios, esto implica un cambio cultural interno importante. Si quieren aportar innovacin en servicios, estas disciplinas debern buscar una rpida produccin de resultados y nuevos modos de transmitirlos. Esto implica un cierto ajuste en los resultados y el estilo de la investigacin. La principal dificultad no est en hacer una investigacin de este tipo (aunque pueda ser un reto), sino ms bien en la percepcin de que esta investigacin no es de valor acadmico. La consecuencia de esta percepcin es que, dentro de estos campos, cualquier investigador universitario que haga este tipo de investigacin est cometiendo un error muy serio a efectos de su carrera acadmica. La investigacin hecha con rapidez, en respuesta a una cuestin especfica y no publicada en una revista acadmica o en un libro, no tiene valor para su reputacin y carrera (o posiblemente ser negativo). Peor todava, ello le quita tiempo de aquellas otras actividades que contribuyen a su carrera o a su prestigio. Hacer investigacin que apoye la innovacin externa slo puede daar las expectativas de un investigador para su promocin y prestigio dentro de la comunidad acadmica.

Esta situacin, que puede paralizar o, al menos, debilitar sensiblemente la aportacin del sistema de I+D+i a la innovacin en el sector servicios, fue analizada por los asistentes (cerca de 1.000 participantes y 120 expertos invitados) a la reunin internacional sobre una nueva universidad de futuro basada en la investigacin y la innovacin, organizada por la Task Force Universities de la DG Research (Lieja, abril 2004). Sus recomendaciones se concretaron en los siguientes puntos. Primero, y con carcter general, reforzar la produccin de investigacin bsica y la innovacin

26

La Universidad del Futuro

en el sector servicios, implicando a las universidades y atendiendo a la financiacin pblica, en particular para la innovacin en los servicios de carcter social.

Una segunda recomendacin es la necesidad de profundizar en la medida de la innovacin en el sector servicios, particularmente a travs de la creacin de bases de datos sobre investigacin e innovacin en este sector, aparte de cambios en el sistema de patentes que permita aceptar como tales nuevos mtodos de gestin empresarial u otros temas similares, como las innovaciones en software para ordenadores.

La tercera sugerencia se refiere a que las universidades reconozcan que junto a la investigacin, e incluso por delante de esta funcin, se encuentra su papel fundamental como institucin formativa. Precisamente porque los servicios son mucho ms dependientes de las interacciones productor-consumidor, la mayora de las innovaciones en servicios tienen lugar a travs de esta conexin. Los trabajadores implicados, tienen un importante papel en la propia innovacin y su formacin es una condicin vital para su xito.

Por ltimo, se propone una transformacin de la propia estructura universitaria que posibilite la investigacin multidisciplinar frente a la habitual investigacin por lneas de disciplinas acadmicas y acepte y promueva la investigacin bajo contrato en paralelo con la investigacin acadmica,

principalmente mediante institutos universitarios ad-hoc.

Entre otras implicaciones, parece que los proyectos y contratos de investigacin en economa y otras ciencias sociales no deben considerarse como prueba de calidad investigadora slo si se corresponden con los denominados proyectos competitivos, es decir los provenientes de fondos de investigacin que han sido seleccionados por expertos. En otros proyectos y contratos de investigacin, financiados con diversos fondos pblicos o privados, puede haber tambin una generacin de nuevo conocimiento, que es la exigencia razonable para valorarlos.

27

La Universidad del Futuro

En mi opinin, el proceso de evaluacin del profesorado en general y del profesorado de las ciencias sociales en particular debe posibilitar el que se alcancen simultneamente objetivos que no debieran nunca ser excluyentes. Investigar con estndares internacionales de calidad, nunca tendra que excluir la aplicacin y difusin del conocimiento, ni renunciar a la innovacin docente. La universidad no creo que deba verse como un centro de investigacin bsica, productora de un conocimiento codificado, encerrada en su torre de marfil, donde unos profesores-investigadores dan, con carcter complementario, algunas clases magistrales.

Mas bien entiendo la universidad como compuesta por profesores que complementan su actividad docente con dosis diversas de I + D + i, implicados en el desarrollo de capacidades de sus alumnos y en la difusin y aplicacin del conocimiento. La calidad en todo lo que realiza, debe ser un objetivo de cualquier profesor universitario, en busca de la excelencia. Pero calidad y excelencia pueden alcanzarse con proporciones diferentes de docencia/ investigacin, de investigacin bsica/ aplicada y de creacin/ difusin del conocimiento. Una Universidad moderna necesita combinar adecuadamente todos estos ingredientes y sus profesores deben seleccionar y promoverse con criterios de calidad no excluyentes.

28

La Universidad del Futuro

Referencias bibliogrficas

ANECA (2005), Principios y orientaciones para la aplicacin de criterios de evaluacin (disponible en www.aneca.es)

CICYT (2003), Plan Nacional de I+D, 2004-2007 Comisin Europea (2002), Innovation Tomorrow. Making innovation an integral part of the broader structural agenda

Comisin Europea (2004), The Europe of Knowledge 2020 Comisin Europea (2004), Towards Research Area. Science, Technology and Innovation

Pulido, A. y Prez, J. (2003), Propuesta metodolgica para la evaluacin de la calidad docente e investigadora: planteamiento y experimentacin. Cuadernos del Fondo de Investigacin Richard Stone, n 8. Instituto L.R. Klein.

Seild, Ch.; Schmidt, U. y Grsche, P. (2005) The performance of the peer review and a beauty contest of referee processes of economic journals. Estudios de Economa Aplicada, vol. 23-3, diciembre 2005.

29