DIMENSIONES DE LA CALIDAD DE LA ENSENANZA UNIVERSITARIA Miguel A. MATEO GARCIA y Juan FERNANDEZ SANCHEZ* Dpto. de Metodologia de las Ciencias del Comportamiento. *Dpto. de Psicologia Evolutiva y de la Educacién, Facultad de Psicologia. Universidad Complutense de Madrid El presente trabajo trata de mostrar los fundamentos empfricos de un especial desglose dimensional que se opera sobre el CEPUC (Cuestionario de Evaluacién del Profesorado de la Universidad Complutense) con el fin de facilitar Ia interpretacién de los informes valora- tivos de la calidad docente dirigidos a los distintos destinatarios. 585 estudiantes de ambos sexos de todos los centros y cursos de la Universidad Complutense de Madrid cumpliments- ron el instrumento de evaluacidn a finales del curso académico 1990/91 (meses de Abril y Mayo). Se realizaron andlisis de correlacién canénica, asi como andlisis de regresiGn y miiltiple, considerando como eriterio (individual y colectivamente) un conjunto de elementos insertos en el propio instrumento. Los resultados obtenidos parecen ir en conso- nancia con la propuesta inicial Palabras clave: Evaluacién de la calidad docente; Evaluacién de! profesorado univer- sitario; Evaluacién por los alumnos, Dimensions of University teaching quality. This article is meant to demostrate the empirical support given to a specific breakdown that is applied to the CUTEQ (Complutense University Teachers Evaluation Questionnaire) in order to make it easier for its recipients (professors) to facilitate the interpretation of the reports that assess the teaching quality, 585 students of both sexes and from all the Madrid Complutense University centres completed nt at the end of the academic course 1990/91 (on April and May). ysis as well as simple and multiple regression analysis were applied, and a set of five elements from the questionnaire itself were used as a criterion, Results obtained seem to be in accor Key words: Evaluation of teaching quality: Faculty assessment; Student’s evaluation. this evaluation instrun Canonical correlation a nce with the initial proposal Dentro de las multiples formas posi- bles de levar a cabo la evaluacién de la c lidad docente del profesorado (autoevalua- cidn, observacién en el aula, valoraci6n por parte de los compafieros, ete.), la que mues- tra un corpus mas abundante de investiga cin y la que goza de un mayor consenso entre la comunidad de investigadores en este campo es, sin duda alguna, !a realizada Psicothama, 1999, vol. 5, n° 2, 9p. 265-275. ISSN 0214- 9915 CODEN PSOTEG por los alumnos a través de cuestionarios (Marsh, 1987). En una buena parte de los casos, estos cuestionarios son sometidos a una serie de andlisis (frecuentemente andli- sis factoriales de tipo exploratorio y en con- tadas ocasiones de caracter confirmatorio) gracias a los cuales se determinan las prin- cipales propiedades formales de los mis- mos, E] que hasta el momento presenta una mayor cantidad de estudios empiricos ten- 265MIGUEL A. MATEO GARCIA y JUAN FERNANDEZ SANCHEZ dentes a establecer y fundamentar estas pro- piedades. principalmente todo lo refetido a la dimensionalidad, es, en el Ambito inter- nacional, e! SEEQ (Students’ Evaluation of Educational Quality) de Marsh (1982, 1987; Marsh y Hocevar, 1991). En nuestro pats, el CEPUC (Cuestionario de Evaluacién del Profesorado de la Universidad Complu- tense), en sus diversas formas (completa y reducida), es un instrumento que viene reci- biendo una considerable atencién, habiendo sido objeto de un sustancial nimero de and- lisis empiricos para poner a prueba tanto su fiabilidad (consistencia interna) como su di- mensionalidad (Angulo, Fernandez y Mar- tinez, 1987; Fernandez y Mateo, 1992: Mateo y Fernandez, 1992) En el presente trabajo se pretende dar un paso més, encaminado a ofrecer algunas posibles bases empiricas para un especial desglose realizado sobre la dimensionalidad de este iiltimo cuestionario con objeto de optimizar la claridad de la devolucién de la informacién valorativa a las correspondien- tes unidades de andlisis evaluadas: profesor, departamento, centro, tipo de centro y uni- versidad en cuanto tal. METODO Sujetos Los datos utilizados se han obtenido, de un modo colectivo y confidencial, en una muestra formada por 585 estudiantes de ambos sexos de la Universidad Complu- tense de Madrid, Esta muestra fue seleccio- nada aleatoriamente de la poblacién de los estudiantes que tomaban parte en el pro- grama de evaluaci6n de Ia calidad de la en- sefianza en dicha institucién durante el curso académico 1990/91. Se ha cuidado el que en la composicién de la muestra estu- viesen representados proporcionalmente los diversos tipos de centro (facultades experi- mentales, no-experimentales y escuelas universitarias), asf como los distintos cur- 266 sos. Asimismo, y dado que la unidad de aniilisis considerada ha sido la evaluacién (“cruce” profesor-alumno), se ha procurado que no apareciese mas de una evaluacién realizada por un mismo alumno. Instrumento El instrumento empleado ha sido la version reducida del CEPUC que aparece en Fernandez y Mateo (1992) y Mateo y Fernandez (1992), y que ha sido empleada en la evaluaci6n de la calidad docente He- vada a cabo en los tiltimos afios en la Uni- versidad Complutense. Dado que el obje- tivo propuesto es encontrar apoyo empirico para cierto ntimero de subdimensiones de la calidad de la ensefianza que presumible- mente se encuentran contenidas en los dos factores recogidos en el mencionado instru- mento, convendrd establecer aqui cuales son: 4) Estilo docente (N1), conformada por los elementos ntimeros 1, 4, 10, 13 y 15 b) Estructuracién de los contenidos (N2), conformada por los elementos niimeros 7, 8 y9 ¢) Claridad expositiva (N3), conformada por los elementos mimeros 12, 14 y 16. d) Competencia académica (N4), confor mada por los elementos nimeros 18 y 19. Estas cuatro subdimensiones 0 niicleos te6ricos significativos constituyen conjun- tamente la mayor parte del Factor I, deno- minado Competencia docente mostrada. €) Habilidades motivacionales y de inte- raccién (NS), conformada por los elementos ndimeros 2, 3, 5, 6 y 17 Este nticleo teérico se superpone total- mente con el Factor II del mismo nombre. Adicionalmente, se van a tener en cuenta otras dos subdimensiones no conte- nidas en el cuestionario propiamente dicho (definido por los 22 elementos que confor- man las dos dimensiones basicas de éste), que inciden de una forma més indirecta en la calidad docente y que son utilizadas cada Psicothema, 1993DIMENSIONES DE LA CALIDAD DE LA ENSENANZA UNIVERSITARIA curso académico en la devolucién de a in- formacién al profesorado: f) Requisitos docentes (N6), conformada por los elementos ntimeros 20, 21 y 25. g) Ecuanimidad evaluadora (N7), confor- mada por los elementos ntimeros 22, 23 y 24, Finalmente, se tiene en consideracién un tiltimo bloque, formado por los elemen- tos nuimeros 11, 26, 27, 28 y 29 (de éllos, los nuimeros 11, 26, 28 y 29 forman parte del Factor I mas arriba aludido, mientras que el nimero 27 es empleado como crite- rio general). Este conglomerado no es de una naturaleza comparable a la de los siete anteriormente referidos, pues se trata de un conjunto mas © menos homogéneo de cinco elementos de control 0 ponderativos, pu- diendo tomarse, juntos o por separado, como criterio “externo” de referencia para las distintas dimensiones o subdimensiones del cuestionario. Andlisis de datos Con los andlisis de datos Hevados a cabo se pretende, a través del “enfrenta- miento” del citado bloque de control con los restantes nticleos tedricos, un doble objetivo: a) tratar de comprobar si los siete nu cleos tedricos aportan realmente algo, tanto conjuntamente como por separado, a la hora de dar cuenta de la calidad docente: b) intentar corroborar si los cinco ele- mentos constituyentes del blogue de control pueden considerarse como definidores de terio general de calidad docente. un ct Con esta finalidad se han utilizado dos tipos de andlisis, Por una parte, andlisis de correlacién canénica, considerando el blo- que de control como conjunto criterio y el resto de elementos del CEPUC como con- junto predictor (para ello se ha empleado el programa IM del paquete estadistico BMDP -Dixon, 1988). Por otra parte, andlisis de re- gresion, simple y multiple, con objeto de Psicothema, 1999 apoyar y matizar los resultados encontrados por medio de los anteriores (en esta ocasién se ha empleado el programa 2R del paquete estadistico BMDP). A la hora de interpretar los andlisis de correlacién can6nica se han tenido en cuenta las siguientes cuestiones (siguiendo a Kuylen y Verhallen, 1981, y Thompson, 1985, entre otros): — las variables can6nicas: combinacio- nes ponderadas de componentes del conjunto criterio y del conjunto predictor que hacen mé- xima la correlacién entre los dos constructos hipotéticos subyacentes a cada uno de ellos. — las correlaciones canénicas (R,) indicadores del grado de relacién entre cada variable can6nica asociada al conjunto cri- terio y la correspondiente asociada al con- junto predictor. Sus valores elevados al cua- drado (autovalores de las variables canéni- cas) representan la proporcién de la va- rianza de la variable canénica asociada al conjunto criterio que es compartida con la asociada al conjunto predictor. — los coeficientes canénicos (w;, coe- ficientes de funcién): indicadores de la im- portancia que presenta cada variable de cada conjunto (criterio y predictor) a la hora de maximizar la correlacién entre ambos. Estos coeficientes permiten definir Jas puntuaciones en las variables candnicas. — las saturaciones candnicas (sj, coe- ficientes de estructura): su papel fundamen- tal es servir para la interpretacidn de las va- riables canénicas. Representan la correla- cidn entre una variable empfrica y una va- riable candnica, informando asf de 1a apor- tacién de aquélla a la definicién de ésta. — los coeficientes de adecuacién de las variables canénicas (R2y): indicadores de la cantidad de varianza émpfrica repr sentada por cada variable candnica en cada uno de los dos conjuntos (R2y = (Suma 2;)/n, n: ntimero de variables empiricas que conformen la variable can6nica consi- derada). 267MIGUEL A. MATEO GARCIA y JUAN FERNANDEZ SANCHEZ — los coeficientes de redundancia de las variables canénicas (R2qcy/x)» Stewart y Love, 1968): indicadores de'la cantidad de varianza “explicada” en un conjunto dado el otro (R2g¢y/x) = R2c X R2y) — la proporcién de redundancia en- contrada en un conjunto dado el otro (Vk y/x)): correlacién al cuadrado prome- dio de una variable genérica de un conjunto con la variable canénica del otto (Vk (y/x) R2q (y/xy(Suma R2y(y/x))- —'los coeficientes de correlacién mitl- tiple al cuadrado intraconjunto para cada variable empirica, considerados como indi- cadores del grado de multicolinealidad (Johnston, 1972). — los coeficientes de comunalidad ca- nénicos (Thompson, 1980; Thorndike. 1977), que son indicadores de la utilidad que cada variable empfrica muestra de cara a la definicién de la solucién canénica Los anilisis de regresién realizados, complemento de los anteriores, utilizan como variables criterio a cada uno de los cinco elementos del ya mencionado bloque de control (por separado), tratando como variables predictoras: 1) a los siete niicleos tedricos signifi- cativos, A este respecto se llevan a cabo los correspondientes andlisis de regresién sim- ple (lineal y polinémica) y miltiple 2) a los elementos que constituyen el CEPUC, excluidos, obviamente, los cinco del bloque de control. A este respecto se evan a cabo los correspondientes andlisis de regresién miltiple. Una recapitulacién de la totalidad de los andlisis realizados puede verse en el Cuadro 1. RESULTADOS, Andilisis de correlacién candnica a) Si se consideran los dos casos en que se utilizan como conjuntos predictores, por una parte los 24 elementos del cuestio- 268 nario que no constituyen el bloque de con- trol, y por la otra los 18 elementos que con- forman los nticleos tedricos | a 5, se ob- serva que aparecen, en ambos casos, tres variables candnicas significativas: — la primera estd conformada como sigue: 1, Para el conjunto predictor, por todos sus elementos, mostrandose como los menos in- teresantes los mimeros 20, 24, 22, 23, 25 y 21, en el primer caso, y los mimeros 5, 6, 7. 17, 19, 3 y 10, en el segundo. Esta primera variable cannica da cuenta de un 47.87% y de un 58.16% de la varianza total del con- junto predictor en cada caso (indices de re- dundancia = 0.42 y 0.51, respectivamente). 2. Para el conjunto criterio, también por todos sus elementos, mostrando la menor aportacién los ntimeros 29, 26 y 11, en ambos casos. Esta primera variable canénica da cuenta, en cada caso, de un 80.59% y de un 74.31% de la varianza total del conjunto criterio (indices de redundancia = 0.66 y 0.65, respectivamente). El porcentaje de va- rianza asociada entre la primera variable cz n6nica definida para el conjunto criterio y la correspondiente definida para el conjunto predictor es de un 87.85% (correlacién cané- nica = 0.94, chi-cuadrado = 1463.18 =2.1.=120-, p=0.000) y de un 86.95% (corre- lacién canénica = 0.93, chi-cuadrado = 1402.59 -g.1.=90-, p=0.000), en cada caso — la segunda variable candnica esté conformada de modo que: 1, Para el conjunto predictor, muestran la aportacién mayor los elementos ntimeros 15, 5, 17, 16, 14, 18... en ambos casos, con una incidencia muy pequefia de los elementos niimeros 13, 25, 22, 1, 23, 24, 21, 20 y 8, en el primer caso, mientras que en el segundo la incidencia mas baja es la de los elementos nimeros 13, 1 y 8. Esta segunda variable ca- n6nica da cuenta, en cada caso, de un 2.21% y de un 3.61% adicional de la varianza total del conjunto predictor ({ndices de redundan- cia = 0.0057 y 0.0075, respectivamente). Psicothema, 1993DIMENSIONES DE LA CALIDAD DE LA ENSENANZA UNIVERSITARIA 4.1. Conjunto de elementos del bloque de control (5) vs. resto de elementos del CEPUC (24): Analisis de la cortelacién canénica. 3 anélisis: “cruces® entre el conjunto eriterio y tres conjuntos predictores alternativos Conjunto criterio: bloque de elementos de control (n°s. 11, 26, 27, 28 y 2). Conjuntos predictores: a) resto de elementos del cuestionario (24). ») elementos componentes de ios nuicleos tedricos 1 a 5 (18). ) nucleos te6ricos signitficativos (7). 1.2, Cada elemento del bloque de control (por separado) vs. diversos predictores: Analisis de regresion. |. Analisis de regresién simple (lineales y polindmicos). — 36 analisis: “cruces” entre cinco variables criterio y siete variables predictoras. Variable criterio: elemento n®s, 11, 26, 27, 28 y 28. Variables predictoras: nuileos tedricos 1 a 7. Il, Andlisis de tegresién multiple. — 45 andlisis: “cruces” entre cinco variables criterio y nueve conjuntos de variables predictoras. Variables criterio: elementos nfs. 11, 26, 27, 28 y 29. Variables predictoras: a) siete nuicleos teéricos. b) elementos componentes del nicleo 1 (n=5) c) elementos componentes del niicleo 2 (n=3) d) elementos componentes del nucleo 3 (n=3). ¢} elementos componentes del nucleo 4 (n=2). {) elementos componentes del nucleo 5 (n=5). 4g) elementos componentes del nticieo 6 (n=3). h) elementos componentes del nucieo 7 (n=3) i) elementos del cuestionario, exceptuados los cinco del bloque de control (n=24). Cuadro 1, Recapitulacién de los aniilisis realizados. 2. Para el conjunto criterio, muestran la aportacién mayor, y ademés positiva, los elementos niimeros 11 y 29, mientras que los tres restantes, encabezados ntimero 27, muestran aportaciones negativas, en ambos casos. Esta segunda variable canénica da cuenta de un 8.50% adicional de la varianza total del conjunto criterio en cada uno de los dos casos (indices de redundancia = 0.018 en los dos casos). El porcentaje de varianza asociada entre la segunda variable canGnica definida para el conjunto criterio y la definida para e! conjunto predictor es de un 21.27% (correlacién canGnica = 0.46, chi-cuadrado = 263.67 -g1 y de un 20.75% (correlacién candnica = Psicothema, 1998 0.46, chi-cuadrado = 237.89 —g.1.=68-, p=0.000), en cada caso. — Ia tercera variable canénica esté conformada de la siguiente manera: 1. Para el conjunto predictor, muestran la aportacién mayor, en ambos casos, los ele- mentos niimeros 19, 8, 18, 7, 9.3, 16 y 13 Esta tercera variable canénica da cuenta, en cada caso, de un 2.95% y de un 3.84% adi- cional de la varianza total del conjunto pre- dictor (indices de redundancia = 0.0031 y 0.0038, respectivamente). 2. Para el conjunto criterio, en ambos casos muestra una aportacién mayor, y ademas positiva, el elemento nimero 26, seguido por los elementos nimeros 28 y 29, ambos 269MIGUEL A, MATEO GARCIA y JUAN FERNANDEZ SANCHEZ con aportaciones negativas. Esta tercera va- riable canénica da cuenta, en cada caso, de un 6.25% y de un 6.48% adicional de la va- rianza total del conjunto criterio (indices de redundancia = 0.0066 y 0.0064, respectiva- mente). El porcentaje de varianza asociado entre la tercera variable canGnica definida para el conjunto criterio y la definida para el conjunto predictor es de un 10.62% (co- rrelacién canénica = 0.33, chi-cuadrado = 127.59 -g.1.=66-, p=0.000) y de un 9.86% (correlacién canénica = 0.31, chi-cuadrado 104.83 -g.1.=48-, p=0.000), en cada caso. De estos resultados se puede inferir que, efectivamente, la totalidad de los ele- mentos del CEPUC (excepcién hecha del bloque de control) conforman una unidad relativamente compacta, significativa y do- tada de una buena capacidad para dar cuenta de la calidad de la enseftanza univer- sitaria tal y como la perciben los estudian- tes. Asimismo, es posible observar que son precisamente los elementos que no entran a formar parte de la definicién de los factores Competencia docente mostrada y Habilida- des motivacionales y de interaccién, quie- nes muestran una menor aportacién al res- pecto. Por otra parte, también los elementos, constituyentes del bloque de control pueden considerarse como formando una globali- dad relativamente compacta y significativa, caracterizada en términos de una cierta fun- cién ponderativa de los hallazgos obtenidos mediante el uso del cuestionario (criterio “externo” compuesto). Adicionalmente, la presencia de una segunda y una tercera va- riables can6nicas permite sugerir la con deracién de sendos subbloques significati- vos de elementos, uno de ellos directamente relacionado con la materia y el otro referido al profesor ideal. b) Si se considera la utilizacién como conjunto predictor de los siete micleos te6- ricos significativos, se observa la apari de tres variables cansnicas relevantes: 270 — la primera esté constituida por todos los nticleos para el conjunto predictor (siendo los ntimeros 7 y 6 los que muestran menor importancia), mientras que para el conjunto criterio la conforman los cinco elementos que Jo Forman (siendo los mas importantes los nimeros 27 y 28). Esta primera variable ca- n6nica da cuenta de un 61.06% de la varianza total del primer conjunto y de un 73.98% de la varianza total del segundo (indices de re- dundancia = 0.52 y 0.63, respectivamente).. porcentaje de varianza asociada entre la primera variable canénica definida para el conjunto criterio y la correspon- diente para el conjunto predictor es de un 85.24% (correlacién canénica = 0.92, chi-cuadrado = 1198.23 -g.1.=35-, p=0.000). — la segunda variable canénica esta conformada fundamentalmente por los nii- cleos nimeros 5, 3, | y 4 (con una aporta- cién secundaria y negativa del ntimero 6), para el conjunto predictor, y por cl ele- mento ntimero 26 (con una aportacién se- cundaria y negativa de los nimeros 29 y 11), para el conjunto criterio. Esta segunda variable canénica da cuenta de un 4.31% adicional de la varianza total del primer conjunto y de un 7.96% adicional de la varianza total del segundo (indices de redundancia = 0.0038 y 0.0071, respectivamente). El porcentaje de varianza asociada entre la segunda variable candnica definida para el conjunto criterio y la correspon- diente para el conjunto predictor es de un 8.94% (correlacién canénica = 0.30, chi-cuadrado = 93,27 -g.1.=24-, p=0.000) — la tercera variable candnica esta conformada principalmente por los néicleos nuimeros 4, 5, 3 y 2 (con una aportacién cundaria y negativa del nimero 7), para el conjunto predictor, y por los elementos ni- meros 27 y 28 (con aportaciones muy se- cundarias y negativas de los tres restantes), para el conjunto criterio. Psicothema, 1993DIMENSIONES DE LA CALIDAD DE LA ENSEWANZA UNIVERSITARIA Esta tercera variable canénica da cuenta de un 5.36% adicional de la varianza total del primer conjunto y de un 7.79% adicional de la varianza total del segundo (indices de redundancia = 0.0026 y 0.0037, respectivamente). El porcentaje de varianza asociada entre la tercera variable canénica definida para el conjunto criterio y la correspon- diente para el conjunto predictor es de un 4.76% (correlacién canénica = 0.22, chi-cuadrado = 39.16 -g.1.=15-, p=0.000). Recapitulando estos datos, se observa como todos los mticleos tedricos propuestos conforman una globalidad significativa y con un buen poder predictor de la calidad docente, con especial incidencia por parte de los cinco primeros niicleos, que a su vez constituyen la mayor parte de los dos fac- tores empiricamente delimitados como di- mensiones fundamentales no sélo del CEPUC, sino de la propia excelencia edu- cativa. Por otra parte, también desde esta perspectiva, los cinco elementos que for- man el bloque de control componen un todo significativo (criterio compuesto), He- vando el mayor peso en su definicién los elementos nimeros 27 y 28. Adicional- mente, la aparicién de una segunda y una tercera variables candnicas sugiere la con- sideracién de sendos subbloques significa- tivos de nucleos y de elementos, uno de ellos relativo al profesor ideal y el otro al profesor real Andlisis de regresién a) Si se tienen en cuenta los de regresi6n lineal simple resultantes de los “eruces” entre todos y cada uno de los cinco elementos del bloque de control (cri terio) y las siete variables predictoras que son los nticleos tedricos, es posible observar la aportacién de cada predictor por sepa- rado a la estimacién de los distintos crite- rios, sintetizada como sigue (en orden de- creciente de importancia): andlisis Psicothoma, 1993 Nuicleo 1. Estilo docente: poder predictivo entre un 47% y un 74%, Niicleo 3. Claridad expositiva: poder pre- dictivo entre un 36% y un 66% Niicleo 2. Estructuracién de contenidos poder predictivo entre un 31% y un 53%, Nticleo 4. Competencia académica: poder predictivo entre un 30% y un 50% Nucleo 5. Habilidades motivacionales y de interaccién: poder predictivo entre un 25% y un 48%. Nicleo 6. Requisitos docentes: poder pre- dictivo entre un 22 y un 30%. Niicleo 7. Ecuanimidad evaluadora: poder predictivo entre un 11% y un 16%. Esta jerarquia aparece invariablemente con respecto a cuatro de los elementos cri- terio, los ntimeros 11, 27, 28 y 29, avan- zando dos lugares la posici6n del nticleo 5 cuando se considera como elemento criterio el ntimero 26 (ver un resumen mas amplio de estos resultados en la Tabla 1) Adicionalmente. el estudio de los andlisis de regresi6n polinémica correspondientes re- vela Ja presencia de una apreciable relacién curvilinea entre los micleos 1 y 7 y los ele- mentos nimeros 11, 27 y 28, entre los niicleos 2, Sy 7y el elemento numero 29, y entre todos los niicleos, excepto el 5, y el elemento niimero 26 (ver un resumen en la Tabla 2). b) Si se consideran los cinco andlisis de regresién lineal multiple resultantes de tomar, en cada caso, a uno de los cinco ele- mentos del bloque de control como criterio y a los siete miicleos tedricos, con sus co- rrespondientes interacciones, como varia- bles predictoras, es posible observar la in- variable incidencia que muestran funda- mentalmente los nticleos 1 y 6 a lo largo de todas las situaciones, acompaiiados por los niicleos 3 y 4 (y la interacci6n entre los ni cleos 1 y 3) en lo que respecta a los ele- mentos ntimeros 27 y 28, por los nticleos 5 2MIGUEL A. MATEO GARCIA y JUAN FERNANDEZ SANCHEZ VARIABLES CRITERIO Variables Elem? 11 Elem. 826 Elem P27 Elem.n®28 Elem. n°.29 prodictoras Niileo 1 (Nt) 0.560 Rea0.671 352 Bota=1.172 F=739.170 86.130 Nucleo 2 (N2) 318 531 RR=0.490 Betaa0.729, Beta=0.700 F=267.560 660,780 F=560.920 Nocleo 3 (N3) R2=0.360 Botax0.600 Fe647.580 © -F=927.580 Nocleo 4 (N4) F-03017 Bota=0 563, 0.170 Ncleo 5 (N5) R084 F-197.980 Nacleo 6 (Ne) 221 F=165.470 Nicleo 7(N7]—RR0.199 128 Fo0.194 Beta=1.207 —_Beta=t.109 Beta=1.365 16.320 F=85.890 F=69,990 Nota. ~ Para todos los valores de F, p<0,0000 Tabla 1 Aportacién de cada uno de los distintos micleos teéricos a la prediccién de todos y cada uno de los elementos componentes del bloque criterio: resumen de los andlisis de regre- sién simples lineales, y 2 (mas dos interacciones) en lo que con- cierne al elemento niimero 11, por los nti- cleos 3 y 2 (mas tres interacciones) en lo que se refiere al elemento ntimero 26, y por los nticleos 4 y 5 (mas dos interacciones) en relacién con el elemento nimero 29. No debe omitirse una mencién al hecho de que el nticleo 7, considerado en solitario, s6lo incide sobre el elemento ntimero 27, mien- tras que no influye en modo alguno sobre el elemento numero 28 y tan sélo lo hace sobre los elementos nuimeros 11, 26 y 29 conformando diversas interacciones (ver un resumen en la Tabla 3) 272 En resumen, en funcién de las semejan- zas y diferencias encontradas en cuanto a la incidencia de los distintos nticleas y sus inte~ racciones, podrfa proponerse un cierto des glose del bloque criterio segin tres grupos de elementos relativamente homogéneos (inter- hamente), a la par que diferenciados entre sf Grupo 1: Profesor real (elementos ntimeros 27 y 28) — niicleos predictores en comtin: 1, 3, 4, 6 y 1x3. Grupo 2: Profesor (elementos niimeros 26, 27 y 28) — micleos predictores en comtin: 1, 3, 6 y Ix3, Psicothema, 1999DIMENSIONES DE LA CALIDAD DE LA ENSENANZA UNIVERSITARIA, VARIABLES CRITERIO Variables Elem P11 Elem n?26 Elem. n’27 Elem. né 28 Elem. n? 29 preaictoras Nucieo 1(N1), R2=0.606 F2=0.565 744 R220.675 comp. cuadrat. —_Bota=0345 Beta=0.404 —Beta=-0.334 Beta=-0.360 47 360 78.070 F=830.600 05.080 004 ARe=0,004 005 430 F=9.230 560 Nuicleo 2 (N2), Fe=0.923 comp. cuadrat Beta~0.569 Nucleo 3 (N3), comp. cuadrat Nacieo 4 (NA), R=0.302 ‘comp. cuadrat Beta-0.549 Nacleo 5 (NB) 20,267 comp. cuadrat Beta-0.517 F=212.460 AR?=0.014 F210.790 Nucteo 6 (N6), 220.232 ‘comp. cuadrat Beta=0.432 F2176.440 Nucleo 7(N7), R2=0.185 ?=0,226 comp. cuadrat. _Beta=-0.860 Beta=-1.048 F=65.850 F=84.770 AR?=0,045 AR2=0.067 232.320 Nota - Para todos los valores de F, p<0.0000 Tabla 2. Aportacién de cada uno de los gresin simples polinémicos. Grupo 3: Asignatura (elementos ntimeros II y 29) ~ niicleos predictores en comtin: 1, 5, 6 y 2x7 Psicothema, 1993, intos nuicleos tedricos a la prediccién de tod uno de los elementos componentes del bloque de criterio: resumen de los anilis y cada S de re- ©) Por titimo, se consideran os 50 anal sis de regresi6n multiple resultantes de tomar, en cada caso, a uno de los cinco elementos del 273MIGUEL A. MATEO GARCIA y JUAN FERNANDEZ SANCHEZ VARIABLES CRITERIO Elem. 11 Elem. 26 Elem. 27 Elem 28 Elem.29) RP=0.63 F°=0.61 R°=0.78 R7=0.51 F=166.00 F=131.19 F=336.06 F=100.99 Nt uM Ni Nt Ni NB NB NB Na NE N6 N2 Ne NB Na N2xN7 N6 N4 NE NS N6xN7 N2xN7 N7 NixN3 NaxN5 Ne N2xNS NtxN3. N2xN7 NSKNS N. B. La notacién NixNj ha de leerse en términos de la interaccién entre los dos nucleos corres- pondientes Tabla 3. Aportacién de los distintos micleos teéricos a la prediceién de todos y cada uno de los elementos componentes del bloque ¢ tiples. bloque de control como criterio y mente, a todos los elementos constitutivos de cada uno de los dos factores empiricos, de los. siete nticleos tedricos y de la totalidad del cuestionario, como variables predictoras, es posible observar desde distintas perspectivas la aportacién con que cada elemento del CEPUC contribuye al objetivo propuesto. Los resultados, tanto en lo que concieme a la defi- nicién de los factores, como a la constitucién de los micleos y a la composicién del instru- mento de evaluacién en su globalidad, mues- tran un excepcional valor de los elementos nti- meros 1, 2, 4, 9, 12, 13, 16, 17, 18 y 19, asi como de los ntimeros 21 y 25, una importan- cia algo menor de los elementos niimeros 3, 8, 14 y 15, asi como de los miimeros 22 y 23, y un interés bastante mas pequeiio por parte de los elementos ntimeros 5 y 7, asi como del nd- mero 24. Ademas, ha de observarse que los elementos niimeros 6, 10 y 20 no tienen pra amente ninguna incidencia predictora, si bien al menos este dltimo (Es constante en la 274 terio: resumen de los andlisis de regresién mal- asistencia a clase), por enunciar un requisito formal basico e irrenunciable, deberfa de con- servar quizds un lugar en el marco del CEPUC, COMENTARIO El presente trabajo, siguiendo la linea establecida en Fernandez y Mateo (1992) y Mateo y Fernandez (1992), corrobora la adecuacién de la versién reducida del CEPUC como instrumento para la evalud cién de la calidad de la enseftanza universi- taria, Empleando una metodologfa alterna- tiva (andlisis de correlacién canénica y de regresiGn), aparece como plenamente justi- ficada la consideracién de ciertas subdimen- siones significativas, conocidas como ni- cleos tedricos, y que son denominadas, res- pectivamente, Estilo docente (N1), Estructu- racién de contenidos (N2), Claridad exposi- tiva (N3), Competencia académica (N4), Habilidades motivacionales y de interaccién Psicothema, 1993,DIMENSIONES DE LA CALIDAD DE (NS), Requisitos docentes (N6) y Eeuanimi- dad evaluadora (N7). Asimismo parece res- paldada por los datos empiricos la utiliza- cin de un conjunto de cinco elementos, los mimeros 11, 26, 27, 28 y 29. como bloque de control o ponderacién a la hora de extraer conclusiones a partir del uso del cuestiona- rio, no careciendo, incluso, de sentido la consideracién adicional de determinados subgrupos dentro de este bloque (uno rela- tivo al profesor, tanto como es percibido en realidad —profesor real—, cuanto como seria deseado que fuese —profesor ideal y otto a la materia impartida por él), ISENANZA UNIVERSITARIA Sobre estas bases se muestra total- mente dotada de sentido la completa di- mensionalizacin que se ha venido emple- ando en el procedimiento de devolucién a sus destinatarios de la informacién obte- nida en el proceso de evaluacién de la en- sefianza desarrollado en la Universidad Complutense de Madrid durante los ilti- Mos cursos, cuyo objetivo ha sido tanto fa- cilitar una interpretacién clara y rica de los datos como posibilitar la optimizacién de su empleo de cara al disefio y la consecu- cin de una politica de mejora de la e1 lanza universitaria. a REFERENCIAS Angulo, F.. Fernandez, J. y Martinez, M. R.(1987). La evaluacidn de la ensenanca universitaria, Madrid: Instituto de Cien- cias de la Educacién. Dixon, W. J (1988). BMDP Statistical Software Manual. Berkeley, CA: University of California Press. Fernandez, J. y Mateo, M. A. (1992), Student evaluation of university teaching quality Analysis of a questionnaire. Educational and Psychologycal Measurement, 52, 675-686. Johnston, J. (1972), Econometric methods. New York: McGraw-Hill Kuylen, A. A. A. y Verhall The use of canonical analysis. Journal of Economic Psychology. \, 217 H.W. (1982). SEEQ: A rel and useful instrument for collecting stu- dents’ evaluations of university teaching, Britivsh Journal of Educational Psxeho~ logy, 52, 77-95 H, W. (1987). Students’ evaluation of university teaching: Research findings, methodolo for future research, International Jour- T. M. M. (1981). Marsh, Marsh, cal issues, and directions Psicothema, 1993 nal of Educational Research, V1, 2 388. H.W. y Hocevar, (1991). The multidimen- sionality of students’ evaluations of tea ching effectiveness: The generality of factor structures across academic discipline, ins~ tructor level. and course level. Teaching and Teacher Education, 7 (1). 9-18. M. A. y Fernandez, J. (1992). Andlisis, confirmatorio de la estruc nal de un cuestionario para la evaluacién de la calidad de ta ensetiansa. Investiga ciones Psicolégicas, IM. 73-82. Stewart, D. y Love, W. (1968). A general cano- nical correlation index. Psychological Bulletin, 70, 160-163. Thompson, B. (1980), Canonical correlation: Re- cent extensions for modelling educatio- nal processes, Presented at the annual ing of the American Educational Research Association, Boston, Thompson, B. (1985), Canonical correlation analysis. Beverly Hills, CA: SA\ Thorndike, R. M. (1977). Canonical analysis and predictor selection. Journal of Multiva- rate Behavioral Research, 12, 75-87. Marsh, Mateo, a dimensio-