2001> 14:99-117 Anlisis estadstico de una en cuesta de satisfaccin de usuarios al alumnado de primer curso de la Escuela Universitaria de Trabajo Social Jos Luis PALACIOS GMEZ* Resumen Abstract E l presente artculo recoge la explotacin esta- diMica de los resultados de una modalidad de en- cuesta usada para medir la satisfaccin del alum- nado de primer curso (turno de tarde) de la E UTS, con distintosaspectos de la enseanza que reciben y del centro universitario. Las encuestas de satis- faccin de usuarios constituy en uno de los instru- mentos cuantitati vos de investigacin social que ms frecuentemente se emplean en los ltimos tiem- pos para medir la percepcin de la calidad de los servicios pblicos porparte de sus usuarios. E nas- te caso se ha llevado a cabo una adaptacin de los parmetros de medicin del cuestionario habitua- les en este tipo de encuestas con el objeto de me- jor recoger la opinin de los estudiantes respecto de algunas de las cuestiones que les resultan ms importantes. Del anlisis estadstico se desprende una informacin que puede ser relevantepara el pro- pio alumnado, para los docentes y para las autori- dades acadmicas de cara a establecer mejorasque redunden en un mejor servicio universitario. 1 . Introduccin H ace ya ms de un decenio que las administraciones pblicas comenzaron a asumir la filosofa de la calidad como principio rector de This paper takes in the satisfloal explotation of results of a kind of survey used for the measure- ment of E UTS first course (evening groups) su- dentssatistaction onseveralaspects ofbothedu- cation andcenter. The Users Satisfaction Survey s are one of the cuantitative instruments of social investigation more commonley used today br the measurement of the users perception of publio services quality . In this case, an adaptation of the ty pics measurement parameters has be done for ihe bes reception of students opinion on impor- tan subjets. Statistical analy sis y ields an infor- mation protitable tor students them selves, for proffessors and academical authorities tu impro- ve ihe university services. sus modelosde gestin y organizacin. Lo que originalmente era un concepto propio de las empresas productoras de bienes, pas primeroa las empresasde servicios y despus tambin a las ins- tituciones pblicas. La calidad como - Socilogo, Tcnico de investigacin y evaluacin del Ayuntamiento de Alcobendas. Profesor de Mto- des y Tcnicas de Investigcin S ocial en la E.u. de Trabajo S ocial de la UCM. 99 Jos Luis Palacios Anlisis estadstico de una encuesta de satisfaccin de usuarios... idea- fuerza se ha establecido, al me- nos como referente, en todo tipo de or- ganizaciones productivas, de bienes o de seN icios, pblicaso privadas. En las organizaciones productoras de servi- ciosla calidad es algo que tiene que ver especialmente con la satisfaccin de los clientes respecto de los servicios recibidos. Frecuentemente, la medida de la percepcin del cliente se esta- blece como parmetroprincipal que da noticia a la organizacin de la calidad del servicio prestado. Y entre los ins- trumentos de medicin que ms usual- mente se emplean para tal fin figuran en primer plano las llamadas E ncues- tas de Satisfaccin de Usuarios < ES U) . Las ES U son un tipo especial de en- cuesta sociolgica cuyo diseo, inspi- rado en el modelo para determinar las dimensiones de la calidad del servicio S ERVQUAL (ZEITHMAL, PARAS URA- MAN Y RERRY, 1 993 ) , responde a las necesidades informativas para el esta- blecimiento de la calidad en las orga- nizaciones de servicios. Las ES Ucues- tionan al cliente, oal usuario, sobre una serie de elementos del servicio (di- mensiones de la calidad) con objeto de medir su satisfaccin con los mismos y poder posteriormente, en conse- cuencia, llevar a cabo mejoras en aque- los que han recibido una valoracin ms baja y que, por tanto, constituyen las debilidades de dicho servicio. Toda vez que la enseanza univer- sitaria es un servicio pblico cuyos usuarios (clientes) son los alumnos, es evidente quela caridad de ese servii puede tambin establecerse a partir del registro de la satisfaccin de stos con relacin a determinados aspectos tan- gibles e intangibles del mismo. Es de- cuadernos de Trabajo Social cir, que la ES U puede utilizarse en la Universidad como instrumento de me- dicin de la calidad con objeto de llevar a cabo mejoras en el servicio prestado. La ES U, cuyos resultados analizamos estadsticamente en estas pginas, es- t ideada, diseada e implementada, precisamente, a partir de esos presu- puestos tericos y con ese fin. La explotacin de la informacin recogida en la encuesta muestra, so- bre todo, cules son las fortalezas y debilidades de una prctica docente en relacin con determinadas carac- teristicas y actitudes de los alumnos. La valoracin de aspectos concretos de la enseanza de una asignatura <Mtodos y Tcnicas de Investigacin S ociso, que han podido determinarse como dimensiones fundamentales de la enseanza de la misma, se relacio- na mediante el anlisis estadstico con algunas variables consideradas como hipotticamente discriminantes de la satisfaccin del alumno con aqulla. Las variables discriminantes, por con- siguiente, no slo describen algunos rasgos principales del alumnado en- cuestado, sino que permiten estable- cer en qu medida dichos rasgos con- dicionan su valoracin dolos aspectos de la enseanza considerados. S e tra- ta, por tanto, de ver si las fortalezas y debilidades de una prctica docente son de carcter general o si, por el contrario, dependen en mayor o me- nor grado de rasgos subjetivos de los alumnos. [nt&e~adstabar aqui que el cues- tionario de la encuesta, que fue pre- viamente testado con una muestra del alumnado para comprobar su idonei- dad, no se ha administrado a una 2 0 0 1 , 14: 99-lI? 1 0 0 Jos Luis Palacios Anlisis estadistico de una encuesta de satisfaccin de usuarios... muestra de los alumnos que reciben una enseanza determinada, sino ato- dala poblacin de alumnos que la re- ciben, ya que la encuesta abarc a to- dos los alumnos de los grupos 1 ~ O y 1 0 E que cursaron La asignatura de M- todos y Tcnicas de Investigacin So- cial en el curso 1 999- 2 0 0 0 en la Es- cuela Universitaria de Trabajo S ocial de la Universidad Complutense de Madrid (su nivel de confianza y su margen de error tericos son, por consiguiente, dell 0 0 % y de 0 , respectivamente) . Probablemente, el (presunto) inte- rs de esta encuesta no slo radica tanto en la informacin que propor- cionan sus resultados, cuanto en que resulta patente que las ES U pueden servir al profesorado, a las autorida- des acadmicas y a los propios alum- nos para mejorar la calidad de la en- seanza universitaria a partir de la medicin ponderada de los puntos fuertes y dbiles de la misma. estas dos ltimas que aqu operan co- mo discriminantes> y tiempo de estu- dio dedicado a la carrera en general y a la asignatura en particular. Las se- gundas sirven para registrar la valora- cin que los alumnos hacen de la en- seanza de la asignatura en sus aspectos fundamentales (determina- dos en gran parte en virtud de las ob- servaciones del alumnado) : conteni- dos, dificultad, ritmo de tratamiento de los temas, medios didcticos emple- ados, textos recomendados, lecturas obligatorias, explicaciones del prof e- sor y valoracin global de ste. S eguidamente se ofrecen los re- sultados meramente descriptivos de cada tem del cuestionario, en primer lugar, y los tratamientos estadisticos discriminantes, en segundo. El anli- sis estadistico de los datos de la en- cuesta ha sido realizado con el pro- grama informtico S PS S versin 9.0 1 . 2.1. E stadsticos descriptivos 2. Anlisis estadstica de los resultados de la encuesta El cuestionario de la encuesta dis- tingue dos tipos principales de varia- bles: discriminantes y valorativas. Las primeras sirven para perfilar sociol- gica y actitudinalmente a losalumnos encuestados en virtud de su sexo, edad, grupo, orden de opcin en la eleccin de la carrera, razn para cur- sar la carrera, forma de acceso a la Universidad, simultaneidad con otros estudios y/o con el trabajo, valoracin general de la Escuela y valoracin del plan de estudios (variables valorativas A) Variables discriminantes Consideramos variables discrirni- nantes todas las que hipotticamente pueden condicionar en mayor o menor grado la valoracin de las variables re- lativas a los distintos aspectos involu- crados en la imparticin de la asigna- tura. Entre otras posibles, hemos seleccionado, por entender que son las ms indicadas, las siguientes: se- xo, edad, curso (O o E) al que perte- nece, orden de la Diplomatura en Tra- bajo S ocial en la eleccin primigenia del alumno entre lasdistintas carreras que podra cursar en la Universidad, razn por la que cursa esta carrera uni- cuadernos de Trabajo social 1 0 1 2001, 74: 99-lI? Jos Luis Palacios Anlisis estadstico de una encuesta de satisfaccin de usuarios... versitaria, via o modalidad de acceso a la EUTS , simultaneidad con otros es- tudios universitarioso no, actividad la- boral, valoracin de la EUTS en gene- ral y valoracin del Plan de Estudios de la Diplomatura. El cmputo simple de frecuencias de las distintas cate- goras de estas variables, en valores absolutos y en porcentajes < eliminan- do los valores de no respuesta por su escasa entidad) arroja unos resultados como los que se expresan en las ta- blas siguientes: S exo V.A. % Hombres 2 4 1 3 Mujeres 1 57 87 Trabajo social como V.A. % Primera opcin 90 50 S egunda pcin 63 3 5 Tercera opcin 2 8 1 5 Estas tres variables, cuya distribu- cin de frecuencias acabamos de pre- sentar, podran haberse obtenido a partir de la estadistica de matrcula de la EUTS y se han incluido en el cues- Grupo de edad VA. % Hastal8aos 1 6 9 l9a2 0 aos 64 3 5 2 la2 2 aos 3 8 2 1 2 3 a2 6aos 1 1 .6 3 1 yriis aos 1 4 8 tionario a los efectos de su cruce con la variables valorativas. Por lo dems, su consideracin no ofrece novedades importantes: el 87% del alumnado es femenino (una constante en la EUTS , aunque la tasa de feminizacin ha ido descendiendo paulatinamente) , el 65% tiene menos de 2 3 aos y el 85% eligi cursar esta carrera en primera o segunda opcin. Razn para cursar rs. V.A. Va Por vocacin 1 1 5 64 Por relacin con 1 .aopcin 2 1 1 2 Por ser formativa 2 5 1 4 Otras 1 8 lO Una muy amplia mayora (64 %) eli- gi esta carrera por vocacin, en tan- toque otras razones influyeron en mu- cha menor medida en la eleccin. Con respecto a una encuesta al alumnado de la EUTS de hace ya catorce aos (AZPEITIA, 1 986) , no puede decirse que en este sentido se hayan produ- cido grandes variaciones, pues nues- tro item responde a mi vocacin pro- fesional de trabajar ayudando a la gente subsume en gran medida los tems de la de 1 986 referidos a la vo- cacin y a la voluntad de servicio a la sociedad, que entonces obtuvieron un 2 2 % y un 4 2 % respectivamente. Por otro lado, tampoco ha variado muy substancialmente el origen formativo (modo de acceso) del alumnado: el 91 % procede de enseanzas medias y de FP y slo una exigua minora pre- senta otra procedencia formativa. cuadernos de Trabajo social 1 0 2 2001, 14: 99-117 Anlisis estadistico de una encuesta de satisfaccin de usuarios... Va de accesoa la EUTS VA. % Bach., BUP, ES O,COU 1 2 2 67 Formacin Profesional 4 3 2 4 Accesrtiayores 2 5aos - - ~ 6 3 Otra catrera en curso~ 3 Otra carrera finalizada 3 Tres cuartas partes del alumnado estudia solamente la Diplomatura y quines la simultanean con otros estu- dios manifiestan que el carcter de s- tos no es universitario y que se refieren a idiomas, informtica y similares. S imultaneidad con otros est~cIios V.A. % N o realiza otros estudios 1 3 4 76 S (otra carrera> 1 1 S i (otros no universitarios) 4 0 2 2 En lo que respecta a su actividad laboral, los alumnos que trabajan a jor- nada completa alcanzan el 2 1 % (el tur- no de tarde en el que asisten a la EUTS se relaciona con este elevado porcen- taje) , mientras que slo llegan al 3 3 % quienes solamente se dedican a estu- diar El hecho de que un 7% declaren realizar trabajos de voluntariado seria chocante en cualquier otro lugar que no fuera la EUTS (slo un 2 - 3 % de los jvenes universitarios espaoles es voluntario social, segn MARTIN S E- RRAN O, 1 999) 1 0 3 Actividad laboral ~V.A. o N o tr~bja ~Q 3 3 S i, ajornadacompleta 3 8 4 2 1 S i, a tiempo parcial 3 4 1 9 S , ev tualmente 2 0 Tbajos4 vol ntajiado 1 2 7 La valoracin que hacen los alum- nos de la Escuela Universitaria de Tra- bajo S ocial en general, variable aqui considerada como discriminante, po- demos calificarla de media- alta, pues un 4 3 % la juzgan como bastante bien, pero un 52 % la valoran sloco- mo regular. Valoracin EUTS V.A. % Muy bien 6 3 Bastante bien 77 4 3 Regular 94 52 Bastant&mal 4 2 Muy mal O O S imilar valoracin recibe el Plan de Estudios de la Diplomatura, con el que un 59% del alumnado se encuentra ms bien satisfecho, mientras que un 2 2 % dice sentirse bastante satis- fecho. Finalmente, el registro de los tiem- pos de estudio semanales dedicados a la carrera en su conjunto y a la asig- natura Mtodos y Tcnicas de Investi- gacin Social en particular pone de re- lieve que la mayora de los alumnos cuadernos de Trabajo social 2001, 14: 99-lI? Jos Luis Palacios Anlisis estadistco de una encuesta de satisfaccin de usuarios... Valoracin Plan Estudios V.A. % Muy satisfecho 3 2 Bastante satisfecho 3 9 2 2 Ms bien satisfecho 1 0 6 59 Ms bien insatisfecho 2 2 1 2 Bastante insatisfecho 9 5 Muy insatisfecho 2 1 (71 % y 50 %, respectivamente) em- plean entre tres y diez horas semana- les en estudiar la carrera y entre una y dos horas semanales en estudiar la asignatura considerada. Tiempo estudio carrera V . A . % Ms de 10 hsemana 23 13 De 6 alO h/semana 59 33 De 3 a 5 h/semana 68 38 Menos de 3 h/semana 28 16 Tiempo estudio asignatura V A . % Ms de 4 h/semana 16 9 De3a4h/semana 21 11 De 1 a 2 h/semana 89 50 Menos de 1 h/semana 53 30 B) Variables valorativas Hemos determinado que son va- riables valorativas todas aquellas que hacen referencia a distintos aspectos de la docencia de la asignatura Mto- dos y Tcnicas de InvestiQacin S o- cuadernos de Trabajo Social cial. La valoracin de estos aspectos por parte del alumnado se ha medido con una escala numrica gradada de O (mnimo) alO (mximo>, en la idea de que es un tipo de gradiente al que los alumnos se hallan habituados y pue- de recoger con notable fiabilidad su calificacin como si de una escala de intervalo se tratase. A pesar de que en puridad esta escala es del tipo ordinal, las ventajas aritmticas que se obtie- non al considerarla intervalar com- pensan el posible error cometido al asignarle propiedades que slo esta ltima posee (ello no obstante, hemos empleado en los cruces correspon- dientes un coeficiente para asociacio- nes de variables ordinales, como es la de S pearman, para ajustarnos a la verdadera naturaleza de la escala y no distorsionar la entidad de la asocia- cin) . Actuando de este modo, pode- mos emplear estadisticos como la media o la desviacin tipica que con- tribuyen notablemente a aumentar y mejorar la comprensibilidad y la inter- pretacin de los resultados de la en- cuesta. Existen en el cuestionario de esta ES U otras dos variabbes valorati- vas referidas a la EUTS en general y al Plan de Estudios de la Diplomatura que en principio se utilizarn como discriminantes en relacin con los as- pectos de la docencia considerados, pero que posteriormente se tratarn tambin como variables valorativas del servicio prestado, cruzndolas con otras variables discriminantes cuando tales cruces resultan relevantes y es- tadsticamente significativos. Las pun- tuaciones medias de las variables va- lorativas del cuestionario de la ES U se recogen en la tabla siguiente, que da 1 0 4 Jos Luis Palacios 2001, 14: 99-177 Anlisis estadistico de una encuesta de satisfaccin de usuarios... cuenta tambin de la moda y la des- viacin tpica para las mismas en aras de enriquecer la informacin obtenida. Variables valorativas Media Moda Contenidos de la asignatura 6,70 7 1 ,4 7 bificultad de la asignatura 6,0 2 7 1 ,78 Ritmo tratamiento temas 6,73 7 1 ,75 Medios didcticos empleados 6,0 0 7 1 ,93 Textosrecomendados 6,1 0 5 2 ,0 6 Lecturas obligatorias 5,60 5 2 ,0 7 Explicaciones del profesor 7,4 0 7 1 ,60 Valoracin global del profesor 7,4 0 8 1 ,4 5 Tal como puede verse, el aspecto de la docencia mejor valorado lo constitu- yen las explicaciones del profesor (7,4 0 ) , que ofrece adems una desvia- cin tipica discreta, indicativa de una considerable homogeneidad en las va- loraciones, seguido del aspecto relati- vo al ritmo de tratamiento de lostemas que comprende la asignatura (6,73 ) , aunque en este caso la puntuacin ms frecuente o moda es algo superior a la media (7,0 0 ) . Inversamente, el aspecto peor valorado de la docencia lo cons- tituyen las lecturas temticas de ca- rcter obligatorio que se entregan al alumnado con objeto de reforzar su aprendizaje de la materia < 5,60 ) , aun- que la moda es an inferior (5,0 0 ) y la s indica una considerable heterogenei- dad de las puntuaciones (2 ,0 7, la ms alta de la tabla) . El siguiente aspecto peor considerado se refiere a los tex- tos recomendados por el profesor, en forma de bibliografia fundamental y complementaria para mejor seguir la asignatura (6,1 0 ) , tambin con moda in- ferior (5,0 0 ) y s elevada (2 ,0 6>. Hay que hacer notar que el aspecto denomina- do Dificultad de la asignatura est es- calado de tal forma que un O significa dificultad mnima y un 1 0 dificultad mxima, de manera que la puntuacin media obtenida (6,0 2 ) es indicativa de que el alumnado entiende que la asig- natura presenta una ms bien notable dificultad (conclusin reforzada con el valor que alcanza la moda, 7,0 0 , aun- quelas arroja un valor considerable>. S e puede concluir, por tanto, a par- tir de esta primera aproximacin analiti- ca a los resultados de la ES U, que se- gn la valoracin que hacen los alumnos de la docencia de la asignaturaMtodos y Tcnicas de Investigacin Social sus mayores fortalezas radican en la ac- tuacin del profesor y el ritmo de susex- plicaciones y sus mayores debilidades en los materiales escritos y en la biblio- grafa que apoyan la docencia. La ES U, por consiguiente, proporciona una in- formacin de fortalezas y debilidades de la imparticin de una asignatura obteni- da cientificamente, con un rigor y una precisin que, obviamente, van ms all de la mera interpretacin subjetiva del profesor de su prctica docente (por ms que sta llegue a ser, eventual- mente, acedada>. S i existen aspectos de una docencia que hay que mejorar, des- de la ptica del alumnado, la ES U los cuadernos de Trabajo Social Jos Luis Palacios 1 0 5 2001, 14: 99-117 Anlisis estadistico de una encuesta de satisfaccin de usuarios.. pone de relieve con objetividad. La ES U nos informa sobre el qu mejorar, pe- roel cmo corre por cuenta del prof e- sor, que habr de establecer medidas correctoras, adaptaciones, refuerzos, etc., para que las debilidades dejen de serlo o lo sean en menor grado. Pero si bien estasconclusiones tie- nen carcter objetivo, se refieren a to- da la poblacin que forma el alumna- do, sin distinguir los posibles perfiles valorativos que tal vez ofreceran los alumnos en virtud de sus caractersti- cas individuales. N uestra hiptesis es que caracteres como el sexo, la edad, la actividad laboral, etc., pueden influir en las puntuaciones otorgadas a los diferentes aspectos de la asignatura considerada. El resto de nuestro an- lisis estadsticode los resultados de la ES U tiene por objeto, precisamente, comprobar si tal hiptesis se cumple. 2. 2. Relaciones entre variables discriminantes y valore uvas Hemos procedido a cruzar todas las variables discriminantes con to- das la valorativas, expresando los cruces mediante el coeficiente de asociacin r de S pearman (que vara entre O y 1 ) ,para las variables ordi- nales, y mediante el coeficiente de asociacin V de Cramer (que varia en- treO y 1 ) , para las variables nomina- les, con objeto de observar cules arrojan valores relevantes y estadis- ticamente significativos y determinar qu variables descriptivas resultan discriminantes en la valoracin que hacen los alumnos de los distintos as- pectos de la docencia considerados. El resultadode estos cruces es el que aparece en la siguiente matriz de asociaciones: Val. EUTS Val. Plan. T. est. Dip. T. est. Asig. Cont. Asig. Dific. Asig. Ritm. Asig. Dida. Asig. Text. Asig. Lect. Asig. Exp. Prof. Val. Prof. S exo ,2 3 4 ,3 1 0 0 1 1 1 0 0 2 4 1 1 3 7 3 0 7 1 96 2 62 .2 88 1 4 7 2 0 9 Edad ,1 62 ,3 0 9 .0 96 0 3 3 1 2 4 0 58 1 4 2 0 2 8 ,2 65 1 4 0 ,1 68 ,2 3 3 Crup. .0 86 4 2 6 1 3 3 ,2 3 2 .1 97 1 55 1 72 1 96 2 71 .1 90 1 77 1 52 Opc. 0 2 6 0 1 2 0 80 0 80 0 75 .0 67 0 62 .0 0 2 ,1 77 0 75 0 96 0 4 6 Raz. 1 83 2 4 9 1 4 6 1 4 9 1 55 1 98 ,3 4 4 ,3 1 4 .2 3 2 2 2 1 2 0 9 0 91 Accffi. 2 0 3 ,3 0 3 .1 88 1 3 6 1 96 2 4 6 2 54 .2 52 2 1 6 2 66 1 58 1 81 Com, 1 1 3 1 81 1 52 1 2 7 1 63 1 67 ~4 3 4 .2 64 1 66 ,3 0 9 1 95 1 80 Trab. 1 2 7 1 76 1 76 .1 0 2 2 0 3 2 0 7 2 3 4 2 1 6 2 90 2 66 2 2 5 2 2 7 V. Eu. 1 0 0 1 ,77 .0 3 9 0 57 0 2 0 .0 99 0 2 4 0 65 0 4 1 0 2 9 0 1 2 0 75 V Pa. 1 77 1 ,0 0 0 ,1 6 .0 93 0 3 9 ,1 50 .0 71 1 0 1 ,2 3 8 .1 3 5 .0 86 0 2 8 En negrita, los coeficientes que cumplen la exigencia de un nivel de significacin de 90 ,0 5. cuadernos de Trabajo social 2001, 14: 99-117 Jos Luis Palacios 1 0 6 Jos Luis Palacios Anlisis estadstico de una encuesta de satisfaccin de usuarios... Del estudiode la matriz de asocia- ciones se desprende que existen muy pocos cruces de variables que pue- dan considerarse relevantes en lo que se refiere a capacidad de discrimina- cin de las variables descriptivas con respecto a las valorativas. S i a ello le aadimos la necesidad de cumplir la prueba de significacin con a 0 ,0 5 (en negrita) , necesaria para poder re- chazar la hiptesis nula de que los va- lores de los coeficientes no reflejan verdadera discriminacin y pueden deberse al azar, son an menos los coeficientes de la matriz dignos de te- ner en cuenta. En el caso de la varia- ble Sexo, solamente su cruce con las variables Valoracin general de la E UTS, Valoracin del Plan de E studios y Ritmo de tratamiento de los temas de la asignatura considerada arroja valores de cierta consideracin y es- tadisticamente significativos. En el de la variable Grupo de edad, slo los cruces con las variables Valoracin del Plan de E studios, Textos reco- mendados para seguir la asignatura considerada y Valoracin global del profesor. En el de la variable Grupo (O o E>, slo los cruces con las variables Valoracin del Plan de E studios y Tiempo de estudio de la asignatura considerada. Y asi sucesivamente con el resto de las variables discriminan- tes (basta observar la tabla con el cri- teno de que los valores de los coefi- cientes en negrita sean al menos de 0 ,2 5 aproximadamente) . Los cruces de variables ms relevantes son, por supuesto, los que arrojan valores ms altos de los coeficientes, indicativo de que la variable descriptiva posee un mayor poder discriminante en la valo- racin dada por el alumnado a un de- terminado aspecto de la docencia de la asignatura considerada. Tambin la valoracin otorgada a la EUTS en ge- neral y al Plan de Estudios de la Di- plomatura en Trabajo S ocial operan en algunos casos como variables con po- der discriminante. Veamos con algn detalle los cruces con valores de los coeficientes ms notables. El Sexo del alumnado tiene cierto poder discriminante en lo que se re- fiere a la valoracin dada al ritmo de tratamiento de los temas que com- prende la asignatura considerada. S i reducimos las categoras de la escala 0 - 1 0 con la que hemos medido la va- oracin de esta variable a slo cinco (0 - 2 , 3 - 4 , 5- 6, 7- 8 y 9- 1 0 ) para hacer ms fcil la lectura de la tabla de con- tingencia el resultado es como sigue: Puntuaciones dadas al ritmo de tratamiento de los temas (%) 0 - 2 3 - 4 5- 6 7- 8 9- 1 0 Hombres 0 9 2 6 3 0 3 5 Mujres 3 4 3 7 4 5 1 1 Como vemos, la tendencia es que los hombres valoran algo mejor el rit- mo de tratamiento de los temas de la asignatura considerada que las muje- res, las cuales ofrecen mayor propor- cin de puntuacionesms bajas y me- nor proporcin de puntuaciones ms altas. S in embargo, esta forma de tra- tar la informacin proporcionada por el cruce de las variables discriminan- tes con las valorativasresulta ms bien confusa y es difcil percibir las dife- cuadernos de Trabajo social 1 0 7 2001, 14: 99-117 Jos Luis Palacios Anlisis estadistico de una encuesta de satisfaccin de usuarios.,. rencias (por sexo, en este caso) de las que nos da noticia el coeficiente de asociacin (por ejemplo, los hombres no dan puntuaciones de O a 2 , mien- tras que las mujeres arrojan un 3 % en ese tramo de la escala, pero al mismo tiempo los hombres arrojan un 9% en el tramo 3 - 4 mientras que las mujeres dan slo un 4 %) . N i siquiera la repre- sentacin grfica del cruce de varia- bles proporciona una mayor claridad al respecto (figura 1 ) . En cruces de variables discrimi- nantes con ms categorias (por ejem- po, grupode edad) con cualquiera de las variables valorativas, la cantidad de casillas de la tabla de contingen- cia correspondiente es tan conside- rable (treinta, en ese caso) que resul- ta casi imposible hacerse una idea precisa de los caracteres de la ten- dencia de la asociacin entre las va- nabes. Por consiguiente, parece ms adecuado utilizar un estadistico que sintetice mejor la informacin que el porcentaje: la media, mejor que otro, puede cumplir esa funcin de sntesis informativa en los cruces de variables discriminantes con valorativas, de modo que lo usaremos en el anlisis ms detallado de los crucescuyos co- eficientes de asociacin son ms no- torios (el de la variable S exo con Rit- mo de tratamiento de los temas, entonces, arroja unas puntuaciones medias de 7,4 5 y 6,62 para hombres y mujeres, respectivamente) . As, el cruce de la variable discri- minante Grupo de edad con las valo- rativas Textos recomendados para el se9uimiento de la asignatura y Valora- cin 9loblal del profesor (contempla- do aqui por ser en el nico cruce con esta variable que presenta alguna sig- nificacin estadistica) , utilizando la media como estadstico de compara- cin, arroja unos resultados indicati- vos de una tendencia a valorar mejor estas cuestiones cuanto mayor es la edad del alumno: Puntuaciones dadas al ritmo de tratamiento de las temas dela asignatura, por sexo (%) 45 it - - 40 3 5 3 0 2 5 2 0 1 5 1 0 5 o 2 0 a2 3 y4 5y6 7y8 9y1 0 Figura 1 Cuadernos de Trabajo social 2001, 14:99117 [RE7F57~j 1 - 0 8 ____ Anlisis estadistico de una encuesta de satisfaccin de usuarios.,. Grupo de edad Puntuaciones medias dadasa ls variables Valorain Textos global r&omensados pmfeso? HastalS aos 5,50 7,1 3 DelYa2 Oa. < 5,70 6; 90 De2 l a2 2 a. 5,54 ; 7,50 0 e2 3 a2 6. 6,90 7,50 0 e2 7a3 0 a. 6,55 7,66 3 1 y ms aos 7,2 0 8,3 0 El cruce de la variable discriminan- te Razn para cursara carrera de Tra- bajo Social con las valorativas Ritmo de tratamiento de los temas de la asig- natura y Medios didcticos usados en la docencia de la asignatura, usando la media como estadstico de compa- racin, arroja unos resultados como los siguientes: para cursar T.S . Puntuaciones medias. dadas a las variables Ritmo dele asignatura Medios dldctios . baedos Por vocacin 6,80 6,0 0 Por estar relacionada opo. l. 5,90 5,62 Por ser formativa en gral. 7,1 2 5,88 Otras razones 6,83 62 0 S i consideramos el cruce entre la variable discriminante Simultaneidad de la carrera con otros estudios con las valorativas Ritmo de tratamiento de los temas de la asignatura y Lecturas recomendadas para el estudio de la asignatura, usando la media como es- tadstico de comparacin, los resultar Purituaoones medias dadas a Textos recomendados y Valoracin global del pro feso5 segn el grupo de edad Hastal8 Del9a aos 2 Oaos De2 la De2 3 a De2 7a 3 lyms 2 2 a~os 2 6aos 3 O~os aos .- lextos recomendados Valoracin global profesor Figura 2 cuadernos de Trabajo social 2001, 14: 99-lI? Jos Luis Palacios 9 8,5 8 7,5 7 6,5 6 5,5 5 1 0 9 Jos Luis Palacios Anlisis estadstico de una encuesta de satisfaccin de usuarios... Puntuaciones medias dadas a las variables Ritmo de tratamiento de los temas y Medios didcticos usados,segn la razn para cursar la carrera 7,5 7 6,5 6 5,5 5 Por ser formativa en Otns ra~nes gral. ~ Ritmo de la asignatura .- Medios didcticos usados Figura a dos (despreciando los valores corres- pondientes al tem Otra carrera uni- versitaria porque slo un alumno se halla en este caso y no es, por tanto, significativo> muestran la tendencia a valorar mejor estas variables por par- te de aquellos alumnos que cursan al tiempo otros estudios: Otros estudios al tiempo Puntuaciones medias dadas a las variables Ritmo de la asignatura Lecturas para estudio S lo diplcmaturaT.S . 6,71 5,52 Otra carrera universitaria 3 ,0 0 2 ,0 0 Otros estudios no universitarios 6,90 5,92 Cuando tomamos en cuenta la rela- cin entre la variable discriminante Si- Cuadernos de Trabajo Social 2001, 14: 99-117 multaneidad de la carrera de Trabajo So- cial con un trabajo y la valorativa Textos recomendados para el seguimiento de la asignatura, usando igualmente la me- dia como estadstico de comparacin, los resultados ponen de relieve la ten- dencia de que a mayor actividad labo- ral, mejor valoracin de esta variable: Actividad laboral Puntuaciones medias dadas a la variable Textos para seguir la asignatura A jornada completa 6,95 A jornada parcial 6,1 6 S lo eventualmente 6,2 0 Trabajos de voluntariado 5,4 5 N inguna 5,4 4 Finalmente, si cruzamos la variable Valoracin del Flan de E studios de la 1 4 a Por vocacin Por estar relacionada opc. 1 ~ 1 1 0 Jos Luis Palacios Anlisis estadistico de una encuesta de satisfaccin de usuarios,.. Diplomatura con la valorativa referida a los Textos para seguir la asignatura y expresamos los resultados con el es- tadistico media aritmtica, la tabla co- rrespondiente muestra una tendencia indicativa en general (con la inflexin de la categora muy satisfecho) de que se valora mejor esta variable cuanto ms insatisfecho se encuentra el alumno con el Plan de Estudios (sor- prendente resultado de difcil inter- pretacin>: Figura 5 cuadernos de Trabajo social 2001. 14: 99-117 Figura 4 Puntuaciones medias dadas a la variable Textos para seguir la asignatura,segn la actividad laboral 7,5 7 6,5 6 5,5 5 Ajornada Ajornada S lo Trabajos de N inguna completa parcial eventualmente voluntariado 1 1 1 Anlisis estadistico de una encuesta de satisfaccin de usuarios... V aloracin Plan de E studios Puntuaciones medias dadas a lvariable Textos para seguir la asi~natura Muy satisfcho 7,3 3 Bastante satifecho 5,4 6 Ms bien satisfecho 5,90 Ms bien insatisfecho 7,2 5 Bastante insatisfecho 6,67 Muy insatisf echo 8,0 0 2. 1 Valaracn de la EUTS y del Plan de Estudios de la Diplomatura en funcin de algunas caractersticas del alumnado Tambin puede ser interesante considerar la asociacin entre algu- nas variables discriminantes y lasva- lorativas referidas a la EUTS en ge- neral y al Plan de Estudios de la Di- plomatura (que han operado a su vez comodiscriminantes de la valoracin de los distintos aspectos de la do- cencia de la asignatura Mtodos y Tcnicas de Investigacin Social). S e- gn los resultados obtenidos en la matriz de cruces, las variables Valo- racin de la EUTS en general y Valo- racin del Plan de E studios solamen- te arrojan asociaciones relevantes y estadsticamente significativas con las discriminantes Sexo, Grupo de edad, Grupo de clase (O y E) , Razn para cursar la carrera y Va de acceso a la carrera de Trabajo Social. Toda vez que estas variables no estn me- didas con escalas numricas, sino or- dinales, seria preciso utilizar otros es- tadsticos distintos de la media aritmtica para expresar las diferen- cias valorativasen funcin de las dis- tintas categoriasde las variables dis- criminantes. Como es sabido, el Puntuaciones medias dadas a la variable Textos para seguir la asignatura, segn la valoracin del Plan de E studios 8,5 8 7,5 7 6,5 6. 7 5,5, Muy Bastante Ms bien Ms bien Bastante Muy saflsfecho sat sfecho sad sfecho insatisfecho insatisfecho insatisfecho Figura 6 cuadernos de Trabajo social 2001, 14: 99-117 Jos Luis Palacios 1 1 2 Jos Luis Palacios Anlisis estadstico de una encuesta de satisfaccin de usuarios... estadstico ms apropiado para ex- presar la tendencia central de las es- calas ordinales es la mediana, pero en este caso sta puede oscurecer los resultados de la encuesta, ya que en las tablas de contingencia con los crucesexpresados en porcentajes se aprecian diferencias de valoracin quela mediana no recoge. En conse- cuencia, y para evitar reproducir aqu las farragosas tablas de contingencia en porcentajes (con hasta treinta y seis casillas, en el caso ms desfa- vorable>, hemos recurrido al artificio de dar valoresnumricos a las distin- tas categoras de las variables Valo- racin de la E UTS y Valoracin del Plan de E studios, de modo que en la primera vara entre 5 (muy bien> y 1 (Muy mal) , y la segunda entre 6 (muy satisfecho) y 1 (muy insatisfecho>. Los resultados pueden observarse en la tabla siguiente: V aloracin de la E U TS por sexo S exo Mediana Media s Hombre 3 ,0 0 3 ,3 3 0 ,64 Mujer 3 ,0 0 3 ,50 0 ,60 Como vemos en la tabla, mientras que la mediana no presenta diferen- cias de la valoracin de la EUTS y del Plan de Estudios (con la salvedad de la variable Va de acceso a los estu- dios de Trabajo Social) en funcin de las variables discriminantes seleccio- nadas, la media aritmtica si permite observarlas (la desviacin tipica, s, aade informacin acerca de la dis- persin de las valoraciones por cate- gora de cada variable) . As, podemos cuadernos de Trabajo socia) 2001. 14: 99-117 1 1 3 Jos Luis Palacios Anlisis estadstico de una encuesta de satisfaccin de usuarios.. ver que las mujeres valoran algo me- jor tanto la EUTS en general como el Plan de Estudios de la Diplomatura (y, adems, presentan una mayor homo- geneidad en sus valoraciones) . Los alumnos ms jvenes valoran mejor el Plan de Estudios que los mayores (y tambin presentan una menor disper- sin de sus valoraciones) . El grupo E de la docencia considerados. Para ello hemos cruzado todas esas varia- bies valorativas con la variable Valo- racn global del profesor utilizando el coeficiente r de S pearman para ex- presar el grado de asociacin entre variables. La matriz de coeficientes de asociacin correspondiente es como sigue: Conten. Dificul. - ~ Ritmo ~ Didot. Textos Lecturs. Explies. Val. Prof, 0 ,2 96 0 ,0 0 8 0 ,3 75 0 ,3 84 0 2 0 5 0 ,1 94 0 ,772 En negrita, los coeficientes que cumplen la exigencia de un nivel de significacin de 2 0 ,0 5. valora algo mejor que el grupo O el Plan de Estudios. Los alumnos que cursan la carrera por vocacin o por- que est relacionada con la carrera que hubiesen querido cursar como primera opcin se muestran ms sa- tisfechos con el Plan de Estudios que los que la cursan simplemente porque la ven formativa Upar otras razones. Finalmente, son los alumnos que ac- cedieron a la Escuela va bachillerato~ COU y mediante la prueba de acceso a la Universidad para mayores de veinticinco aos los que tambin se manifiestan ms satisfechos con el Plan de Estudios. 2. 4. Valoracin global del profesor en funcin de las otras variables valorativas relativas a la docencia cte la asignatura Tambin hemos investigado hasta qu punto la valoracin global dada al profesor de la asignatura Mtodos y Tcnicas de Investigacin Social se relacona con la valoracin dada por los alumnos a los distintos aspectos cuadernos de Trabajo social Como vemos, los aspectos de la docencia que se asocian de forma re- levante y con significacin estadstica suficiente para ser tomados en cuen- ta con la Valoracin global del profe- sor son, sobre todo, los relativos al Contenido de la asignatura, el Ritmo de tratamiento de los temas que a componen, los Medios didcticos em- pleados y, muy especialmente, las E x- plicaciones proporcionadas por el pro- fasor. Como el coeficiente no expresa relacin de causalidad, sino intensi- dad y direccin de asociacin, no pue- de decirse con total seguridad que la valoracin del profesor depende de las otras variables, pero si que quienes otorgan altas puntuaciones a esas va- nabes las dan tambin al profesor (lo cual es notoriamente significativo>. Hay que hacer notar que el aspecto Di- ficultad de la asignatura apenas pre- senta relacin con la valoracin global del profesor, de modo que se podra interpretar que el hecho de que un alumno considere la asignatura ms o menos difcil no afecta a su valoracin del profesor. 2001, 14: 99-117 1 1 4 Jos Luis Palacios Anlisis estadstico de una encuesta de satisfaccin de usuarios... 3 . A modo de resumen y conclusin Podemos resumir el anlisis esta- distco de la Encuesta de S atisfaccin de Usuarios aplicada al alumnado del turno de tarde del primer curso de la Escuela Universitaria de Trabajo S o- cial sobre determinados aspectos de la docencia de la asignatura Mtodos y Tcnicas de Investigacin S ocial y de la Escuela y la Diplomatura en una serie de conclusiones principales. E l anlisis estadstico de las va- riables discriminantes pone de ma- nifiesto lo siguiente: El 87% del alumnado son mu- jeres y el 65% tiene entre 1 8 y 2 2 aos. El 50 % de los alumnos cursa la carrera como primera opcin y el 3 5% como segunda. El 64 % de los alumnos cursan la carrera motivados por la vocacin por el Trabajo S ocial. El 67% del alumnado que cur- sa la Dplomatura procede del bachi- llerato y el 24% de la formacin pro- fesional. El 76% de los alumnos no si- multanea la carrera con la realizacin de otros estudios y el 2 2 % la simulta- nea con estudios no universitarios (idiomas, informtica, etc. ). S lo un 3 3 % de los alumnos no simultanea el estudio con actividad la- boral de algn tipo (incluido el volun- tariado). La variable Valoracin de la E UTS, considerada en primera instan- cia como variable discriminante de la valoracin de la docencia de la asig- natura considerada, arroja un 4 3 % de alumnos que califican la E scuela en general como bastante bien y un 52 % que la califican comoregular. La variable Valoracin del Plan de E studios de la Diplomatura, tambin considerada en primera instancia co- mo discriminante de la valoracin de la docencia, arrola un 22% de alumnos que dicen estar bastante satisfechos y un 59% que declaran estar ms bien satisfechos con el mismo. E l anlisis estadstico de las de- nominadas variables valorativas de la docencia de la asignatura conside- rada permite concluir que: L os aspectos de sta que pue- den considerarse sus fortalezas son las E xplicaciones del Profesor, con un 7,40 de media en una escala 0 - 1 0 y el Ritmo de tratamiento de los temas de la asig- natura, con un 6,73 en la misma escala. L os aspectos que, por el contra- ro, podran consderarse sus debilida- des son las Lecturas obligatorias para seguirla asignatura, con un 5,60 de me- da en una escala 0-10, y los Textos re- comendados para seguir la asignatura, con un 6,10 de meda en la misma es- caa (y moda 5,00, en ambas variables). La variable Dificultad de la asig- natura, que es valorativa de la asigna- tura pero no de la prctica docente, al- canza una puntuacin media de 6,02 en la escala 0 - 1 0 , en la que Oes m- nima dificultad y 10 mxima dificul- tad (con una moda de 7,0 0 >. L a variable Valoracin global del profesor es la que recaba las ms altas puntuaciones del alumnado, con un 7,40 demediaen laescala0 - 1 O, conunamo- da de 8,00 y la desviacin tpica ms ba- j a de todas las variables consideradas. Cuando cruzamos todas las va- riables discriminantes con todas las cuadernos de Trabajo social 2001, 14: 99-lI? 1 1 5 Jos Luis Palacios Anlisis estadstico de una encuesta de satisfaccin de usuarios... valorativas, tomando en cuenta slo aquellos coeficientesque expresan el cruce con un valor de al menos 0 ,2 5 y una significacin estadstica de al me- nos 0 ,0 5, los resultados ponen de ma- nifiesto lo siguiente: El Sexo de los alumnos solamen- te puede consderarse discriminante en el aspecto de la docencia Ritmo de tra- tamiento de los temas de la asignatura, dndose la tendencia de que los hom- bres valoran algomejor este aspecto que las mujeres (un 7,4 5 de meda, en la es- caa 0 - 1 0 , en los hombres frente a un 6,62 de meda en las mujeres) La E dad de los alumnos resulta discriminante en el aspecto de la do- cencia Textos recomendados para el seguimiento de la asignatura y en la Valoracin global del profesor, obser- vndose la tendencia de que a mayor edad del alumno mejor valoracin de aquel aspecto y del profesor La Razn para cursar la carrera de Trabajo Social resulta discriminante en los aspectos de la docencia Ritmo de tratamiento de los temas de asigna- tura y Medios didcticos usados, des- tacando la mejor puntuacin que dan al primero los alumnos que la cursan por ser formativa o por otras razones y la tendencia, en el segundo, a que pun- ten mejor aquellos que cursan la ca- rrera por motivos no vocacionales, La Realizacin de otros estudios de forma simultnea a la carrera es dis- criminante respecto de los aspectos Rit- mo de tratamiento deles temas de laasig- natuy Lecturas para elsgFri}&~F6de la asignatura, dndose la tendencia de que, en ambos aspectos, los alumnos otorgan puntuaciones msaltas s com- paginan la carrera con otros estudios. Cuadernos de Trabajo Social 2001, 14: 99-117 La Actividad laboral resulta dis- criminante solamente en relacin con el aspecto de la docencia Textos para seguir la asignatura, manifestndose de forma clara la tendencia de que a menor actividad laboral peor valora- cin del aspecto mencionado. La Valoracin del Flan de E stu- dios de la Diplomatura tambin resulta solamente discriminante en relacin con el aspecto Textos para seguir la asigna- tura, con una tendencia general (y cho- cante) a valorar mejor ese aspecto cuan- to peor se valora el Plan de Estudios>. Cuando tomamos en considera- cin la valoracin de la E U TS en ge- neral y el Plan de Estudios de la Di- plomatura en funcin de algunas caractersticas del alumnado, resul- ta que slo pueden ser consideradas discriminantes la variable Sexo en el primer caso, y las variables Sexo, E dad, Grupo de clase, Razn para cursar la carrera y la Va de acceso (origen) de los alumnos, en el segundo. Los resul- tados observables son los siguientes: Las mujeres valoran algo mejor que los hombres la EUTS en general. Las mujeres tambin valoran al- go mejor el Plan de Estudios que los hombres. Los ms jvenes valoran mejor el Plan de Estudios que los mayores. El grupo E valora algo mejor el Plan que el grupo O. Los alumnosque cursan la carre- ra por vocacin y porque sta se rea- ciona con su primera opcin de estudios universitarios valoran significativamente mejor el Plan que los dems. Los alumnos que accedieron a la carrera va bachillerato y va prueba de acceso para mayores de 2 5 aos 1 1 6 Jos Luis Palacios Anlisis estadstico de una encuesta de satisfaccin de usuarios... valoran notoriamente mejor el Plan que los que usaron otras vias de acceso a la carrera de Trabajo S ocial. Finalmente, el anlisis estadstico de la variable Valoracin global del profesor en relacin con el resto de variables valorativasmediante el coe- ficiente de asociacin de S pearman permite conocer qu variables podran interpretarse como condicionantes en mayor grado de la calificacin dada al profesor. Todo parece indicar que los alumnos que mejor valoran los Conte- nidos de la asignatura y los Textos re- comendados para seguirla y, sobre to- do, los que mejor valoran el Ritmo de tratamiento de los temas, los Medios di- dcticos empleados y las E xplicaciones del profesor son los que mejor valoran, asi mismo, al profesor, globalmente. Como hemos podido observar, una E ncuesta de Satisfaccin de Usuarios aplicada en el mbito de la Universidad permite descubrir fortalezas y debili- dades de una prctica docente y de otras cuestionesy orientar a las perso- nas involucradas en las mismas, y muy especialmente al profesorado, en rela- cin con las acciones que han de esta- blecerse para mejorar la calidad de la enseanza en determinados aspectos. La ES U, por tanto, es un instrumento tcnico- cientfico que objetiva la per- cepcin de los alumnos respecto de la imparticin de una asignatura y recoge su nivel de satisfaccin con los facto- resconstituyentes de la misma. El anlisis estadstico de la informa- cin obtenida con la ES U que aqu se ha llevado a cabo no es, obviamente, ni ex- haustivo ni el nico posible. S e pueden realizar otros anlisis distintos, msden- sos o ms sofisticados (o menos>, pero esta es una cuestin que depende de los objetivos evaluatvos del profesor, de la poltica de calidad de la Institucin, de lascaractersticas de la asignatura o del tipo de docencia y, en definitiva, de las diversas circunstancias que hacen de cada ES U un caso especifico. Lo que se ha pretendido aqu poner de manifiesto es la evidente utilidad que un instru- rnento de medicin como ste tiene, tambin, en el mbito universitario. Bibliografa Aspeitia, M., Expectativas y valoracin acad- mica y profesional de los estudiantes de Tra- bao social, Cuadernos de Tabajo Social, n 0 0 , 2 0 7 S s. Grupo de trabajode adaptacion de normas de ca- lidad de la seccin de calidad en las admi- nistraciones publicas (1997>: Gua para la gestin de calidad de los servicios pblicos (Adaptacin de la norma ISO 9004-2), Ma- drid, Asociacin Espaola para la calidad Hayes, BE. (1 995>, cmo medir la satisfaccin del cliente, Barcelona. Gestin 2 .0 0 0 . v~~ (1 995>: Gestin de la calidad en la Administra- cin Pblica, Barcelona, IVAP y Gestin 2 0 0 0 . Ministerio de Administraciones Pblicas (1 999) : Guja de autoevaluacin para la administra- cin pblica, Ministerio de Administraciones Pblicas y ROE., Madrid. Pairo, 3 M., Martnez- Tur, y. y Ramos, 3 (1 999>: El tringulo de la calidad de servicio: una aproximacin psicosocial, Papeles del Psi- clogo, nm. 74 . 4 8- 2 4 . Rosander. A. 0 < 1 992 >: La bsqueda de la cali- dad en los servicios, Madrid, Daz de santos. segundas Jornadas sobre Medicin y Meiora de los servicios PbLicos (1 996) , Madrid, Minis- terio de Administraciones Pblicas. Martin S errano. M. (1 999>, Informe sobre polti- cas de juventud en E spaa, Madrid, IN JuvE. Zeithmal. VA., Parasurarnan, A.y Berry, L. (1 993 >: Calidad total en la gestin de servicios, c- mo lograr el equilibrio entre las percepciones y las expectativas de los consumidores, Das de S antos, Madrid. vii Congreso N acional de la Calidad (Madrid, 1 6 y 1 7 de iunio de 1 998>, Madrid, Asociacin Espaola para la calidad y Gestin 2 0 0 0 . Jos Luis PALACIO S GME Z cuadernos de Trabajo social 2001, 14: 99-117 1 1 7