PRCTICA 5: VALIDACIN E IMPLEMENTACIN DE UN INSTRUMENTO DE RECOGIDA DE DATOS.

Jessica Parrado Fernndez Vctor Rueda Dominguez Jayro Nieto Reina 24-1 -2013

INFORME DE INVESTIGACIN 1.-Introduccin (Presentacin del informe): En el siguiente informe describiremos el proceso de elaboracin de la prctica nmero 5 Validacin de instrumentos y anlisis de datos, de la asignatura de informtica aplicada. Para poder realizar dicha tarea partimos de la prctica 4, en la cual elaboramos un instrumento de recogida de datos a travs de google drive, basado en una escala de valoracin sobre la plataforma virtual de la universidad de Sevilla en el curso acadmico 2013-2014. A lo largo de dicho informe, analizaremos los objetivos que hemos intentado alcanzar a travs de la realizacin de la prctica cinco, el mtodo utilizado a la hora de validar el cuestionario, el utilizado para implementar el instrumento validado a travs de una muestra y el utilizado para analizar los resultados obtenidos de dicha muestra. Posteriormente en el punto cuatro, introducimos el anlisis de los resultados obtenidos a travs del instrumento de recogida de datos, el cual se ha realizado a travs del programa informtico IBM SPSS. Y por ltimo aadimos unas conclusiones finales grupales, sobre el trabajo realizado, as como una rbrica final en la que evaluamos dicho trabajo. 2.-Objetivos: Validar un instrumento de recogida de datos a travs de la evaluacin de un experto. 1. Disear un protocolo de evaluacin, que sirva como gua al experto que evaluar el instrumento diseado para la recogida de datos. 2. Revisar y corregir el instrumento de recogida de datos a travs de la evaluacin del experto. Implementar el instrumento de recogida de datos validado por el experto con una muestra. Analizar los datos obtenidos de la muestra de forma cuantitativa y cualitativa. Recoger los anlisis realizados a los datos obtenidos en un informe

3.-Mtodo: 3.1 Validacin de Expertos En primer lugar, pasamos a tratar la validacin del cuestionario, para ello, hemos acudido a cinco profesionales de la Universidad de Sevilla (profesores, profesionales en la materia tratada, personal de investigacin, etc.) los cuales estn estrechamente familiarizados con la materia trabajada, que en este caso es el estudio de las plataformas de enseanza virtual. Nos pusimos en contacto con la mayora de los expertos por va email a travs de una pequea presentacin en la que pedamos su ayuda como juez experto en la materia y un protocolo que explicaba detalladamente la forma de evaluar dicho cuestionario. El protocolo adjuntado en el email fue el siguiente:

VALIDACIN

DEL

CUESTIONARIO

PARA

EL

ALUMNADO

UNIVERSITARIO ACERCA DE LA EVALUACIN DEL APRENDIZAJE

A continuacin solicitamos tu participacin como Juez en la validacin del Cuestionario para el Alumnado Universitario acerca de la Evaluacin de la Enseanza Virtual de la Universidad de Sevilla. Con dicho cuestionario se pretende recoger las percepciones de los alumnos y alumnas universitarios sobre la evaluacin de la enseanza virtual y sobre el modo en que sta se lleva a la prctica en las asignaturas que cursan. Se han contemplado varias dimensiones o aspectos objeto de estudio, agrupados en torno a tres bloques: Accesibilidad del contenido, Usabilidad, Comunicacin, Diseo pedaggico y Tecnologa. En relacin a cada uno de los tems redactados, te pedimos que expreses una puntuacin numrica de 0 a 5, en funcin de dos criterios bsicos que pasamos a definir:

PERTINENCIA Correspondencia entre el contenido del tem y la dimensin para la cual va a ser utilizado.

CLARIDAD

Grado en que el tem est redactado de forma clara y precisa, facilitando su comprensin por los sujetos encuestados.

El valor 0 indica la mnima pertinencia o claridad en el tem, mientras que el 5 indica el mximo valor en estos criterios. Adems, en el apartado Comentarios puedes hacer comentarios, observaciones y plantear modos alternativos de formular aquellos tems que consideres inadecuados por su falta de claridad o pertinencia. Una vez enviados los correos electrnicos recibimos contestacin de tres expertos, y slo uno de ellos se ofreci a ayudarnos los otros restantes nos pedan disculpas por no colaborar a falta de tiempo. El experto que respondi solicitaba una entrevista con el grupo para realizar la valoracin del cuestionario personalmente y acudimos a la cita sin falta. La validacin del instrumento se realiz correctamente a travs del protocolo creado por el grupo y el experto nos anot en este que tems debamos modificar en el instrumento, cuales deban ser eliminados y cuales podramos aadir, esto ltimo como sugerencia. 3.2.-Anlisis de la valoracin del experto: A continuacin pasamos a analizar la valoracin obtenida a travs del protocolo por el experto. Si nos centramos en la valoracin global en cuanto a claridad, el nmero de tems ha obtenido una valoracin alta (4,13) y en cuanto a pertinencia ha obtenido una puntuacin de (4,13), as que ambos estn igualados y por lo tanto el cuestionario ha obtenido una nota en general de (4.13) . Si hacemos referencia a la valoracin individual de cada uno de los tems, resumimos afirmando que las calificaciones en referencia a los criterios de adecuacin, coherencia

y claridad han sido altas, obteniendo las puntuaciones 4 y 5 en la mayora de los casos. Centrndonos en la mejora del algn tem, slo hemos obtenido calificaciones bajas (entre 2 y 3 puntos) en los tems 9, 17, 25 y 27 los cuales han sido modificados o eliminado en algunos casos como el tem 9. Queremos resaltar los tems que han obtenido la calificacin mxima (5) en los dos criterios a valora por los expertos, han sido bastantes (1, 2, 4, 5, 6, 7, 10, 11, 13, 16, 19 y 20) Como sugerencia a mejorar por parte del experto, salindose de los criterios especificados por nuestra parte que deba de valorar del instrumento de investigacin, nos propone incluir dos tems ms el tem numero 14 y el 27 (que aparecen en el cuestionario corregido). 3.3.-Correcin del instrumento y validacin del instrumento. Posteriormente pasamos a realizar la correccin del instrumento y la validacin del mismo a travs de las aportaciones del experto y qued de la siguiente manera:
BLOQUE 1: ACCESIBILIDAD DEL CONTENIDO ALTA 1.-La plataforma es compatible con los navegadores ms utilizados: internet Explorer, mocilla firefox, crhome 2.-Dificultad para acceder a la plataforma. 3.-Se proporciona descripcin de algunos elementos multimedia. 4.-Las combinaciones de los colores de fondo permiten que todos los elementos puedan ser percibidos sin dificultad 5.-Todos los recursos se identifican claramente con un ttulo. 6.-Se proporciona informacin para orientar al alumno a la hora de acceder a los diferentes servicios que proporciona el sistema. 7.-Dificultad a la hora de descargar o subir archivos a la plataforma virtual. 8.-El cierre de sesin por inactividad facilita dar continuidad al desarrollo de la tarea que se est ejecutando. 9.- Las descargas se pueden realizar de manera inmediata sin alterar el ritmo de trabajo. BLOQUE 2: USABILIDAD ALTA 10.- Los enlaces que aparecen dentro de los contenidos estn marcados en otro color o destacados, para diferenciarlos claramente del resto del texto. 11.-Desde cualquier parte de la plataforma el alumno tiene la posibilidad de regresar al inicio sin dificultad. MEDIA BAJA MEDIA BAJA

12.- Los servicios de la plataforma estn claramente destacados mediante iconos o smbolos. 13.-Los contenidos multimedia pueden visualizarse y escucharse correctamente. 14.- La plataforma puede usarse indistintamente y con fluidez en diferentes conceptos (mvil, pda, ipad) BLOQUE 3: COMUNICACIN ALTA 15.- El sistema permite la comunicacin directa entre profesorado y alumnado. 16.- La plataforma permite la creacin de espacios donde poder comunicarse con otros usuarios (foros, blogs) 17.-El sistema permite el envo y recepcin de archivos entre otros usuarios sin dificultad. 18.-El alumno puede organizar sin dificultad dentro del sistema la informacin recibida y enviada. 19.-El sistema permite la recuperacin de archivos enviados como tareas. 20.-La plataforma dispone de un tabln de anuncios. El uso y calidad de este servicio es: 21.-El tabln de anuncios de la plataforma resulta til para seguir el desarrollo de la asignatura. BLOQUE 4: DISEO PEDAGGICO ALTA 22.-Organizacin general de la plataforma virtual. 23.-La plataforma dispone de un calendario donde el alumno puede marcar las tareas o fechas sealadas. 24.-La plataforma dispone de un apartado donde identificarse como alumno y donde obtener informacin del resto de usuarios. Este tiene una dificultad de utilidad: 25.- La plataforma ofrece diversos recursos multimedia que facilitan la formacin del estudiante. BLOQUE 5: TECNOLOGA ALTA 26.-El sistema de navegacin de la plataforma virtual funciona adecuadamente. 27.-El material que se les ofrece a los alumnos se descarga con facilidad. 28.-Las imgenes de la plataforma se visualizan correctamente. 29.-Los recursos de la plataforma funcionan correctamente y pueden ser usados por el estudiante sin ningn problema. MEDIA BAJA MEDIA BAJA MEDIA BAJA

PREGUNTAS ABIERTAS:
1. Qu aspectos mejoraras plataforma virtual? de la

2. Qu aspectos positivos destacaras de la plataforma virtual?

3.4.- Muestra:

Una vez modificado el instrumento ya era apto para proceder a pasarlo a la muestra seleccionada y procedimos a ello subindolo a la plataforma virtual de la universidad de Sevilla, a la cual accedieron los participantes de la muestra, para proceder a rellenar la encuesta ya revisada.

La muestra final la componan 26 estudiantes universitarios de la universidad de Sevilla, los cuales pertenecan al tercer curso del grado de Pedagoga y a la asignatura de informtica.

4.-Resultados:

OPININ DEL ALUMNADO CON RESPECTO A LA PLATAFORMA VIRTUAL DE LA UNIVERSIDAD DE SEVILLA

En el presente informe mostramos un estudio sobre la valoracin de la plaforma virtual de la Universidad de Sevilla. El informe se ha dividido en diferentes apartados, en el primero de ellos, el planteamiento del estudio, se concreta el problema de investigacin, la metodologa, la muestra y el instrumento de recogida de datos. En el segundo, el procedimiento de anlisis, se indican las tcnicas estadsticas empleadas. En el tercero, resultados, se exponen las interpretaciones derivadas del anlisis de los datos. En el

cuarto y ltimo, conclusiones, se sintetiza la respuesta al interrogante planteado, mencionando los resultados ms destacables.

PLANTEAMIENTO DEL ESTUDIO

En este Informe tratamos de responder al siguiente interrogante:

Qu piensan los estudiantes universitarios acerca de la nueva plataforma virtual?

Para ello se ha efectuado un anlisis descriptivo de los datos recogidos mediante un cuestionario compuesto por 29 tems valorados de 1 a 3, suponiendo el valor tres la peor consideracin posible y el uno la mejor. La muestra participante ascendi finalmente a 25 sujetos, pertenecientes a la Universidad de Sevilla.

PROCEDIMIENTO DE ANLISIS

El anlisis que vamos a exponer se centra en la interpretacin de las medidas de tendencia central y dispersin (media y desviacin tpica) de 11 de los tems empleados para valorar dicha plataforma: La plataforma es compatible con los navegadores ms utilizados: internet explore, mozilla (tem 1), El material que se les ofrece a los estudiantes se descarga con facilidad (tem 4), Todos los recursos se identifican claramente con un ttulo (tem 5), El sistema permite la recuperacin de archivos enviados como tarea (tem 7), Las combinaciones de los colores de fondo permiten que todos los elementos puedan ser percibidos sin dificultad (tem 8), Desde cualquier parte de la plataforma el alumnado tiene la posibilidad de regresar al inicio sin dificultad (item9), El sistema permite el envo y recepcin de archivos entre otros usuarios sin dificultad (tem 10), Los servicios de la plataforma estn claramente diferenciados mediante iconos o smbolos (tem 11), Estructura y organizacin

general de la plataforma virtual (tem 21), El cierre de sesin por inactividad facilita dar continuidad al desarrollo de la tarea que se est ejecutando (tem 23), El alumno puede organizar sin dificultad dentro del sistema la informacin recibida y enviada (tem 26).

RESULTADOS

Atendiendo a la tabla 1, vemos como el material que se les ofrece a los estudiantes para descargar con facilidad (tem 4), y ante las respuestas que nos han dado sobre la posibilidad de regresar al inicio sin dificultad desde cualquier parte de la plataforma (tem 9), como tambin las respuestas que nos han dado sobre si los servicios de la plataforma estn claramente diferenciados mediante iconos o smbolos (tem 11) y por ltimo la estructura y organizacin general de la plataforma virtual (tem 21), vemos que se encuentra la desviacin tpica en un valor menor a ,750, podemos afirmar que existe una desviacin considerable entre los sujetos que han elegido las tres opciones. El ejemplo ms considerable lo vemos en el tem 21, donde la media de los sujetos al responder ha sido 2,20, lo que quiere decir que han seleccionados las tres opciones posibles, siendo la ms puntuadas por los usuarios el valor 2 (media).

Por el contrario, vemos en el siguiente conjunto de tems, como la dispersin es mucho mayor. Estos tems son El sistema permite la recuperacin de archivos enviados como tareas (tem 7), Las combinaciones de los colores de fondo permiten que todos los elementos puedan ser percibidos sin dificultad (tem 8) y El cierre de sesin por inactividad facilita dar continuidad al desarrollo de la tarea que se est ejecutando (tem 23). Como podemos apreciar en la tabla 1, vemos como estos tems tienen una desviacin cercana, e incluso muy superior, a 800, es decir, por ejemplo, en el tem 8 vemos que los sujetos responden todas la posibilidades, sobre todo los extremos, aunque la media sea cercana a la mitad de la puntuacin ofrecida.

Estadsticos descriptivos N La plataforma permite la creacin de espacios donde poder comunicarse con otros usuarios (foros, blog, chat...) El material que se les ofrece a los estudiantes se descarga con facilidad Todos los recursos se identifican claramente con un ttulo El sistema permite la recuperacin de archivos enviados como tarea La combinaciones de los colores de fondo permiten que todos los elementos puedan ser percibidos sin dificultad Desde cualquier parte de la plataforma el alumno tiene la posibilidad de regresar al inicio sin dificultad El sistema permite el envo y recepcin de archivos entre otros usuarios sin dificultad Los servicios de la plataforma estn claramente diferenciados mediante iconos o smbolos Estructura y organizacin general de la plataforma virtual El cierre de sesin por inactividad facilita dar continuidad al desarrollo de la tarea que se est ejecutando El alumno puede organizar sin dificultad dentro del sistema la informacin recibida y enviada Grupo N vlido (por lista) Media Desviacin estndar

25

1,80

,764

25

1,88

,726

25

1,88

,781

25

1,88

,833

25

1,92

,862

25

1,92

,702

25

1,92

,759

25

1,96

,735

25

2,20

,707

25

2,28

,792

25

2,36

,757

25 25

13,00

7,360

CONCLUSIONES

Basndonos en el interrogante propuesto al principio de este informe que hemos llevado a cabo, podemos concluir diciendo que el anlisis sobre la valoracin que tienen la

10

muestra de sujetos a los que le hemos realizado este anlisis, integrantes de la Universidad de Sevilla, no nos esclarecen este problema de investigacin, dado que la desviacin es alta y nos impide saber la opinin definitiva de los alumnos. Puede ser que la muestra seleccionada no se haya tomado con seriedad la evaluacin sobre la plataforma virtual de la Universidad de Sevilla.

En definitiva, viendo las diferentes opiniones extremas que existen entre la muestra sobre la calidad de la plataforma virtual de la Universidad de Sevilla, no podemos afirmar, que la plataforma cumple con los requisitos que los estudiantes requieren, ni tampoco podemos afirmar que la plataforma no cumpla con los requisitos de los estudiantes.

6.-Bibliografa: -Marcelo, C.(2006) Prcticas de e-learning. Barcelona. Editorial Octaedro.

11