Creando cultura evaluadora de la calidad de los

materiales didcticos usados en la formacin ON LINE

Fco. Andrs Garca Martnez
fagarcia@ugr.es
Jos Antonio Ortega Carrillo
jaorte@ugr.es
Universidad de Granada - Centro UNESCO de Andaluca

Trabajo publicado en ALONSO, C. M. y GALLEGO, D. (Eds.) (2002):

Tecnologas de la informacin y la comunicacin para el
aprendizaje. Tomo I. Madrid: UNED, pp. 43-74.

1. La formacin ON-LINE como herramienta al servicio de la educacin

permanente.
El desarrollo experimentado por la NTIC ha propiciado el que se produzcan
grandes avances en todas las reas de la actividad humana y en especial en el
de la educacin abierta y flexible a distancia. La sociedad de la informacin
requiere de los ciudadanos que participen de forma activa, consciente y
reflexiva en todos los mbitos de la vida, as como una constante adaptacin a
los mltiples y rpidos cambios a los que todos estamos sometidos. Por ello se
hace necesaria una Educacin Permanente que posibilite a los jvenes y
adultos una formacin que favorezca el desarrollo individual y la capacidad de
interactuar en el medio social, laboral, familiar, intergeneracional.
Los procesos didcticocomunicativos que tienen lugar en los espacios
virtuales de enseanzaaprendizaje se enriquecen con el empleo de
herramientas propias de la interaccin especficas de las redes telemticas,
entendiendo estos escenarios de aprendizaje como nuevas situaciones
educativas ms amplias en cuanto a conocimientos y procedimientos que los
que hasta ahora conocemos (MARCELO, 2002: 18).
La educacin a distancia como consecuencia de las aportaciones de las NTIC
adopta diferentes formatos en funcin de los avances tecnolgicos, as como
por la capacidad de los usuarios de aprovechar estos avances (MARCELO,
2002: 19).
Los profesores tienen la oportunidad de teleensear y de teleformar con
nuevos materiales didcticos (hipermedia), as como a los alumnos la de
autoaprender con ellos y de aprender colaborativamente y cooperativamente
con otros agentes de la propuesta de educacin y de la formacin ON LINE.

2. La complejidad de los ecosistemas educativos virtuales.

Como henos escrito recientemente los centros de enseanza conforman
organizaciones que han de concebirse como ciber-ecosistemas (surgidos
desde la experiencia subjetiva comn) en los que la comunicacin educativa se
realiza mediante el intercambio telemtico de palabras, imgenes y sonidos
digitalizados (convertidos en secuencias de bits).
Estos ecosistemas se componen de ciber-biotopos formativos (agrupamientos
de alumnos para aprender en la virtualidad) de naturaleza y estructura
reticular, ya que los espacios fsicos de convivencia los conforman el conjunto
de ordenadores que, conectados a la red Internet, permiten la
intercomunicacin sincrnica y asincrnica alumno-profesor, alumno-alumno,
profesor-profesor y entidad-sociedad. En ellos interactan compartiendo
conocimientos, emociones y valores ciber-biocenosis planetarias (grupos de
ciber-alumnos y de ciber-profesores) pertenecientes a diferentes culturas y
geografas, motivados por intereses comunes a aprender teletrabajando en
proyectos de formacin a distancia.
Una premisa que han de compartir los integrantes de estas ciber-biocenosis es
el dominio de una lengua oral y escrita comn. Igualmente parece aconsejable
que alumnos y profesores compartan los significados de un conjunto cdigos
de comunicacin icnicos (pictogramas y smbolos) esenciales para el manejo
eficaz de las herramientas de comunicacin (correo electrnico,
teletransferencia de ficheros, conversacin por teclados, elaboracin e
intercambio de mensajes hipermedia, audio y videoconferencia, etc.).
Tal concepcin hunde sus races en la idea de que las organizaciones
dedicadas a la ciberformacin se conforman cual realidades sistmicas
formadas por ciertos subsistemas humanos que conviven en la realidad
(cuando se trate de experiencias semipresenciales) y otros que lo hacen
exclusivamente en el ciberespacio de forma virtual (ORTEGA CARRILLO,
2002).
Las competencias del profesor de Educacin a distancia con el empleo de las
NTIC y las herramientas y canales propios de Internet (eLearning) y de
formacin ON LINE adquieren nuevas dimensiones, correspondiendo para
MARCELO (2002: 54) las tareas de disear (ambientes de aprendizaje, los
contenidos formativos, las actividades de aprendizaje, los elementos grficos),
tutorar a los alumnos de forma individual y grupal y gestionar programas de
formacin. GARCIA ARETIO (2000: 116) habla de una complejidad de
funciones que han de ser desarrolladas por una multitud de agentes desde el
diseo de la propuesta de Educacin a Distancia hasta la evaluacin de los
aprendizajes de los alumnos, aadiendo nosotros la de los materiales y
recursos didcticos empleados y de la propuesta de formacin ON LINE de
forma global. Coincidimos con GARCIA ARETIO y MARCELO en la afirmacin
de que todas estas funciones no tienen que ser desempaadas por el mismo
profesor, sino por un equipo de expertos (en contenidos, en tecnologa
educativa, en produccin de materiales, orientacin, evaluacin , etc.).

De este modo, en el campo de la educacin permanente se plantean hoy da

retos cuya solucin es cada vez ms compleja, y que debern ser superados
para satisfacer las necesidades educativas y formativas de los ciudadanos de
cara a su plena integracin sociolaboral, de la sociedad en general y de los
agentes educativos en particular.
Las necesidades de aprendizaje y de actualizacin de conocimientos van en
aumento, al igual que las necesidades de formacin profesional en horarios
flexibles, sin necesidad de presencialidad en las aulas, de desplazamientos,
etc.
Esto ltimo exige el empleo de nuevas metodologas didcticas, del empleo de
nuevos materiales curriculares (hipermedia) y de nuevos espacios educativos
caracterizados por la no ubicacin fsica esttica sino por una dinmica (en
continuo cambio y caracterizado por la ubicacin de los profesores y los
alumnos), al igual que cambios en los roles de alumnos y profesores.
La misin de los materiales y de los recursos didcticos hipermedia es la de
facilitar el autoestudio y el estudio cooperativo a los estudiantes, as como el
desarrollo de las experiencias de enseanza aprendizaje que tienen lugar
dentro de las actividades formativas abiertas.
En cuanto a la decisin sobre cules son los medios ms adecuados a utilizar
suele ser compleja, ya que no existen todava suficientes estudios
experimentales para la comparacin objetiva de medios y formatos, y se corre
el riesgo de que la decisin est condicionada en exceso por los recursos
disponibles.
3. Creando cultura evaluadora de los materiales educativos on-line.
Por lo tanto se impone la necesidad de evaluar los materiales didcticos
hipermedia que han de ser empleados en las acciones formativas ON LINE
considerando dos parmetros clave: su calidad, fiabilidad (GARCA
MARTNEZ, 2002)1 y usabilidad (MARCELO, 2002: 131)2. La evaluacin ha de
ser entendida como sinnimo de estimar en qu medida el elemento evaluado
tiene unas caractersticas que se consideran deseables y que han sido
especificadas a partir de la consideracin de unos criterios previamente
establecidos (MARQUS, 2002: 165).

Entendida la calidad como la conformidad de un producto con su especificacin (los

materiales curriculares y las unidades didcticas de formacin ON LINE responden a lo que de
ellos se dice), y la fiabilidad como una extensin de la calidad en el tiempo (los materiales
curriculares y las unidades didcticas responden a lo que de ellas se dice y adems sus
caractersticas se mantienen en el tiempo).
2

aade este concepto de acuerdo con la norma ISO 9241 (documento 11) donde se define
como el alcance al que puede llegar un producto al ser utilizado por unos usuarios especficos
para conseguir ciertas metas con eficiencia, efectividad y satisfaccin en un contexto de uso
concreto.

Para evaluar la calidad y la fiabilidad de los materiales y los recursos didcticos

en el programa de formacin ON LINE de directivos de instituciones educativas
(FODIE) del Departamento de Didctica y Organizacin Escolar de la
Universidad de Granada (http://www.ugr.es/~fagarcia) se propone una
investigacin basada metodologcamente en la triangulacin de datos
procedentes de jueces externos (profesores universitarios espaoles del rea
de Tecnologa Educativa), de los alumnos del programa y de las observaciones
de los propios autores.
3.1. El cuestionario electrnico como instrumento de evaluacin.
Para ello se emple el cuestionario electrnico, que se describe a continuacin
y que fue inicialmente validado por criterio de jueces (profesores de tecnologa
educativa de universidades espaolas).
Tras obtener el compromiso de colaboracin en el proceso de validacin del
instrumento, por parte de los jueces externos, se envi por correo electrnico el
cuestionario para su estudio y anlisis.
El protocolo definitivo contena las mejoras sugeridas por los jueces externos
como por los mismos autores del instrumento evaluador de los materiales
didcticos hipermedia (Unidades didcticas) y de los recursos didcticos del
programa FODIE, procedindose al clculo estadstico de su fiabilidad
posteriormente a la recogida de datos.
En el cuestionario electrnico de recogida de datos (formulario) existen 15
indicadores, que estimamos que deben ser controlados para detectar el grado
de calidad de los materiales curriculares publicados en la red como parte
integrante de las Unidades Didcticas en formato hipermedia y de la propuesta
FODIE.
El citado instrumento consta de 104 tem, de los cuales, 4 son abiertos donde
el evaluador puede escribir sin someterse a indicaciones de forma libre; y 2
tem de enunciado abierto, esto es, que no tienen enunciado dejando a los
evaluadores que lo redacten de acuerdo con las indicaciones dadas, los cuales
pretenden recoger aspectos que no aparecen en los tem relacionados con el
indicador 13 (Calidad de los elementos que componen la UD), a la vez que lo
califican con arreglo a la escala que los acompaa. A stos ltimos los
podramos denominar tem mixtos.
Para facilitar la evaluacin de los materiales y los recursos didcticos, el
evaluador slo tiene que pinchar sobre un men desplegable y seleccionar la
opcin deseada, actuando siempre con el botn izquierdo del ratn. Estas
ventanas desplegables responden a escalas de valoracin o escalas de
estimacin (COLS y BUENDA, 1994: 205), a travs de las cuales se
representa la intensidad o el grado de aceptacin, calidad, bondad, etc.,
numricamente y de forma automtica, gracias a la conversin realizada por el
software empleado. Todos los evaluadores (expertos y alumnos) tendrn que:

1. Elegir una entre varias opciones de un men desplegable.

2. Realizar comentarios alusivos a los apartados evaluados y cuyo
contenido no se recoge en los tem del cuestionario.
3. Construir, si lo estima conveniente, el enunciado (para dos tem) no
recogido en el cuestionario y que puede ser evaluado segn el proceso
antes descrito, y
4. Plasmar sus impresiones, opiniones, juicios de valor, etc. en los tem de
respuesta abierta.
Los tem se agrupan en 15 grupos o indicadores, que a su vez, se dividen en
subgrupos los indicadores 2, 4 y 5 como a continuacin se detalla.
Tabla 1. Distribucin de grupos y subgrupos de indicadores.
Grupo/ Indicador

Denominacin del
aspecto

1. Facilidad de uso.

Grupo/ Indicador

Denominacin del
aspecto

tem

Enunciado

Respuestas

Valor

Se tiene en todo
momento conocimiento
del espacio Web donde
uno se encuentra?

Se
puede
avanzar,
retroceder, saltar a otra
pgina,
segn
las
preferencias del usuario?

Contamos con un
sistema de ayuda para la
resolucin de dudas?

Siempre
Casi siempre
Nunca
A veces
Siempre
Casi siempre
Nunca
A veces
Siempre
Casi siempre
Nunca
A veces

1
2
3
4
1
2
3
4
1
2
3
4

tem

Enunciado

Respuestas

Valor

5
2. Calidad del entorno
visual.

a) Aspectos grficos.
6

Muy
adecuado
El tipo de letra
Adecuado
empleado es:
Poco
Adecuado
Inadecuado
Muy
abundante
La iconicidad (uso de Abundante
imgenes visuales) es: Suficiente
Escasa
Nula
Muy
El uso de elementos
adecuado
de refuerzo del texto ( Adecuado
Subrayado, color,
Poco
parpadeo, etc.) es:
Adecuado
Inadecuado
Muy
adecuado
El tamao de la letra
Adecuado
es:
Poco
Adecuado
Inadecuado

1
2
3
4
1
2
3
4
5
1
2
3
4
1
2
3
4

Grupo/ Indicador

Denominacin del
aspecto

tem
8

2. Calidad del entorno

visual.

b) Diseo de pantallas.
10

11

Grupo/ Indicador

Denominacin del
aspecto

tem

12

13

2. Calidad del entorno

visual.

Grupo/ Indicador
2. Calidad del entorno
visual.

c) La Calidad tcnica.

Denominacin del
aspecto
d) La Calidad
esttica..

Enunciado

No
S
A veces
Resalta a simple vista lo No
S
ms notable del texto?
A veces
Tienen las pantallas un No
S
diseo claro?:
A veces
es atractivo el diseo de No
S
las pantallas?
A veces
Por lo general, las
pantallas presentan un
exceso de texto?:

Enunciado

Men de opciones:

Formularios

14

Barras de navegacin:

15

Barras de estado:

16

Enlaces:

tem

Respuestas

Enunciado

17

Los Ttulos:

18

Las Ventanas:

19

Los Iconos:

Respuestas
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala

Respuestas
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala

Valor
1
2
3
1
2
3
1
2
3
1
2
3

Valor
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5

Valor
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5

Grupo/ Indicador

2. Calidad del entorno

visual.

Grupo/ Indicador
3. Calidad de los
elementos hipermedia.

Denominacin del
aspecto

20

Los Botones:

21

Los Espacios de texto:

22

Los Espacios reservados

a las imgenes.

23

El Fondo:

tem

Enunciado

24

Correccin ortogrfica :

25

Correccin gramatical :

26

Correccin sintctica del

texto :

27

Abuso de la
subordinacin :

e) Estilo del lenguaje:

Denominacin del
aspecto

tem

Enunciado

28

Calidad de las
imgenes :

29

La adecuacin de las
imgenes y grficos a
l texto es:

30

Existen animaciones?

Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala

Respuestas
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala

Respuestas
Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala

SI
NO
Muy Buena

1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5

Valor
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5

Valor
1
2
3
4
5
1
2
3
4
5

1
0
1

31

La calidad de las
animaciones es

32

De existir, la
adecuacin de las
animaciones al texto
es:

33

Existen
presentaciones
audiovisuales?

34

La calidad de las
presentaciones
audiovisuales es :

35

36

37

38

40

41

42

43

2
3
4
5
1
2
3
4
5

Si

NO

Muy Buena
Buena
Regular
Mala
Muy mala
Muy Buena
De existir, la
adecuacin de las
Buena
presentaciones
Regular
audiovidsuales al texto Mala
es:
Muy mala
SI
Existen textos
sonoros?
No
Muy buena
Buena
La calidad de los
Regular
textos sonoros es:
Mala
Muy mala
Muy buena
De existir, la
Buena
adecuacin de las
Regular
animaciones al texto
Mala
es:
Muy mala

Denominacin
tem
Enunciado
del aspecto
4. Textos seleccionados. a) Aspectos
organizacionale
39 La informacin est:
s de los
contenidos.
Grupo/ Indicador

Buena
Regular
Mala
Muy mala
Muy Buena
Buena
Regular
Mala
Muy mala

Respuestas

Muy actualizada
Actualizada
Poco actualizada
Desactualizada
Muy Bien estructurada
Bien estructurada
La informacin est:
Mal estructurada
Muy mal estructurada
Diferencia los fundamental de lo subjetivo
Mezcla lo objetivo y lo subjetivo
No diferencia lo fundamental y lo subjetivo
Aporta datos objetivos que refuerzan la
exposicin
Aporta pocos datos objetivos
No aporta datos objetivos a la exposicin
Muy Bien seleccionadas
Las citas
Bien seleccionadas
empleadas
Mal seleccionadas
estn
Muy mal seleccionadas

1
2
3
4
5
1
2
3
4
5
1
0
1
2
3
4
5
1
2
3
4
5

Valor
1
2
3
4
1
2
3
4
1
2
3
1
2
3
1
2
3
4

44

45

46

47

48

49

Grupo/ Indicador

Denominacin del
aspecto

Muy Buena
La calidad de
Buena
los textos
Regular
seleccionados
Mala
es ...
Muy mala
Excesivo
El nmero de
Suficiente
textos
seleccionados Escaso
Insuficiente
es ...
No existen
Excesivo
Suficiente
El nmero de
imgenes es ... Escaso
Insuficiente
No existen
Muy buena
La calidad del Buena
texto sonoro es Regular
...
Mala
Muy mala
Muy Buena
La
Buena
presentacin Regular
visual es:
Mala
Muy Mala
La adecuacin Muy buena
Buena
de las
imgenes y
Regular
grficos al
Mala
textos es:
Muy mala
tem

50

4. Textos seleccionados.

b) Aspectos
conceptuales

51

52

Denominacin del
aspecto
4 . Textos seleccionados. c) Contenidos de
conocimiento y
valores:
Grupo/ Indicador

tem
53
54

Enunciado

1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5

Respuestas

Muy comprensible
La
exposicin de
Comprensible
conceptos
Poco comprensible
resulta:
Incomprensible
Muy adecuado
El formato
Adecuado
del texto es: Poco adecuado
Inadecuado
Excesivo
Utiliza
Suficiente
vocabulario
Escaso
especfico
Insuficiente
No lo utiliza
Enunciado
Los contenidos de
los mensajes
son:
y, adems,
resultan ...

Respuestas
Positivos
No se definen
Negativos
Muy tendenciosos
Tendenciosos
Poco tendenciosos

Valor
1
2
3
4
1
2
3
4
1
2
3
4
5
Valor
1
2
3
1
2
3

Nada tendenciosos
Grupo/ Indicador

Denominacin
del aspecto

tem
55

56

4. Textos seleccionados.

d)
Discriminacin
57

58

Grupo/ Indicador

Denominacin
tem
del aspecto

59

5. Navegacin.
Interaccin con el
sistema ON LINE.

a) Navegacin.
Interaccin con
el sistema ON
LINE.

60

61

Grupo/ Indicador
5. Navegacin.
Interaccin con el
sistema ON LINE.

Denominacin
del aspecto
b) Interaccin
de los agentes
de la Formacin
ON LINE.

tem

62

63

Enunciado

Respuestas

Discriminan a la mujer
Discriminan al hombre
los contenidos
No discriminan
Se dirigen a una clase
social concreta
En cuanto a la
clase social los
Hacen distincin entre
textos y los
clases sociales
contenidos
No discriminan entre
clases sociales
Discriminan por pensar
diferente
En cuanto a las
Se muestran respetuosos
creencias los textos
con las diferencias
y los contenidos
No
hacen
discriminaciones
Hacen distincin entre
En cuanto a las
culturas
culturas o a los
Son respetuosos con las
grupos tnicos los
dems culturas
textos y los
No
hacen distincin
contenidos
entre culturas
En cuanto al
sexo los textos y

Enunciado

Respuestas

A diferentes secciones de la
UD
A distintas partes de la misma
A diferentes partes del
programa FODIE y a otras
pginas.
Lineal
El sistema de
No Lineal
navegacin
Interactivo
es ...
No Lineal e Interactivo
Organizar el itinerario
El sistema de formativo
navegacin
Realizar acciones concretas
permite ...
Trabajar con una sola pginas
de texto / grficos
Las pginas
Web
permiten
acceder con
facilidad ...

Enunciado
La interaccin
profesores alumnos ...
La interaccin
en los alumnos
d l

Respuestas
Est Muy bien diseada
Est Bien diseada
Es mejorable
Est Mal diseada
Est muy mal diseada
Est muy bien diseada
Est bien diseada

4
Valor
1
2
3
1
2
3
1
2
3
1
2
3

Valor
1
2
3
1
2
3
4
1
2
3

Valor
1
2
3
4
5
1
2

del programa
FODIE ...

Grupo/ Indicador

Denominacin
del aspecto

Denominacin
del aspecto

3
4
5

64

Otros aspectos
a resaltar Entindase por
resaltar, cuidar,
mejorar, etc. no recogidos en
los tem
anteriores:

tem

Enunciado

Respuestas

65

El papel de
alumno y de
cada alumna es
...

De mero receptor de
informacin
De receptor y emisor
Emisor de informacin

2
3

66

Los canales de
difusin de la
informacin
producida por
los alumnos son
...

Excesivos
Suficientes
Escasos
Insuficientes
No existen

1
2
3
4
5

tem

Enunciado

6. Bidireccionalidad
Comunicativa.

Grupo/ Indicador

Es mejorable
Est Mal diseada
Est muy mal diseada

7. Potencialidad
comunicativa.
67

68

69

70

71

Respuesta abierta

Respuestas

Enlaces a otras Pg. Web

relacionadas.
La Unidad
Dispone de enlaces a otras
Didctica
pginas.
dispone de ...
No dispone de enlaces a
otras pg. Web.
La Unidad
Con los servicios centrales
Didctica
de FODIE.
ofrece la
Con todos los participantes
posibilidad de
y Serv. Centrales de
contactar
FODIE.
mediante correo No ofrece servicios de
electrnico.
correo electrnico.
La Unidad
Didctica
Otros alumnos del
ofrece la
programa.
posibilidad de
Alumnos y profesores del
contactar
programa.
mediante IRC
con ...
No ofrece este servicio.
La Unidad
Didctica
ofrece el
servicio de
NEWS para
difundir ...
La Unidad
Didctica tiene

Noticias y datos de inters.

Datos relacionados con
FODIE.
No ofrece este servicio.
Con Muy fcil acceso.
Con fcil acceso.

Valor
1

Valor
1
2
3
1
2

1
2
3
1
2
3
1
2

conexin con
un banco de
preguntas y
respuestas
(FAQ)
relacionadas
con la funcin
directiva en
instituciones
educativas
Grupo/ Indicador

Denominacin
del aspecto

tem

72

8. Capacidad motivadora
del material didctico
empleado en esta Unidad
Didctica.

resulta ...

Despierta la
curiosidad y el
inters de los
usuarios ...

73

Grupo/ Indicador

Denominacin
del aspecto

tem
74

9. Circunstancias
individuales.
75
76

Grupo/
Indicador
10.
Potencialidad
de los
recursos
didcticos ...

Denominacin
tem
del aspecto

77

78

79
80

Enunciado

Enunciado

Con difcil acceso.

Con muy difcil acceso.

No ofrece este servicio.

Respuestas
Muy atractivo

Atractivo

Poco atractivo

Nada atractivo
Siempre
Casi siempre
A veces
Nunca

4
1
2
3
4

Respuestas

Siempre
La UD contempla
las caractersticas Casi siempre
A veces
de los usuarios
Nunca
Siempre
La UD contempla
las circunstancias Casi siempre
A veces
de los usuarios
Nunca
Comentarios
Respuesta abierta

Enunciado

Valor

Respuestas

Siempre
Se disponen de distintos
Casi siempre
itinerarios (experiencias para el
A veces
Auto aprendizaje) ...
Nunca
Siempre
Al introducir los conceptos
Casi siempre
nuevos emplea esquemas,
A veces
sntesis, ...
Nunca
Siempre
Emplea diversos cdigos
Casi siempre
comunicativos (verbal, icnico,
A veces
...)
Nunca
Incluye cuestiones relacionadas Siempre

Valor
1
2
3
4
1
2
3
4

Valor
1
2
3
4
1
2
3
4
1
2
3
4
1

con los nuevos conocimientos

introducidos ...

81

Grupo/
Indicador

11.
Fomento
de la
iniciativa y
el auto
aprendizaje
...

Grupo/
Indicador

Denominacin
tem
del aspecto

82

83

Denominacin
tem
del aspecto

Se puede recurrir a un sistema

de ayudas y refuerzos
constantes ...

Enunciado

El alumnado puede organizar

su tiempo de estudio ...

El alumnado puede definir sus

propios itinerarios formativos
...

Enunciado

12. Calidad
didctica.
84

de los objetivos

85

de los procedimientos

86

de los contenidos

87

De la evaluacin

88

De la auto evaluacin

89

La evaluacin inicial.

Casi siempre
A veces
Nunca
Siempre
Casi siempre
A veces
Nunca

Respuestas

2
3
4
1
2
3
4

Valor

Siempre
Casi siempre

1
2

A veces

3
4
1
2
3
4

Nunca
Siempre
Casi siempre
A veces
Nunca

Respuestas
Alta
Suficiente
Baja
Muy Baja
Nula
Alta
Suficiente
Baja
Muy Baja
Nula
Alta
Suficiente
Baja
Muy Baja
Nula
Alta
Suficiente
Baja
Muy Baja
Nula
Alta
Suficiente
Baja
Muy Baja
Nula
Muy Alta
Alta
Suficiente
Baja

Valor
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4

Grupo/
Indicador

Denominacin
tem
del aspecto

90

Grupo/
Indicador
13. Calidad
de los
elementos
que
componen
la UD.

Denominacin
tem
del aspecto

91

92

93

94

95

96

97

98

99

Enunciado

Respuestas

Muy Baja
Muy Alta
Alta
Trabajo de evaluacin
propuesto al finalizar la Unidad Suficiente
Didctica.
Baja
Muy Baja
Enunciado

Respuestas

Muy Alta
Alta
Suficiente
Baja
Muy Baja
Muy Alta
Alta
Introduccin de la Unidad
Suficiente
Didctica.
Baja
Muy Baja
Muy Alta
Alta
Las actividades propuestas para
Suficiente
realizar en grupo.
Baja
Muy Baja
Muy alta
Trabajo del alumno, de las
Alta
actividades, de las destrezas
Suficiente
alcanzadas, etc.
Baja
Muy Baja
Muy alta
Alta
Actividades de refuerzo.
Suficiente
Baja
Muy Baja
Muy alta
Alta
Propuestas de Investigacin Suficiente
Accin.
Baja
Muy Baja
Muy alta
Alta
Instrumentos de auto
Suficiente
evaluacin.
Baja
Muy Baja
Muy alta
Alta
Secuencia de repaso.
Suficiente
Baja
Muy Baja
Enunciado abierto 1
Muy alta
Alta
Suficiente
Baja
Profundizacin de
conocimientos.

Valor
5
1
2
3
4
5
Valor
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4

Grupo/
Indicador

Denominacin
tem
del aspecto

Enunciado

100 Enunciado Abierto 2

Respuestas

Valor

Muy Baja
Muy alta
Alta
Suficiente
Baja
Muy Baja

5
1
2
3
4
5

Otros aspectos a resaltar no

recogidos en los apartados
101 anteriores, referidos a la calidad Respuesta abierta
de los procesos y los recursos
de tele formacin.
Grupo/
Indicador

Denominaci
tem
n del
aspecto

102

14.
Valoracin
del
material
didctico ...

Grupo/ Indicador
15. Aspectos no
recogidos en la
Evaluacin.

Enunciado

Las Orientaciones dadas se pueden calificar

de ...

Respuestas

Valor

Muy Buenas
Buenas
Regulares

1
2

Malas
Muy Malas

4
5

A su juicio, la unidad didctica contribuir a

Bastante
modificar los hbitos de comportamiento
(rutinas profesionales), la cultura del centro,
... contribuyendo a mejorar la organizacin
103 de la institucin educativa donde cada uno de
los alumnos y alumnas presta sus servicios, Poco
bien como docente o desempeando un
cargo directivo; y los procesos educativos
que tienen lugar en ella:
Nada
Denominacin
tem
del aspecto

Enunciado

2
3

Respuestas

A su juicio, Qu aspectos de esta

104 Unidad Didctica no han sido
indicados para ser evaluados?.

3.2. Formato del cuestionario ubicado en la web.

A continuacin mostramos un ejemplo de la esttica del cuestionario
electrnico elaborado para el programa FODIE.

Grfico 1. Captura de pantalla del cuestionario.

Tras la evaluacin de las Unidades Didcticas hipermedia y del anlisis de los

datos aportados por los jueces externos y los alumnos del programa FODIE,
para una mejor comprensin global de los datos, se propuso la siguiente tabla
resumen:

tem

Enunciado

Se tiene en todo
momento conocimiento
del espacio Web donde
uno se encuentra?

Se puede avanzar,
retroceder, saltar a otra
pgina,
segn
las
preferencias
del
usuario?
Contamos
con
un
sistema de ayuda para
la resolucin de dudas?

Calificativo
de
respuesta
Siempre
Casi
siempre
Nunca
A veces
Siempre
Casi
siempre
Nunca
A veces
Siempre
Casi
siempre
Nunca
A veces

Rang
o

Jueces
%

Alumnos
%

Media
ponde-rada
del Indicador.

1
2
3
4
1
2
3
4
1
2
3
4

3.3. Fiabilidad del cuestionario electrnico de evaluacin de materiales

didcticos hipermedia.
La fiabilidad se refiere al grado de consistencia del instrumento de medida
(cuestionario electrnico) expresado mediante el coeficiente de correlacin de
Pearson (BISQUERRA, 1989). Para determinar la fiabilidad del instrumento de
recogida de datos, en nuestra investigacin se emplea el mtodo de las dos
mitades, de forma que una vez recogidos todos los cuestionarios, los datos se

dividen en dos mitades (correspondientes a los tem pares y a los impares). La

correlacin entre estas partes nos determinar el ndice de fiabilidad del
cuestionario.
Para el clculo de la fiabilidad se emplea el programa informtico STATISTICA
para Windows, procediendo procedido a agrupar los tem por el nmero de
respuestas posibles. De este modo encontramos que analizados los tem de 3,
y 5 respuestas posibles el coeficiente de fiabilidad es medio alto o muy alto,
oscilando entre valores de 0.76 a 0.85; lo que indica que si este instrumento es
usado para repetidas evaluaciones de la calidad de las unidades didcticas del
programa FODIE, siempre actuar midiendo aquello que se desea medir.
El desarrollo de la exploracin descriptiva de los datos y el anlisis factorial nos
muestran un patrn muy consistente que nos indica que existen dos grandes
grupos de variables o agrupaciones de variables, tal y como se muestra en los
grficos siguientes:
1. Emplea, tamao de letra, comunicacin, respeta.
2. Presentacin visual, Sistema de ayuda, Contenidos, Itinerarios, Recursos,
Inters, Motivacin, Sistema de ayuda, horarios flexibles y Autonoma en el
estudio.
3. Desde TRABAJO_ALUMNO hasta INSTRUMENTO_AUTOEVALUACIN.
Siendo variables muy afines entre ellas TRABAJO ALUMNO, REFUERZO,
FORMULARIO, BARRA_NAVEGACIN, BARRA_ESTADO, ENLACES,
TTULO,
VENTANA,
ICONOS,
BOTONES,
ESPACIO_TEXTO,
EXPACIO_IMAGEN;
y por otro lado ACTIVIDADES_GRUPO e
INVESTIGACIN ACCIN, las cuales hacen referencia a aspectos grficos de
las pginas Web que componen los distintos materiales hipermedia de las
unidades didcticas del programa FODIE.
4. Desde EVALUACIN a ADECUACIN_TEXTOS, donde podemos observar
que hay dos variables muy afines CALIDAD IMAGEN e INTERACCIN
PROFESOR-ALUMNO, haciendo referencia este agrupamiento de variables a
los recursos curriculares hipermedia empleados en el desarrollo de las
experiencias de tele enseanza y autoaprendizaje.
Tree Diagram for Variables
Complete Linkage
Power: SUM(ABS(x-y)**p)**1/r
7

Linkage Distance

6
5
4
3
2

LOCALIZACION

PREFERENCIAS

ACTUALIZACION

CITAS

ESTRCUTURA

CIRCUNSTANCIAS

CARACTERISTICAS

AUTONOMIA_ESTUDIO

SIST_AYUDA

HORARIOS_FLEXIBLES

PRESENT_ANIMADA

INTERES

MOTIVACION

RECURSOS

ITINERARIO

SIST_AYUDA

CONTENIDOS

TIPO_LETRA

PRESENT_VISUAL

REFUERZO

OCONICIDAD

RESPETO

TAMAO_LETRA

EMPLEA

COMUNICACION

Grfico 2. Resultado de la exploracin descriptiva de los datos y del anlisis factorial

realizado con los tem de 4 respuestas posibles.

Tree Diagram for Variables

Complete Linkage
Power: SUM(ABS(x-y)**p)**1/r
MENU_OPCIONES
NUMERO_TEXTOS
PRESENTACION_VISUAL
CANALES
EVALUACIN_INICIAL
EVALUACIN_FINAL
PROFUNDIZACIN
INTRODUCCIN
TRABAJO_ALUMNO
REFUERZO
FORMULARIO
BARRA_NAVEGACION
BARRA_ESTADO
ENLACES
TITULO
VENTANA
ICONOS
BOTONES
ESPACIO_TEXTO
ESPACIO_IMAGEN
FONDO
SUBORDINACION
ADEUCACION_IMAGEN
ACTIVIDADES_GRUPO
INVESTIGACIN_ACCIONE
SECUENCIA_REPASO
INSTRUMENTO_AUTOEVALUACIN
ORTOGRAFIA
CORECCIN_GRAMATICAL
CORECCIN_SINTACTICA
CALIDAD_ANIMACIN
ADECUACIN ANIMACION
CALIDAD_PRESENTACION
TEXTO_SONORO
ADECUACIN_TEXT_SONORO
CALIDAD_TEXTOS
VOCABULARIO
PROCEDIMIENTOS
CONTENIDOS
EVALUACIN
AUTOEVALUACION
F.A.Q.
OBJETIVOS
ORIENTACIONES
ADECUACIN_PRESENTACIN
CALIDAD_IMAGEN
PROFESOR-ALUMNO
ADECUACIN GRFICOS_TEXTO
ALUMNO-ALUMNO

Linkage Distance

5.

Grfico 3. Anlisis Cluster para el caso de los tem de 5 respuestas posibles.

El clculo de la correlacin entre variables mediante la T de Student nos arroja

los valores recogidos en la tabla siguiente con un nivel confianza del 100%.
Mean
MENU_OPCIONES
FORMULARIO

Std.Dv.

2,000000
1,971429

0,169031

Std.Err.

Reference

t-value

df

35

0,00

34

35

0,028571

0,00 69,000

34

0,000000

BARRA_NAVEGACION

1,971429

0,169031

35

0,028571

0,00 69,000

34

0,000000

BARRA_ESTADO

1,971429

0,169031

35

0,028571

0,00 69,000

34

0,000000

ENLACES

1,971429

0,169031

35

0,028571

0,00 69,000

34

0,000000

0,028571

0,00 69,000

34

0,000000

TITULO

1,971429

0,169031

35

VENTANA

1,971429

0,169031

35

0,028571

0,00 69,000

34

0,000000

ICONOS

1,971429

0,169031

35

0,028571

0,00 69,000

34

0,000000

0,028571

0,00 69,000

34

0,000000

34

0,000000

34

0,000000

BOTONES

1,971429

0,169031

35

ESPACIO_TEXTO

1,971429

0,169031

35

0,028571

0,00 69,000

ESPACIO_IMAGEN

1,971429

0,169031

35

0,028571

0,00 69,000

FONDO

1,971429

0,169031

35

0,028571

0,00

69,000

34

0,000000

ORTOGRAFIA

1,000000

35

0,00

34

CORECCIN_GRAMATICAL

1,000000

35

0,00

34

CORECCIN_SINTACTICA

1,000000

35

0,00

34

SUBORDINACION

2,028571

0,169031

35

0,028571

0,00

71,000

34

0,000000

CALIDAD_IMAGEN

1,142857

0,355036

35

0,060012

0,00

19,044

34

0,000000

ADEUCACION_IMAGEN

2,028571

0,169031

35

0,028571

0,00

71,000

34

0,000000

CALIDAD_ANIMACIN

1,000000

35

0,00

34

ADECUACIN ANIMACION

1,000000

35

0,00

34

CALIDAD_PRESENTACION

1,000000

35

0,00

34

ADECUACIN_PRESENTACI
N

1,057143

TEXTO_SONORO

1,000000

35

0,00

34

ADECUACIN_TEXT_SONOR
O

1,000000

35

0,00

34

CALIDAD_TEXTOS

1,000000

35

0,00

34

NUMERO_TEXTOS

2,000000

35

0,00

34

PRESENTACION_VISUAL

2,000000

35

0,00

34

ADECUACIN
GRFICOS_TEXTO

1,200000

VOCABULARIO

1,000000

PROFESOR-ALUMNO

1,171429

0,382385

35

0,064635

0,00

18,12378

34

0,000000

ALUMNO-ALUMNO

1,200000

0,472789

35

0,079916

0,00

15,01578

34

0,000000

CANALES

2,000000

F.A.Q.

1,028571

0,169031

35

0,028571

0,00

36,00000

34

0,000000

OBJETIVOS

1,028571

0,169031

35

0,028571

0,00

36,00000

34

0,000000

PROCEDIMIENTOS

1,000000

35

0,00

34

CONTENIDOS

1,000000

35

0,00

34

EVALUACIN

1,000000

35

0,00

34

AUTOEVALUACION

1,000000

35

0,00

34

EVALUACIN_INICIAL

2,000000

35

0,00

34

EVALUACIN_FINAL

2,000000

35

0,00

34

PROFUNDIZACIN

2,000000

35

0,00

34

INTRODUCCIN

2,000000

ACTIVIDADES_GRUPO

2,171429

TRABAJO_ALUMNO

2,000000

0,338062

0,472789

35

35

0,057143

0,079916

35

15,01578

35

0,00

0,000000

34
33,59529

0,00

35

34

0,000000

34

0,00
0,064635

34

34

0,00

35
35

0,00

18,500

0,00

35

0,382385

0,00

34

0,000000

34

REFUERZO

2,000000

INVESTIGACIN_ACCIONE

2,142857

0,355036

35

0,060012

0,00

0,00
35,70714

34

34
0,000000

INSTRUMENTO_AUTOEVALU
ACIN

1,828571

0,382385

35

0,064635

0,00

28,29077

34

0,000000

SECUENCIA_REPASO

2,114286

0,403764

35

0,068249

0,00

30,97921

34

0,000000

ORIENTACIONES

1,028571

0,169031

35

0,028571

0,00

36,00000

34

0,000000

Los datos marcados en negrita nos muestran la existencia de correlacin entre

variables a un nivel de confianza del 100%, no siendo el resto de variables
consideradas por el programa STATISTICA al no tener variabilidad. Ello nos
permite afirmar que el instrumento de recogida de datos, para el caso de los
tem de 5 respuestas posibles, tiene una alta fiabilidad.

BIBLIOGRAFA.
DUART, J. M. y SANGR, A. (2000): Aprender en la virtualidad. Barcelona:
Editorial Gedisa.
GARCA ARETIO (2000): Educacin a distancia. De la teora a la prctica.
Barcelona: Ariel.
GARCA MARTINEZ, F. A. (2002): Evaluacin de unidades didcticas de
Teleformacin de directivos de instituciones educativas. Universidad de
Granada. Dpto. de Didctica y Organizacin Escolar: Tesis doctoral
indita.
MAJ, J. y MARQUS, P. (2002): La revolucin educativa en la era Internet.
Barcelona: Praxis (Coleccin compromiso con la educacin).
MARCELO, C. (2002): ELearning. Teleformacin. Diseo, desarrollo y
evaluacin de la formacin a travs de Internet. Barcelona: Gestin
2000.com.
ORTEGA CARRILLO, J. A. (2002): Organizacin de programas de enseanza
virtual: Una perspectiva ciber-ecolgica. En Lorenzo, M. y otros
(coordinadores): Actas de las VI Jornadas Andaluzas sobre
Organizacin y Direccin de Instituciones Educativas. Granada: Grupo
Ed.
Universitario
(en
prensa).
Puede
consultarse
en
http//www.ugr.es/local/sevimeco (biblioteca de educacin a distancia).
VILES, E. (2001): Estadstica bsica para universitarios. Braain (Navarra):
Eunsa.