http://www.llion.

net
Evaluación de la televisión educativa: el impacto de la metodología en su validez y el aprendizaje
Por Suzanne Daningburg y R.F. Schmid
Traducción por Pablo Biggi
Abstract: Este paper provee un análisis del proceso evaluativo de la televisión educativa. El efecto de la metodología
actual en los datos recogidos es examinado, usando el recientemente desarrollado Sistema Computacional para Análisis
de la Evaluación de Programas como ejemplo .Problemas y posibles soluciones con relación a la validez externa e
interna son presentados. Tres factores forman las variables esenciales del modelo de diseño evaluativo: La naturaleza de
la pregunta evaluadora, la naturaleza del programa y la atención del estudiante. El modelo enfatiza en la necesidad de
que profesores, estudiantes y productores definan y lleguen a acuerdo sobre los objetivos generales y los criterios para
evaluar. Se marca la diferencia entre objetivos cognitivos y afectivos así como entre la programación educativa de
amplio espectro y la programación instructiva mas específica. El sistema de evaluación electrónico parece resultar útil
para la evaluación de objetivos afectivos pero no así de objetivos cognitivos.

Introducción

El propósito de este paper es se desarrolla en dos etapas. Primero llevaremos a cabo un análisis del proceso evaluativo de la
televisión educativa. Nos parece que se necesita una apreciación sistemática ya que la investigación en este campo hasta ahora
ha sido engañosa o de aplicación demasiado puntual (Clark, 1983). Un proceso de modelado se usa para representar gráficamente
el entorno de la evaluación. A continuación procedemos a examinar a través del modelo un área del proceso evaluativo que hasta
ahora se ha pasado por alto casi completamente: el efecto que tiene el actual modelo de evaluación en los datos recolectados. La
pregunta que surge aquí es ¿En qué manera el proceso formativo de la evaluación de la televisión educativa influencia sobre los
aspectos cognitivos y afectivos de la experiencia del usuario? Existe literatura que sugiere de manera indirecta que el acto de
evaluar altera las percepciones del usuario al punto de que este no es representativo del público no evaluador (Coldevin, 1980;
Gropper, 1967; Lumsdaine y Shipman, 1961; Paluzzi 1979). Central para esta discusión será el análisis de un sistema electrónico
de evaluación recientemente creado, que mientras resuelve algunos problemas de validez, a su vez puede generar otros.

Técnicas de Evaluación televisiva

Los evaluadores en el campo de la televisión educativa a lo largo de los años se han encontrado con uno de dos escenarios.
Por un lado, los programas son mostrados en su totalidad y los datos recolectados luego, perdiendo mucho detalle, o los datos son
recogidos progresivamente mediante interrupciones, destruyendo así la continuidad del programa. Gropper (1967) y Gropper,
Lumsdaine y Shipman (1961) utilizaron la segunda técnica, interrumpiendo el programa para hacer preguntas a los estudiantes. Sin
embargo, esta aproximación es lógicamente diferente al acto mismo de ver televisión educativa ya que la mayoría de los
programas no contienen preguntas insertas. Ho (1981) y Mitchell (1979) superaron este obstáculo en parte gracias a la técnica de
análisis conjugado. Se le pedía a los espectadores que presionaran un botón repetidamente para ir accediendo al contenido auditivo
y visual del programa, pero este método sólo demostró el nivel de interés sin decir a los productores el por qué sus programas no
captaban el interés.

Un nuevo sistema de evaluación ha sido desarrollado, del cual se dice que supera varios de los obstáculos antes
mencionados (Corporation for Public Broadcasting [CPB], 1980; Nickerson, 1979; Paluzzi, 1979) La computadora para análisis
evaluativo de programas (PEAC por sus siglas en inglés), fue desarrollada en conjunto por la Autoridad de Comunicación
Educacional de Ontario y el Taller de Televisión Infantil a finales de los setenta para recoger datos en tiempo real sin interrumpir
la continuidad del programa. Es un sistema micro computacional portable, que registra segundo a segundo las respuestas del
espectador. Siendo un sistema portable, permite la evaluación en diferentes entornos como la escuela, el hogar o el lugar de
trabajo. Consiste de hasta 24 unidades de respuesta a batería, cada una del tamaño de una calculadora de mano. Las preguntas
usuales serían sobre el gusto o disgusto (en una escala de 4 o 5) que generan en el espectador los distintos personajes en un
drama o dibujo animado, el nivel continuo de entusiasmo, etc. Luego de un período instructivo de familiarización, el programa es
mostrado y los espectadores responden, sin influencias externas, presionando las distintas teclas tan a menudo como deseen. Cada
respuesta en tiempo real debiera representar un cambio en la impresión (ver Baggaley, 1982 a, b y c; Baggaley y Smith, 1982;
CPB, 1981 y Radio-Quebec, 1985 para una serie de estudios formativos llevados a cabo usando el sistema PEAC).

Ciertamente, el sistema PEAC permite un grado y una calidad de detalle evaluativo nunca antes visto. Gráficos coloreados
van reportando las reacciones de los espectadores unidas al espacio de tiempo de la programación en que se generó esa
respuesta. Un análisis muy detallado es posible, con representaciones visuales del nivel de involucramiento, comprensión y/o
disfrute del programa directamente ligadas a la dinámica del programa (por ejemplo, líneas específicas dentro del diálogo,
http://www.llion.net
 http://www.llion.net

apariciones de un determinado personaje, cambios de escena y de formato) Los datos son almacenados y acumulados por una
micro computadora central en diskettes y son recuperables mediante la copia o la graficación a color. El sistema PEAC marcó un
cambio importante en cuanto a la aplicación de evaluación formativa a la televisión y sus técnicas de medición (ver Cambre, 1981,
1982 para una revisión histórica de la evaluación formativa y Weston, 1986, para una revisión de las distintas aproximaciones a la
evaluación formativa). Sin embargo, este mismo cambio implica nuevas influencias, si bien mas sutiles, sobre el proceso de
aprendizaje y evaluación. Está claro que el acto de responder a un cuestionamiento de rating evaluativo con alguna de las
primeras técnicas, como las preguntas insertadas en medio del programa, afectaba la evaluación y/o el nivel de aprendizaje y/o la
actitud del estudiante con respecto al material visto. ¿Ha eliminado estos efectos el más sofisticado sistema PEAC? Antes de
discutir sorbe cuáles obstáculos el sistema PEAC puede superar, será necesario definir qué es la evaluación formativa e
identificar el gran sistema dentro del cual el proceso de evaluación toma lugar. Una vez que las partes de este sistema y sus
formas de interacción sean modeladas, podremos proceder a identificar en qué áreas el sistema PEAC será de mayor utilidad.

Modelo sistemático de metodologías en la evaluación televisiva

Cambre (1981) define evaluación como el determinar el valor de algo, y evaluación educativa como el acto de evaluar
programas/materiales educacionales. Nickerson (1979) ha escrito que la evaluación formativa es descrita precisamente como el
proceso mediante el cual se adquiere información representando la respuesta de un público objetivo en potencia para moldear el
programa en su forma más efectiva durante la etapa de producción. Una tendencia lógica a utilizar la evaluación formativa ha
surgido del hecho que todos los modelos de diseño instructivo requieren la identificación de los resultados deseados y la gran
mayoría también necesita de la prueba y revisión de las instrucciones (Dick 1980). Hemos de asumir que alguna forma de este
proceso de revisión, si bien a veces difícil y costoso, es invaluable para la producción de televisión educativa. Más aún,
concordaremos con Nickerson en que la intención de la evaluación formativa será que se hagan cambios con la intención de
mejorar la efectividad del programa. El problema con esta asunción es que deja indefinido quién determina el criterio y los
objetivos que juzgan la efectividad. Para resolver esto, hemos desarrollado un modelo el entorno evaluativo que identifica sus
principales componentes y sus interacciones. Tenido estos en consideración, podemos reducir el riesgo de generar datos inútiles o
confusos.

Como podemos observar en la figura.1 se identifican tres principales grupos dispares de personas involucradas en el
proceso evaluativo: los productores, los educadores y los estudiantes. En términos colectivos, cada grupo tiene sus propios
objetivos con respecto al programa. El éxito de un programa se puede definir como la medida en que los objetivos de estos tres
grupos coinciden. Desafortunadamente, la producción de un programa puede estar vista como un éxito por uno de estos grupos, y
como un fracaso por otro. Si los objetivos comunes son identificados a tiempo y cumplidos, todos ganan.

Figura 1 Macro estructura de la evaluación

http://www.llion.net 2
 http://www.llion.net

Las líneas continuas que van de círculo en círculo representan un flujo constante de información entre un grupo humano y
otro, y las líneas punteadas representan el intercambio que debiera ocurrir pero generalmente no sucede. Mientras este
intercambio no tenga lugar, la posibilidad de que se generen objetivos en común disminuye significativamente ya que cada grupo
trabaja por separado y la afinidad surge más que nada por casualidad.

La metodología evaluativa debe tomar un siguiente paso: las variables que influencian el proceso y el resultado deben ser
identificadas. Operar con variables no identificadas resultara en calificar/ cuantificar un efecto sin conocer su causa. La
evaluación sumatoria puede conformarse con tal estado de cosas, pero estamos lidiando con evaluación formativa, donde los
resultados (o efectos) generan nuevas revisiones (o causas). La figura.2 representa el proceso de evaluación usando el sistema
PEAC en mayor detalle. Este modelo muestra alguna de las variables que más posiblemente han de intervenir, especialmente, ya
que se aplican a aspectos del cuestionamiento en tiempo real del PEAC (un modelo similar se puede aplicar a cualquier
metodología de pregunta previa).

figura.2 Microestructura de la evaluación usando el sistema PEAC (o cualquier sistema de pregunta pre inserta)

http://www.llion.net 3
 http://www.llion.net

Trabajo hecho por Daningburg (1986), Baggaley (1985b) y otros, ha identificado un número de variables interactivas mas
estrechamente relacionadas al uso del PEAC. Tres variables primarias son: La naturaleza de la pregunta evaluativa, la naturaleza
del programa, y la disposición del estudiante a atender. La naturaleza del programa puede ser académica/instructiva y/o
entretenimiento y así sucesivamente. La naturaleza de la(s) pregunta(s) puede ser pertinente al(los) aspecto(s) cognitivos y/o
afectivos y/o psicomotores. El programa y la(s) pregunta(s) interactúan con la finalidad de influenciar a la tercera y menos
controlable de las variables: la atención del estudiante. La atención puede ser manipulada generalmente por incentivos tales como
la amenaza de un examen, el escape al aburrimiento y ocasionalmente el gusto por aprender. Pero la atención es muy
idiosincrática y es virtualmente imposible para el sistema de entrega el acomodarse a la variedad de espectadores. Es usualmente
más ventajoso el trabajar en función de los objetivos de productores e instructores e intentar crear un ambiente positivo de
aprendizaje con las herramientas que se tenga a disposición. Por ende, nuestro modelo se centra en la influencia combinada del
programa y la pregunta más que en las predisposiciones del estudiante. El círculo final de este modelo enfatiza en lo que se asume
como el objetivo principal de la televisión educativa: el aprendizaje. La cantidad y calidad del aprendizaje varía ampliamente entre
los individuos. Lo que es de especial interés aquí es la influencia del programa y la(s) pregunta(s) evaluativa(s) sobre el
aprendizaje. Componentes de cada tipo (cognitivos, afectivos, psicomotores) pueden incrementar y/o disminuir, dependiendo de las
circunstancias de la metodología evaluativa en particular. Este problema de validez es de lo que se hablará en gran detalle a
http://www.llion.net 4
 http://www.llion.net

continuación.

El siguiente ejemplo ayudará a ilustrar cómo influye el sistema PEAC en los resultados de la evaluación. Un productor ha
generado la versión preliminar de un programa que es educativo en el sentido de que apunta a generar conciencia sobre un
problema social (ej. SIDA). La información presentada o el contenido del programa es a veces controversial y los efectos
demostrados son sensacionales. Para medir que tan adecuadamente se cumple el objetivo del programa, el productor se verá
inclinado a utilizar una pregunta evaluativa acerca de las reacciones emocionales de la audiencia. Dicha pregunta puede frasearse
de la siguiente forma "¿Se siente usted bien o mal acerca de lo que ve en el programa?" (Ver proceso C en la figura.1). Mientras
los espectadores ven y evalúan el programa, es natural asumir que la pregunta y el tipo de programa funcionan bien juntos. Sin
embargo, la naturaleza de la pregunta puede influenciar tanto la reacción evaluativa como otras formas de aprendizaje. Esta
potencial parcialidad puede no importarle al productor que generalmente esta enfocado a conseguir los objetivos de su programa.
Los cambios se llevan a cabo basándose en esta evaluación formativa con la intención de alcanzar los objetivos del programa lo
más efectivamente posible.

Por otro lado, el profesor que elige el material para su clase puede o puede no compartir todos los objetivos de la
producción. Supongamos que el educador en cuestión pretende que su clase también aprenda técnicas preventivas específicas. En
la mayoría de los casos los profesores no evaluarían el programa en sí, sino mas bien, tras haber mostrado el material, examinarían
lo aprendido usando métodos de prueba convencionales (ver proceso B en la figura.1). Dicha prueba posterior a la visualización
podría considerarse como una evaluación del programa midiendo qué tan bien cumple los objetivos del profesor, sin embargo es
evaluación sumatoria. Si el educador hiciera preguntas previas a la visión del material (ej.: avisara que se hará un examen luego),
uno de tres resultados ocurrirá. El trabajo de Rothkopf (1970) en el área de la matemagnética (actualizado por Hamker, 1987)
sugiere que la mayor atención de los espectadores hacia un aspecto particular del programa generalmente aumentará la memoria
del mismo, probablemente en desmedro de otros, especialmente los aspectos que no estén relacionados. Si este efecto ocurre
entre los distintos tipos de aprendizaje (ej.: afectivo, cognitivo) no se ha investigado completamente, aunque se puede predecir que
estas diferentes clases de aprendizaje están relacionadas en algo al menos, y se puede hipotetizar sobre una disminución. Por
ende, las preguntas técnicas del profesor pueden quitar mucho al impacto emocional del programa. Finalmente, siguiendo la teoría
de Festinger y Maccoby (1964) sobre la disonancia cognitiva, es posible que la tarea, al forzar a los espectadores para que
evalúen el programa, actúe como un refuerzo, aumentando el entendimiento del estudiante y por consecuencia aumenta la
atención general (por ende, el aprendizaje y la afección) del receptor (Radio Quebec, 1984).

Los problemas introducidos como resultado de los efectos mencionados suponen un dilema para los evaluadores cuando
se usa el sistema PEAC. El aprendizaje en la sala de clases usualmente persigue objetivos cognitivos. Las preguntas que refieren
a contenido cognitivo son especificas como "¿Qué tan útil es la información para prevenir el SIDA?”, mientras que las preguntas
afectivas son mas generales como "¿Te preocupa esta información?". Siguiendo el argumento matemagnético, mientras mas
precisa la pregunta, y por consecuencia mas prescriptiva la información derivada de la evaluación PEAC, mas indeseable se
puede volver, sobre todo si se liga a contenidos cognitivos. El evaluador entonces es dejado ante la opción de fijar su atención en
las respuestas globales, que preservan la validez externa, o centrarse en preguntas específicas, que por su naturaleza hacen
primar la atención sobre algunos aspectos, descuidando otros y así suponiendo una amenaza a la validez interna. Una elección es
inevitable. En el dominio afectivo, la continuidad es un factor clave, por lo tanto preguntas muy generales resultan muy útiles para
medir el interés (Baggaley, 1982a, b). Sin embargo, no son muy prescriptivas, y a veces suponen una disminución en el desempeño
cognitivo, aunque también puede tener un efecto positivo en la actitud. Un efecto aumentado aun deja abierto el camino de la
actitud, complicando las cosas aun más. El trabajo sobre disonancia cognitiva de Festinger (1957, 1962) y el trabajo de Zimbardo y
otros (1960) sobre el rol de las distracciones en las situaciones de comunicación habría de predecir un aumento en la apreciación
del contenido por parte de los usuarios de PEAC. El receptor, quien debe concentrar su energía en comprender el mensaje,
justifica este esfuerzo atribuyéndole mayor valor y dando al programa una evaluación mas positiva. Por otro lado, que una tarea
más difícil conlleve cierta cantidad de frustración y ello derive en una evaluación más negativa. Claramente, no existe una manera
simple de resolver los problemas de validez en la evaluación formativa. En la siguiente sección, discutiremos alguna de las
maneras en que esta confusión puede ser minimizada.

Naturaleza de la pregunta evaluativa

Como se demuestra en el modelo anterior, son las preguntas evaluativas lo que mas interviene en el proceso de
visualización. Sin preguntas para guiar este proceso, el receptor reaccionará de manera idiosincrática al contenido. Los

http://www.llion.net 5
 http://www.llion.net

cuestionarios posteriores a la visualización apuntan a extraer del estudiante lo que ha visto y oído. Si las preguntas son presentadas
antes o durante el programa es de esperarse que la audiencia, de manera consiente o no, sea influenciada por las preguntas.
Como se expresó antes, distintos tipos de preguntas parecen ser más o menos perturbadores, así como más o menos útiles para la
evaluación. La(s) pregunta(s) demanda(n) del usuario la compleción de tareas. Una cantidad limitada de investigación ha
analizado cómo esta demanda influencia en la evaluación.
En teoría, usando el sistema PEAC, se puede recolectar cualquier medida de la respuesta de la audiencia, desde el
valor y la claridad en el interés hasta respuestas factuales complejas adquiridas mediante rutinas de selección múltiple (Baggaley,
1980b, p.20). La posibilidad de que la demanda de una tarea (la pregunta evaluativa general) influencie los datos recolectados
sumado a restricciones de costo y tiempo ha llevado a que los usuarios del PEAC simplifiquen la tarea de la audiencia lo mas
posible. Por ejemplo, la mayoría de las evaluaciones funciona con preguntas simples en tiempo real tales como "¿Te gusta este
programa?", aun esta simplificación no esta exenta de problemas. Un juicio global sobre una escala de gusto/no gusto debe
considerarse como una variable multidimensional. ¿Qué factores subyacen a un juicio particular? Caron, Giroux y Mayrand (1984)
provee el ejemplo de dos sujetos expresando la misma respuesta al mismo tiempo. ¿Cómo podemos saber que las respuestas de
los sujetos están generadas por los mismos elementos del contenido? preguntan ellos. La respuesta de un individuo puede ser en
reacción a un personaje, la parafernalia, los valores y así sucesivamente. La pérdida considerable de información hace a las
preguntas difíciles de interpretar. Para entender los efectos de la televisión, Baggaley (1985b) enfatiza en la importancia de la
teoría de atribución, la cual "examina el deseo del hombre de atribuir causas a los eventos y fenómenos que encuentra y las bases
mediante las cuales se pueden predecir estas atribuciones". Haciendo referencia a esta teoría en un trabajo anterior, Baggaley
(1980) hace una lista de cuatro factores ha ser examinados en la evaluación de los efectos de la televisión: (1) diferencias
individuales debidas a factores sicológicos y sociales entre los miembros de la audiencia; (2) diferencias de tiempo en la respuesta
de los participantes; (3) efectos técnicos, tales como diferencias en la respuesta de la audiencia basadas en la forma en que es
estructurado el material televisado; y (4) influencias paralelas en la respuesta de la audiencia debido a una amplia gama de
factores alternativos capaces de generar efectos similares.

En investigación sobre evaluación formativa con el sistema PEAC, Baggaley ha usado tanto preguntas generales (1985a,
b) como específicas (1985a) para recolectar datos en tiempo real, en ambos casos solo una pregunta evaluativa general fue
usada. La razón para esta elección técnica, al menos en parte. En la actualidad los analistas de respuestas no son capaces de
agregar datos en tiempo real para más de una pregunta a la vez. De las 16 teclas en cada unidad de mano, solo 5, las letras desde
la A hasta la E, tienen como objeto recolectar datos continuos. Las teclas restantes pueden usarse para responder cuestionarios.
Debido a que solo una pregunta en tiempo real puede hacerse al espectador, Baggaley enfatiza la importancia de recolectar datos
con un efecto del más amplio espectro posible, en otras palabras, información basada en una pregunta general. La excepción a
esto surge cuando el objetivo de una evaluación formativa es examinar un factor específico, tal como la comparación entre un
rango de personajes existentes en la televisión educativa para niños que Baggaley examinó (1985a).

Una solución a las limitaciones impuestas por una pregunta general sería formar sub grupos de la muestra para que
respondan a preguntas evaluativas diferentes y mas específicas. Sin embargo, esta aproximación no esta exenta de dos
problemas: si puede o no el espectador concentrarse efectivamente en solo un aspecto predeterminado del programa, y qué efecto
tendrá esta predeterminación sobre su respuesta, cognitiva o afectiva. Incluso la evaluación de un aspecto específico del
programa puede verse contaminada, por ejemplo, por una actitud general hacia el programa como un todo. Adicionalmente el
enfoque forzado impuesto al sujeto puede afectar su comprensión.

Ya que solo una pregunta en tiempo real es posible, una representación ideal de las mismas necesitará una muestra
individual para cada una. Incluyendo, por ejemplo, preguntas de una naturaleza general tanto como otras enfocada a detalles
específicos del programa. Si bien en teoría esto es una buena idea, en términos prácticos, ya es difícil conseguir una muestra
apropiada y conseguir las muchas que se necesitan para este diseño lo sería más aún. La respuesta mas precisa parece ser el
determinar precisamente qué debiera ser evaluado y construir las tareas para la audiencia así como el cuestionario posterior de
manera que reflejen esto.

Con la finalidad de determinar precisamente qué es lo que debe evaluarse, los objetivos de productores, educadores y
estudiantes deben tenerse en consideración. La siguiente sección provee una breve apreciación general de la importancia de los
objetivos en el proceso de evaluación.

Objetivos de la evaluación

http://www.llion.net 6
 http://www.llion.net

La evaluación formativa puede usarse para determinar si un programa cumple o no con sus objetivos educacionales. Para
poder determinar en qué grado estos se cumplen, los objetivos educativos deben estar claramente definidos y acordado el criterio
bajo el cual serán evaluados. No se puede hacer suficiente énfasis sobre la gran importancia que implica el definir precisamente
los términos a ser usados.

El rol del evaluador se desarrolla entonces en dos etapas. Primero debe considerar la naturaleza de los objetivos del
programa. Estos puede tomar, por ejemplo, la forma de metas cognitivas (ej. información fáctica sobre los peligros de fumar) y/o
metas afectivas (retrato dramático de los efectos adversos de fumar). Segundo, el evaluador debe examinar si el contenido del
programa alcanza estos objetivos en circunstancias prescritas por el educador y/o el estudiante.

La mayoría de la TVE es producida por diseñadores instructivos, por productores de TVE y ocasionalmente por ambos.
Muy a menudo los usuarios (ej. educadores) imponen objetivos a la versión final de un programa en una manera adecuada (ver el
ejemplo arriba). Los profesores usualmente eligen una película o video para mostrar en clases de un catálogo y luego lo muestran
en el contexto de su clase, presumiblemente en la asunción de que los estudiantes obtendrán alguna medida de aprendizaje
cognitivo tanto como de otros tipos. Los productores de TVE por otro lado pueden haber generado un programa cuyo objetivo
primario sea el de entretener. El aprendizaje y el disfrute no son mutuamente excluyentes, pero para asegurar la yuxtaposición de
los objetivos, productores y diseñadores educativos deben trabajar en conjunto. Por lo menos, estos debieran generar objetivos
mutuamente aceptables para el programa. Si bien mucho se ha escrito sobre objetivos en medios educativos más tradicionales
como la imprenta, hay muy poca información disponible para usar como guía para el desarrollo e implementación de objetivos en
TVE. Aunque no esta en el foco de este articulo el examinar esta área de forma exhaustiva, se ofrecen algunos comentarios.

En el dominio de lo cognitivo, la literatura esta repleta de consejos sobre como generar objetivos (Mager, 1962;
Romiszowski, 1981). El qué tan aplicables son los objetivos cognitivos a la evaluación formativa, se estudia de mejor manera al
hacer una distinción entre la programación educativa de amplio espectro y los programas instructivos de carácter más técnico,
tales como cursos académicos. En general, el objetivo de la primera es principalmente entretener; el estímulo intelectual puede ser
extremadamente disfrutable y a la vez provee conocimientos y/o habilidades útiles. Los objetivos cognitivos no juegan, o tal vez no
debieran jugar, un papel importante. Para el segundo tipo, el uso de objetivos se asume porque la televisión es simplemente un
medio específico mediante el cual la información es entregada. Es a través de esta continuidad que productores y profesores
pueden empezar a negociar, utilizando a los tecnologistas educativos como asesores y facilitadores de la comunicación.

La misma continuidad entre emisión/ instrucción puede hacerse con objetivos afectivos. La naturaleza del programa
(objetivo general) es usualmente el informar (documentales) y/o entretener (conciertos, drama). La influencia de los factores
afectivos es, en un análisis final, inevitable. Un programa puede ser altamente entretenido, pero estar prácticamente vacío de
objetivos cognitivos. Por otro lado, un video instructivo carente de “afecto”, puede fallar en captar la atención de la audiencia.
Según Gagne ( 1974), las primeras condiciones para el aprendizaje son motivación y atención. Lo esencial de todo aprendizaje en
televisión o cualquier otro medio es generar y mantener estos factores. El afecto entonces es crucial para conseguir los objetivos
cognitivos.

Finalmente la TVE también tiene objetivos relacionados con habilidades sicomotoras, todo lo que se dirá al respecto es
que para alcanzar el resultado deseado, la evaluación debe prestar atención a los prerrequisitos en términos de habilidades y
conocimientos, la logística y los materiales, la claridad de las demostraciones y el ritmo.

Incluso si el evaluador logra tener en cuenta los objetivos de los tres grupos, el sistema de evaluación en sí debe ser capaz
de responder a todos los variados intereses. Es evidente que el sistema PEAC es capaz de evaluar solo una pregunta. Es poco
probable que una sola pregunta responda a todas las inquietudes del evaluador. Por consiguiente el proceso evaluativo usualmente
debe incluir varias aproximaciones al diseño. La siguiente sección examina algunas de las posibilidades, y cómo el sistema PEAC
encaja en las mismas.

Dos asuntos son examinados de manera concurrente en esta sección: los problemas de validez externa e interna que
enfrentan los evaluadores, y las soluciones que entregan para estos problemas las diferentes variables para diseño investigativo.

El entorno evaluativo presenta un aspecto extraño del diseño investigativo. En la investigación estándar, el factor
experimental (la variable independiente) es usualmente conocida, siendo la respuesta del sujeto la variable dependiente. Con el
sistema PEAC por el contrario, el factor experimental debe ser inferido luego de la recolección de datos. En otras palabras, el
evaluador debe identificar qué elemento del programa provocó las respuestas. Mientras la investigación cuantitativa expone la
instrumentación como una posible violación a la validez interna (Campbell y Stanley, 1963), la literatura sobre evaluación televisiva
solo ocasionalmente lidia con dichos problemas en la mayoría de los entornos ya que se asume que la validez es evidente por si

http://www.llion.net 7
 http://www.llion.net

misma. Si bien no estamos planteando que la evaluación deba ser objeto del mismo criterio aplicado al diseño experimental, vale la
pena considerar los problemas que hay en común entre estas dos metodologías.

La introducción de un nuevo aparato electrónico de medición como el sistema PEAC, provee una oportunidad ideal para
examinar este asunto de la instrumentación. Tres factores han emergido entre la investigación relacionada al PEAC que necesitan
ser considerados en el diseño de una evaluación. Los primeros dos interactúan en la macro estructura del modelo: la naturaleza de
la pregunta y la del programa. El tipo de pregunta aplicada puede influenciar virtualmente todos los aspectos del proceso. La
mayoría de investigadores emplean una pregunta global por variedad de razones, entre estas se encuentra el hecho de que los
datos se pueden generalizar con mayor facilidad y algunos aspectos técnicos del sistema PEAC. El tipo de programa también es
un factor crítico. Los programas que Baggaley (1982a, b) evaluaba usando el sistema PEAC eran usualmente controversiales y
lidiaban con asuntos emocionalmente cargados. Sin embargo, la TVE generalmente ofrece una tarea menos compleja. Estos dos
factores se combinan para generar las variables dependientes mas críticas en la evaluación, el tipo y tasa de respuesta (ver
figura.1). Un ejemplo dramático de como el programa y el tipo de pregunta influencian en las respuestas fue mostrado por
Daningburg (1986). Ella encontró que cuando se les pedía a estudiantes universitarios que evaluasen un programa dirigido a ser
emitido por señal abierta, usando una pregunta específica y compleja la tasa de respuesta era extremadamente baja (¡un promedio
de dos respuestas en tiempo real para un programa de 27 minutos!). Las preguntas complejas parecen ser olvidadas u omitidas,
esto en conjunto con el tipo de programa en cuestión arrojó pocos datos. Obviamente el uso del PEAC en este caso no fue
productivo ya que no brindo información útil para la revisión. En el mismo estudio, Daningburg comparó logros y afectos entre
estudiantes que habían evaluado el programa y otros que no lo habían hecho sin encontrar diferencia alguna. Sin embargo, en un
segundo estudio donde la pregunta se cambió de una específica a una general, se observó una disminución en el procesamiento
cognitivo entre el grupo de evaluación en tiempo real, aunque el dominio afectivo no fue influenciado. Entonces, los programas que
incitan un involucramiento emocional en la audiencia arrojan respuestas mas frecuentes y/o presentan más oportunidades para
responder debido a cambios de formato y/o contenido. El tradicional programa sobre artes o ciencias es un elemento de baja
intensidad, si bien puede captar nuestra atención, no ofrece cambios substanciales o frecuentes que requieran una nueva
respuesta. El tercer factor a considerar es el tipo de audiencia y el lugar de la evaluación. Un grupo de niños que es llevado a un
estudio de televisión para evaluar un programa responderá de forma distinta a si lo hiciera desde su propia casa. Este factor es
evidente por si mismo. Esta y varias otras variables deben ser consideradas por el evaluador tal como un científico experimental
debe manipular o controlar su entorno de laboratorio. El no conseguir identificar estos factores limita cualquier posibilidad de
generalizar a las circunstancias inmediatas. La evaluación pierde valor en la medida que pierda la capacidad de ser generalizada.
La pregunta siempre es ¿Puede una muestra indicar como mejorar un programa para el público objetivo?

Estos puntos representan una extensión en la discusión anterior sobre las variables del proceso. La distinción que se debe
tener en mente es que las asunciones subyacentes a las preguntas de validez en la investigación general usualmente operan sobre
un proceso o fenómeno “global”, como el aprendizaje, la motivación y así sucesivamente. La evaluación podría considerarse como
investigación aplicada desde un punto de vista mas extremo ( ver Borich y Jemelka, 1981, para una comparación de factores en
investigación y diseño de evaluación). Si un productor analiza el valor de impacto de un segmento de un programa, los resultados
solo serán de interés para dicho segmento en dicho espacio de tiempo, y no existe pretensión de generalizar en relación a variables
de producción. Es en parte por esta razón que los publicistas se han convertido en los principales usuarios del sistema PEAC. El
sistema es extremadamente preciso midiendo exactamente lo que estos están buscando: información de un solo mensaje que
capture la atención. La televisión educativa también puede generar y mantener atención e interés, pero la diferencia en la
duración y complejidad de los mensajes sugiere que la información recogida por publicistas con el sistema PEAC debe usarse con
gran cautela. La habilidad del sistema PEAC para entregar datos en tiempo real ciertamente permite una evaluación continuada
que puede ser asociada directamente a contenido específico, pero el diagnóstico para las revisiones es dejado al profesionalismo
de los productores (ej.: diálogos muy prolongados, personaje irritante o transiciones confusas). Si acaso los educadores pueden
usar esta misma tecnología es otro asunto.

Implicancias

Habiendo identificados las potenciales violaciones a la validez interna y externa con respecto al sistema PEAC u otros
sistemas similares, nos debemos cuidar de juzgar al sistema PEAC por funcionar mal bajo circunstancias para las cuales no fue
diseñado. Los evaluadores instructivos deben tener gran cautela de usar este sistema para lo cual ha sido desarrollado, y no
generalizar hacia variables mas allá de su alcance. Si bien esto es obvio, el asunto principal no se encuentra lejos. El mayor peligro
parece no estar en el mal uso del sistema PEAC en, por ejemplo el dominio cognitivo, porque simplemente no será capaz de
entregar información suficiente. Más bien, el problema puede emerger si los evaluadores se apoyan sólo en el sistema PEAC para
la evaluación formativa de las producciones educativas para televisión. La sofisticación y los datos duros producidos por el PEAC
puede dar la tranquilidad a los evaluadores, no solo de que su trabajo está hecho, sino de que esta hecho correctamente y a

http://www.llion.net 8
 http://www.llion.net

cabalidad. Si los objetivos del programa son parcialmente cognitivos, sin embargo, puede que haga falta lidiar con tales objetivos
de manera independiente y separada de la evaluación con el sistema PEAC. Las técnicas de evaluación cognitiva son
reconocidamente más difíciles y en algunos aspectos menos precisas debido a que es muy tedioso o casi imposible relacionar
logros con espacios de tiempo específicos del programa. Por lo tanto, es de esperar que se encuentren muy abajo en las
prioridades de la producción, pero esto es exactamente el punto. El sistema PEAC puede convencer a productores y diseñadores
instructivos de que han identificado todos los puntos débiles del programa y en consecuencia están listos para seguir adelante con
cualquier revisión necesaria. Sin embargo, esta feliz tarea también sirve para distraerlos de lo que debieran ser (en la opinión de
los educadores) otros objetivos esenciales. La información afectiva que provee el sistema PEAC es inherentemente concreta,
tangible, y desde una "perspectiva artística" remediable. Los aspectos cognitivos son mucho más elusivos y difíciles de abordar,
pero si el medio televisivo ha de cumplir un rol en entornos educacionales formales e informales, debe prestar atención a los
hechos tanto como a las opiniones. En conclusión, tanto los productores de TVE como los diseñadores instructivos deben prestar
atención a sus objetivos y cómo estos se relacionan con el medio en cuestión. ¿Qué significa ver televisión educativa y cómo esta
visualización es afectada por las técnicas de evaluación?. Cualquier investigación evaluativa debe ocurrir en un entorno que
contenga multiplicidad de factores incluyendo objetivos, características individuales, motivación, condiciones ambientales, etc.
Puede ser que la televisión, al ser identificada como un gran contribuyente en potencia al proceso educativo en su forma más
amplia, ha sufrido una sectorización al menos en parte ya que la colaboración entre diseñadores y productores nunca ha ocurrido.
Si bien los profesores aprecian, y son influenciados por, el valor de una producción entretenida y artística, es poco probable que la
ocupen si esta falla en cumplir sus objetivos instructivos. Es una hipótesis que el valor educativo percibido/ real de una producción
estará proporcionalmente ligado al nivel de involucración que tenga el diseñador instructivo en el story board y la producción.
Una vez que el "primer borrador" de la producción está completo, se deben aplicar técnicas adecuadas de evaluación para abordar
los objetivos instructivos del programa (ej. el sistema PEAC, y/o cuestionarios y pruebas posteriores y anteriores). Aun en esta
etapa, conociendo la dinámica del producto televisivo, es poco realista asumir que este pueda ser sometido al mismo nivel de
revisión reiterativa de la cual otros medios pueden beneficiarse. Sin embargo, la recomendación de que los objetivos de los tres
grupos sean considerados antes de la producción, nos ayudara a abordar esta limitación técnica. Si el proceso de desarrollo
comienza con un análisis adecuado de las necesidades (ver figura.2) y sigue la revisión inicial del sistema de diseño instructivo,
entonces el productor, observando estas entradas de información, puede mantener un alto grado de libertad creativa en la fase de
producción y aún así cumplir con los objetivos instructivos del entorno. La evaluación formativa ha de llevar esto más lejos aún y
animará la comunicación entre los involucrados.

Finalmente, los autores reconocen que el uso de televisión en la sala de clases involucra una rica interacción con variados
sistemas de símbolos ( material impreso del profesor, interacción entre pares). Por ende, los objetivos principales de la lección
pueden ser alcanzados aún teniendo en cuenta la contribución periférica de la televisión. Si la televisión no hace más que
aumentar los niveles de motivación, aún así puede ser un factor crítico en el proceso de aprendizaje.

Las sugerencias para futuras investigaciones incluyen una revisión mas minuciosa de varias preguntas evaluativas en
tiempo real en conjunto con programas de TVE. Se requiere especial atención tanto en el efecto de la metodología PEAC en las
actitudes con respecto a programas altamente emotivos como en su utilidad a la hora de registrar el cambio cognitivo cuando se
registran frecuentes respuestas en tiempo real. Ya que las distintas audiencias pueden responder de diferentes maneras, las
técnicas de evaluación formativa han de ser exploradas con una muestra transversal de los públicos objetivos. En una escala más
general, se necesita saber más sobre si las preguntas adjuntas se relacionan a través de los distintos tipos de aprendizaje (ej.
¿Interfiere/aumenta el proceso cognitivo al contenido emocional similar/distinto?). El interés del estudiante, ya que influencia en la
atención, puede ser una variable importante que interactúe con las otras discutidas aquí (Iran-Nejad, 1987). Para mejorar la
diversidad instructiva y la utilidad de la TVE lo que se necesita claramente es: primero, un entendimiento cabal por parte de los
involucrados de la importancia de lo que están haciendo; segundo, la disposición para llegar acuerdos sobre cuáles son las
necesidades y cómo cumplirlas; y finalmente, un marco para la aplicación (preferiblemente basado en la teoría) que de una vez
aborde las limitaciones de la interacción mientras guíe la tom a de decisiones hacia la mejor calidad posible.

Referencias a continuación

http://www.llion.net 9
 http://www.llion.net

http://www.llion.net 10