Documentos de Académico
Documentos de Profesional
Documentos de Cultura
hoy
Resumen
Evaluación diagnóstica, una práctica implementada por los sistemas educativos
actuales para medir la calidad educativa y mejorar sus procesos, es el tema que
esta investigación describe y analiza, principalmente cómo se diseñó, construyó
y aplicó en 2021 la correspondiente a la experiencia educativa Literacidad Digital
a los estudiantes de nuevo ingreso de la Universidad Veracruzana. Para tal efecto,
se realizó primero un análisis cualitativo de sus principales componentes, luego
un análisis cuantitativo a partir de estadísticas descriptivas apoyadas con Statis-
tical Package for the Social Sciences (SPSS Statistics). Así, se halló que 3% de los
estudiantes pertenecientes a la muestra cumplieron con el criterio de literacidad
digital, aun cuando se necesita contar con una metodología de actualización del
instrumento analizado, acorde con un marco de referencia y una tabla de especi-
ficaciones.
Abstract
Diagnostic evaluation, a practice implemented by current educational systems
to measure educational quality and improve its processes, is the subject that this
research describes and analyzes, mainly how the corresponding to the Digital Literacy
educational experience was designed, built and applied in 2021 to new students of the
Veracruzana University. For this purpose, a qualitative analysis of its main components
was first carried out, followed by a quantitative analysis based on descriptive statistics
supported by the Statistical Package for the Social Sciences (SPSS Statistics). Thus,
it was found that 3% of the students belonging to the sample met the digital literacy
criterion, even though it is necessary to have a methodology for updating the analyzed
instrument, in accordance with a reference framework and a table of specifications.
Introducción
Desde hace más de dos décadas el sistema medir precisamente tal calidad. Dentro de
educativo mexicano trabaja arduamente en ellas la evaluación diagnóstica (ED) destaca
planes y programas que le permitan reco- porque al estudiar un fragmento de cierta
nocer los logros y necesidades de su realidad realidad educativa incide, dada su finalidad, de
educativa inmediata, así como estrategias manera significativa en la trayectoria escolar y
que, enfocadas hacia el curriculum, proceso los programas educativos de miles de futuros
educativo en sí, actores e infraestructura tec- estudiantes. De allí lo relevante de que las Ins-
nológica, impacten en todos sus niveles edu- tituciones de Educación Superior (IES) exami-
cativos, pero sobre todo le ayuden a sortear nen sus componentes, más la forma en que
sus grandes desafíos en materia de calidad se diseñan y requieren actualizarse.
educativa. Allí radica la razón de estudio de esta
Las evaluaciones estandarizadas han investigación, la cual a partir de herramientas
resultado un punto de partida valioso para cualitativas y cuantitativas analiza, primero,
de carácter normativo diseñada por el Cen- academias de las EE que la integran trabajen
tro Nacional de Evaluación para la Educación de manera colaborativa para aplicar sus res-
Superior (CENEVAL, 2022a) con la cual se pectivas ED.
plantea evaluar “integralmente habilidades Encomienda institucional llevada a cabo
académicas y conocimientos específicos de por el AFBG de manera presencial durante
los aspirantes a ingresar a la educación supe- cuatro años (2014-2018), aun cuando su plani-
rior” (párr. 1). ficación y desarrollo requerían de gran inver-
En el caso particular de la Universidad sión económica, tiempo y personal, dada la
Veracruzana, según su Ley Orgánica (1996), calendarización de sedes (facultad y centros
“una institución pública de educación superior, de cómputo), horarios, estudiantes y aplica-
autónoma, de interés social y con personali- dores. Sumado, sus reportes de resultados se
dad jurídica y patrimonio propios” (Artículo 1. °, emitían, regularmente, fuera de los tiempos
p. 13), desde hace más de 78 años —además de solicitados, lo cual minimizaba las oportuni-
sus funciones sustantivas de docencia, inves- dades de establecer estrategias de mejora
tigación, difusión de la cultura y extensión de continua en los exámenes de competencias
los servicios (Artículo 3)— atiende la mayor o diagnósticos por programa educativo y área
parte de la demanda de formación superior académica.
en el estado. Tan solo durante su convocato- Como sucede en cualquier proyecto aca-
ria de ingreso 2022 presentaron el EXANI-II démico se registraron diferentes experiencias
cerca de 45 770 aspirantes, de los cuales úni- y desafíos, así en 2019, por primera vez, se
camente 16 786 ingresaron (UV, 2022). llevó a cabo la ED en línea, a través de un sis-
Asimismo, ofrece anualmente a sus tema denominado Sistema Integral de Eva-
recién ingresados una ED, con la cual busca luación del AFBG: SIEAFBG. Allí los exámenes
medirles sus competencias básicas, a fin de diagnósticos fueron rediseñados por expertos
mejorar sus procesos educativos en su forma- en el tema, quienes fortalecieron sobre todo
ción universitaria. Tal prueba estandarizada su logística y metodologías de aplicación, y
la presentan quienes así lo deseen: aquellos análisis de resultados. Dicho sistema automa-
estudiantes que de manera voluntaria acti- tizado se implementó en todas las regiones
ven en línea y al siguiente día de obtener el de la UV: Xalapa, Veracruz-Boca del Río, Poza
resultado “con derecho a ingresar” la opción Rica-Tuxpan, Orizaba-Córdoba y Coatzacoal-
correspondiente a la ED. cos-Minatitlán.
El AFBG de la UV (2017) es la respon-
sable de “coordinar el diseño, elaboración y Literacidad Digital: su denominación
operación de modalidades educativas, mate- y conceptualización
riales didácticos, exámenes estandarizados” Literacidad Digital concierne la articulación
(Artículo 162, fracción VIII, p. 48), por ende, de las palabras “literacidad” y “digital”. La
desde 2014 también se encarga de que las primera proviene del inglés literacy (reading
4 De acuerdo con la RAE (s. f.): “Cada uno de los significados de una palabra según los contextos en que aparece”.
dizaje. En ese sentido, CENEVAL (2022b) pro- estos formatos, pero acordes a ciertos apren-
pone dos tipologías de reactivos: por agrega- dizajes en sus pruebas. Es decir, el reactivo de
ción y formato. Los segundos, algunas de sus cuestionamiento directo y completamiento lo
formas más populares ya se mencionaron, así utiliza para medir el grado de conocimiento
que solo cabe recordar su naturaleza de mul- o dominio de teorías y conceptos; el de elec-
tirreactivo, es decir, plantea un problema o un ción de elementos, para la comprensión; el de
caso a través de texto, gráficos o imágenes, del jerarquía u ordenación, para el análisis, y final-
cual derivan reactivos subordinados (UNAM, mente el de asociación de columnas para la
2021). Respecto a los primeros, se catalogan evaluación.
como independientes, pues se componen de Además de Bloom, existen otras taxono-
una base, más opciones de respuesta donde mías que pueden emplearse al momento de
solo una es la correcta, por ende, posee entre diseñar reactivos acordes al nivel de aprendi-
tres y cinco distractores, cada uno de los cua- zaje a evaluar. Un par de ellas se incluyen en
les debe tener un argumento que lo justifique. el siguiente cuadro.
El mismo CENEVAL, a partir de la taxono-
mía de Bloom, diseña y emplea reactivos con
Taxonomías
Nivel de complejidad
Bloom Solo Marzano
Conocimiento Preestructural (P) Recuperación
Bajo Comprensión Uniestructural (U) Comprensión
Aplicación Multiestructural (M) Aplicación
Análisis Análisis
Relacional (R)
Alto Síntesis (Evaluar) Metacognición
Evaluación (Crear) Abstracción extendida (A) Autorregulación
Fuente: Adaptado de “Cuadro 2. Comparativo de taxonomías”, por UNAM, Manual para elaborar…, (p. 7), 2021, Colegio de
Ciencias y Humanidades. (https://portalacademico.cch.unam.mx/sites/default/files/publicaciones-digitales/2021-02/
manual-reactivos-opcion-multiple.pdf). © 2021, UNAM.
Taxonomía de Reactivos
Contenidos
Bloom Formato Ítems
Base: oración
Administración de
Opción múltiple: una respuesta 4
dispositivos
correcta y tres distractores
Base: oración
Administración de
Conocimiento Opción múltiple: una respuesta 4
archivos
correcta y tres distractores
Base: oración
Crear y manipular
Aplicación Opción múltiple: una respuesta 14
conjuntos de datos
correcta y tres distractores
Total de reactivos 60
Como puede notarse, la estructura de la ED cio, día u horario específicos para presentar tal
de Literacidad Digital la compone una sola evaluación, incluso tuvieron la posibilidad de
sección con 60 reactivos de opción múltiple efectuarla desde casa o cualquier otro lugar
bajo el formato de cuestionamiento directo con acceso a Internet.
(o respuesta corta). Cada ítem posee cuatro
alternativas de respuesta: una correcta con Método de análisis
valor de un punto y tres distractores con valor En las siguientes líneas se presenta el desarro-
de cero. Vale señalar que este instrumento se llo y la evolución metodológica de la ED 2021
renueva cada año, por la tanto, la presente que implementó cada EE del AFBG de la UV,
actualización deriva del resultado del análisis con el fin de trazar el proceso que condujo a la
estadístico que incluye un análisis explorato- evaluación diagnóstica de Literacidad Digital.
rio de su aplicación el año pasado. Concluido el proceso de aplicación de la ED,
Este instrumento de evaluación se efec- existe una vasta e importante información
tuó en línea a través del SIEAFBG desarrollado que debe analizarse. Allí vuelve a notarse lo
en 2019, sistema automatizado que configura valioso del SIEAFBG, pues al organizar, con-
cada ED según las EE que integran el AFBG, centrar y generar bases de datos se convierte
junto a el cuestionario sobre estilos de apren- en el principal insumo para la elaboración de
dizaje. Una vez que el estudiante concluye su informes estadísticos.
respectiva ED, recibe del sistema un reporte No obstante, al tratarse el presente estu-
personalizado de sus resultados, los cuales se dio de tipo descriptivo-exploratorio, cuyo pro-
enlazan con el Sistema de Tutorías de la UV, pósito es identificar las competencias básicas
para que sea canalizado y pueda presentar un con las cuales los estudiantes ingresan a la
examen de demostración de competencias; Universidad Veracruzana, a la par que busca
opción regulada en el Estatuto de los Alum- medirlas de acuerdo con escalas derivadas de
nos de la UV (2008, artículo 52) y los debidos los 60 reactivos del instrumento en cuestión,
protocolos de protección de sus datos perso- es preciso recurrir a un análisis estadístico
nales. integrado por sus tres fases de análisis (Figura
Mencionado anteriormente, implemen- 1), en las cuales no solo se retoman los obje-
tar el instrumento de ED de las EE del AFBG tivos, las escalas y variables de medición de
bajo dicho sistema y en línea representó un este estudio, sino que las conjuga con las téc-
parteaguas para los proyectos educativos de nicas de la estadística descriptiva. Esta última
la UV, pues trajo consigo beneficios notorios. resume datos y muestra cifras puntuales
Por un lado, le economizó personal y espa- mediante tablas, así como señala tendencias
cios físicos durante su aplicación; por el otro, y comparaciones a través de figuras y gráficas.
sus estudiantes dejaron de asistir a un espa-
Nota. Cada matriz es construida con n filas y m columnas, donde cada fila representa un estudiante y cada columna in-
dica los valores de una variable medida, entonces, existen n estudiantes a los cuales se miden m variables (reactivos del
examen).
Fuente: Elaboración propia.
Para fines de esta investigación, se consideran diante eligió una opción de respuesta inco-
únicamente los datos de la matriz C (estatus rrecta. Por ejemplo: (estudiante 13 175) (pre-
3): esto es, los 13 175 estudiantes que entraron, gunta 1) = 1 indica que el estudiante número 13
respondieron y concluyeron las 60 pregun- 175 respondió a la pregunta 1 correctamente,
tas del examen de la ED de LD, a los cuales mientras (estudiante 13 175) (pregunta 60) = 0
simultáneamente se le asignan valores de 1 y revela que ese mismo estudiante contestó a
0, donde 1 señala que el estudiante eligió la la pregunta 60 con una opción de respuesta
respuesta correcta, y 0 significa que el estu- incorrecta (Tabla 3).
ED de Literacidad Digital
(60 preguntas)
N.° de estudiante
Pregunta 1 Pregunta 2 … Pregunta 60
. . . . .
. . . . .
. . . . .
Estudiante 13 175 1 0 … 0
Fuente: Elaboración propia.
Una vez identificados los candidatos a pre- porcentual (4% ambas). Llama la atención que
sentar un examen de competencias (413 el área Económico-Administrativa se encuen-
estudiantes), se procedió a determinar cuán- tre en la tercera posición (22%), dados sus
tos de ellos pertenecerían a las áreas aca- programas educativos: Tecnologías Compu-
démicas de la UV. Por ello, en la figura que tacionales, Sistemas Computacionales Admi-
sigue se observa que las áreas académicas nistrativos, Redes y Servicios de Cómputo,
Ciencias de la Salud y Técnica concentran el Ingeniería de Software, entre otros. Es decir,
mayor porcentaje de estudiantes candidatos han sido aceptados estudiantes cuyos punta-
(30% y 26%, respectivamente), en tanto Bio- jes en asuntos de LD no son, al menos en este
lógicas-Agropecuarias y Artes el menor valor filtro, del todo sobresalientes.
Artes
Biológico-Agropecuarias
4%
4% Ciencias de la Salud
Humanidades 30%
14%
Económico-Administrativas
Técnica
22%
26%
las diferencias entre los sujetos examinados. Finalmente, la tercera fase comprende
Según tales autores, 0.0 significa que la pre- un análisis de reactivos complementario, es
gunta fue muy difícil o que nadie la entendió, decir, ponderar la frecuencia y el porcentaje
y 1.0 que todos respondieron correctamente de respuesta correcta que los estudiantes
la pregunta, por ende, fue demasiado fácil. evaluados eligieron frente a cada una de las
Por considerarlos más útiles para el tipo opciones de respuesta propuestas (distrac-
de reactivos empleados en la ED de la EE Lite- tores) en cada una de las preguntas (60) que
racidad Digital, se ocuparon valores en el rango integraron la ED, por área académica y región
de 0.25 a 0.75. Esto es, un valor debajo de 0.25 de la UV. De esa manera, se detectó que 12
indicó que el reactivo resultó demasiado difí- preguntas del instrumento no cumplieron
cil de responder, y por encima de 0.75 que era con ciertos rasgos, pues en dichas preguntas
demasiado fácil (de la mano con lo propuesto uno de los distractores se interpretó como
por González y Meunier). En consecuencia, se respuesta correcta, en consecuencia, pregun-
encontró que, de un total de 60 preguntas del tas y respuestas requieren ser replanteadas o
instrumento, 4 tuvieron un índice de dificultad sustituidas. Ejemplo de este tipo de análisis se
alto; 9 un índice bajo, y 47 uno aceptable. muestra a continuación:
Reactivo N.° 20
Base: Tecnología inalámbrica de ondas de radio que establece la comunicación entre dispositivos
informáticos
Región Área académica
Coatzacoalcos-
Minatitlán
Orizaba-Córdoba
Poza Rica-Tuxpan
Veracruz
Xalapa
Artes
Ciencias Biológicas-
-Agropecuarias
Ciencias de la Salud
Económico-
Administrativa
Humanidades
Técnica
Opciones de
Frecuencia
Porcentaje
respuesta
Wifi 996 1193 1153 1898 3011 207 594 1581 2202 1571 2096 8251 62.6%
ZigBee 30 39 36 63 97 5 19 51 69 50 71 265 2%
WAN 113 135 142 248 389 27 71 201 284 201 243 1027 7.8%
Bluetooth 388 505 429 848 1478 124 255 804 937 641 887 3648 27.7%
Estudiantes
1527 1872 1760 3057 4975 363 939 2637 3492 2463 3297 13 191 100%
con estatus 3
producto del buen manejo de sus insumos a plementario de esta investigación (tabla 4), a
lo largo de las distintas etapas de realización modo de otro índice que bien funcionaría en
del instrumento y de las fases de análisis de el diseño de los reactivos.
sus datos: exportación de la base de datos en Existen otras vertientes para la actuali-
archivos de Excel con estructuras tabuladas zación de los distractores. Ortega T. y Chávez
y efectuar su análisis estadístico con el pro- (2020) plantean que “sustituir la respuesta
grama SPSS (ver tablas 1, 2, 3 y 4, y figuras 1, 2 del distractor menos funcional disminuye
y 3). De allí que la validez y confiabilidad estén la dificultad de las pruebas” (p. 160), aun
estrechamente relacionadas con el uso apro- cuando matizan “que el porcentaje de respues-
piado de los resultados de las evaluaciones. tas correctas para algunos de los participantes
Se recomienda además el replantea- aumenta cuando se elimina el distractor menos
miento de discriminar los reactivos del instru- funcional” (p. 161). Hablando de exámenes
mento por su índice de dificultad —reactivos con el criterio ya referido, ellos encontraron
muy fáciles o muy difíciles—, así como el criterio que, al eliminar el distractor, los participantes
de evaluación referido. Una alternativa podría con resultado satisfactorio aumentan, y dis-
ser actualizarlos por ítems afines a marcos minuyen con uno insatisfactorio.
de referencia y especificaciones permisi- Representó un reto trabajar con un único
bles de análisis complementarios (Tabla 4). instrumento cuyos 60 reactivos se actualizan
Lo anterior, aunado, porque como menciona cada año conforme los resultados del periodo
Ravela (2006) respecto al criterio: “compara de aplicación anterior. Aunque el mayor desa-
el desempeño o resultado del evaluado con fío yació en constatar la inexistencia de una
una definición clara y explícita de lo que se metodología de trabajo para el diseño, la
espera que conozca y sea capaz de hacer en construcción, la implementación y actualiza-
un determinado dominio o ámbito” (citado en ción de la ED de la EE analizada aquí. He ahí el
MIDE UC e INEE, 2019, p. 13). énfasis de quienes escriben este trabajo sobre
De los distractores en las preguntas de la necesidad de una metodología de calibra-
este instrumento, Thomas Haladyna, investi- ción que permita medir simultáneamente la
gador de evaluaciones estandarizadas, iden- calidad de los reactivos y la del instrumento:
tificó que “cuando una opción [distractor] no qué reactivos tienen deficiencias de redacción
es elegida por ningún evaluado o es elegida o contenido, cuáles son óptimos porque cum-
por un porcentaje muy bajo (menos de 5%), plen su función y cuáles no; cuáles evalúan
se interpreta que ese distractor no cumple habilidades superiores o competencias que
su función” (citado en Ortega T., 2021, p. 35), evocan la diversidad de sus contextos. En sí,
por eso es preferible eliminarla. Tal aspecto se se piensa que tal calibración podría favorecer
puede incluir en el análisis de reactivos com- la creación de un banco de datos de reacti-
Referencias