ESTUDIOS

Estudios sobre calidad de

la educación en Colombia
► Working paper

Medición de Preparación Universitaria

con SABER PRO: Un examen de la
validez predictiva
Presidente de la República
Juan Manuel Santos Calderón

Ministra de Educación Nacional

Gina María Parody d’Echeona

Viceministra de Educación Superior

Natalia Ariza Ramírez

Directora General
Ximena Dueñas Herrera

Secretaria General
Maria Sofía Arango Arango

Director de Evaluación
Julián Patricio Mariño von Hildebrand

Director de Producción y Operaciones

Edgar Rojas Gordillo

Subdirectora de Análisis y Divulgación

Silvana Godoy Mateus

Jefe Oficina Asesora de Comunicaciones y Mercadeo

Sandra Milena García Villamizar

Jefe Oficina Asesora de Gestión de Proyectos de Investigación

Adriana Molina Mantilla

Elaboración del documento*:

Jorge Andrés Morales
Edwin Cuellar
*Basado en el trabajo elaborado por Matthew Gaertner
y Katie McClarty. Pearson Research and Innovation Network.

Diagramación:
Melisa Castellanos

Bogotá, D.C., diciembre de 2014

ICFES. 2014. Todos los derechos de autor reservados ©.

Todo el contenido es propiedad exclusiva y reservada del ICFES y es el resultado de investigaciones y obras protegidas por la legislación nacional e
internacional. No se autoriza su reproducción, utilización ni explotación a ningún tercero. Solo se autoriza su uso para fines exclusivamente académicos.
Esta información no podrá ser alterada, modificada o enmendada.
 Resumen

La prueba SABER 11° tiene dentro de sus propósitos el proveer información a las instituciones de
educación superior, que les permita seleccionar a los candidatos idóneos para sus programas
de formación basándose en el estado de las competencias de éstos, al finalizar grado once.
Respondiendo a la necesidad de evaluar constantemente sus procesos de evaluación, y en
el marco de su programa de investigación el ICFES ha decidido emprender una línea de
investigación que dé cuenta de la validez predictiva de sus evaluaciones.

Para ello y con la colaboración de algunas instituciones de educación superior de diversas

regiones de Colombia, en el primer semestre de 2012, se llevó a cabo una aplicación especial
de SABER PRO que pretendía lograr una aproximación a lo que sería el examen SABER 11°
rediseñado (combinando competencias genéricas de SABER PRO y algunas áreas del núcleo
común de SABER 111°). Esta aplicación constituye uno de los primeros pasos del ICFES en su
propósito de rediseñar la prueba SABER 11 con el fin de lograr una alineación con el examen
de salida de la educación superior SABER PRO. Este documento describe la metodología
empleada en el estudio, presenta un análisis de los resultados obtenidos y ofrece unas
conclusiones iniciales.

3
 Introducción
SABER 11° es una evaluación estandarizada que se centra en la evaluación de competencias
entendidas como un “SABER hacer en contexto” o, en otras palabras, movilizar conocimientos
y habilidades hacia la actuación en una situación concreta. De acuerdo con el Decreto 869
de marzo de 2010, el examen de Estado de la educación media - SABER 11°- tiene como fin
comprobar el grado de desarrollo de las competencias de los estudiantes que están por terminar
undécimo grado. Con base en la información generada, el examen cumple diversos propósitos
para diferentes actores del sistema educativo: a los estudiantes, les proporciona elementos
para su autoevaluación y el desarrollo de su proyecto de vida; a las instituciones de educación
superior, les da información para seleccionar candidatos idóneos para sus programas de
formación y hacer seguimiento de su evolución académica; a los establecimientos educativos,
le sirve de referencia para sus procesos de autoevaluación y orientación de sus prácticas
pedagógicas; y a las autoridades educativas, para construir indicadores de calidad que apoyen
las decisiones de política pública.

Desde 2009, el ICFES ha trabajado en una transformación del examen SABER 11° que garantice
una mejor alineación con los exámenes de educación básica SABER 3°,5° y 9° y el examen
SABER PRO, para poder consolidar un sistema nacional de evaluación estandarizada. Con
ello se busca darle coherencia al sistema, apoyando la articulación general de la educación, y
potencializar el uso de las mediciones de las evaluaciones, al permitir evaluar el desarrollo en
cada nivel de formación.

Un aspecto fundamental para lograr la consolidación del sistema es tener unos ejes de evaluación
a lo largo de toda la formación. De acuerdo con los lineamientos y estándares establecidos por el
Ministerio de Educación Nacional y con los desarrollos y capacidades logísticas actuales, estos
ejes deben incluir la competencia de lectura, el razonamiento cuantitativo, las competencias
ciudadanas y el inglés. De la misma manera, se deben integrar las pruebas de Biología, Física
y Química en una sola de Ciencias Naturales que incluya además los elementos de Ciencia,
Tecnología y Sociedad promulgados en los estándares.

Como parte de la investigación de soporte para la transformación del examen SABER

11° y gracias al apoyo de varias universidades de distintas regiones del país, se realizaron
aplicaciones especiales de las pruebas de competencias genéricas de SABER PRO (lectura
crítica, razonamiento cuantitativo y competencias ciudadanas) a los estudiantes que recién
habían ingresado a la educación superior y por lo tanto presentaron SABER 11° . El objetivo
del levantamiento de esta información fue evaluar la capacidad de las pruebas del examen
SABER 11° y el examen SABER 11° rediseñado para predecir los resultados académicos de los
estudiantes que ingresan a la educación superior, durante los cuatro (4) primeros semestres de

4
sus programas académicos. Desde el primer semestre de 2012 se hicieron 3 aplicaciones de
las pruebas genéricas de SABER PRO a estudiantes recién ingresados a la educación superior
con el fin de obtener puntajes aproximados del examen SABER 11° rediseñado. A continuación
se describen las pruebas de competencias genéricas aplicadas.

Tabla 1. Pruebas de competencias genéricas aplicadas

Lectura crítica
• Leer analítica y reflexivamente.
• Comprender los planteamientos expuestos en un texto e identificar sus perspectivas y
juicios de valor.
• Identificar y recuperar información presente en uno o varios textos, construir su sentido
global, establecer relaciones entre enunciados y evaluar su intencionalidad.
Componentes:
• Ubicar información
• Establecer relaciones
• Construir representación global
• Analizar y evaluar críticamente

Razonamiento Cuantitativo
• Comprensión de conceptos básicos de las matemáticas para analizar, modelar y resolver
problemas, aplicando métodos y procedimientos cuantitativos y esquemáticos.
• Interpretación de datos, la formulación de problemas y la ejecución, evaluación y validación
de procedimientos y estrategias.
Componentes:
• Interpretación
• Formulación
• Evaluación
Competencias Ciudadanas
• Conocer y comprender la Constitución Política de Colombia:
• Comprender qué es la Constitución
• Conocer los derechos y deberes que la Constitución consagra
• Conocer la organización del Estado
• Valoración de argumentos: analizar y evaluar la pertinencia y solidez de un enunciado.
• Multi-perspectivismo: reconocer, contrastar y valorar distintas perspectivas.
•Pensamiento sistémico: comprender que los fenómenos sociales y sus soluciones son
multidimensionales y reconocer interacciones entre estas dimensiones.

5
En este documento se presenta el análisis de los datos obtenidos en la primera aplicación,
realizada al inicio del primer semestre de 2012, donde se contó con la participación de la
Pontificia Universidad Javeriana de Bogotá, la Universidad de Bogotá Jorge Tadeo Lozano, la
Universidad Francisco de Paula Santander, la Universidad de Los Andes, la Universidad de San
Buenaventura de Cali y la Universidad Tecnológica de Bolívar. Cabe anotar que este estudio es
el inicio de una línea de investigación que tiene como objetivo evaluar la capacidad predictiva de
las pruebas para explicar el rendimiento de los estudiantes al ingresar a la educación superior.
Los resultados mostrados en el documento son tomados del trabajo de Matthew Gaertner y
Katie McClarty para el IV Seminario Internacional de Investigación sobre Calidad de la Educación

6
 Objetivo y metodología

Objetivo

Analizar la relación existente entre los puntajes de las pruebas de SABER 11°, SABER PRO
y las calificaciones de los estudiantes al ingresar a alguna de las seis universidades que
participaron del estudio.

Metodología

Para este estudio se propuso comparar la validez predictiva de dos pruebas: por un lado,
el examen SABER 11°, utilizando la suma de los puntajes obtenidos en las pruebas de
matemáticas, lenguaje, ciencias sociales, biología, química y física; por otro lado, se utilizó
una aproximación al examen rediseñado a través de una combinación de resultados en
el examen SABER PRO y SABER 11° El siguiente gráfico explica cómo se obtuvieron los
puntajes aproximados del examen rediseñado:

Gráfica 1. Combinación de puntajes SABER PRO y SABER 11° para SABER 11° rediseñado

SABER 11° SABER PRO SABER 11° Rediseñado

Matemáticas Razonamiento Matemáticas

Cuantitativo

Lectura crítica Lectura crítica

Ciencias Sociales Competencias Competencias

Ciudadanas ciudadanas

Biología Ciencias Naturales

Química Física

7
En el caso de los puntajes del examen rediseñado de matemáticas y competencias ciudadanas,
se realizó un promedio entre los dos componentes señalados en el gráfico anterior, es decir,
el puntaje aproximado del examen SABER 11° rediseñado corresponde a un promedio del
puntaje de la prueba de matemáticas obtenido en SABER 11° y el puntaje obtenido en la
prueba de razonamiento cuantitativo de SABER PRO aplicada al iniciar la educación superior.
Todos los puntajes fueron estandarizados para poder realizar este tipo de cálculos. Como
puntaje aproximado para la prueba de ciencias naturales en el examen rediseñado se tomó
el promedio de las pruebas de biología, química y física de SABER 11°.

De acuerdo con el análisis de varianza preliminar, realizado con los datos del primer semestre
de 2012, un 12% de la varianza en las calificaciones universitarias se debe a que en la muestra
se encuentran diferentes universidades. Por lo tanto, los métodos de análisis multinivel, que
proporcionan herramientas adecuadas para estimar las asociaciones de las covariables a nivel
de estudiante y las calificaciones de los estudiantes al inicio de su educación universitaria,
son los más apropiados (Singer & Willett, 2003). Para este estudio las variables a nivel de
estudiantes corresponden al puntaje obtenido en las pruebas de competencias genéricas y
de SABER 11° tal como se señaló en el gráfico anterior; igualmente se incluye una medida
del nivel socio-económico, INSE1. El modelo empleado obedece a una expresión de la forma:

Yij= π0j + π1j SABERij+ π2j INSEij + εij

π0j= γ0+ξ0j

π1j= γ1 π2j= γ2

La variable respuesta Yij representa al promedio general en el primer semestre del estudiante
i en la universidad. SABERij. e INSEij corresponden a las puntuaciones de SABER 11°
y el INSE a nivel de estudiante. γ0, γ1 y γ2 son efectos fijos, mientras que ξ0j es un efecto
variable, representando la desviación de la universidad j al promedio general. En todas las
estimaciones se emplean los dos resultados de interés (SABER 11° y aproximación al SABER
11° rediseñado) de forma independiente, es decir, se ajustan los modelos separadamente
con los puntajes de cada uno de ellos. La variable INSE es incluida en todos los modelos.

Para este estudio sólo se comparan las pruebas que evalúan competencias similares.
Específicamente, las competencias de SABER 11°: matemáticas, lenguaje y ciencias sociales
se comparan con razonamiento cuantitativo, lectura crítica y competencias ciudadanas
respectivamente. Por otra parte, debido a que muchas de estas competencias son
1
El Índice de Nivel Socio-económico, INSE, es una medida construida con base en una metodología de componentes princi-
pales a partir de la información recolectada en el formulario de inscripción. Específicamente, se emplea la ocupación y edu-
cación de los padres, los ingresos del hogar y su estrato económico proyectados sobre el primer eje factorial, el cual explica
el 60% de la inercia total

8
desarrolladas con mayor intensidad dependiendo del área de estudios de los programas, se
ajustan los modelos por separado con respecto a los grupos de referencia2.

Con base en los resultados de los ajustes de los modelos y dado que el interés es evaluar
el poder predictivo de las pruebas, el estudio se enfoca en realizar las comparaciones en
términos del porcentaje de varianza explicada por los modelos. Con tal fin se emplea una
estadística de ajuste denominado, pseudo−R2.

Datos

El estudio utiliza los puntajes de la aplicación de SABER 11° las pruebas genéricas de SABER
PRO aplicadas a estudiantes que acababan de entrar a la educación superior, el promedio
general ponderado de las primeras notas en la universidad y la información socioeconómica
de 1.833 estudiantes de la Pontificia Universidad Javeriana de Bogotá, la Universidad Jorge
Tadeo Lozano, la Universidad Francisco de Paula Santander, la Universidad de Los Andes,
la Universidad de San Buenaventura de Cali y la Universidad Tecnológica de Bolívar. En la
tabla 2 se puede observar el número de estudiantes que participaron de cada universidad y
su distribución en los grupos de referencia.

No se consideraron estudiantes que presentaran el SABER 11° antes de 2010, con el fin de
evitar la inclusión de resultados que pudieran distorsionar los análisis. El número final de
estudiantes pasa a ser 1.369. La distribución de estudiantes para cada institución no varía de
manera importante.

2
Un grupo de referencia es la agrupación de programas con características similares para los que se definen una oferta de
combinaciones de módulos de competencias específicas y entre los que se compararán los resultados de la evaluación. Los
grupos de referencia son definidos por el ICFES según la clasificación de programas del Sistema Nacional de Información
de la Educación Superior (SNIES) del Ministerio de Educación Nacional y la Clasificación Internacional Normalizada de la
Educación (CINE) de la Unesco.

9
 Tabla 2. Número de estudiantes en cada una de las
universidades participantes por grupo de referencia

Tadeo Tecnológica
Javeriana Los Andes S.Buenaventura Distrital Total
Lozano de Bolívar
Administración y Afines 32 159 37 215 15 458
Técnicos en Administración y
36 20 56
turismo
Arquitectura y urbanismo 31 4 20 60 22 137
Técnicos en Artes-diseño-
14 14
comunicación
Bellas Artes y Diseño 40 6 46
Ciencias Naturales y Exactas 21 26 46 93
Ciencias Sociales 4 33 73 7 117
Derecho 27 5 60 55 147
Economía 13 19 70 1 103
Ingeniería 64 274 23 115 63 539
Técnicos en Ingeniería, Industria
36 36
y Minas
Medicina 2 69 71
Salud 16 16
Total 214 289 572 248 404 106 1.833

10
 Resultados

Para obtener una medida general de cada una de las pruebas de SABER 11°, se calculó un
puntaje total que corresponde a la suma de los puntajes de cada una. En la primera fila de la
tabla 3 se muestra que esa medida general, calculada a partir de los puntajes de las pruebas
de SABER 11°, explica el 27% del rendimiento académico en la universidad, mientras que
ese porcentaje se estima en un 30% para la suma de los puntajes aproximados del examen
SABER 11° rediseñado. De manera similar, razonamiento cuantitativo parece ser una medida
que se aproxima un poco más al desempeño en educación superior que la que se obtiene
con la prueba de matemáticas, ya que para la prueba rediseñada el R2 ajustado es de 24% y
en matemáticas de SABER 11° es de 21%. Sin embargo, la diferencia mayor se presenta al
contrastar la prueba de ciencias sociales con la de competencias ciudadanas sugiriendo que
la prueba genérica predice mejor en 4 puntos porcentuales más que la prueba realizada a los
estudiantes en SABER 11°.

Tabla 2: Porcentaje de varianza del promedio en la universidad explicado por el modelo

cuando se incluyen los totales de las pruebas aproximadas del SABER 11° rediseñado
y de SABER 11° como variables explicativas (R2 ajustado).

SABER 11° SABER 11° SAT* ACT**

rediseñado
Puntaje total 0,30 0,27 0,18*
Razonamiento cuantitativo 0,24 0,21 0,23 Matemáticas
Lectura crítica 0,21 0,19 0,22 Lenguaje
Competencias ciudadanas 0,27 0,23 Ciencias sociales
0,17 Biología
Ciencias Naturales 0,23 0,22 Química
0,21 Física

* College admision Exam, Estados Unidos

** College Readiness Assessment, Estados Unidos

Los puntajes aproximados de las prueba de SABER 11° rediseñado explica ligeramente mejor
las calificaciones obtenidas en éstas seis universidades e incluso es tan buena como la de las
prueba SAT en Estados Unidos y mucho mejor que la prueba ACT: el puntaje general de la
prueba ACT explica un 18% las calificaciones de los estudiantes, mientras que en el estudio
realizado por el ICFES, el total de las pruebas rediseñadas explica el 30%, una importante
diferencia en términos del R2 ajustado.

11
 Sin embargo, no en todos los grupos de referencia se presenta un aumento de la predictibilidad.
Medicina, salud y economía reflejan una notable reducción en este factor. La diferencia más
importante se presenta en medicina, donde el puntaje total de SABER 11° disminuye en
un 60% su predictibilidad comparado con los puntajes aproximados del examen SABER
11° rediseñado. No obstante, en medicina, estas dos pruebas no reflejan gran relevancia
para explicar el desempeño en la universidad, como en el resto de grupos de referencia.
Esto se puede evidenciar en que el puntaje total de SABER 11° explica tan solo el 12%
del promedio en la universidad, mientras que en los demás grupos, este porcentaje supera
20%. Es también importante observar que ésta diferencia es considerablemente mayor en
medicina, debido a que en las demás áreas de la salud, el porcentaje de varianza explicado
por las aproximaciones de las pruebas rediseñadas, comparado con SABER 11°, se reduce
en tan solo 12%.

La capacidad predictiva de las dos pruebas es considerable en los grupos de referencia

de técnicos en artes-diseño-comunicación y en administración y turismo: el porcentaje de
varianza que explica el modelo en el grupo de artes supera el 80% y en administración el
52%. No obstante, cabe anotar que un índice de nivel socio-económico es incluido en todos
los modelos y que esta predictibilidad no es exclusiva del desempeño en cualquiera de los
dos grupos de referencia.

Tabla 3: Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye el
puntaje total de las aproximaciones a las pruebas del SABER 11° rediseñado o de SABER 11° como variable
explicativa (R2 ajustado por grupo de Referencia).

SABER 11° rediseñado SABER 11° Diferencia/SABER 11°

Ciencias naturales y exactas 0,42 0,31 0,36
Técnicos en administración 0,66 0,52 0,27
y turismo
Arquitectura y urbanismo 0,20 0,16 0,23
Bellas artes y diseño 0,42 0,37 0,15
Derecho 0,40 0,36 0,13
Técnicos en artes - diseño - 0,88 0,80 0,11
comunicación
Ciencias sociales 0,54 0,50 0,07
Ingeniería 0,37 0,39 -0,04
Administración y afines 0,44 0,47 -0,06
Economía 0,50 0,56 -0,09
Salud 0,60 0,68 -0,12
Medicina 0,12 0,29 -0,60

12
 Los análisis anteriores, fueron realizados a partir de la suma de todos los puntajes de las
pruebas aproximadas del SABER 11° rediseñado y de SABER 11° como una medida general
para evaluar la predictibilidad de cada una de ellas. Es importante aclarar que los currículos
de los programas no se relacionan de la misma forma con las pruebas individuales. Por
ejemplo, la prueba de matemáticas podría estar más asociada con los temas abordados
en la universidad en ingeniería que en medicina. Una forma de tener en cuenta este efecto
es incluyendo dentro de las variables independientes a la prueba de matemáticas como la
medida de SABER 11° y razonamiento cuantitativo como la medida de SABER 11° rediseñado.

La inclusión de estas dos variables en el modelo señalan una capacidad de predicción

uniforme de estos dos componentes (ver tabla 4). En los grupos de referencia diferentes a
arquitectura y urbanismo y medicina, razonamiento cuantitativo explica entre el 30% y 55%
del puntaje promedio general en la universidad, y en administración y turismo esta relación
alcanza el 64%. La prueba de matemáticas guarda niveles inferiores de predictibilidad en 2 de
los 12 grupos de referencia de la muestra comparado a los obtenidos a partir de la prueba de
razonamiento cuantitativo; para 5 de los 12 grupos la prueba de matemáticas predice menos
del 30% el desempeño en la universidad mientras que con la prueba rediseñada tan sólo 2
grupos están por debajo de este nivel.

Adicionalmente, este análisis sugiere que los constructos evaluados en la prueba de

razonamiento cuantitativo se encuentran más asociados con el promedio en la universidad
en la mitad de los grupos de referencia; en la otra mitad la predictibilidad de estas dos
pruebas es prácticamente la misma.

Nótese también que el porcentaje de predictibilidad en los grupos de referencia de técnicos en

administración y turismo, técnicos en artes-diseño-comunicación, e ingeniería, permanecen
prácticamente invariantes cuando se incluye el puntaje conjunto de la prueba o el puntaje
de razonamiento cuantitativo; y que en el grupo de referencia de salud, la prueba genérica
predice dos veces mejor el rendimiento del estudiantes que la prueba de matemáticas,
pasando de explicar un 26% con matemáticas a un 55% con razonamiento cuantitativo.

13
 Tabla 4: Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye
Razonamiento Cuantitativo o Matemáticas como variable explicativa (R2 ajustado por grupo de Referencia)

Razonamiento cuantitativo Matemáticas Diferencia/Matemáticas

Salud 0,55 0,26 1,07
Técnicas en Administración y 0,64 0,37 0,73
turismo
Medicina 0,24 0,15 0,62
Economía 0,33 0,24 0,37
Administración y afines 0,41 0,32 0,26
Ciencias naturales y exactas 0,39 0,33 0,20
Derecho 0,30 0,28 0,07
Ingeniería 0,35 0,33 0,06
Bellas artes y diseño 0,37 0,35 0,05
Arquitectura y urbanismo 0,18 0,18 0,03
Ciencias sociales 0,38 0,39 -0,02
Técnicas en Artes - diseño - 0,88 0,93 -0,05
comunicación

Igual que con razonamiento cuantitativo y matemáticas, también es llevado a cabo un análisis
con lectura crítica y lenguaje. Se incluyen los puntajes de estas dos pruebas separadamente
como puntajes de PRO y SABER 11°, al igual que en los análisis anteriores, se incluye el
INSE y se calculan los seudo−R2 ajustado como medida de predictibilidad (ver tabla 5).
Los resultados señalan que la prueba genérica supera en predictibilidad a la de lenguaje en
únicamente 3 de los 12 grupos de referencia y se presenta una ligera diferencia en Bellas artes
y diseño y Arquitectura y urbanismo. En Ingeniería, Ciencias naturales y exactas, Economía
y Administración y afines se presenta una desventaja considerable con respecto a la prueba
anterior, no obstante, nótese que esta diferencia relativa es inflada especialmente por la baja
magnitud de la predictibilidad en cualquiera de esas dos componentes.

14
 Tabla 5: Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye
lectura crítica o lenguaje como variable explicativa (R2 ajustado por grupo de Referencia).

Lectura crítica Lenguaje Diferencia/Lenguaje

Técnicas en Administración y 0,77 0,38 1,04
turismo
Ciencias sociales 0,34 0,19 0,77
Técnicos Artes - diseño - 0,58 0,38 0,51
comunicación
Derecho 0,37 0,33 0,13
Bellas artes y diseño 0,40 0,38 0,05
Arquitectura y urbanismo 0,16 0,17 -0,08
Ingeniería 0,27 0,30 -0,10
Ciencias naturales y exactas 0,21 0,28 -0,25
Economía 0,24 0,33 -0,28
Técnicos Administración y afines 0,18 0,25 -0,29
Salud 0,04 0,11 -0,65
Medicina 0,00 0,03 -0,93

Este mismo análisis se realizó con las pruebas de ciencias sociales y competencias
ciudadanas, reflejando que en 6 de los 12 grupos existe una ventaja al aplicar la segunda
(ver tabla 6).

En el grupo de referencia de ciencias sociales, la prueba de competencias ciudadanas cuenta

con una mayor capacidad de predicción con respecto a la prueba de ciencias sociales en
SABER 11°, superando en dos veces la proporción obtenida por esta última. Sin embargo el
grupo donde el puntaje de competencias ciudadanas tiene un efecto mayor es el de ciencias
naturales y exactas, dado que esta prueba junto con el nivel socio-económico predice el 50%
de los resultados en la universidad mientras que la prueba de SABER 11° predice el 31%.

15
 Tabla 6 Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye
Competencias ciudadanas o Ciencias Sociales como variable explicativa
(seudo R2 ajustado por grupo de Referencia).

Competencias Ciudadanas Ciencias Sociales Diferencia/Sociales

Ciencias sociales 0,30 0,15 1,04
Ciencias naturales y exactas 0,50 0,31 0,63
Bellas artes y diseño 0,35 0,25 0,36
Administración y afines 0,33 0,26 0,25
Derecho 0,32 0,26 0,20
Técnicos Artes - diseño – 0,16 0,13 0,19
comunicación
Ingeniería 0,31 0,31 -0,01
Economía 0,45 0,46 -0,02
Arquitectura y urbanismo 0,18 0,19 -0,06
Técnicos en Administración y 0,31 0,47 -0,33
turismo
Salud 0,31 0,76 -0,59
Medicina 0,00 0,07 -0,95

16
 Conclusiones

• En general, las pruebas aproximadas del examen SABER 11° rediseñado permiten
una mejor predicción del desempeño académico universitario con respecto a las pruebas de
SABER 11° Esto significa que la estructura del examen incluyendo competencias genéricas
tiene un mayor poder predictivo del desempeño de los estudiantes durante los primeros
semestres de la universidad. Las tres pruebas del examen rediseñado predicen mejor que las
correspondientes de SABER 11°

• La estructura de examen incluyendo competencias genéricas no solo predice mejor

el desempeño académico de los universitarios de la muestra, sino que además, supera los
niveles de predictibilidad de las pruebas SAT y ACT en los componentes evaluados por cada
una de ellas.

• En los grupos de referencia de administración y turismo, derecho y bellas artes y diseño

el examen rediseñado presenta una ventaja en el porcentaje de predicción de los resultados
en la universidad, salvo en la prueba de razonamiento cuantitativo. Las demás pruebas del
examen rediseñado explican un porcentaje más alto de la varianza de los resultados en los
grupos de referencia de ciencias sociales y técnicos en artes-diseño-comunicación que las
obtenidas con las actuales pruebas de SABER 11°

• En el grupo de referencia de Ciencias naturales y exactas la aproximación de las

pruebas del SABER 11° rediseñado tienen una alta capacidad de predecir el desempeño
académico, a pesar de que con la prueba de lectura crítica, no se obtienen los mismos
niveles de predictibilidad de los alcanzados con la prueba de lenguaje.

• La prueba de razonamiento cuantitativo es una de las pruebas que explica mejor el

desempeño de los estudiantes universitarios con respecto a su prueba análoga en SABER
11° En todos los grupos de referencia esta prueba aproximada a la rediseñada refleja mejores
resultados que la de matemáticas en términos de su predictibilidad, excepto por artes-diseño-
comunicación y ciencias sociales que presentan cambios no significativos en el porcentaje
de predicción al incluir razonamiento cuantitativo o matemáticas en el modelo.

• Aunque a partir de los resultados del análisis por grupo de referencia se puede
concluir que con lectura crítica no se obtiene un mayor porcentaje de predicción en un gran
número de grupos, los niveles de predicción en los que se refleja una mejoría, superan a los
calculados con la prueba de competencias ciudadanas.

17
 • En los grupos de referencia de salud, medicina, economía, ingeniería, administración
y turismo, las pruebas aproximadas de competencias ciudadanas y lectura crítica del SABER
11° rediseñado no superan el nivel de predicción de los resultados a los obtenidos con las
pruebas de ciencias sociales y lenguaje de SABER 11°, respectivamente.

18
 Calle 17 No. 3-40 • Teléfono:(57-1)338 7338 • Fax:(57-1)283 6778 • Bogotá - Colombia
www.icfes.gov.co

19