Alejandro José Jiménez Macías – Resumen Crítico seminario 25 octubre 2019

Valencia, J; Villegas, A; de Moya, L. (2019). Evaluación de un proyecto de preparación

para exámenes: el caso de ruta a la excelencia en el distrito de Barranquilla.
La investigación presentada centra su análisis en la estimación del efecto causal que tiene el
programa de fortalecimiento de las competencias básicas Tu Ruta a la Excelencia, en los
resultados de las pruebas Saber 11 de los estudiantes que hacen parte de establecimientos
educativos oficiales en el distrito de Barranquilla. Además, se busca realizar un análisis
costo-efectividad del programa. El programa fue implementado en el 2017, por medio de la
Secretaria Distrital de Educación de Barranquilla, y tenía por objetivo incrementar el
desarrollo de habilidades y competencias básicas (matemáticas, comunicativas, científicas,
sociales y ciudadanas, e inglés) en los estudiantes de grado 11 que estaban matriculados en
colegios oficiales del distrito de Barranquilla
En primer lugar, este estudio puede ser una oportunidad para encontrar resultados objetivos
sobre la efectividad de los programas y políticas públicas, además, aporta a conocimientos a
un área de investigación donde los resultados no son concluyentes. La metodología para
llevar a cabo el estudio se divide en cuatro partes; en un primer momento se utiliza un probit
univariado para determinar las características que explicaban que los estudiantes asistieran a
las clases de preparación dadas en el proyecto teniendo como punto de referencia el estrato
social, pero un problema de este tipo de estimación con modelos probit puede tener un
problema al momento de la clasificación, resultaría más efectivo calcular la probabilidad
marginal teniendo un promedio de asistencia que calculando el efecto con respecto a un
estrato de referencia para generar independencia de las clasificaciones;
Luego se realizaron dos estimaciones por mínimos cuadrados ordinarios (MCO), con el fin
de comparar el efecto de asistir y no asistir a las clases de preparación sobre el puntaje de la
prueba, sin embargo, una debilidad que tiene este punto de la investigación es que no toma
en cuenta todas las variables necesarias para conocer el efecto verdadero, con cual se hizo
una segunda estimación considerando los porcentajes de asistencia a las clases, que puede
reducir el efecto de las variables no observadas. Otro problema tiene que ver con la
información, y es que sobre aquellos colegios que no hacen parte del programa no se conoce
si estos realizaron su propia preparación a los estudiantes.
También se utilizó el Propensity Score Matching (PSM) para comparar el resultado de cada
beneficiario del programa con el de un estudiante con una probabilidad estimada de asistencia
similar, pero que difiere en no haber participado en el programa. Y una metodología de Costo
Efectividad con un enfoque de costo de ingredientes para calcular los costos con el que se
pretendía calcular el costo de aumentar en una unidad la eficiencia del programa.
Dentro de lo previsible se observa que el programa tuvo efectos positivos en el desempeño
de los estudiantes que asistieron sobre el puntaje que obtuvieron en la prueba saber, que dicho
efecto se ampliaba a medida que el estudiantes tenía una mayor asistencia al mismo, y que
los resultados eran mayores con respecto al grupo de estudiantes que no fueron beneficiarios
del programa, sin embargo, aún queda pendiente determinar si realmente el efecto sobre el
puntaje está directamente ligado a la formulación del mismo, o si por el contrario también
obedece a otras variables no observadas (como por ejemplo el efecto de los incentivos de las
becas ser pilo paga, que estuvieron vigentes en el periodo observado).