INTRODUCCIN

Un Buen Comienzo (UBC) es un programa de desarrollo profesional docente para educadoras y

tcnicos de prvulos que busca mejorar el desarrollo de los nios vulnerables que asisten a la
educacin preescolar en cuatro mbitos: lenguaje y socioemocional, salud y trabajo con familia.
UBC comenz a implementarse en 2008 como un programa de intervencin cuyo impacto fue
evaluado a partir de un diseo experimental (randomized controlled trial). Durante esa etapa, el
diseo impidi realizar cambios a la intervencin para no alterar el experimento y sesgar las
estimaciones de resultados. La implementacin fue realizada en 32 escuelas de intervencin durante
dos aos, y se evalu a igual nmero de establecimientos como contrafactual. La implementacin se
hizo por cohortes partiendo en 2008 y finalizando en 2011, con la participacin de seis comunas de la
Regin Metropolitana, y alcanz a alrededor de 2000 nios de prekinder y knder. Los resultados de
esta experiencia muestran un impacto moderado y decreciente con el tiempo en la calidad de las
interacciones pedaggicas, y ausencia de impacto significativo en los aprendizajes de los nios. A
continuacin, en los siguientes grficos, se muestran el impacto en interacciones pedaggicas (Error!
No se encuentra el origen de la referencia.), el impacto en el desarrollo del lenguaje (Error! No se
encuentra el origen de la referencia.) y en desarrollo socioemocional (Error! No se encuentra el
origen de la referencia.), luego de dos aos de intervencin.
1

0.376*

0.432*

0,8

0,8

0,6

0,6

0,4
0.056

0.113

1
1

0,2
0

0,079

0,4
0,09

0,2
0
-0,2

-0,2

-0,4

-0,4

-0,6

-0,6

-0,8

-0,8

0,5

-0,07
Vocabulario

-0,03
Escritura
emergente

-0,06

-0,1
Habilidades
matemticas
emergentes

-1

-1

GGrfico 2: Impacto en desarrollo del lenguaje, luego de

Grfico 1: Impacto en Interacciones, luego de 22 aos

0,161

0
Comportamiento
pro-social
-0,5

Atencin, control
de impulsos y
reduccin de
comportamiento
agresivo

-1

Grfico

3:

Impacto

en

desarrollo

socioemocional, luego de 2 aos de

intervencin.

aos de intervencin
Significancia estadstica: ~ = .10, * = 0.05, ** = 0.01, *** = 0.001

Los resultados de este experimento estn determinados por el ausentismo de los nios, quienes en
promedio no asisten a clases el 22.7% de los das escolares. Al estudiar los resultados segn el quintil
de ausentismo, los resultados del primer quintil (con menos ausentismo) muestran resultados
positivos y significativos de UBC en identificacin de letras y palabras y escritura emergente (Arbour,
et al. 2013).
La reflexin a partir de los resultados del experimento llevo a ajustar el modelo inicial para promover
la sustentabilidad y escalabilidad a la intervencin. As, se dise e implement una segunda versin
del programa, adoptando la metodologa de mejora continua y potenciando el trabajo con los
equipos directivos. El modelo de mejora continua se implement por primera vez el ao 2011 en la
Sexta Regin de Chile, en las comunas de Rancagua, Codegua y Chimbarongo. El siguiente trabajo
describe el diseo y los resultados de esta versin del programa.
EL MODELO DE MEJORA CONTINUA
La Mejora Continua en UBC tiene dos pilares principales: la colaboracin entre distintos actores, y el
proceso de mejoramiento cclico en base a la recoleccin y trabajo con evidencia emprica. El primer
pilar se basa en la propuesta del Institute for Healthcare Improvement (IHI), y el segundo, en el
modelo Datawise, desarrollado por la Escuela de Graduados en Educacin de la Universidad de
Harvard. A continuacin se describen brevemente ambos pilares.
El modelo de IHI.
El modelo de IHI se basa en la generacin de instancias colaborativas y una metodologa para la
mejora. Las instancias colaborativas se entienden como una estructura para el aprendizaje en la que
participan diversas entidades que comparten sus experiencias, logros y dificultades para lograr
objetivos comunes. En el caso de Un Buen Comienzo, se convoc al trabajo colaborativo a las
escuelas participantes del proyecto, autoridades del nivel local y central, y expertos en las temticas.
La colaboracin contempla un primer momento donde los expertos definen los temas centrales de
trabajo (en este caso, los cuatro ejes centrales del programa), luego se define la carta de navegacin
o Charter, en la que se define los objetivos del programa, y los conductores tanto primarios como
secundarios que orientan las acciones del proyecto que permitirn alcanzar esos objetivos. Esta carta
2

de navegacin resume lo que se espera realizar con la iniciativa de mejoramiento, y responde a las
tres preguntas bsicas del modelo: Qu intentamos realizar?; Cmo sabremos que un cambio es
una mejora? , Qu cambios nos llevarn hacia el mejoramiento?
Adems, el modelo de colaboracin est compuesto por una serie de sesiones de aprendizaje con
perodos de accin entre cada una. En ellas, participan los equipos que lideran el proceso de mejora
en cada escuela quienes, a travs de presentaciones plenarias, pequeas discusiones de grupo y
reuniones de equipo, tienen la oportunidad de: dar a conocer la carta de navegacin (primera
sesin); conocer los resultados de las pruebas en terreno; recopilar nueva informacin sobre el tema
y la mejora de procesos de los colegas y expertos; compartir informacin con otras escuelas;
desarrollar planes de mejora detallados para su organizacin.
Los perodos de accin entre sesiones de aprendizaje son parte fundamental del programa. Durante
stos, los equipos trabajan en sus respectivas salas de clase, realizando pruebas de cambio y
recogiendo datos para evaluar si ha habido mejora. De ac se desprende el segundo componente
clave del modelo IHI: las pruebas de cambio y el ciclo de mejora PHEA (Planificar-Hacer-EstudiarActuar).
Para desarrollar su trabajo, los equipos utilizan el ciclo de mejora PHEA (Planificar-Hacer-EstudiarActuar) desarrollado por Associates in Process Improvement (Langley et al. 2009). Este ciclo se
caracteriza por trabajar con objetivos especficos, medibles a travs del tiempo y por definir cambios
claros que resultarn en la mejora esperada. Por ltimo, estos deben ser evaluados a travs de una
serie de pruebas de cambio, que permiten a los equipos aprender a aplicar una idea de cambio en sus
propias salas (IHI 2003, Langley et al. 2009).
Los equipos de sala llevan a cabo estas pruebas de cambio se llevan a cabo de manera cclica con la
siguiente secuencia: a) planifican la prueba de cambio, tomando en cuenta las caractersticas
culturales y organizacionales propias; b) monitorean el proceso con mediciones y estudian los
resultados para determinar cmo es posible mejorar; c) en base a lo aprendido actan para
implementar los cambios de manera permanente o ajustar la intervencin. Este proceso contina
refinando los cambios en cada nuevo ciclo.

El Modelo Datawise.
Datawise es un modelo que permite organizar el trabajo de mejora educativa, mediante la toma de
decisiones basada en evidencia. Consta de tres grandes fases, cada una con sus pasos ms especficos
y abordables:
1) Preparacin: la comunidad debe prepararse para el trabajo con datos.
2) Indagacin: se recolectan datos de la escuela, y se destaca la necesidad de analizarlos de
manera profunda para detectar y enfrentar los posibles problemas. El anlisis debe ir ms all
de una primera impresin que califique a los resultados de positivos o negativos. Es
indispensable que los equipos busquen comprender los mecanismos subyacentes a los
resultados. Para esto, es necesario el involucramiento activo de los docentes y equipos
directivos, la utilizacin constante de observaciones de aula, y el anlisis de los trabajos y
tareas de los nios. En otras palabras, se trata del anlisis conjunto de la comunidad de todos
los datos que entreguen pistas para entender los resultados obtenidos.
3) Actuar: en ella se desarrolla un plan de mejora, se planifica cmo se evaluar ese plan, para
luego actuar y volver a evaluar.
METODOLOGA
Mtodo.
La intervencin de la mejora continua (ms adaptable a los contextos, aunque con mayor prescripcin
en la dosis y exigencia en la implementacin) y la forma de seleccin de las escuelas (ausencia de
aleatorizacin), impiden evaluar el impacto de UBC en versin mejora continua a travs de un diseo
experimental, como en la primera versin del programa.
Dado lo anterior, el contrafactual se construy a partir de las salas del grupo de control de la primera
versin, todas ubicadas en la Regin Metropolitana, por lo que fue necesario implementar una
estrategia de pareo (matching). Especficamente se us la estimacin de ponderadores por
probabilidad inversa (inverse probability weighted estimators) (Imbens & Wooldridge, 2008), tcnica

que pondera cada caso por su probabilidad de participacin en el programa1. Los ponderadores se
utilizan al estimar los resultados mediante un modelo de regresin por mnimos cuadrados
ordinarios, con errores estndares robustos (Khandker, Koolwal & Samad, 2010), para dar cuenta de
que los nios en una misma escuela no son independientes entre s.
Muestra, unidad de anlisis y variables de inters

Muestra

La tabla 1 resume la informacin de la muestra y las variables de inters utilizada en el estudio.

N muestral
Comunas

Variables de inters

Variables de Contexto

Grupo de intervencin

Grupo de control

361 nios, 27 salas, 26 escuelas

Rancagua,
Chimbarongo,
Codegua (VI REGIN)

843 nios, 38 salas, 27 escuelas

Cohorte 1: Pealoln
Cohorte 2: Maip y Lo Prado
Cohorte 3: Estacin Central,
Pudahuel y San Ramn.
(REGIN METROPOLITANA)
Variables de sala.

Variables resultado nivel nio

Previsin de Salud (Dummy set)

Vocabulario sobre dibujos (WM)

Apoyo emocional CLASS

Situacin laboral de la madre

Id. letras y palabras (WM)

Organizacin de la sala CLASS.

Madre ha estado en la sala o no

Dictado (WM)

Apoyo Pedaggico CLASS.

Educ. de la madre (Dummy set)

Comprensin de textos (WM)

Comportamiento externalizante
Comportamiento pro-social
Atencin

Tabla 1: Resumen de la muestra y las variables de inters del estudio.

Para medir los resultados en desarrollo del lenguaje, se utiliz la batera Woodcock- Muoz
(Woodcock, Muoz, Ruef & Alvarado, 2005). A su vez, para medir desarrollo socioemocional, se
dise un cuestionario socioemocional para ser contestado por la educadora de cada nio
(Yoshikawa et al, 2012).
Los datos de interacciones de aula fueron recogidos a partir del instrumento CLASS (Pre-K), The
Classroom Assessment Scoring System (Pianta, La Paro & Hamre, 2008). Este instrumento consiste en
una rbrica que califica con puntajes de 1 a 7, interacciones pedaggicas entre el educador y los
estudiantes a partir de tres grandes dominios: Apoyo Emocional, Organizacin de la Sala y Apoyo
Pedaggico.
1

Por razones de espacio, se omitirn de esta propuesta todas las frmulas, tanto de los ponderadores como del
modelo de regresin utilizado, pero sern expuestos el da de la presentacin en caso de ser necesario.

Los datos de variables de contexto fueron recogidos a travs de un Cuestionario para padres y
apoderados, diseado especficamente para la evaluacin de impacto de la primera versin de Un
Buen Comienzo (Yoshikawa et al., 2012), y luego adaptado para la versin de Mejora Continua. Todas
las variables se detallan en la Tabla 1.
RESULTADOS
A continuacin se presentan los tres tipos de resultados obtenidos: calidad de interacciones
pedaggicas, desarrollo del lenguaje y desarrollo socioemocional.
Resultados en la calidad de las interacciones de aula.
Luego de dos aos de intervencin, el programa logra impactos de gran tamao en los tres dominios
de CLASS, alcanzando impactos promedio de una desviacin estndar (grfico4). Vale la pena
remarcar los importantes avances logrados por el modelo de mejora continua en trminos de
interacciones pedaggicas, ya que esto da cuenta de que un modelo menos prescriptivo y ms coresponsable es ms efectivo en mejorar las prcticas.
2,00
1,50

1,00

1,00
1,06**

1,12**

0,50

0,98**

1,00

0,43**

0,50

0,28~

0,00
-1,00

-0,17

-0,12

-0,50

0,50
-0,50

0,00

0,38 *
0,11

0,00
Apoyo Organizacin
Apoyo
Emocional
del Aula Pedaggico

-0,22

-1,00

-0,50

-1,50
-2,00

Grfico 4. Calidad de las interacciones de

aula despus de dos aos de
intervencin. Elaboracin propia.

-1,00

Grficos 5. Resultados en Desarrollo

socioemocional despus de dos aos de
intervencin. Elaboracin propia.

Grficos 6. Resultados en Desarrollo del

Lenguaje despus de dos aos de
intervencin. Elaboracin propia.

Significancia estadstica: ~ = .10, * = 0.05, ** = 0.01, *** = 0.001

Resultados en el desarrollo de los nios: Lenguaje y Socioemocional.

Los resultados expuestos controlan por la lnea de base y los puntajes de base de CLASS de los tres
dominios de inters (Apoyo emocional, Organizacin del aula y Apoyo Pedaggico). En el grfico 6 se
observa que el programa tuvo impacto positivo en la dimensin de Identificacin de Letras y
Palabras, no as en las otras tres dimensiones evaluadas. Incluso, en Escritura emergente y
Comprensin se encuentra un efecto contrario al esperado, aunque no es estadsticamente
6

significativo. Los resultados estandarizados muestran que el avance en la dimensin mencionada es

de 0,38 desviaciones estndar, mientras que los otros efectos, no significativos, no alcanzan a superar
el 18% de una desviacin estndar.
Los resultados del grfico 5 muestran que en general el programa fue ms efectivo en el desarrollo
socioemocional de los nios, particularmente en las dimensiones de Comportamiento pro-social
(0,43 desviaciones estndar) y Atencin (0,28 desviaciones estndar).En el caso de Atencin, los
resultados deben verse con ms mesura, ya que al controlar por las variables de interacciones de
aula, el efecto slo es significativo al 10%.
CONCLUSIONES Y DISCUSIN

Los resultados muestran que la versin de Mejora Continua de UBC tuvo grandes impactos en la
calidad de la enseanza de las educadoras en todos los dominios: emocional, organizacional y
pedaggico. Pero esto no necesariamente se traspas de igual manera a los resultados de
aprendizajes de los nios/as.
En el caso del desarrollo socioemocional, se encuentra impacto positivo y significativo en
comportamiento pro-social y atencin. Esto quiere decir que al finalizar knder, los nios
participantes del programa tienden a interactuar ms frecuentemente de manera positiva con otros
nios/as, cooperar en las actividades y juegos y ayudar al resto de sus compaeros. As tambin, son
ms capaces de seguir atentamente indicaciones y concentrarse en las actividades de la escuela.
En el caso del desarrollo del lenguaje, los resultados se encuentran en la direccin correcta, pero no
estn en todas las reas. Solo en identificacin de letras y palabras se encuentra un efecto
significativo y robusto atribuible al programa, no as en vocabulario, comprensin de textos y
escritura emergente. Sin embargo, an es necesario realizar estudios de moderacin de los efectos
segn el nivel de asistencia de los estudiantes.
Algunas posibles explicaciones para estos resultados son, en primer lugar, metodolgicas. En el caso
de comprensin de textos, la prueba utilizada mide comprensin de textos y no comprensin oral,
que es en lo que se centra fundamentalmente el programa, de acuerdo a la edad de los nios/as.
Tambin existen explicaciones y sugerencias respecto de la propia intervencin. Por un lado, es
7

necesario aumentar la dosis de la enseanza de vocabulario, la cual debe ser constante y en diversos
contextos, no solo en la actividad especfica de vocabulario. Por otro, es necesario fijar la atencin en
la relacin entre desarrollo del lenguaje y desarrollo socioemocional y cognitivo. Los resultados
mostraron avances en el comportamiento pro-social y atencin, pero no necesariamente en las
funciones cognitivas y ejecutivas de base del lenguaje, como la memoria trabajo, flexibilidad
cognitiva, etc. Es posible que este sea el primer paso por donde se deba partir, para tener efectos en
las habilidades de lenguaje ms complejas, como la comprensin.
Ahora bien, Qu aprendemos sobre los modelos de desarrollo profesional docente a partir de estos
resultados? En primer lugar, es necesario considerar los bajos niveles de apoyo pedaggico con que
parten las educadoras de prvulos. Si bien los resultados mostraron un avance significativo del grupo
UBC en comparacin al grupo de control, ambos se encuentran en niveles bajos de calidad, lo que
puede explicar que los resultados de los nios/as no sean los esperados. Este es uno de los desafos
ms importantes para los programas de desarrollo profesional docente y que deben ser considerados
a la hora del diseo e implementacin de polticas en este mbito.
En segundo lugar, si bien ambos modelos mostraron algn resultado positivo, el modelo de Mejora
Continua fue considerablemente ms efectivo que la primera versin. Una propuesta como esta,
donde las educadoras se responsabilizan de elegir estrategias y probar cambios dentro de un marco
estructurado como lo es la toma de decisiones basada en evidencia, es mucho ms atractiva y
motivante para el cuerpo docente. En otras palabras, la apuesta por un programa que genera
capacidades en sus docentes, ms que instaurar propuestas a prueba de ellos, puede llevar a
mejores resultados.
Por todo esto, al momento de elegir modelos de mejoramiento profesional docente, es necesario
preguntarse qu tipo de sistema escolar queremos como sociedad, uno que d resultados en el corto
plazo, pero con la constante amenaza de su poca sustentabilidad en el tiempo; o uno con resultados
sustentables, que requiere ms trabajo para su instauracin, pero que permite formar profesionales
que son capaces de tomar sus propias decisiones pedaggicas, a los cuales la sociedad puede confiar
a sus estudiantes.

REFERENCIAS
Arbour, M.C., et al. (2013). Testing for moderation of impact of the UB preschool intervention by
student absenteeism. Unpublished manuscript. Harvard University.
Imbens, G. M., & Wooldridge, J. M. (2008). Recent developments in the econometrics of program
evaluation (No. w14251). National Bureau of Economic Research.
Khandker, S. R., Koolwal, G. B., & Samad, H. A. (2010). Handbook on impact evaluation:
quantitative methods and practices. World Bank Publications.
Pianta, R. C., La Paro, K. M., & Hamre, B. K. (2008). The Classroom Assessment Manual, pre-K.
Baltimore, MD: Brookes
Woodcock, R. W., Muoz-Sandoval, A. F., Ruef, M., & Alvarado, C. G. (2005). Woodcock Muoz
Language Survey Revised. Itasca, IL: Riverside Publishing.
Yoshikawa et al. (2012). Un Buen Comienzo: Post-test Impact report of an Iniciative to Improve the
Quality of Preschool Education in Chile. Harvard Graduate School Of Education and Centro de
Polticas Comparadas de Educacin, Internal Draft.