INSTITUTO PEDAGGICO DE POSGRADO DE SONORA

A la vanguardia educativa en Mxico

EVAUACIN Y CERIFICACIN DE LA CALIDAD EDUCATIVA

PROPUESTA Y EXPERIENCIAS PARA DESARROLLAR UN SISTEMA NACIONAL DE INDICADORES EDUCATIVOS

Equipo # 3

Hernndez Torres Jess Fernando Osuna Valenzuela Karina Imelda

Planeacin y diseo de un Sistema Nacional de Indicadores Educativos de Mxico

Antecedentes y justificacin para desarrollar el Sistema Nacional de Indicadores Educativos

Desde la constitucin de la Secretara de Educacin Pblica (SEP) en 1921, con el impulso de Jos Vasconcelos, comenzaron a recogerse datos sobre diversos aspectos del sistema educativo. Es posible que los antecedentes ms lejanos del famoso formato 911 se remonten personalmente al primer titular de la SEP.

A lo largo de medio siglo se recogieron estadsticas educativas con desigual calidad y regularidad, como ocurri tambin con la informacin demogrfica, econmica y otras.
En la dcada de 1970 se revisaron los sistemas de estadsticas educativas, que adquirieron la forma que presentan en la actualidad.

La importancia de contar con buenos sistemas de evaluacin, y en particular de indicadores educativos, como herramientas para dar sustento slido a las decisiones de poltica educativa es reconocida generalmente. (SEP, 2001),

El objetivo particular 5 de la segunda parte del PNE estableci:

Fortalecer el funcionamiento del Sistema Educativo Nacional mediante la consolidacin del sistema de evaluacin, el fomento a la investigacin y la innovacin educativa, renovados sistemas de informacin e indicadores, nuevas concepciones de gestin integral y mejores mecanismos de acreditacin, incorporacin y revalidacin.

Lneas de accin:
Redisear los indicadores del Sistema Educativo Nacional tomando en consideracin, por una parte, el Sistema Nacional de Indicadores de la Presidencia de la Repblica y, por otra, las nuevas realidades que enfrenta la educacin y las necesidades de una gestin integral.

Promover la construccin colectiva de indicadores que permitan medir los nuevos planteamientos de poltica educativa, sin menoscabo de los indicadores vigentes, que son producto de una construccin histrica y cuya continuidad permite valorar la evolucin del sistema.

 Concebir el nuevo sistema de indicadores educativos como el elemento que articular e integrar los resultados del aprendizaje de los alumnos con los de la gestin de escuelas, subsistemas y el sistema educativo mismo, de manera que haya disponibilidad permanente de informacin relevante para la toma de decisiones en los diferentes niveles de gestin.

El PNE estableci una meta, contemplada para 2002: renovar el Sistema Nacional de Indicadores Educativos, mediante una accin conjunta de las instancias respectivas de la SEP y el nuevo Instituto Nacional para la Evaluacin de la Educacin.

Las fases de trabajo

Se pueden apreciar cuatro fases en el trabajo de elaboracin de la propuesta del plan de Desarrollo del SININDE llevada a cabo por la DGPP y la DIE entre 2005 y 2006. La primera comprende el primer semestre de 2005; la segunda desde los ltimos meses de ese ao hasta los primeros tres del siguiente, y las otras dos fases, respectivamente, abarcaron el segundo trimestre y el resto de 2006.

Primera fase: homologacin y estandarizacin de metodologas

Se empezaran a reportar indicadores semejantes, calculados, aparentemente, con la misma informacin pero que arrojaban cifras distintas. En 2005, coincidentemente el ao en que la reestructuracin de la SEP da lugar a la UPEPE, se abri ms la colaboracin y se empezaron a dar los pasos primordiales para un intercambio tcnico relacionado con tres aspectos fundamentales

El tratamiento de la informacin, el establecimiento de las limitaciones de la estadstica educativa derivada de los registros captados con el formato 911 y la elaboracin de un listado comn de indicadores en pos de la estandarizacin.

Segunda fase: primeros resultados conjuntos, SEP-INEE, y trabajos preparatorios para desarrollar el sistema de indicadores

Los resultados de la primera fase fueron cruciales para el establecimiento de un intercambio tcnico y una interaccin que permiti tanto la discusin de los avances de cada institucin como la bsqueda de consensos metodolgicos en temas comunes.

En este periodo se dan dos procesos paralelos: por un lado uno donde se cristalizan los acuerdos alcanzados previamente, exponindolos a usuarios potenciales, y por el otro se inicia la promocin, consulta y convocatoria para la formulacin de un plan para desarrollar un sistema de indicadores.

Parte de los resultados del primer proceso dieron lugar a una publicacin conjunta acerca de indicadores bsicos que se describir posteriormente (SEP e INEE, 2006).

Tercera fase: elaboracin de las fichas tcnicas y de la estrategia para desarrollar la fase de jueceo

Durante el segundo trimestre de 2006 los cuerpos tcnicos de la DGPP y la DIE se dedicaron tanto a elaborar las fichas tcnicas de los indicadores como al diseo de una versin operativa de la fase de jueceo posterior.

A) Elaboracin de fichas tcnicas. A partir del listado original, se procedi a construir la ficha tcnica correspondiente a cada uno de los indicadores propuestos; ms de 240. Econmicamente, se convino entre la DGPP y la DIE aprovechar los avances del INEE en el diseo de las fichas, basndose en el que presentaban los indicadores de la publicacin Panorama Educativo de Mxico

El diseo de la ficha obedeci al doble propsito de que fuera informativa, a la vez que sirviera como instrumento para recoger las opiniones de los especialistas sobre las caractersticas tcnicas y prcticas de cada indicador.

B) Definicin del plan para someter a jueceo la plataforma de indicadores. El objetivo del proceso era propiciar acercamientos graduales sucesivos entre las diversas opiniones sobre los indicadores, de modo que al final existiera el mximo posible de convergencia entre los jueces.

Cuarta fase: proceso de jueceo y publicacin de la propuesta para el desarrollo ulterior del SININDE Los trabajos realizados por la DGPP y la DIE durante la tercera fase fueron la base sobre la cual se realizaron las actividades siguientes: Durante la reunin se expusieron los detalles de la propuesta metodolgica de jueceo. Al final de la reunin se fincaron acuerdos.

La propuesta de este plan de desarrollo bosqueja la misin del SININDE, la cual orienta su actuar en un horizonte temporal de ocho aos y determina su estructura. En l se enmarca un esquema de organizacin y se establecen las responsabilidades de las instancias que lo componen.

Elementos para la formulacin de un Sistema Nacional de Indicadores Educativos

Misin del Sistema Nacional de Indicadores Educativos

apoyar la evaluacin de la calidad de la educacin para alimentar la planeacin y la toma de decisiones en busca de su mejora. Integrar en forma coherente y sistmica indicadores vlidos de los factores del contexto social y cultural que favorecen o condicionan la educacin, junto con aqullos de los resultados educativos, los procesos escolares y la gestin en aulas y escuelas, as como con los de la suficiencia e idoneidad de los recursos, tanto para el sistema educativo en su conjunto como para sus subsistemas.

FINALIDAD DEL SININDE

Brindar elementos para la valoracin justa de la calidad del sistema educativo en forma oportuna, facilitando su interpretacin y lectura.

Esquema organizativo
EJE Primer DESCRICIN Se refiere a los niveles de evaluacin: alumnos, entornos del aprendizaje (aulas), proveedores de los servicios (escuelas) y los subsistemas o el sistema educativo en su conjunto.

Segundo Est constituido por los componentes sistmicos, los cuales agrupan a los indicadores de acuerdo con el modelo de evaluacin conocido como Contexto-Insumos-Procesos-Productos; cabe hacer notar que la mayora de los sistemas de indicadores educativos se estructuran de acuerdo con este modelo (Robles et al., 2004 y Hernndez et al., 2006). Tercer Est constituido por los componentes sistmicos, los cuales agrupan a los indicadores de acuerdo con el modelo de evaluacin conocido como Contexto-Insumos-Procesos-Productos; cabe hacer notar que la mayora de los sistemas de indicadores educativos se estructuran de acuerdo con este modelo (Robles et al., 2004 y Hernndez et al., 2006). Se compone tanto de los distintos tipos y niveles educativos del sistema escolarizado como de las principales modalidades no escolarizadas. Tres de estos ejes organizativos se muestran en el siguiente cuadro.

Cuarto

Componentes sistmicos y ejes transversales de evaluacin por tipos, niveles y modalidades

Esquema organizativo del Sistema Nacional de Indicadores Educativos

Segn las dimensiones de calidad, se entiende que una educacin de calidad es aquella que:
establece un currculo adecuado a las necesidades individuales de los alumnos (pertinencia) y a las necesidades de la sociedad (relevancia); logra que la ms alta proporcin de destinatarios acceda a la escuela, permanezca en ella hasta el final del trayecto y egrese en los tiempos previstos (eficacia interna), habiendo alcanzado los objetivos de aprendizaje establecidos en el currculo (eficacia externa); consigue que los aprendizajes sean asimilados en forma duradera y se traduzcan en comportamientos sustentados en valores individuales y sociales (impacto); cuenta con recursos humanos y materiales necesarios (suficiencia) y los usa de la mejor manera posible evitando derroches y gastos innecesarios (eficiencia); tiene en cuenta la desigual situacin de alumnos y familias, comunidades y escuelas y ofrece apoyos especiales a quienes lo requieren, para que los objetivos educativos sean alcanzados por el mayor nmero posible de estudiantes (equidad).

Dimensiones de la calidad educativa

Subgrupos de indicadores segn componente sistmico y tipos educativos escolarizados y no escolarizados

Catlogo de indicadores aprobados del Sininde para educacin bsica

Metas anuales y de mediano plazo del Sistema Nacional de Indicadores Educativos 2014
El Sistema de Indicadores Educativos de Mxico estar plenamente desarrollado y continuar siendo un referente importante para la toma de decisiones y la rendicin de cuentas a nivel nacional y estatal. Existirn mecanismos fortalecidos de colaboracin entre las instancias federales de evaluacin y planeacin para la construccin y mantenimiento del Sistema Nacional de Indicadores Educativos. Los sistemas de indicadores en las entidades federativas se habrn beneficiado con la experiencia compartida y colegiada promovida por el INEE y la SEP. Estar en operacin un banco consolidado de bases de datos que integre los resultados de los trabajos de evaluacin del INEE y de otras instancias, para la consulta de investigadores y otros pblicos interesados. Los comits de trabajo estarn realizando aportes conceptuales en los comits internacionales y nacionales, donde participen para el desarrollo de indicadores educativos o de las estadsticas educativas.

Se contar con un programa de investigacin con lneas y proyectos claramente definidos. Se estarn elaborando informes y estudios que den cuenta de las tendencias de cambio en la calidad de la educacin en Mxico en el mediano plazo. Se habrn desarrollado estudios para la formulacin de indicadores sobre las distintas dimensiones de la calidad. Se habrn establecido enlaces permanentes con las instituciones responsables en todos los niveles y en todas sus modalidades educativas, logrando la participacin activa de las mismas en los levantamientos de datos. Se habrn documentado los procedimientos seguidos en la sistematizacin y el procesamiento de datos. Se contar con procedimientos, registros e indicadores de calidad para el levantamiento de datos certificados nacionalmente y se cumplir con los estndares que a nivel internacional se encuentren establecidos para tales procesos. Se contar con proyectos de trabajo conjuntos para el levantamiento de datos, con las instancias responsables en las entidades federativas de la educacin en todos sus niveles y distintas modalidades. Se habrn promovido la construccin de sistemas estatales de indicadores educativos.

Organigrama del Sistema Nacional de Indicadores Educativos

Marco conceptual y metodolgico

Entre los instrumentos para valorar aspectos relevantes del campo de la educacin se encuentran los sistemas de indicadores educativos cuya construccin est recibiendo recientemente una creciente atencin, pues se reconoce su utilidad para informar a las autoridades educativas acerca de cuestiones claves del funcionamiento de los sistemas educativos.

Antecedentes histricos
El sentido original de la palabra estadstica muestra que la idea de cuantificar fenmenos sociales es antigua.

Desde hace siglos se utilizan medidas burdas de ciertos aspectos de la vida pblica, pero es slo en pocas ms recientes cuando la cuantificacin se manifiesta de manera ms amplia.

En el campo educativo, el inters por el desarrollo de indicadores se ha manifestado en reiteradas ocasiones en la historia de los Estados Unidos de Amrica, en relacin con preocupaciones por la calidad de las escuelas. Segn Shavelson y colaboradores, al terminar la Guerra de Secesin la preocupacin se manifest en el Common School Movement.

Segn estos autores, la creacin del Departamento de Educacin, en 1867, se justific, entre otras razones, por la necesidad de elaborar indicadores.

El movimiento de los indicadores de los aos sesenta del siglo XX tuvo un componente educativo importante, a consecuencia del impacto que tuvo la puesta en rbita, por la Unin Sovitica, del primer satlite artificial, lo cual se interpret como sntoma del retraso de la enseanza de matemticas y ciencias en los Estados Unidos respecto a la URSS.

El principal resultado del INES es la publicacin Education at a Glance, que recoge anualmente los indicadores educativos de los pases miembros de la OCDE (2003, 2004, 2005 y 2007).

El desarrollo del sistema de indicadores educativos sigue su marcha: las ediciones anuales de Education at a Glance incluyen informacin cada vez ms rica sobre contexto, costos, recursos y procesos escolares y resultados de la educacin. Adems el programa se extendi hacia pases que no son miembros de la OCDE, con el programa World Education Indicators (WEI).

Indicadores y sistemas de indicadores

El trmino indicador es utilizado en varios sentidos no del todo coincidentes. Segn Scheerens los indicadores son estadsticas globales, de baja inferencia, definidas a un elevado nivel de agregacin (citado por Wyatt, 1994: 17).

Wyatt coincide con Oakes en que un indicador debe tener las siguientes caractersticas: Medir aspectos que se encuentren en todos los mbitos del sistema a evaluar (ubiquitous), de suerte que puedan hacerse comparaciones. Medir aspectos duraderos del sistema, de suerte que puedananalizarse tendencias y cambios en el tiempo. Ser fcilmente inteligibles para una audiencia amplia. Tener factibilidad, teniendo en cuenta el tiempo, costo y capacidad tcnica requeridos para su obtencin. Ser generalmente aceptados por sus cualidades tcnicas de validez y confiabilidad (Oakes, 1986: 1-2; Wyatt, 1994: 105).

La complejidad de los sistemas educativos y de los procesos que tienen lugar en su seno hacen que ningn indicador particular pueda ofrecer una imagen suficientemente amplia del conjunto, como para que sea til para propsitos de evaluacin.

Componentes del modelo sistmico de calidad

El modelo que propone el INEE incorpora las dimensiones de la calidad con una representacin del funcionamiento del sistema educativo, el cual tiene seis componentes: contexto, insumos y recursos, procesos, resultados, objetivos educativos y necesidades sociales que la educacin contribuye a resolver.

En resumen, el contexto describe a los usuarios y a los elementos externos al sistema educativo que favorecen u obstaculizan la educacin en el corto plazo. En el largo plazo, el contexto es modificado parcialmente por el accionar del propio sistema educativo.

Diagrama 1. Modelo sistmico de la calidad de la educacin

Marco metodolgico para el diseo de un sistema de indicadores

Primera etapa: elaboracin del listado de indicadores El modelo para evaluar la calidad de la educacin discutido con anterioridad proporciona un esquema conceptual para integrar los elementos empricos y las dimensiones de la calidad educativa. De esta manera se podr definir un verdadero sistema de indicadores que considere insumos, procesos y productos, as como recursos, objetivos educativos y necesidades del entorno o contexto.

Tabla 1. Estructura del Sistema de Indicadores Educativos del INE

El sistema de indicadores deber disearse a partir de lo que en principio se considera importante, aunque para muchos aspectos no se cuente con datos adecuados y deban realizarse despus todos los esfuerzos para contar con la informacin necesaria.

Segunda etapa: desarrollo de cada indicador

Cada indicador deber desarrollarse, precisndose al menos los siguientes puntos: Nombre: lo ms breve y claro posible. Definicin: con la mayor precisin y rigor conceptual. Explicacin: si se requiere, la definicin podr desarrollarse situando el indicador en un marco terico pertinente. De especial importancia ser precisar la ubicacin de cada indicador en el conjunto del sistema, sealando la dimensin del concepto de calidad y los elementos sistmicos a los que corresponde: relevancia, eficacia, eficiencia, etctera; entorno, necesidades, insumos, procesos o productos.

 Fuentes de obtencin de la informacin de base. Frmula de clculo y, en su caso, criterios para su estimacin. Desagregaciones posibles (vgr. por gnero, entidad, modalidad de escuela, etctera). Elementos para la Interpretacin de los resultados. Referentes que pueden ser estndares normativos, relativos (ptimos, mnimos o medios) o informacin para determinar lnea de base para el seguimiento de la evolucin del indicador.

Tercera etapa: jueceo inicial

Cada indicador parece satisfacer los criterios de calidad aplicables, los cuales son, al menos, los siguientes: Validez, como cualidad tcnica bsica. Sin llegar a distinciones finas sobre tipos o fuentes de validez, se entender de manera general como la propiedad del indicador que consiste en medir realmente lo que se pretende que sea medido. Confiabilidad, la otra cualidad tcnica esencial, consistente en que el indicador se defina conceptual y operacionalmente de forma tal que la informacin obtenida sea consistente a lo largo de las sucesivas aplicaciones del sistema. Comparabilidad, si el indicador puede aplicarse en contextos (educativos) diferentes, en forma tal que permita comparaciones significativas. Estabilidad temporal, de modo similar, si el indicador permitecomparaciones significativas a lo largo del tiempo.

 Actualidad de la informacin ofrecida por el indicador (freshness). Uno que no pueda ofrecer informacin razonablemente reciente no tiene mucho valor. Sensibilidad, que se dar si valores distintos de un indicador se asocian en forma consistente a diferencias significativas de los sistemas educativos. Factibilidad de implementacin del indicador, en el sentido de que la informacin necesaria para construirlo pueda obtenerse. Cuando esa informacin no est disponible deber valorarse la importancia del indicador en relacin con el costo que implicar desarrollarlo.

 Importancia, en el sentido de que el indicador se refiera a un elemento del sistema educativo, el cual tenga peso significativo en relacin con alguna dimensin de la calidad. Utilidad, como el grado en que el indicador se refiera a un aspecto donde las decisiones tomadas por los responsables puedan impactar de manera significativa. Claridad, en el sentido de que la manera como se presente la informacin deber facilitar una adecuada interpretacin por parte de los usuarios.

Cuarta etapa: prueba piloto o primera aplicacin

Podr tambin valorarse en qu medida la informacin arrojada por el sistema es interpretada correctamente y utilizada para sustentar acciones de mejora.

Maduracin de los sistemas de indicadores

Es importante aadir que, si se quiere que sea slido, el proceso de desarrollo de indicadores es necesariamente largo. Para asegurar la solidez, los pasos indicados en las sugerencias metodolgicas anteriores deben seguirse cuidadosamente; se debe involucrar a grupos de actores calificados, y los productos del trabajo deben revisarse y corregirse una y otra vez, antes de considerarlos bien establecidos.

Este anlisis del diseo y la aplicacin de indicadores pueden darnos ideas sobre los errores que debemos evitar y las oportunidades que podemos aprovechar.

GRACIAS POR SU ATENCIN!