Bloque 2 Metodología de la Evaluación Raquel González

Bloque 2: Definicion e
implantacion de un sistema de
indicadores de calidad

Índice
Tema 1: Calidad de la medida: Validez y fiabilidad .............................................................. 33
1. Validez .......................................................................................................................................... 33
2. Fiabilidad ..................................................................................................................................... 33

Tema 2: Definición e implantación de un sistema de indicadores de calidad ................ 35

1. Aproximaciones al Concepto de Indicador de Calidad .................................................. 35
1.1. Aproximación Metodológica: .......................................................................................... 35
1.2. Aproximación Economista ................................................................................................ 35
1.3. Aproximación Política........................................................................................................ 35
1.4. Aproximación Operativa................................................................................................... 35
2. Características de un Indicador de Calidad Educativa NO ENTRA DE MEMORIA EN
EXAMEN ............................................................................................................................................ 36
2.1. Un indicador debe: ............................................................................................................. 36
2.2. Debe informar, al menos, de uno de los siguientes aspectos: .................................. 36
2.3. Características fundamentales: ....................................................................................... 36
3. Tipologías de Indicadores ........................................................................................................ 37
3.1. Según Medición .................................................................................................................. 37
3.2. Según nivel de intervención ............................................................................................. 37
3.3. Según jerarquía ................................................................................................................... 38
3.4. Según calidad ..................................................................................................................... 38
4. Sistemas de indicadores ........................................................................................................... 39
4.1. Enfoques. .............................................................................................................................. 39

32
Bloque 2 Metodología de la Evaluación Raquel González

TEMA 1: CALIDAD DE LA MEDIDA: VALIDEZ Y FIABILIDAD

1. VALIDEZ

Medir lo que se pretende medir. Exactitud en la interpretabilidad de los resultados.

Se entiende como validez a la capacidad de un instrumento de medición para

cuantificar de forma significativa y adecuada el rasgo para cuya medición ha sido
diseñado. De esta forma, un instrumento de medida es válido en la medida en que las
evidencias empíricas legitiman la interpretación de las puntuaciones arrojadas por el
test.

Índices:

- Validez Predictiva: Regresión estadística.

- Validez Criterial: Coeficiente de determinación (Pearson 2).
- Validez de Constructo: Análisis de constructo. (Forma estadística para reducir
los ítems
- que estoy analizando).
- Validez de Contenido.
- Validez Cognitiva.

2. FIABILIDAD

Concepto de fiabilidad Procedimiento de cálculo

Estabilidad Test-retest
Equivalencia Formas-Paralelas
De las mitades (dividir el Spearman-Brown
instrumento en 2 al azar) Formas-Paralelas
Inter correlación de
Consistencia interna elementos (correlacionar Líder-Richardson
las preguntas con el resto
de los elementos del test,
más cerca de 1 mejor)
Alpha de Cronbach

La fiabilidad (o confiabilidad) es una propiedad psicométrica que hace referencia a la

ausencia de errores de medida, o lo que es lo mismo, al grado de consistencia y
estabilidad de las puntuaciones obtenidas a lo largo de sucesivos procesos de
medición con un mismo instrumento.

Índices:

- Índice de dificultad: Porcentaje de aciertos/100.

- Índice de Discriminación: Rbis.

33
Bloque 2 Metodología de la Evaluación Raquel González

- Fiabilidad (2 mitades): Alpha Cronbach.

34
Bloque 2 Metodología de la Evaluación Raquel González

TEMA 2: DEFINICIÓN E IMPLANTACIÓN DE UN SISTEMA DE INDICADORES DE

CALIDAD

1. APROXIMACIONES AL CONCEPTO DE INDICADOR DE CALIDAD

1.1. APROXIMACIÓN METODOLÓGICA:

El indicador como parte del proceso de operativización: variables, dimensiones e

indicadores.

El concepto clave es el de variable, que denota un aspecto de la realidad que se

quiere explorar que adopta valores distintos en la población que se estudia.
(Lazarsfeld)

1.2. APROXIMACIÓN ECONOMISTA

Los indicadores de calidad son una herramienta de medición que permitirán ir

haciendo el seguimiento de la calidad que se está ofreciendo al cliente, así como las
desviaciones que se puedan producir en el servicio. De esta forma, los indicadores
permitirán tomar medidas preventivas y/o correctoras para asegurar la mejora en el
tiempo.

1.3. APROXIMACIÓN POLÍTICA

Es un estadístico simple o compuesto relacionado con un constructo educativo y útil
en el contexto de las políticas públicas. debe representar numéricamente el estado en
el cual se encuentra el constructo educativo en cuestión. Permite captar de manera
inequívoca, por ejemplo, la mejoría (o deterioro) del constructo. (Shavelson,
McDonnell y Oakes (1989)).

1.4. APROXIMACIÓN OPERATIVA

Estadística sintética (summary) sobre el estado actual de un sistema educativo (Wyatt,
1994)

No se refiere a un aspecto particular de una variable más amplia, sino que, al

contrario, puede tener un carácter sintético, e integrar varios más particulares, pero
siempre con la pretensión de hacerlo cuantificable.

35
Bloque 2 Metodología de la Evaluación Raquel González

2. CARACTERÍSTICAS DE UN INDICADOR DE CALIDAD EDUCATIVA NO ENTRA DE

MEMORIA EN EXAMEN

2.1. UN INDICADOR DEBE:

✓ Medir aspectos que se encuentren en todos los ámbitos del sistema que se
evalúa (ubiquitous), de suerte que puedan hacerse comparaciones.

✓ Medir aspectos duraderos del sistema, de tal modo que puedan analizarse
tendencias y cambios en el tiempo.

✓ Ser fácilmente inteligible para una audiencia amplia.

✓ Tener factibilidad, teniendo en cuenta el tiempo, el costo y la capacidad

técnica requeridos para su obtención.

✓ Ser en general aceptado por sus cualidades técnicas de validez y confiabilidad

2.2. DEBE INFORMAR, AL MENOS, DE UNO DE LOS SIGUIENTES ASPECTOS:

✓ Logros de un sistema educativo para obtener ciertos resultados; el indicador se
liga a los objetivos, y es un referente para medir los avances (Benchmark).

✓ Características que la investigación ha mostrado se relacionan con resultados;

el indicador tiene valor predictivo, p.orque su modificación traerá consigo
otras.

✓ Rasgos centrales del sistema educativo para entender cómo funciona.

✓ Información relacionada con problemas o aspectos relevantes para la política

educativa, que permitan apoyar la toma de decisiones (Oakes, 1986).

2.3. CARACTERÍSTICAS FUNDAMENTALES:

✓ realistas: relacionados con las “dimensiones” significativas de la calidad del

proceso, producto o servicio

✓ efectistas: que se centren en el verdadero impacto de la calidad

✓ visibles: en forma de gráficos de fácil interpretación, accesibles a las personas

involucradas en las actividades medidas

✓ sensibles: a las variaciones del parámetro que se está midiendo

✓ Económicos: Sencillos a la hora de calcular y gestionar

36
Bloque 2 Metodología de la Evaluación Raquel González

3. TIPOLOGÍAS DE INDICADORES

TIPOLOGÍAS DE INDICADORES SEGÚN SEIS DIMENSIONES:

❑ El grado de procesamiento de la información: indicadores elementales,

derivados o compuestos.

❑ La comparabilidad de la información: indicadores específicos o genéricos.

❑ El alcance de la información: indicadores de programa y de contexto.

❑ Las fases del programa: de recursos; de salidas o productos inmediatos;

de resultados o productos mediatos; y de impacto, o de largo plazo.

❑ El criterio de evaluación: de relevancia, eficacia, eficiencia o desempeño.

❑ Su utilización: de monitoreo, para uso inmediato, o de evaluación, al final del

proceso.

3.1. SEGÚN MEDICIÓN

: Son una representación numérica de la realidad; su característica más

importante es que, al encontrarse valores diferentes, estos pueden ordenarse de forma
ascendente o descendente.

: es otros instrumento que permite tener en cuenta la heterogeneidad. Su

característica principal es que su resultado se refiere a una escala de cualidades.
Además, permiten evaluar, con un enfoque de planeación estratégica. Pueden
expresarse así:

- Categórico: bueno, aceptable, regular, malo, etc.

- Binarios: si, no.

3.2. SEGÚN NIVEL DE INTERVENCIÓN

Hacen referencia a la cadena lógica de intervención, es decir, a la relación entre los

insumos, los resultados y los impactos; tratan de medir en cuánto se acerca a las metas
esperadas con los insumos disponibles.

se refieren a los efectos, a mediano y largo plazo, que

pueden tener uno o más programas en el universo de atención y que repercuten en la
sociedad en su conjunto.

: se refieren a los efectos de la acción institucional y/o de

un programa sobre la sociedad.

Ejemplo: porcentaje de niños inscritos en educación primaria, porcentaje de

niños de 0 a 6 años vacunados, porcentaje de viviendas con conexión a servicio de

37
Bloque 2 Metodología de la Evaluación Raquel González

acueducto, número de habitantes beneficiados con la construcción de un nuevo

sistema de agua potable.

: se refieren a la cantidad y calidad de los bienes y servicios

que se generan mediante las actividades de una institución o de un programa.

Ejemplo: número de techos construidos en viviendas con relación al total

programado, número de tomas de agua potable por cada 1000 habitantes.

: se refieren al seguimiento de la realización de las

actividades programadas, respecto a los recursos materiales, personal y/o
presupuesto. Este tipo de indicadores describe el esfuerzo administrativo aplicado a los
insumos para obtener los bienes y servicios programados.

Ejemplo: número de alumnos por maestro en escuelas públicas, número de

desayunos distribuidos a niños en localidades rurales, tiempo de espera para atención
médica pública.

: se refiere al seguimiento de todos los recursos disponibles y

utilizados en una intervención.

Ejemplo: gasto en atención para la orientación educativa universitaria,

porcentaje de computadores disponibles para uso del programa X, variación de
recursos físicos.

- Isumo: es un concepto económico que permite nombrar a un bien que se

emplea en la producción de otros bienes. De acuerdo al contexto, puede
utilizarse como sinónimo de materia prima o factor de producción.

3.3. SEGÚN JERARQUÍA

Su función principal es medir la relación entre los

insumos y los procesos. Dentro de esta categoría, se tienen en cuenta los indicadores
administrativos y operativos, esto es, aquellos que miden el nivel o cantidad de
elementos requeridos para la obtención del producto, servicio o resultado.

: Permiten medir los temas de mayor incidencia e

impacto. Permiten hacer una evaluación de productos, efectos e impactos, es decir,
la forma, método, técnica, propuesta, solución y alternativa son elementos que
pertenecen, bajo el criterio de estrategia, a todo el sistema de seguimiento y
evaluación.

3.4. SEGÚN CALIDAD

Dan cuenta de la dinámica de actividades específicas; éstos deberán medir la
eficiencia y eficacia, de modo que permitan introducir los correctivos necesarios o los

38
Bloque 2 Metodología de la Evaluación Raquel González

cambios requeridos dentro del transcurso del proceso, ya que informan sobre áreas
críticas del mismo.

: expresan el logro de los objetivos, metas y resultados de un

plan, programa, proyecto o política.

: permiten establecer la relación de productividad en el

uso de los recursos.

: este concepto involucra la eficiencia y la eficacia, es

decir, el logro de los resultados programados en el tiempo y con los costos más
razonables posibles.

4. SISTEMAS DE INDICADORES

La complejidad de los sistemas educativos hace que ningún indicador particular

pueda ofrecer una imagen suficientemente amplia del conjunto. Por ello, es necesario
construir un sistema de indicadores teniendo en cuenta que un sistema no es la simple
acumulación o yuxtaposición de indicadores particulares, sino un conjunto articulado
de indicadores, con base en cierta estructura.

4.1. ENFOQUES.
Criterios políticos (grado en que se alcanzan metas políticas): bastará un número
relativamente pequeño de indicadores, que se definirán en función de tales metas.

Criterios Pedagógicos (Enfoque exhaustivo, deductivo y teórico): Pretende cubrir de

manera más completa los aspectos relevantes del sistema educativo para valorar su
calidad en sentido amplio. No se limita a los aspectos más relacionados con las
políticas vigentes; Requiere un número mayor de indicadores, organizados de modo
que constituyan también un verdadero sistema.

39