TEMA 4

ESTNDARES, CRITERIOS E INDICADORES PARA LA EVALUACIN

Asignatura: Evaluacin de programas de intervencin

Curso y Titulacin: 2 de Psicopedagoga

Objetivo bsico del tema:

Con el desarrollo del presente tema se pretende conseguir que el alumno pueda introducirse en la evaluacin
de diferentes programas de intervencin psicopedaggica, utilizando determinados estndares, criterios e
indicadores de evaluacin.

Otros objetivos del tema son:

Comprender el significado y la utilidad de algunos de los estndares, criterios e indicadores que regulan la
evaluacin de programas.
Elaborar criterios e indicadores de la evaluacin de programas.
Aplicar criterios, estndares e indicadores en la evaluacin de al menos un programa de intervencin
psicopedaggica.

Contenidos:

1. Criterios, estndares e indicadores. (pg, 3)

2. Algunas propuestas de criterios de evaluacin (pg. 5)

3. Formalizacin de indicadores de evaluacin (pg. 6)

4. Algunas propuestas de indicadores de evaluacin (pg. 11)

5. Utilidad de los indicadores en la evaluacin de programas (pg. 18)

Desarrollo del tema:

Se apoya en la explicacin de los conceptos ya indicados y en la presentacin de un caso prctico que requiera
la elaboracin de criterios e indicadores para la evaluacin de programas y su aplicacin a un programa
concreto.

Materiales:

Documento de desarrollo de los contenidos del tema, incluyendo ejemplos de criterios e

indicadores.

2. Programas de intervencin psicopedaggica.

1
3. Bibliografa (ver pg. 19).

Autoevaluacin:

Una vez finalizado el tema, se tratar de determinar si el alumno domina el objetivo bsico del mdulo. Para
ello, se utilizar una prueba escrita, con varias preguntas de respuesta breve. Adems el alumno completar
una prctica sobre la elaboracin y aplicacin de criterios e indicadores para la evaluacin de programas (ver
pg. 20).

criterios, estndares e indicadores

Aunque se ha comentado con anterioridad, conviene recordar de nuevo que la evaluacin de programas
requiere valorar la informacin obtenida sobre los componentes de un programa comparndola con algn
referente interno o externo de calidad, es decir, con un criterio. En alguna propuesta se ha planteado la
posibilidad de abordar la evaluacin de programas sin contar con criterios previamente establecidos
(Cronbach, 1981). La idea de una evaluacin sin criterios no supone, contra lo que la propia expresin parece
sugerir, que se establezcan valoraciones sobre un programa sin establecer elementos de comparacin; por el
contrario, plantea la posibilidad de criterios emergentes al proceso mismo de evaluacin.

Comencemos, no obstante, definiendo los trminos claves de este tema; criterio, estndar, indicador,
descriptor... Un criterio es un objetivo de calidad respecto del que puede ser valorado un programa de
intervencin psicopedaggica. Ese criterio puede establecerse en forma de normas o estndares y en forma de
criterios no estndares.

Las normas (estndares) son unidades de medicin (Dewey,1934). Las que se manejan en el sistema educativo
proceden, segn Noriega y Muoz (1996), de dos fuentes principales:

Legislativa: las disposiciones legales establecen multitud de declaraciones de expectacin obligatorias en

cuanto a su cumplimiento. Reciben el nombre especfico de normas legales.

Cuando situamos como estndar de calidad de un proyecto curricular o de un programa especial (p.e.
adaptacin curricular) la adaptacin a las caractersticas del entorno y los alumnos, simplemente nos estamos
haciendo eco de una norma legal que establece la necesidad de que el PCC u otros programas se elaboren
teniendo en cuenta las caractersticas del entorno y los alumnos.

Epistemolgica: los especialistas y profesionales en un determinado rea de las Ciencias de la Educacin

han llegado a una serie de conclusiones que sirven para elaborar las directrices con las que guiar los
procesos educativos.

Fijar normas o estndares de evaluacin requiere de un importante nivel de consenso social, para que sean
reconocidas tienen que ser aceptadas colectivamente. As, respecto del contenido del programa un criterio
estndar de calidad es la coherencia entre el programa y las bases sociopsicopedaggicas (la teora) en
que dice ampararse. Este criterio permitira, valorar la medida en que el programa se apoya en unos
fundamentos tericos slidos. En relacin con el desarrollo del programa, un criterio que cuenta con el
suficiente respaldo entre los evaluadores es el de la conformidad con la planificacin: la constatacin de un
nivel aceptable de conformidad entre planificacin y desarrollo es un trmino que permite establecer la
calidad de la aplicacin de un programa.

Los estndares admiten diferentes gradaciones, desde un mnimo exigible hasta un ptimo deseable. Esta
caracterstica permite conducir el proceso de evaluacin a travs de estndares que matizan la frecuencia o el
grado de aproximacin de la realidad evaluada. La cualificacin mtrica del estndar puede ser:

2
 Por presencia/ausencia
Por frecuencia de aparicin del mismo, como se representara en una escala del tipo Nunca....Siempre.
Por valoracin cualitativa, en escalas del tipo: Deficiente.... Excelente (Noriega y Muoz, 1996: 10).

Los criterios no estndares adoptan la forma de argumentaciones o razones en las que se fundamentan las
valoraciones sobre los componentes de un programa. En relacin con el Proyecto Curricular de Centro,
ejemplos de criterios de evaluacin seran: Atender las necesidades de los alumnos mediante la orientacin y
regulacin de los procesos de enseanza y aprendizaje; Difundir los criterios y procedimientos de evaluacin
para democratizar su aplicacin; Establecer medidas de atencin a la diversidad para regular el esfuerzo
educativo de los alumnos, etc. Por supuesto, que establecer criterios no estandarizados requiere previamente
de un acuerdo intersubjetivo.

La valoracin de la ratio de egresados matriculados o el nmero de alumnos por aula pueden considerarse
como criterios con referencia a normas standar cuando se utilizan en relacin con la media global, mientras
que el tipo de metodologa docente o el sistema utilizado en la evaluacin de los alumnos constituyen
criterios cuyas normas no son estndar y por tanto reclaman previamente un consenso intersubjetivo para
que cada observador pueda leer el mismo valor a partir de los datos que ofrece un instrumento o indicador.
De lo contrario, lo que para unas personas son criterios de calidad para otras simplemente son datos(De
Miguel, 1991:xxxii).

Aplicar este tipo de criterios exige familiaridad con lo que representan los juicios y valoraciones, habilidad
para proveerse de razones que justifiquen esos juicios y, por supuesto, entender porqu unos criterios y no
otros resultan relevantes para juzgar el programa que se evala. Entonces, como seala Eisner (1993), aplicar
criterios no estandarizados es una empresa intelectualmente mucho ms compleja que aplicar una norma.

Normas y criterios no estndares, para ser aplicados en un proceso de evaluacin, tienen que concretarse bajo
la forma de un conjunto de variables empricamente observables y que proporcionen informacin
cuantitativa o cualitativa pertinente sobre el programa objeto de evaluacin, es decir, mediante
indicadores.

Cuando el indicador tiene una expresin numrica se le conoce con el nombre de ndice. La ratio, la tasa, la
frecuencia, etc. son ejemplos tpicos de ndices numricos utilizados en la evaluacin de programas. Cuando
el indicador no traduce una expresin numrica sino que se define en forma escalar o aparece como
valoracin o argumentacin se le denomina descriptor. Un descriptor puede, por tanto, indicarnos la
presencia/ausencia de un elemento a evaluar, el grado de consecucin del mismo o un juicio de valor/una
argumentacin sobre el elemento objeto de evaluacin.

2. ALGUNAS PROPUESTAS DE CRITERIOS de evaluacin

En el modelo de evaluacin de programas desarrollado por Prez Juste (1995) encontramos referencias a los
criterios de evaluacin recomendables en cada uno de los momentos en que dicho modelo secuencia el
proceso evaluativo: el programa en s mismo, el programa en su desarrollo y el programa en sus resultados.

EL PROGRAMA EN S MISMO

Calidad intrnseca del programa

1. Contenido del programa:

Coherencia entre el programa y las bases sociopsicopedaggicas en que dice

ampararse.

3
2. Calidad tcnica del programa:

Especificacin precisa y clara de las metas.

Congruencia externa entre metas y teora.
Coherencia interna entre las partes del plan.
Adecuacin de los sujetos, evitndose tanto la falta de motivacin cuanto la
inexistencia de desafo o el exceso de exigencia (falta de realismo).

3. Evaluabilidad del programa:

Claridad y precisin del lenguaje utilizado.

Claridad en relacin con los criterios y referencias de evaluacin.
Previsin de las decisiones a tomar.
Definicin inequvoca de las variables.
Explicitacin de los componentes fundamentales del programa.
Adecuacin al contexto

1. Necesidades y programas:

Existencia y calidad tcnica del diagnstico de necesidades.

Coherencia entre las necesidades detectadas y priorizadas y el programa
formulado.

2. Establecimiento de prioridades:

Atendiendo a elementos de carcter tcnico/experto (relevancia/ transcendencia/

gravedad, rentabilidad, inmediatez, eficacia y responsabilidad.
Atendiendo a elementos eminentemente subjetivos (inters/motivacin expresos,
expectativas personales/grupales).
Adecuacin a la situacin de partida

Viabilidad:

Realismo en las metas del programa fruto de la adecuacin a medios y recursos.

Aprovechamiento de medios y recursos mediante su adecuada dinamizacin,
plan y orden.

EL PROGRAMA EN SU DESARROLLO

Conformidad con la planificacin. Lo que supone revisar la existencia de

desfases/desajustes, resultados parciales y efectos no programados.
Incardinacin con el proyecto educativo, en el que el programa evaluado puede
coexistir con otros programas.
Satisfaccin del personal

EL PROGRAMA EN SUS RESULTADOS

1. Valoracin:

4
 Cumplimiento de los niveles de logro preespecificados en trminos

Criteriales: a partir de las metas y niveles previamente especificados

tcnicamente por los responsables
Normativos: si existiera y en casos de competencia entre programas
De naturaleza idiosincrtica: los niveles del programa son valorados tomados en
consideracin el conjunto de circunstancias o sus resultados en situaciones
precedentes

2. Continuidad:

Control interno del plan

Grado de participacin de los implicados
Sistema de revisin establecido sobre las decisiones tomadas

3. FORMALIZACIN DE INDICADORES DE EVALUACIN

Como ya hemos sealado un indicador supone una forma de concretar un criterio de evaluacin. Lgicamente,
lo que buscamos no son manifestaciones accidentales sino esenciales de aquello que pretendemos evaluar. Por
tanto, un indicador debe acercarnos a las manifestaciones significativas de la realidad, debe guiarnos en los
detalles bsicos que nos llevan al conocimiento ms fidedigno y profundo de las cosas.

La realidad que evaluamos puede aparecer bajo formas externas controlables y observales o bajo otras que
estn implcitas en un modo de actuar cotidiano. Pues bien, el indicador debe hacer referencia tanto a lo
externo como a lo interno; as, indicar es dar a entender o significar, a travs de indicios o seales, el
conocimiento de lo oculto, o al menos, de lo desconocido. Pero, adems, el indicador no slo informa del
presente sino que como seala Lzaro, 1992:480 puede convertirse en el vestigio o huella de algo que ha
sucedido; el indicador localiza situaciones del presente con referencia a lo que ocurre en este momento como
si son restos del pasado.

Pero, sobre todo, el indicador debe definir el objeto al que se refiere. Lo que implica una relacin de
dependencia del indicador respecto al objeto referido (el indicador adscribe propiedades a aquellos objetos
que indica), relacin que supone objetividad. Esa objetividad no implica totalidad sino complementariedad,
dado que el indicador se refiere tan slo a una parte de lo que podra estudiarse y desde luego esa referencia
est asociada a un espacio y un tiempo determinados.

3.1. CARACTERSTICAS Y REQUISITOS EN LA FORMULACIN DE INDICADORES

Un punto de partida en el tratamiento de este tema es el que establece Lzaro (1992), que identifica tres
grandes dimensiones en torno a las que se agrupan las caractersticas y requisitos a tener en cuenta en la
elaboracin de indicadores: las caractersticas del constructo, las condiciones de medida y las condiciones
formales.

3.1.1. Las caractersticas del constructo

Las caractersticas del constructo aluden a la relacin entre el indicador y el objeto al que se refiere, es decir,
estudian hasta qu punto el indicador es una gua o seal adecuada hacia un referente. Desde este punto de
vista, el contenido del indicador debe responder a las siguientes condiciones:

Significatividad de la relacin entre el indicador y las propiedades del objeto que seala. En esencia, el
indicador debe recoger alguna propiedad del objeto evaluado. Por ejemplo: si el referente a evaluar dentro
de un programa son los procesos de enseanza, un indicador como tiempo dedicado a la coordinacin y

5
 revisin de la enseanza debera tener que ver con algn aspecto de los procesos de enseanza;
efectivamente, en este ejemplo de indicador ese aspecto es la coordinacin de la enseanza.
Relevancia del indicador. La propiedad recogida por el indicador puede ser esencial o accidental, siendo el
indicador ms relevante cuanto mejor represente (lo dice es ms atribuible) al objeto con el que se
relaciona. Por ejemplo: con el referente anterior, un indicador como ratio de asistencia a las clases puede
ser menos relevante que otro como nmero de horas dedicadas a la docencia en el curso en relacin con las
previstas.
Teleologicidad del indicador. La congruencia descriptiva del indicador debe estar en funcin de los
objetivos y fines pretendidos, siquiera para un momento o poca determinada en el que se desarrolla un
programa. Un indicador puede ser vlido para valorar la eficacia de un programa pero no para valorar las
posibilidades de mejora que introduce. As, el indicador tiempo dedicado a la coordinacin y revisin de la
enseanza podra ser adecuado para evaluar la eficacia de los procesos de enseanza en el desarrollo de un
programa, mientras que un indicador como la descripcin de los sistemas establecidos para efectuar el
seguimiento de la docencia y la revisin de las enseanzas parece ms adecuado para evaluar las
posibilidades de mejora de un programa en lo que respecta a los procesos de enseanza.
Utilidad del indicador. Cualquier indicador ha de reclamar una informacin que contribuya a la definicin
del objeto de evaluacin, describa sus situaciones, defina las problemas que le ataen y permita establecer
predicciones. Un indicador como tasa de egresados en relacin con los matriculados permite definir el
objeto de evaluacin los resultados de un programa y establece una relacin que puede permitir conocer
aspectos claves relacionados con las exigencias acadmicas, la dedicacin de los estudiantes, la calidad de
la docencia, etc.
Complementariedadtotalidad. Cada indicador no puede ser interpretado aisladamente, sino que se le debe
relacionar con el sistema de indicadores al que pertenezca. A partir de esa relacin puede determinarse la
potencia relativa que posee cada indicador, es decir, el sentido de progreso en el conocimiento de las cosas
que se alcanza gracias a la organizacin y normalizacin de un sistema de indicadores.

3.1.2. CONDICIONANTES DE MEDIDA

Seala Lzaro (1992) que en todo indicador existe un componente de inferencia predictiva, de modo que la
informacin que obtenemos a travs del indicador (la parte observable de aquello que evaluamos) presupone
la existencia del objeto al que se refiere el indicador. Cuando utilizamos un indicador como calificaciones
obtenidas por el alumno a lo largo del curso, al menos estamos aludiendo a la posibilidad de que en el
programa evaluado los resultados que obtienen sus usuarios se establecen a partir de un sistema de
calificaciones.

La posibilidad de establecer inferencias a partir de los indicadores permite conocer si un indicador es

significativo lo describe adecuadamente respecto a lo medido (significatividad o representatividad) y si ese
indicador describe ms y mejor que otros indicadores aquello que mide (relevancia). Por otra parte, un
indicador puede depender de otros indicadores bien porque sea un anlisis detallado de un indicador ms
amplio (nmero de alumnos que utilizan los Servicios de apoyo a la docencia y nmero de Servicios de apoyo
a la docencia) o porque secuencial y temporalmente no se puede producir sin la existencia de otros anteriores
(tasa de costo por graduado y presupuesto por alumno).

En su calidad de medida, junto a los elementos ya indicados, todo indicador ha de cumplir las siguientes
condiciones:

Observable. El indicador tiene que hacer referencia a caractersticas, manifestaciones o elementos del
objeto evaluado que puedan ser analizadas y constatadas. Ha de ser una realidad que permita replicacin y
verificacin, por tanto no debe hacer referencia a hechos ocasionales o meramente circunstanciales. Por
ejemplo, un indicador como visitas programas a los museos de Sevilla es un elemento menos observable
que nmero de actividades extraescolares organizadas en el centro, dado que el lugar o el itinerario de las
visitas puede modificarse en cualquier momento.

6
 Aplicabilidad. Los medios y recursos que se utilicen para realizar la observacin y recoger la informacin
han de ser posibles y coherentes con los fenmenos observados. Por ejemplo, un indicador como
coherencia entre el programa y las bases tericas en que se fundamenta puede apoyarse en el anlisis crtico
de los documentos que recogen la teora en que dice basarse el programa y su contraste con la
instrumentacin (diseo, materiales, etc.) propia del programa. Una lista de control podra ayudar a anotar
las coincidencias o carencias entre lo establecido en la teora y lo plasmado en el programa.
Las fuentes deben ser accesibles a los objetivos de la evaluacin. Si se utilizan fuentes inadecuadas, pero
ms accesibles, pueden desvirtuarse los datos y la significatividad de los mismos para el objeto de
evaluacin. En este sentido, es necesario seleccionar los indicadores que ms se ajusten al tipo de fuentes a
las que se tiene acceso, si bien procurando no limitar la definicin del objeto de evaluacin a la existencia
de determinadas fuentes relativamente accesibles al evaluador. Por ejemplo, un indicador adecuado para
conocer el impacto de un programa puede ser determinar el tiempo entre la finalizacin de un programa y el
desempeo de la actividad profesional asociada al mismo; pues bien puede no estar accesible la
informacin que necesitamos (no hay registro en la entidad organizadora del programa sobre los niveles de
empleo de los egresados o bien no se cuentan con direcciones de contacto fiables de stos), pero tambin
puede ocurrir que dicho indicador no se incluya en el sistema de indicadores porque no exista el registro del
nivel de empleo de los egresados y el evaluador estime demasiado costoso sondear a los propios implicados
a pesar de contar con sus direcciones actualizadas.
Establecimiento de un sistema de codificacin. Es preciso que el sistema de indicadores cuente con un
esquema paralelo que permita anotar, valorar y reflejar las manifestaciones observadas. En ese sistema de
codificacin, la informacin proporcionada por los indicadores puede convertirse en ndices (valores
nmericos que reflejan tasa, ratio o frecuencia) o en descriptores (que reflejen la presencia/ausencia de un
elemento o el grado de consecucin del mismo). La consideracin de los indicadores en forma de ndices no
debe hacernos olvidar que el tratamiento de tales valores numricos debe respetar algunas reglas:

No deben sumarse indicadores cuando uno es causa de otro (ms de tres suspensosrepeticin de
curso).
No deben sumarse indicadores cuando uno forma parte del otro, el peso dado al genrico se debe
distribuir entre los que lo componen (calificaciones obtenidas por el alumnado a lo largo de los cursos
calificaciones en matemticas en primer curso).
Si los objetivos o finalidades de cada indicador son diferentes, no parece adecuado establecer ningn
tipo de combinacin matemtica. Por ejemplo, cuando los indicadores estn integrados en sistemas y
objetivos diferentes, o si se realizan anlisis utilizando ndices distintos (presupuesto por alumno
ratio de asistencia a las clases).

3.3.3. CONDICIONES FORMALES

Tienen que ver con el modo en que se redactan y concretan los indicadores de modo que puedan ser utilizados
de la manera ms operativa posible. Algunas de estas condiciones apuntadas por Lzaro (1992) seran:

Cada indicador tendr un referente determinado, claro y definido, esto es, cada indicador ha de estar en
conexin con un fenmeno especfico a estudiar, en coherencia con una determinada variable y factor de un
objeto.
En relacin con el punto anterior, cada indicador ha de solicitar informacin de una sola manifestacin.
Tendr definida la situacin a observar determinada en un contexto preciso, incluyendo un espacio y un
tiempo determinado.
La formulacin ha de ser breve y concisa, de forma que se exprese con claridad y sin ambigedades.
El enunciado del texto tender a ser directo y descriptivo.
Si existe una cadena de indicadores, se han de sealar y sistematizar en niveles de cuasalidad y/o de
dependencia.
Un indicador podr desglosarse en tems, es decir, concretar la peticin en forma de tem o cuestin. Este
formato puede constituirse por s mismo en el instrumento de recogida de la informacin.

7
3.3.4. PROCEDIMIentos para el anlisis de indicadores

Las tres dimensiones consideradas para formular indicadores, relativas al constructo, la medida y los aspectos
formales, pueden traducirse en un instrumento que permita valorar la presencia o ausencia de los elementos
que definen esas dimensiones. De ese modo, resulta posible conocer si los indicadores construidos para
evaluar un programa o algn aspecto del mismo responden a los rasgos definitorios de un indicador. El
CuestionarioGua sobre requisitos de los indicadores desarrollado por Lzaro (1991) es un buen ejemplo de
este tipo de instrumentos para valorar la formulacin de indicadores.

CuestionarioGua sobre requisitos de los indicadores

(Provisional, A. Lzaro, 1991)

REQUISITOS de CONSTRUCTO SI NO

1. El indicador recoge y hace referencia a alguna propiedad del objeto. * *

(Significatividad)

2. La propiedad referida es de tipo esencial. * *

(Relevancia)

3. Los datos recogidos en el indicador estn en congruencia con los fines y objeti

vos de la evaluacin pretendida. * *

(Teleologicidad)

4. Los datos recogidos por el indicador tienden a ser permanentes. * *

(Caducidad)

5. Con los datos recogidos por el indicador se pueden realizar influencias y predicciones. * *

(Utilidad)

6. El indicador ofrece datos integrables en un sistema de indicadores. * *

(Coherencia)

REQUISITOS de MEDIDA SI NO

7. Los datos que reclama el indicador son observables. * *

(Observacin)

8. Los datos que reclama el indicador pueden ser observados por diferentes evalua

dores simultneamente o en situaciones distintas. * *

(Replicacin)

8
9. Los medios que se utilizan para recoger los datos que reclama el indicador son adecuados * *

(Aplicabilidad)

10. Las fuentes que facilitan la informacin solicitada por el indicador son accesibles. * *

(Accesibilidad)

1 1. Los indicadores poseen una forma de anotar y valorar la informacin recogida. * *

(Codificacin)

12. Los indicadores tienen un peso especfico dentro de un sistema de indicadores. * *

(Ponderacin)

13. Los datos obtenidos por los indicadores pueden interpretarse numricamente. * *

(Expresin cuantitativa)

14. Los datos obtenidos por los indicadores pueden relacionarse numricamente con

los de otros indicadores. * *

(Obtencin de ndices)

REQUISITOS FORMALES SI NO

15. Cada indicador solicita informacin de una sola cosa. * *

(Universidad)

16. La inforrracin solicitada se puede recoger en una situacin definida. * *

(Manifestacin de precisin)

17. El indicador est expresado con claridad semntica sin ambigedad. * *

(Brevedad expresiva)

18. La informacin reclamada se recoge en un mismo tipo de manifestacin. * *

(Concrecin)

19. El enunciado ser directo y descriptivo. * *

(Claridad)

20. El indicador se relaciona causalmente con otros. * *

(Dependencia)

9
21. Se puede desglosar y especificar en items. * *

(Formalizacin)

4. ALGUNAS PROPUESTAS DE INDICADORES DE EVALUACIN

A continuacin vamos a presentar tres propuestas de indicadores que difieren, adems de en el contenido de
las dimensiones a evaluar, en la forma de presentacin de tales indicadores. En la primera, realizada por
Noriega y Muoz (1996: 2831) se recogen dimensiones, estndares e indicadores formulados estos de un
modo declarativo para la evaluacin de los centros docentes. De su propuesta de indicadores slo hemos
seleccionado la dimensin Funcin dado que su contenido es el que es la ms similitudes guarda con el
proceso de evaluacin de programas.

DIMENSIN ESTNDARES INDICADORES

FUNCIN 1.El proyecto ha 1.1. Se han formulado correctamente los objetivos.

sido cuidadosamen 1.2. Se han tenido en cuenta las polticas o directrices emanadas

te planeado. de la superioridad.

1.3. Se han sopesado las ligaduras o restricciones del proyecto (costos,

etc.).

1.4. Se han analizado las estrategias de actuacin.

1.5. Se ha elegido la estrategia ms eficiente.

1.6. Se ha aludido a la formacin/preparaci6n/reciclaje de los

elementos humanos intervinientes.

1.7. Se han realizado estudios/sondeos sobre la demanda del proyecto.

1.8. Se han elaborado guas o instrucciones para el desarrollo del programa.

1.9. Se han diseado canales/medios de informacin.

1.10. (Si el programa lo requiere), se han desarrollado mecanismos que aseguren una certificacin objetiva y
eficaz de los participantes.

2. La programa 2.1. Las actividades definidas son coherentes con los objetivos.

cin es 2.2. La red de actividades, en su caso, es correcta.

correcta 2.3. Se ha efectuado la previsin de los medios rna

teriales.

2.4. Se ha efectuado la previsin econmica pertinente (presupuestos, etc.).

10
2.5. Se ha efectuado la previsin de personal adecuada.

2.6. Se ha cuidado de la provisin de los medios materiales, econmicos y personales.

2,7. Se ha procedido a la sistematizacin y movili

zacin/integracin de los medios de acuerdo con el

desarrollo del programa (anlisis de procedimiento).

2.8. Se han adjudicado las responsabilidades a cada

uno de los participantes en el programa con atencin

a la coordinacin de actuaciones (fonnacin de equi

pos de trabajo).

2.9. Se han diseado/seleccionado documentos/so

porte ad boc.

3. La operacin se 3.1. Se han diseado estrategias metodolgicas (nor

desarrolla satis mas de operacin).

factoriamente 3.2. La actuacin de los elementos del programa es

correcta y adecuada a los objetivos previstos.

3.3. El desarrollo de las actividades se adecua a la

temporalizacin prevista en la red.

4. El control de 4.1. Se establecen criterios y mtodos/medios de

calidad del evaluacin.

programa 4.2. Se disean estndares de cantidad, calidad y

adecuado a sus oportunidad.

caractersticas 4.3. Se fijan procedimientos e instrumentos de eva

luacin.

4.4. El control afecta a todos los elementos del pro

grama.

4.5. Se chequean todos los tems o, al menos, segn

11
un muestreo suficiente.

4.6. El agente del control es el adecuado para garan

tizar su objetividad.

4.7. Los muestreos se toman a intervalos temporales

signdicativos.

4.8. Los resultados del control se reflejan en informes, grficos, etc.

DIMENSION ESTANDARES INDICADORES

4.9. Los resultados del control se someten a anlisis de acuerdo con los objetivos previstos y las actividades
realizadas.

4.10.Se mantiene un registro de contabilidad sistematizado.

5. La accin colec 5.1. Se efectan "inspecciones en la fuente" para una

tiva del control correccin "automtica" de las desviaciones (evaluacin

es eficiente. continua).

5.2.Los resultados del anlisis del control tienen valor

diagnstico determinante para la accin correctiva.

5.3. La accin colectiva se aplica a todos los elementos del proyecto

donde se detectan desviaciones signfficativas:

En el planeamiento

En la programacin

En la operacin

En el control

En la accin correctivo

En la retroalimentacin.

5.4. La accin correctivo se aplica, en su caso, a los

elementos personales de la organizacin

6. El output 6.1. El producto (output) cumple las nomias de calidad establecidas.

o producto. 6.2. El costoestndar del producto es safisfactodo.

12
6.3. La calidad del producto es la esperada.

6.4. El anlisis de satisfaccin es positivo.

7. Se establece feed 7. 1. Los resultados de la evaluacin se recogen en una Memoria.

back o retro 7.2. Las conclusiones de la Memoria se recogen en

alimentacin el planeamientoprogramacin del ciclo siguiente.

del sistema

(cuando proceda).

Una segunda propuesta de indicadores es la que plantea Prez Juste (1995: 163167) para la evaluacin
interna de programas educativos. En este caso los indicadores se presentan en forma interrogativa.

I. MOMENTO INICIAL: EVALUACIN DEL PROGRAMA EN SI MISMO

1. CALIDAD INTRNSECA DEL PROGRAMA

1. 1. CONTENIDO DEL PROGRAMA:

1. Se han explicitado las bases cientficas y sociopsicolgicas del programa?.

2. El tratamiento dado a los acontecimientos, temas o teoras, es adecuado/distorsionado/desequilibrado?

3. Estn actualizados o desfasados los contenidos?

Los contenidos incluidos se consideran relevantes desde perspectivas cientficas, sociales, psicolgicas

y pedaggicas (valor formativo)?

1.2. CALIDAD TCNICA DEL PROGRAMA:

5. Se incluyen en el programa objetivos, actividades, medios entre ellos, la metodologa y sistema de

evaluacin?

6. La formulacin de los elementos anteriores es adecuada para orientar tanto la enseanza como el
aprendizaje?

7. Se puede considerar que los objetivos son congruentes con los planteamientos cientficocurriculares, con
las demandas sociales y con las caractersticas evolutivas de los destinatarios?

8. Se da coherencia interna entre los diversos elementos del programa y de ellos en relacin con los
objetivos?

9. Se da adecuacin del programa a las caractersticas diferenciales motivacin, intereses, capacidad del
alumnado?

1.3. EVALUABILIDAD:

13
10. La informacin contenida en el programa de cara a su posterior evaluacin, se considera suficiente,

relevante y adecuada?

11. Se dispone de informacin clara y precisa sobre aspectos metodolgicos y de contenido del programa?

2. ADECUACIN AL CONTEXTO

12. Se da un funcionamiento democrtico, participativo e implicativo del centro, as como corresponsabilidad

en las tareas?

13. Los profesores responsables del programa, funcionan en autntico equipo?

14. Se da cooperacin con las familias cuando es necesaria para el desarrollo del programa?

15. Se dan reuniones con profesores de cursos anteriores de cara a la planificacin del nuevo programa?

16. Existen datos (registros, informes, actas ... ) en el centro sobre las necesidades y carencias de los
alumnos?

17. Se cuenta con sistemas de deteccin de necesidades y carencias del alumnado, tales como pruebas de
carcter diagnstico, entrevistas ... ?

Se ha previsto un sistema de ajuste inicial a las carencias y dificultades detectadas, tales

como clases de recuperacin, sistemas de monitores...?

3. ADECUACIN AL PUNTO DE PARTIDA

19. Responde el Programa a demandas de los interesados?

20. Estn previstos los espacios, momentos en el horario, recursos y personal, necesarios para su desarrollo?

21. Existen en el centro los medios necesarios para un correcto desarrollo de] Programa?

22. Se encuentran capacitados los responsables para el desarrollo del programa?

23. Est prevista la temporalizacin del programa?

24. Se realizan reuniones del equipo de profesores responsables del programa'?

25. Se da entre el equipo de profesores, y en el centro en general, un trabajo de tipo cooperativo?

26. Ha sido aprobado el programa por el equipo?

27. Apoyan el programa el claustro de profesores, los padres y dems personal implicado/afectado?

II. SEGUNDO MOMENTO: PROCESO APLICACIN DEL PROGRAMA

1. PUESTA EN MARCHA DEL PROGRAMA

28. La metodologa utilizada, resulta adecuada para el desarrollo de los objetivos del programa?

14
29. Muestran los alumnos inters/motivacin hacia las actividades del programa?

30. Se aprecia correccin en la secuencia de las actividades programadas?.

31. Se detectan desfases significativos en la ternporalizacin prevista?

32. Se respeta la planificacin en lo referente a espacios, tiempos, apoyos y recursos?

33. Los niveles parciales de logro se consideran alejados de, o acomodados a, los propuestos?

34. Se da rigidez/flexibilidad en la aplicacin del programa?

2. MARCO DE APLICACIN DEL PROGRAMA

35. Se aprecian conflictos y tensiones entre el personal del centro que puedan repercutir en el desarrollo del
programa?

36. Las relaciones con el alumnado se puede calificar de cordiales o de problemticas?

37. Se detecta algn conflicto entre los objetivos y/o planteamientos del programa con los del proyecto
educativo o con los de otros profesores del equipo o del centro?

38. Se da concordancia entre la organizacin y disciplina del aula en que se desarrolla el programa y el
sistema organizativo y disciplinar del centro?

Se da un clima de confianza en el xito por parte de alumnos y profesores?

III. TERCER MOMENTO: EVALUACIN FINAL DEL PROGRAMA

1. MEDIDA Y LOGROS

40. Se han tornado precauciones para asegurar la calidad tcnica de las pruebas con que se apreciarn los
niveles de logro del progrania7

41. Se planificaron las pruebas, y dems instrumentos elaborados para la recogida de datos, en el momento
de disear el programa, a fin de asegurar la mxima coherencia con los objetivos?

42. Se recurre a tcnicas variadas de recogida de datos, acordes con la diversidad de objetivos?

43. Se especificaron los criterios de calificacin y de los niveles de logro del programa?

2. VALORACIN

44. Se especificaron, de modo claro y preciso, los criterios y las referencias para valorar los resultados?

45. Se aplican los criterios y las referencias de conformidad con las previsiones y con las exigencias
tcnicas?

46. Se dispone de informacin, rica y matizada, sobre los momentos inicial y procesual del programa, como
base para valorar los resultados?

3. CONTINUIDAD

15
47. El estilo imperante entre los responsables del programa es participativo y colaborativo, o directivo y
autoritario?

48. Existe un proceso institucionalizado de evaluacin, de forma que los resultados se plasmen en nuevos
procesos programadores?

49. Se asignan tareas concretas a los diferentes responsables de los cambios a introducir?

La tercera propuesta fue realizada por la Consejera de Educacin y Ciencia de la Junta de Andaluca dentro
del Plan Andaluz de Evaluacin de Centros Docentes (1998). En esa propuesta las dimensiones del proceso de
evaluacin se concretan en indicadores (sic) y stos a su vez en descriptores, que pueden ser tanto
cuantitativos (v.g. correspondera a ndices en la terminologa al uso en la literatura) o cualitativos (v.g. los
verdaderos descriptores segn la literatura). Veamos, a continuacin, un ejemplo de descriptores que tratan de
evaluar la adecuacin del Proyecto Curricular de Centro.

DESCRIPTORES

En su caso, en la elaboracin del PCC se ha tenido en cuenta el anlisis de los resultados de la

evaluacin del centro reflejado en los cursos anteriores.

012345

El PCC es fruto de la discusin, puesta en comn y consenso entre los componentes del Claustro.

012345

Los objetivos generales del PCC estn en consonancia con las Finalidades Educativas del centro.

012345

2.4. En el PCC los objetivos de etapa y rea/materia se ordenan por ciclos/cursos manteniendo una
continuidad progresiva.

012345

2.5. La organizacin y secuenciacin de los contenidos se realizan en relacin directa con los objetivos
propuestos. En Educacin Secundaria se incluyen adems criterios para determinar la oferta de materias
optativas y para organizar los itinerarios de los Bachilleratos.

012345

2.6. El PCC recoge contenidos conceptuales, procedimentales y actitudinales.

012345

2.7. El PCC contiene orientaciones para incorporar los contenidos de carcter transversal del curriculum.

012345

2.8. El PCC incluye decisiones de carcter general sobre metodologas didcticas. Adems, incluye criterios
para: agrupamientos, actividades y recursos (Primaria) / elaborar programaciones de Departamentos y

16
Mdulos (Secundaria).

012345

2.9. Se explicitan estrategias didcticas concretas y adecuadas para atender a la diversidad del alumnado.

012345

2.10. Estn definidos y compartidos los criterios de evaluacin para todas y cada una de las reas y ciclos. ( en
E. Primaria) / reas, materias, ciclos y cursos (en E. Secundaria).

012345

2.11. Se organizan los distintos elementos del proceso de evaluacin del aprendizaje (fases, recursos,
procedimientos, instrumentos, registros, etc.).

012345

2.12. Se han establecido los procedimientos e instrumentos para la evaluacin de los aprendizajes de las
distintas reas.

012345

2.13. Se han establecido los criterios de promocin del alumnado.

012345

2.14. Existe un Plan de Formacin que recoge, claramente definidas, las necesidades de formacin del
profesorado (de carcter didctico, pedaggico ... ) en funcin de las necesidades del centro:

012345

2.15. El PCC promueve la investigacin educativa y la realizacin de actividades de perfeccionamiento que

repercutan en la prctica docente.

012345

2.16. El Plan de Orientacin y Accin Tutorial incluye objetivos, actividades y tiempos adecuados a realizar
con el alumnado, el profesorado, padres y madres.

012345

2.17. Se ha establecido un Plan de Evaluacin del PCC coherente con los objetivos planteados y concretado
criterios, estrategias e instrumentos para su aplicacin.

012345

2.18. Estn establecidos criterios, estrategias e instrumentos para la evaluacin de la prctica docente.

012345

2.19. El PCC responde a una propuesta original y adecuada al centro que contiene todos los apartados

17
exigidos por la normativa, est ordenado, sistematizado, justifica las propuestas, ha sido aprobado por el
claustro, etc.

012345

2.20. El PCC es un instrumento pedaggicodidctico til y prctico que se concreta y aplica en otros niveles
de planificacin (ciclos y programaciones de aula).

012345

5. UTILIDAD DE LOS INDICADORES EN LA EVALUACIN DE PROGRAMAS

Existe una curiosa paradoja en relacin con el uso de indicadores en la evaluacin de programas educativos.
Mientra se concede cada vez ms importancia a la formulacin de indicadores como elemento clave en la
evaluacin educativa stos no terminan por incorporarse a los procesos reales de evaluacin. El
desconocimiento sobre el modo en que deben utilizarse los indicadores en un proceso de evaluacin y la
propia formulacin a posteriori (una vez desarrollado el programa) y no a priori (al tiempo que se redactan los
objetivos del programa) de los indicadores puede explicar esta paradoja (De Miguel1, 1995: 181).

Una primera consecuencia que podra extraerse de lo dicho es que la eficacia e idoneidad de los indicadores
dentro de un proceso de evaluacin est en buena medida condicionada por el modo ver apartado 3 de este
tema y por el momento en que se formulen. As, para que los indicadores sean tiles deberan definirse a
priori, en funcin de cada uno de los objetivos que pretenden lograrse con el programa.

Hecha estas salvedades, hagamos referencia a algunas de las recomendaciones que pueden realizarse para
utilizar de un modo ms apropiado los indicadores en un proceso de evaluacin:

A partir de un marco terico, desarrollar un sistema de indicadores basado en medidas mltiples con el fin
de que posibilite obtener y contrastar la informacin sobre un aspecto por diversas vas.
Avanzar en la construccin de indicadores com uestos y de ndices que nos aporten informacin ms
compleja y decisiva para las decisiones.
Complementar la informacin que aportan los indicadores con la que nos pueden facilitar otras fuentes
(especialmente los expertos).
Construir y utilizar indicadores sobre todas la fases del proceso de la evaluacin Y no slo sobre los
resultados o productos.
Evitar los juicios de valor durante la fase de elaboracin de los indicadores a fin de no condicionar las
etapas siguientes del proceso.
Buscar el mayor grado de consenso entre la audiencia respecto a los indicadores a utilizar y dar la mxima
publicidad a la informacin obtenida. (De Miguel, 1995: 182183).

5.1. VENTAJAS QUE OFRECE EL USO DE INDICADORES

La recomendacin del uso de indicadores en la evaluacin educativa en general y en la evaluacin de

programas en particular est justificada porque ofrece al evaluador las siguientes ventajas:

Aportan informacin vlida, verificable y relativamente neutral.

Posibilitan establecer comparaciones en funcin de diversos criterios.
Permiten que los juicios de valor valoraciones se apoyen sobre datos bastante objetivos.
Facilitan el consenso entre la audiencia implicada.
Otorgan credibilidad a la toma de decisiones.
Aaden transparencia a todo el proceso evaluador (De Miguel, 1995: 181182).

18
5.2. PRINCIPALES DIFICULTADES EN EL USO DE INDICADORES

Cuando utiliza indicadores el evaluador se enfrenta igualmente a una serie de dificultades e inconvenientes,
entre los que cabra citar los siguientes:

Con frecuencia se elaboran a partir de modelos tericos muy sencillos por lo que el indicador ofrece una
informacin muy simple y limitada.
En algunos casos, muchos indicadores se utilizan por razones polticas y con un determinado
sentido,introduciendo sesgos en la evaluacin.
Habitualmente existen problemas en la recogida y anlisis de los datos, especialmente los referidos al nivel
de agregacin, lo que cuestiona la objetividad y viabilidad del indicador.
La falta de homogeneidad en los criterios dado que en cada contexto se entienden de forma diferente
impide obtener medidas comparables.
Problemas derivados de sus costos y mbito de aplicacin frecuentemente determinan que muchos
indicadores se utilicen de forma distorsionada.
Finalmente cabe sealar que pueden orientar toda la ejecucin de los programas con el fin de alcanzar los
indicadores y alterar, tambin, la toma de decisiones (De Miguel, 1995:182).

BIBLIOGRAFA

1. Eisner, E. W. (1993). Why standards may not improve schools. Educational Leadership, 50(5), 2223.

2. Lzaro, A. (1992). La formalizacin de indicadores de evaluacin. Bordn, 43(4), 477494.

3. Miguel de, M. (1991). Indicadores de calidad en la docencia universitaria. I Congreso Internacional sobre
calidad de la enseanza universitaria (p. XXVLI). Cdiz: ICE de la Universidad.

4. Miguel de, M. (1995). Indicadores de rendimiento y evaluacin de programas. en R. Prez Juste, J. L.

Garca Llamas, & C. Martnez Mediano (Coords.), Evaluacin de programas y centros educativos (pp.
169192). Madrid: UNED.

5. Newman, D. L., & Brown, R. D. (1992). Violations of evaluation standards. Evaluation Review, 16(3),
219234.

6. Noriega, J., & Muoz, A. (1996). Indicadores de evaluacin del centro docente. Madrid: Editorial Escuela
Espaola.

7. Prez Juste, R. (1995). Evaluacin interna de programas educativos. en R. Prez Juste, J. L. Garca Llamas,
& C. Martnez Mediano (Coords.), Evaluacin de programas y centros educativos (pp. 131168). Madrid:
UNED.

8. Salzer, M. S. e. al. (1997). Validiting quality indicators. Evaluation Review, 21(3), 292309.

9. Simmons, W., & Resnick, L. Assessment as the catalyst of school reform. Educational Leadership, 50(5),
1115.

Otras referencias:

Consejera de Educacin y Ciencia (1998). Evaluacin de centros docentes. Plan de evaluacin de centros
docentes en la Comunidad Autnoma Andaluza. Junta de Andaluca.

Dewey, J. (1934). Art as experience. New York: Minton Balch and Company.

19
Guba, E.G. y Lincoln, Y. (1981). Effective evaluation. California: Sage Publications.

AUTOEVALUACIN

2 Tema 4. Est

20