Evaluación de la Calidad

Laurentino Salvador. José M. Osoro. Evaluación de programas...

CONTENIDO:

1. Concepto y sistema de calidad

2. Modelos de calidad
3. Calidad y educación
4. Enlaces a webs sobre calidad

2
 ¿Qué es calidad?

Conjunto de cualidades que

constituyen la manera de ser de una
persona o cosa.

Conjunto de características de un producto

o servicio, que lo convierte en satisfactorio
para el cliente o consumidor.

3
¿Por qué es ahora más necesaria la calidad?

 Globalización.
Razones  Clientes exigentes.
Externas
 Competitividad.

 Costes de mala calidad.

Razones
 Implicación del personal.
Internas
 Nuevas tecnologías.

4
CALIDAD TOTAL:
LAS TRES CALIDADES CALIDAD QUE
DESEA EL
CLIENTE

INSATISFACCION
INEVITABLE

INSATISFACCION CALIDAD
EVITABLE AMENAZADA
SATISFACCIÓN
CALIDAD IDEAL CASUAL
SATISFACCION
PLENA
D A

ESFUERZOS
ID MAD

SATISFACCIÓN TRABAJO

RE AL
INÚTILES DE
DISEÑO DEL TRABAJO REALIZADO

A
A
CA RA

C
ÚTIL PARA EL INUTILMENTE

L DA
IZA D
OG

CLIENTE
L

I
D
R

A
P

5
¿Cómo se consigue?

Logrando la satisfacción de los clientes.

Con el apoyo incondicional de la dirección.

Con la participación y cooperación de todos.

Mejorando e innovando de forma continua.

Con la formación permanente.

6
 MEJORA CONTINUA
Ciclo PDCA (rueda de Shewhart o de Deming)
Planificar, Desarrollar, Comprobar y Actuar

Check: Compruebe los resultados de su acción nivel de

calidad

A P Do: Desarrolle lo que planificó

C D Act: Actúe para modificar lo

que hace o para asegurar
los resultados con mayor
calidad
Plan: Planifique lo que va a realizar
Identifique los grupos de interés
Analice sus necesidades o expectativas
Defina características para satisfacerlas tiempo
Diseñe un proceso adecuado

7
Del control de la calidad a la
excelencia organizacional

Excelencia
Normas UNE-EN
ISO 9000:2000 Gestión

Sistema

Proceso

Producto

8
 ¿Qué es un sistema de calidad?

CONJUNTO DE ESTRUCTURAS DE LA ORGANIZACIÓN, DE

RESPONSABILIDADES, DE PROCEDIMIENTOS, DE PROCESOS
Y DE RECURSOS QUE SE ESTABLECEN PARA LLEVAR A CABO
LA GESTIÓN DE LA CALIDAD.

CONSISTE EN

LA DEFINICIÓN Y EJECUCIÓN DE UN MÉTODO DE

TRABAJO QUE ASEGURE QUE EL PRODUCTO O
SERVICIO CUMPLE CON UNAS ESPECIFICACIONES
PREVIAMENTE ESTABLECIDAS PARA SATISFACER
LAS NECESIDADES DEL CLIENTE.

9
¿Cómo implantar un sistema de calidad?

DARSE CUENTA (sensibilización “cultura de la calidad”).

DECISIÓN (ANTES FORMARSE E INFORMARSE).
COMPROMISO.
ELEGIR UN MODELO DE REFERENCIA:
¿ISO 9000:2000?.
¿BENCHMARKING DE UNA ORGANIZACIÓN SIMILAR
CONSIDERADA EXCELENTE?.
¿MODELO EUROPEO DE GESTIÓN DE LA CALIDAD TOTAL?.
ACTUACIÓN (SISTEMA; MÉTODO; OBJETIVOS; PLANIFICACIÓN;
ORGANIZACIÓN; CALENDARIO; PERSONAS Y MEDIOS).
CONTROL.
MEJORA CONTINUA. Contratos-programa y planes estratégicos

10
Funciones de los sistemas de calidad y mejora

Preparar los mecanismos para la acreditación de

instituciones o programas.

Mejorar la docencia, la investigación y la gestión.

Servir de instrumento para rendir cuentas

al gobierno y a la sociedad

Suministrar información pública y transparente

al estudiante y al mercado laboral.

Operar como mecanismos para decidir una

financiación diferencial de los centros.
11
12
Dos enfoques de la Calidad Total

MODELO
MODELOISO
ISO9000
9000 MODELO
MODELODE
DEEXCELENCIA
EXCELENCIA

ESUN
ES UNSISTEMA
SISTEMAPARA
PARA ES
ESUNA
UNAESTRATEGIA
ESTRATEGIAOOMODELO
MODELO
VERIFICARLA
VERIFICAR LACALIDAD
CALIDADDEL
DEL DE
DEGESTIÓN
GESTIÓNDE
DEUNA
UNA
PRODUCTOOOSERVICIO
PRODUCTO SERVICIO ORGANIZACIÓN
ORGANIZACIÓN

CUALQUIER PROCESO DE IMPLANTACIÓN DE UN SISTEMA DE

CALIDAD, QUE NO IMPLIQUE LOS PRINCIPIOS DE LA CALIDAD
TOTAL, CORRE EL RIESGO DE QUEDARSE EN MERO GASTO

13
Modelo ISO 9000:2000

14
15
 Modelo Europeo de Gestión de la Calidad
Total (EFQM)

Gestión
Gestióndel
del Resultados
Resultadosenen
Personal
Personal las personas
las personas

Política
Políticayy Resultados
Resultadosen en Resultados
Resultados
Liderazgo
Liderazgo Procesos
Procesos
Estrategia
Estrategia los cliente
los cliente claves
claves

Alianzas
Alianzasyy Resultados
Resultadosenen
Recursos
Recursos la sociedad
la sociedad

Agentes
Agentes facilitadores
facilitadores Resultados
Resultados

Innovación 16
Innovaciónyyaprendizaje
aprendizaje
 EFQM
EL MODELO EUROPEO DE GESTIÓN DE CALIDAD

Gestión de Satisfacción
personal del personal
90 puntos 90 puntos
(9%) (9%)

Liderazgo Procesos Resultados

100 Planificación 140 Satisfacción del centro
Puntos y estrategia Puntos del cliente educativo
(10%) 80 puntos 14% 200 puntos 150 puntos
(8%) (20%) (15%)

Recursos Impacto en
90 puntos la sociedad
(9%) 60 puntos
(6%)
Agentes 500 puntos (50%) Resultados 500 puntos (50%)

17
Evaluación de la calidad
Debate
político
Control Evaluación

Decisión Autorregulación
sumatoria
Debate
técnico
¿Cómo? ¿Para qué?

Indicadores
De rendimiento Juicios de Decisión
Mejora y
expertos sumatoria
Apoyo a la
unidad 18
 Que no hay clientes propiamente dichos
 Que la educación tiene una importancia
relativa en muchos sectores
 Que los productos finales son difusos
 Que los procesos son variables
 Que podemos contemplarlo (en
determinados niveles) como un servicio
público al margen de los resultados.

José M. Osoro - Dept. Educación UC

19
 Comparación PNECU-PCU y ANECA

PNECU-PCU ANECA
Objetivos Mejora continua Homologación
Metodología Cuantitativa y cualitativa Cuantitativa
Datos Evidencias: datos, Evidencias: indicadores y
opiniones contrastadas… documentos
Aspectos a evaluar Dimensiones Criterios
Proceso Evaluación interna y Externa
externa
Papel de los evaluadores “cómplices” de la mejora Auditores
Resultados Propuestas de mejora Informe Acreditación
contratos-programa
Plan estratégico
Agencias responsables Agencias autonómicas ANECA  MEC

20
Programa de Evaluación Institucional

Etapas Agentes implicados Resultados

Autoevaluación Comité de Autoevaluación, Informe de

Unidad Técnica, Comunidad autoevaluación
Universitaria

Evaluación Comité de Autoevaluación, Informe de

Externa Unidad Técnica, Comité de Evaluación Externa
Evaluación Externa,
Comunidad Universitaria

Comité de Autoevaluación, Plan de Mejoras

Final Unidad Técnica, Equipo de
Gobierno

Asesoramiento de la ANECA 21
Programa de Evaluación Institucional
PLAZOS PARA LA EJECUCIÓN DEL PEI 2004-2005

Momentos clave del proceso Plazos Responsabilidad

Del 21 de
Fase de Autoevaluación octubre al 31 Unidad evaluada
de marzo
Envío Informe de Autoevaluación a la Hasta el 31 de
Unidad evaluada
ANECA marzo
Del 1 de abril Unidad evaluada-
Visitas de Evaluación Externa
al 15 de mayo ANECA
Envío del informe de Evaluación Antes del 15
ANECA
Externa de junio
Período para la realización de Del 15 de
comentarios al Informe de Evaluación junio al 1 de Universidad
Externa, en su caso julio

Revisión del Informe de Evaluación Del 1 de julio

Externa y realización de las hasta el 15 de ANECA
modificaciones oportunas, en su caso julio

Hasta el 15 de 22
Envío del Plan de Mejoras Universidad
noviembre
Visión Global del Proceso
Fuentes de información

Miembros de la Comunidad Universitaria Documentación, Informes y estudios

FASE
Comité de Autoevaluación
AUTOEVALUACIÓN
DIAGNÓSTICO
DIAGNÓSTICO DE
DE LA
LA SITUACIÓN
SITUACIÓN ACTUAL
ACTUAL DE
DE LA
LA TITULACIÓN
TITULACIÓ
Organización
Programa Recursos Recursos Proceso
de la Resultados
Formativo Humanos Materiales Formativo
Enseñanza

Informe de Autoevaluación

FASE
VISITA
VISITA A
A LA
LA TITULACIÓN
TITULACIÓN
EVALUACIÓN DEL
DEL COMITÉ
COMITÉ EXTERNO
EXTERNO
EXTERNA
Informe de Evaluación Externa
Comité de Autoevaluación
FASE
Áreas de Mejora
23
FINAL Plan de Mejoras
Modelo de Evaluación de la ANECA
- ESQUEMA DEL MODELO DE EVALUACIÓN -
OBJETIVOS
PROGRAMA FORMATIVO
PLANIFICACIÓN
PLANIFICACIÓN
DEL
DEL P.F.
P.F. ORGANIZACIÓN DE LA ENSEÑANZA
COMUNICACIÓN
COMUNICACIÓN Gestión deGestión Gestión
de de
Y
Y DIFUSIÓN
DIFUSIÓN recursos horarios de
procesos
clase
Gestión plan de estudios (contenido, coherencia,
flexibilidad, factibilidad, revisión y actualización) Perfil de egreso: M
conocimientos y E
Proceso de captación y competencias J
Proceso enseñanza -aprendizaje
selección de alumnos O
R R
Metodología Metodología Prácticas E A
Perfil de ingreso: ALUMNO DE Movilidad
enseñanza - evaluación externas EGRESADO S
conocimientos NUEVO aprendizaje U C
y competencias INGRESO L O
Formación integral T N
SOCIEDAD A T
D Í
Programas Programas Programas Programas Actividades
O N
de acogida apoyo al orientación de acción formación
aprendizaje profesional tutorial integral S U
A

Resultados Aulas
de I+D+I M
R R A Bibliotecas
H
E E T
U
C C E Espacios de trabajo alumnos
M
U U R
PDI A
R R I Espacios de trabajo RRHH
N
S S A
O
O O Infraestructuras destinadas
PAS S L
S S a prácticas externas
E 24
S Laboratorios, talleres y
espacios experimentales
 FUNDAMENTACIÓN
DE LOS JUICIOS DE VALOR

* Estadísticas de Gestión:
Alumnos, Profesores, Recursos, ....
* Documentos:
Planes de Estudio, Guías Académicas, Reglamentos,
Protocolos de exámenes, Actas órganos de gobierno,
Encuestas de opinión, memorias, estudios, ...
* Opiniones de implicados:
Dirección Centro/Departamentos, alumnos,
profesores, graduados, empleadores, ...
* Conocimiento del propio Comité

EVIDENCIA: Datos objetivos - Consenso intersubjetivo

25
 Contenido del Autoinforme
LO
LO DESCRIPTIVO
DESCRIPTIVO
1.
1.Información
Informaciónobjetiva
objetiva(cuantitativa
(cuantitativaoocualitativa)
cualitativa)
2.
2.Información
Informacióndocumentada
documentadabasada
basadaen enopiniones
opiniones
miembros
miembroscomunidad
comunidad

LO
LO VALORATIVO
VALORATIVO
3.
3.Inferencias/juicios
Inferencias/juiciosapoyados
apoyadosen
endatos
datosy/o
y/o
documentación.
documentación. ++//-- EVIDENCIA
EVIDENCIA
4.
4.Inferencias/juicios
Inferencias/juiciossin
sinapoyo
apoyoen
endatos
datosy/o
y/o
documentación.
documentación. ++//-- CONSENSO
CONSENSO
26
 El proceso de acreditación

ACREDITACIÓN
ACREDITACIÓNDE DELAS LASTITULACIONES
TITULACIONES
CRITERIOS
CRITERIOS--ANECA ANECA
1. Programa formativo: objetivos y plan de estudios
2. Organización
de la enseñanza:
• Dirección y planificación
6. Resultados: • Gestión y organización
• del programa
• de los egresados
• en la sociedad
ACREDITACIÓN

5. Proceso formativo: 3. Recursos humanos:

• Atención al alumno y • Personal académico
formación integral • PAS
• Proceso enseñanza-aprendizaje

4. Recursos materiales: 27
Aulas, espacios de trabajo, laboratorios, biblioteca
Protocolo para la elaboración del IA

Descripción de la situación

1.1. Objetivos del programa formativo

El programa formativo tiene definidos sus objetivos entre los

que se encuentran los conocimientos y las capacidades que
los alumnos debe tener al concluir sus estudios.

28
Protocolo para la elaboración del IA

Valoración semicuantitativa

1. PROGRAMA FORMATIVO

A B C D EI

1.1. Objetivos del programa formativo

El programa formativo tiene definidos sus objetivos entre los

que se encuentran los conocimientos y las capacidades que los
alumnos deben tener al concluir sus estudios.

29
Protocolo para la elaboración del IA

Fortalezas, debilidades
y propuestas de mejora

1. PROGRAMA FORMATIVO

FORTALEZAS DEBILIDADES PROPUESTAS DE MEJORA URGENCIA IMPORTANCIA

30
 Enlaces Web sobre calidad:
1.- Asociación Española de la Calidad, www.aec.es
2.- European Foundation for Quality Management (EFQM). www.efqm.org
3.- International Standardizaron Organization (ISO), www.iso.ch
4.- Entidad Nacional de Acreditación (ENAC). www.enac.es
5.- Asociación Española de Normalización (AENOR). www.aenor.es
6.- Proyecto Norma de Calidad. www.ongconcalidad.org
7.- Comunidades autónomas:
•Fundación Vasca para la Calidad, www.esukalit.net
•Fundación Navarra para la Calidad, www.gnavajra.com
•Fundación Valenciana para la Calidad, http://turia.gva.es/fvq
•Club Asturiano de Calidad, www.club-calidad.es
•Institut Balear de Desenvolupament Industrial, www.idi.es
8.- Investors in People. www.investorsinpeople.com
9.- European Organization for Quality (EOQ). www.eoq.org
10.- TÜV Rheinland. www.tuv.es
11.- Bureau Veritas. www.bureauveritas.com
12.- Club de Gestión de la Calidad, http://www.clubcalidad.es/
13.- Instituto de la Calidad Turística Española (ICTE). www.icte.com
14.- Madrid Excelente, www.madridexcelente.com
15.- Un buen glosario de temas de calidad lo encontrareis en www.qualityadvisor.com
16.- Observatorio de Calidad para los Servicios Públicos, www.ocsp.arrakis.es
17.- European Society for Quality in Health Care. http://www.esqh.net/
18.- Fundació Avedis Donabedian, www.fadg.org
19.- La página del proyecto de Responsabilidad Social. www.accountability.org
20.- La página del proyecto Sphere. www.sphereproject.org
21.- La página del proyecto de la ONU. www.unglobalcompact.org
22.- ANECA. www.aneca.es
23.- The European Network for Quality Assurance in Higher Education (ENQA). http://www.enqa.net/
24.- Instituto Nacional de evaluación y calidad del sistema educativo. http://www.ince.mec.es/
25.- Consejo de Coordinación Universitaria. http://www.mec.es/consejou/calidad/index.html
31