CONTRUYENDO LA CALIDAD.

INDICADORES Y CRITERIOS DE CALIDAD PARA LA EDUCACIN A DISTANCIA

Por: Martha Georgina Ley Fuentes Universidad de Guadalajara Sistema de Universidad Virtual

Introduccin
La necesidad de evaluacin de las instituciones universitarias parece obvia. La educacin es una actividad propositiva, intencional y, en consecuencia, la determinacin de si se logran, y en qu grado, las metas es un elemento constitutivo de la propia accin. No sera razonable desentenderse de los efectos que justifican la actividad. Pero, dado que en la evaluacin universitaria se proyecta, como antes afirmaba, la evaluacin desarrollada en el mbito econmico, se corre el riesgo de que, al trasladar acrticamente los procedimientos propios del control econmico de la Universidad, puedan distorsionarse los propios procesos educativos y de la produccin cientfica, considerndolos como un caso particular de la produccin de bienes y servicios en la perspectiva econmica. Como afirma Mora (1991), al referirse a la situacin britnica, es necesario acabar con la mentalidad obsesiva de autoanlisis y autojustificacin permanente. El objetivo general de esta propuesta se centra en el desarrollo y validacin de un modelo de calidad, de acuerdo a indicadores relevantes y utilizables para la evaluacin de Instituciones de Educacin Superior que ofrecen educacin a distancia.

Consideraciones cobre el concepto de indicador

El diccionario de la Real Academia Espaola define la palabra indicador como aquello que indica o sirve para indicar. El mismo, seala que la palabra indicar nos permite mostrar o significar una cosa con indicios y seales. Es decir, el indicador o los indicadores permiten advertir, a partir de un fenmeno, la presencia de otro u otros an no percibidos. Es desde esa perspectiva que se conciben los indicadores como instrumentos que permiten ver pero tambin prever; conocer, pero, a la vez, inferir las consecuencias de ese conocimiento. En el mbito de la educacin los indicadores han servido como aspectos clave en la planeacin, definicin, desarrollo e implementacin de polticas. Esta situacin se da a partir de esta virtud que tienen los indicadores de mostrar anticipadamente algunas situaciones y de construir escenarios futuros, abriendo tambin la posibilidad no slo de conocerlos sino, en su caso, transformarlos. Es innegable que la aplicacin de indicadores ha derivado en la posibilidad de reorientar el trabajo acadmico y administrativo redefiniendo cada uno de ellos y dotndolos de un nuevo sentido. En la actualidad, muchas de las reformas dadas en estos dos mbitos (academia-administracin) parten de la informacin arrojada de un nmero determinado de indicadores, pues stos, permiten contrastar el fin de una actividad con la calidad de sus resultados.

En este sentido, la implementacin de indicadores ha respondido no slo a una necesidad institucional sino que es ms bien a la inversa: la aparicin y preponderancia que han cobrado reside en el reclamo de organismos nacionales e internacionales. Dicho reclamo parte precisamente del inters de contar con elementos suficientes que les permitan justificar la distribucin de los recursos y el apoyo que prestan a programas y proyectos que de ella se derivan. Es bajo esta ptica, que los indicadores buscan por una parte mejorar la informacin hacindola confiable y, por otra, establecer la posibilidad de que sta sea comparable entre instituciones y pases. As lo sostiene el Laboratorio Latinoamericano de Evaluacin de Calidad de la Educacin, el cual seala que no slo "La apreciacin del nivel y la calidad de la educacin por medio de la medicin y evaluacin, cobran cada vez mayor importancia [sino que esto se da] en la medida en que los pases reconocen las ventajas de establecer y comparar sus rendimientos dentro de un contexto internacional". Aparicin de los indicadores Dice Ana Mara Corvaln que "las primeras propuestas de indicadores en la regin surgen con mayor nitidez a partir de los aos 80, promovidas por la UNESCO". Sin embargo, su aparicin data de la dcada de los sesenta cuando se hace especial nfasis en el ingreso, permanencia y egreso en el sistema educativo latinoamericano. En la actualidad, el uso de indicadores se est generalizando y esta generalizacin es producto de la exigencia de contar con elementos que permitan evaluar y garantizar la calidad, la equidad y la pertinencia acadmicas. La preocupacin por medir el nivel de los resultados alcanzados en el proceso de formacin ha traspasado las barreras. Ahora no slo se hace necesario establecer indicadores para la educacin presencial, sino que es imprescindible hacerlo para aquellas opciones alternativas de educacin como lo son la educacin abierta y a distancia. La misma Corvaln, cuyas reflexiones se centran no obstante en la educacin presencial, considera que "uno de los desafos importantes es construir un conjunto de indicadores bsicos acordados por los pases sobre la calidad de la formacin docente inicial que facilite la evaluacin y el mejoramiento de la situacin actual", aspecto que bien puede ser aplicado a la educacin abierta y a distancia Sin duda, el problema central al que se enfrenta este tipo de educacin en su bsqueda por evaluar la calidad de sus procesos, se halla en la construccin de indicadores, los cuales debern dar cuenta de los objetivos centrales que la educacin a distancia se ha planteado en Mxico y gran parte de Amrica Latina: Potencializar la capacidad de la escuela. Familiarizar al individuo con el uso de las nuevas tecnologas. Diversificar la educacin Ampliar la cobertura extendiendo los espacios educativos Atender a grupos marginados Motivar el aprendizaje continuo y permanente Actualizar el conocimiento

Indicadores de calidad Esta concepcin proporciona unas bases claras para la evaluacin de la calidad, ya que permite determinar con cierta precisin indicadores identificados con criterios y predictores de funcionalidad, eficacia y eficiencia, susceptibles, en muchos casos, de cuantificacin. Asimismo, la constatacin de incoherencias entre los componentes bsicos de una institucin universitaria o de la educacin superior en una determinada comunidad, constituye el mejor punto de partida y la gua ms precisa para tomar decisiones optimizantes en una direccin especfica. En consecuencia, se propone agrupar y ordenar los indicadores de funcionalidad, eficacia y eficiencia de la siguiente manera:
Funcionalidad

La determinacin de los indicadores de funcionalidad, aplicables fundamentalmente a los niveles de institucin y de sistema universitarios, plantea dificultades en las sociedades pluralistas y democrticas, dados, por un lado, la diversidad de valores, aspiraciones y necesidades sociales que coexisten en ellos y, por otro, la falta de acuerdo sobre las metas educativas deseables. En todo caso, existen tcnicas para determinar los niveles de aceptacin de los valores, metas y productos de las instituciones universitarias, base principal de los indicadores de funcionalidad. Estos ndices pueden agruparse en cuatro categoras: Los que expresan relaciones entre los inputs o entradas al sistema universitario y los valores sociales: sistemas de reclutamiento de alumnos y profesores; equidad de acceso (qu alumnos ingresan, y especialmente quines encuentran barreras); equidad en la asignacin de recursos humanos, materiales y econmicos; demanda de inscripcin; etc. Los que expresan relaciones entre estructura, procesos directivos y de gestin, investigadores, evaluativos, curriculares e instructivos en las instituciones universitarias y los valores, expectativas y necesidades sociales: estructura de autoridad y participacin en el sistema decisional en el centro; clima institucional; validez cultural, social y laboral del currculum y de los programas acadmicos; validez curricular del sistema de evaluacin; etc. Los que expresan relaciones entre producto y resultados de los programas acadmicos, y expectativas y necesidades sociales: adecuacin en cantidad y modalidad de los graduados; vigencia de conocimientos, aptitudes y competencias adquiridos; relevancia de valores y actitudes, relevancia de la aportacin cientfica investigadora, etc. Los que expresan relaciones entre metas y objetivos de la educacin universitaria y las aspiraciones, expectativas y necesidades y demandas de formacin superior en la sociedad. El problema para la determinacin de los indicadores incluidos en este grupo es la falta de acuerdo y consenso sobre las metas sociales relevantes y las metas universitarias pertinentes.
Eficacia

La determinacin de los indicadores de eficacia se apoya fundamentalmente en la evaluacin del producto, tomando como instancia de referencia las metas y objetivos del sistema o de la institucin. La dificultad aqu proviene, de una parte, de la ambigedad inherente a las propias metas y objetivos educacionales y, de otra, de la deficiente conceptualizacin del producto (de la Orden, 1985 b). Resulta, por tanto, ineludible profundizar en el anlisis del rendimiento educativo para progresar en la identificacin de sus dimensiones bsicas y llegar a definiciones operativas.

Eficiencia

La determinacin de los indicadores de eficiencia se apoya fundamentalmente en la valoracin de los costos de todo orden (personales, temporales, sociales, materiales, econmicos, renuncia a otros logros, etc.) que suponen los resultados obtenidos. Se trata, pues, de expresar la relacin medios-logros y su dificultad radica tambin en el carcter elusivo y ambiguo de estos conceptos en el mbito universitario. Segn se definan e identifiquen los inputs y outputs, se configuran tres grandes categoras de ndices de eficiencia universitaria (Lindsay, 1982): Econmica (productividad de la educacin como formacin de capital y recursos humanos). Administrativa y de gestin (organizacin de recursos para ofrecer los servicios de educacin e investigacin y de extensin universitaria). Pedaggica (coherencia de profesores, instruccin, tiempo y recursos de enseanza, etc., a los resultados educativos).

Tendencias internacionales
Pautas canadienses recomendadas para e-learning Estas pautas se pensaron para ayudar a los que deseen disear, distribuir, evaluar y comprar productos y servicios de e-learning de calidad para los estudiantes y sus patrocinadores o asesores. Las caractersticas dominantes de estas pautas son que ellas son: a. Orientadas para el consumidor - Desarrollado con particular atencin en la devolucin de la inversin en e-learning para los aprendices. b. Consenso-basado - Desarrollado en la consulta, con un equilibrio de los grupos de abastecedores y consumidores en Canad y ms all. c. Comprensivo - inclusive de todos los elementos del sistema de aprendizaje: resultados y salidas, procesos y prcticas, entradas y recursos. d. Futurista - Describiendo un futuro preferido ms que las circunstancias actuales del diseo y la distribucin. e. Distintivo canadiense - reflejo de los ms altos valores canadienses y las prioridades de aprendizaje. f. Adaptable - utilizado lo mejor posible para la educacin y el entrenamiento postsecundario del adulto, pero adaptable a otros niveles de los servicios de aprendizaje. g. Flexible - no todas las pautas se aplicarn en todas las circunstancias. h. Estas pautas son recomendadas por las agencias nacionales e internacionales siguientes: i. Consorcio Alberta en lnea. j. Asociacin para los medios y la tecnologa en la educacin en Canad. k. Asociacin canadiense para la educacin de la comunidad. l. Asociacin canadiense para la educacin a distancia. m. La Riqueza comn del aprendizaje. n. Licf, Tele Universidad. o. Oficina de tecnologas del aprendizaje, desarrollo de recursos humanos Canad. p. SchoolNet, Industra Canad.

Indicadores y criterios de la educacin a distancia en Europa El Informe Europeo sobre la calidad de la Educacin Escolar seala en su introduccin que la calidad de la educacin y la formacin es una cuestin de la mayor importancia poltica. La calidad de la enseanza resulta esencial para las polticas relacionadas con el mercado de trabajo y la libre circulacin de los trabajadores en la Unin Europea. En 1997 hubo iniciativas que prepararon el terreno para la realizacin del proyecto piloto sobre la evaluacin de la enseanza escolar que entre 1997 y 1998 se realiz en 101 centros de enseanza secundaria en toda Europa. Este informe est estructurado en torno a diecisis indicadores seleccionados por el grupo de trabajo en colaboracin con la Comisin (expertos nacionales). Dichos indicadores abarcan cuatro grandes mbitos: el nivel alcanzado, el xito y la transicin escolar, el seguimiento de la educacin escolar y los recursos y estructuras educativos. Los indicadores se enmarcan en cuatro mbitos: 1. Nivel alcanzado. Este mbito incluye siete indicadores, donde para algunos campos (Matemticas, tecnologas de la informacin) la evaluacin de dichas materias es fcil. En el otro extremo, el indicador "aprender a aprender" incluye una serie de competencias mucho menos fciles de evaluar; no obstante es un indicador fundamental. 2. xito y transicin. Esta categora incluye tres indicadores especialmente importantes desde el punto de vista poltico y estrechamente relacionado: la tasa de abandono escolar, la finalizacin de la educacin superior y la participacin en la educacin superior. 3. Seguimiento de la educacin escolar. Esta categora se refiere a la participacin de las partes interesadas y son la evaluacin y conduccin de la educacin escolar y la participacin de los padres. 4. Recursos y estructuras. Esta categora aborda aspectos importantes de la infraestructura: gasto educativo por estudiante, educacin y formacin de los profesores, participacin en la educacin infantil y nmero de estudiantes por ordenador.

Propuesta de un modelo de evaluacin

El proyecto se ofrece a partir de un modelo de calidad en programas educativos realizados en la modalidad a distancia, asociado con una estrategia de intervencin institucional y a un proceso de control de gestin operacional para poder cumplir con una intencin valorativa inicial, una consecuente estrategia de ajuste y ,posteriormente, proponer la implantacin un conjunto de actividades, instrumentos y responsabilidades que permitan efectuar la valoracin de la calidad y pertinencia de los programas que ofrece el Sistema de Universidad Virtual de manera continua, sistemtica y eficaz. Problemas en la calidad que hay que resolver El 70% de las fallas y la baja calidad de los programas educativos asncronos o a distancia se deben primordialmente a: Problemas derivados de una deficiente planeacin financiera, y estudios de factibilidad. A la usual prctica de construir primero el programa y luego buscar los posibles usuarios. A la falta de criterios uniformes para instrumentar los programas en la red. Limitaciones tecnolgicas locales y regionales, sobreestimacin del rendimiento de la red.

Construyendo la Calidad. Principios del modelo Los estudiantes son prioridad los programas deben atender las necesidades con una visin orientada al aqu, ahora y maana. Enriquecer las experiencias de los estudiantes incorporando investigacin y aprendizaje activo al currculum. Poner a trabajar el conocimiento y la experiencia en la solucin de problemas de nuestras comunidades. Criterios para definir el modelo 1. Definir nuestros estndares de calidad 2. Seleccionar los estndares internacionales mas generalizados. 3. Incluir estndares internacionales en nuestra definicin. 4. Actuar superando lo definido y ofreciendo un valor agregado. Los indicadores e ndices de desempeo que conforman el modelo Se considera importante considerar el establecimiento de indicadores de desempeo en las siguientes actividades bsicas y aspectos de cada uno de los programas del SUV: Delimitacin de: Momento social en el que se plantea el programa Capacidad institucional para llevar a cabo eficazmente el programa Espacios laborales reconocibles para egresados del programa Metas y objetivos del programa. Agentes Insumos tecnolgicos Insumos pedaggicos. Servicios educativos Servicios de apoyo administrativo Servicios de apoyo tcnico Produccin de recursos educativos Produccin de recursos tecnolgicos Efectividad en los servicios educativos ofrecidos Eficacia y oportunidad de los servicios de apoyo tcnico Eficacia y oportunidad de los servicios de apoyo administrativo Con otros programas de la red universitaria Con programas externos Con instancias universitarias de apoyo tcnico o administrativo Con organizaciones u organismos externos de apoyo tcnico o administrativo. Con instancias de apoyo financiero

Incorporacin de:

Realizacin de:

Seguimiento de:

Vinculacin:

Todo ello con el fin de efectuar el anlisis de la operacin del programa y asumir la determinacin de ajustes que permitan una mejora en su funcionamiento. Algunos criterios de evaluacin susceptibles de emplearse en la determinacin de tales indicadores son la eficacia, la pertinencia, la oportunidad, la suficiencia, la claridad, la accesibilidad, la cobertura de los insumos, recursos, actividades, servicios y productos de nuestros programas educativos.

Hasta ahora, se han utilizado casi exclusivamente indicadores de eficiencia y eficacia bajo el nombre genrico de indicadores de rendimiento, sin una referencia clara a una teora o modelo de calidad universitaria. Nuestra aportacin, adems de este modelo terico, consiste en destacar los indicadores de funcionalidad, de importancia capital, superando las diversas concepciones parciales de calidad universitaria (Mora, 1991; Harvey y Green, 1993). Modelo de evaluacin propuesto Una visualizacin esquemtica y simplificada del modelo de evaluacin propuesto es la siguiente:
Seguimiento

Efectividad en los servicios educativos ofrecidos. Eficacia y oportunidad de servicios de apoyo tcnico. Eficacia y oportunidad de los servicios de apoyo administrativo. los

Con otros programas de la red universitaria. Con programas externos. Con instancias universitarias de apoyo tcnico o administrativo. Con organizaciones u organismos externos de apoyo tcnico o administrativo. Con instancias de apoyo financiero Vinculacin

Produccin de recursos tecnolgicos Produccin de recursos educativos

Insumos pedaggicos
Servicios de apoyo educativo Servicios educativos

Programas acadmicos del SUV

Insumos tecnolgicos
Produccin de recursos educativos Servicios de apoyo administrativo

Agentes

Segn nuestro modelo, la eficacia por si misma no garantiza la calidad de la educacin universitaria, ya que los objetivos logrados pueden no representar las opciones ms relevantes. Ms an, una institucin con un mximo de eficacia y eficiencia, es decir, coherencia completa entre todos los componentes representados en el modelo del sistema, excepto las expectativas y necesidades reales de educacin superior de los individuos y de la sociedad (perfil axiolgico y aspiracional), resultara un instrumento perfecto para realizar una funcin diferente de aquella para la que ha sido establecido.

Conclusiones
En la bsqueda de criterios e indicadores especficos que den respuesta a las preguntas que se plantea la evaluacin de la calidad de la formacin en entornos especficos, con medios especficos y dirigida a personas con un perfil diferente a del los estudiantes presencial. A menudo el enfoque es todava parcial y podemos encontrar mecanismos de evaluacin de la actividad docente y de la calidad de materiales, de las plataformas tecnolgicas o de la satisfaccin del estudiante. Los enfoques de tipo ms global se dividen, en este momento en dos grandes tendencias: a) Los sistemas de evaluacin de la calidad centrados en modelos de calidad estndar (TQM, EFQM, etc). El EFQM es una herramienta de auto-evaluacin que se basa en los principios del Total Quality Management (TQM) y las herramientas de la calidad. El EFQM ya ha sido implementado en Europa en alrededor de 5000 instituciones educativas. b) Los sistemas basados en la prctica del benchmarking, que pretenden dar herramientas e indicaciones para mejorar las prcticas a partir de la observacin, la comparacin y la cooperacin basada en las buenas prcticas. En esta lnea se encuentran las Guidelines del Council of Regional Accredited Comissions de los Estados Unidos o el proyecto Benvic de la Comisin Europea. En cualquier caso, el camino no ha hecho ms que empezar, que la formacin a distancia (virtual, en lnea, etc.), sea una formacin de calidad, equiparable o superior a la enseanza presencial tradicional lo dir el tiempo y la investigacin educativa.

10

Referencia bibliogrficas
Barker,K. (2002). FuturEd Canadian Recommended E-learning Guidelines (CanREGs). http://www.amtec.ca/site/publications/reports/CanREGsEng.pdf Coronado, Gerardo (2004). Innova. Proyecto de evaluacin. Universidad de Guadalajara. Corvaln, Ana Mara. (2000) El uso de indicadores: requisito fundamental para alcanzar la educacin en el ao 2002 http://www.unesco.cl/pdf/actyeven/ppe/boletin/artesp/46-1.pdf Duart, J.M.; Sangr, A. (2000). "Formacin universitaria por medio de la web: un modelo integrador para el aprendizaje superior". A: DUART, J.M.; SANGR, A. (comps.) Aprender en la virtualidad. Barcelona: Gedisa. Harvey, I y Green, D. (1993). Defining quality. Assessment and Evaluation in Higher Education, 18 (1), 9-34. Lindsay, A.W. (1982). Institucional performance in higher education: The efficiency dimension. Review of Educational Research, 52 (2), 175-199. Mora, J.P. (1991). Calidad y rendimiento en las instituciones universitarias . Madrid: Consejo de Universidades.

11