PROGRAMA ECAES FUNLAM 2009

Fechas: Junio 17 y 18 de 2009 Responsable: Mara Victoria Agudelo Vargas

CONTENIDO

Contextualizacin: antecedentes y marco legal Algunas precisiones conceptuales Elementos tcnicos para la elaboracin de preguntas Tipos de preguntas

CONTEXTUALIZACIN: ANTECEDENTES Y MARCO LEGAL

Contextualizacin: Antecedentes y Marco Legal

Las reformas educativas de las dos ltimas dcadas han obedecido a varios factores: Exigencias internacionales Nuevos modelos econmicos mundiales Polticas de los ltimos gobernantes:

Propuestas de cambio socio econmico soportadas en lo educativo

Finales de las dcada de los 60s se propuso evaluacin para algunos profesionales pero avanz de manera aislada y no como estrategia de gobierno. Facultades de medicina (actualizacin y renovacin de saberes)

Contextualizacin: Antecedentes y Marco Legal A mediados de la dcada de los 90s se hace operativa esta iniciativa teniendo como marco legal los artculos 67 y 189 numeral 11, 21 y 22 de la constitucin poltica y la ley 30 de 1992 En esta ltima se contempla, entre otras cosas, la definicin de estndares de calidad para la creacin y funcionamiento de programas acadmicos de pregrado para carreras de alto impacto social. Y se proponen el diseo de exmenes de estado, orientados a evaluar los niveles de conocimiento y competencia de los egresados de las distintas profesiones

ANTECEDENTES
Los Exmenes de Calidad de la Educacin Superior en Colombia se remontan a 1996, cuando el Plan Nacional para la Educacin Superior en Colombia, conocido como el Plan Bsico recomend exmenes para profesionales graduados con el fin solucionar problemas con acreditacin acadmica, transferencias y candidatos a estudios superiores.

En las dcadas 80s y 90s el ICFES en compaa de otras instituciones estatales, Asociaciones de Facultades y Universidades desarrolla proyectos para elaborar exmenes para egresados. En el Plan de Gobierno 1990-1994 el ICFES adelant el proyecto que defini la estructura de exmenes para Derecho, Medicina y Contadura (se dan las bases para convenios que conlleven a la elaboracin de tales exmenes).

Antecedentes
Ao 1995. Se establece la obligatoriedad de exmenes de calidad para egresados de pregrado, como propuesta de la Misin Nacional para la Modernizacin de la Universidad Pblica. Ao 1998. Se concreta el diseo y construccin de las pruebas en Ingeniera Mecnica, las cuales fueron experimentadas y ajustadas para su aplicacin en el ao 2002.

Antecedentes

Ao 2002. El Plan Estratgico de Educacin 2000-2002, presenta los Exmenes de Estado de Calidad de la Educacin Superior como programa para orientar el mejoramiento de la calidad y transparencia de la Educacin Superior, se expiden los decretos 1716, 2233 de 2001 y 1373 de 2002, que reglamentan los Exmenes de Estado para: Medicina, Ingeniera Mecnica y Derecho, que se aplicaron en el segundo semestre de 2002

Antecedentes
Ao 2003. El ICFES abre convocatorias para la elaboracin, construccin y diseo de los ECAES que se aplicaron a 27 programas de pregrado, distribuidos as:
CIENCIAS DE LA SALUD: Enfermera, fisioterapia, fonoaudiologa, medicina, nutricin y diettica, odontologa, optometra y terapia ocupacional. INGENIERA, ARQUITECTURA, URBANISMO Y AFINES: Arquitectura e ingenieras: qumica, de materiales, metalrgica, ambiental, agrcola, civil, de minas, de alimentos, de sistemas e informtica, elctrica, electrnica, industrial, mecnica, de telecomunicaciones, geolgica e ingeniera agronmica-agronoma. CIENCIAS SOCIALES Y HUMANAS: Derecho y psicologa.

Antecedentes
En diciembre de 2003 se abre nueva convocatoria para ECAES en: Bacteriologa, Administracin, Economa, Contadura, Licenciatura en Educacin Preescolar, Licenciatura en Educacin Bsica Primaria, Licenciatura en Educacin Bsica, nfasis en Matemticas, Licenciatura en Educacin Bsica nfasis en Humanidades y Lengua Castellana, Licenciatura en Lenguas Modernas, Medicina, Veterinaria y Zootecnia, Comunicacin e Informacin y Trabajo social. Cobertura para el ao 2004 43 programas

QU SON LOS ECAES?

Son pruebas acadmicas de carcter oficial, que tienen por objeto, entre otros, la comprobacin de niveles mnimos de aptitudes y conocimientos lo que permite a partir de los resultados de los estudiantes en los exmenes, construir indicadores para evaluar

la calidad de las instituciones de educacin superior y

la homologacin y convalidacin de ttulos de estudios de educacin superior realizados en el exterior (decreto 1372, julio de 2002 MEN).

PARA QU SON LOS ECAES?

Comprobar niveles de conocimientos en los campos de formacin bsicos y profesionales. Servir como instrumento para la homologacin y convalidacin de los ttulos de educacin superior realizados en el exterior. Comprobar el grado de desarrollo de competencias profesionales. Servir de fuente de informacin para la construccin de indicadores de evaluacin del servicio pblico, con el fin de alcanzar los estndares mnimos de calidad.

QUIN TOMA EL EXMEN?

Este examen es obligatorio para estudiantes de ltimos semestres y opcional para los profesionales

que quieran autoevaluarse.

CMO EVALA?
A travs de una prueba objetiva tipo test, constituida
por un conjunto de preguntas que apuntan a evaluar las competencias genricas de la formacin y

profesional

(interpretativas,

argumentativas

propositivas), respecto de las

reas de formacin

bsica y profesional, a travs de preguntas de seleccin mltiple con mltiple respuesta, con nica respuesta y de anlisis de relacin.

I. ALGUNAS PRECISIONES CONCEPTUALES

QU ES UN TEST?

Es un procedimiento sistemtico para medir una muestra de conducta individual Medir es en esencia diferenciar (comparar) El instrumento de medida es slo una de las fuentes de informacin til en la toma de decisiones, tal vez la ms rpida por el proceso sistemtico que implica su construccin. Pero las pruebas no son instrumentos perfectos.

Cules son las caractersticas tcnicas de un instrumento de medida?

Objetividad: asociado al patrn de medida, hace referencia a la calificacin. Se obtienen siempre los mismos resultados independientemente del calificador Validez: asociada a la relevancia, pertinencia de la prueba. Hace referencia a que se cumpla con el propsito para el cual fue construida

Cules son las caractersticas tcnicas de un instrumento de medida?

Confiabilidad: asociada a la exactitud de la medida. Hace referencia que los puntajes que provee la prueba sean estables

Poder de discriminacin: asociado al nivel de dificultad de la prueba. Hace referencia a la sensibilidad que tiene el instrumento para discriminar a los individuos que tienen las caractersticas de los que no la tienen

II. PASOS PARA EL DISEO DE PREGUNTAS

QU DEBE ESPECIFICAR LA PREGUNTA?

1. 2.

rea Tema

3.
4. 5. 6.

Subtema
Competencia a evaluar Tipo de pregunta Definicin del concepto fundamental que se evaluar a travs de la pregunta

EJEMPLO DE REAS, TEMAS Y SUBTEMAS QUE SE EVALUARN EN ADMINISTRACIN

rea: ADMISTRACIN DE RR.HH. (Recursos Humanos) Tema: SELECCIN DE PERSONAL Subtemas: Tcnicas de Seleccin Evaluacin Psicotcnica Entrevista de Personal

OBSERVACIN
Al momento de disear la estructura de la pregunta, tenga en cuenta que la evaluacin por competencias exige la especificacin de los contenidos y las competencias, ms

especficamente, el nivel de los desempeos.

Si no se considera lo anterior en la construccin

de preguntas, se estara evaluando contenidos, aunque de manera ms sofisticada.

COMPETENCIA
Saber- hacer flexible que puede actualizarse en distintos contextos.

Capacidad para el desempeo de tareas relativamente nuevas, en el sentido que son distintas a las tareas de rutina que se hicieron en clase o que se plantean en contextos diferentes a aquellos en los que se ensearon.
Cuando se evala por competencias, se pretende conocer no solo qu tanto sabe el estudiante, sino qu tanto sabe hacer con lo que sabe.

 Cmo se transforma una pregunta construida para evaluar un proceso de recuerdo (memoria) en una pregunta contextualizada que requiere una competencia interpretativa?

SIN CONTEXTO

CONTEXTUALIZADA

El valor humano fundamental para el existencialismo sartriano es:

A. B. C. D. E.

La libertad El amor La razn El trabajo La voluntad

Sartre afirma que la libertad es absoluta y en virtud de ella el hombre se hace completamente responsable de sus actos, sin desconocer su carcter cotidiano o determinado. El hombre, que no existe sino en situacin, acta siempre en circunstancias concretas, donde las cosas, el entorno y los dems seres humanos se convierten en los autnticos limites de su libertad, otorgndole a sta su sentido y valor. La libertad para Sartre es por consiguiente:

A. Un principio formal y universal que debe ser respetado B. Una experiencia interior que determina la autonoma humana C. Un acto de eleccin que adquiere un sentido por la conciencia D. Una experiencia que se define en relacin con la realidad E. Un valor objetivo que orienta mi conducta moral.

Tipologa de las Competencias

BSICAS: capacidades intelectuales indispensables para el aprendizaje de una profesin (cognitivas)
GENRICAS: son la base comn de la profesin o situaciones de la prctica profesional que requieren respuestas complejas (metodolgicas) ESPECFICAS: son la base particular del ejercicio y estn vinculadas a condiciones especificas de la ejecucin (tcnicas)

TIPOLOGA DE LAS COMPETENCIAS

FUNDAMENTALES: intelectivas, valorativas, psicomotoras, etc.
INTEGRATIVAS: creativas, crticas, comunicativas, acadmicas, etc. ESTRATGICAS: interpretativas, argumentativas, propositivas, etc.

COMPETENCIAS QUE EVALAN LOS ECAES

Competencia interpretativa: Se evala la capacidad de comprensin de un texto, problema, esquema, grfico o mapa y se le pide al sujeto evaluado que decida cual de las interpretaciones ofrecidas en las alternativas de respuesta, es la mejor.

Competencia argumentativa:
Se indaga por la capacidad de reconocer y diferenciar los distintos argumentos que dan sustento a una idea, a una propuesta, a una tesis, a lo solucin de un caso o un problema y se le pide al sujeto evaluado que establezca la validez y pertinencia de los diferentes argumentos para escoger el mejor. Competencia propositiva: Se cuestiona la capacidad de una actuacin crtica y creativa en el planteamiento de opciones o alternativas encaminadas a generar hiptesis, a solucionar problemas, a establecer generalizaciones y a proponer alternativas de explicacin de un evento.

SI LA EVALUACIN POR COMPETENCIAS PRETENDE INNOVAR, POR QU BASA EN REFERENTES EDUCACIONALES COMO LOS PROPUESTOS POR LA TAXONOMA DE BLOOM (1956)?
Porque la evaluacin por competencias hace nfasis en el contexto y la intencionalidad de la pregunta, ms no en su estructura bsica. (Enunciado y alternativas) la cual se conserva, admitiendo que existen tipos de preguntas ms adecuados segn se evalen contenidos o competencias

Por esto, es importante comprender que el contexto en una pregunta se refiere a las variables que caracterizan la situacin ilustrada, que puede ser terica o epistemolgico, no necesariamente emprica, pero cuya referencia directa en el enunciado permite al sujeto manipular conceptos para encontrar sentidos, es decir, con lo que sabe, qu tanto puede hacer, en lo emprico y en lo abstracto.

CLAVES PARA FORMULAR PREGUNTAS SEGN COMPETENCIAS

INTERPRETATIVAS (comprender el sentido) De acuerdo con lo anterior se concluye que De acuerdo con el grfico podra decirse que Teniendo en cuenta esto se concluira ARGUMENTATIVAS (explicar la razn de una accin) Dado que Lo anterior se explica porque En tanto que PROPOSITIVAS (proponer una forma de solucin de un problema) La mejor manera de solucionar esto sera Ante esta situacin la mejor decisin es La manera ms vlida de enfrentar esto es

CLAVES PARA POTENCIAR COMPETENCIAS Y ELABORAR PREGUNTAS

INTERPRETATIVA Encontrar el sentido de:
Un texto Una proposicin Un problema Una grfica Un mapa Un esquema
Organizar premisas para sustentar una conclusin Establecer relaciones causales

ARGUMENTATIVA
Dar razn de una afirmacin Explicar de los porqu de una proposicin Articular conceptos y teoras con el nimo de justificar una afirmacin Demostrar matemticamente Conectar reconstrucciones parciales de un texto que fundamenten la reconstruccin global

PROPOSITIVA
Generar hiptesis Resolver problemas Construccin de mundos posibles en el mbito literario Establecer regularidades y generalizaciones Proponer alternativas de solucin de conflictos Confrontar perspectivas presentadas en un texto

III. ELEMENTOS TCNICOS PARA ELABORAR LAS PREGUNTAS

PARTES DEL TEM

Enunciado: hace referencia al contexto que contiene las variables del problema. Puede comenzar con una afirmacin que requiere ser analizada y finalizar con la formulacin de una pregunta directa que retoma los elementos que proporciona el contexto Campo de respuesta: est compuesta por la clave o respuesta correcta y distractores u opciones incorrectas

CUALIDADES DEL ENUNCIADO:

Exponer claramente la tarea que debe realizar el evaluado

Contener la esencia del problema y la informacin necesaria para resolverlo Referirse a una sola idea central Incluir las palabras comunes a las alternativas Desarrollar la pregunta partiendo de ideas importantes. Se recomienda estructurar primero la idea que va a servir de base a la

pregunta (contexto) y luego elaborarla

Evitar la inclusin de elementos accesorios que no contribuyan al planteamiento del problema y puedan crear una falsa dificultad

RESPUESTAS NO CORRECTAS

Son las opciones que no satisfacen las exigencias del enunciado totalmente, deben ser atractivas, es decir no descartables obviamente. La tcnica para elaborarlas es de la siguiente manera: Una afirmacin verdadera pero que no satisface completamente las exigencias del problema.

EJEMPLO DE PREGUNTA SIN CONTEXTO EN EL ENUNCIADO QUE EVALA CONTENIDOS

Tipo de pregunta: Seleccin mltiple con nica respuesta.

Enunciado

La actual tasa de desempleo que vive el pas es de tipo:

Campo de respuesta

A. B. C. D. E.

Estructural Cclico Mixto Desproporcionado Histrico

Ejemplo De Pregunta Contextualizada En El Enunciado, Evala Competencias

Tipo de pregunta: Seleccin mltiple con nica respuesta.
El fenmeno del desempleo urbano comenz a ser importante a finales de los aos 50s y principios de los 60s, es decir, con el incremento de las tasas de crecimiento de la poblacin en las ciudades. En los dos ltimos aos (2001-2002) la tasa de desempleo urbano se ha situado alrededor del 20% una de las ms altas en toda la historia del pas. Ahora bien, hay que distinguir entre un desempleo de tipo estructural y otro de tipo cclico. El primero obedece a desequilibrios de largo plazo entre la oferta y la demanda de trabajo, mientras el segundo halla sus races en el ciclo econmico. Teniendo en cuenta la informacin anterior, podemos caracterizar la actual tasa de desempleo que vive el pas como:

Enunciado (incluye el contexto)

Campo de respuesta A. De tipo estructural porque obedece al flujo normal de movilidad de los trabajadores B. De tipo cclico porque est relacionada con la depresin de la economa nacional C. Mixta porque confluyen factores tanto estructurales como cclicos D. Predominantemente estructural porque se debe a la insuficiencia en la demanda laboral

La lista de alternativas de respuesta requiere:

Presentar opciones correctas donde una de ellas sea ms completa que las otras Que las claves sean colocadas al azar, no siempre en el mismo lugar Evitar el lenguaje altamente tcnico

Ofrecer respuestas plausibles y homogneas

Que las opciones tengan similar extensin: no presentar la clave en la alternativa ms larga y mejor elaborada Eludir la sobreposicin. Ser breve, eliminando todo aquello que no sea esencial. Una frase corta es aconsejable, siempre que no dificulte la comprensin del problema

Ejemplo de una pregunta con errores

Enunciado

Cul de las siguientes afirmaciones acerca de las partes de una planta no es correcta:

Campo de respuesta

Clave

A. La hoja no est encargada de la absorcin ( implica doble negacin) B. La raz tiene pelos (difiere de las anteriores en su extensin) C. El tallo conduce la savia y la flor se encarga de la reproduccin a partir de la polinizacin ( alternativa compuesta) D. La composicin molecular de la savia est basada en el ciclo del carbono ( lenguaje altamente tcnico para el nivel de la pregunta) E. Ninguna de la anteriores ( esta opcin se debe evitar)

Recomendaciones generales:
Evitar las respuestas compuestas No basar la construccin de la pregunta en hechos demasiado especficos No incluir posibles pistas gramaticales, de asociacin verbal, de longitud de las respuestas, etc.

Evitar la existencia de los mismos elementos en la base de la pregunta y en la opcin correcta

No usar como parte de las alternativas ninguna de las anteriores o todas las anteriores Evitar usar dobles o triples negaciones

IV. TIPOS DE PREGUNTAS

TIPOS DE PREGUNTAS
1. 2. 3. 4. Seleccin mltiple con nica respuesta Anlisis de postulados Afirmacin / negacin Seleccin mltiple con mltiple respuesta

5.
6.

Analoga
Laguna

7.
8.

Informacin suficiente
Anlisis de relaciones

Preguntas de seleccin mltiple con una nica respuesta (tipo I)

Estas preguntas se desarrollan en torno a un

enunciado, problema o contexto (un mismo

contexto puede servir a varias preguntas). Cada pregunta consta de un enunciado y cuatro

opciones de respuesta de las cuales el

estudiante deber escoger una (clave) como complemento correcto del enunciado inicial. Cada opcin remite slo a una respuesta.

Tabla para contestar a las preguntas de seleccin mltiple con nica respuesta

A. Correcto B. Correcto, ms completa C. Correcto D. Correcto

EJEMPLO DE PREGUNTA DE SELECCIN MULTIPLE CON UNICA RESPUESTA

El gerente de una organizacin acord verbalmente con un trabajador que ste iniciara labores a partir del 1 de febrero y nunca se acord de manera explicita hasta cuando estara vinculado a la empresa. El trabajador ha prestado sus servicios personalmente, ha recibido su salario y las prestaciones sociales de ley, de igual manera ha respondido diligentemente ante el jefe de la dependencia a la que qued adscrito. De acuerdo con lo anterior el contrato de trabajo que se estableci es: A. B. C. D. a trmino fijo a trmino indefinido de prestacin de servicios por honorarios

Enunciado

Campo de respuesta

Clave

B.

PREGUNTAS DE SELECCIN MLTIPLE CON MLTIPLE RESPUESTA (TIPO IV)

Son preguntas en las cuales hay un enunciado original y le siguen cuatro opciones de respuesta numeradas de 1 a 4. Una sola combinacin de dos de estas alternativas responde correctamente a la pregunta.

Este tipo de preguntas se usa para poner en consideracin una situacin en la que es necesario tener en cuenta dos posibles consecuencias, aplicaciones o condiciones para definirla correctamente.

TABLA PARA CONTESTAR A LAS PREGUNTAS DE SELECCIN MLTIPLE CON MLTIPLE RESPUESTA (TIPO IV) La respuesta correcta se selecciona de acuerdo al siguiente cuadro:

Si 1 y 2 son correctas, marque A Si 2 y 3 son correctas, marque B. Si 3 y 4 son correctas, marque C. Si 1 y 4 son correctas, marque D.

EJEMPLO DE PREGUNTA DE SELECCIN MULTIPLE CON MULTIPLE RESPUESTA

Las teoras organizacionales han evolucionado a lo largo del tiempo permitindonos tener una comprensin cada vez ms compleja y precisa de las diferentes formas organizativas de los seres humanos. Hoy podemos comprender que existen diversos tipos de organizaciones, tomando como referencia diferentes criterios. Algunos de ellos podran ser:

Enunciado

Campo de respuesta

1. 2. 3. 4.

La forma de ejercicio del poder La forma de solucionar conflictos El fin principal de funcionamiento El plan estratgico, misin y visin

Clave

D.

EJEMPLO DE PREGUNTA DE SELECCIN MLTIPLE CON MLTIPLE RESPUESTA

La alta gerencia de una empresa nacional que se ha acogido a la Ley Pez ha solicitado al Departamento de Recursos Humanos la seleccin masiva de personal (50 personas, mano de obra no calificada) para ser realizada en el trmino de 48 horas. El psiclogo de la organizacin debe atender esta demanda considerando, adems del nmero de personas y el tiempo limitado, otras variables asociadas a los procesos de administracin de personal y que resultan comunes a quienes trabajan en este departamento como son la escasez de recursos disponibles ( tcnicos, humanos y financieros), adicionalmente el banco de pruebas y de hojas de vida an est en proceso de organizacin, lo cual hace que slo cuenten con la prueba de personalidad 16 PF y de inteligencia D-70. De otro lado, es importante saber que no todos los perfiles de los cargos estn levantados. De acuerdo a lo anterior, la forma ms eficiente de cumplir con esta solicitud sera: 1. Iniciar la seleccin del personal de cuyos perfiles ya existen, de manera inmediata, aplicando las pruebas y luego las entrevistas personales. 2. Definir de manera rpida y tcnica todos los perfiles de cargos que estn pendientes. 3. Descartar el uso de los test con los que se cuenta y acudir como procedimiento privilegiado a la entrevista clnica. 4. Solicitar por outsourcing los servicios de seleccin de una empresa competitiva del mercado ubicada en el sur occidente colombiano.

Enunciado

Campo de respuesta

Clave

D. Las afirmaciones 2 y 4 son correctas

TABLA PARA CONTESTAR A LAS PREGUNTAS DE ANLISIS DE RELACIN:

Marque A: Si tanto la afirmacin como la razn son verdaderas y la razn es una explicacin correcta de la afirmacin.
Marque B: Si tanto la afirmacin como la razn son verdaderas, pero la razn no es una explicacin correcta de la afirmacin. Marque C: Si la afirmacin es verdadera y la razn es falsa. Marque D: Si la afirmacin es falsa y la razn es verdadera Marque E: Si tanto la afirmacin como la razn son falsas

PREGUNTA DE ANLISIS DE RELACIONES

Afirmacin

Toda empresa es una organizacin, pero no toda organizacin es un empresa

Porque
Razn

Existen organizaciones cuyo propsito principal no es el beneficio econmico, individual y privado a. La afirmacin y la razn son verdaderas y la razn es una explicacin correcta de la afirmacin. Pues existen organizaciones cuyo propsito principal es la autofinanciacin y su objeto es brindar bienestar a una comunidad, por ejemplo las ONGs.

Clave