Está en la página 1de 8

¿Cómo Evaluar el Logro de los Resultados del

Estudiante? Caso: Tecsup - Perú

How to Assess the Student’s Outcomes?


Case Study: Tecsup - Peru

Henry Gómez, Tecsup

Abstract de Ingeniería o Tecnologías de Ingeniería. La definición de los


RE, su alineamiento con los Objetivos Educacionales del Pro-
The assessment of Students Outcomes is one of the main ac- grama (OEP) y la misión de la Institución Educativa (IE); asi la
tivities in the continuous improvement process for enginee- evaluación de las competencias del estudiante, el análisis de la
ring or technology engineering programs. But before asses- información y la implementación de oportunidades de mejora,
sing the Students Outcomes, these activities must be defined constituyen tareas que exigen tiempo y arduo trabajo de parte
and aligned to institutional mission and Educational Program del docente. Estas labores adicionales a la carga académica, si
Objectives. Using the learning capabilities proposed by ABET no se atienden apropiadamente, pueden conducir al fracaso
as a reference for the Students Outcomes definition, these del PMC. 171
must be divided in attributes to assess the performance of
students in activities. The use of attributes in a rubric help En este artículo se describe la metodología utilizada en la de-
faculty to identify learning categories of Bloom taxonomy finición, medición y evaluación de los RE para Programas de
and grade the Students Outcomes achievement. All data pro- Tecnologías de Ingeniería Eléctrica y de Información en el Ins-
duced in this process has to be processed and evaluated to tituto de Educación Superior Tecnológico Privado Tecsup de
identify improvement actions. The use of concepts and me- Arequipa - Perú. Esta metodología ha permitido culminar exi-
thodology of Balance Scorecard in simple Excel spreadsheets tosamente procesos de evaluación con agencias de acredita-
can help to summarize and identify key indicators in the im- ción nacionales y extranjeras como ICACIT, ABET, ASIIN y ENAE.
provements process. This paper describes the methodology Los criterios de evaluación que estas agencias aplican están en
and tools used in a successfull accreditation process with concordancia con los lineamientos del Acuerdo de Washington
ABET Criteria for an Engineering Technology Program in Tec- ,por el lado americano [1], y de la Declaración de Bolonia, en
sup - Arequipa, Peru. el marco del Espacio Europeo de Educación Superior [2]. Estos
reconocimientos internacionales otorgan a los egresados de
Keywords Tecsup una ventaja competitiva frente a sus pares de otras IE
y les abre nuevas puertas para enfrentarse a los retos de la glo-
Students Outcomes, performance criteria, rubrics, outcomes balización.
assessment, bloom taxonomy
DESARROLLO
INTRODUCCION
a. Definición de los Resultados del Es-
La medición y evaluación del logro de los Resultados del tudiante
Estudiante (RE) es una de las actividades del Plan de Mejora
Continua (PMC) que demanda gran esfuerzo en Programas Los RE describen lo que los estudiantes esperan saber y son

Invest. Apl. Innov. 5(2), 2011

09_Logro de Resultados del estudiante_gomez.indd 171 2/13/12 6:02 PM


Gómez, Henry. “¿Cómo evaluar el Logro de los Resultados del estudiante? Caso: Tecsup - Perú”

capaces de hacer al momento de la graduación [3]. El texto Para ejemplificar mejor esta parte, se analiza el caso de los OEP
de la declaración de cada uno de los RE debe describir el con- del PEI. En un estudio estadístico realizado en 2006 sobre un
junto de conocimientos, habilidades, destrezas y actitudes o universo de 1022 egresados [5], se relacionó la actividad en que
comportamientos que los grupos de interés o stakeholders se desenvuelven con la remuneración mensual que perciben
esperan se logre en el estudiante a través del proceso edu- y el tiempo transcurrido desde que terminaron su carrera. Con
cativo. Los grupos de interés son las empresas, quienes ven a estos datos se calcula el Periodo de Recupero de la Inversión
los egresados de un Programa como potenciales colaborado- (PRI) en educación. En la Fig. 1 se muestra la dispersión de la
res; son sus egresados, quienes están deseosos de insertarse población de egresados por actividad y las curvas de tenden-
exitosamente al mercado laboral; son sus docentes, quienes cia central. Con ayuda de estas curvas, se puede inferir que el
quieren ver el fruto de su trabajo reflejado en profesionales PRI para actividades relacionadas a Sistemas de Potencia era la
de éxito, y son los mismos estudiantes porque quieren ase- menor (4 años), la media de la remuneración era la más alta y
gurarse de lograr una profesión en las mejores condiciones. el número de egresados en esta actividad era creciente pero
Además de cubrir las expectativas de los grupos de interés, menor que en otras tres actividades.
los RE deben garantizar el logro de los OEP y la misión de la IE.

Para explicar mejor el proceso de definición del RE, se toma


como ejemplo el caso del Programa de Electrotecnia Indus-
trial (PEI) de Tecsup. Esta IE que forma profesionales de In-
geniería Aplicada en diversas especialidades en el Perú [4],
asignó la misión de formar profesionales en Tecnologías de
Ingeniería Eléctrica al Departamento de Electrotecnia (DE).
Teniendo en cuenta este encargo y como producto del pla-
neamiento estratégico institucional, el DE definió su misión
dentro de la organización en los términos que se muestra en
la tabla 1. En la misión institucional se identificaron los atri- Fig. 1. Población de egresados del PEI por actividad
butos relevantes que debieran incluirse en la definición de
la misión del DE. En este caso, el “desarrollo de personas me- A partir de esta información se concluyó que en su mayoría los
172 egresados del PEI estaban bien posicionados y reconocidos
diante la formación” constituye la traza que se hereda para la
misión del DE; así, el “desarrollo de profesionales en los cam- en actividades relacionadas con el Mantenimiento Eléctrico,

pos de la electrotecnia” define el campo ocupacional del PEI, las Instalaciones Eléctricas y en Electrónica e Instrumentación,

mientras que la “aplicación de conocimientos y habilidades aunque para ésta última actividad no habían sido formados, las

para contribuir al éxito de las empresas y desarrollo del país” competencias logradas les permitían atender la demanda de

constituye uno de los objetivos estratégicos del DE y de la IE. las empresas. También se identificó que las actividades en “Sis-
temas de Potencia” se vislumbraban como un posible “nicho”
del mercado laboral de alta rentabilidad.
INSTITU-
CIONAL

Desarrollarpersonasyempresasmediante-
formación, capacitación y asesoría Con este hallazgo y considerando otros aspectos como el cre-
MISION

cimiento económico del país y los proyectos mineros y ener-


géticos que se vislumbraban, la información obtenida permitió
Desarrollarprofesionalesenloscamposde-
DEPARTA-
MENTO

laElectrotecniaqueaplicansusconocimien- tomar la decisión de fortalecer el PEI en el área de Sistemas


tosyhabilidadesparacontribuiraléitodela- Eléctricos de Potencia. Por otro lado, las competencias reque-
sempresas y al desarrollo del país.
ridas para esta área demandaban nuevos conocimientos, otras
habilidades y ciertas actitudes relacionadas con la seguridad,
que en ese momento no se trabajaban con los estudiantes.
Tabla 1. Misión institucional y del departamento
También, el currículo de estudios de esa época no permitía im-
Ahora, para definir los RE, previamente se deben definir los plementar experiencias de aprendizaje de mayor profundidad
OEP. De acuerdo a [3], los OEP son declaraciones amplias que relacionadas con esta área.
describen lo que los graduados esperan lograr durante los
primeros años del ejercicio de su profesión. Estas declaracio- Habiendo identificado una oportunidad de mejora para el PEI
nes describen el perfil profesional de la carrera y se basan en y en concordancia con los criterios de evaluación de ABET (Ac-
las necesidades de los grupos de interés o constituyentes del creditation Board for Engineering and Technology) de EE.UU, se
Programa. replantearon los OEP del PEI según se muestra en la tabla 2.

Invest. Apl. Innov. 5(2), 2011

09_Logro de Resultados del estudiante_gomez.indd 172 2/13/12 6:02 PM


Gómez, Henry. “¿Cómo evaluar el Logro de los Resultados del estudiante? Caso: Tecsup - Perú”

Nuestros egresados desarrollan, implemen- Justamente, definir los límites del constructo es una de las ma-
OBJETIVOS EDUCACIONALES DEL PROGRAMA tan y mantienen sistemas eléctricos basa- yores preocupaciones de los docentes, al momento de formular
OEP “A”
dos en sólidos conocimientos en instalacio- los RE. Estos son una descripción desde la perspectiva de los do-
nes eléctricas y sistemas de potencia.
centes de lo que los estudiantes deben saber (cognitivo), pen-
Nuestros egresados identifican y analizan
sar (actitudinal) y hacer (conducta) al momento de graduarse.
OEP “B” problemas para implementar soluciones
efectivas. Estos tres elementos: cognitivo, actitudinal y conductual son,
Nuestros egresados se desempeñan con por tanto, valiosos a la hora de delimitar los RE. El otro aspecto,
OEP “C” iniciativa, creatividad, manejo eficiente de el nivel de especificidad, es el alcance o profundidad con que
recursos y trabajo en equipo. un programa se enfoca en un área específica. Para un programa
Nuestros egresados son profesionales com- en Tecnologías de Ingeniería, por ejemplo, los RE son manifesta-
OEP “D” prometidos con su desarrollo, la calidad y la
ciones observables y medibles de la aplicación del conocimien-
seguridad en el trabajo.
to. Esto significa que el verdadero aprendizaje se refleja a través
Nuestros egresados practican principios
OEP “E” éticos que contribuyen al desarrollo de la de la acción y el comportamiento del estudiante. En efecto, el
sociedad verdadero aprendizaje no puede ser medido sin conductas ob-
servables y verificables.
Tabla 2. OEP del PEI.
Los estudiantes diseñan, implementan y opti-
Aquí se puede notar claramente las mejoras al programa, se mizan sistemas eléctricos utilizando sus cono-
RE “a” cimientos de instalaciones eléctricas y sistemas
ha incluido el tema de “sistemas de potencia” en el OEP “A”.
de potencia, aplicando técnicas y herramientas
Ahora, respecto al alineamiento de los OEP con la misión del modernas.
DE y de la IE un análisis de cada declaración permite concluir Los estudiantes aplican matemática, ciencia y
que los OEP abarcan aspectos relacionados con conocimien- RE “b” tecnología en el diseño, instalación, operación y
mantenimiento de sistemas eléctricos.
RESULTADOS DEL ESTUDIANTE (RE)

tos y habilidades vinculadas a su perfil profesional (OEP “A” y


“B”), mientras que las otras tres (OEP “C”, “D” y “E”) están rela- Los estudiantes conducen pruebas y medicio-
RE “c” nes, analizan e interpretan sus resultados para
cionados con las llamadas “habilidades blandas” o “soft skill”, evaluar y mejorar sistemas.
que son las actitudes y comportamientos de la persona [6].
Los estudiantes aplican la creatividad en el dise-
RE “d”
Esto es coherente, debido a que la “formación de personas” ño de sistemas. 173
no solo implica competencias técnicas, sino también trabajar RE “e” Los estudiantes trabajan eficazmente en equipo.
los aspectos no técnicos como la ética, el trabajo en equipo, Los estudiantes identifican, analizan y solucio-
RE “f”
el desarrollo profesional, etc. nan problemas de equipos y sistemas.
RE “g” Los estudiantes se comunican eficazmente.
Hasta aquí, se han definidos los OEP, ahora recién se pue- Los estudiantes reconocen los aspectos con-
den definir los RE del PEI. Un Programa que pretende acre- temporáneos de la profesión, la sociedad, practi-
RE “h”
can el aprendizaje permanente y el respeto por
ditarse con ABET, debe también cumplir con los criterios de
la diversidad.
evaluación publicados por esta organización. Para el caso de
Los estudiantes trabajan con criterios de calidad,
Programas de bachillerato en Tecnologías de Ingeniería, por RE “i”
seguridad y actúan con principios éticos.
ejemplo, ABET sugiere incluir los RE descritos en [3] y que son Los estudiantes gestionan eficazmente los re-
RE “j”
llamados eufemísticamente como los RE “a-k”. La declaración cursos materiales y humanos a su cargo.
de cada uno de los RE de ABET es, a propósito, amplia e ines-
pecífica, de manera que para usarlas hay que adecuarlas a la Tabla 3. RE del PEI.
naturaleza del Programa y a su perspectiva educacional. Por
otro lado, el término RE es similar en su significado a otros Entonces, volviendo al caso de ejemplo del PEI y tomando
términos frecuentemente utilizados como “objetivos educa- como referencia las recomendaciones anteriores y las de ABET,
cionales” [7], “competencias” [8], “habilidades” [9] o “logros” se definieron los RE de la tabla 3. Estos incluyen los nuevos retos
[10], etc. Sino se definen previamente estos términos, pue- para fortalecer las competencias de los estudiantes en Sistemas
den provocar confusiones. Por esta razón es recomendable Eléctricos de Potencia. De igual forma como se hizo con la mi-
seguir una metodología y tener presente las definiciones de sión institucional y del DE, los atributos relevantes de cada OEP
los términos utilizados. La metodología propuesta por [11], deben relacionarse con los RE, lo cual se ve reflejado en la tabla
por ejemplo, considera dos aspectos para este constructo: 1) 4. En la matriz mostrada se evidencia la relación de RE y OEP
La amplitud del constructo y 2) El nivel de especificidad. del PEI.

Invest. Apl. Innov. 5(2), 2011

09_Logro de Resultados del estudiante_gomez.indd 173 2/13/12 6:02 PM


GÓMEZ, Henry. “¿Cómo Evaluar el Logro de los Resultados del Estudiante? Caso: Tecsup - Perú”

Para el caso del PEI, los RE ya están definidos: la meta es man-


tener una medición del logro de RE por encima del 70%; enton-
ces, ya se tiene el primer componente. Ahora se deben selec-
cionar los instrumentos de evaluación del logro de las metas.
Tabla 4. Matriz OEP-RP del PEI. Al respecto existen dos opciones: instrumentos de medición
directa e indirecta. La medición directa tiene que ver con la me-
#.FEJDJÉOEFMPT3FTVMUBEPTEFM&T dición y evaluación del desempeño del estudiante por parte
UVEJBOUF del docente, durante actividades de aplicación de lo aprendido.
En cambio, la medición indirecta es una referencia cualitativa
Un buen proceso de mejora continua tiene tres componen- o cuantitativa del desempeño del estudiante ante situaciones
tes [12]: 1) Una declaración de las metas educacionales, 2) Un específicas observadas por terceros. El resto de este artículo
conjunto validado de instrumentos de medición del logro de abarca la medición directa del desempeño del estudiante en
estas metas y 3) Un plan para utilizar los resultados de la eva- actividades de aprendizaje desarrolladas por los docentes a lo
luación y políticas para mejorar el proceso educativo. largo del currículo de estudios.

174

Fig. 2. Cartilla de la taxonomía de Bloom.

Invest. Apl. Innov. 5(2), 2011


GÓMEZ, Henry. “¿Cómo Evaluar el Logro de los Resultados del Estudiante? Caso: Tecsup - Perú”

Tabla 5. Marco de atributos o CD del RE “a”.

Para poder medir y evaluar el logro de RE es necesario cons- conductas que van desde lo simple a lo complejo (1 a 6) y sus
truir el “Marco de Atributos” como lo propone [12]. Aquí se definiciones. También se tiene un listado con los verbos que se
recomienda dividir cada RE en atributos que representen dos utilizan para identificar la actitud del estudiante, lo cual permite
importantes dimensiones: el componente individual del RE o valorar su nivel de aprendizaje. Con estas ayudas se construyó
Criterio de Desempeño (CD) y el nivel de aprendizaje del es- el marco de atributos o CD para cada RE. En la tabla 5 se mues-
tudiante o categorías para cada componente. Un ejemplo del tra una parte de este marco para el RE “a”. Para demostrar, por
“Marco de Atributos” para Programas de Ingeniería se puede ejemplo, la capacidad de “Seleccionar materiales y equipos de
observar en [13]. acuerdo a los requerimientos de un sistema eléctrico” se debe
evidenciar poseer competencias en las categorías de conoci-
Para representar el nivel de aprendizaje de cada componen- miento, comprensión, aplicación y análisis. De manera que para
te en el PEI, se adoptaron las categorías de aprendizaje de la “conectar y revisar los componentes de una instalación eléctri-
taxonomía de Bloom [14]. Para ayudar a los docentes en la ca” se ha debido de “identificar componentes y distinguir sus
tarea de identificación de los niveles de aprendizaje se con- características funcionales”; así como “calcular y determinar los
175
feccionó la cartilla de la fig. 2. Aquí se pueden observar las seis componentes necesarios para una instalación eléctrica”.
mayores categorías del dominio cognitivo que representan

Tabla 6. CD, cursos y actividades para el RE “a”.

Invest. Apl. Innov. 5(2), 2011


GÓMEZ, Henry. “¿Cómo Evaluar el Logro de los Resultados del Estudiante? Caso: Tecsup - Perú”

Hecho esto, lo siguiente es identificar en el currículo de estu- todo el trabajo desarrollado. En esta parte son de mucha ayu-
dios los Cursos del Programa (CP) cuyos Objetivos Específicos da los conceptos y metodología del Balanced ScoreCard. En el
(OE) y contenidos se alinean con los RE. Así, se obtiene la ma- caso del DE, se elaboró el Tablero de Mando Integral (TMI) para
triz CP–RE, que es semejante a la matriz OEP–RP. Luego, en los RE de los programas a su cargo. La representación de los
estos cursos se seleccionan o diseñan actividades, donde se parámetros de interés mediante símbolos y nemónicos ayuda
pueda medir y evaluar el desempeño de los estudiantes. Para mucho a sintetizar la información. Por otro lado, el uso de una
esto, es necesario tener en cuenta los CD establecidos para escala porcentual y la semaforización de los valores obtenidos,
cada RE, el nivel de aprendizaje de acuerdo a las categorías habiendo establecido una referencia, permiten rápidamente
de la taxonomía de Bloom y el semestre en donde los estu- concentrarse en los indicadores cuya medición está por debajo
diantes demuestran la competencia. Por ejemplo, una lista de de lo esperado. El uso de vínculos o de un sistema de navega-
CD, cursos y actividades para el RE “a” del PEI se muestra en la ción eficaz permite también determinar instantáneamente las
tabla 6. En la actividad “a1.1” del cuarto ciclo, los estudiantes causas que provocan mediciones por debajo de la referencia.
evidencian competencias a nivel básico; en la actividad “a1.2” La fig. 3 muestra una parte del TMI utilizado para el Programa
del quinto ciclo, competencias intermedias y en la actividad de Redes y Comunicaciones de Datos (PRCD).
“a1.3” del sexto ciclo, competencias avanzadas. Para garanti-
zar una medición objetiva del desempeño de los estudiantes, Luego de identificados los indicadores con alarma, se convoca
con ayuda del marco de atributos se construye la rúbrica que a los miembros del Comité Evaluador (CE) para analizar las cau-
se aplica en la evaluación de las actividades seleccionadas. sas y encontrar oportunidades de mejora que permitan supe-
Una sección de esta rúbrica se aprecia en la tabla 7, también rar las dificultades halladas.
se observa la valoración cualitativa y cuantitativa del desem-
peño del estudiante. A continuación, el CE evacúa un informe con los hallazgos y
las acciones de mejora correspondiente. Estas acciones se eje-
D&WBMVBDJÉOEFMMPHSPEFMPT3FTVMUB cutan de manera inmediata o son analizadas en un Comité
EPTEFM&TUVEJBOUF Central (CC) para su aprobación, si la acción es trascendente y
demanda aprobación o financiamiento. Luego de aplicada la
Para evaluar el logro de los RE es necesario haber aplicado medida correctiva, se monitorea el tiempo que sea necesario
176 todos los instrumentos de medición, haber procesado y con- para garantizar su eficacia. Todo este proceso queda registrado
solidado toda la información y tener un sistema que permita en copia dura y en formato digital en el Portafolio de cada RE
visualizar rápidamente y en forma eficiente los resultados de como evidencia del PMC.

Tabla 7. Modelo de rúbrica para actividad “a1.1”.

Invest. Apl. Innov. 5(2), 2011


Gómez, Henry. “¿Cómo evaluar el Logro de los Resultados del estudiante? Caso: Tecsup - Perú”

177
Fig. 3. Tablero de Mando Integral para el PRCD.

CONCLUSIONES Y RECOMENDACIO- [2] Center for Higher Education Policy Studies. (2010). The
NES Bologna Process Independent Assessment. The first de-
cade of working on the European Higher Education Area.
La medición directa de los CD es un instrumento muy útil en [Online]. FTP disponible en: http://www.ond.vlaanderen.
la medición del logro de los RE. Sin embargo, su aplicación be/hogeronderwijs/bologna/2010_conference/docu-
demanda un gran esfuerzo de los docentes, tanto en la parte ments/IndependentAssessment_executive_summary_
operativa como en el conocimiento de los conceptos y me- overview_conclusions.pdf
todologías. Esto amerita un proceso de inducción a los do-
centes y un sistema de monitoreo permanente en cada parte [3] ABET Technology Accreditation Commission. (2011). Cri-
del proceso. teria for Accrediting Engineering Technology Programs
[Online]. FTP disponible: http://www.abet.org/Linked%20
Por otro lado, la sistematización de cada uno de los procesos Documents-UPDATE/Program%20Docs/abet-tac-crite-
involucrados es muy importante por la cantidad de informa- ria-2011-2012.pdf
ción que se genera, la asistencia del personal administrativo
igualmente es valiosa, porque permite aligerar al docente de [4] Programa de Electrotecnia Industrial (2011). [Online] dis-
sus tareas rutinarias. ponible: www.tecsup.edu.pe

REFERENCIAS [5] Maza, L. “Revision curricular 2008”. Tecsup. Lima, Abril.

[1] International Engineering Alliance. (2009). Graduates [6] Skvarenina, Timothy. (2004). “Incorporating ABET Soft
Attributes and Professional Competencies [Online]. FTP Skills into Energy Conversion Courses” in Proc. of the 2004
disponible: http//www.ieagreements.org. American Society for Engineering Education Annual Con-

Invest. Apl. Innov. 5(2), 2011

09_Logro de Resultados del estudiante_gomez.indd 177 2/13/12 6:02 PM


Gómez, Henry. “¿Cómo evaluar el Logro de los Resultados del estudiante? Caso: Tecsup - Perú”

ference & Exposition, American Society for Engineering AUTOR


Education, School of Technology Purdue University.
Henry Gómez Urquizo es Ingeniero electrónico de profesión,
[7] Wolf, R. M. “Evaluation in Education: Foundations of con estudios de Maestría en Automatización e Instrumenta-
Competency Assessment and Program Review”. New ción, es candidato a doctor en Ingeniería de la Producción en
York: Praeger. la Universidad Nacional de San Agustín de Arequipa. Se espe-
cializó en Electrónica de Potencia en el SENA de Barranquilla
[8] “The Bases of Competence: Skills for Lifelong Learning - Colombia, en Redes y Protocolos de Comunicación Industrial
and Employability”. San Francisco, CA: Jossey- Bass. en Pepperl+Fuchs de Mannheim-Alemania. Posee diez años de
experiencia industrial en la industria cervecera y más de quin-
[9] “Developing intellectual skills,” in Handbook of the Un- ce años en la docencia en educación superior. Actualmente se
dergraduate Curriculum: A Comprehensive Guide to desempeña como Jefe de Departamento en Tecsup - Arequi-
Purposes, Structures, Practices and Change, J. Gaff and pa, ha logrado la acreditación internacional con ABET, ASIIN y
J. Ratcliff, Eds. San Francisco, CA:Jossey-Bass. ENAE de las carreras de Redes y Comunicaciones de Datos y
de Electrotecnia Industrial. Es miembro activo de la IEEE y de la
[10] Gronlund, N. E. (1998). “Assessment of Student Achieve- ISA, también es evaluador experto de Programas de Ingeniería
ment”, 6th ed. Boston, MA: Allyn and Bacon. de ICACIT.

[11] Besterfield-Sacre, M. et al. (2000, May) ”Defining the


Outcomes: A framework for EC-2000”. IEEE Transaction
on Education, Vol 43. N°2.

[12] Michael, J. et al. (2000, May) “A Design Attribute Fra-


mework for Course Planning and Learning Assessment”.
IEEE Transaction on Education, Vol 43, N° 2. May 2000.

178 [13] Bloom and Krathwohl (2000) “Definition of Levels and


McBeath Action Verbs”. The University of Pittsburgh.

[14] Taxonomy of Educational Objectives: Handbook 1: Cog-


nitive Domain (1956) Longman, New York.

Invest. Apl. Innov. 5(2), 2011

09_Logro de Resultados del estudiante_gomez.indd 178 2/13/12 6:02 PM

También podría gustarte