Evaluación: el uso de las pruebas de selección múltiple

Anahí Mast ache 1

Introducción

En est e t ext o me propongo hacer especial hincapié en el uso de l as pruebas de

selección de respuest as como uno de los inst rument os f act ibles de ser ut ilizados en la
evaluación en las mat erias que componen el área de Derecho Int ernacional en las
dist int as Facult ades.

La idea de abordar est a t emát ica para su present ación en un Taller en el Encuent ro
Nacional que se real izará en Córdoba los días 1 al 3 de oct ubre me la hizo llegar la
Dra. Graciel a Chalit a, Prof esora de Derecho Int ernacional Privado de la Universidad
de Buenos Aires y Direct ora de la Sección Document ación, Met odología y Enseñanza
del Derecho Int ernacional de la Asociación Argent ina de Derecho Int ernacional .
Agradezco a la Dra. Chalit a no sólo su gent il invit ación sino t ambién su cuidadosa
lect ura de est e t ext o.

La j ust if icación que me present ara l a Dra. Chal it a al proponerme est e t ema gira
alrededor del poco uso de est os inst rument os por desconocimient o de sus
posibil idades y limit aciones, pese a que result an –a su j uicio- sumament e út iles para
evaluar algunos de l os cont enidos propuest os en los Programas de l as asignat uras de
Derecho Int ernacional. Ciert ament e, coincido con sus apreciaciones sobre la ut il idad
de est as modalidades de evaluación para ser ut ilizadas en múlt iples circunst ancias,
de manera independient e o en art iculación con ot ras (combinando, por ej emplo,
pregunt as abiert as y de selección de respuest as).

Las pruebas que exigen de los est udiant es elegir una respuest a ent re un conj unt o de
respuest as posibles podrían ser empl eadas con provecho para evaluar:

• Inf ormaciones: conocimient o de Leyes, Trat ados, Convenios, Convenciones.

• Discriminación de concept os dent ro de un campo semánt ico dado

• Relaciones ent re concept os, ent re causas y consecuencias, o, en general,

ent re cualquier grupo de pares de cuest iones asociadas (t rat ados – países que
lo f irmaron; convenios- cuest iones que abarca; t ipo de delit o- modo de
encararl o; organizaciones int ernacionales-propósit os).

• Comprensión de t ext os, casos o sit uaciones: a part ir de responder

correct ament e los ít ems que ref ieran al mismo, puede const at arse si el
est udiant e comprende el encuadre j urídico de una sit uación dada, las
acciones posibles que podrían encarar los dist int os act ores, las dist int as leyes
nacionales e int ernacionales invol ucradas, et cét era.

Est e t rabaj o const it uye un mat erial de apoyo y ant icipación de la act ividad de
oct ubre. El mismo t rat a de dar respuest a a un conj unt o de preocupaciones e
inquiet udes vinculadas a un grupo part icular de asignat uras del campo del Derecho.
No obst ant e –y aun cuando la mayor part e de los ej emplos correspondan a cont enidos

1
Doct ora de la Universidad de Buenos Aires, área Educación. Prof esora e invest igadora de la
Facult ad de Filosof ía y Let ras (UBA).

1
propios de est as asignat uras- esperamos que est a present ación pueda ser t ambién de
ut ilidad para los docent es de Derecho de ot ras mat erias.

El t ext o se compone básicament e de t res part es. Una primera sección más general,
dest inada a aclarar el concept o de evaluación y a present ar algunas cuest iones que
consideramos import ant es para t ener en cuent a a la hora de evaluar –cualquiera sea
el t ipo de prueba elegida. En la segunda part e se present an brevement e los dist int os
inst rument os de evaluación exist ent es y l os crit erios para su selección, y se
consideran dist int as maneras de analizar los result ados y de calif icar a los
est udiant es. La t ercera part e se cent ra en las pruebas de sel ección de respuest as,
haciendo especial ref erencia a l os aspect os que permit en evaluar y a sus
limit aciones, así como a las cuest iones que deben t enerse en cuent a en su
const rucción y aplicación.

PRIMERA PARTE: LA EVALUACIÓN

¿Qué evaluar?

“ La evaluación no es ni puede ser un apéndice de la enseñanza ni del

aprendizaj e; es part e de la enseñanza y del aprendizaj e. En la medida en que
un suj et o aprende, simult áneament e evalúa, discrimina, valora, crit ica,
opina, razona, f undament a, decide, enj uicia, opt a… ent re lo que considera
que t iene un valor en sí y aquello que carece de él. Est a act it ud evaluadora,
que se aprende, es part e del proceso educat ivo que, como t al, es
cont inuament e f ormat ivo.” (Álvarez Méndez, 1996)

En el ámbit o educat ivo, cuando se habla de “ evaluación” l o más habit ual es pensar
que el “ obj et o” evaluado son los aprendizaj es de los est udiant es. No obst ant e, y aun
cuando en est e t ext o nos cent raremos en est e aspect o, es import ant e recalcar que
los aprendizaj es de l os alumnos no son lo único que puede y debe ser evaluado.
Muchas ot ras cuest iones son eval uadas en dist int os moment os y con dist int os f ines.
Algunas de l as más habit uales son:

• la inst it ución educat iva, a veces asociada con la evaluación de la calidad

educat iva de la inst it ución, por ej emplo en l os Programas de Aut oevaluación
Inst it ucional , vinculados o no a l as exigencias de la acredit ación t al como
plant ea la CONEAU.
• proyect os específ icos: un Programa de Formación y Desarrollo Docent e, un
Proyect o de Apoyo Académico para los est udiant es, et c.
• la organización de l as cát edras: por ej emplo, al analizar su composición para
decidir un ll amado a concurso, o al evaluar l os requerimient os de f ormación
de sus int egrant es.
• el desempeño docent e, como cuando un Prof esor debe decidir la cont inuidad
de un docent e int erino
• el currículo, t al como sucede cuando se decide ef ect uar un cambio del plan
de est udios
• el desarroll o de la clase, hecho habit ual en muchos docent es que anal izan lo
sucedido en una clase (o en un conj unt o de clases) para t omar decisiones
sobre l as clases f ut uras, sobre el t ipo de est rat egias docent es más adecuadas
al grupo de est udiant es (por su número, conocimient os previos, grado de
lect ura, et c. ), al t iempo disponible, a l os cont enidos que deben desarrollarse,
2
 et c. De est e modo, un prof esor puede decidir no t rabaj ar con un det erminado
caso porque present a un grado de dif icult ad demasiado al t o (o demasiado
baj o) para sus est udiant es.

Al cent rarnos en la eval uación de uno de l os aspect os –en est e caso, el aprendizaj e
de los est udiant es- es necesario no olvidar que una buena evaluación de cualquier
cuest ión debe t ener en cuent a su cont ext o. En consecuencia, al moment o de eval uar
el aprendizaj e de los est udiant es es necesario considerar el desarrollo de las clases,
la lógica inst it ucional y la sit uación global en que acont ece ese aprendizaj e. Así, por
ej emplo, el diseño de la evaluación podrá variar según la cant idad de cl ases que
hayan podido dict arse, el grado de prof undidad en que f ue posible desarrollar los
cont enidos, et c.

Evaluar, calificar y acreditar: tres conceptos vinculados

Evaluar signif ica “ valuar, f ij ar val or a una cosa” . Cuando nos ref erimos a l a
evaluación de los aprendizaj es de l os est udiant es, est amos aludiendo al
est ablecimient o de un j uicio de val or sobre las conduct as o respuest as que los
alumnos han dado y que consideramos como “ indicador” de lo aprendido. De est e
modo, podemos decir que el est udiant e A ha aprendido det erminado concept o
j urídico (ext radición, conciliación, mar t errit orial) porque ha sido capaz de enumerar
sus principales caract eríst icas y/ o de discriminarlo de concept os ubicados en el
mismo campo semánt ico; o que el alumno B ha aprendido l a legislación que rige el
espacio aéreo int ernacional, la nacionalidad de las personas o el asilo polít ico porque
recurrió a l a norma adecuada en la resolución de un caso dado.

Ant es de cont inuar conviene dif erenciar el concept o de evaluación de los de

calif icación y acredit ación, con los cuales suele conf undirse.

Calificar es ubicar en una escala, est ablecer una medición con relación a algún
parámet ro. Habit ualment e, calif icamos al poner una not a dent ro de una det erminada
escala (normalment e de 0 a 10).

Acredit ar supone cert if icar que l os est udiant es cuent an con los conocimient os
exigidos por un det erminado curso. Acredit ar es, pues, promocionar, promover,
aprobar. La acredit ación puede ser el result ado de un act o único (propio de los
exámenes libres) o consecuencia de un conj unt o de evaluaciones y calif icaciones
(como en el sist ema de promoción a part ir de un det erminado promedio en los
exámenes parciales).

En el sist ema educat ivo f ormal, la acredit ación const it uye una exigencia
inst it ucional . En l a Universidad, la acredit ación de cada mat eria se vincula con l a
cert if icación prof esional, en t ant o l a aprobación del conj unt o de Cursos est ablecidos
en el Plan de Est udios conlleva el ot orgamient o de un t ít ulo que habilit a para el
ej ercicio prof esional.

En consecuencia, es posible evaluar sin calif icar ni acredit ar; por ej emplo, cuando se
corrige un borrador de un t rabaj o, o cuando se señalan errores en la resolución de un
caso en un t rabaj o grupal en el aula. Se evalúa t oda vez que el prof esor ef ect úa un
señalamient o sobre el desempeño o el t rabaj o de un est udiant e, aun cuando el lo no
3
se t raduzca en una calif icación o not a. La evaluación puede est ar asociada a l a
calif icación (como en los parciales) o a l a acredit ación (cl arament e, en los f inales),
pero puede darse independient ement e de ambas con el sol o propósit o de f acilit ar un
aprendizaj e o mej orar un desempeño.

También suele vincularse la evaluación con el cont rol, aun cuando el “ cont rol” no
supone necesariament e un aspect o valorat ivo. No obst ant e, es indudable que el
“ poder de evaluar” ot orga al docent e una asimet ría y un cont rol sobre l os
est udiant es y su sit uación académica.

Dos modos básicos de pensar la evaluación

La asociación habit ual ent re evaluación y calif icación es propia del pensamient o
didáct ico t radicional basado en un paradigma cuant it at ivo. En est e caso, evaluar se
def ine como “ medir” y se basa en al gunos supuest os: que las respuest as del
est udiant e const it uyen un indicador válido de su conocimient o o aprendizaj e; que
est as respuest as son hechos accesibl es al evaluador, quien puede separar clarament e
los hechos de las valoraciones acerca de los mismos y, en consecuencia, puede ser
imparcial.

Desde ot ras perspect ivas más cualit at ivas se cuest ionan l os supuest os previament e
mencionados, lo cual lleva a re-def inir la evaluación y a est ar “ advert idos” de sus
dif icult ades y riesgos.

Por un lado, el aprendizaj e de l os est udiant es no const it uye un “ hecho” al cual el

docent e pueda acceder direct ament e, sino que l o hace a t ravés de su desempeño en
una sit uación paut ada (un t rabaj o práct ico, un parcial, et c. ); y est as respuest as no
son un indicador incuest ionable de su conocimient o, sino que las mismas se
encuent ran inf luidas por la sit uación (desde el est ado de ánimo hast a las
caract eríst icas f ísicas del ambient e). Es decir que la calif icación de un desempeño
dado puede dist ar de los conocimient os que ef ect ivament e posee el est udiant e. Est a
af irmación const it uye una “ verdad” conocida por t odos los docent es, quienes pueden
reconocer que un al umno no rindió t odo l o que podía porque se puso nervioso o que
ot ro t uvo un desempeño superior a sus aprendizaj es porque la “ suert e” hizo que en
el muest reo que supone t odo examen le “ t ocaran” pregunt as sólo de los t emas que
sabía.

Por ot ro lado, es imposible ser un evaluador absolut ament e imparcial. Est a

const at ación exige, como cont rapart e, una mayor especif icación de l os crit erios de
corrección (volveremos sobre est a idea más adelant e).

Evaluación de procesos y de productos

La evaluación del aprendizaj e puede realizarse con dos grandes propósit os: el
proceso de aprendizaj e y el product o de ese proceso.

La evaluación del proceso se propone analizar una sit uación para t omar decisiones
que cont ribuyan a su mej ora y, por consiguient e, const it uye una inst ancia dent ro de
los procesos de enseñanza y de aprendizaj e. Est a evaluación t iene principalment e en
cuent a los procesos de const rucción del conocimient o más que sus resul t ados y,
habit ualment e, no conl leva una not a, sino que da lugar a una ret roaliment ación al
est udiant e sobre sus logros y dif icul t ades con el propósit o de que encare las acciones
4
necesarias para mej orar su desempeño. Casos t ípicos de evaluación del proceso son
la corrección del borrador de un t rabaj o, la puest a en común de la resol ución de un
caso, l as pregunt as int ercaladas en una exposición con el propósit o de chequear l a
comprensión de lo expl icado, et c.

La evaluación de los product os del aprendizaj e const it uye, en cambio, una

inst ancia f inal del proceso de aprendizaj e que se propone cont rolar o verif icar l os
result ados l ogrados por el est udiant e. Normalment e, la evaluación de l os product os
del aprendizaj e asume l a f orma de un examen y es calif icada; incluso, muchas veces,
incide en l a acredit ación.

Tipos de evaluaciones

En la bibliograf ía especializada suel en reconocerse cuat ro t ipos de evaluaciones que

cumplen propósit os dif erent es: diagnóst ica, f ormat iva, sumat iva y dif erida o de
seguimient o.

Evaluación diagnóst ica : suele administ rarse al comienzo de un curso o de un t ema

con el propósit o de precisar el nivel de conocimient o o el grado de desarrol lo en que
se encuent ra un al umno o un curso ant es del abordaj e de un aprendizaj e dado. La
inf ormación que provee se ut iliza para pl anif icar las act ividades de enseñanza y
aprendizaj e o para conf ormar grupos según su nivel. Puede t ambién usarse como
mot ivadora para l os est udiant es, al proveerles inf ormación sobre sus l imit aciones y
posibil idades. Por ej emplo, ant es de desarrollar las f uent es del Derecho
Int ernacional, es posible evaluar qué saben l os est udiant es al respect o.

Evaluación format iva : se usa con el propósit o de ayudar al crecimient o int elect ual,
af ect ivo, moral o social de un suj et o o grupo. Const it uye un análisis de l a producción
o result ado y t ambién del proceso seguido para llegar al mismo. En consecuencia,
of rece inf ormación út il t ant o para que el est udiant e encare las acciones necesarias
para l ograr l os aprendizaj es buscados como para que el docent e pueda planif icar
act ividades que f acilit en dichos aprendizaj es. En la práct ica, se t raduce en una
act ividad int eract iva que aport a al est udiant e inf ormaciones pert inent es sobre su
necesidad de corregir, prof undizar, revisar o aclarar det erminado concept o o t ema.
Toda evaluación realizada durant e el proceso de aprendizaj e que se ut ilice para
decidir acciones f ut uras const it uye una evaluación f ormat iva. La misma puede o no ir
acompañada de una not a o calif icación.

Evaluación sumat iva, de result ados o de product os: permit e conocer los
result ados l ogrados y el nivel de l ogro. Se ut iliza normalment e hacia el f inal de un
proceso de aprendizaj e con el propósit o de calif icar y/ o acredit ar. En general, l os
exámenes parciales y f inales que se administ ran en la Universidad se ubican en est a
cat egoría, en t ant o buscan evaluar l os conocimient os obt enidos con vist as a
est ablecer una calif icación. No obst ant e ello, los parciales pueden ser ut ilizados
t ambién como una inst ancia de aprendizaj e para los est udiant es y adquirir, así,
rasgos propios de l a evaluación f ormat iva.

Evaluación diferida o de seguimient o: se usa t iempo después de f inalizada l a

sit uación de enseñanza y aprendizaj e con el propósit o de evaluar el grado en que lo
aprendido se mant iene en el t iempo. Su uso no es habit ual en nuest ro sist ema
educat ivo.

5
En síntesis

A modo de sínt esis, t ranscribimos la concept ualización de evaluación que propone

Gimeno Sacrist án.

“ Evaluar hace ref erencia a cualquier proceso por medio del cual alguna o
varias caract eríst icas de un alumno, de un grupo de est udiant es, de un
ambient e educat ivo, de obj et ivos educat ivos, de mat eriales, prof esores,
programas, et c., reciben la at ención del que evalúa, se anal izan y se valoran
sus caract eríst icas y condiciones en f unción de unos crit erios o punt os de
ref erencia para emit ir un j uicio que sea rel evant e para l a educación.”

En est e sent ido, l a evaluación debe ser pensada como un proceso sist emát ico,
cont inuo y planif icado que acompaña a l os procesos de enseñanza y aprendizaj e para
aport ar inf ormación rel evant e que permit a mej orar t ant o l os procesos de aprendizaj e
de los est udiant es, como la selección de cont enidos o est rat egias didáct icas, con el
propósit o de cont ribuir al mej oramient o del rendimient o de los al umnos. De est a
manera, la evaluación aport a inf ormación relevant e para l a calif icación y la
acredit ación, aun cuando no se limit e a ellas.

Por ot ra part e, la evaluación t iene siempre una f inalidad, no es un f in en sí misma,

sino un medio para obt ener inf ormación para la t oma de decisiones; sea decisiones
sobre l a calif icación o acredit ación de los est udiant es, sea decisiones sobre las
est rat egias o met odol ogías de enseñanza.

La modal idad que adopt e la evaluación, así como los inst rument os que se ut ilicen (a
libro abiert o, de respuest a est ruct urada, de selección múlt iple), el t iempo
disponible, l as normas que rigen el proceso de evaluación y de corrección, deben ser
ant icipados a los est udiant es. Est e acuerdo en el cual se explicit an las normas que
regulan l a evaluación se conoce como “ cont rat o de evaluación” y f orma part e del
“ cont rat o didáct ico” . El cont rat o didáct ico alude a los acuerdos sobre el encuadre
general de t rabaj o: horarios, espacios, t ipos de t rabaj os a realizar, derechos y
obligaciones de prof esores y est udiant es, et c. El lo supone que al comenzar el Curso,
el docent e haga saber al est udiant e las dist int as “ normas” que regirán el cursado de
la asignat ura y su evaluación y calif icación.

La explicit ación de est as reglas cont ribuye a dar razonabil idad y signif icat ividad a l a
evaluación.

SEGUNDA PARTE: LOS INSTRUMENTOS DE EVALUACIÓN Y SU USO

No exist en inst rument os de evaluación “ ideales” . Ninguno es mej or que ot ros

de manera absolut a. Cada inst rument o de eval uación resul t a más o menos
pert inent e en relación con las cuest iones a evaluar, l os suj et os a ser
evaluados y la sit uación en que se produce la evaluación.

6
Selección de instrumentos de evaluación

Dado que los aprendizaj es no pueden ser evaluados direct ament e, es necesario
recurrir a inst rument os que permit an obt ener inf ormación pert inent e sobre el obj et o
evaluado.

Los inst rument os de evaluación deben seleccionarse una vez que se ha def inido qué
se desea evaluar. Así, por ej empl o, se requieren dif erent es inst rument os para
evaluar el desempeño del est udiant e en la at ención de un client e en la inst ancia de
Práct ica, la capacidad para encuadrar j urídicament e un caso present ado por escrit o,
el conocimient o de ciert as normas y leyes, et c.

Cada uno de los inst rument os de evaluación es apropiado para evaluar det erminados
obj et ivos y result ados de aprendizaj e e inapropiado para ot ros. Por consiguient e, al
elegir un inst rument o de evaluación, cabe pregunt arse por su pert inencia.

En ot ras pal abras, la sel ección del inst rument o de evaluación se realiza en un
segundo moment o, t ras haber def inido qué se quiere evaluar y con qué propósit o.
Analicemos brevement e est e proceso.

Para poner en claro l o que se desea evaluar puede ut ilizarse una Tabla de
especif icaciones. La misma permit e explicit ar los cont enidos que se espera que los
est udiant es hayan aprendido y el nivel al cual se espera que lleguen. Además, como
no t odo lo que se incluye en las especif icaciones t iene el mismo valor, suele
est ablecerse en las cel das el peso relat ivo que t endrá cada aspect o, l o cual puede
ponerse en porcent aj es o asignando valor en una escala (por ej emplo: 1: muy
import ant e, 2: medianament e import ant e, 3: poco import ant e).

Nivel 2 Conocer Comprender Aplicar Analizar Sint et izar Evaluar

Cont enido
Fuent es del Derecho
X (1)
Int ernacional
Personalidad
X (2)
Int ernac del Est ado
Espacios regulados
X (3)
por el DI
Organizaciones
X (2)
Int ernacionales
Las personas f ísicas
X (3)
y j urídicas en el DI

Ot ra manera de especif icar lo que se desea eval uar es a part ir de la def inición de los
propósit os generales del curso. Est a modalidad es más genérica que la ant erior, en
t ant o no apunt a a un desagregado de cont enidos y sus niveles de logro deseados, sino
a cuest iones más complej as y abarcat ivas. Por ej emplo, podríamos decir que para
aprobar Derecho Int ernacional Privado l os est udiant es deben ser capaces de
encuadrar apropiadament e y plant ear alt ernat ivas de solución para problemas
vinculados con: cuest iones de f amil ia, asunt os comerciales, et cét era.

2
En el ej emplo, ut ilizamos los niveles de obj et ivos propuest os por Bloom.

7
En cualquier caso, como no es posibl e ni deseable evaluarlo t odo, es indispensable
seleccionar cuáles son l as cuest iones cent rales que es import ant e evaluar y qué
puede omit irse por su menor import ancia: qué casilleros de la t abla de
especif icaciones se incluirán en la prueba, o qué t ipo de casos se present arán y con
qué consignas de t rabaj o.

Una vez est ablecido l o que se quiere evaluar, se elige el t ipo de sit uación que
permit a dar cuent a de est os aprendizaj es de l os est udiant es. Por ej emplo, para
evaluar el conocimient o de leyes, t rat ados y convenciones, lo más adecuado es algún
t ipo de prueba escrit a (u oral , si se dispone de t iempo suf icient e); en cambio, para
evaluar l a capacidad de reconocer cuest iones legales no resuelt as en det erminado
campo del Derecho Int ernacional y elaborar alt ernat ivas de acción, puede ser más
adecuado proponer un t rabaj o con caract eríst icas de ensayo para ser realizado en un
t iempo más prolongado y con posibilidad de consult ar document ación.

La elección del inst rument o adecuado es cent ral para que l as evaluaciones t engan
validez, es decir para que evalúen aquello que se quiere evaluar y no ot ra cosa. Así,
por ej emplo, si se est ablece que los alumnos deben ser capaces de resolver casos, l o
más aconsej able es eval uar present ando un caso para ser resuelt o, en lugar de una
prueba con pregunt as que sólo permit an j uzgar el conocimient o de la l egislación
int ernacional (en t ant o est e conocimient o es un element o necesario pero no
suf icient e para resolver un caso cualquiera). Y, según se pret enda que el est udiant e
pueda hacerlo con mayor o menor grado de ayuda, la prueba deberá incl uir (o no)
pregunt as que orient en la resolución, o que exij an ref lexionar sobre el caso
present ado.

Instrumentos de evaluación: sus partes

Todo inst rument o de evaluación const a de dos part es: l a consigna y l a clave de
corrección.

La consigna de t rabaj o est á conf ormada por el conj unt o de inf ormaciones que se le
proveen al est udiant e sobre la t area que debe realizar en la sit uación de evaluación.
Las consignas deben ser claras, est ar correct ament e redact adas usando el
vocabulario t écnico pert inent e (en t ant o el mismo haya sido previament e present ado
al est udiant e) y ser suf icient ement e complet as y precisas como para que cualquier
persona que cuent e con la inf ormación necesaria pueda dar la respuest a esperada.

Un error f recuent e en los exámenes universit arios consist e en limit arse a señalar el
t ema sin especif icar qué se espera que el alumno responda. Por ej emplo, si la
consigna dice “ Trat ados Int ernacionales” , ell o puede signif icar varias cosas: que se
los mencione, que se los describa señalando sus principales caract eríst icas, que se
analicen sus ef ect os en dist int os países, que se los evalúe crít icament e de acuerdo
con las cuest iones que resuelve y las que dej a sin resolver, por cit ar sól o algunas
opciones. En est os casos, los est udiant es responden “ adivinando” lo que el prof esor
espera de acuerdo con l o que se expuso en las clases o con lo que leyó en los t ext os
recomendados, sin t ener cert eza de que su respuest a corresponda con l a esperada.

La clave o grilla de corrección ref iere a los parámet ros que se considerarán al
analizar el mat erial producido por el est udiant e. La clave de corrección requiere
const ruir con ant erioridad los element os que se espera que aparezcan en la respuest a

8
de los alumnos y adj udicarle a cada uno un punt aj e det erminado. Al moment o de l a
corrección, se compara la respuest a de cada est udiant e con la gril la elaborada y así
se asignan l os punt aj es correspondient es a cada pregunt a.

En las pruebas de base est ruct urada o de elección de una respuest a, la misma se
limit a a señalar l a respuest a correct a. En cambio, en las pruebas de base no-
est ruct urada es necesario especif icar previament e qué element os debe cont ener la
respuest a. Veamos un ej emplo.

Se present a un caso en el cual una muj er argent ina (con domicilio en Oberá,
Misiones) que disput a l a t enencia de los hij os menores a su ex esposo act ualment e
resident e en Turquía de donde es oriundo. Se solicit a a los est udiant es que
est ablezcan los f undament os j urídicos a l os cuales recurrieron los abogados de ambas
part es y las posibles acciones post eriores que podría encarar la abogada de la muj er.
La clave de corrección de est a consigna debe especif icar: las leyes, t rat ados y
convenciones que se espera que l os est udiant es mencionen, los concept os j urídicos
involucrados y que deben ser ut il izados en la f undament ación, l as alt ernat ivas de
acción posibles en esa sit uación y sus f undament os j urídicos; y a cada uno de est os
element os se les ot orga un punt aj e. De est e modo, al corregir la evaluación se
const at a cuáles concept os y normat ivas involucradas f ueron incluidos por l os
est udiant es en sus respuest as.

Cuando se solicit an respuest as abiert as que permit en que el alumno recurra a

dist int os concept os o leyes, más al l á de t ener previst as las dist int as alt ernat ivas de
respuest as válidas, puede est ablecerse una grilla que dé cuent a de los aspect os que
se considerarán en l a evaluación de las respuest as, t ales como: claridad de la
present ación del encuadre j urídico, pert inencia de las normas a las que se recurre,
uso adecuado y preciso de los concept os j urídicos, val idez de las alt ernat ivas de
solución propuest as, cal idad de la f undament ación concept ual, complet it ud de la
respuest a. Y a cada uno de est os aspect os se le ot orga un punt aj e.

Tipos de instrumentos de evaluación

En líneas generales, los inst rument os de evaluación pueden clasif icarse en: escrit os,
orales y de observación.

Los inst rument os orales son habit uales en la Universidad y suelen ut ilizarse para
evaluaciones individuales o grupales. Pueden solicit arse respuest as de dist int o grado
de elaboración (desde respuest as únicas como el número de una Ley o el nombre de
un Trat ado o Convención, hast a una propuest a de resolución de una sit uación
problemát ica) y of recer dist int os t iempos para ello: desde la exigencia de la
respuest a casi inmediat a en la sit uación cara a cara hast a l a posibilidad de preparar
un t ema con ant erioridad (de libre elección o asignado por el prof esor) o en la
sit uación misma del examen.

Los exámenes orales son út iles para prof undizar en l os conocimient os del est udiant e,
y en sus posibilidades para organizar y present ar un campo de conocimient o y a la
vez organizar el discurso. Al mismo t iempo ot organ la seguridad de que la respuest a
es una producción legít ima del est udiant e. Además, permit en of recer una
ret roaliment ación inmediat a al alumno sobre su desempeño.

9
Sus principales desvent aj as son el t iempo que insumen y las emociones que se ponen
en j uego: ansiedades en el est udiant e, posibles prej uicios en los docent es, incidencia
de la rel ación docent e-alumno en l as posibles respuest as, et c.

Los inst rument os de observación permit en evaluar desempeños, l o cual es

part icularment e út il en las inst ancias de práct ica. Permit en, por ej emplo, evaluar el
modo en que un est udiant e t rat a a un client e, cómo indaga en el problema legal que
lo llevó a la consult a, qué respuest as le of rece, et c. En los cursos que se dict an en la
Facult ad (es decir, l os que no se desarroll an en sit uación real de desempeño
prof esional como los Consult orios Jurídicos Grat uit os) pueden usarse para evaluar
desempeños en sit uaciones simul adas, t ales como role-playing de ent revist as.

Los inst rument os escrit os se clasif ican en dos grandes grupos:

™ Los que exigen la producción por part e del est udiant e de al gún t ipo de
respuest a, l a cual puede ser:

o de base no est ruct urada: es decir, que se propone un t ema que l os

est udiant es deben desarrollar con o sin el apoyo de mat erial es de
consult a, como en l os ensayos, resoluciones de caso o coment arios de
t ext o

o de base semi-est ruct urada: como las pruebas en las cuales se propone
una guía de pregunt as o cuest iones que promueven ciert o t ipo de
organización de la respuest a

o de base est ruct urada: cuando l a consigna exige respuest as unívocas y

breves que no dej an lugar para la int erpret ación personal del
est udiant e, como al solicit ar nombres o f echas.

™ Los de selección de algún t ipo de respuest a ent re un conj unt o de opciones

que se of recen en la evaluación y ent re las cuales el est udiant e t iene que
reconocer y marcar l a que corresponda. Est os inst rument os serán
desarrollados in ext enso en el siguient e apart ado.

El análisis de los resultados y la calificación (o acreditación)

Análisis de los result ados en cont ext o

Los result ados de aprendizaj e o rendimient o est án en est recha relación con los
ant ecedent es y el proceso mismo de enseñanza y aprendizaj e, por lo cual su análisis
debe t enerl os en cuent a. Ell o explica que dist int os Cursos present en evaluaciones
con sesgos clarament e dist int os dados por un mayor o menor desarroll o de
det erminado t ema o aspect o, por una mayor o menor ref erencia a det erminada
bibliograf ía, et c. , de acuerdo con la import ancia que la misma t uvo en las clases por
ef ect o de circunst ancias diversas: la pregunt a de un est udiant e que llevó a l a
prof esora a poner énf asis en det erminado aspect o que normalment e queda en un
segundo pl ano; un debat e generado a part ir de la respuest a a una pregunt a de la
guía; et c.

10
Rendimient o suficient e o sat isfact orio

En general , el rendimient o se valora en rel ación con los obj et ivos previament e
est ablecidos, es decir, en relación con un “ nivel ” requerido considerado
indispensabl e para la aprobación de la asignat ura. La eval uación posit iva o negat iva
será el resul t ado de la comparación del rendimient o obt enido por cada est udiant e en
relación con el nivel pre-est ablecido de desempeño o conocimient o esperado.

Ot ra manera de evaluar el rendimient o de un est udiant e es por comparación consigo

mismo, t eniendo en cuent a los progresos que ha podido realizar en el t iempo.

Se habla de rendimient o suficient e o insuficient e al que se det ermina en f unción

del logro de un nivel pre-est ablecido, y de rendimient o sat isfact orio o
insat isfact orio al que se est ablece en f unción de las capacidades y progresos de
cada est udiant e.

En el nivel universit ario, dada l a responsabilidad social que t iene la f ormación de un

prof esional, se ut iliza en general l a evaluación del rendimient o suf icient e, en
especial en las inst ancias que involucran la acredit ación del Curso. No sería
acept able que alguien aprobara y acredit ara sólo por haber ef ect uado progresos en
relación con su rendimient o inicial si no ha alcanzado el nivel mínimo requerido por
un prof esional novel en el área que corresponde a la asignat ura en cuest ión.

Evaluación referida a normas o a crit erios

Cuando el result ado de la evaluación busca est ablecer la posición relat iva de cada
est udiant e en relación con los demás se ut il iza la “ medición referida a la norma ” .
Por el cont rario, cuando se busca conocer el nivel al que ha llegado cada est udiant e,
independient ement e de su mej or o peor desempeño en rel ación con ot ros, se recurre
a una “ medición referida a crit erios” .

En el ámbit o universit ario, exist en docent es que recurren a ambas modalidades de

evaluación.

Los que evalúan en relación a la norma , suelen part ir del supuest o de que, como
result ado de t oda evaluación, se obt iene una curva “ normal ” ; est o es, que la mayor
proporción de est udiant es obt iene un punt aj e int ermedio, mient ras un grupo más
reducido alcanza punt uaciones sobresalient es y ot ro pequeño número calif icaciones
inf eriores. En consecuencia, algunos prof esores suelen est ablecer las not as de los
exámenes de manera de obt ener una curva normal, para l o cual dist ribuyen las
calif icaciones en f unción de los result ados obt enidos por el mej or y el peor examen.

Est a modalidad de corrección, bast ant e habit ual en una época en l os colegios y
universidades est adounidenses, const it uye un medio adecuado para ident if icar a los
mej ores y a los peores est udiant es en una sit uación evaluat iva dada. No obst ant e,
ello no permit e dar cuent a del rendimient o del est udiant e en relación con los
obj et ivos educat ivos o con el rendimient o mínimo esperado. Para ell o es necesario
calif icar de acuerdo con “ crit erios” independient es. Además, se corre el riesgo de
dist orsión en f unción de los rasgos del grupo de est udiant es (part icularment e bueno o
con f ormación insuf icient e), especialment e cuando el número de alumnos que
conf orman el grupo es pequeño. Aun cuando no recurran a est a modalidad de
calif icación, muchos prof esores reconocen que han ido aj ust ando l a asignación de
not as a lo l argo del t iempo en f unción de las caract eríst icas de los est udiant es.

11
La evaluación según crit erios permit e est ablecer el nivel alcanzado por cada
est udiant e en relación con un conj unt o de aprendizaj es dados con independencia de
los result ados obt enidos por los demás. Cuando se t rat a de evaluar para acredit ar
una asignat ura que cont ribuye a la habilit ación prof esional de los est udiant es,
pareciera que la evaluación según crit erios f uera la más adecuada. Porque en est as
sit uaciones no import a t ant o que t an bueno o malo sea el est udiant e en comparación
con sus pares, sino que t an bien o no ha logrado alcanzar los conocimient os y
habilidades requeridos para el ej ercicio prof esional.

Uso de los result ados obt enidos

Del análisis de los result ados es posible obt ener inf ormación sobre l a cal idad del
inst rument o usado, sobre el rendimient o de los est udiant es (en t érminos individual es
y grupales) y sobre las necesidades de la enseñanza.

La ret roal iment ación de los result ados obt enida de la evaluación es cent ral para el
aprendizaj e. Cuant o más det allada y específ ica sea la inf ormación of recida al
est udiant e sobre sus respuest as y cuant o más rápido se le present e, t ant o más
cont ribuirá a f acilit ar los aprendizaj es de los aspect os no suf icient ement e logrados.

Después de haber t omado la evaluación, t rabaj ar con el grupo de est udiant es para
elaborar la t abla de result ados puede ser una manera alt ament e signif icat iva de
aprendizaj e. También puede solicit arse que analicen sus respuest as (o la de algún
compañero) t eniendo en cuent a la t abla de result ados e, incluso, que se pongan una
calif icación. Ello no invalida la calif icación puest a por el docent e.

TERCERA PARTE: PRUEBAS DE SELECCIÓN DE RESPUESTAS

En est e apart ado nos det endremos en el desarrollo de los inst rument os de evaluación
que of recen al est udiant e un conj unt o de opciones de ent re las cuales deben
seleccionar la respuest a correct a. Las cuest iones genéricas desarrolladas
previament e son t ambién válidas para est os casos, por l o cual nos limit aremos en
est a sección a dar cuent a de las especif icidades que present an est as pruebas, sea en
su const rucción, en su uso o en el análisis de l os result ados.

Las pruebas de selección de respuest as pueden ser: de alt ernat ivas const ant es, de
opción múlt iple o de asociación de pares. Incluimos t ambién aquí las pruebas de
mult i-ít em de base común que, aun cuando l a bibliograf ía especial izada las considera
un t ipo dif erent e de inst rument o, present an rasgos que la asemej an a las pruebas de
selección de respuest as. A cont inuación dedicaremos un apart ado a cada una de
ellas.

Pruebas de alternativas constantes

Caract eríst icas

Se denominan así a aquellas pruebas que of recen una proposición que l os alumnos
deben evaluar recurriendo a dos opciones: verdadero o f also, siempre o nunca, causa
o ef ect o, hecho u opinión, et cét era.

12
Aun cuando muchos aut ores las ubican como un t ipo dif erent e de prueba (dent ro de
las de selección de respuest as), present an un t rat amient o similar l as pruebas de t res
opciones: verdadero-f also-dudoso, siempre-a veces-nunca.

Est as pruebas son part icularment e adecuadas para evaluar el conocimient o de

inf ormación y, en algunos casos, pueden permit ir evaluar t ambién la comprensión de
la misma. Para evaluar comprensión, se of rece ciert a inf ormación (t ext os, mapas,
cuadros) y, a cont inuación, se present an proposiciones acerca de esa inf ormación y
se le pide al est udiant e que indique si son verdaderas o f alsas, si corresponden a una
causa o a un ef ect o, et c.

En est as pruebas puede solicit arse a los est udiant es que j ust if iquen t odas o algunas
de sus respuest as (por ej emplo, que j ust if iquen sólo l as verdaderas –j ust if icación más
dif ícil que l as de las f al sas-) o que re-escriban l as proposiciones f alsas o incorrect as.
De est e modo, no sól o se disminuye la probabilidad de que la elección se realice por
azar, sino que además se hace posible evaluar el grado de comprensión de
concept os, hechos o procedimient os.

Para l imit ar la t ent ación de responder al azar, t ambién puede recurrirse –al moment o
de la calif icación- a val orar t ant o l as respuest as correct as como las incorrect as; al
rest ar punt os por las respuest as incorrect as se limit a la t ent ación a marcar cualquier
opción.

Algunos recaudos en su const rucción

Cuando se const ruyen pruebas de al t ernat ivas const ant es, es necesario t ener
previament e en claro l os aspect os cent rales que se quieren evaluar y su import ancia
relat iva, l a cual debe quedar ref lej ada en l a cant idad de ít ems para cada uno. Ell o
t ambién cont ribuye a reducir las posibilidades de respuest as correct as por ef ect o del
azar.

Cuando se solicit a indicar si las proposiciones son verdaderas o f alsas, es convenient e

que el 60% sean enunciados f alsos, de manera de mej orar la discriminación ent re l os
est udiant es de alt o y baj o rendimient o, ya que los est udiant es con menos
conocimient os t ienden a acept ar más que a cuest ionar.

En cuant o a las proposiciones, es import ant e que las mismas:

™ Sean cat egóricas

™ Cuent en con la suf icient e inf ormación para evit ar int erpret aciones diversas.
™ No present en dudas en su enunciado a un “ expert o” .
™ No sean ext ensas ni complej as ni posean “ t rampas” .
™ No sean de respuest a obvia, ya que no se t rat a de evaluar el sent ido común
sino aprendizaj es específ icos en el marco de una asignat ura.
™ No sean t riviales, incluyendo sólo aspect os secundarios de l os cont enidos a
evaluar ant e la dif icult ad de encont rar proposiciones absol ut ament e
verdaderas o f alsas.
™ No se limit en a exigir la memorización de dat os (a menos que est o sea l o
único que se desee evaluar).
™ Ut ilicen un l enguaj e que sea conocido por el est udiant e y a la vez t enga en
cuent a la especif icidad del lenguaj e disciplinar.

Pruebas de opción múltiple

13
Caract eríst icas

Est as pruebas consist en en una serie de ít ems para cada uno de los cuales se of recen
varias opciones de solución, de las cuales sólo una es correct a. Los ít ems pueden ser
pregunt as, enunciados incomplet os, esquemas o dibuj os, et c. Por su part e, las
opciones pueden ser pal abras, f rases, símbolos, números, et c.

Habit ualment e, la consigna sol icit a señalar la opción correct a; no obst ant e, es
posible solicit ar la más adecuada o acept able o, incluso, abrir la posibil idad a más de
una respuest a correct a.

Est as pruebas son part icularment e adecuadas para evaluar el conocimient o de dat os,
la comprensión de concept os, las relaciones ent re hechos (causa-ef ect o,
ant ecedent e-consecuent e), la evaluación de sit uaciones del t ipo “ ¿qué pasaría si…?”

Algunos recaudos en su const rucción

La const rucción de est as pruebas suele ser dif icult osa y requerir bast ant e t iempo. No
obst ant e, est e t iempo se compensa por l a f acilidad de l a corrección, l o cual es
especialment e pert inent e cuando se t ienen cursos numerosos.

El primer paso es seleccionar l os cont enidos que se adapt an para ser evaluados de
est a manera. Cuant os más ít ems se incluyan, más f iable y válida será la evaluación.
Normalment e pueden incluirse hast a 40 pregunt as para ser respondidas en una hora.
El número de pregunt as para cada part e del t emario debe ser proporcional a la
import ancia que se le asigne. En t ant o a cada ít em se le debe ot orgar el mismo valor,
los t emas represent ados por mayor número de pregunt as t endrán más peso en l a
calif icación de la prueba. Evit ar los ít ems concat enados; cada ít em debe ser
independient e de los demás y no debe of recer inf ormación que cont ribuya a
responder ot ro ít em.

La calidad de un ít em de selección múlt iple depende t ant o de la claridad y

complej idad del cuerpo del ít em (o base) como de la homogeneidad de l as opciones
que se of recen como posibles respuest as.

Los ít ems que const it uyen la base deben ser f ormuladas de manera af irmat iva,
incluyendo sólo lo necesario para que se comprenda el sent ido y sea posible elegir l a
opción correct a. El cuerpo del ít em debe llevar a pensar en una respuest a posible a
t odo aquél que t enga l a inf ormación necesaria sin necesidad de ver l as opciones.

El número de dist ract ores (o respuest as incorrect as) puede ser variabl e, aunque es
recomendable que no sean menos de t res (para reducir la probabil idad de respuest as
correct as por azar). Todos los dist ract ores deben t ener sent ido; es decir que las
opciones incorrect as t ienen que ser opciones posibles no descart ables f ácilment e por
quienes desconocen el t ema; si son demasiado obvios, t riviales o absurdos pierde
ef ect ividad la prueba. Tant o la respuest a correct a como l as incorrect as deben ser
homogéneas, es decir, pert enecer a una misma “ clase” de cosas.

No deben usarse expresiones inclusivas del t ipo “ Todas las ant eriores son correct as”
o “ Ninguna de las ant eriores es correct a” . Est as opciones de respuest a se incluyen
muchas veces por la necesidad de complet ar el número de alt ernat ivas. Del mismo
modo, conviene evit ar el uso de palabras como “ siempre” , “ nunca” , “ t ot alment e” ,
“ absolut ament e” , “ complet ament e” ; est as expresiones suelen aparecer
predominant ement e en las alt ernat ivas incorrect as, ya que la opción correct a pocas
veces corresponde a j uicios universal es.

14
Debe t enerse especial cuidado en la redacción de manera de evit ar dar “ pist as” que
guíen hacia la respuest a correct a, por ej empl o, porque uno o más dist ract ores no
coinciden en género y número o en t iempo verbal con l a base, o porque la respuest a
correct a es la más larga y elaborada o porque incluye palabras o expresiones que
aparecen en el enunciado.

Cuando las opciones son cif ras o palabras (nombres de personas o lugares, por
ej emplo) es convenient e ordenarlas de manera crecient e o por orden al f abét ico.

Tampoco debe quedar ubicada l a respuest a correct a siempre en la misma posición.

Se debe evit ar f ormular t ant o la base como l a opción correct a en los mismos
t érminos ut ilizados en l a bibliograf ía, ya que el lo f acilit a encont rar l a respuest a
adecuada por f amil iarización con la redacción.

El vocabulario t écnico debe ser empleado con precisión.

Pruebas de asociación de pares

Caract eríst icas

Est as pruebas consist en en la present ación de dos columnas de pal abras, símbolos,
números, f rases, et cét era, que el est udiant e debe relacionar en f unción de una
consigna. La columna de la izquierda se denomina “ premisa” y la de la derecha,
“ respuest a” . Puede solicit arse asociar: t érminos y def iniciones, acont ecimient os y
f echas, aut ores y obras, obj et os y f unciones, concept os y ej emplos de l os mismos,
et c. Puede pedirse que a cada premisa corresponda una o más respuest as.

Son inst rument os út iles para eval uar rápidament e gran cant idad de inf ormación, así
como manej o de concept os (al exigir del est udiant e discriminar l os casos que
pert enecen a un concept o y lo dif erencian de ot ros semej ant es).

Su principal desvent aj a es que no permit e eval uar result ados de aprendizaj es

complej os.

Algunos recaudos en su const rucción

Son inst rument os que no present an mayores dif icult ades en su elaboración.

Para evit ar respuest as correct as por azar es convenient e que la columna de

respuest as t enga mayor cant idad de ít ems que l a de premisas, de manera de incluir
dist ract ores.

Igual que en las pruebas ant eriores, t ant o las premisas como las respuest as deben ser
homogéneas.

Multi-ítem de base común

Caract eríst icas

Est e inst rument o de evaluación no suele ser considerado dent ro de las pruebas de
selección de respuest as; dada su mayor complej idad suele clasif icárselo en una
cat egoría independient e. Pese a ell o, lo incluimos en est a present ación por
15
considerarlo sumament e út il a l os f ines de la evaluación en las asignat uras de
Derecho Int ernacional.

La base de est e inst rument o est á dada por un conj unt o de inf ormaciones que pueden
ser t ext os escrit os, gráf icos, mapas, t ablas o cualquier ot ro t ipo de mat erial. A part ir
de est a inf ormación se const ruyen varios ít ems, en general de alt ernat ivas const ant es
o de opción múlt iple.

Est a prueba permit e evaluar procesos ment ales complej os como capacidad para
int erpret ar dat os, inf erir conclusiones, def inir problemas, solucionar plant eos,
analizar rel aciones, advert ir errores, et c. La complej idad de lo evaluado depende
f undament alment e de l a complej idad de la inf ormación of recida, así como t ambién
de la const rucción de l os ít ems, l os cuales pueden requerir int erpret ar, analizar,
sint et izar, evaluar, cl asif icar, cat egorizar, la inf ormación of recida en l a base para
seleccionar la respuest a correct a.

Sus principales desvent aj as est án dadas por la dif icult ad para preparar, dado que no
suele ser sencillo diseñar ít ems independient es ent re sí y de dif icult ad homogénea.

Al igual que en las pruebas mencionadas previament e, es import ant e analizar el

grado de dif icult ad que present aron los dist int os ít ems, de manera de sacar los
excesivament e sencillos y l os excesivament e dif íciles, a menos que se l os proponga
con ot ros propósit os. Por ej emplo, poner algún ít em sencill o, sobre t odo al
comienzo, permit e a los est udiant es ganar conf ianza y baj ar los niveles de ansiedad
propios del examen. Por su part e, l os ít ems dif íciles pueden ser incluidos con el
propósit o de discriminar alt os nivel es de logro ent re los est udiant es.

A modo de cierre

Est a present ación t enía un doble propósit o: por un lado, abrir al debat e y al
int ercambio de experiencias sobre el uso (en el ámbit o de l as asignat uras del
Derecho Int ernacional) de los inst rument os de evaluación del aprendizaj e de
selección de respuest as; por ot ro l ado, dej ar un document o escrit o que permit a
volver sobre él para revisar diversos aspect os, aclarar dudas, ampliar concept os.
Espero haber podido cumplir con ambos obj et ivos.

La decisión sobre qué inst rument os usar y cuándo hacerl o corresponde

exclusivament e a los prof esores de Derecho Int ernacional. Sólo ell os podrán dar
cuent a de la ut ilidad de est as pruebas en l a evaluación de sus est udiant es
universit arios. Sin dudas, el t rabaj o compart ido y el int ercambio ent re colegas
cont ribuirán a reconocer con mayor precisión las posibilidades y limit aciones de l os
inst rument os de evaluación de selección de respuest as.

Bibliografía

Álvarez Méndez, N. M. La evaluación como act ividad crít ica del aprendizaj e.
Cuadernos de Pedagogía, nº 219, Barcelona, 1993.

Bloom, B. S. , Hast ings, J. T. y Manaus, G. F. Evaluación del aprendizaj e. Buenos Aries,

Troquel , 1975.

Camil loni, A. Las f unciones de la evaluación. Buenos Aires, mimeo.

16
Camil loni, A. , Celman, S. , Lit win, E. y Pal ou de Mat é, M del C. La evaluación de l os
aprendizaj es en el debat e didáct ico cont emporáneo. Buenos Aires, Paidós Educador,
1998.

Ebel, R. Educat ional Test s: Valid?, Biased? Usef ul? Phi Delt a Kappan, 1975, 57, 83-88.

Gimeno Sacrist án, J y Pérez Gómez, A. La enseñanza: su t eoría y su práct ica. Madrid,
AKAL, 1985.

González Pérez, Miriam. La evaluación del aprendizaj e: t endencias y ref lexión

crít ica. Revist a Cubana de Educación Media y Superior, 2001; 15 (1), pp 85-96.

Popham, W. J. Crit erion-Ref erenced Measurement . Prent ice Hall, New Jersey, 1978.

Sant os Guerra, M. A. Evaluar es comprender. Buenos Aires, Magist erio del Río de la
Plat a, 1998.

17