La Revisión por Pares y la Selección

de Artículos para Publicación

Peer review and Selection of Articles for Publishing
A Revisão por Pares e a Seleção de Artigos para Publicação

Gladys S. Martínez
Centro de Investigaciones en Biomodelos, Bogotá, Colombia

Resumen Abstract Resumo

La revisión de manuscritos científicos por pares
evaluadores pretende evaluar la originalidad,
calidad y pertinencia de datos asociados a una
investigación. Con algunas variaciones, este sis-
tema se ha institucionalizado, ha sido parte cen-
tral en la validación de publicaciones científicas
y es aceptado por la mayoría de científicos como
la mejor opción de evaluación entre las disponi-
bles. En este artículo se describen brevemente las
fortalezas y debilidades de este sistema de eva-
luación y se reflexiona sobre algunas alternativas
para su mejoramiento, lo cual es valioso para
revistas de habla española.
Palabras clave: revisión por pares, doble ciego,
alternativas a la evaluación por pares, sesgo, pu-
blicación científica.
Peer review of scientific manuscripts aims to
evaluate the originality, quality, and relevance
of research data. Although with some varia-
tions, this system has been institutionalized, is
still a central part in the validation of scientific
publications, and is accepted by most scientists
as the best evaluation option available. The ar-
ticle briefly describes this evaluation system’s
strengths and weaknesses, and reflects on al-
ternatives for its improvement, some of which
may prove to be useful for journals published in
Spanish.
Keywords: peer review, blind peer review, alter-
natives to peer review, bias, scientific publication.
A revisão de manuscritos científicos por pares
avaliadores pretende examinar a originalidade,
qualidade e pertinência de dados associados a
uma pesquisa. Com algumas variações, este sis-
tema se institucionalizou e é parte central na va-
lidação de publicações científicas e é aceito pela
maioria dos cientistas como a melhor opção de
avaliação entre as disponíveis. Neste artigo, des-
crevem-se brevemente as fortalezas e debilidades
desse sistema de avaliação e se reflete sobre algu-
mas alternativas para seu melhoramento, o que é
valioso para revistas de língua espanhola.
Palavras-chave: revisão por pares, avaliação du-
plo-cega, alternativas para a avaliação por pares,
viés, publicação científica.

La correspondencia relacionada con este artículo puede dirigirse a Gladys Martínez, e-mail: gsmartinme@gmail.com. Centro de Investigaciones en
Biomodelos, carrera 81 n.o 68B-40, Bogotá, Colombia.

ARTÍCULO DE REFLEXIÓN
R ECIBIDO: 25 de nov iem br e de 2011 - ACEPTA DO: 13 de m a r zo de 201 2

* La autora ha sido editora/directora de las revistas Suma Psicológica y Revista Latinoamericana de Psicología, y ha actuado como editora asociada en
la revista Avances en Psicología Latinoamericana.

R E V I S TA C O LO MB I A N A D E P S I C O LO G Í A    V O L . 2 1    N .º 1   E N E R O - J U N I O 2 0 1 2   I S S N 0 1 2 1 - 5 4 6 9   B O G O TÁ   C O L O M B I A   PP. 27-35

28 G L A D Y S S. M A RT ÍNE Z

La revisión de manuscritos científicos significativa a aumentar la calidad de lo que se

por pares evaluadores pretende evaluar la origi- ha publicado en la revista; pero también debe
nalidad, calidad y pertinencia de datos asocia- tener en cuenta la rapidez con que dichos pares
dos a una investigación. El proceso fue aplicado responden. El Open Journal System, un sistema
por primera vez en 1731, por la Sociedad Real diseñado para facilitar la tarea editorial, resulta
de Edimburgo en su revista Medical Essays and una herramienta valiosa en la medida en que
Observations, con el envío de los artículos some- dispone de un mecanismo en el que es posible
tidos a publicación, a individuos considerados asignar una calificación (de 1 a 5) a las evalua-
por el editor como los más versados en el tema ciones que se reciben y que, además, permite lle-
(Kronick, 1990). Aunque con algunas variacio- var un registro de las evaluaciones solicitadas y
nes, este sistema se ha institucionalizado, sigue el tiempo tomado por cada uno de los revisores
siendo parte central en la validación de publica- para la entrega de las mismas. Esta estrategia de
ciones científicas y es aceptado por la mayoría de selección de revisores, aunque ideal, suele gene-
científicos como la mejor alternativa entre todas rar problemas cuando el manuscrito pertenece
las disponibles. a un campo relativamente pequeño, y especial-
En su forma más generalizada, el proceso mente en ciencias básicas, por cuanto la lista de
de evaluación de un artículo científico supone potenciales expertos suele ser reducida, lo que
una evaluación inicial del manuscrito por parte hace difícil encontrar un revisor (Riss, 2011).
del editor, que decide si este puede ser publicado Una segunda opción es solicitar a los auto-
en su versión original, si solicita modificaciones res nominar posibles evaluadores para el artícu-
que serán luego enviadas a evaluación, o si lo lo que someten. Aunque comparaciones entre la
rechaza inmediatamente. La decisión del editor evaluación y las recomendaciones de revisores
usualmente se basa en comentarios y recomen- sugeridos por los autores y de revisores elegidos
daciones hechas por expertos, cuyo rol es eva- por el editor no muestran diferencias significa-
luar de manera independiente, imparcial y sin tivas en la calidad o en el tono de la revisión, sí
sesgos los manuscritos que le son remitidos. En evidencian una mayor frecuencia en la acepta-
la práctica, sin embargo, los editores de revistas ción del manuscrito cuando los revisores son
se ven obligados a desarrollar métodos que se propuestos por los autores (Wager, Parkin &
aproximan a este ideal, debido a la falta de un Tamber, 2006). La falta de anonimato en el siste-
cuerpo relativamente grande de evaluadores, es- ma de evaluación por pares tiene así el potencial
pecialmente cuando se habla de la evaluación de de reducir la tendencia a evadir responsabilida-
artículos en comunidades académicas en proce- des, al tiempo que ofrece al evaluador el refuerzo
so de consolidación, como es el caso de las co- asociado al reconocimiento social por su trabajo
munidades hispanohablantes (Red de Editores (Armstrong, 1982; Leek, Taub & Pineda, 2011;
de Revistas de Psicología, comunicación perso- Suls & Martin, 2009).
nal, 22 de septiembre, 2010). Un elemento adicional a tener en cuenta al
Para implementar la evaluación por pares, elegir revisores tiene que ver con la posibilidad
el editor puede llevar a cabo dos estrategias. Por de que el revisor, elegido por el editor, pueda
un lado, el editor puede seleccionar los evalua- pertenecer a un grupo que compite con el de los
dores eligiendo aquellos que conoce personal- autores del manuscrito y puede, por tanto, sesgar
mente, o revisar una base de datos en la que se sus comentarios. Aunque los revisores están obli-
incluyan expertos en diferentes campos y elegir, gados a declarar conflictos de intereses, quizás
entre ellos, a aquellos cuyas anotaciones en re- convendría incluir la posibilidad de que los auto-
visiones previas hayan contribuido de manera res nominen evaluadores a los que el manuscrito

DEPARTAME N T O D E P S I C O LO G Í A    FA C U LTA D D E C I E N C IA S H U M A N A S    U N I V E R S I D A D N A C I O N A L D E C O L O M B I A
R EV ISIÓN POR PARES
no debería ser remitido, práctica que ya ha sido
implementada en algunas revistas (Rossdale,
2010). Quizás sea necesario señalar que estudios
que han evaluado esta estrategia han encontrado
que las probabilidades de que un manuscrito sea
aceptado son el doble cuando el autor ha elimi-
nado ciertos revisores (Goldsmith, Blalock, Bo-
bkova & Hall, 2006; Grimm, 2005).
¿Revisión Abierta o Revisión Ciega?
La revisión por pares puede ser de doble
ciego, ciega en una sola dirección o abierta. La
principal razón de ser de la revisión a ciegas
está en la suposición de que hay alguna forma
de sesgo asociada a los autores o a las institu-
ciones a las cuales están afiliados. Un estudio
famoso confirmó, de hecho, esta tendencia: ar-
tículos publicados en revistas de psicología por
autores ampliamente reconocidos provenientes
de universidades prestigiosas fueron re-escritos
con algunos pequeños cambios al título, el resu-
men y la introducción, y fueron luego sometidos
a evaluación ciega en las mismas revistas en que
habían sido previamente publicados; solo tres
de los 12 artículos fueron reconocidos como ya
publicados, los otros nueve fueron rechazados
debido a su baja calidad (Ceci & Peters, 1982).
La revisión de doble ciego supone que la
identidad de los revisores no es revelada a los
autores y que los revisores desconocen los au-
tores del manuscrito. El segundo caso, es decir
la revisión ciega en una sola dirección, permite
que los revisores conozcan el nombre de los au-
tores, pero la identidad de los revisores no es re-
velada a los autores. En el tercer caso, la revisión
no ciega, la identidad de los revisores y de los
autores es conocida por unos y otros. Ello impli-
ca que los revisores son responsables de sus co-
mentarios y recomendaciones, e incluso puede
pedírseles que sus revisiones estén disponibles
al público (Stichler, 2011). Aunque esta última
práctica suele estar presente en otros campos, la
prohibición de la APA (American Psychological
Association) de que los revisores sean conocidos
REV ISTA C O LO MB I A N A D E P S I C O LO G Í A    V O L. 21   N .º 1   E N E R O - J U N I O 2 0 1 2   I S S N 0 1 2 1 - 5 4 6 9   B O G O TÁ   C O L O M B I A   -   P P. 2 7 - 3 5
29
por los autores, obliga a revistas en esta área a
asegurar siempre el anonimato de los revisores y
evitar la revisión abierta.
La experiencia ha mostrado que con fre-
cuencia los revisores pueden deducir la identi-
dad de los autores por el tema discutido en el
manuscrito o por las referencias usadas en el
mismo. Ocultar la identidad de los autores obliga
a omitir del texto información sobre el origen de
los sujetos experimentales, referencias a comités
de ética que aprobaron el trabajo y referencias a
trabajos previos realizados por el grupo al cual
pertenecen los autores. Aunque existe la opción
de que sea el editor el encargado de omitir esta
información, que es vital en el manuscrito, es
claro que su omisión puede generar comentarios
negativos del revisor debido, precisamente, a la
falta de esta información.
Sumado a ello, varios estudios sugieren
que el uso del doble ciego no tiene efectos im-
portantes en la calidad del proceso de revisión,
en la detección de errores en los manuscritos, en
las recomendaciones, en la extensión de la revi-
sión (medida en el número de palabras usadas)
o en el tiempo tomado para revisar el manus-
crito (Alam et al., 2011; Godlee, Gale & Martyn,
1998; Schroter, Tite, Hutchings & Black, 2006;
van Rooyen, Godlee, Evans, Smith & Black,
1998, 1999), argumentos que, de alguna mane-
ra, generan dudas sobre la necesidad de ocul-
tar la identidad de revisores y autores. Estudios
subsecuentes han encontrado datos contradic-
torios que muestran efectos del uso del doble
ciego en la aceptación o rechazo del manuscri-
to; uno de ellos ha sugerido, incluso, que el uso
de la evaluación de doble ciego reduce en parte
el sesgo hacia autores extranjeros (Ross et al.,
2006). Estudios que usan el factor de impacto
(cuántas veces es citado un artículo) como in-
dicador de la calidad del artículo, muestran, sin
embargo, una clara relación entre la evaluación
por doble ciego e indicadores bibliométricos
como el índice H (Bornmann & Daniel, 2008a,
2008b, 2009; Laband & Piette, 1994; Triaridis &
30 G L A D Y S S. M A RT ÍNE Z

Kyrgidis, 2010; van Raan, 2006; Waltman, van El anonimato promovido por la revisión
Eck, van Leeuwen, Visser & van Raan, 2011). por pares es también fuente de conflicto con los
Aunque se reconoce la imposibilidad de ocul- autores que consideran que esta práctica hace
tar el nombre de los autores, hay dudas sobre posible que se envíen evaluaciones subjetivas,
los efectos del conocimiento de la identidad de con errores y con comentarios no científicos que
los autores en el revisor. Un proceso de revisión en nada benefician la calidad del manuscrito y
anónimo puede dar mayor libertad al revisor que demuestran una lectura con poca profun-
para expresar sus ideas y para criticar abierta- didad por parte de los revisores (Bradley, 1981).
mente el manuscrito. La evaluación anónima es también asocia-
La evaluación de doble ciego o ciego en una da a revisiones más fuertes, usualmente negati-
sola dirección, aunque ofrece mayores garantías vas, de manuscritos que reportan innovaciones
para evitar sesgos en la evaluación asociados a o datos que se salen de la tendencia generaliza-
los autores de los manuscritos o la institución a da, caso en el que los evaluadores se enfocan en
la cual están afiliados, no es una garantía para los puntos débiles más que en las fortalezas del
evitar sesgos asociados al tipo de metodología, manuscrito (Armstrong, 1997; Horrobin, 1990).
a la orientación teórica que lo subyace, a resul- Adicionalmente, estudios sugieren una alta
tados negativos o incluso a nuevas ideas. En este frecuencia de falta de acuerdo entre evaluadores
sentido, la respuesta de los autores a los comen- (Rothwell & Martyn, 2000). Cicchetti (1993),
tarios de los evaluadores se convierte en una por ejemplo, reporta un acuerdo inter-evalua-
herramienta importante en la solución de con- dores de solo .4, mientras que otros autores re-
flictos originados en este tipo de sesgos, aunque portan coeficientes de correlación que fluctúan
deja la decisión final en el editor. entre .19-.28 para elementos de la evaluación
Algunas otras revistas han implementado tan importantes como el diseño del estudio, el
una versión modificada en la cual la revisión o análisis de los datos y su relevancia (Marsh, Ja-
pre-selección preliminar está a cargo del editor. yasinghe & Bond, 2008; Scott, 1974).
Aunque puede disminuir la carga de los reviso- Como editora de revistas científicas, he en-
res, queda sin embargo la duda sobre la exper- contrado casos en los cuales la opinión de los
ticia del editor en todas las áreas cubiertas por dos revisores con relación a un manuscrito es
los manuscritos sometidos a publicación, espe- completamente opuesta: mientras que uno su-
cialmente si, como ocurre con un gran número giere su publicación y lo considera un artículo
de revistas en español, el alcance de la revista relevante, el otro lo califica negativamente y su-
no es especializado sino que cubre una multi- giere no publicarlo. En casos como este, es fun-
plicidad de áreas. ción del editor resolver estas discrepancias; una
comprensión clara de cada uno de los roles por
Críticas a la Revisión por Pares cada uno de los actores contribuye a minimizar,
Además de las críticas antes mencionadas, aunque no a eliminar, los potenciales efectos ne-
la revisión por pares es con frecuencia atacada gativos sobre la publicación de los mejores tra-
por los autores que se quejan de la falta de fami- bajos en cualquier área de la ciencia.
liaridad de los revisores con el tema específico Finalmente, autores en áreas biomédicas
reseñado en la investigación. Si en el mejor de critican el proceso de evaluación por pares y
los casos el revisor efectivamente trabaja en el su habitual recomendación para que se reali-
mismo campo, existe siempre el riesgo de que cen nuevos experimentos, trabajo que aunque
compita de manera directa con los autores del puede dar apoyo a los resultados encontrados,
artículo revisado. no aporta usualmente nada nuevo y requiere en

DEPARTAME N T O D E P S I C O LO G Í A    FA C U LTA D D E C I E N C IA S H U M A N A S    U N I V E R S I D A D N A C I O N A L D E C O L O M B I A
R EV ISIÓN POR PARES 31

cambio la planeación y ejecución de una nueva significativo, muestran alguna evidencia de me-
fase que genera costos adicionales no justifica- jora en comparación con revisores que no han
dos (Ploegh, 2011). recibido entrenamiento (Schroter et al., 2004).
Algunos autores sugieren, además, el envío de
¿Cómo Mejorar la Revisión artículos de prueba para evaluar calidad de las
por Pares? revisiones y evaluaciones regulares para enfati-
A pesar de las objeciones y quejas respec- zar puntos relevantes (Benos et al., 2007).
to al sistema de evaluación por pares, es claro
que el proceso tiene fortalezas que lo hacen una Pre-selección de Artículos
buena elección. Entre estas fortalezas hay que Esta estrategia, implementada por algunas
reconocer que en general los evaluadores toman revistas europeas, implica el establecimiento de
en serio su responsabilidad, le asignan una con- un sistema previo de selección que funciona de
siderable cantidad de tiempo a la tarea, hacen forma tal que el proceso total de evaluación solo
contribuciones sustanciales que hacen más fácil se hace con artículos que tienen un buen poten-
la lectura de los manuscritos y mejoran la cali- cial. Para ello, se solicita a los revisores evaluar
dad de los reportes científicos (Snell & Spencer, de manera general el artículo, en términos de su
2005; Weller, 1996). En general, tanto autores contribución al progreso científico, la validez de
como revisores reportan una visión positiva de los métodos utilizados, la discusión apropiada
la evaluación por pares, aunque la opinión de de los resultados, el uso de referencias pertinen-
los autores varía dependiendo de la decisión fi- tes y la calidad de la presentación. Solo después
nal sobre su manuscrito, es decir su aceptación o de que un manuscrito ha pasado esta evaluación
rechazo (Thomas, 2011; Weber, Katz, Waeckerle preliminar es enviado a los revisores para una
& Callaham, 2002). Sin embargo, este no es un evaluación completa que incluya comentarios y
sistema perfecto y se requieren revisiones pro- recomendaciones para mejorarlo (Bornmann &
fundas para su mejoramiento. Daniel, 2009).
La búsqueda de un sistema de evaluación En una modificación a este modelo, en la
que reduzca el sesgo, promueva la discusión en revista Atmospheric Chemistry and Physics, el
la comunidad científica y contribuya a mejorar editor solicita a miembros del equipo editorial
la calidad de los manuscritos ha estado presente una revisión preliminar para detectar problemas
desde hace mucho tiempo. Aunque es claro que de tipo técnico y, si se cumplen estándares bá-
el sistema de evaluación por pares es por ahora sicos, el manuscrito es publicado en la página
la estrategia más viable, conviene hacer modifi- web de la revista. Autores registrados pueden
caciones que mejoren el proceso y que aseguren entonces emitir comentarios (evaluación por
una mayor calidad de los artículos que se publi- pares pública) a los cuales pueden responder los
can. A continuación se señalan algunas de las autores y con base en los cuales pueden hacer
opciones que se han considerado para ello. modificaciones (Suls & Martin, 2009).

Entrenamiento a Revisores Evaluación Abierta con Revisores

Varias revistas han implementado progra- Seleccionados por los Autores
mas de entrenamiento a revisores que ofrecen Una primera opción es la propuesta de la
información sobre cómo revisar un manus- revista Biology Direct. En esta revista, los edito-
crito y cómo presentar las críticas a los auto- res organizan un panel de revisores potenciales
res, definiendo criterios y señalando errores a por áreas y conforman un equipo editorial. Al
evitar; aunque los datos no sugieren un efecto someter los artículos, los autores deben sugerir

REV ISTA C O LO MB I A N A D E P S I C O LO G Í A    V O L. 21   N .º 1   E N E R O - J U N I O 2 0 1 2   I S S N 0 1 2 1 - 5 4 6 9   B O G O TÁ   C O L O M B I A   -   P P. 2 7 - 3 5

32 G L A D Y S S. M A RT ÍNE Z

miembros de ese equipo editorial para evaluar transcurrido entre el envío del manuscrito y su
su manuscrito. Si tres de esos miembros acep- aceptación final: reduce significativamente la
tan formalmente evaluarlo, el artículo es elegible carga sobre los revisores, pues en muchas oca-
para publicación. Al final del proceso, los revi- siones solamente tienen que revisar en segunda
sores pueden elegir si sus comentarios se publi- ronda un artículo; aumenta la base de datos de
can junto con el artículo o no. Adicionalmente, revisores disponibles al permitir que sean com-
el autor puede optar por retirar el artículo si no partidos entre revistas y con ello permite que
desea que las revisiones recibidas sean publica- los revisores se especialicen en temas específi-
das junto con el artículo (Biology Direct, 2012). cos. Lo que resulta un poco sorprendente es el
hecho de que, un año después de su implemen-
Evaluación a Cargo de una Cohorte de Revisores tación, el sistema parece no estar funcionando:
En este caso se da acceso a manuscritos a solamente entre el 1% y el 2% de los manuscritos
una cohorte de revisores y estos evalúan aque- recibidos por las revistas del consorcio fueron
llos que atraen su interés, aunque la evaluación reenviados a otra revista del consorcio y los
formal debe ser hecha por tres revisores elegidos autores optaron por reenviar el manuscrito a
por el editor. A pesar de que todos los evaluado- revistas por fuera del consorcio, tema que po-
res pueden ser anónimos, sus comentarios están dría ser explicado por la corta vida del sistema
disponibles para todo el grupo de evaluadores y y el desconocimiento por parte de los autores
para los autores. Estos últimos pueden respon- sobre el funcionamiento de este modelo (Saper
der a los comentarios de los revisores si lo consi- & Maunsell, 2009).
deran necesario o pertinente (Benos et al., 2007). A pesar de este hecho, es claro que el uso
de esta modalidad sería ampliamente útil para
Consorcios para la Evaluación de Artículos revistas que se publican en español, que en su
Esta propuesta no va orientada específica- mayoría son de carácter general y que por serlo
mente a modificar el proceso de evaluación por tienen dificultades para obtener respuestas po-
pares, sino a mejorarlo y hacerlo más expedito. sitivas de revisores potenciales que usualmente
La propuesta incluye la creación de un consorcio están sobrecargados con solicitudes de otras re-
de revistas que se acojan a la misma serie de re- vistas. La posibilidad de reunir las bases de da-
glas y que compartan revisores, aunque manten- tos disponibles en cada revista y organizarse en
gan la independencia para aceptar o rechazar los un consorcio permitiría, además, tener acceso a
manuscritos. Los autores someterían el manus- información sobre evaluadores especializados
crito al consorcio y anexarían una lista ordenada en la temática de los manuscritos recibidos que
de las revistas en las que preferirían que el ma- ofrecen una perspectiva menos general.
nuscrito fuera publicado (Black, 2011). El ejem-
plo más desarrollado de este tipo de consorcios Comentarios Finales: la Evaluación
es el Consorcio de Evaluación por Pares en Neu- por Pares en Revistas de Psicología
rociencias, en funcionamiento desde el 2008. En Iberoamericanas
este consorcio, si el manuscrito no es aceptado Aunque en Iberoamérica hay una tradición
en una revista, el autor puede someterlo nueva- editorial amplia, el tema de la inclusión de revis-
mente a una de las revistas que hacen parte del tas en bases de datos e índices internacionales
consorcio y solicitar que las evaluaciones ya he- es relativamente reciente. Y es quizás este uno
chas sean reenviadas a esta nueva revista. de los elementos importantes en la adopción e
El uso de esta nueva modalidad pue- institucionalización de la revisión por pares. De
de reducir de manera dramática el tiempo hecho, este requisito hace parte importante del

DEPARTAME N T O D E P S I C O LO G Í A    FA C U LTA D D E C I E N C IA S H U M A N A S    U N I V E R S I D A D N A C I O N A L D E C O L O M B I A
R EV ISIÓN POR PARES 33

proceso de evaluación de revistas implementa- (estudiantes de posgrado en formación1), entre-

do por bases de datos o sistemas de indexación namiento en selección de pares evaluadores (uso
tan importantes como ISI, SCOPUS, SciELO, LI- apropiado de bases de datos como ISI, SCOPUS,
LACS, LATINDEX, Redalyc, PsycINFO y Pu- DIALNET y DOAJ) y entrenamiento en el uso de
blindex, y es también considerado un elemento plataformas, como la del Open Journal System,
importante de calidad al interior de las revistas, que pueden contribuir a la sistematización de
especialmente si los evaluadores son externos al la información y con ello a la disminución en
consejo de redacción o la institución que edita la los tiempos de evaluación. Igualmente, obliga
revista (Alcain & Román, 2005). a desarrollar protocolos de evaluación con cri-
El proceso de revisión por pares supone terios claros y que incluyan instrucciones espe-
la existencia de una muy buena base de datos cíficas para la evaluación de aspectos técnicos,
de evaluadores especialistas en las áreas cubier- de contenido y de presentación formal, que se
tas por la revista, suposición que genera serios conviertan en instrumentos auxiliares en el en-
problemas para revistas generalistas, que son la trenamiento de evaluadores (Ruiz-Pérez, Emilio
mayoría en Iberoamérica (26 de las 44 revistas & Jiménez-Contreras, 2006).
de psicología en Iberoamérica registradas en Como editora de revistas no especializadas,
SCOPUS no son especializadas). El problema creo importante empezar a generar consorcios
es más grave aún si el evaluador debe dominar que permitan la movilidad de artículos (con sus
el español. Esto se traduce generalmente en la evaluaciones) entre revistas, mecanismo que dis-
dificultad de encontrar evaluadores disponibles; minuiría las demandas excesivas sobre los eva-
usualmente los pocos especialistas interesados luadores disponibles y que podría servir como
en colaborar con el proceso de evaluación es- primer paso en la especialización de nuestras re-
tán sobrecargados con solicitudes de diferen- vistas, un paso indispensable si se busca aumen-
tes revistas. El editor se ve obligado entonces tar las citaciones de los trabajos que publicamos.
a intentarlo una y otra vez hasta conseguir una
respuesta positiva, lo que incrementa de mane- Referencias
ra negativa los tiempos requeridos para la toma Alam, M., Kim, N. A., Havey, J., Rademaker, A.,
de una decisión. El limitado número de posibles Ratner, D., Tregre, B., . . . Coleman, W. P. (2011).
evaluadores hace también difícil el anonimato Blinded vs. unblinded peer review of manus-
de la revisión y la certeza de ausencia de con- cripts submitted to a dermatology journal: A
flictos de interés, especialmente cuando el área randomized multi-rater study. The British Jour-
cubierta por el manuscrito es bastante especia- nal of Dermatology, 165 (3), 563-567.
lizada. En estos casos, el papel del editor en la Alcain, M. D. & Román, A. (2005). Hacia una valora-
selección de los evaluadores es esencial. ción integrada de las revistas españolas de ciencias
Un segundo problema está asociado al in- sociales y humanas: las revistas de psicología.
suficiente entrenamiento en el proceso editorial, Psicothema, 17 (2), 179-189.
tanto de los editores en jefe como de los edito-
res de sección. El reconocimiento de esta pro-
blemática ha obligado a la creación de redes de
editores en las que se discuten estas temáticas, 1 El entrenamiento orientado a potenciales evaluadores es
pero también debería obligar a la generación de especialmente relevante si se tienen en cuenta estudios
que sugieren que la edad (<40 años) está asociada a la
programas de entrenamiento en evaluación de calidad de la revisión (Black, van Rooyen, Godlee, Smith
manuscritos dirigidos a potenciales evaluadores & Evans, 1988; Evans, McNutt, Fletcher & Fletcher, 1993).

REV ISTA C O LO MB I A N A D E P S I C O LO G Í A    V O L. 21   N .º 1   E N E R O - J U N I O 2 0 1 2   I S S N 0 1 2 1 - 5 4 6 9   B O G O TÁ   C O L O M B I A   -   P P. 2 7 - 3 5

34
Armstrong, J. S. (1982). Barriers to scientific contribu-
tions: The author’s formula. Behavioral and Brain
Sciences, 5, 197-199.
Armstrong, J. S. (1997). Peer review for journals: Evi-
dence on quality control, fairness, and innovation.
Science and Engineering Ethics, 3, 63-84.
Benos, D. J., Bashari, E., Chaves, J. M., Gaggar, A.,
Kapoor, N., LaFrance, M., . . . Zotov, A. (2007).
The ups and downs of peer review. Advances in
Physiology Education, 31 (2), 145-152.
Biology Direct (2012). Guide for Biology Direct re-
viewers. Recuperado de http://www.biology-direct.
com/about/reviewers.
Black, H. R. (2011). It is time to fix the peer-review sys-
tem. Journal of Clinical Hypertension (Greenwich),
13 (10), 708-709.
Black, N., van Rooyen, S., Godlee, F., Smith, R. & Evans,
S. (1988). What makes a good reviewer and a good
review for a general medical journal? Journal of the
American Medical Association, 280 (3), 231-233.
Bornmann, L. & Daniel, H-D. (2008a). Selecting ma-
nuscripts for a high-impact journal through peer
review: A citation analysis of communications that
were accepted by Angewandte Chemie Internatio-
nal Edition, or rejected but published elsewhere.
Journal of the American Society for Information
Science and Technology, 59 (11), 1841-1852.
Bornmann, L. & Daniel, H.-D. (2008b). The effecti-
veness of the peer review process: Inter-referee
agreement and predictive validity of manuscript
refereeing at Angewandte Chemie. Angewandte
Chemie International Edition, 47 (38), 7173-7178.
Bornmann, L. & Daniel, H.-D. (2009). Extent of type I
and type II errors in editorial decisions: A case stu-
dy on Angewandte Chemie International Edition.
Journal of Informetrics, 3, 348-352.
Bradley, J. V. (1981). Pernicious publication practices.
Bulletin of the Psychonomic Society, 18 (1), 31-34.
Ceci, S. J. & Peters, D. P. (1982). Peer review: A study of
reliability. Change, 14 (6), 44-48.
Cicchetti, D. V. (1993). The reliability of peer review
for manuscript and grant submissions: “It’s like
déjà vu all over again!”. Behavioral and Brain
Sciences, 16 (02), 401-403.
DEPARTAME N T O D E P S I C O LO G Í A    FA C U LTA D D E C I E N C IA S H U M A N A S    U N I V E R S I D A D N A C I O N A L D E C O L O M B I A
G L A D Y S S. M A RT ÍNE Z
Evans, A. T., McNutt, R. A., Fletcher, S. W. & Fletcher,
R. H. (1993). The characteristics of peer reviewers
who produce good-quality reviews. Journal of
General Internal Medicine, 8 (8), 422-428.
Godlee, F., Gale, C. R. & Martyn, C. N. (1998). Effect on
the quality of peer review of blinding reviewers and
asking them to sign their reports: A randomized
controlled trial. Journal of the American Medical
Association, 280 (3), 237-240.
Goldsmith, L. A., Blalock, E. N., Bobkova, H. & Hall, R.
P. (2006). Picking your peers. Journal of Investigati-
ve Dermatology, 126 (7), 1429-1430.
Grimm, D. (2005). Suggesting or excluding reviewers
can help get your paper published. Science, 309, 1974.
Horrobin, D. F. (1990). The philosophical basis of peer
review and the suppression of innovation. Journal of
the American Medical Association, 263 (10), 1438-1441.
Kronick, D. A. (1990). Peer review in 18th-century
scientific journalism. Journal of the American
Medical Association, 263 (10), 1321-1322.
Laband, D. N. & Piette, M. J. (1994). A citation analysis
of the impact of blinded peer review. Journal of the
American Medical Association, 272 (2), 147-149.
Leek, J. T., Taub, M. A. & Pineda, F. J. (2011). Coope-
ration between referees and authors increases peer
review accuracy. PLoS One, 6 (11), e26895.
Marsh, H. W., Jayasinghe, U. W. & Bond, N. W. (2008).
Improving the peer-review process for grant
applications: Reliability, validity, bias, and generali-
zability. American Psychologist, 63 (3), 160-168.
Ploegh, H. (2011). End the wasteful tyranny of reviewer
experiments. Nature, 472 (7344), 391.
Riss, P. (2011). The peer review process II: To review and
be reviewed. International Urogynecology Journal,
1-2. doi: 10.1007/s00192-011-1560-7. doi: 10.1007/
s00192-011-1560-7
Ross, J. S., Gross, C. P., Desai, M. M., Hong, Y., Grant,
A. O., Daniels, S. R., . . . Krumholz, H. M. (2006).
Effect of blinded peer review on abstract acceptan-
ce. Journal of the American Medical Association, 295
(14), 1675-1680.
Rossdale, P. D. (2010). When the blind lead the blind:
In the pit of peer review. Equine Veterinary Journal,
42 (4), 283.
R EV ISIÓN POR PARES
Rothwell, P. M. & Martyn, C. N. (2000). Reproduci-
bility of peer review in clinical neuroscience. Is
agreement between reviewers any greater than
would be expected by chance alone? Brain, 123 (Pt
9), 1964-1969.
Ruiz-Pérez, R., Emilio, D-L-C. & Jiménez-Contreras,
E. (2006). Criterios del Institute for Scientific In-
formation para la selección de revistas científicas.
Su aplicación a las revistas españolas: metodologías
e indicadores. International Journal of Clinical and
Health Psychology, 6 (2), 401-424.
Saper, C. B. & Maunsell, J. H. (2009). The neuroscience
peer review consortium. European Journal of Neu-
roscience, 29 (3), 435-436.
Schroter, S., Black, N., Evans, S., Carpenter, J., Godlee,
F. & Smith, R. (2004). Effects of training on quality
of peer review: Randomised controlled trial. BMJ,
328 (7441), 673.
Schroter, S., Tite, L., Hutchings, A. & Black, N. (2006).
Differences in review quality and recommen-
dations for publication between peer reviewers
suggested by authors or by editors. Journal of the
American Medical Association, 295 (3), 314-317.
Scott, W. A. (1974). Interreferee agreement on some
characteristics of manuscripts submitted to the
Journal of Personality and Social Psychology.
American Psychologist, 29 (9), 698-702.
Snell, L. & Spencer, J. (2005). Reviewers’ perceptions
of the peer review process for a medical education
journal. Med Educ, 39 (1), 90-97.
Stichler, J. F. (2011). Peer review and the development
of a science. Health Environments Research and
Design Journal, 4 (3), 44-49.
Suls, J. & Martin, R. (2009). The air we breathe: A
critical look at practices and alternatives in the
peer-review process. Perspectives on Psychological
Science, 4 (1), 40-50.
REV ISTA C O LO MB I A N A D E P S I C O LO G Í A    V O L. 21   N .º 1   E N E R O - J U N I O 2 0 1 2   I S S N 0 1 2 1 - 5 4 6 9   B O G O TÁ   C O L O M B I A   -   P P. 2 7 - 3 5
35
Thomas, S. P. (2011). Conceptual debates and empi-
rical evidence about the peer review process for
scholarly journals. Journal of Professional Nursing,
27 (3), 168-173.
Triaridis, S. & Kyrgidis, A. (2010). Peer review and jour-
nal impact factor: The two pillars of contemporary
medical publishing. Hippokratia, 14 (Suppl 1), 5-12.
van Raan, A. (2006). Comparison of the hirsch-index
with standard bibliometric indicators and with
peer judgment for 147 chemistry research groups.
Scientometrics, 67 (3), 491-502.
van Rooyen, S., Godlee, F., Evans, S., Smith, R. &
Black, N. (1998). Effect of blinding and unmas-
king on the quality of peer review: A randomized
trial. Journal of the American Medical Association,
280 (3), 234-237.
van Rooyen, S., Godlee, F., Evans, S., Smith, R. & Black,
N. (1999). Effect of blinding and unmasking on the
quality of peer review. Journal of General Internal
Medicine, 14 (10), 622-624.
Wager, E., Parkin, E. C. & Tamber, P. S. (2006). Are
reviewers suggested by authors as good as those
chosen by editors? Results of a rater-blinded,
retrospective study. BMC Medicine, 4, 13.
Waltman, L., van Eck, N. J., van Leeuwen, T. N., Visser,
M. S. & van Raan, A. F. (2011). On the correlation
between bibliometric indicators and peer review:
Reply to Opthof and Leydesdorff. Scientometrics,
88 (3), 1017-1022.
Weber, E. J., Katz, P. P., Waeckerle, J. F. & Callaham, M.
L. (2002). Author perception of peer review: Im-
pact of review quality and acceptance on satisfac-
tion. Journal of the American Medical Association,
287 (21), 2790-2793.
Weller, A. C. (1996). A comparison of authors publis-
hing in two groups of U.S. medical journals. Bull
Med Libr Assoc, 84 (3), 359-366.