DIEGO ALBERTO FARFÁN GÓMEZ 201712948

WILLIAM ESTEBAN RUIZ HERNÁNDEZ 201711554

TALLER

SEMINARIO TRABAJO DE GRADO Y PROYECCIÓN SOCIAL

EIGHT PROBLEMS WITH LITERATURE REVIEWS AND HOW TO FIX THEM

1. Haga un resumen de los 8 puntos tratados en el artículo y como se resuelven.

a. Falta de relevancia (participación limitada de las partes interesadas).

Falta de inclusión de las partes interesadas o que se puedan ver afectadas con la
revisión y hallazgos. Se deben incluir a las partes interesadas en todo trabajo de
revisión con algún grado de participación en la misma, o de lo contrario, su alcance
tendrá una relevancia práctica limitada para los investigadores y los responsables en
la toma de decisiones, generando poca aceptación y asimilación de los hallazgos de
la revisión o produciendo una selección de literatura inexacta o sesgada.

Solución.
Incluir a todas las partes interesadas a la hora del procesamiento y síntesis de la
evidencia, al realizar esto se puede solucionar dicho problema y por otra parte se
abren amplios beneficios a la comunidad científica, política y práctica. Se deben
identificar las partes más relevantes o interesadas, solicitando comentarios sobre un
resumen de revisión, lo cual debe describirse en el informe final.

b. Desplazamiento de la misión y falta de protocolo.

El desplazamiento de la misión ocurre cuando se pierde el horizonte de los objetivos

iniciales. Por lo tanto, se obtiene que el conjunto de artículos no tendrá la suficiente
relevancia omitiendo datos o estudios importantes en varios de los casos, es decir, la
revisión seria inexacta, poco confiable e irrepetible. Los protocolos a priori para los
lectores son la hoja de ruta que les permite identificar métodos e informes presentes.
Las revisiones que no cuentan con este tipo de protocolos hacen una verificabilidad
más compleja y con poca claridad.

Solución:
Se debe elaborar de manera detallada los protocolos a priori, en donde se describan
de forma clara las metodologías de búsqueda, la manera en la que se seleccionan los
datos, la extracción de dichos, su evaluación y su análisis crítico.

c. Falta de transparencia / replicabilidad (imposibilidad de repetir el estudio).

A la hora de nombrar o mostrar los métodos usados para la revisión, estos tienen que
ser dados de manera transparente y detallada esto con el fin de que puedan ser
replicados o verificados por los lectores. De no realizarse el lector no podrá entonces
evaluar el riesgo de sesgo y las decisiones subjetivas poco claras afectarán su
confiabilidad respecto a la revisión, ya que es posible que se hayan cometido errores.

Solución:

Los métodos de revisión usados deben tener la capacidad de poderse repetir

exactamente dando lugar a la verificación analítica, ya que es un principio central del
método científico, así que deben ser informados de manera transparente con
suficiente detalle. Por ejemplo, se deben hacer uso de fuentes de síntesis de
evidencia de alto nivel, que contribuyan a una mejor presentación, asegurando que
toda la información metodológica relevante se haya incluido en los protocolos e
informes de revisión. Con esto se logra una mayor confiabilidad por parte del lector,
menor riesgo de sesgo, un legado extenso de la revisión y una erosión mínima de
confianza en la síntesis de evidencia como disciplina.

d. Sesgo de selección y falta de exhaustividad (métodos y estrategia de

búsqueda inadecuados).

Cuando la información o artículos seleccionados no son representativos de un

conjunto de evidencias acerca del tema, por lo que si se llega a una conclusión acerca
de esto va a ser información sesgada con baja capacidad de credibilidad. Esto se da
cuando se realiza una búsqueda inapropiada seleccionando bibliografía sesgada, la
cual no es representativa.

Solución:

Se deben emplear todos los métodos complementarios como la búsqueda de citas

hacia adelante y hacia atrás, y la búsqueda web. Las estrategias deben planificarse
cuidadosamente incluyendo sinónimos relevantes para el alcance de la revisión. No
se debe ignorar ni excluir la literatura gris. La estrategia debería:
 ● Basarse en un análisis exhaustivo de la literatura.
● Evaluar que la base de datos de muestra recupere estudios de relevancia
conocidos acerca de la temática.
● Idealmente estaría construida por/con aportes/apoyo de un especialista en
información/bibliotecario.
● Involucrar búsquedas de múltiples bases de datos bibliográficas para
maximizar exhaustividad y mitigar el sesgo.
● Está delineada en un protocolo a priori que está publicado y abierto para
escrutinio.

e. Sesgo de publicación (exclusión de la literatura gris y falta de pruebas de

sesgo de publicación).

Existe mayor probabilidad de que se lleguen a publicar resultados de investigaciones

positivas y estadísticamente significativas, que resultados negativos no significativos.
Las investigaciones que se limitan a sintetizar resultados provenientes únicamente de
medios académicos tradicionales pueden llegar a omitir investigaciones de literatura
gris las cuales pueden llegar a ser relevantes, por lo que el texto puede carecer de
exhaustividad.

Solución:

Los revisores deben identificar e incluir literatura gris relevante en sus síntesis. Se
puede lograr buscando específicamente en repositorios y catálogos de tesis,
servidores de preimpresión y registros financiadores de sitios y organizaciones
relevantes, además de realizar convocatorias para que los investigadores presenten
estudios inéditos. Los revisores deben tratar de identificar el sesgo de publicación en
sus síntesis mediante la realización de pruebas apropiadas (Egger) y visualizaciones.

f. Falta de una evaluación crítica adecuada (tratando todas las pruebas como
igualmente válidas).

Cuando, las revisiones no contemplan o evalúan por completo la confiabilidad de los

estudios que se toman como base para la síntesis, por lo que se puede llegar a
obtener un documento poco exacto y sesgado, ya que puede que algunas
investigaciones que se presenten pueden llegar a tener problemas con métodos
empleados y demás ítems.

Solución:

Las revisiones sistemáticas deben tener evaluación de la validez interna y externa de

cada estudio adjunto. Esta evaluación debe ser meticulosa en su formulación debido
a que acorde al propósito y se evalué de manera coherente. Esta evaluación es usada
con el fin de priorizar la importancia de los estudios a incluir.
g. Síntesis inapropiada (uso de recuento de votos y estadísticas inapropiadas).

Todas las revisiones de la literatura intentan crear nuevos conocimientos resumiendo

un conjunto de pruebas, en revisiones cuantitativas, puede tomar la forma de un
metanálisis, que es la combinación de tamaños de efecto y varianzas en todos los
estudios para generar una o más estimaciones de efecto resumidas con intervalos de
confianza, calculando los tamaños del efecto para los estudios individuales, el cálculo
de los efectos combinados e intervalos de confianza y así sucesivamente.

Para las revisiones de evidencia cualitativa, resumir el cuerpo de evidencia toma la

forma de un conjunto formal de hallazgos de estudios cualitativos para generar
hipótesis, crear nuevas teorías o modelos conceptuales. La elección y el diseño de
los métodos de síntesis son tan críticos para el rigor de una revisión como la
formulación de preguntas, la búsqueda, la selección, la evaluación crítica y la
extracción de datos.

Un problema común con las síntesis de evidencia ocurre cuando los autores fallan en
el 'conteo de votos'. El conteo de votos es el recuento de estudios basados en la
significación estadística y la dirección de sus hallazgos. Este enfoque es problemático
por varias razones. En primer lugar, ignora el poder estadístico y la precisión del
estudio. En segundo lugar, el recuento de votos ignora la magnitud del efecto de cada
estudio. Finalmente, el recuento de votos ignora la validez del estudio: los estudios
positivos pueden tener una validez mucho mayor que los negativos, por ejemplo,
debido a mejores diseños de estudio.

Solución:

Implementación de métodos de metanálisis estándar que superen la mayoría de

criterios para los metanálisis. Dando el caso, establecer métodos de metanálisis en
síntesis cuantitativa o cualitativa según aplique. El recuento de votos nunca debe
usarse en lugar del metanálisis. Si los datos de los estudios primarios se consideran
demasiado heterogéneos para combinarlos mediante un metanálisis, es poco
probable que resulte útil utilizar un enfoque defectuoso como el recuento de votos. En
cambio, es posible que sea necesario reevaluar el alcance de la revisión y reducirlo a
un subconjunto de estudios que podrían combinarse de manera significativa.
Alternativamente, se deben utilizar métodos formales de síntesis narrativa para
resumir y describir la base de evidencia. Es aceptable y recomendado tabular los
resultados de todos los estudios en una síntesis narrativa que incluya resultados
cuantitativos y significación estadística, pero esto también debe incluir los resultados
de la evaluación crítica de la validez del estudio. Hacerlo asegura que ningún estudio
sea "excluido" de la revisión porque los datos no se informan de una manera que
permita su inclusión en un metanálisis. De hecho, se pueden sacar conclusiones
importantes a partir de la síntesis narrativa sin metanálisis.

h. Falta de coherencia y comprobación de errores (trabajando individualmente).

Al realizar revisiones individuales se pueden cometer errores de interpretación, esto

sucede cuando el investigador hace la revisión sin ser cuestionado y dejar todo a su
visión general de la temática. Al no ser juzgado el protocolo de revisión puede incurrir
en una gran cantidad de errores.

Solución:

Los órganos de recomendación proponen una revisión subjetiva de estos artículos

entre varios investigadores, teniendo en cuenta mediante pruebas y evaluaciones que
estas revisiones sean de manera coherente para así lograr una síntesis de alta
calidad. Para lograr esto se necesitan incluir personas especializadas en el tema para
así tener una eficiencia en la información.

2. Elabore un recuento de las acciones recomendadas a los autores que deseen

realizar revisiones bibliográficas más rigurosas.

● Identificación y participación amplia de las partes interesadas en la síntesis de

evidencia, lo cual debe describirse en el informe final.
● Los revisores de la metodología deben incluir y diseñar de manera cautelosa
un protocolo que describa los métodos de búsqueda, su forma de selección de
datos, extracción, evaluación y su análisis crítico.
● Los métodos de revisión usados deben tener la capacidad de poderse repetir
exactamente dando lugar a la verificación analítica, así que deben ser
informados de manera transparente con suficiente detalle. Se deben hacer uso
de fuentes de síntesis de evidencia de alto nivel, que contribuyan a una mejor
presentación, asegurando información metodológica.
● Emplear todos los métodos complementarios como la búsqueda de citas hacia
adelante y hacia atrás, y la búsqueda web. Las estrategias deben planificarse
cuidadosamente incluyendo sinónimos relevantes para el alcance de la
revisión. No se debe ignorar ni excluir la literatura gris. Involucrar búsquedas
de múltiples bases de datos bibliográficas para maximizar exhaustividad y
mitigar el sesgo.
● Los revisores deben identificar e incluir literatura gris relevante en sus síntesis,
buscando en repositorios y catálogos de tesis, servidores de preimpresión y
 registros financiadores de sitios y organizaciones relevantes, además de
realizar convocatorias para que los investigadores presenten estudios inéditos
tratando de identificar el sesgo de publicación en sus síntesis mediante la
realización de pruebas apropiadas (Egger) y visualizaciones.
● Las revisiones sistemáticas deben tener evaluación de la validez interna y
externa de cada estudio adjunto. Esta evaluación debe ser meticulosa en su
formulación debido a que acorde al propósito y se evalué de manera coherente.
Esta evaluación es usada con el fin de priorizar la importancia de los estudios
a incluir.
● Establecer métodos de metanálisis en síntesis cuantitativa o cualitativa según
aplique. El recuento de votos nunca debe usarse en lugar del metanálisis. Si
los datos de los estudios primarios son heterogéneos para combinarlos
mediante un metanálisis, es poco útil usar un enfoque defectuoso como el
recuento de votos. En cambio, es posible que sea necesario reevaluar el
alcance de la revisión y reducirlo a un subconjunto de estudios que podrían
combinarse de manera significativa. Alternativamente, se deben utilizar
métodos formales de síntesis narrativa para resumir y describir la base de
evidencia. Es aceptable y recomendado tabular los resultados de todos los
estudios en una síntesis narrativa que incluya resultados cuantitativos y
significación estadística, pero esto también debe incluir los resultados de la
evaluación crítica de la validez del estudio. Se pueden sacar conclusiones
importantes a partir de la síntesis narrativa sin metanálisis.
● Los órganos de recomendación proponen una revisión subjetiva de estos
artículos entre varios investigadores, teniendo en cuenta mediante pruebas y
evaluaciones que estas revisiones sean de manera coherente para así lograr
una síntesis de alta calidad. Para lograr esto se necesitan incluir personas
especializadas en el tema para así tener una eficiencia en la información.

3. ¿Cuáles serían entonces los puntos clave para asegurar que la revisión que
usted pretende elaborar se ciña al concepto de revisión sistemática?

● Realizar la descripción general de la información existente acerca de una

pregunta de investigación.
● Contar con una metodología clara para evaluar y determinar la relevancia de
las investigaciones.
● Documentar, evaluar y resumir la investigación realizada sobre el tema
específico.

4. ¿Por qué es importante una revisión sistemática?

La importancia de una revisión sistemática radica en lo viable y la relevante forma de
resumir de una manera correcta y confiable la información de la evidencia científica,
la cual nos da un valor agregado importante en la toma de decisiones en la búsqueda
y prácticas de la disciplina. No obstante, se debe tener cuidado con la falta de
conciencia y apreciación de los objetivos y su rumbo a seguir, ya que estos producen
que la revisión sufra problemas de sesgo y confiabilidad.
Es decir permite mejorar el proceso de lectura y revisión del tema investigado usando
diferentes estrategias que permiten tener una buena experiencia para entender de
mejor manera los textos, y de esta manera poder clasificarlos de forma se pueda dar
la importancia justa a los textos más relevantes, así como poder ignorar o no tomar
en cuenta los textos que no tengan una estructura sólida o no aporten al tema
trabajado. Dentro de la revisión sistemática se puede organizar mejor la información
con ayuda de herramientas físicas y virtuales que en el momento deseado que se
necesite cierto tema en específico sea muy rápida la búsqueda del texto que contenga
dicha información.

5. ¿Qué debe asegurar la pregunta de revisión?

La pregunta de revisión sistemática debe maximizar la exactitud de la evidencia usada

y minimizar el posible sesgo al cual está expuesta. Al realizar esta delimitación con la
pregunta de la revisión se verán optimizados los procesos de búsqueda,
transparencia y procesos de revisión con la finalidad de obtener un resultado de alta
calidad. Para el caso de nuestra investigación se debe tener claridad en esta pregunta
ya que depende de la misma una buena revisión, ya que el estudio depende en gran
medida a la recolección de datos.

6. ¿Cuál es la pregunta que formulará para abordar la revisión de la temática?

Determine el alcance de la revisión y las preguntas que abordará

● ¿Cuáles son los sistemas más eficientes para la potabilización de agua con un
bajo costo de operación?
● ¿Cuáles son los modelos de potabilización aplicables en la zona de estudio?
● ¿Qué características debe cumplir el estado natural del recurso hídrico para
poder implementar el modelo de potabilización más viable?
● ¿Cuál será la manera en que realizarán la selección, evaluación y análisis
crítico de datos?

Búsqueda en bases de datos, repositorios, revistas académicas comerciales y no

comerciales (literatura gris).

● ¿Cuáles serán las fuentes de información fiables y/o de alto nivel que
implementarán para llevar a cabo la síntesis de evidencia?
Búsqueda y depuración sistemática en bases de datos acreditadas y revistas
académicas de índole comercial con el uso de herramientas como VOSViewer

● ¿Cómo llevarán a cabo las revisiones sistemáticas de evaluación de la validez

interna y externa de cada estudio adjunto?

Empleando herramientas de software similares a VOSViewer de ser necesario como

Bibexcel o Pajek relacionando las relaciones y vínculos más importantes (como
referencias de citas, autores, estudios similares) que contribuyan a denotar la
relevancia de cada estudio soporte; que contribuya a una búsqueda sistemática y
rápida de información útil.

7. ¿Cuáles son las recomendaciones para involucrar a los consumidores y otras

partes interesadas?

Participación amplia de las partes interesadas en la síntesis de evidencia, lo cual

representa una oportunidad para intentar resolver estos problemas, proporcionando
amplios beneficios a la comunidad científica, política y práctica más amplia. Se deben
identificar las partes más relevantes o interesadas, solicitando comentarios sobre un
resumen de revisión.

8. ¿Por qué es importante la fiabilidad?

En cuanto a bibliografía se debe tener una fiabilidad importante sobre las bases de
datos teniendo en cuenta que se debe garantizar una validez en los articulos. es decir,
la información debe ser acertada en los procesos de búsqueda para evitar problemas
de externos y confusiones por parte de otras investigaciones, contemplando los
protocolos eficientes de búsqueda ya que al no tener la suficiente validez para el caso
de nuestra investigación se difiere como la pérdida de los objetivos lo cual nos
conlleva a realizar ejercicios no planteado. consecuentemente, se tienen que crear
protocolos de revisión en los procesos internos dados por expertos y/o observadores
relacionados con la materia debido a que al manejar una sola perspectiva podemos
hacer o incurrir en procesos erróneos.

9. Proponga un protocolo a implementar en la revisión que pretende realizar en

torno a la temática de investigación.

Teniendo en cuenta las características de la investigación a realizar (Análisis de

vulnerabilidad por inundaciones del casco urbano de Moniquirá Boyacá, en base a la
dinámica fluvial del río), se plantea un paso a paso el cual se seguirá con el fin de
realizar la revisión de bibliografía.
1) Delimitación del tema en cuestión: empleando palabras clave y descartando
material que se salga del tema en cuestión.
2) Revisar bases de datos: permiten buscar información de una manera más
eficaz, aplicando filtros se puede llegar a la información deseado de una
manera más rápida, son de gran utilidad por que en ellas se encuentra
información de primera mano, con una veracidad comprobada y respaldada,
sea por revistas de investigación o entes pertinentes.
3) Leer resúmenes: permite saber de qué manera se va a desarrollar un
documento y si es factible continuar en su profundización.
4) Elaborar una base de datos propia: es pertinente elaborar un conjunto de
artículos y trabajos, nacionales e internacionales, con el fin de darles manejo e
implementarlos en el desarrollo de la investigación.
5) Información actualizada: Es de gran importancia trabajar con información
reciente de investigaciones, esto evita sesgos o repetitividad en la información
e investigaciones, contribuyendo a generar nuevo conocimiento, es
recomendable recurrir a información de años atrás si es estrictamente
necesario.
6) Descartar documentos: Como se había comentado es importante realizar una
clasificación de documentos según su relevancia, para finalmente descartar los
documentos que tengan menor relación con la investigación.
7) Realizar una constante búsqueda: al transcurrir los años se generan nuevas
investigaciones, se debe estar en constante búsqueda de nueva información,
para no emplear documentos obsoletos en investigaciones relevantes.