Doctorado en Administración

Facultad de Ciencias Económicas

ENTREGA PARCIAL #2: RSL Sede Bogotá
Miguel Ángel Beltrán Molina

- Justificación de la selección del tema para la RSL*

En la actual realidad organizacional, las compañías buscan de diversas formas su integración, en

pro de posicionarse mejor en el mercado, crear mayores eficiencias y ser más competitivos.
(Bakos, 1991; Lu et al., 2006) Esta serie de interacciones organizacionales agrupan proveedores,
clientes y demás aliados de la cadena de valor y el intercambio y generación de información con
procesos basados en sistemas de información denominados como Interorganizacionales (IOS)
(Robey et al., 2008). Así, encontramos que este tipo de sistemas soportan el flujo de información
de redes organizacionales en diversos sectores empresariales y tienen una gran complejidad, pues
buscan integrar sistemas de información de organizaciones con diferentes culturas, procesos y
políticas (Clemons & Row, 1993; Jrad & Sundaram, 2017).

La importancia de evaluar este tipo de sistemas de información (SI) reside en valorar su retorno a
la inversión y determinar qué beneficios trae su implementación y mantenimiento en términos
individuales, organizacionales y sociales (DeLone et al., 2008; Gable et al., 2008; Ives & Olson,
1984; Seddon, 1997), punto en el que hablamos de su Éxito, entendiéndolo desde la perspectiva
de DeLone y McLean (Thanh D. Nguyen, Tuan M. Nguyen, 2014), es decir beneficios como
aumentos de productividad, el aumento en ventas, la creación de eficiencias en costos, mejoras en
rentabilidad, aportes a la industria o sector e incluso a la sociedad en su conjunto.

Adicionalmente, evaluar los IOS también puede ayudar a una organización o grupo de estas a
esclarecer la utilidad que tiene para ella uno u otro aliado dentro de su red, determinando si se
debe mantener la colaboración con sus proveedores, por ejemplo, o proponer alternativas de
relacionamiento interorganizacional (Krathu et al., 2015).

La presente investigación tiene como principal objetivo validar el modelo de evaluación del Éxito de
IOS propuesto por Beltrán (2020) en el que plantea una integración de las variables comúnmente
manejadas en la teoría del Éxito de SI y los principales rasgos de los IOS. Esta validación permitirá
avanzar en la construcción de una herramienta integradora entre las dimensiones comunes de la
denominada Teoría del Éxito de SI y las características propias de los Sistemas
Interorganizacionales de Información, que tenga en cuenta las complejidades y especificidades de
este último tipo de sistemas de información.

*Basado en la propuesta presentada en el marco del proceso de admisión al Doctorado en Administración presentada en julio de 2020.
Sin embargo, antes de proceder a validar este modelo en una realidad organizacional específica,
es necesario realizar una revisión sistemática de los modelos de evaluación de SI que se
presentan en la literatura, con el fin de actualizar la revisión desarrollada por el autor en 2018/19 e
implementar mecanismos más rigurosos de selección de los estudios. Para Efectos de la presente
revisión, se tendrá en cuenta el periodo de 2015 a 2020.

- Pregunta de investigación. Objetivos de la RSL.

¿Cuáles son los modelos propuestos de evaluación de Sistemas de Información y Sistemas

Interorganizacionales de Información en el periodo 2015 a 2020?

Así, la presente RSL tiene un objetivo principal:

1. Conocer cuáles son los modelos que se han propuesto en la literatura para evaluar
Sistemas de Información.
2. Determinar cuáles de estos modelos se ajustan a los planteamientos de la Teoría del Éxito
de Sistemas de Información.

- Palabras clave
P: Population: Modelos propuestos para evaluar Sistemas de Información
I: Intervention-Indicator: Dimensiones, características y relaciones que componen los modelos
hallados.
C: Comparison: Listas de Chequeo, Factores de éxito, Estudios de rentabilidad, Retorno a la
Inversión.
O: Outcome: Modelos de evaluación de Sistemas de Información y Sistemas Interorganizacionales
de Información dentro de la Teoría del Éxito.

Así, las palabras clave se sintetizan en la siguiente ecuación de búsqueda:

- Ecuación de búsqueda:

(("Information Systems" OR "Management Information Systems" OR "interorgani?ational

information System$" OR "IOIS" OR "IOS") AND ( evaluation OR measurement OR assessment )
AND ( success OR effectiveness OR quality OR performance ) AND model$ )
- Bases de datos para iniciar la búsqueda.

Scopus

- Período de revisión (opcional, justificando la elección del período).

Para Efectos de la presente revisión, se tendrá en cuenta el periodo de 2015 a 2020.

- Búsqueda y criterios de selección de papers.

Tabla 1: Búsqueda y cirterios de selección de papers

Una primera búsqueda en la base de Scopus, arroja 1708 resultados. Estos resultados se obtienen
al aplicar los filtros indicados en la anterior tabla, relacionados con los temas que se excluyen de la
búsqueda y el horizonte de tiempo especificado.

El principal criterio de inclusión para seleccionar los artículos es su título. De allí que de los 1708,
se seleccionan en un primer momento 77 artículos, que mencionan algún tipo de evaluación o
medición de un sistema de información, sea intraorganizacional o interorganizacional.
Posteriormente se revisa el abstract de estos 77 elementos, lo que constituye el segundo criterio de
inclusión. De estos, se seleccionan 55, que serán revisados en la fase de Evaluación de la Calidad
de la presente RSL.

Entre los criterios de exclusión están los artículos duplicados, aquellos que no se encuentren
completos para revisión, y sobre todo los que no estén relacionados con la evaluación o análisis
del desempeño, éxito o efectividad de un sistema de información, sea dentro de una organización
en específico o a nivel teórico.
- Evaluación de Calidad

El checklist que se utilizará para la evaluación de calidad de los 55 papers preseleccionados en la

fase previa, se presenta a continuación:

Tabla 2: Checklist para evaluación de calidad

Este checklist busca, a través de las 6 preguntas relacionadas, identificar si el artículo cumple con
las condiciones básicas para ser tenido en cuenta dentro del estudio. Para cada pregunta, se
plantea una puntuación de 2, 1 o 0, dependiendo del grado de cumplimiento del criterio. En este
orden de ideas, si cumple por completo el criterio de la pregunta, se otorgan 2 puntos; si cumple
parcialmente, 1 punto; y si no cumple en lo absoluto el criterio, 0 puntos. Del total de puntuación
obtenida por el artículo, se obtiene el porcentaje de cumplimiento del total de puntos posible, a
saber, 12.

Para realizar un primer acercamiento a la evaluación de calidad, se implementa el anterior checklist

para los siguientes artículos: (Asamoah et al., 2016), (Hasan et al., 2017), (Sun & Teng, 2017),
(Liang, 2015), y (Cidral et al., 2018); teniendo en cuenta también que el criterio de calidad definido
ha sido el tener un porcentaje de cumplimiento de los aspectos del checklist mayor al 70%,
considerado como porcentaje aceptable para tomar en cuenta el artículo de cara a responder la
pregunta de la presente RSL.

Posteriormente, se aplica esta evaluación de calidad a otros 15 artículos (Ver anexo Excel),
haciendo énfasis en la 4ta pregunta de las 6 mencionadas: Conexión con un cuerpo más amplio de
conocimiento, específicamente el de la Teoría del Éxito de Sistemas de Información. Esta pregunta
permite ser un filtro en la determinación de si paper revisado guarda relación con la propuesta de
modelos, dimensiones o relaciones en el marco de dicha teoría.

Así, de los 20 artículos evaluados, 11 de ellos cumplen con el criterio de selección de más del 70%.
Estos artículos proceden a ser utilizados en la fase de extracción de datos de la presente RSL, en
cuanto a las características, dimensiones y relaciones que pueden proponer para evaluar el éxito
de un sistema de información.

Tabla 3: Evaluación de calidad paper #1

Tabla 4: Evaluación de calidad paper #2

Tabla 5: Evaluación de calidad paper #3

Tabla 6: Evaluación de calidad paper #4

 Tabla 7: Evaluación de calidad paper #5

- Referencias Bibliográficas

Asamoah, D., Andoh-Baidoo, F. K., & Agyei-Owusu, B. (2016). Examining the relationships
between supply chain integration, information sharing, and supply chain performance: A
replication. AMCIS 2016: Surfing the IT Innovation Wave - 22nd Americas Conference on
Information Systems, January 2017.

Bakos, Y. (1991). Information Links and Electronic Marketplaces: The Role of Interorganizational
Information Systems in Vertical Markets. Journal of Management Information Systems, 8(2),
31–52. https://doi.org/Article

Cidral, W. A., Oliveira, T., Di Felice, M., & Aparicio, M. (2018). E-learning success determinants:
Brazilian empirical study. Computers and Education, 122, 273–290.
https://doi.org/10.1016/j.compedu.2017.12.001

Clemons, E. K., & Row, M. C. (1993). Limits to interfírm coordination through information
technology: Results of a field study in consumer packaged goods distribution. Journal of
Management Information Systems, 10(1), 73–95.
https://doi.org/10.1080/07421222.1993.11517991

DeLone, W., McLean, E., & Petter, S. (2008). Measuring information systems success: Models,
dimensions, measures, and interrelationships. European Journal of Information Systems,
17(3), 236–263. https://doi.org/10.1057/ejis.2008.15

Gable, G. G., Sedera, D., & Chan, T. (2008). Re-conceptualizing Information System Success : The
IS-Impact Measurement Model * Re-conceptualizing Information System Success : The IS-
 Impact Measurement Model. Journal of the Association for Information Systems, 9(7), 377–
408.

Hasan, M., Baharum, H. I., Samy, G. N., Maarop, N., Abidin, W. Z., & Hassan, N. H. (2017).
Developing a success model of Research Information Management System for research
affiliated institutions. International Conference on Research and Innovation in Information
Systems, ICRIIS. https://doi.org/10.1109/ICRIIS.2017.8002444

Ives, B., & Olson, M. (1984). User Involvement and MIS Success : A Review of Research Author ( s
): Blake Ives and Margrethe H . Olson Published by : INFORMS Stable URL :
http://www.jstor.org/stable/2631374 REFERENCES Linked references are available on
JSTOR for this article : You may. Management Science, 30(5), 586–603.

Jrad, R. B. N., & Sundaram, D. (2017). Inter-organizational middleware system implementations:

Dos and donts of business integration. Proceedings - 2016 16th IEEE International
Conference on Computer and Information Technology, CIT 2016, 2016 6th International
Symposium on Cloud and Service Computing, IEEE SC2 2016 and 2016 International
Symposium on Security and Privacy in Social Netwo, 621–628.
https://doi.org/10.1109/CIT.2016.85

Krathu, W., Pichler, C., Xiao, G., Werthner, H., Neidhardt, J., Zapletal, M., & Huemer, C. (2015).
Inter-organizational success factors: a cause and effect model. In Information Systems and e-
Business Management (Vol. 13, Issue 3). https://doi.org/10.1007/s10257-014-0258-z

Liang, Y.-H. (2015). Performance measurement of interorganizational information systems in the

supply chain. International Journal of Production Research, 53(18), 5484–5499.
https://doi.org/10.1080/00207543.2015.1026614

Lu, X. H., Huang, L. H., & Heng, M. S. H. (2006). Critical success factors of inter-organizational
information systems - A case study of Cisco and Xiao Tong in China. Information and
Management, 43(3), 395–408. https://doi.org/10.1016/j.im.2005.06.007

Robey, D., Im, G., & Wareham, J. D. (2008). Theoretical Foundations of Empirical Research on
Interorganizational Systems: Assessing Past Contributions and Guiding Future Directions.
Journal of the Association for Information Systems, 9(9), 497–518. https://doi.org/Article

Seddon, P. B. (1997). DeLone and McLean Model of IS Success A Respecification and Extension
of the. Information Systems Research, 8(3), 240–253. https://doi.org/10.1287/isre.8.3.240

Sun, J., & Teng, J. T. C. (2017). The construct of information systems use benefits: Theoretical
explication of its underlying dimensions and the development of a measurement scale.
International Journal of Information Management, 37(5), 400–416.
https://doi.org/10.1016/j.ijinfomgt.2017.04.010

Thanh D. Nguyen, Tuan M. Nguyen, and T. H. C. (2014). Information Systems Success: A

 Literature Review. In Future Data and Security Engineering. https://doi.org/10.1007/978-3-
319-12778-1

Abrego Almazán, D., Sánchez Tovar, Y., & Medina Quintero, J. M. (2017). Influencia de los sistemas
de información en los resultados organizacionales. Contaduria y Administracion, 62(2), 303–
320. https://doi.org/10.1016/j.cya.2016.07.005

Baraka, H. A., Baraka, H. A., & El-Gamily, I. H. (2015). Information systems performance evaluation,
introducing a two-level technique: Case study call centers. Egyptian Informatics Journal,
16(1), 9–22. https://doi.org/10.1016/j.eij.2014.11.004

Benmoussa, K., Laaziri, M., Khoulji, S., Kerkeb, M. L., & Yamami, A. El. (2018). Impact of system
quality, information quality and service quality on the efficiency of information system. ACM
International Conference Proceeding Series. https://doi.org/10.1145/3286606.3286818

Daghouri, A., Mansouri, K., & Qbadou, M. (2018). Information system evaluation based on multi-
criteria decision making: A comparison of two sectors. International Journal of Advanced
Computer Science and Applications, 9(6), 291–297.
https://doi.org/10.14569/IJACSA.2018.090642

Hagos, Y., Garfield, M., & Anteneh, S. (2016). Measurement factors model for e-learning systems
success. Proceedings - International Conference on Research Challenges in Information
Science, 2016-Augus. https://doi.org/10.1109/RCIS.2016.7549361

Hasan, M., Baharum, H. I., Samy, G. N., Maarop, N., Abidin, W. Z., & Hassan, N. H. (2017).
Developing a success model of Research Information Management System for research
affiliated institutions. International Conference on Research and Innovation in Information
Systems, ICRIIS. https://doi.org/10.1109/ICRIIS.2017.8002444

Irawan, H., & Syah, I. (2017). Evaluation of implementation of enterprise resource planning
information system with DeLone and McLean model approach. 2017 5th International
Conference on Information and Communication Technology, ICoIC7 2017, 0(c).
https://doi.org/10.1109/ICoICT.2017.8074721

Irvine, R., & Hall, H. (2015). Factors, frameworks and theory: A review of the information systems
literature on success factors in project management. Information Research, 20(3), 1–46.

Isaias, P., & Issa, T. (2016). High Level Models for Information Systems.
Liang, Y.-H. (2015). Performance measurement of interorganizational information systems in the
supply chain. International Journal of Production Research, 53(18), 5484–5499.
https://doi.org/10.1080/00207543.2015.1026614

Putra, S. J., Subiyakto, A., Ahlan, A. R., & Kartiwi, M. (2016). A coherent framework for
understanding the success of an information system project. Telkomnika
(Telecommunication Computing Electronics and Control), 14(1), 302–308.
https://doi.org/10.12928/TELKOMNIKA.v14i1.2711

Recker, J., Indulska, M., Green, P. F., Burton-Jones, A., & Weber, R. (2019). Information systems as
representations: A review of the theory and evidence. Journal of the Association for
Information Systems, 20(6), 735–786. https://doi.org/10.17705/1jais.00550

Subiyakto, A., Ahlan, A. R., Kartiwi, M., & Putra, S. J. (2016). Measurement of the information
system project success of the higher education institutions in Indonesia: A pilot study.
International Journal of Business Information Systems, 23(2), 229–247.
https://doi.org/10.1504/IJBIS.2016.078908

Subiyakto, A., Ahlan, A. R., Kartiwi, M., & Sukmana, H. T. (2015). Measurement of information
system project success based on perceptions of the internal stakeholders. International
Journal of Electrical and Computer Engineering, 5(2), 271–279.
https://doi.org/10.11591/ijece.v5i2.pp271-279

Sun, J., & Teng, J. T. C. (2017). The construct of information systems use benefits: Theoretical
explication of its underlying dimensions and the development of a measurement scale.
International Journal of Information Management, 37(5), 400–416.
https://doi.org/10.1016/j.ijinfomgt.2017.04.010

Varajão, J., & Trigo, A. (2016). Evaluation of is project success in infsysmakers: An exploratory case
study. 2016 International Conference on Information Systems, ICIS 2016, Varajão, 1–10.

Viglioni, T. G. A., Cunha, J. A. O. G., & Moura, H. P. (2016). A Performance Evaluation Model for
Project Management Office Based on a Multicriteria Approach. Procedia Computer Science,
100, 955–962. https://doi.org/10.1016/j.procs.2016.09.257

Zerbino, P., Aloini, D., Dulmin, R., & Mininno, V. (2017). Framing ERP success from an information
systems failure perspective: A measurement endeavor. Journal of Electronic Commerce in
Organizations, 15(2), 31–47. https://doi.org/10.4018/JECO.2017040103