Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Britos, Paola1, Fernndez, Enrique1,2, Ochoa, Maria Alejandra1,2, Merlino, Hernan1,2, Diez, Eduardo1,2 y Garca Martnez, Ramn1
1
Centro de Ingeniera del Software e Ingeniera del Conocimiento. Escuela de Postgrado. Instituto Tecnolgico de Buenos Aires. 2 Laboratorio de Sistemas Inteligentes. Facultad de Ingeniera. Universidad de Buenos Aires
pbritos@itba.edu.ar
Resumen: En el proceso de explotacin de datos existe el riesgo de detectar en forma tarda que la herramienta elegida sea inadecuada para cumplir con los objetivos de negocio establecido. Esto trae como consecuencia la perdida de tiempo y dinero a la organizacin. En este trabajo se presenta una propuesta de metodologa que permite seleccionar una herramienta de explotacin de datos a partir de la caracterizacin de un grupo de ellas. Palabras claves: Mtodo de seleccin de herramientas, seleccin de herramienta en explotacin de datos, explotacin de datos. Workshop: Ingeniera de Software y Bases de Datos (WISBD).
1. Introduccin
La importancia del impacto de una herramienta de explotacin de datos en la organizacin y la inversin que la misma debe hacer en trminos econmicos, hacen que el proceso de seleccin de la herramienta sea un tema crtico. Se debe tener en cuenta tambin que no es una tarea que se haga frecuentemente y que se espera un determinado retorno de la inversin. La metodologa que se propone en este trabajo apunta a organizar el proceso de seleccin de una herramienta para que la organizacin pueda escoger la que mejor se adapte a sus requisitos basndose no solo en cuestiones econmicas, sino tambin en las necesidades propias del negocio. A la fecha se ha trabajado en abordajes metodolgicos para: seleccin de ciclos de vida [Rossi, 2001], seleccin de actividades para el mapa de actividades en un proyecto de software [Diez et al, 2003], seleccin de herramientas de desarrollo de sistemas expertos [Garca-Martnez y Britos, 2004], seleccin de herramientas ERP [Chiesa, 2004], pero esta ausente el abordaje de metodologas que contribuyan a la seleccin de herramientas de explotacin de datos. La existencia de proveedores diversos y herramientas de uso libre que permiten realizar la tarea sin contar con un mtodo objetivo de seleccin de herramientas puede conllevar la adquisicin de una herramienta inadecuada, lo cual trae como consecuencias: (a) perdida de tiempo y dinero a la organizacin y (b) el incremento del riesgo de no cumplir con los objetivos de negocio establecido.
Evaluar los candidatos, Fase 8: Demostracin del producto y Fase 9: Evaluacin final de los productos.
2.1.
En esta fase se define y establecer el marco general de referencia para la seleccin de una herramienta de explotacin de datos. Los aspectos que se deben considerar son: - Definir reas y funciones de la organizacin que se involucrarn con la herramienta de explotacin de datos. - Definir los objetivos que se pretenden lograr a travs de la explotacin de informacin.
2.2.
El objetivo de esta fase es documentar las caractersticas del negocio que la herramienta de explotacin de datos debe atender con relacin a: reas de la organizacin involucradas, procesos de negocios alcanzados y costo mximo que se pagar por la adquisicin de la misma. El objetivo es identificar los requerimientos para la bsqueda de proveedores. Esta fase se orientar a describir una herramienta que se adapte lo mejor posible a los objetivos del negocio de la organizacin, es decir no pagar un precio muy elevado por una herramienta que se usar en un 10% de su potencial, ni por otro lado comprar una herramienta que no aporte los mtodos necesarios o que resulte obsoleta al primer intento de ampliacin.
2.3.
El objetivo de esta fase es la bsqueda en el mercado de herramientas de explotacin de datos disponibles, para lo cual se sugiere consultar en Internet, concurrir exposiciones de software, adquirir revistas del rubro, identificar bibliografa sobre el tema y consultar con profesionales en otras organizaciones. Este proceso de bsqueda debe resumirse en un informe que detalle los proveedores encontrados.
2.4.
El objetivo de esta fase es contactar a cada proveedor identificado en la fase anterior y solicitarle informacin de la herramienta. No es necesario todava concertar entrevistas, el objetivo es recopilar la mayor cantidad de informacin de cada producto. Se sugiere reducir la cantidad de candidatos a 5, ya que se deber llevar a cabo un estudio ms profundo de cada uno. Esto incluye entre otras actividades: demostraciones de producto, visitas de los usuarios al proveedor, entrevistas con personal del proveedor y redaccin de informes por cada producto.
2.5.
En esta fase se conciertan entrevistas con cada proveedor con el propsito de completar la informacin faltante de cada producto y proveedor en orden a permitir una adecuada comparacin sobre especificaciones tcnicas del sistema, descripcin de los mdulos que lo componen, funcionalidad de cada mdulo, catlogos, artculos o trabajos de experiencias de implementaciones en otras organizaciones. Para terminar esta fase se organiza la informacin verificando que los datos recopilados sean homogneos para facilitar la comparacin. Se prepar un informe por cada
herramienta donde figure la presentacin institucional de cada proveedor y un resumen de las caractersticas de las mismas.
2.6.
El objetivo de esta fase es desarrollar un informe con puntos de comparacin ponderados que se adecue a las necesidades de la organizacin y que ser la base de trabajo para las tareas posteriores y para la seleccin final. Para la comparacin y seleccin de un producto es necesario tener un informe de criterios ponderados y puntos de comparacin comunes, teniendo en cuenta que se han identificado diferentes aspectos que deben ser evaluados en el proceso de seleccin. Un informe con criterios de ponderacin puede ser usado como modelo (ver plantillas en seccin 2.9 y 2.10), el mismo debe ser adaptado a las necesidades particulares de la organizacin y los explotadores de informacin (dataminers), verificando que los aspectos seleccionados se puedan aplicar a la organizacin en cuestin y que la ponderacin sugerida es adecuada a la misma. Los criterios del informe son agrupados en cuatro categoras o grupos, que tambin sern ponderadas, a continuacin se detallan los grupos: 1. Caractersticas tcnico-funcionales de la herramienta: bajo esta categora se agrupan todos los criterios a evaluar que estn ligados a las caractersticas tcnicas y funcionales de la herramienta. 2. Caractersticas del proveedor: aquellos criterios de evaluacin que hacen a la organizacin proveedora como: evolucin y crecimiento, facturacin anual, ubicacin geogrfica, otros clientes y experiencia. Es importante evaluar la solidez del proveedor, ya que si el proveedor deja de existir la organizacin se queda con un sistema sin mantenimiento ni posibilidad de evolucin. 3. Caractersticas del servicio: en estos aspectos se evala puntos especficos del servicio que brinda el proveedor sobre la herramienta. 4. Caractersticas econmicas: son aquellos relacionados con costos de licencias y de servicio de mantenimiento de la herramienta. Para armar el informe de criterios se sugiere seguir los siguientes pasos: 1. Armar el informe de criterios que mejor aplique a la organizacin, tomando como modelo los criterios propuestos, con los conocimientos adquiridos de las herramientas en funcin de la informacin recopilada y el informe de las necesidades definidas. 2. Dividir los criterios en cuatro grupos dependiendo de las caractersticas: tcnico-funcionales de la herramienta, del proveedor, del servicio, y econmicas. 3. Ponderar cada criterio segn su impacto dentro del grupo. La suma de las ponderaciones de cada grupo debe ser igual a 100, siendo la suma de todos los criterios igual a 400. (Ver cuestionario propuesto en seccin 2.9).
2.7.
En esta fase el equipo debe concertar nuevas entrevistas con los proveedores en orden a formular solicitud de propuesta tcnica y econmica que completa el punto armado en el punto anterior. Se recomienda visitar las oficinas del proveedor, concertar reuniones con personal comercial y tcnico para tener distintas visiones del producto. Mediante el mtodo Delphi un conjunto de expertos ha pesado el impacto de cada criterio de seleccin cuyo valor se presenta en la columna Pond X.
Para completar el informe cada criterio ser calificado con un valor de 1 a 4, en la columna valor Y del cuestionario propuesto seccin 3 (siendo 1= Malo, 2 = Regular, 3 = Bueno, 4 = Muy Bueno). Cada valor en la columna Y ser multiplicado por el factor en la columna Pond X y se colocar en la columna Pond X*Y. La sumatoria de la columna Pond X*Y se la multiplicar por la ponderacin del grupo y dividir por 100, as se obtendr la ponderacin del grupo en general. Se repite esta operacin para los 4 grupos en evaluacin y para todas las herramientas (Ver ejemplo en el modelo). Una vez completo el informe con todos los datos recolectados se compara las ponderaciones resultantes entre las distintas herramientas. A los informe armados para cada proveedor, se debe agregar el informe evaluado, el informe de ventajas y desventajas y una copia de la propuesta. Luego de esto es conveniente organizar una reunin de trabajo con el equipo de proyecto para presentar las opciones, discutir la evaluacin, comparar los valores obtenidos y seleccionar los candidatos. Al finalizar esta actividad se debern seleccionar los productos de los cuales se pedir una demostracin a los proveedores.
2.8.
En este punto los proveedores mostrarn el producto a los usuarios seleccionados y ellos completarn en cada visita los cuestionarios armados (ver plantilla propuesta para la evaluacin de productos en la seccin 2.10). Los usuarios calificarn cada criterio indicando en la columna de ponderacin (P) un valor del 0 a 5 segn se explica en la cabecera del modelo propuesto. Al finalizar las visitas se recopilan los cuestionarios, se suman los puntajes de cada proveedor otorgado por cada encuestado y se arma un promedio de puntos obtenidos por cada producto. Se agrega al informe armado en la actividad anterior los cuestionarios y puntaje total obtenido por cada herramienta. Al terminar este punto se tiene un informe con la evaluacin completa por candidato que incluye la informacin institucional, la propuesta, el informe de criterios ponderados, las encuestas evaluadas producto de las demostraciones, el cuadro de ventajas y desventajas y todo comentario e informacin adicional que se tenga del proveedor y del producto que se haya recopilado en estas actividades.
2.9.
En esta fase se comparan los resultados obtenidos (criterios ponderados + demostracin de productos) y se tomar aquel producto que sume mayor puntaje.
Cuestionario propuesto
Criterios de seleccin 1. Caractersticas tcnicos funcionales Metodologa / Ciclo de vida soportado Adaptabilidad y flexibilidad para la toma de datos Desde Bases de Datos Desde fuentes externas (word, excel, etc.) Descripcin Pond X 3 8 8 Valor Y Pond X* Y Metodologas / ciclos de vida que soporta la herramienta para la explotacin de datos (CRISP-DM, SEMMA, etc.) Cantidad de formatos soportado para la toma de datos desde bases de datos diversas. Cantidad de formatos soportado para la toma de datos.
Criterios de seleccin 1. Caractersticas tcnicos funcionales Facilidad para integrar diferentes tcnicas Multi-lenguaje Tcnicas usadas
Descripcin
Valor Y
Pond X* Y
Herramientas de visualizacin y informe Multiplataforma Instalacin remota Mltiples usuarios Seguridad Resguardo de informacin Desarrollo de la interfaz Gestor de configuraciones Documentacin tcnica Conectividad externa Compatibilidad con correo electrnico TOTAL
Posibilidad de integrar diversas tcnicas de explotacin de datos Permite trabajar en distintos idiomas (tomando el idioma ingles como idioma principal). Cantidad de tcnicas que permiten la explotacin de datos para el logro de los objetivos del negocio (redes neuronales, redes bayesianas, algoritmos de induccin, etc.) Permite visualizar la salida de las distintas tcnicas utilizadas en la explotacin, as como la generacin de informes. No necesita una plataforma determinada, es posible que se ejecute en varias plataformas Permite instalacin y trabajo del personal tcnico en forma remota, sin estar en el lugar fsico en donde esta el servidor Trabaja con una estructura que permitan mltiples usuarios. Perfiles de seguridad por tipo de usuario Metodologa para copias de resguardo y recuperacin de datos Tipo de interfaz de la herramienta Posee herramientas que administran las distintas versiones generadas Documentos sobre el funcionamiento de la herramienta. Soporta conexiones externas del tipo: Internet, EDI, Accesos remotos Permite derivar informes o grficos por e-mail. Ponderacin del grupo
Z= P1 = Z * 0,40
Confianza TOTAL
Solidez del proveedor: evolucin histrica, clientes, ganancias, cantidad de empleados. Perspectivas del proveedor en el mercado deben ser buenas ya que si al proveedor le va mal compraremos una herramienta que quedar sin soporte. Ubicacin de las oficinas. Soporte en la misma ciudad donde se ubican las oficinas. Desde el punto de vista del proveedor: Otras organizaciones que usen la herramienta. Desde el punto de vista de los clientes que utilizan la herramienta (se sugiere consulta presencial o telefnica) Criterio no cuantificable que queda a criterio de los miembros del equipo. Ponderacin del grupo
Upgrade
Problemas que estaran cubiertos por el proveedor y casos de los cuales el proveedor no se hara responsable. Alcance de la garanta en tiempo, en aspectos funcionales y tcnicos Averiguar cada cuanto tiempo saca una nueva versin al mercado. Tener en cuenta si uno debe migrar obligatoriamente a la nueva versin al salir al mercado. De no ser as consultar cuanto tiempo el proveedor soporta las versiones ms antiguas. Alcance de la licencia. Incluye el soporte post venta. Alcance del soporte. Existe un helpdesk para problemas no reportados en el repositorio con un tiempo de respuesta aceptable y atencin 24 hs. Ponderacin del grupo
30
20
En funcin del presupuesto que se tiene y de los otros presupuestos recibidos evaluar del costo del sistema. En funcin de los requerimientos de hardware y de lo que ya posee la organizacin, evaluar el costo que implica adquirir el equipamiento necesario. En funcin de los requerimientos de software y de los que ya posee la organizacin, evaluar el costo que implica adquirir mas software. Como se pagan las licencias, por nica vez al momento de la compra; o cuando ya se implement o una vez por ao? Existen polticas de financiacin para la adquisicin del producto Costo del Upgrade. Se deben abonar nuevas licencias?
30 20 20 10 10 10 100% Z=
El factor econmico se toma como valor negativo, ya que de esta manera en la ponderacin final pesa aquellos productos econmicos con respecto a los ms costosos.
Ponderaciones por aspecto P1: Tcnicos y funcionales P2: Del proveedor P3: Del servicio P4: Econmico TOTAL Ventajas y Desventajas Ventajas Desventajas 40% 25% 20% - 15% 100%
Reservar una seccin del cuadro para ventajas generales que puedan surgir de entrevistas con organizaciones que ya usan la herramienta. Reservar una seccin del cuadro para desventajas generales que puedan surgir de entrevistas con organizaciones que ya usan la herramienta.
Cuestionario propuesto
CRITERIOS Compaa con mltiples filiales Multiplataforma simultanea Multilenguaje - varios idiomas Ayudas en pantalla en el idioma de trabajo de la organizacin Manuales en el idioma de trabajo de la organizacin Importacin de datos de distintas fuentes Cantidad de tcnicas de explotacin utilizadas para lograr los objetivos del negocio Integracin entre tcnicas Metodologas / Ciclos de vida utilizados Sistema de informes y visualizacin de resultados Niveles de seguridad Apreciacin global del producto Confianza en el proveedor y la herramienta Conocimiento del producto por parte del proveedor Calidad de atencin Respuesta a las consultas Presentacin general TOTAL P
La organizacin en cuestin es una estacin meteorolgica que pretende conocer cual va a ser la velocidad de los vientos en una zona determinada y cuales son las causas que originan dicha velocidad (esto se utilizar como fuente de informacin para establecer mecanismos alternativos para la produccin de energa), y en funcin de esto poder as establecer la cantidad de energa elica que puede producir la planta elctrica de la zona.
3.2.
La herramienta de explotacin de datos debe: Predecir la velocidad del viento, para lo que se sugiere el uso de redes neuronales de retropropagacin, Indicar las reglas de comportamiento que originan la velocidad del viento, para lo que se sugiere algoritmos de induccin, por ejemplo C5, y Predecir la cantidad de energa elica que se producir, para lo que se sugiere el uso de redes neuronales de retropropagacin.
3.3.
Se toman como candidatos a evaluar las siguientes herramientas: Clementine, cuyo proveedor es SPSS. MatLab, cuyo proveedor es Mathworks. Weka, cuya distribucin es libre, y pertenece al Department of Computer Science, University of Waikato, New Zealand.
3.4.
Se recabo informacin de las herramientas por los diversos sitios webs y el envo de informacin por correo electrnico de los proveedores en cuestin: Clementine, cuyo proveedor es SPSS, www.spss.com.ar. MatLab, cuyo proveedor es Mathworks, www.mathworks.com. Weka, cuya distribucin es libre, http://www.cs.waikato.ac.nz/~ml/weka/index.html.
3.5.
De acuerdo a las herramientas analizadas solo se pudo obtener una entrevista con el proveedor de Clementine (SPSS), ya que el nico que cuenta con representacin en la zona de residencia de la organizacin. Para el resto de las herramientas se tomo informacin de el website y/o se envi correos electrnicos solicitando mayor informacin de las mismas.
3.6.
Los criterios a tener en cuenta son los propuestos en los modelos descriptos.
3.7.
Criterios de seleccin
1. Aspectos tcnicos funcionales Metodologas / ciclos de vida que soporta la Metodologa / Ciclo de herramienta para la explotacin de datos (CRISP-DM, vida soportado SEMMA, etc.) Desde Cantidad de formatos soportado para la toma de datos Bases de desde bases de datos diversas. Datos Adaptabilidad Cantidad de formatos soportado para la toma de datos. y flexibilidad Desde para la toma fuentes externas de datos (Word, Excel, etc.) Facilidad para integrar Posibilidad de integrar diversas tcnicas de explotacin diferentes tcnicas de datos Permite trabajar en distintos idiomas (tomando el Multi-lenguaje idioma ingles como idioma principal). Cantidad de tcnicas que permiten la explotacin de datos para el logro de los objetivos del negocio (redes Tcnicas usadas neuronales, redes bayesianas, algoritmos de induccin, etc.) Permite visualizar la salida de las distintas tcnicas Herramientas de utilizadas en la explotacin, as como la generacin de visualizacin y informe informes. No necesita una plataforma determinada, es posible que Multiplataforma se ejecute en varias plataformas Permite instalacin y trabajo del personal tcnico en Instalacin remota forma remota, sin estar en el lugar fsico en donde esta el servidor Mltiples usuarios Trabaja con una estructura que permitan mltiples usuarios. Seguridad Perfiles de seguridad por tipo de usuario Resguardo de Metodologa de para copias de resguardo y informacin recuperacin de datos Desarrollo de la interfaz Tipo de interfaz de la herramienta Gestor de Posee herramientas que administran las distintas configuraciones versiones generadas Documentacin tcnica Documentos sobre el funcionamiento de la herramienta. Soporta conexiones externas del tipo: Internet, EDI, Conectividad externa Accesos remotos Compatibilidad con Permite derivar informes o grficos por e-mail. correo electrnico TOTAL Ponderacin del grupo
12
--
--
--
--
40
32
24
40
32
24
5 2
3 --
15 --
3 --
15 --
1 --
5 --
18
90
90
90
12 5 5 2 2 2 10 8 5 2 3 100% 40%
5 -3 5 2 -5 -5 5 -P1
5 2 NE NE NE NE 5 -5 NE NE
60 10 ----
3 2 -----
3 -4 ---
Criterios de seleccin
Descripcin
Pond X
2.- Aspectos sobre el proveedor Caractersticas del Solidez del proveedor: evolucin histrica, clientes, proveedor ganancias, cantidad de empleados. Perspectivas de Perspectivas del proveedor en el mercado deben ser evolucin buenas ya que si al proveedor le va mal compraremos una herramienta que quedar sin soporte. Ubicacin Ubicacin de las oficinas. Soporte en la misma ciudad donde se ubican las oficinas. Otras implementaciones Desde el punto de vista del proveedor: Otras organizaciones que usen la herramienta. Desde el punto de vista de los clientes que utilizan la herramienta (se sugiere consulta presencial o telefnica) Confianza Criterio no cuantificable que queda a criterio de los miembros del equipo. TOTAL Ponderacin del grupo
30 10 30 5 5 20 100% 25%
Criterios de seleccin
Descripcin
Pond X
3.- Aspectos sobre el servicio Garanta del producto Problemas que estaran cubiertos por el proveedor y casos de los cuales el proveedor no se hara responsable. Alcance de la garanta en tiempo, en aspectos funcionales y tcnicos Averiguar cada cuanto tiempo saca una nueva versin al mercado. Tener en cuenta si uno debe migrar obligatoriamente a la nueva versin al salir al mercado. De no ser as consultar cuanto tiempo el proveedor soporta las versiones ms antiguas. Alcance de la licencia. Incluye el soporte post venta. Alcance del soporte. Existe un helpdesk para problemas no reportados en el repositorio con un tiempo de respuesta aceptable y atencin 24 hs.
30
120
NE
--
30
Upgrade
20
60
NE
--
40
Licencia Soporte
30
90
NE
--
--
--
20 100%
80 350
NE
-NC NC
--
-70 14
20%
P3
70 MatLab Valor Y
Descripcin
Pond X
Pond X*Y
Weka Valor Y
Pond X*Y
Costo de software
Licencias
En funcin del presupuesto que se tiene y de los otros presupuestos recibidos evaluar de el costo del sistema. En funcin de los requerimientos de hardware y de lo que ya posee la organizacin, evaluar el costo que implica adquirir el equipamiento necesario. En funcin de los requerimientos de software y de los que ya posee la organizacin, evaluar el costo que implica adquirir ms software. Como se pagan las licencias, por nica vez al momento de la compra; o cuando ya se implement o una vez por ao? Existen polticas de financiacin para la adquisicin del producto Costo del Upgrade. Se deben abonar nuevas licencias?
30
30
NE
--
--
20
--
100
--
20
--
100
--
10 10 10 100%
2 3 3
20 30 30 110 - 16,5
NE NE NE
---200 - 30
----
0 0 0 0 0
Ponderacin del grupo Nota: La sigla NE significa No evaluado. Ponderaciones por aspecto P1: Tcnicos y funcionales P2: Del proveedor P3: Del servicio P4: Econmico TOTAL Ventajas y Desventajas Ventajas Desventajas Clementine Representante local. Excelente interfaz. Costo 40% 25% 20% - 15% 100% Clementine 148,4 117,5 70,0 - 16,5 319,4 MatLab 129,6 87,5 NE - 30,0 187,1
- 15%
P4
3.8.
Nombre del dataminer: Paola Britos Fecha: Abril de 2005 Ponderacin: 0 = tem no evaluado 1 = tem evaluado no soportado 2 = tem evaluado soportado de manera incompleta 3 = tem evaluado soportado con necesidad de varias modificaciones factibles 4 = tem evaluado soportado de manera correcta 5 = tem evaluado soportado y provee de valor agregado al trabajo CRITERIOS Multicompaa Multiplataforma simultanea Multilenguaje - varios idiomas Ayudas en pantalla en el idioma de trabajo de la organizacin Manuales en el idioma de trabajo de la organizacin Importacin de datos de distintas fuentes Cantidad de tcnicas de explotacin utilizadas para lograr los objetivos del negocio Integracin entre tcnicas Metodologas / Ciclos de vida utilizados Sistema de reportes y visualizacin de resultados Niveles de seguridad Apreciacin global del producto Confianza Conocimiento del producto por parte del proveedor Calidad de atencin Respuesta a las consultas Presentacin general TOTAL Clementine 4 1 1 1 1 4 5 2 2 2 5 5 4 5 5 5 5 57 MatLab 4 1 1 1 1 4 5 2 1 5 5 4 4 5 0 0 0 43 Weka 1 1 1 1 1 2 4 2 1 3 1 3 3 4 0 0 0 29
3.9.
Demostracin de la herramienta:
Clementine 57 MatLab 43 Weka 29
Total:
Criterio Criterios Demostracin TOTAL Clementine 319,4 57,0 376,4 MatLab 187,1 43,0 230,1 Weka 142,0 29,0 171
4. Conclusiones
De acuerdo a los tems anteriormente desarrollados se puede establecer, que la metodologa planteada: - Establece un marco para la evaluacin de herramientas de explotacin de datos. - Establece mtricas para la evaluacin de herramientas de explotacin de informacin dentro de la organizacin. - Es flexible y adaptable a cualquier tipo de organizacin. - Permite evaluar de forma ordenada y ecunime a un conjunto de herramientas de explotacin de informacin, sin perder el objetivo de negocio de la organizacin.
5. Bibliografa
Chiesa, F. 2004. Metodologa para Seleccin de Sistemas ERP. Reportes Tcnicos en Ingeniera del Software. (6)1:17-37. Diez, E., Britos, P., Rossi, B. y Garca-Martnez, R. 2003. Generacin Asistida del Mapa de Actividades de Proyectos de Desarrollo de Software. Reportes Tcnicos en Ingeniera del Software. (5)1:13-18. Garca Martnez, R. y Britos, P. 2004. Ingeniera de Sistemas Expertos. ISBN 987-1104-15-4. Editorial Nueva Librera. Buenos Aires. Mtrica, 1990. Metodologa de planificacin y desarrollo de sistemas de informacin MTRICA Versin 2.1990. Rossi, B. 2001. Sistema Experto de Ayuda para la Seleccin del Modelo de Ciclo de Vida Tesis de Master en Ingeniera del Conocimiento. Facultad de Informtica. Universidad Politcnica de Madrid. http://www.itba.edu.ar/capis/webcapis/tesisdemagisterterminadas.htm. Pagina web vigente al 03/07/05.