Departamento de Ciencias de la Computacin

Universidad de Chile

Mtricas e Indicadores:
Dos Conceptos Claves para
Medicin y Evaluacin
Contenidos
Dr. Luis Olsina
Introduccin
Teora de Mtricas GIDIS, Facultad de Ingeniera, UNLPam,
Teora de Indicadores La Pampa - Argentina
Conclusiones/Avances TE 54 2302 430497 Ext. 6501
E-mail olsinal@ing.unlpam.edu.ar
 Esquema

Introduccin
Teora de Mtricas
Teora de Indicadores
Conclusiones
 Introduccin
Beneficios de la Medicin/Evaluacin
Analizar, Comprender (los atributos de un ente)
Controlar (la calidad del producto, )
Predecir (el tiempo y costo de un proyecto)
Mejorar (la calidad de un producto, proceso )

Conceptos Medibles (Factores)

Calidad, Calidad en Uso, Productividad, Costo

Fases del Ciclo de Vida del Software

Exploracin, Desarrollo, Mantenimiento.
 Introduccin
Requerimientos de Medicin/Evaluacin
Metas, Restricciones (Seguridad, Disponibilidad, etc.)
Especificacin de Requisitos, Definicin de Criterios,
Tcnicas, Mtricas, Indicadores
Captura de Datos
Recoleccin de Datos
Automtica, Semiautomtica, Manual
Anlisis
Tcnicas Estadsticas, Visualizacin Grfica, Tablas, etc.
Interpretacin de los datos.
Recomendaciones
Doc. de Conclusiones, Propuestas de Mejora
 Clases de Mtodos de Evaluacin

Categoras de Mtodos
Testing
Inspeccin
Consulta (Inquiry)
Modelado Analtico
Simulacin

Los Mtodos y Tcnicas a Aplicar pueden ser:

Cuantitativos versus Cualitativos
Automticos, Semiautomticos o Manuales
Desde Fcil a Difcil de Usar y Aprender
 Taxonoma de Mtodos
Clase de Mtodo
-- Testing
-- Inspeccin
-- Consulta, ...

Tipo de Mtodo
-- Anlisis de Log Files
Taxonoma -- Evaluacin de Caractersticas y Atributos
e Mtodos de
Evaluacin Tipo de Automatizacin Fase
-- Manual -- Requerimientos
-- Semi-Automtico -- Captura
-- Automtico -- Anlisis
-- Recomendaciones
Nivel de Esfuerzo
-- Fcil de Usar, Aprender
-- Efectivo, Preciso
-- Rango de Aplicabilidad
 Hacia una Ontologa de M&I

Diversos Estndares (principalmente ISO) tratan

sobre
el modelo de calidad de software (ISO 9126),
el proceso de medicin (ISO 15939),
el proceso de evaluacin (ISO 14598)
otros
Con frecuencia, no existe un claro consenso
entre los mismos trminos en diferentes
documentos o, a veces, trminos ausentes
Necesidad de una Ontologa para el dominio de
Mtricas e Indicadores
Ontologas para el Proceso de Medicin y Evaluacin
 Esquema

Introduccin
Teora de Mtricas
Teora de Indicadores
Conclusiones
 Introduccin a Mtricas
ENTIDAD
ATRIBUTO
CONCEPTO MEDIBLE (Calidad, Productiv...)
MODELO DE CONCEPTO
METRICA (Directa e Indirecta)
MEDICION, MEDIDA
METODO (Medicin, Clculo)
ESCALA / TIPO DE ESCALA
UNIDAD
...
 Introduccin a Mtricas
ENTIDAD
Un objeto que va a ser caracterizado mediante una
medicin de sus atributos [ISO-15939].
Una entidad puede ser fsica tangible (p.ej. una
computadora) o abstracta -intangible (p.ej. un
programa software)
Objetos de inters para el dominio de software son:
Recurso,
Proceso,
Producto,
Producto en uso?,
Proyecto,
Servicio
Introduccin a Mtricas

ATRIBUTO
Una propiedad mensurable, fsica o abstracta,
de una entidad [ISO 14598-1:1999].
el atributo puede ser interno o externo
Tamao de cdigo fuente (atributo interno), precio (atributo
externo).

el atributo se puede medir (cuantificar) por

medio de una mtrica directa o indirecta.
 Introduccin a Mtricas

CONCEPTO MEDIBLE
Es una relacin abstracta entre atributos de una o ms
entidades, y una necesidad de informacin [ISO-
15939].

Evaluar o predecir dicho concepto, desde una

perspectiva de usuario.
Ejemplos de conceptos medibles son: Calidad, Costo,
Accesibilidad, Calidad en Uso, Confiabilidad.
Ejemplos de perspectivas de usuario son: Gerente,
Desarrollador, Usuario final, etc.
 Introduccin a Mtricas
MODELO de CONCEPTO
El conjunto de subconceptos y las relaciones entre
ellos, que sirven de base para una ulterior evaluacin
o estimacin.
Ej. Caractersticas y/o subcaractersticas y sus
relaciones que proveen las bases para modelar
Calidad.
Una caracterstica puede estar conformada por
subcaractersticas y atributos.
El modelo puede ser fijo (estndar, como ISO 9126-1),
propio o mixto.
 Modelos de Calidad (Boehm - 1978)
Primary uses Intermediate constructors Primitive constructors

Device Independence

Completeness
Portability
Accuracy

As is utility Reliability Consistency

Device efficiency
Efficiency
Acessibility
General utility Human engineering Metrics
Communicativeness

Testability Structuredness

Maintainability Understandability Self descriptiveness

Conciseness
Modifiablility
Legibility

Augmentability
 Modelos de Calidad (ISO/IEC 9126-1)

Caractersticas Software
Software
Quality
Quality

Functionality
Functionality Reliability
Reliability Usability
Usability Efficiency
Efficiency Maintainability
Maintainability Portability
Portability

Suitability
Suitability Maturity
Maturity Understandability
Understandability Time
Timebehaviour
behaviour Analysability
Analysability Adaptability
Adaptability
Accuracy
Accuracy Fault
FaultTolerance
Tolerance Learnability
Learnability Resource
Resource Changeability
Changeability Instalability
Instalability
Interoperability Recoverability Operability utilization
utilization Stability Co-existence
Interoperability Recoverability Operability Stability Co-existence
Security Compliance Attactiveness Compliance
Compliance Testeability Replaceability
Security Compliance Attactiveness Testeability Replaceability
Compliance
Compliance Compliance
Compliance Compliance
Compliance Compliance
Compliance

Subcaractersticas
Caractersticas y Subcaractersticas

Usabilidad
Comprensin Global del Sitio
Ayuda y Retroalimentacin
Aspectos de Interface
Aspectos Estticos
Funcionalidad
Bsqueda y Recuperacin
Navegacin y Exploracin
Funciones y Contenido Especficos del Dominio (E-commerce,
Museos, Universidades ...)
Confiabilidad
Enlaces
Pginas
Compatibilidad de Navegadores
Eficiencia
Performance
Accesibilidad
 Caractersticas y Atributos

Confiabilidad
Enlaces
Enlaces Rotos
Enlaces Invlidos
Enlaces no Implementados
Pginas
Pginas Muertas
Pginas bajo Construccin
Errores de Ortografia
 Producto, Recurso, Proy ecto o Serv icio.
subEn ti dad 1 especifi caci n

0 ..*
Entidad MtricaDirecta MtricaIn directa
1
n ombre
d escripci n m tri cas_re la ci
NecesidadDeInform acin
1..*
descripcin ver_Tambin
asociado_con
1
1..* Mtrica 0..*
de scri be nombre
1..* Atributo interpretacinValor 2..*
nombre 1 cuantif ica 1..* objetivo/Motivacin
subConcepto palabrasClave/Alia s tipoRecoleccinDatos
combina
definici n referencias
nivelIndependencia tipoValor = {Smbolo, Integer, Float}
0..* 1..* 1

Modelo ConceptoMedible
nombre
ti po = {interno, externo} contiene precisin

onceptual descripcin

Escala
1
referida_a

0..*

para especificado_por
0..*
<<enum>> tipoEscala
Medicin produce Medida
fechaYHora
11
valor

Mtricas ModeloDeConcepto
nombre tipoEscala={Nominal, Ordinal Restringida,
especificacin Ordinal no Restringida, Interv alo, Proporcin,
referencias Absoluta}

EscalaCategrica EscalaNumrica Unidad

expresada_en
valoresPermitidos ti po = {contin ua, d iscreta} 1..* nombre inclu
1
descrip cin

Herramie nta
automatizado_por Mtodo 1
nombre
nombre
descripcin 0..* 1..*
especificacin
versin
proveedor

MtodoDeClculo MtodoDeMedicin
 Introduccin a Mtricas

METRICA
El mtodo de medicin definido y la escala
de medicin [ISO 14598-1:1999].
MEDICION
Actividad que usa la definicin de la mtrica para
producir el valor de una medida.
MEDIDA
Nmero o categora asignada a un atributo de una
entidad mediante una medicin [ISO 14598-
1:1999]
Introduccin a Mtricas

METODO (de MEDICION, CALCULO)

Secuencia lgica de operaciones y potenciales
heursticas, expresadas de forma genrica, que
permite la realizacin de una descripcin de actividad.

El tipo de mtodo de medicin va a depender de la

naturaleza de las operaciones utilizadas para
cuantificar el atributo. Pueden distinguirse dos tipos:
Subjetivo: Cuando la cuantificacin supone un juicio realizado
por un ser humano.
Objetivo: Cuando la cuantificacin est basada en mtodos
numricos.
Introduccin a Mtricas

Escala
Un conjunto de valores con propiedades definidas
[ISO 14598-1].
Escala Numrica (Continua o Discreta)
Escala Categrica

Tipos de Escala (Nominal, Ordinal, Intervalo...)

 Introduccin a Mtricas
METRICA Es la correspondencia de un dominio emprico (mundo real) a
un mundo formal, matemtico. La medida incluye al valor numrico o
nominal asignado al atributo de un ente por medio de dicha
correspondencia. [Fenton]
 Introduccin a Mtricas

METRICA DIRECTA
Una mtrica de un atributo que no depende de
ninguna mtrica de otro atributo.

METRICA INDIRECTA
Una mtrica de un atributo que se deriva de una o
ms mtricas de otros atributos.
Se formaliza por medio de una Funcin de Medicin (Frmula,
Ecuacin).
Funcin de Medicin: Un algoritmo o clculo que permite
combinar dos o ms mtricas.
 Ejemplos de Mtricas Directas

Longitud del Texto del Cuerpo de una Pgina

Medido por cantidad de palabras, etc.
Cantidad de Enlaces Rotos Internos
Medidos por la presencia de errores del tipo 404, (410 ?)

Cantidad de Imgenes con Texto Alternativo

Medido por la presencia de la etiqueta ALT (con texto no
nulo) en cada una de las imgenes vinculadas a las pginas
de un sitio Web
 Ejemplos de Mtricas Indirectas

Porcentaje de Enlaces Rotos de un Sitio

CantidadEnlacesRotos Internos + CantidadEnlacesRotos Externos

PorcentajeEnlacesRotos = 10
CantidadTotalEnlaces 0

Porcentaje de Presencia de la propiedad ALT.

CantidadImgenesALT
PorcentajePresenciaALT 100
CantidadTotalImgenes
=
Introduccin a Mtricas
INSTRUMENTO (Herramienta)

Instrumento (o herramienta) que automatiza

parcial o totalmente a un mtodo de medicin
o clculo.
Nota: un instrumento software (de medicin o
clculo) es un caso particular de un instrumento (de
medicin o clculo).
Por ejemplo, un termmetro es un instrumento de
medicin.
 Herramientas de Automatizacin Mtricas Web

Bobby: CAST [http://www.cast.org/bobby/] ; web-based on-line y off-

line, con ranking; Analizador Accesibilidad (WAI conformance), de
Errores y Fallas, Compatibilidad de Browsers.

Doctor HTML: Imagiware [http://www2.imagiware.com/RxHTML]; web-

based y off-line; Analizador de Errores y Fallas, HTML tags,
Performance, etc.

LIFT: UsableNet.com [http://www.usablenet.com/lift_onsite/]; web-

based y off-line, con ranking; Analizador de Errores y Fallas, HTML
tags, Imgenes, Performance, test de Accesibilidad, etc.

LinkBot: WatchFire [http://www.watchfire.com/solutions/linkbot.asp];

off-line, con ranking; Analizador de Errores y Fallas, Performance,
HTTP cdigos de estado, etc. Herramienta de reparacin.
 Introduccin a Mtricas
ESCALA / TIPOS DE ESCALA

Un conjunto de valores con propiedades definidas

[ISO 14598-1].
Una escala puede ser clasificada de acuerdo a los
siguientes Tipos de Escala: Nominal, Ordinal
restringida, Ordinal no restringida, Intervalo,
Proporcin, Absoluta.
Cada tipo de escala determina las transformaciones
admisibles, el tipo de operaciones matemticas, y los
anlisis estadsticos que pueden aplicarse sobre el
conjunto de valores de la escala.
 Introduccin a Mtricas
UNIDAD (para escalas numricas)
Una cantidad particular, definida y adoptada
por convencin, con la que se pueden
comparar otras cantidades de la misma clase
para expresar sus magnitudes respecto a esa
cantidad particular [ISO-15939]

Ejemplos: LOC, bytes, palabras, links ...

Introduccin a Mtricas: Tipos de Escala
 Introduccin a Mtricas: Tipos de Escala
Tipo de Escala Nominal

En un tipo de escala nominal el sistema relacional emprico consta

slo de categoras diferentes.

Cualquier nmero o smbolo distinto para cada categoria es una

medida aceptable, pero no existe orden o nocin de magnitud
asociado a cada nmero o smbolo.

Ejemplo: mido las fallas de software si estn en Especifacin, Diseo

o Codificacin y puedo asignar 1, 2 y 3 para las fallas que se
encontraron en cada tarea respectivamente, o simplemete A, B y C.
Esta clasificacin no nos permite determinar si un tipo de falla es ms
importante o no que otra.

La transformacin admisible para el tipo de escala nominal es el

conjunto de todos los mapeos 1 a 1.
 Introduccin a Mtricas: Tipos de Escala

Tipo de Escala Ordinal

Le agrega orden a las categoras del tipo de escala nominal.

El sistema relacional emprico est formado por categoras ordenadas

con respecto a un atriburo.

Cualquier mapeo que preserve el orden es aceptable.

No tiene sentido ninguna operacin aritmtica sobre las categoras.

Ejemplo: Complejidad de Software. Si defino trivial, simple, normal,

complejo e inentendible, hay una relacion de orden implicito , mas
complejo que el mapeo a nmeros debe preservar este orden, podra
ser 1, 2, 3, 4 y 5 o .5, 55,100, 101 y 240, cualquier mapeo que
preserve el orden en el sistema numrico es valido.
 Introduccin a Mtricas: Tipos de Escala
Tipo de Escala Intervalo
Toma informacin acerca del tamao de los intervalos que separan
las categoras (escala o salto de una categora a otra)

Preserva el orden de las categoras

Preserva la diferencia entre dos categoras pero no puedo hacer

algunas operaciones sobre las mismas; es decir puedo sumar y restar
pero no multiplicar o dividir.

Ejemplo: medir la temperatura del aire en Fahrenheit. Puedo decir

que hace 40 grados en NY y 80 en Miami. La diferencia tiene sentido, 40
grados, tambin si aumenta un grado en NY y Miami pero NO puedo decir
que la temperatura en Miami es el doble que en NY, o que en NY es la mitad.

El tipo de transformacin admisible es de la forma: M= a * M + b.

 Introduccin a Mtricas: Tipos de Escala

Tipo de Escala de Proporcin

Es el tipo de escala ms usado. Podemos hacer anlisis con
operadores de multiplicacin y divisin, porcentajes, entre otros.
Todas las operaciones aritmticas tienen sentido sobre las
categorias.
Ejemplo: La altura de una persona (Dos veces ms alto que)

Se preserva el orden, el tamao de intervalo y la proporcin de las

categoras. Hay un elemento cero, que representa la falta total de un
atributo.

Las categoras mapeadas deben comenzar en cero e incrementarse

a intervalos regulares llamados unidades.

El tipo de transformacin admisible es de la forma: M= a * M.

 Introduccin a Mtricas: Tipos de Escala

Tipo de Escala Absoluta

Es la mas restriciva. La nica transformacin admisible es la

identidad. Es decir, slo hay un mapeo posible M = M.

La medida es hecha (generalmente) contando elementos del

conjunto de un atributo de una entidad

El atributo tiene siempre la forma Nmero de ocurrencias del atributo

X en la entidad E

Todo anlisis aritmtico tiene sentido. Ejemplo: Cantidad de Enlaces

Rotos.
 Producto, Recurso, Proy ecto o Serv icio. calculada_por Funcin
subEn ti dad 1 especifi caci n

0..*
Entidad MtricaDirecta MtricaIn directa
1
n ombre
d escripci n m tri cas_re la ci o
NecesidadDeInform acin n
1..*
descripcin
ver_Tambin
asociado_con
1
1..* Mtrica 0..*
de scri be nombre
1..* Atributo interpretacinValor
1
2..*
nombre cuantif ica 1..* objetivo/Motivacin
subConcepto palabrasClave/Alia s tipoRecoleccinDatos
combina
definici n referencias
0..* nivelIndependencia tipoValor = {Smbolo, Integer, Float}
1
Modelo
1..*
ti po = {interno, externo} contiene precisin
ConceptoMedible
nombre 1

onceptual descripcin
Escala
1
referida_a

para
0..*
<<enum>> tipoEscala
especificado_por Medicin produce Medida
0..*
fechaYHora
11 valor

Mtricas ModeloDeConcepto
nombre tipoEscala={Nominal, Ordinal Restringida,
especificacin Ordinal no Restringida, Interv alo, Proporcin,
referencias Absoluta}

EscalaCategrica EscalaNumrica expresada_en Unidad

valoresPermitidos ti po = {contin ua, d iscreta} nombre inclu y
1 1..*
e
descrip cin

Herramienta
automatizado_por Mtodo 1
nombre
nombre
descripcin 0..* 1..* especificacin
versin
proveedor
MtodoDeClculo MtodoDeMedicin
 Ejemplo de Atributos/Mtricas
Necesidad de Informacin: Evaluate the link reliability for
static pages of a website
Entidad: Producto (web site)
Concepto Medible: link reliability (Confiabilidad de Enlaces)
Modelo para Confiabilidad de Enlaces (link reliability )
1. Link Reliability
// Atributos
1.1 Internal Broken Links (IBL)
1.2 External Broken Links (EBL)
1.3 Invalid Links (IL)
 Ejemplo de Atributos/Mtricas
1. Link Reliability
// Atributos
1.1 Internal Broken Links (IBL)
// Dos Posibles Mtricas para 1.1
a) #IBL Unidad: Enlace; Escala: Numrica, Enteros
Tipo de Escala: Absoluta
Tipo de Mtodo de Medicin: Objetivo
b) %IBL = (#IBL / #TL) * 100; Unidad: Normalizada a Porcentaje;
Escala: Numrica, Reales
Tipo de Escala: Absoluta
 Para Resaltar

Las mtricas NO pueden interpretar por s solas

un concepto medible

Necesidad de INDICADORES
 Esquema

Aseguramiento de Calidad
Teora de Mtricas
Teora de Indicadores
Conclusiones
 Introduccin a Indicadores

INDICADOR (ELEMENTAL, GLOBAL)

CONCEPTO MEDIBLE (Calidad, Productiv...)
MODELO DE CONCEPTO
MODELO ELEMENTAL, GLOBAL
CRITERIO DE DECISION
CALCULO, VALOR INDICADOR
ESCALA / TIPO DE ESCALA
UNIDAD
...
Introduccin a Indicadores

INDICADOR
El mtodo de clculo y la escala definidos,
adems del modelo y criterios de decisin
con el fin de proveer una evaluacin o
estimacin de un concepto medible con
respecto a una necesidad de informacin.
Indicador Elemental
Preferencia de Enlaces Rotos Internos (IBL_P)
Indicador Global
Preferencia en Confiabilidad de Enlaces (LR_P)
Introduccin a Indicadores
MODELO ELEMENTAL
Algoritmo o funcin asociados a criterios de
decisin que modela a un indicador elemental.
Ejemplo para Preferencia de Enlaces Rotos
Internos (IBL_P)

IBL_P = 100% if %IBL = 0;

IBL_P = 0% if %IBL >= X max ;
otherwise IBL_P =( (X max %IBL) / X max ) * 100
if 0 < %IBL < X max
where X max is some agreed upper threshold such as 3
Introduccin a Indicadores

MODELO GLOBAL
Algoritmo o funcin asociados a criterios de
decisin que modela a un indicador global.
Ejemplo para Preferencia de Confiabilidad de
Enlaces (LR_P)

GI1 = (W1.1 EI1.1 + W1.2 EI1.2 + W1.3 EI1.3);

(W1 + W2 + .. + Wm ) = 1; if Wi > 0 ;
para i = 1 .. m
(m = 3, en nuestro ejemplo).
 Introduccin a Indicadores
CRITERIO DE DECISION
Thresholds, targets, or patterns used to determine the
need for action or further investigation, or to describe
the level of confidence in a given results [ISO 15939].
Ejemplo

The decision criteria that a model of an indicator have to

have are the agreed acceptability levels in the given
scale; for instance, it is unsatisfactory if the range is 0
to 40; marginal, if it is greater than 40 and less or
equal than 60; otherwise, satisfactory
 nombre nombre
descripcin interpretacinValor
NecesidadDeInformacin
cuantifica 1..* objetivo/Motivacin 0..1
1..*
descripcin tipoRecoleccinDatos
asociado_con refer
1 tipoValor = {Smbolo, Integer, Float}
encias
precisin
1..* 1

Atributo
1..* ~
describe contiene 1
palabrasClave/Alias

combina 1 definicin
1 Escala
nivelIndependencia
Medicin
referida_a Medid a
tipo = {interno, externo}
1..* 1 1
ConceptoMedible 0..*
nombre
descrip cin
0..*

Modelo
evala/estima
Unidad
subConcepto EscalaNumrica
contiene
1 1..* nombre
especificado_por descripcin

Conceptual
0..*
ModeloDeConcepto
nombre
especificacin Clculo
valoresPermitidos tipo = {continua, discreta} ValorIndicador

para
relacionado_a
referencias
1

Indicador

Indicadores nombre
precisin
referencias
tipoValor = {Smbolo, Integer, Float}

2..*
Herramienta
indicadores_relacionados
nombre
descripcin
versin
1 IndicadorElemental Indicad orGlobal incluye proveedor
0..*
1 1 Mtodo
modelado_por modelado_por
automatizado_por
1 1
1..*
ModeloElemental ModeloGlobal
1
nombre nombre
nombre
especificacin especificacin
especificacin

tie ne
ene
1..* 1..*
CriterioDeDecisin Mtod oDeC lculo MtodoDeMedicin
nombre
tipo = {Objetivo, Subjetivo}
descripcin
 Esquema

Aseguramiento de Calidad
Teora de Mtricas
Teora de Indicadores
Conclusiones/Avances
 Conclusiones
Metrics are welcome when they are clearly needed and
easy to collect and understand Pfleeger
Utilidad de las Mtricas
Medicin objetiva antes que subjetiva
Especificar en el mundo formal, la correspondencia de
un atributo del mundo emprico
Operacionalizar Heursticas
Servir de base a Mtodos Cuantitativos de Evaluacin
o Prediccin.
La mtrica NO puede interpretar por s sola un concepto
medible (Necesidad de INDICADORES)
 Conclusiones
Indicators are ultimately the foundation for interpretation of
information needs and decision-making.

Utilidad de los Indicadores

Servir de base para cuantificar Conceptos Medibles para

una Necesidad de Informacin
Servir de base a Mtodos Cuantitativos de Evaluacin o
Prediccin
Los indicadores ofrecen informacin para la toma de
decisiones
 Trabajos en Avance

Ontologa para Mtricas e Indicadores

Conceptualizacin (UML, Tablas)
Implementacin (RDFS, OWL)
Mantenimiento

Ontologas para Procesos de Medicin/Evaluacin

Sistema Web para Catalogacin de M&I
Con Capacidad de Web Semntica
Arquitectura del Sistema

User Administrator Reviewer Moderator Tool/Agent

Web Interfaces INTERFACE

TIER

Web Services
BUSINESS
LOGIC TIER
Business Classes

Semantic Data DATA LOGIC

SQL Data Access
Access Components
Components TIER

OWL PERSISTENCY
RDF/S
TIER
DB Repository
XMLS
Semantic Query Catalog Review
System System
Metrics and Indicators
 Preguntas ?

PROGRAMA CYTED
Proyecto WEST: Web-Oriented Software Technology

Dr. Luis Olsina

E-mail: olsinal@ing.unlpam.edu.ar
URL: http://gidis.ing.unlpam.edu.ar

Grupo de Investigacin y Desarrollo en Ingeniera de Software

Departamento de Informtica Facultad de Ingeniera Universidad Nacional de La Pampa

Argentina
2003 GIDIS