Charla Metricas Indicadores

M
tricas e Indicadores:
tricas e Indicadores:
Dos Conceptos Claves para
Dos Conceptos Claves para
Medici
Medici
n y Evaluaci
n y Evaluaci
n
n

Dr. Luis Olsina
Dr. Luis Olsina
Departamento de Ciencias de la Computacin
Universidad de Chile
Introduccin
Teora de Mtricas
Teora de Indicadores
Conclusiones/Avances
Contenidos
Contenidos
GIDIS, Facultad de Ingeniera, UNLPam, GIDIS, Facultad de Ingeniera, UNLPam,
La Pampa La Pampa - - Argentina Argentina
TE 54 2302 430497 Ext. 6501 TE 54 2302 430497 Ext. 6501
E E- -mail mail olsinal@ing.unlpam.edu.ar
Esquema
Esquema
Introduccin
Introduccin
Teora de Mtricas
Teora de Mtricas
Conclusiones
Conclusiones
Introduccin
Introduccin
Beneficios de la Medicin/Evaluacin
Beneficios de la Medicin/Evaluacin
Analizar, Comprender (los atributos de un ente)

Analizar, Comprender (los atributos de un ente)
Controlar (la calidad del producto, )

Controlar (la calidad del producto, )
Predecir (el tiempo y costo de un proyecto)

Predecir (el tiempo y costo de un proyecto)
Mejorar (la calidad de un producto, proceso )

Mejorar (la calidad de un producto, proceso )
Conceptos Medibles (Factores)

Conceptos Medibles (Factores)
Calidad, Calidad en Uso, Productividad, Costo

Calidad, Calidad en Uso, Productividad, Costo
Fases del Ciclo de Vida del Software

Fases del Ciclo de Vida del Software
Exploracin, Desarrollo, Mantenimiento.

Exploracin, Desarrollo, Mantenimiento.
Requerimientos de Medicin/Evaluacin
Requerimientos de Medicin/Evaluacin
Metas, Restricciones (Seguridad, Disponibilidad, etc.)

Metas, Restricciones (Seguridad, Disponibilidad, etc.)
Especificacin de Requisitos, Definicin de Criterios,

Especificacin de Requisitos, Definicin de Criterios,
Tcnicas, Mtricas, Indicadores
Tcnicas, Mtricas, Indicadores
Captura de Datos
Captura de Datos
Recoleccin de Datos
Recoleccin de Datos
Automtica, Semiautomtica, Manual Automtica, Semiautomtica, Manual
Anlisis
Anlisis
Tcnicas Estadsticas, Visualizacin Grfica, Tablas, etc.

Tcnicas Estadsticas, Visualizacin Grfica, Tablas, etc.
Interpretacin de los datos.

Interpretacin de los datos.
Recomendaciones
Recomendaciones
Doc. de Conclusiones, Propuestas de Mejora

Doc. de Conclusiones, Propuestas de Mejora
Introduccin
Introduccin
Clases de Mtodos de Evaluacin
Clases de Mtodos de Evaluacin
Testing
Testing
Inspeccin
Inspeccin
Consulta (Inquiry)
Consulta (Inquiry)
Modelado Analtico
Modelado Analtico
Simulacin
Simulacin
Los Mtodos y Tcnicas a Aplicar pueden ser:

Los Mtodos y Tcnicas a Aplicar pueden ser:
Cuantitativos versus Cualitativos

Cuantitativos versus Cualitativos
Automticos, Semiautomticos o Manuales

Automticos, Semiautomticos o Manuales
Desde Fcil a Difcil de Usar y Aprender

Desde Fcil a Difcil de Usar y Aprender
Categoras de Mtodos
Categoras de Mtodos
Taxonoma de Mtodos
Taxonoma de Mtodos
-- -- Testing Testing
-- -- Inspeccin Inspeccin
-- -- Consulta, ... Consulta, ...
-- -- Anlisis de Log Files Anlisis de Log Files
-- -- Evaluacin de Caractersticas y Atributos Evaluacin de Caractersticas y Atributos
-- -- Manual Manual
-- -- Semi Semi- -Automtico Automtico
-- -- Automtico Automtico
Fase Fase
-- -- Requerimientos Requerimientos
-- -- Captura Captura
-- -- Anlisis Anlisis
-- -- Recomendaciones Recomendaciones
-- -- Fcil de Usar, Aprender Fcil de Usar, Aprender
-- -- Efectivo, Preciso Efectivo, Preciso
-- -- Rango de Aplicabilidad Rango de Aplicabilidad
Clase de Mtodo Clase de Mtodo
Taxonoma
Taxonoma
de Mtodos de
de Mtodos de
Evaluacin
Evaluacin
Tipo de Mtodo Tipo de Mtodo
Tipo de Automatizacin Tipo de Automatizacin
Nivel de Esfuerzo Nivel de Esfuerzo
Diversos Estndares (principalmente ISO) tratan

Diversos Estndares (principalmente ISO) tratan
sobre
sobre
el modelo de calidad de software (ISO 9126),

el modelo de calidad de software (ISO 9126),
el proceso de medicin (ISO 15939),

el proceso de medicin (ISO 15939),
el proceso de evaluacin (ISO 14598)

el proceso de evaluacin (ISO 14598)
otros
otros
Con frecuencia, no existe un claro consenso

Con frecuencia, no existe un claro consenso
entre los mismos trminos en diferentes
entre los mismos trminos en diferentes
documentos o, a veces, trminos ausentes
documentos o, a veces, trminos ausentes
Necesidad de una Ontologa para el dominio de

Necesidad de una Ontologa para el dominio de
Mtricas e Indicadores
Mtricas e Indicadores
Ontologas para el Proceso de Medicin y Evaluacin Ontologas para el Proceso de Medicin y Evaluacin
Hacia una Ontologa de M&I
Hacia una Ontologa de M&I
Esquema
Esquema
Introduccin
Introduccin
Teora de Mtricas
Teora de Mtricas
Conclusiones
Conclusiones
Introduccin a Mtricas
ENTIDAD
ENTIDAD
ATRIBUTO
ATRIBUTO
CONCEPTO MEDIBLE (Calidad, Productiv...)

MODELO DE CONCEPTO
MODELO DE CONCEPTO
METRICA (Directa e Indirecta)

METRICA (Directa e Indirecta)
MEDICION, MEDIDA
MEDICION, MEDIDA
METODO (Medicin, Clculo)

METODO (Medicin, Clculo)
ESCALA / TIPO DE ESCALA

UNIDAD
UNIDAD
...
...
ENTIDAD
ENTIDAD
Un objeto que va a ser caracterizado mediante una

Un objeto que va a ser caracterizado mediante una
medici
medici
n
n
de sus
de sus
atributos
atributos
[ISO
[ISO
-
-
15939]
15939]
.
.
Una entidad puede ser f

Una entidad puede ser f
sica
sica
tangible
tangible
(p.ej. una
(p.ej. una
computadora) o abstracta
computadora) o abstracta
-
-
intangible
intangible
(p.ej. un
(p.ej. un
programa software)
programa software)
Objetos de inters para el dominio de software son:

Objetos de inters para el dominio de software son:
Recurso, Recurso,
Proceso, Proceso,
Producto, Producto,
Producto en uso?, Producto en uso?,
Proyecto, Proyecto,
Servicio Servicio
ATRIBUTO
ATRIBUTO
Una propiedad mensurable, f

Una propiedad mensurable, f
sica o abstracta,
sica o abstracta,
de una
de una
entidad
entidad
[ISO 14598
[ISO 14598
-
-
1:1999]
1:1999]
.
.
el atributo puede ser interno o externo

el atributo puede ser interno o externo
Tama Tama o de c o de c digo fuente (atributo interno), precio (atributo digo fuente (atributo interno), precio (atributo
externo). externo).
el atributo se puede medir (cuantificar) por

el atributo se puede medir (cuantificar) por
medio de una mtrica directa o indirecta.
medio de una mtrica directa o indirecta.
CONCEPTO MEDIBLE
CONCEPTO MEDIBLE
Es una relacin abstracta entre atributos de una o ms

Es una relacin abstracta entre atributos de una o ms
entidades, y una
entidades, y una
necesidad de informacin
necesidad de informacin
[ISO
[ISO
-
-
15939]
15939]
.
.
Evaluar o predecir dicho concepto, desde una

Evaluar o predecir dicho concepto, desde una
perspectiva de usuario.
perspectiva de usuario.
Ejemplos de conceptos medibles son: Calidad, Costo,

Ejemplos de conceptos medibles son: Calidad, Costo,
Accesibilidad, Calidad en Uso, Confiabilidad.
Accesibilidad, Calidad en Uso, Confiabilidad.
Ejemplos de perspectivas de usuario son: Gerente,

Ejemplos de perspectivas de usuario son: Gerente,
Desarrollador, Usuario final, etc.
Desarrollador, Usuario final, etc.
MODELO de CONCEPTO
MODELO de CONCEPTO
El conjunto de subconceptos y las relaciones entre

El conjunto de subconceptos y las relaciones entre
ellos, que sirven de base para una ulterior evaluacin
ellos, que sirven de base para una ulterior evaluacin
o estimacin.
o estimacin.
Ej. Caractersticas y/o subcaractersticas y sus

Ej. Caractersticas y/o subcaractersticas y sus
relaciones que proveen las bases para modelar
relaciones que proveen las bases para modelar
Calidad.
Calidad.
Una caracterstica puede estar conformada por

Una caracterstica puede estar conformada por
subcaractersticas y atributos.
subcaractersticas y atributos.
El modelo puede ser fijo (estndar, como ISO 9126

El modelo puede ser fijo (estndar, como ISO 9126
-
-
1),
1),
propio o mixto.
propio o mixto.
Modelos de Calidad
Modelos de Calidad
(Boehm
(Boehm
-
-
1978)
1978)
General utility
As is utility
Maintainability
Portability
Reliability
Efficiency
Human engineering
Testability
Understandability
Modifiablility
Primary uses
Intermediate constructors
Device Independence
Completeness
Accuracy
Consistency
Device efficiency
Acessibility
Communicativeness
Structuredness
Self descriptiveness
Conciseness
Legibility
Augmentability
Primitive constructors
Metrics
Modelos de Calidad
Modelos de Calidad
(ISO/IEC 9126
(ISO/IEC 9126
-
-
1)
1)
Software
Quality
Software
Quality
Reliability
Reliability
Suitability
Accuracy
Interoperability
Security
Compliance
Suitability
Accuracy
Interoperability
Security
Compliance
Functionality
Functionality
Maturity
Fault Tolerance
Recoverability
Compliance
Maturity
Fault Tolerance
Recoverability
Compliance
Understandability
Learnability
Operability
Attactiveness
Compliance
Understandability
Learnability
Operability
Attactiveness
Compliance
Time behaviour
Resource
utilization
Compliance
Time behaviour
Resource
utilization
Compliance
Analysability
Changeability
Stability
Testeability
Compliance
Analysability
Changeability
Stability
Testeability
Compliance
Adaptability
Instalability
Co-existence
Replaceability
Compliance
Adaptability
Instalability
Co-existence
Replaceability
Compliance
Usability
Usability
Efficiency
Efficiency
Maintainability
Maintainability
Portability
Portability
Caractersticas Caractersticas
Subcaractersticas Subcaractersticas
Caractersticas y Subcaractersticas
Caractersticas y Subcaractersticas
Usabilidad Usabilidad
Comprensin Global del Sitio Comprensin Global del Sitio
Ayuda y Retroalimentacin Ayuda y Retroalimentacin
Aspectos de Interface Aspectos de Interface
Aspectos Estticos Aspectos Estticos
Funcionalidad Funcionalidad
Bsqueda y Recuperacin Bsqueda y Recuperacin
Navegacin y Exploracin Navegacin y Exploracin
Funciones y Contenido Especficos del Dominio (E Funciones y Contenido Especficos del Dominio (E- -commerce, commerce,
Museos, Universidades ...) Museos, Universidades ...)
Confiabilidad Confiabilidad
Enlaces Enlaces
Pginas Pginas
Compatibilidad de Navegadores Compatibilidad de Navegadores
Eficiencia Eficiencia
Performance Performance
Accesibilidad Accesibilidad

Confiabilidad
Confiabilidad
Enlaces Enlaces
Enlaces Rotos Enlaces Rotos
Enlaces Invlidos Enlaces Invlidos
Enlaces no Implementados Enlaces no Implementados
Pginas Pginas
Pginas Muertas Pginas Muertas
Pginas bajo Construccin Pginas bajo Construccin
Errores de Ortografia Errores de Ortografia
Caractersticas y Atributos
Caractersticas y Atributos
Modelo
Modelo
Conceptual
Conceptual
para
para
Mtricas
Mtricas
tipoEscala={Nominal, Ordinal Restringida,
Ordinal no Restringida, Interv alo, Proporcin,
Absoluta}
MtricaDirecta
Una entidad puede ser un Proceso,
Producto, Recurso, Proy ecto o Serv icio.
Escal aCategri ca
val oresPermi ti dos
MtodoDeMedicin
ti po = {Obj eti vo, Subj eti vo}
MtodoDeClculo
Unidad
nombre
descripci n
EscalaNumrica
ti po = {cont inua, discret a}
1..*
1
1..*
1
expresada_en
Medida
valor
Herramienta
nombre
descripcin
versin
proveedor
Medicin
fechaYHora
1 1 1 1
produce
Mtodo
nombre
especi fi caci n
1..* 0..* 1..* 0..*
automati zado_por
Escala
<<enum>> ti poEscal a
Entidad
nombre
descri pcin
0..* 0..*
subEnti dad
NecesidadDeInformaci n
descripcin
ModeloDeConcepto
nombre
especi fi caci n
referenci as
Mtrica
nombre
i nterpretaci nVal or
obj eti vo/Moti vaci n
ti poRecol ecci nDatos
referenci as
ti poVal or = {Smbol o, Integer, Fl oat}
preci si n
0..*
1
0..*
1
referi da_a
11
i ncluye
0..* 0..*
ver_Tambi n
11
conti ene
Mtri caIndi recta
2..*
Funcin
especi fi cacin
1
1
cal cul ada_por
1
1
mtri cas_relaci onad
2..*
ConceptoMedible
nombre
descripcin
1..*
1
1..*
1
descri be
0..* 0..*
subConcepto
0..* 0..*
especi fi cado_por
Atributo
nombre
pal abrasCl ave/ Al ias
defi nicin
ni vel Independenci a
ti po = {i nterno, ext erno}
1.. *
1..*
1.. *
1..*
asoci ado_con
1..* 1 1..* 1
cuantif ica
1..*
1
1..*
1
combi na
METRICA
METRICA
E
E
l
l
m
m
todo de medici
todo de medici
n
n
definido y la
definido y la
escala
escala
de medici
de medici
n [ISO 14598
n [ISO 14598
-
-
1:1999].
1:1999].
MEDICION
MEDICION
Actividad que usa la definici

Actividad que usa la definici
n de la m
n de la m
trica para
trica para
producir el valor de una
producir el valor de una
medida
medida
.
.
MEDIDA
MEDIDA
N
N
mero o categor
mero o categor
a asignada a un
a asignada a un
atributo
atributo
de una
de una
entidad mediante una
entidad mediante una
medici
medici
n
n
[ISO 14598
[ISO 14598
-
-
1:1999]
1:1999]
METODO (de MEDICION, CALCULO)

METODO (de MEDICION, CALCULO)
Secuencia l
Secuencia l
gica de operaciones y potenciales

gica de operaciones y potenciales
heur
heur
sticas, expresadas de forma gen

sticas, expresadas de forma gen
rica, que
rica, que
permite la realizaci
permite la realizaci
n de una descripci
n de una descripci
n de actividad.
n de actividad.
El
El
tipo de m
tipo de m
todo
todo
de medici
de medici
n va a depender de la
n va a depender de la
naturaleza de las operaciones utilizadas para
naturaleza de las operaciones utilizadas para
cuantificar el atributo. Pueden distinguirse dos tipos:
cuantificar el atributo. Pueden distinguirse dos tipos:
Subjetivo: Cuando la cuantificaci Subjetivo: Cuando la cuantificaci n supone un juicio realizado n supone un juicio realizado
por un ser humano. por un ser humano.
Objetivo: Cuando la cuantificaci Objetivo: Cuando la cuantificaci n est n est basada en m basada en m todos todos
num num ricos. ricos.
Escala
Escala
Un conjunto de valores con propiedades definidas

[ISO 14598
[ISO 14598
-
-
1].
1].
Escala Num
Escala Num
rica (Continua o Discreta)

rica (Continua o Discreta)
Escala Categ
Escala Categ
rica
rica
Tipos de Escala (Nominal, Ordinal, Intervalo...)

Tipos de Escala (Nominal, Ordinal, Intervalo...)

METRICA
METRICA Es la correspondencia de un dominio emprico (mundo real) a Es la correspondencia de un dominio emprico (mundo real) a
un mundo formal, matemtico. La un mundo formal, matemtico. La medida medida incluye al valor numrico o incluye al valor numrico o
nominal asignado al nominal asignado al atributo atributo de un de un ente ente por medio de dicha por medio de dicha
correspondencia. [Fenton] correspondencia. [Fenton]
Juan es ms alto que Mara s y slo s M(Juan)>M(Mara)
METRICA DIRECTA
METRICA DIRECTA
Una m
Una m
trica de un
trica de un
atributo
atributo
que no depende de
que no depende de
ninguna
ninguna
m
m
trica
trica
de otro atributo.
de otro atributo.
METRICA INDIRECTA
METRICA INDIRECTA
Una
Una
m
m
trica
trica
de un
de un
atributo
atributo
que se deriva de una o
que se deriva de una o
m
m
s m
s m
tricas de otros atributos.

tricas de otros atributos.
Se formaliza por medio de una Funcin de Medicin (Frmula, Se formaliza por medio de una Funcin de Medicin (Frmula,
Ecuacin). Ecuacin).
Funci Funci n de Medici n de Medici n n: Un algoritmo o c : Un algoritmo o c lculo que permite lculo que permite
combinar dos o m combinar dos o m s s m m tricas tricas. .
Ejemplos
Ejemplos
de
de
Mtricas
Mtricas
Directas
Directas
Longitud del Texto del Cuerpo de una Pgina
Medido por cantidad de palabras, etc.
Cantidad de Enlaces Rotos Internos
Medidos por la presencia de errores del tipo 404, (410 ?)
Cantidad de Imgenes con Texto Alternativo
Medido por la presencia de la etiqueta ALT (con texto no
nulo) en cada una de las imgenes vinculadas a las pginas
de un sitio Web
Ejemplos de Mtricas Indirectas
Ejemplos de Mtricas Indirectas
Porcentaje de Enlaces Rotos de un Sitio Porcentaje de Enlaces Rotos de un Sitio
100
+
=
talEnlaces CantidadTo
Externos lacesRotos CantidadEn Internos lacesRotos CantidadEn
os EnlacesRot Porcentaje
100 =
s talImgene CantidadTo
genesALT CantidadIm
LT PresenciaA Porcentaje
Porcentaje Porcentaje de de Presencia Presencia de la de la propiedad propiedad ALT ALT. .
INSTRUMENTO
INSTRUMENTO
(Herramienta)
(Herramienta)
Instrumento (o herramienta) que automatiza

Instrumento (o herramienta) que automatiza
parcial o totalmente a un m
parcial o totalmente a un m
todo
todo
de medici
de medici
n
n
o c
o c
lculo
lculo
.
.
Nota: un instrumento software (de medicin o

Nota: un instrumento software (de medicin o
clculo) es un caso particular de un instrumento (de
clculo) es un caso particular de un instrumento (de
medicin o clculo).
medicin o clculo).
Por ejemplo, un termmetro es un instrumento de

Por ejemplo, un termmetro es un instrumento de
medicin.
medicin.
Herramientas de Automatizacin
Herramientas de Automatizacin
Mtricas Web
Mtricas Web
Bobby Bobby: CAST [ : CAST [http://www.cast.org/bobby/ http://www.cast.org/bobby/] ; web ] ; web- -based on based on- -line y off line y off- -
line, con ranking; Analizador Accesibilidad (WAI conformance), d line, con ranking; Analizador Accesibilidad (WAI conformance), de e
Errores y Fallas, Compatibilidad de Browsers. Errores y Fallas, Compatibilidad de Browsers.
Doctor HTML Doctor HTML: Imagiware [ : Imagiware [http://www2.imagiware.com/RxHTML http://www2.imagiware.com/RxHTML]; web ]; web- -
based y off based y off- -line; Analizador de Errores y Fallas, HTML tags, line; Analizador de Errores y Fallas, HTML tags,
Performance, etc. Performance, etc.
LIFT LIFT: UsableNet.com [ : UsableNet.com [http://www.usablenet.com/lift_onsite http://www.usablenet.com/lift_onsite/]; web /]; web- -
based y off based y off- -line, con ranking; Analizador de Errores y Fallas, HTML line, con ranking; Analizador de Errores y Fallas, HTML
tags, Im tags, Im genes, Performance, test de Accesibilidad, etc. genes, Performance, test de Accesibilidad, etc.
LinkBot: LinkBot: WatchFire [ WatchFire [http://www.watchfire.com/solutions/linkbot.asp http://www.watchfire.com/solutions/linkbot.asp]; ];
off off- -line, con ranking; Analizador de Errores y Fallas, Performance, line, con ranking; Analizador de Errores y Fallas, Performance,
HTTP c HTTP c digos de estado, etc. Herramienta de reparaci digos de estado, etc. Herramienta de reparaci n. n.
ESCALA / TIPOS DE ESCALA

ESCALA / TIPOS DE ESCALA

[ISO 14598
[ISO 14598
-
-
1].
1].
Una escala puede ser clasificada de acuerdo a los

Una escala puede ser clasificada de acuerdo a los
siguientes
siguientes
Tipos de Escala
Tipos de Escala
: Nominal, Ordinal
: Nominal, Ordinal
restringida, Ordinal no restringida, Intervalo,
restringida, Ordinal no restringida, Intervalo,
Proporci
Proporci
n, Absoluta.
n, Absoluta.
Cada tipo de escala determina las transformaciones

Cada tipo de escala determina las transformaciones
admisibles, el tipo de operaciones matem
admisibles, el tipo de operaciones matem
ticas, y los
ticas, y los
an
an
lisis estad
lisis estad
sticos que pueden aplicarse sobre el

sticos que pueden aplicarse sobre el
conjunto de valores de la escala
conjunto de valores de la escala
.
.
UNIDAD
UNIDAD
(para escalas numricas)
(para escalas numricas)
Una cantidad particular, definida y adoptada

Una cantidad particular, definida y adoptada
por convenci
por convenci
n, con la que se pueden

n, con la que se pueden
comparar otras cantidades de la misma clase
comparar otras cantidades de la misma clase
para expresar sus magnitudes respecto a esa
para expresar sus magnitudes respecto a esa
cantidad particular [ISO
cantidad particular [ISO
-
-
15939]
15939]
Ejemplos: LOC, bytes, palabras, links ...

Ejemplos: LOC, bytes, palabras, links ...
Tipo de
Escala
Transformacin
Admisible
Estadsticas
Significativas
Ejemplos
Nominal Equivalencia uno-a-uno Moda, Frecuencia
Test no paramtricos
Clasificacin,
etiquetado
Ordinal Funciones monotnicas
incrementales
Mediana, Spearman y
Kendall Tau, W
Test no paramtricos
(Todo lo previo)
Grado de disponibili-
dad, funcionalidad,
complejidad, etc.
Intervalo
m1 = a m + b
Media Aritmtica,
Desvo estndar
Coef. de correlacin de
Pearson
Test no paramtricos
(Todo lo previo)
Temperatura (Celsius,
Fahrenheit) Tiempos
relativos, etc.
Proporcin
m1 = a m
Porcentajes, Media
Geomtrica
Test paramtricos y no
paramtricos
(Todo lo previo)
Preferencia de calidad,
tamao (LOC),
longitud, etc.
Absoluta
m1 = m (Identidad)
(Todo lo previo) Conteo
Introduccin a Mtricas:
Tipos de Escala
Tipos de Escala
Tipos de Escala
Tipos de Escala
Tipo de Escala Nominal
Tipo de Escala Nominal
En un tipo de escala nominal el sistema relacional emprico consta
slo de categoras diferentes.
Cualquier nmero o smbolo distinto para cada categoria es una
medida aceptable, pero no existe orden o nocin de magnitud
asociado a cada nmero o smbolo. .
Ejemplo: mido las fallas de software si estn en Especifacin, Diseo
o Codificacin y puedo asignar 1, 2 y 3 para las fallas que se
encontraron en cada tarea respectivamente, o simplemete A, B y C.
Esta clasificacin no nos permite determinar si un tipo de falla es ms
importante o no que otra. .
La transformacin admisible para el tipo de escala nominal es el
conjunto de todos los mapeos 1 a 1. .
Tipo de Escala Ordinal
Tipo de Escala Ordinal
Le agrega orden a las categoras del tipo de escala nominal. Le agrega orden a las categoras del tipo de escala nominal.
El sistema relacional emprico est formado por categoras orden El sistema relacional emprico est formado por categoras ordenadas adas
con respecto a un atriburo. con respecto a un atriburo.
Cualquier mapeo que preserve el orden es aceptable Cualquier mapeo que preserve el orden es aceptable. .
No tiene sentido ninguna operacin aritmtica sobre las categor No tiene sentido ninguna operacin aritmtica sobre las categoras as. .
Ejemplo Ejemplo: : Complejidad de Software Complejidad de Software. Si defino trivial, simple, normal, . Si defino trivial, simple, normal,
complejo e inentendible, hay una relacion de orden implicito , complejo e inentendible, hay una relacion de orden implicito , mas mas
complejo que complejo que el mapeo a nmeros debe preservar este orden, podra el mapeo a nmeros debe preservar este orden, podra
ser 1, 2, 3, 4 y 5 o .5, 55,100, 101 y 240, cualquier mapeo que ser 1, 2, 3, 4 y 5 o .5, 55,100, 101 y 240, cualquier mapeo que
preserve el orden en el sistema numrico es valido. preserve el orden en el sistema numrico es valido.
Tipos de Escala
Tipos de Escala
Tipo de Escala Intervalo
Tipo de Escala Intervalo
Toma informacin acerca del tamao de los intervalos que separan Toma informacin acerca del tamao de los intervalos que separan
las categoras (escala o salto de una categora a otra) las categoras (escala o salto de una categora a otra)
Preserva el orden de las categoras Preserva el orden de las categoras
Preserva la diferencia entre dos categoras pero no puedo hacer Preserva la diferencia entre dos categoras pero no puedo hacer
algunas operaciones sobre las mismas; es decir puedo sumar y res algunas operaciones sobre las mismas; es decir puedo sumar y restar tar
pero no multiplicar o dividir. pero no multiplicar o dividir.
Ejemplo Ejemplo: : medir la temperatura del aire en Fahrenheit medir la temperatura del aire en Fahrenheit. . Puedo decir Puedo decir
que hace 40 grados en NY y 80 en Miami. La diferencia tiene sent que hace 40 grados en NY y 80 en Miami. La diferencia tiene sentido, 40 ido, 40
grados, tambin si aumenta un grado en NY y Miami pero NO puedo grados, tambin si aumenta un grado en NY y Miami pero NO puedo decir decir
que la temperatura en Miami es el doble que en NY, o que en NY e que la temperatura en Miami es el doble que en NY, o que en NY es la mitad. s la mitad.
El tipo de El tipo de transformacin admisible transformacin admisible es de la forma: es de la forma: M= a * M + b. M= a * M + b.
Tipos de Escala
Tipos de Escala
Tipo de Escala de Proporcin
Tipo de Escala de Proporcin
Es el tipo de escala ms usado. Podemos hacer anlisis con Es el tipo de escala ms usado. Podemos hacer anlisis con
operadores de multiplicacin y divisin, porcentajes, entre otro operadores de multiplicacin y divisin, porcentajes, entre otros. s.
Todas las operaciones aritmticas tienen sentido sobre las Todas las operaciones aritmticas tienen sentido sobre las
categorias categorias. .
Ejemplo: La altura de una persona ( Ejemplo: La altura de una persona (Dos veces ms alto que Dos veces ms alto que) )
Se preserva el orden, el tamao de intervalo y la proporcin de Se preserva el orden, el tamao de intervalo y la proporcin de las las
categoras. Hay un elemento cero, que representa la falta total categoras. Hay un elemento cero, que representa la falta total de un de un
atributo atributo. .
Las categoras mapeadas deben comenzar en cero e incrementarse Las categoras mapeadas deben comenzar en cero e incrementarse
a intervalos regulares llamados unidades. a intervalos regulares llamados unidades.
El tipo de El tipo de transformacin admisible transformacin admisible es de la forma: M= a * M. es de la forma: M= a * M.
Tipos de Escala
Tipos de Escala
Tipo de
Tipo de
Escala Absoluta
Escala Absoluta
Es la mas restriciva. La nica Es la mas restriciva. La nica transformacin admisible transformacin admisible es la es la
identidad. Es decir, slo hay un mapeo posible M = M. identidad. Es decir, slo hay un mapeo posible M = M.
La medida es hecha (generalmente) contando elementos del La medida es hecha (generalmente) contando elementos del
conjunto de un atributo de una entidad conjunto de un atributo de una entidad
El atributo tiene siempre la forma El atributo tiene siempre la forma Nmero de ocurrencias del atributo Nmero de ocurrencias del atributo
X en la entidad E X en la entidad E
Todo anlisis aritmtico tiene sentido. Ejemplo: Todo anlisis aritmtico tiene sentido. Ejemplo: Cantidad de Enlaces Cantidad de Enlaces
Rotos Rotos. .
Tipos de Escala
Tipos de Escala
Modelo
Modelo
Conceptual
Conceptual
para
para
Mtricas
Mtricas
tipoEscala={Nominal, Ordinal Restringida,
Ordinal no Restringida, Interv alo, Proporcin,
Absoluta}
MtricaDirecta
Una entidad puede ser un Proceso,
Producto, Recurso, Proy ecto o Serv icio.
Escal aCategri ca
MtodoDeMedicin
ti po = {Obj eti vo, Subj eti vo}
MtodoDeClculo
Unidad
nombre
descripci n
EscalaNumrica
ti po = {cont inua, discret a}
1..* 1 1..* 1
expresada_en
Medida
valor
Herramienta
nombre
descripcin
versin
proveedor
Medicin
fechaYHora
1 1 1 1
produce
Mtodo
nombre
especi fi caci n
1..* 0..* 1..* 0..*
automati zado_por
Escala
Entidad
nombre
descri pcin
0..* 0..*
subEnti dad
NecesidadDeInformaci n
descripcin
ModeloDeConcepto
nombre
especi fi caci n
referenci as
Mtrica
nombre
referenci as
preci si n
0..*
1
0..*
1
referi da_a
11
i ncluye
0..* 0..*
ver_Tambi n
11
conti ene
Mtri caIndi recta
2..*
Funcin
especi fi cacin
1
1
cal cul ada_por
1
1
mtri cas_relaci onadas
2..*
ConceptoMedible
nombre
descripcin
1..*
1
1..*
1
descri be
0..* 0..*
subConcepto
0..* 0..*
especi fi cado_por
Atributo
nombre
pal abrasCl ave/ Al ias
defi nicin
ti po = {i nterno, ext erno}
1.. *
1..*
1.. *
1..*
asoci ado_con
1..* 1 1..* 1
cuantif ica
1..*
1
1..*
1
combi na
Ejemplo de Atributos/Mtricas
Necesidad de Informaci
Necesidad de Informaci
n:
n:
Evaluate the link reliability for
Evaluate the link reliability for
static pages of a website
static pages of a website

Entidad:
Entidad:
Producto
Producto
(
(
web site
web site
)
)

Concepto Medible:
Concepto Medible:
link reliability (Confiabilidad de Enlaces)
link reliability (Confiabilidad de Enlaces)

Modelo para Confiabilidad de Enlaces (
Modelo para Confiabilidad de Enlaces (
link reliability
link reliability
)
)
1. Link Reliability
1. Link Reliability
// Atributos
// Atributos
1.1 Internal Broken Links (IBL) 1.1 Internal Broken Links (IBL)
1.2 External Broken Links (EBL) 1.2 External Broken Links (EBL)
1.3 Invalid Links (IL) 1.3 Invalid Links (IL)
1. Link Reliability
1. Link Reliability
// Atributos
// Atributos
1.1 Internal Broken Links (IBL)
1.1 Internal Broken Links (IBL)
// Dos Posibles M
// Dos Posibles M
tricas para 1.1

tricas para 1.1
a)
a)
#IBL
#IBL
Unidad:
Unidad:
Enlace
Enlace
;
;
Escala:
Escala:
Num
Num
rica, Enteros
rica, Enteros
Tipo de Escala
Tipo de Escala
:
:
Absoluta
Absoluta
Tipo de M
Tipo de M
todo de Medici
todo de Medici
n
n
:
:
Objetivo
Objetivo
b)
b)
%IBL = (#IBL / #TL) * 100
%IBL = (#IBL / #TL) * 100
;
;
Unidad:
Unidad:
Normalizada a Porcentaje
Normalizada a Porcentaje
;
;
Escala:
Escala:
Num
Num
rica, Reales
rica, Reales
Tipo de Escala:
Tipo de Escala:
Absoluta
Absoluta
Para Resaltar
Para Resaltar
Las mtricas NO pueden interpretar por s solas

Las mtricas NO pueden interpretar por s solas
un concepto medible
un concepto medible
Necesidad de INDICADORES
Necesidad de INDICADORES
Esquema
Esquema
Aseguramiento de Calidad
Teora de Mtricas
Teora de Mtricas
Conclusiones
Conclusiones
Introduccin a Indicadores
INDICADOR (ELEMENTAL, GLOBAL)

INDICADOR (ELEMENTAL, GLOBAL)

MODELO DE CONCEPTO
MODELO DE CONCEPTO
MODELO ELEMENTAL, GLOBAL

MODELO ELEMENTAL, GLOBAL
CRITERIO DE DECISION
CALCULO, VALOR INDICADOR

CALCULO, VALOR INDICADOR

UNIDAD
UNIDAD
...
...
INDICADOR
INDICADOR
E
E
l
l
m
m
todo de c
todo de c
lculo
lculo
y la
y la
escala
escala
definidos,
definidos,
adem
adem
s del
s del
modelo
modelo
y
y
criterios de decisi
criterios de decisi
n
n
con el fin de proveer una evaluaci
con el fin de proveer una evaluaci
n o
n o
estimaci
estimaci
n de un
n de un
concepto medible
concepto medible
con
con
respecto a una
respecto a una
necesidad de informaci
necesidad de informaci
n
n
.
.
Indicador Elemental
Indicador Elemental
Preferencia de Enlaces Rotos Internos

Preferencia de Enlaces Rotos Internos
(IBL_P)
(IBL_P)
Indicador Global
Indicador Global
Preferencia en Confiabilidad de Enlaces (LR_P)

Preferencia en Confiabilidad de Enlaces (LR_P)
MODELO ELEMENTAL
MODELO ELEMENTAL
Algoritmo o funcin asociados a criterios de

decisin que modela a un indicador elemental
decisin que modela a un indicador elemental
.
.
Ejemplo para
Ejemplo para
Preferencia de Enlaces Rotos
Preferencia de Enlaces Rotos
Internos
Internos
(IBL_P)
(IBL_P)
IBL_P
IBL_P
= 100% if %IBL = 0;
= 100% if %IBL = 0;
IBL_P
IBL_P
= 0% if %IBL >= X
= 0% if %IBL >= X
max max
;
;
otherwise
otherwise
IBL_P
IBL_P
=( (X
=( (X
max max
%IBL) / X
%IBL) / X
max max
) * 100
) * 100
if 0 < %IBL < X
if 0 < %IBL < X
max max
where X
where X
max max
is some agreed upper threshold such as 3
is some agreed upper threshold such as 3
MODELO GLOBAL
MODELO GLOBAL

decisin que modela a un indicador global
decisin que modela a un indicador global
.
.
Ejemplo para
Ejemplo para
Preferencia de Confiabilidad de
Preferencia de Confiabilidad de
Enlaces (LR_P)
Enlaces (LR_P)
GI
GI
1 1
= (W
= (W
1.1 1.1
EI
EI
1.1 1.1
+ W
+ W
1.2 1.2
EI
EI
1.2 1.2
+ W
+ W
1.3 1.3
EI
EI
1.3 1.3
);
);
(W
(W
1 1
+ W
+ W
2 2
+ .. + W
+ .. + W
m m
) = 1; if W
) = 1; if W
i i
> 0 ;
> 0 ;
para i = 1 .. m
para i = 1 .. m
(m = 3, en nuestro ejemplo).
(m = 3, en nuestro ejemplo).
Thresholds, targets, or patterns used to determine the

Thresholds, targets, or patterns used to determine the
need for action or further investigation, or to describe
need for action or further investigation, or to describe
the level of confidence in a given results [ISO 15939].
the level of confidence in a given results [ISO 15939].
Ejemplo
Ejemplo
The decision criteria that a model of an indicator have to
The decision criteria that a model of an indicator have to
have are the agreed
have are the agreed
acceptability levels
acceptability levels
in the given
in the given
scale; for instance, it is
scale; for instance, it is
unsatisfactory
unsatisfactory
if the
if the
range
range
is 0
is 0
to 40;
to 40;
marginal
marginal
, if it is greater than 40 and less or
, if it is greater than 40 and less or
equal than 60; otherwise,
equal than 60; otherwise,
satisfactory
satisfactory
Modelo
Modelo
Conceptual
Conceptual
para
para
Indicadores
Indicadores
~
EscalaCategrica
MtodoDeMedicin
ti po = {Obj eti vo, Subj etivo}
Unidad
nombre
descri pci n
EscalaNumrica
ti po = {conti nua, di screta}
1..* 1 1..* 1
expresada_en
Medida
valor
Model oEl emental
nombre
especificacin
Herramienta
nombre
descripcin
versin
proveedor
CriterioDeDecisin
nombre
descripcin
rango
1..* 1..*
ti ene
Medicin
fechaYHora
1 1 1 1
produce
IndicadorElemental
1
1
1
1
model ado_por
Mtodo
nombre
especi fi caci n
1..*
0..*
1..*
0..*
automati zado_por
ValorIndicador
valor
ModeloGlobal
nombre
especificacin
1.. * 1.. *
ti ene
Entidad
nombre
descri pci n
Mtrica
nombre
referenci as
preci si n
0..*
1
0..*
1
referi da_a
1
0..1
1
0..1
i nterpreta
11
i ncl uye
Clculo
fechaYHora 1 1 1 1
produce
MtodoDeClcul o
Indi cadorGlobal
1
1
1
1
model ado_por
Escala
11
cont i ene
Necesi dadDeInformaci n
descripcin
ModeloDeConcepto
nombre
especi fi caci n
referenci as
Atributo
nombre
pal abrasCl ave/Al i as
defi ni ci n
ti po = {i nterno, externo}
1..*
1..*
1..*
1..*
asoci ado_con
1..*
1
1..*
1
cuantif ica
Indicador
nombre
preci si n
referenci as
0..* 1 0..* 1
rel aci onado_a
incl uye
2..* 2..*
i ndi cadores_rel aci onados
11
conti ene
ConceptoMedi bl e
nombre
descripcin
1..*
1
1..*
1
descri be
0..* 0..*
especi fi cado_por
0..* 0..*
subConcepto
1..*
1
1..*
1
combi na
1
1
1
1
eval a/esti ma
Esquema
Esquema
Teora de Mtricas
Teora de Mtricas
Conclusiones
Conclusiones
Metrics are welcome when they are clearly needed and
Metrics are welcome when they are clearly needed and
easy to collect and understand
easy to collect and understand Pfleeger Pfleeger
Utilidad de las Mtricas
Utilidad de las Mtricas

Medicin objetiva antes que subjetiva
Medicin objetiva antes que subjetiva

Especificar en el mundo formal, la correspondencia de
Especificar en el mundo formal, la correspondencia de
un atributo del mundo emprico
un atributo del mundo emprico

Operacionalizar Heursticas
Operacionalizar Heursticas

Servir de base a Mtodos Cuantitativos de Evaluacin
Servir de base a Mtodos Cuantitativos de Evaluacin
o Prediccin.
o Prediccin.

La mtrica NO puede interpretar por s sola un concepto
La mtrica NO puede interpretar por s sola un concepto
medible (Necesidad de INDICADORES)
medible (Necesidad de INDICADORES)
Conclusiones
Conclusiones
Indicators are ultimately the foundation for interpretation of
Indicators are ultimately the foundation for interpretation of
information needs and decision
information needs and decision
-
-
making.
making.
Utilidad de los Indicadores
Utilidad de los Indicadores

Servir de base para cuantificar Conceptos Medibles para
Servir de base para cuantificar Conceptos Medibles para
una Necesidad de Informacin
una Necesidad de Informacin

Servir de base a Mtodos Cuantitativos de Evaluacin o
Servir de base a Mtodos Cuantitativos de Evaluacin o
Prediccin
Prediccin

Los indicadores ofrecen informacin para la toma de
Los indicadores ofrecen informacin para la toma de
decisiones
decisiones
Trabajos en Avance
Trabajos en Avance
Ontologa para Mtricas e Indicadores

Ontologa para Mtricas e Indicadores
Conceptualizacin (UML, Tablas)

Conceptualizacin (UML, Tablas)
Implementacin (RDFS, OWL)

Implementacin (RDFS, OWL)
Mantenimiento
Mantenimiento
Ontologas para Procesos de Medicin/Evaluacin

Ontologas para Procesos de Medicin/Evaluacin
Sistema Web para Catalogacin de M&I

Sistema Web para Catalogacin de M&I
Con Capacidad de Web Semntica

Con Capacidad de Web Semntica
Arquitectura del Sistema
Arquitectura del Sistema
OWL
RDF/S
XMLS
DB Repository
User Administrator Reviewer Moderator Tool/Agent
Web Interfaces
Web Services
Business Classes
SQL Data Access
Components
Catalog Review
System
Semantic Query
System
Semantic Data
Access Components
INTERFACE
TIER
BUSINESS
LOGIC TIER
DATA LOGIC
TIER
PERSISTENCY
TIER
Metrics and Indicators
Cataloging System
Dr. Luis Olsina Dr. Luis Olsina
E E- -mail: mail: olsinal@ing.unlpam.edu.ar olsinal@ing.unlpam.edu.ar
URL: URL: http://gidis.ing.unlpam.edu.ar http://gidis.ing.unlpam.edu.ar
Grupo de Investigaci Grupo de Investigaci n y Desarrollo en Ingenier n y Desarrollo en Ingenier a de Software a de Software
Departamento de Inform Departamento de Inform tica tica Facultad de Ingenier Facultad de Ingenier a a Universidad Nacional de La Pampa Universidad Nacional de La Pampa
Argentina
2003GIDIS 2003GIDIS
Preguntas ?
Preguntas ?
Preguntas ?
Preguntas ?
PROGRAMA CYTED PROGRAMA CYTED
Proyecto WEST: Web Proyecto WEST: Web- -Oriented Oriented Software Software Technology Technology

Charla Metricas Indicadores

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Charla Metricas Indicadores

Cargado por

Copyright:

Formatos disponibles

M

Analizar, Comprender (los atributos de un ente)

Controlar (la calidad del producto, )

Predecir (el tiempo y costo de un proyecto)

Mejorar (la calidad de un producto, proceso )

Conceptos Medibles (Factores)

Calidad, Calidad en Uso, Productividad, Costo

Fases del Ciclo de Vida del Software

Exploracin, Desarrollo, Mantenimiento.

Metas, Restricciones (Seguridad, Disponibilidad, etc.)

Especificacin de Requisitos, Definicin de Criterios,

Tcnicas Estadsticas, Visualizacin Grfica, Tablas, etc.

Interpretacin de los datos.

Doc. de Conclusiones, Propuestas de Mejora

Los Mtodos y Tcnicas a Aplicar pueden ser:

Cuantitativos versus Cualitativos

Automticos, Semiautomticos o Manuales

Desde Fcil a Difcil de Usar y Aprender

Diversos Estndares (principalmente ISO) tratan

el modelo de calidad de software (ISO 9126),

el proceso de medicin (ISO 15939),

el proceso de evaluacin (ISO 14598)

Con frecuencia, no existe un claro consenso

Necesidad de una Ontologa para el dominio de

CONCEPTO MEDIBLE (Calidad, Productiv...)

METRICA (Directa e Indirecta)

METODO (Medicin, Clculo)

ESCALA / TIPO DE ESCALA

Un objeto que va a ser caracterizado mediante una

Una entidad puede ser f

Objetos de inters para el dominio de software son:

Una propiedad mensurable, f

el atributo puede ser interno o externo

el atributo se puede medir (cuantificar) por

Es una relacin abstracta entre atributos de una o ms

Evaluar o predecir dicho concepto, desde una

Ejemplos de conceptos medibles son: Calidad, Costo,

Ejemplos de perspectivas de usuario son: Gerente,

El conjunto de subconceptos y las relaciones entre

Ej. Caractersticas y/o subcaractersticas y sus

Una caracterstica puede estar conformada por

El modelo puede ser fijo (estndar, como ISO 9126

Actividad que usa la definici

METODO (de MEDICION, CALCULO)

gica de operaciones y potenciales

sticas, expresadas de forma gen

Un conjunto de valores con propiedades definidas

rica (Continua o Discreta)

Tipos de Escala (Nominal, Ordinal, Intervalo...)

tricas de otros atributos.

Instrumento (o herramienta) que automatiza

Nota: un instrumento software (de medicin o

Por ejemplo, un termmetro es un instrumento de

ESCALA / TIPOS DE ESCALA

Un conjunto de valores con propiedades definidas

Una escala puede ser clasificada de acuerdo a los

Cada tipo de escala determina las transformaciones

sticos que pueden aplicarse sobre el

Una cantidad particular, definida y adoptada

n, con la que se pueden

Ejemplos: LOC, bytes, palabras, links ...

tricas para 1.1

Las mtricas NO pueden interpretar por s solas

INDICADOR (ELEMENTAL, GLOBAL)