Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Metricas Indicadores
Metricas Indicadores
Universidad de Chile
Mtricas e Indicadores:
Dos Conceptos Claves para
Medicin y Evaluacin
Contenidos
Introduccin
Teora de Mtricas
Teora de Indicadores
Conclusiones/Avances
Esquema
Introduccin
Teora de Mtricas
Teora de Indicadores
Conclusiones
Introduccin
Beneficios de la Medicin/Evaluacin
Analizar, Comprender (los atributos de un ente)
Controlar (la calidad del producto, )
Predecir (el tiempo y costo de un proyecto)
Mejorar (la calidad de un producto, proceso )
Conceptos Medibles (Factores)
Calidad, Calidad en Uso, Productividad, Costo
Fases del Ciclo de Vida del Software
Exploracin, Desarrollo, Mantenimiento.
Introduccin
Requerimientos de Medicin/Evaluacin
Metas, Restricciones (Seguridad, Disponibilidad, etc.)
Especificacin de Requisitos, Definicin de Criterios,
Tcnicas, Mtricas, Indicadores
Captura de Datos
Recoleccin de Datos
Automtica, Semiautomtica, Manual
Anlisis
Tcnicas Estadsticas, Visualizacin Grfica, Tablas, etc.
Interpretacin de los datos.
Recomendaciones
Doc. de Conclusiones, Propuestas de Mejora
Taxonoma de Mtodos
Clase de Mtodo
-- Testing
-- Inspeccin
-- Consulta, ...
Tipo de Mtodo
Taxonoma
de Mtodos de
Evaluacin
Tipo de Automatizacin
-- Manual
-- Semi-Automtico
-- Automtico
Nivel de Esfuerzo
-- Fcil de Usar, Aprender
-- Efectivo, Preciso
-- Rango de Aplicabilidad
Fase
-- Requerimientos
-- Captura
-- Anlisis
-- Recomendaciones
sobre
Esquema
Introduccin
Teora de Mtricas
Teora de Indicadores
Conclusiones
Introduccin a Mtricas
ENTIDAD
ATRIBUTO
CONCEPTO MEDIBLE (Calidad, Productiv...)
MODELO DE CONCEPTO
METRICA (Directa e Indirecta)
MEDICION, MEDIDA
METODO (Medicin, Clculo)
ESCALA / TIPO DE ESCALA
UNIDAD
...
Introduccin a Mtricas
ENTIDAD
Un objeto que va a ser caracterizado mediante una
medicin de sus atributos [ISO-15939].
Una entidad puede ser fsica tangible (p.ej. una
computadora) o abstracta -intangible (p.ej. un
programa software)
Objetos de inters para el dominio de software son:
Recurso,
Proceso,
Producto,
Producto en uso?,
Proyecto,
Servicio
Introduccin a Mtricas
ATRIBUTO
Una propiedad mensurable, fsica o abstracta,
de una entidad [ISO 14598-1:1999].
el atributo puede ser interno o externo
Tamao de cdigo fuente (atributo interno), precio (atributo
externo).
Introduccin a Mtricas
CONCEPTO MEDIBLE
Es una relacin abstracta entre atributos de una o ms
entidades, y una necesidad de informacin [ISO15939].
Evaluar o predecir dicho concepto, desde una
perspectiva de usuario.
Ejemplos de conceptos medibles son: Calidad, Costo,
Accesibilidad, Calidad en Uso, Confiabilidad.
Ejemplos de perspectivas de usuario son: Gerente,
Desarrollador, Usuario final, etc.
Introduccin a Mtricas
MODELO de CONCEPTO
El conjunto de subconceptos y las relaciones entre
ellos, que sirven de base para una ulterior evaluacin
o estimacin.
Ej. Caractersticas y/o subcaractersticas y sus
relaciones que proveen las bases para modelar
Calidad.
Una caracterstica puede estar conformada por
subcaractersticas y atributos.
El modelo puede ser fijo (estndar, como ISO 9126-1),
propio o mixto.
Intermediate constructors
Primitive constructors
Device Independence
Completeness
Portability
As is utility
Reliability
Efficiency
Accuracy
Consistency
Device efficiency
Acessibility
General utility
Human engineering
Metrics
Communicativeness
Maintainability
Testability
Structuredness
Understandability
Self descriptiveness
Modifiablility
Conciseness
Legibility
Augmentability
Caractersticas
Functionality
Functionality
Reliability
Reliability
Usability
Usability
Suitability
Suitability
Accuracy
Accuracy
Interoperability
Interoperability
Security
Security
Compliance
Compliance
Maturity
Maturity
Fault
FaultTolerance
Tolerance
Recoverability
Recoverability
Compliance
Compliance
Understandability
Understandability
Learnability
Learnability
Operability
Operability
Attactiveness
Attactiveness
Compliance
Compliance
Subcaractersticas
Efficiency
Efficiency
Time
Timebehaviour
behaviour
Resource
Resource
utilization
utilization
Compliance
Compliance
Maintainability
Maintainability
Analysability
Analysability
Changeability
Changeability
Stability
Stability
Testeability
Testeability
Compliance
Compliance
Portability
Portability
Adaptability
Adaptability
Instalability
Instalability
Co-existence
Co-existence
Replaceability
Replaceability
Compliance
Compliance
Caractersticas y Subcaractersticas
Usabilidad
Comprensin Global del Sitio
Ayuda y Retroalimentacin
Aspectos de Interface
Aspectos Estticos
Funcionalidad
Bsqueda y Recuperacin
Navegacin y Exploracin
Funciones y Contenido Especficos del Dominio (E-commerce,
Museos, Universidades ...)
Confiabilidad
Enlaces
Pginas
Compatibilidad de Navegadores
Eficiencia
Performance
Accesibilidad
Caractersticas y Atributos
Confiabilidad
Enlaces
Enlaces Rotos
Enlaces Invlidos
Enlaces no Implementados
Pginas
Pginas Muertas
Pginas bajo Construccin
Errores de Ortografia
calculada_por
Funcin
1 especifi caci n
subEn ti dad
0 ..*
` Entidad
MtricaIn directa
m tri cas_re la ci onad
1.. *
descripcin
ver_Tambin
asociado_con
Mtrica
1..*
a be
de scri
Atributo
1..*
a
combina
subConcepto
Modelo
Conceptual
para
Mtricas
n ombre
d escripci n
NecesidadDeInform acin
0..*
MtricaDirecta
1..*
nombre
palabrasClave/ Alia s
definici n
nivelIndependencia
ti po = {interno, ext erno}
1..*
cuantif ica
contiene
ConceptoMedible
nombre
descripcin
0..*
nombre
interpretacinValor
objetivo/Motivacin
tipoRecoleccinDatos
referencias
tipoValor = {Smbolo, Integer, Float}
precisin
2..*
referida_a
Escala
0..*
<<enum>> tipoEscala
especificado_por
Medicin
0..*
fechaYHora
Medida
produce
1
valor
ModeloDeConcepto
nombre
especificacin
referencias
valoresPermitidos
Herramie nta
nombre
descripcin
versin
proveedor
1..*
Mtodo
1..*
nombre
especificacin
MtodoDeClculo
Unidad
expresada_en
automatizado_por
0..*
EscalaNumrica
EscalaCategrica
MtodoDeMedicin
tipo = {Objetivo, Subjetivo}
nombre
descrip cin
inclu ye
Introduccin a Mtricas
METRICA
El mtodo de medicin definido y la escala
de medicin [ISO 14598-1:1999].
MEDICION
Actividad que usa la definicin de la mtrica para
producir el valor de una medida.
MEDIDA
Nmero o categora asignada a un atributo de una
entidad mediante una medicin [ISO 145981:1999]
Introduccin a Mtricas
METODO (de MEDICION, CALCULO)
Secuencia lgica de operaciones y potenciales
heursticas, expresadas de forma genrica, que
permite la realizacin de una descripcin de actividad.
El tipo de mtodo de medicin va a depender de la
naturaleza de las operaciones utilizadas para
cuantificar el atributo. Pueden distinguirse dos tipos:
Subjetivo: Cuando la cuantificacin supone un juicio realizado
por un ser humano.
Objetivo: Cuando la cuantificacin est basada en mtodos
numricos.
Introduccin a Mtricas
Escala
Un conjunto de valores con propiedades definidas
[ISO 14598-1].
Escala Numrica (Continua o Discreta)
Escala Categrica
Introduccin a Mtricas
METRICA Es la correspondencia de un dominio emprico (mundo real) a
Introduccin a Mtricas
METRICA DIRECTA
Una mtrica de un atributo que no depende de
ninguna mtrica de otro atributo.
METRICA INDIRECTA
Una mtrica de un atributo que se deriva de una o
ms mtricas de otros atributos.
Se formaliza por medio de una Funcin de Medicin (Frmula,
Ecuacin).
Funcin de Medicin: Un algoritmo o clculo que permite
combinar dos o ms mtricas.
PorcentajeEnlacesRotos =
CantidadEnlacesRotosInternos + CantidadEnlacesRotosExternos
100
CantidadTotalEnlaces
CantidadImgenesALT
PorcentajePresenciaALT =
100
CantidadTotalImgenes
Introduccin a Mtricas
INSTRUMENTO (Herramienta)
LIFT:
UsableNet.com [http://www.usablenet.com/lift_onsite/]; webbased y off-line, con ranking; Analizador de Errores y Fallas, HTML
tags, Imgenes, Performance, test de Accesibilidad, etc.
LinkBot:
WatchFire [http://www.watchfire.com/solutions/linkbot.asp];
off-line, con ranking; Analizador de Errores y Fallas, Performance,
HTTP cdigos de estado, etc. Herramienta de reparacin.
Introduccin a Mtricas
ESCALA / TIPOS DE ESCALA
Un conjunto de valores con propiedades definidas
[ISO 14598-1].
Una escala puede ser clasificada de acuerdo a los
siguientes Tipos de Escala: Nominal, Ordinal
restringida, Ordinal no restringida, Intervalo,
Proporcin, Absoluta.
Cada tipo de escala determina las transformaciones
admisibles, el tipo de operaciones matemticas, y los
anlisis estadsticos que pueden aplicarse sobre el
conjunto de valores de la escala.
Introduccin a Mtricas
UNIDAD
Transformacin
Admisible
Equivalencia uno-a-uno
Estadsticas
Significativas
Ordinal
Funciones monotnicas
incrementales
Intervalo
m1 = a m + b
Proporcin
m1 = a m
Absoluta
m1 = m (Identidad)
Moda, Frecuencia
Test no paramtricos
Mediana, Spearman y
Kendall Tau, W
Test no paramtricos
(Todo lo previo)
Media
Aritmtica,
Desvo estndar
Coef. de correlacin de
Pearson
Test no paramtricos
(Todo lo previo)
Porcentajes,
Media
Geomtrica
Test paramtricos y no
paramtricos
(Todo lo previo)
(Todo lo previo)
Ejemplos
Clasificacin,
etiquetado
Grado de disponibilidad,
funcionalidad,
complejidad, etc.
Temperatura (Celsius,
Fahrenheit) Tiempos
relativos, etc.
Preferencia de calidad,
tamao
(LOC),
longitud, etc.
Conteo
X en la entidad E
Rotos.
calculada_por
Funcin
1 especifi caci n
subEn ti dad
0 ..*
` Entidad
MtricaIn directa
m tri cas_re la ci onad as
1.. *
descripcin
ver_Tambin
asociado_con
Mtrica
1..*
a be
de scri
Atributo
1..*
a
combina
subConcepto
Modelo
Conceptual
para
Mtricas
n ombre
d escripci n
NecesidadDeInform acin
0..*
MtricaDirecta
1..*
nombre
palabrasClave/ Alia s
definici n
nivelIndependencia
ti po = {interno, ext erno}
cuantif ica
contiene
ConceptoMedible
nombre
descripcin
0..*
nombre
interpretacinValor
1..* objetivo/Motivacin
tipoRecoleccinDatos
referencias
tipoValor = {Smbolo, Integer, Float}
precisin
2..*
referida_a
Escala
0..*
<<enum>> tipoEscala
especificado_por
Medicin
0..*
fechaYHora
Medida
produce
1
valor
ModeloDeConcepto
nombre
especificacin
referencias
valoresPermitidos
Herramie nta
nombre
descripcin
versin
proveedor
1..*
Mtodo
1..*
nombre
especificacin
MtodoDeClculo
Unidad
expresada_en
automatizado_por
0..*
EscalaNumrica
EscalaCategrica
MtodoDeMedicin
tipo = {Objetivo, Subjetivo}
nombre
descrip cin
inclu ye
Ejemplo de Atributos/Mtricas
Necesidad de Informacin: Evaluate the link reliability for
static pages of a website
Entidad: Producto (web site)
1. Link Reliability
// Atributos
1.1 Internal Broken Links (IBL)
1.2 External Broken Links (EBL)
1.3 Invalid Links (IL)
Ejemplo de Atributos/Mtricas
1. Link Reliability
// Atributos
1.1 Internal Broken Links (IBL)
// Dos Posibles Mtricas para 1.1
a) #IBL Unidad: Enlace; Escala: Numrica, Enteros
Tipo de Escala: Absoluta
Tipo de Mtodo de Medicin: Objetivo
b) %IBL = (#IBL / #TL) * 100; Unidad: Normalizada a Porcentaje;
Escala: Numrica, Reales
Tipo de Escala: Absoluta
Para Resaltar
Las mtricas NO pueden interpretar por s solas
un concepto medible
Necesidad de INDICADORES
Esquema
Aseguramiento de Calidad
Teora de Mtricas
Teora de Indicadores
Conclusiones
Introduccin a Indicadores
INDICADOR (ELEMENTAL, GLOBAL)
CONCEPTO MEDIBLE (Calidad, Productiv...)
MODELO DE CONCEPTO
MODELO ELEMENTAL, GLOBAL
CRITERIO DE DECISION
CALCULO, VALOR INDICADOR
ESCALA / TIPO DE ESCALA
UNIDAD
...
Introduccin a Indicadores
INDICADOR
El mtodo de clculo y la escala definidos,
adems del modelo y criterios de decisin
con el fin de proveer una evaluacin o
estimacin de un concepto medible con
respecto a una necesidad de informacin.
Indicador Elemental
Preferencia de Enlaces Rotos Internos (IBL_P)
Indicador Global
Preferencia en Confiabilidad de Enlaces (LR_P)
Introduccin a Indicadores
MODELO ELEMENTAL
Algoritmo o funcin asociados a criterios de
decisin que modela a un indicador elemental.
Ejemplo para Preferencia de Enlaces Rotos
Internos (IBL_P)
IBL_P = 100% if %IBL = 0;
IBL_P = 0% if %IBL >= X max ;
otherwise IBL_P =( (X max %IBL) / X max ) * 100
if 0 < %IBL < X max
where X max is some agreed upper threshold such as 3
Introduccin a Indicadores
MODELO GLOBAL
Algoritmo o funcin asociados a criterios de
decisin que modela a un indicador global.
Ejemplo para Preferencia de Confiabilidad de
Enlaces (LR_P)
GI1 = (W1.1 EI1.1 + W1.2 EI1.2 + W1.3 EI1.3);
(W1 + W2 + .. + Wm ) = 1; if Wi > 0 ;
para i = 1 .. m
(m = 3, en nuestro ejemplo).
Introduccin a Indicadores
CRITERIO DE DECISION
Thresholds, targets, or patterns used to determine the
need for action or further investigation, or to describe
the level of confidence in a given results [ISO 15939].
Ejemplo
Entidad
NecesidadDeInformacin
1..*
descripcin
1..*
asociado_con
1..*
1..*
a
describe
c ombina
1..*
nombre
interpretacinValor
objetivo/Motivacin
tipoRecoleccinDatos
referencias
tipoValor = {Smbolo, Integer, Float}
precisin
0..1
Atributo
nombre
~
palabrasClave/Alias
definicin
nivelIndependencia
tipo = {interno, externo}
cont iene
referida_a
ConceptoMedible
0..*
nom bre
des crip ci n
Modelo
Conceptual
para
Indicadores
Mtrica
nombre
descripcin
Es c ala
<<enum>> tipoEscala
0..*
produce
1
1
Medicin
fechaYHora
Medid a
valor
evala/estima
contiene
subConcepto
especificado_por
0..*
ModeloDeConcepto
nombre
especificacin
referencias
valoresPermitidos
incluye
Indicador
nombre
precisin
referencias
tipoValor = {Smbolo, Integer, Float}
Clc ulo
relacionado_a
1
0..* fech aYHora
2..*
IndicadorElem ental
1
modelado_por
1
modelado_por
ModeloElemental
nom bre
es pecificacin
tie ne
1..*
ValorIndicador
produce
1
valor
Herram ienta
indicadores_relacionados
Unidad
expresada_en
nombre
1..*
1
descripcin
Es calaNum rica
in cluye
nom bre
des cripcin
vers in
proveedor
0..*
automatizado_por
1..*
ModeloGlobal
Mtodo
nom bre
especificacin
nombre
especificacin
tie ne
1.. *
CriterioDeDecis in
nom bre
des cripcin
rango
MtodoDeMedicin
tipo = {Objetivo, Subjetiv o}
interpreta
Esquema
Aseguramiento de Calidad
Teora de Mtricas
Teora de Indicadores
Conclusiones/Avances
Conclusiones
Metrics are welcome when they are clearly needed and
easy to collect and understand Pfleeger
Utilidad de las Mtricas
Operacionalizar Heursticas
Conclusiones
Indicators are ultimately the foundation for interpretation of
information needs and decision-making.
Utilidad de los Indicadores
Trabajos en Avance
Ontologa para Mtricas e Indicadores
Conceptualizacin (UML, Tablas)
Implementacin (RDFS, OWL)
Mantenimiento
Ontologas para Procesos de Medicin/Evaluacin
Sistema Web para Catalogacin de M&I
Con Capacidad de Web Semntica
INTERFACE
TIER
Web Interfaces
Web Services
BUSINESS
LOGIC TIER
Business Classes
Semantic Data
Access Components
OWL
RDF/S
XMLS
Semantic Query
System
DATA LOGIC
TIER
DB Repository
PERSISTENCY
TIER
Catalog Review
System
Metrics and Indicators
Cataloging System
Preguntas ?
PROGRAMA CYTED
Proyecto WEST: Web-Oriented Software Technology
Argentina
2003 GIDIS