Está en la página 1de 34

Explotacin de Sistemas Informticos

Tema 2: Evaluacin del rendimiento

Luis de la Ossa Departamento de Sistemas Informticos - UCLM

En este tema se introducir el concepto de evaluacin del rendimiento. Se har una primera aproximacin a las distintas tcnicas existentes. Se presentarn tambin algunas lneas generales que han de tenerse en cuenta a la hora de realizar un estudio y los errores ms comunes. Por ltimo, se propondrn unas pautas metodolgicas que tienen como objetivos solventar estos errores.

ESSII

Tema 2: Evaluacin del rendimiento

ndice

2.1 Introduccin a la evaluacin del rendimiento. 2.2 Tcnicas de evaluacin. 2.3 Seleccin de mtricas 2.4 Errores comunes. 2.5 Metodologa general para la evaluacin del rendimiento.

ESSII

Tema 2: Evaluacin del rendimiento

Tema 2: Evaluacin del rendimiento

2.1 Introduccin a la evaluacin del rendimiento

ESSII

Tema 2: Evaluacin del rendimiento

2.1 Introduccin a la evaluacin del rendimiento Definicin


Puede definirse la evaluacin del rendimiento de un sistema informtico como la obtencin de la medida de cmo un software determinado est utilizando el hardware con una determinada combinacin de programas que constituyen lo que se denomina carga del sistema.

ESSII

Tema 2: Evaluacin del rendimiento

2.1 Introduccin a la evaluacin del rendimiento Definicin


La informacin que se contrasta es relativa a estos aspectos: Rapidez con que puede realizarse una tarea dada. Capacidad del sistema para tratar fallos y situaciones poco frecuentes. Con qu eficacia usa el sistema los recursos disponibles La evaluacin del rendimiento de un sistema informtico consiste en hacer una valoracin de una serie de caractersticas: Fsicas. Informacin asociada al comportamiento de los distintos componentes hardware, como por ejemplo: Velocidad de transmisin por las lneas de comunicacin, etc. Operativas o de explotacin: Es la informacin relativa a la carga del sistema, como por ejemplo: Nmero medio de transacciones pendientes, etc.

ESSII

Tema 2: Evaluacin del rendimiento

2.1 Introduccin a la evaluacin del rendimiento Objetivos


La evaluacin del rendimiento lleva a cabo con uno de estos tres objetivos: Identificar los problemas que tiene el sistema con el objetivo de solucionarlos. Mejorar el rendimiento de un sistema existente. Eleccin de un sistema o configuracin para trabajar con una carga determinada.

ESSII

Tema 2: Evaluacin del rendimiento

2.1 Introduccin a la evaluacin del rendimiento Evaluacin del rendimiento y ciclo de vida.
A lo largo de las distintas fases del ciclo de vida de un sistema informtico es necesario llevar a cabo una evaluacin objetiva de las prestaciones de ste en las etapas de: Diseo: Por que es necesario saber, a priori, cuales van a ser las prestaciones que se requerirn al sistema. Desarrollo e implantacin: Ser necesario evaluar cul es la configuracin necesaria, y elegir entre varias posibles. Explotacin y ampliacin de un sistema: hay que examinar cules son los problemas que se presentan y solucionarlos sobre la marcha, qu componentes del sistema es necesario cambiar para maximizar el aumento de prestaciones.

ESSII

Tema 2: Evaluacin del rendimiento

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin

Existen varias tcnicas que permiten evaluar el rendimiento de un sistema informtico: La Medida. El Modelado. La simulacin Las tcnicas analticas Las tcnicas hbridas La eleccin de una u otra dependen del tipo de estudio y de la etapa en que ste se pretende llevar a cabo.

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin Medida

Es la tcnica ms fundamental, e incluso se necesita en anlisis y simulacin para calibrar los modelos. Se deben seleccionar cuidadosamente qu parmetros de salida deben ser medidos, cmo deben medirse y qu valores deben seleccionarse para combinaciones de entrada que estn bajo el control del experimento. Puesto que existen factores incontrolados en un experimento de medida, los datos obtenidos de las medidas deben ser analizados por tcnicas estadsticas para sacar conclusiones significativas.

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin Simulacin


La simulacin consiste en construir un modelo de la conducta del sistema y reproducirlo con una abstraccin apropiada de la carga.

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin Simulacin

La principal ventaja de la simulacin es su generalidad y flexibilidad. Han de ser tenidas en cuenta las siguientes condiciones: Debe decidirse qu simular y a qu nivel de detalle. Reproducir la conducta detallada del sistema es normalmente innecesario y prohibitivamente caro. La simulacin, al igual que la medida, genera datos muy crudos que deben analizarse utilizando tcnicas estadsticas. Una cuidadosa planificacin del experimento es esencial para contener el coste de simulacin.

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin Modelos analticos


El modelo analtico consiste en construir un modelo matemtico de la conducta del sistema y resolverlo. El principal problema que presentan es que no permiten estudiar la conducta del sistema con un alto nivel de detalle. Las principales ventajas del modelado analtico con respecto a la medida y la simulacin son 3: Genera una buena visin global del funcionamiento del sistema. Normalmente pueden resolverse de manera fcil modelos analticos simples y que proporcionan datos precisos. Los resultados del anlisis tienen, en muchos casos, mejor valor de prediccin que aquellos que se obtuvieron de la medida o simulacin

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin Modelos hbridos

Un modelo complejo puede consistir en varios submodelos, donde cada uno representa cierto aspecto del sistema. Solo algunos de estos submodelos pueden ser tratables analticamente, mientras que los otros deben simularse. Merece la pena estudiar las tcnicas analticas disponibles para ver qu aspectos de conducta del sistema pueden ser estudiados adecuadamente por medio de ellas. Slo los aspectos restantes necesitan ser estudiados por simulacin.

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin Seleccin de tcnicas


La etapa. Hay que tener en cuenta la etapa del ciclo de vida. Las mediciones son posibles solamente si existe un sistema similar al que se pretende estudiar. Para un sistema nuevo (conceptualmente) se ha de usar simulacin o anlisis. Las simulaciones o modelos analticos resultan ms convincentes si se basan en medidas previas. Tiempo requerido. En la mayora de los casos, los resultados se requieren con excesiva prontitud, por lo que hay que recurrir al anlisis. Las simulaciones requieren, en general, mucho tiempo. Si algo va mal, eso ser la medida. As que no se puede hacer una estimacin fiable del tiempo de medida.

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin Seleccin de tcnicas


Disponibilidad de las herramientas. Por herramientas se lenguajes de simulacin e instrumentaciones de medida e incluso la capacidad del analista. Nivel de precisin. El modelado analtico requiere muchas asunciones y simplificaciones. Las simulaciones pueden incorporar ms detalles y requieren menos asunciones que el modelado analtico. Por tanto, se acercan ms a la realidad. Las medidas pueden no dar resultados precisos simplemente por muchos de los parmetros ambientales, como la configuracin del sistema, tipo de carga, o el tiempo de medida. Por tanto, la precisin de los datos puede variar desde muy alta a nula con las tcnicas de medida. No es lo mismo la precisin de la medida que la correccin de las conclusiones.

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin Seleccin de tcnicas


Evaluacin de las ventajas. El objetivo de un estudio de rendimiento es comparar diferentes alternativas o encontrar una configuracin ptima de parmetros. Los modelos analticos proporcionan generalmente las mejores visiones sobre los efectos de varios parmetros y sus interacciones. Con las simulaciones, es posible buscar en el espacio de configuraciones para encontrar la combinacin ptima. En este aspecto, la medida es la tcnica menos deseable. Coste Las mediciones requieren equipamiento real, instrumentos y tiempo, por lo que es la tcnica ms costosa de las tres. Por eso se suele decidir simulacin o anlisis, que es la tcnica ms barata.

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin Seleccin de tcnicas


Venta Convencer a otros es importante. Es ms fcil hacerlo con medidas reales. Es conveniente validar con varias tcnicas y con la intuicin del experto. Se pueden usar dos o ms tcnicas de manera secuencial (modelos hbridos), por ejemplo, utilizar el modelo analtico para encontrar el rango apropiado para los parmetros del sistema y despus utilizar la simulacin para estudiar el rendimiento con ms detalle en ese rango.

ESSII

Tema 2: Evaluacin del rendimiento

2.2 Tcnicas de evaluacin Seleccin de tcnicas


Criterio
1. Etapa 2. Tiempo requerido 3. Herramientas 4. Precisin 5. Coste 6. Vendible

Modelado Analtico
Cualquiera Poco Anlisis Baja Pequeo Pequeo

Simulacin
Cualquiera Medio Lenguajes de simulacin Moderada Medio Medio

Medida
Post-Prototipado Vara Instrumentacin Vara Alto Alto

ESSII

Tema 2: Evaluacin del rendimiento

10

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas

Para cada estudio de rendimiento se debe seleccionar un conjunto de mtricas o indicadores. ste se elige a partir de una lista de servicios ofrecidos por el sistema. Los tipos de salida pueden ser clasificados en tres categoras: Cuando el sistema funciona correctamente. Cuando el sistema funciona incorrectamente. Cuando no puede prestar un servicio. Las mtricas asociadas con el servicio exitoso, errores e indisponibilidad se llaman respectivamente de velocidad, fiabilidad y disponibilidad.

ESSII

Tema 2: Evaluacin del rendimiento

11

2.3 Seleccin de mtricas Respuesta correcta


Si el sistema lleva a cabo el servicio correctamente, su rendimiento se mide: Por el tiempo requerido por el servicio. Por la tasa de servicios por unidad de tiempo. Y por el consumo de recursos al llevar a cabo el servicio. Estas tres mtricas relacionadas con el rendimiento tiempo-tasa-recurso son llamadas medidas de respuesta, productividad y utilizacin. Por ejemplo, la respuesta de la pasarela de una red es el intervalo desde la llegada de un paquete a su reenvo. La productividad se mide en funcin del nmero de paquetes enviados por unidad de tiempo. La utilizacin da una indicacin del porcentaje de tiempo que los recursos de la pasarela estn ocupados para un nivel de carga dado. El recurso con mayor utilizacin de un sistema se denomina cuello de botella.

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas Respuesta correcta: Tiempo de respuesta.


El tiempo de respuesta se define como el intervalo entre la peticin de un usuario y la respuesta del sistema. Esta definicin es simplista ya que ni las peticiones ni las respuestas son instantneas. Hay dos posibles definiciones del tiempo de respuesta: El intervalo entre el final del envo de la peticin y el principio de la respuesta correspondiente. El intervalo entre el final del envi de la peticin y el fin de la correspondiente respuesta.
Inicio de la peticin del usuario El usuario finaliza su peticin El sistema comienza la siguiente peticin

El sistema empieza la ejecucin

El sistema comienza la respuesta

El sistema completa la respuesta

Tiempo

Tiempo de reaccin Tiempo de respuesta (1) Tiempo de respuesta (2)

Tiempo de reflexin

ESSII

Tema 2: Evaluacin del rendimiento

12

2.3 Seleccin de mtricas Respuesta correcta: Tiempo de respuesta.


Ambas definiciones son aceptables si se han explicado claramente. La segunda definicin es preferible si el tiempo entre el principio y el final de las respuesta es grande. El tiempo de respuesta de usuarios interactivos en un sistema de tiempo compartido sera el intervalo entre pulsar la ltima tecla y recibir el ltimo carcter de la respuesta del sistema. Para un sistema batch, la respuesta el medida por el tiempo de ida y vuelta (turnaround time), que es el tiempo entre el envo de un trabajo batch y la completa recepcin de la salida. El tiempo de reaccin: Es el tiempo entre el envo de una peticin y el comienzo de su ejecucin. El tiempo de respuesta del sistema incrementa con la carga. El ratio de tiempo de respuesta con una carga determinada y con la mnima carga se llama stretch factor. Para multiprogramacin, el factor stretch se define como el ratio del tiempo de respuesta con multiprogramacin con respecto al ratio sin multiprogramacin.

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas Respuesta correcta: Productividad


La productividad se define como la tasa (peticiones por unidad de tiempo) a la que las peticiones pueden ser atendidas por el sistema. Para los flujos batch, la productividad es medida en trabajos por segundo. Para sistemas interactivos, la productividad es medida en peticiones por segundo. Para CPUs, la productividad es medida en millones de instrucciones por segundo o millones de operaciones en punto flotante por segundo. Para redes, la productividad se mide en paquetes por segundo o bits por segundo. Para sistemas de proceso de transacciones, la productividad se mide en transacciones por segundo. etc.

ESSII

Tema 2: Evaluacin del rendimiento

13

2.3 Seleccin de mtricas Respuesta correcta: Productividad


Saturacin

Productividad Capacidad utilizable Carga

La productividad del sistema aumenta en funcin de la carga al principio. Al llegar a un umbral (punto terico de saturacin), la productividad deja de crecer. Despus, puede comenzar a decrecer.

Tiempo de respuesta

Carga

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas Respuesta correcta: Productividad


La mxima productividad alcanzable bajo una carga ideal es llamada capacidad nominal del sistema. Para redes de computadores, la capacidad nominal se denomina ancho de banda. A menudo, el tiempo de respuesta con una mxima productividad es demasiado alto como para ser aceptable. Es ms interesante saber la mxima capacidad aceptable sin exceder un tiempo de respuesta predeterminado, que podra ser llamado, capacidad utilizable del sistema. En muchas aplicaciones el punto de inflexin (knee) de la productividad de la curva del tiempo de respuesta es considerada el punto operativo ptimo. Punto de inflexin: Antes del punto de inflexin, el tiempo de respuesta no aumenta significativamente pero la productividad aumenta con la carga. Pero despus de ese punto, el tiempo de respuesta aumenta rpidamente en relacin con la productividad. La productividad en ese punto se llama capacidad de umbral del sistema.

ESSII

Tema 2: Evaluacin del rendimiento

14

2.3 Seleccin de mtricas Respuesta correcta: Eficiencia


El ratio entre la mxima productividad alcanzable (capacidad usable) y la capacidad nominal se llama eficiencia. Por ejemplo, si la mxima productividad de una LAN de 100Mbps es solamente 85Mbps, la eficiencia es 85%. El ratio del rendimiento en un sistema n-procesador y un monoprocesador es llamado eficiencia.

Eficiencia

Nmero de procesadores ESSII Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas Respuesta correcta: Utilizacin


La utilizacin de un recurso es medida como la fraccin de tiempo que el recurso est ocupado sirviendo peticiones. Es el radio de tiempo ocupado y el total de tiempo en un periodo. El tiempo ocioso: El periodo durante el cual un recurso no ha sido usado se llama tiempo ocioso. Los administradores de sistemas estn interesados a menudo en balancear la carga.

ESSII

Tema 2: Evaluacin del rendimiento

15

2.3 Seleccin de mtricas Respuesta incorrecta


Si el sistema funciona incorrectamente, el rendimiento es medido: Clasificando los errores. Determinando la probabilidad de cada clase de errores. Por ejemplo, en el caso de una pasarela: Podramos querer encontrar las posibilidades de errores de un simple bit, de dos bits, etc. Podramos tambin querer determinar la probabilidad de que un paquete solamente se reenve parcialmente. Si el sistema no lleva a cabo el servicio que se le solicita, se dice que est cado, que ha dado un fallo o que no est disponible. Por ejemplo, en el caso de la pasarela: Podra estar no disponible el 0.01% del tiempo debido a un fallo del procesador y un 0.03 debido a un fallo de software.

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas

Servicio no disponible: Disponibilidad


La disponibilidad del sistema se define como la fraccin del tiempo en que el sistema est disponible para atender peticiones del usuario. El tiempo durante el cual el sistema no est disponible se denomina down time. El tiempo durante el cual el sistema est disponible se llama up time.

ESSII

Tema 2: Evaluacin del rendimiento

16

2.3 Seleccin de mtricas Otras mtricas: Ratio coste/prestaciones


El ratio coste/prestaciones es usado comnmente como una mtrica para comparar dos o mas sistemas. Coste: Licencia instalacin y mantenimiento a lo largo de los aos de Hardware y Software. Prestaciones: Se miden en trminos de productividad bajo ciertas restricciones de tiempo de respuesta.

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas Posibles salidas de una peticin de servicio.


Peticin para el servicio i Tiempo de respuesta

Tasa (Productividad)

Correctamente

Recurso (Utilizacin)

Sistema

Hecho Incorrectamente Error j

Probabilidad

Tiempo entre errores

Duracin del evento

Tiempo entre eventos Denegado Evento k

ESSII

Tema 2: Evaluacin del rendimiento

17

2.3 Seleccin de mtricas

La mayora de sistemas ofrecen ms de una mtrica y el nmero de stas crece de manera proporcional al propio sistema. Para muchas de las mtricas, el valor medio es importante. La variabilidad tambin es importante. Para sistemas informticos compartidos por muchos usuarios se deben considerar mtricas individuales y globales. La utilizacin de un recurso, fiabilidad y disponibilidad son mtricas globales. El tiempo de respuesta y la productividad pueden ser medidas para cada individuo.

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas

Normalmente, una decisin que optimiza la mtrica para cada individuo es diferente de la que optimiza la mtrica para todo el sistema. Por ejemplo, en las redes, el rendimiento se mide por la productividad (paquetes por segundo). Si el nmero de paquetes permitidos en el sistema es constante, incrementar el nmero de paquetes de una fuente puede conducir a un incremento en su productividad, pero puede decrementar la de los dems. Por lo tanto, deben ser estudiados tanto la productividad como su distribucin entre los usuarios individuales. Usar solamente la productividad individual o la del sistema puede conducir a situaciones injustas.

ESSII

Tema 2: Evaluacin del rendimiento

18

2.3 Seleccin de mtricas

Consideraciones deseables: Poca variabilidad, no redundancia y completitud. La baja variabilidad ayuda a reducir el nmero de repeticiones requeridas para obtener un nivel de confianza estadstica dado. Las mtricas que son radio de dos variables tienen una larga variabilidad y deberan ser evitadas. No redundancia: Si dos medidas dan la misma informacin, es menos confuso estudiar solamente una. Por ejemplo, en redes de computadores, el tiempo de espera en una cola es igual al cociente de la longitud de cola media y la tasa de llegada. As que estudiar la longitud de cola media adems del tiempo medio de espera puede no dar informacin adicional. Completitud: El conjunto de medidas incluidas en el estudio debe ser completo: Todas las posibles salidas deben estar reflejadas en el conjunto de mtricas.

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas Fijacin de los requisitos de rendimiento


El principal problema abordado por el analista del rendimiento es especificar los requisitos de rendimiento para un sistema que va a adquirirse o ser diseado. Mtodo general: Los requisitos de rendimiento son especificados a partir de los requisitos del sistema.

ESSII

Tema 2: Evaluacin del rendimiento

19

2.3 Seleccin de mtricas Fijacin de los requisitos de rendimiento: Ejemplo


Considerar los siguientes requisitos del sistema: El sistema deber ser eficiente en tanto en el procesado como en la memoria. No deber crear una sobrecarga excesiva. La probabilidad de que la red duplique un paquete, enva un paquete a un destino equivocado o cambia los datos en un paquete debe ser muy baja.

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas Fijacin de los requisitos de rendimiento: Ejemplo


Estos puntos no son aceptables, por que adolecen de estos problemas: No son especficos: No se especifican puntos claros. Se usan palabras cualitativas como bajo, alto, raro y extremadamente pequeo. No es medible: No hay modo de medir un sistema y verificar que se ha alcanzado el requerimiento No aceptable: Los valores numricos de los requisitos, si se especifican, se basan en lo que puede ser logrado o parece suficiente. Si se hace un intento de fijar los requisitos de manera realista, entonces estos pueden llegar a ser tan bajos que pueden ser no aceptables. No realizables: Tambin puede ser que los objetivos sean tan altos que pueden no ser alcanzables. No minuciosos: No se hace ningn intento de especificar todas las posibles salidas.

ESSII

Tema 2: Evaluacin del rendimiento

20

2.3 Seleccin de mtricas Fijacin de los requisitos de rendimiento


Los requisitos deben ser especficos, medibles, aceptables, realizables y meticulosos. No se deben usar expresiones como baja probabilidad y raro. La medibilidad requiere verificacin que los sistemas alcanzan los requisitos. Aceptabilidad y fiabilidad pueden demandar nuevos lmites de configuracin o decisiones de arquitectura para que los requisitos sean lo suficientemente altos como para ser aceptables y bastante bajos como para ser alcanzables. La meticulosidad incluye todas las posibles salidas y modos de fallos. Para cada peticin a un recurso, hay tres posibles respuestas: rendimiento correcto, incorrecto, o no rendimiento. La meticulosidad dicta que los requisitos deben ser fijados para todas las respuestas. Para que los requisitos tengan sentido, hay que especificar lmites en la configuracin, las cargas de trabajo y los entornos.

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas Caso de estudio


Problema: especificar los requisitos de rendimiento para una LAN de alta velocidad. Una LAN proporciona bsicamente el servicio de transportar paquetes a la estacin destino especificada. Dada la peticin de un usuario de enviar un paquete a la estacin destino D, hay tres categoras de salida: Correctamente enviada, incorrectamente enviada y no enviada. Los requisitos para velocidad, fiabilidad, y viabilidad se exponen a continuacin.

Velocidad
El tiempo que toma reenviar un paquete y la tasa a la cual este se reparte es importante. El retardo de acceso a cualquier estacin debe ser menor de un segundo La productividad sostenida ha de ser de al menos 80Mbps

ESSII

Tema 2: Evaluacin del rendimiento

21

2.3 Seleccin de mtricas Caso de estudio


Fiabilidad
Se consideran importantes cinco tipos de modos de error. Cada uno de ellos causa un dao diferente en intensidad y con distinto nivel de aceptacin. La probabilidad de que algn bit sea un error debe ser menor que 10-7 La probabilidad de que cualquier paquete tenga un error (y se enve con indicador de error) debe ser menor del 1%. La probabilidad de que un error sea enviado sin indicacin de error debe ser menor de 10-15 La probabilidad de que un paquete mal enviado debido a un error no detectado en la direccin de destino debe ser menor de 10-18 La probabilidad de que un paquete enviado ms de una vez debe ser menor de 10-5 La probabilidad de perder un paquete en la LAN debe ser menor de 1%.

ESSII

Tema 2: Evaluacin del rendimiento

2.3 Seleccin de mtricas Caso de estudio


Disponibilidad
Se consideran dos modos de falta: El primero era el tiempo perdido debido a reinicializaciones de la red. El segundo era debido a los fallos permanentes. Requisitos: El tiempo medio de reinicio de la LAN debe ser menor de 15ms. El tiempo medio entre inicializaciones de la red debe ser 1min. El tiempo medio de reparar una LAN debe ser menor de un minuto y particiones deben estar operativas durante ese tiempo. Todos los valores numricos especificados encima fueron testeados por modelado analtico, que mostr que eran factibles.

ESSII

Tema 2: Evaluacin del rendimiento

22

Tema 2: Evaluacin del rendimiento

2.4 Errores comunes

ESSII

Tema 2: Evaluacin del rendimiento

2.4 Errores comunes

Ausencia de objetivos Se suele pensar que un modelo puede ayudar a resolver todos los problemas y, sin embargo, no hay modelos generales. Cada modelo o medicin debe ser diseado con un objetivo particular, del cual dependern las mtricas, las cargas de trabajo y la metodologa. Fijar estos objetivos requiere una buena comprensin del problema y es a menudo difcil. Metas sesgadas Las diferentes unidades o estrategias de comparacin pueden sesgar los resultados obtenidos. Enfoque no sistemtico A veces se seleccionan una serie de factores, mtricas, cargas, de manera arbitraria. Sin embargo, es necesario identificar un conjunto completo de objetivos, parmetros, factores, y cargas.

ESSII

Tema 2: Evaluacin del rendimiento

23

2.4 Errores comunes

Anlisis sin comprensin del problema. La definicin del problema puede llevar hasta un 40% del trabajo, mientras que el resto del esfuerzo incluye el diseo de alternativas, de interpretacin de resultados y de presentacin de conclusiones. Medidas de rendimiento incorrectas. Los analistas generalmente eligen las medidas que son ms fciles de obtener en lugar de las ms relevantes. Hay que elegirlas en funcin de los objetivos. Carga de trabajo no representativa La eleccin de la carga de trabajo tiene un impacto significativo en los resultado. La carga usada debe ser, adems, representativa de el tipo de trabajo para el cual se est realizando el estudio.

ESSII

Tema 2: Evaluacin del rendimiento

2.4 Errores comunes

Tcnica de evaluacin equivocada. Hay tres tcnicas de evaluacin: medida, anlisis y simulacin. En cada caso puede ser apropiada alguna de ellas. Los analistas deben tener conocimiento bsico de las tres y emplear la ms conveniente. Obviar parmetros importantes Pasar por alto alguno de los parmetros que influyen en el rendimiento del sistema puede hacer intil el estudio. Ignorar factores. No todos los parmetros tienen el mismo efecto en el rendimiento. Hay que identificar cuales, al ser variados, tienen una mayor incidencia. Los parmetros que son variados se llaman factores.

ESSII

Tema 2: Evaluacin del rendimiento

24

2.4 Errores comunes

Diseo de experimentos inapropiado Diseo experimental: Nmero de medidas o simulaciones que van a ser ejecutadas y los valores de los parmetros usados en cada experimento. Nivel de detalle inapropiado El nivel de detalle usado al modelar un sistema tiene un impacto significativo en la formulacin del problema. Para comparar alternativas que suponen ligeras variaciones de la misma alternativa, un modelo detallado que incorpore dichas variaciones es ms til que uno de alto nivel. En el caso de que se comparen alternativas muy distintas, entonces s que puede ser ms til un modelo de alto nivel.

ESSII

Tema 2: Evaluacin del rendimiento

2.4 Errores comunes

No hacer un anlisis Los estudios de rendimiento no consisten solamente en plantear las sesiones de medida y en obtener los datos, sino que es necesario analizarlos para sacar conclusiones relevantes. No hacer anlisis de la sensibilidad Los resultados pueden se sensibles a la carga de trabajo y a los parmetros del sistema y esto suele ser olvidado. Sin un anlisis de sensibilidad uno no puede estar seguro de si las conclusiones cambiaran si el anlisis hubiera sido llevado a cabo de manera diferente. Ignorar los errores en la entrada Los datos de entrada tienen que estar tan libres de errores como sea posible. A menudo, el parmetro de inters no puede ser medido y se usa otra variable que si que puede serlo para estimarlo.

ESSII

Tema 2: Evaluacin del rendimiento

25

2.4 Errores comunes

Tratamiento no adecuado de outliers. Los valores que son demasiado altos o bajos comparados con la mayora se llaman outliers. Si no son causados por un fenmeno real del sistema deben ser ignorados. Sin embargo, si lo son, deben ser incluidos apropiadamente en los modelos por que ignorarlos producira un modelo invlido. Asumir que no va a haber cambios en el futuro. Hay que tener en cuenta que la carga puede cambiar en el futuro si de lo que se trata es de predecir el rendimiento de un sistema. Ignorar la variabilidad. Si la variabilidad de un parmetro es alta, el uso de la media no sirve para nada.

ESSII

Tema 2: Evaluacin del rendimiento

2.4 Errores comunes

Anlisis demasiado complejo. Siempre son preferibles anlisis sencillos que complejos en el caso de que ambos lleven a la misma conclusin: Navaja de Occam. Es preferible comenzar con modelos o experimentos simples y luego introducir complicaciones. Presentacin de los resultados no adecuada. El objetivo del estudio del rendimiento es ayudar en las decisiones. El analista debe producir resultados no solamente tiles, sino comprensibles por quien deba tomar esas decisiones. Omisin de asunciones y limitaciones. Asunciones y limitaciones del anlisis son omitidas a menudo de el informe final. Esto podra conducir al usuario a la aplicacin del anlisis en otro contexto donde esas asunciones no seran vlidas.

ESSII

Tema 2: Evaluacin del rendimiento

26

2.4 Errores comunes Checklist para evitar errores comunes.


1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Estn definidos correctamente el sistema y los objetivos del estudio? Hay algn sesgo en la definicin de esos objetivos? Se han seguido los pasos de anlisis sistemticamente? Se comprende el problema lo suficiente antes de analizarlo? Son relevantes las medidas de rendimiento para este problema? Es correcta la carga de trabajo para el problema? Es apropiada la tcnica de evaluacin? Est completa la lista de parmetros que afectan a otros parmetros? Se han elegido todos los parmetros que afectan al rendimiento como factores que deben ser variados? Se ha diseado el experimento eficientemente en cuanto al tiempo y resultados? Se est trabajando con el nivel de detalle apropiado? Se estn presentando los datos medidos con anlisis e interpretacin?

ESSII

Tema 2: Evaluacin del rendimiento

2.4 Errores comunes Checklist para evitar errores comunes.


Es correcto el anlisis estadstico? Ha sido hecho un anlisis de sensibilidad? Causaran un cambio significativo en los resultados errores en la entrada? Se han tratado de manera conveniente los outliers? Se han modelado los cambios futuros en el sistema y la carga? Se ha tomado en cuenta la varianza en la entrada? Se ha analizado la varianza de los resultados? Es fcil de explicar el anlisis? Es apropiada para la audiencia la presentacin? Se han presentado los resultados tan grficamente como sea posible? Se han documentado suficientemente las asunciones y limitaciones con respecto al sistema?

ESSII

Tema 2: Evaluacin del rendimiento

27

Tema 2: Evaluacin del rendimiento

2.5 Metodologa general para evaluacin del rendimiento

ESSII

Tema 2: Evaluacin del rendimiento

2.5 Metodologa general para la estimacin del rendimiento.

La mayora de los problemas de rendimiento son nicos. Las mtricas, carga de trabajo y tcnicas de evaluacin usadas para un problema no pueden ser usadas, generalmente, para otro problema. Sin embargo, hay algunos aspectos comunes para todos los proyectos de evaluacin del rendimiento.

ESSII

Tema 2: Evaluacin del rendimiento

28

2.5 Metodologa general para la estimacin del rendimiento. 1. Fijar las metas y definir el sistema.
Como primer paso, han de fijarse los objetivos del estudio y definir los lmites del sistema. Dado el mismo conjunto de hardware y software, la definicin del sistema puede variar dependiendo de los objetivos del estudio: Dadas dos servidores el objetivo puede ser estimar su impacto o el tiempo de respuesta interactivo a los usuarios. Si los dos servidores tienen sistemas de disco diferentes, el objetivo es decidir qu sistema de disco escoger. El servidor sera considerado un sistema y los componentes dentro del servidor seran considerados partes del sistema.

ESSII

Tema 2: Evaluacin del rendimiento

2.5 Metodologa general para la estimacin del rendimiento. 2. Listar los servicios y respuestas.
Cada sistema proporciona una serie de servicios. Por ejemplo, una red de ordenadores permite a sus usuarios enviar paquetes a destinos especficos. Una base de datos responde a consultas. Un procesador lleva a cabo un nmero determinado de instrucciones. Listar todos los servicios y posibles respuestas Por ejemplo, un sistema de base de datos puede responder si una consulta es correcta, incorrecta o ninguna de las dos cosas.

ESSII

Tema 2: Evaluacin del rendimiento

29

2.5 Metodologa general para la estimacin del rendimiento. 3. Seleccionar las mtricas.
Seleccionar el criterio para comparar el rendimiento. Estos criterios se denominan mtricas. En general, las mtricas son relativas a la velocidad, la precisin y la disponibilidad de servicios. El rendimiento de una red, por ejemplo, se mide en funcin de la velocidad (productividad o retardo), precisin (tasa de error) y disponibilidad de la red. El rendimiento de un procesador se mide por la velocidad en la ejecucin de varias instrucciones.

ESSII

Tema 2: Evaluacin del rendimiento

2.5 Metodologa general para la estimacin del rendimiento. 4. Listar los parmetros
Hacer una lista de todos los parmetros que afectan al rendimiento. La lista puede ser dividida en parmetros del sistema y parmetros de la carga. Los parmetros del sistema incluyen tanto software como hardware. Los parmetros de la carga hacen referencia a las demandas de los usuarios.

ESSII

Tema 2: Evaluacin del rendimiento

30

2.5 Metodologa general para la estimacin del rendimiento. 5. Seleccionar los factores que sern estudiados
La lista de parmetros puede ser dividida en dos partes: los que van a variar durante la evaluacin y los que no. Los parmetros que variarn se denominan factores y sus valores se denominarn niveles. En general, la lista de factores, y sus posibles niveles, es ms grande de lo que van a permitir los recursos disponibles. Es mejor comenzar con una lista corta de factores y un nmero pequeo de niveles para cada uno. Si decidimos solamente dos factores: tamao de quantum y nmero de usuarios. Para cada uno de estos valores, podemos elegir solamente dos valores: pequeo y grande. Los parmetros que se espera que tenga un gran impacto en el rendimiento deberan ser seleccionados preferiblemente como factores.

ESSII

Tema 2: Evaluacin del rendimiento

2.5 Metodologa general para la estimacin del rendimiento. 6. Seleccionar la tcnica de evaluacin

Como se ha dicho, hay tres tipos generales de tcnicas para la evaluacin del rendimiento: modelado analtico, simulacin y medida de un sistema real. La seleccin de la tcnica apropiada depende tanto del tiempo y de los recursos disponibles para resolver el problema como del nivel de precisin que se busca.

ESSII

Tema 2: Evaluacin del rendimiento

31

2.5 Metodologa general para la estimacin del rendimiento. 7. Seleccionar la carga de trabajo.
La carga de trabajo consiste en la lista de peticiones de servicio al sistema. Puede ser expresada de modos diferentes: Para el modelado analtico, la carga de trabajo son diversas medidas estadsticas de las peticiones. Para la simulacin, se puede usar una traza de las peticiones medidas en sistemas reales. La carga puede consistir en scripts del usuario que se van a ejecutar en los sistemas. La carga de trabajo debe ser representativa del uso del sistema en condiciones normales. Se necesita medir y caracterizar la carga en esas condiciones para evaluar los modelos.

ESSII

Tema 2: Evaluacin del rendimiento

2.5 Metodologa general para la estimacin del rendimiento. 8. Diseo de los experimentos
Hay que decidir una secuencia de experimentos que ofrezcan la mxima informacin con el mnimo esfuerzo. Es til conducir los experimentos en dos fases: Primera: El numero de factores puede ser largo y el nmero de niveles pequeos. El objetivo es determinar el efecto relativo de varios factores. En la segunda fase, el nmero de factores se reduce y el nmero de niveles de estos factores se incrementa cuando estos tienen un impacto significativo.

ESSII

Tema 2: Evaluacin del rendimiento

32

2.5 Metodologa general para la estimacin del rendimiento. 9. Analizar e interpretar los datos
La salida es diferente cada vez que se ejecuta un experimento. Cuando se comparan dos alternativas, es necesario tener en cuenta la variabilidad de los resultados. La interpretacin resultados de un anlisis es una parte del trabajo del analista. El anlisis produce resultados, pero no conclusiones. Los resultados son la base para que los encargados de tomar las decisiones alcancen conclusiones.

ESSII

Tema 2: Evaluacin del rendimiento

2.5 Metodologa general para la estimacin del rendimiento. 10. Presentacin de los resultados
Los resultados deben ser presentados de un modo que sea comprendido fcilmente. Si es posible, de un modo grfico, sin jerga estadstica. Los grficos deben ser escalados apropiadamente.

ESSII

Tema 2: Evaluacin del rendimiento

33

Explotacin de Sistemas Informticos

FIN

ESSII

Tema 2: Evaluacin del rendimiento

34