Gua para Diseo, Construccin e Interpretacin de Indicadores

Estrategia para el Fortalecimiento Estadstico Territorial

Herramientas estadsticas para una gestin territorial ms efectiva

Gua para Diseo, Construccin e Interpretacin de Indicadores

Para tomar decisiones

Estrategia para el Fortalecimiento Estadstico Territorial

DEPARTAMENTO ADMINISTRATIVO NACIONAL DE ESTADSTICA (DANE) HCTOR MALDONADO GMEZ Director CARLOS EDUARDO SEPLVEDA RICO Subdirector ALFREDO VARGAS ABAD Secretario General Directores Tcnicos EDUARDO EFRAN FREIRE DELGADO Metodologa y Produccin Estadstica BERNARDO GUERRERO LOZANO Censos y Demografa JAVIER ALBERTO GUTIRREZ LPEZ Regulacin, Planeacin, Estandarizacin y Normalizacin NELCY ARAQUE GARCA Geoestadstica ANA VICTORIA VEGA ACEVEDO Sntesis y Cuentas Nacionales CAROLINA GUTIRREZ HERNNDEZ Difusin, Mercadeo y Cultura Estadstica

Direccin de Regulacin, Planeacin, Estandarizacin y Normalizacin (DIRPEN) Javier Alberto Gutirrez Lpez Coordinacin tcnica: Ana Zoraida Quintero Gmez Equipo tcnico: Melba Rubiano Brez, Andrs Felipe Salazar Cuellar, Ana Mara Arias Daz, Ricardo Valenzuela Gutirrez Diseo y diagramacin: Sandra Ximena Gallego Torres Edicin: Direccin de Difusin, Mercadeo y Cultura Estadstica

CONTENIDO Pg.

PRESENTACIN INTRODUCCIN 1. IMPORTANCIA Y USOS DE LA INFORMACIN 2. INDICADORES: GENERALIDADES 2.1 Definicin 2.2 Objetivos de un indicador 2.3 Tipologa de indicadores 2.3.1 Indicadores segn medicin 2.3.2 Indicadores segn nivel de intervencin 2.3.3 Indicadores segn jerarqua 2.3.4 Indicadores segn calidad 3. CONSTRUCCIN DE INDICADORES 3.1 Formulacin del problema: qu se quiere medir? 3.2 Definicin de las variables 3.3 Seleccin de indicadores y calidad de los datos 3.3.1 Criterios para la seleccin de indicadores 3.3.2 Criterios relacionados con la calidad estadstica 3.3.3 Criterios relacionados con la utilidad y comprensin de los indicadores para el usuario 3.4 Diseo del indicador 3.4.1 Identificacin del contexto 3.4.2 Determinacin de usos y actores

7 9 11 13 13 14 15 15 16 17 18 21 22 22 23 24 25 25 25 25

3.4.3 Identificacin de fuentes de informacin y procedimientos de recoleccin y manejo de la informacin 26 3.4.4 Definicin de responsabilidades 28 3.4.5 Documentacin del indicador 29 4. ELEMENTOS PARA LA INTERPRETACIN DE INDICADORES 4.1 Las variables que estn en el numerador y en el denominador 4.2 Las definiciones y contenidos BIBLIOGRAFA ANEXO 31 31 32 35 37

PRESENTACIN

El Departamento Administrativo Nacional de Estadstica (DANE), como coordinador del Sistema Estadstico Nacional (SEN) y en el marco del proyecto de Planificacin y Armonizacin Estadstica, dise la Estrategia para el Fortalecimiento Estadstico Territorial (EFET), que busca mejorar el conocimiento de la actividad estadstica y as de los procesos de produccin autnoma de estadsticas territoriales bajo estndares DANE basados en referentes internacionales y en la aplicacin de los principios fundamentales de Naciones Unidas para las estadsticas oficiales. Esta iniciativa promueve la capacidad tcnica de los entes territoriales, desde la organizacin y la produccin de informacin estratgica de calidad, mediante acciones que permitan articular esfuerzos, empoderar actores territoriales

y fomentar la participacin en la produccin y difusin de las estadsticas de los municipios y departamentos, y as dar a conocer instrumentos para la gestin y el fortalecimiento de la capacidad tcnica que contribuye al desarrollo de la actividad estadstica y a una mejor comprensin de la realidad econmica, social, demogrfica y ambiental. Su metodologa se basa en la divulgacin, sensibilizacin y capacitacin en instrumentos que apoyan la produccin estadstica con calidad y permiten un mejor aprovechamiento de las estadsticas territoriales. La estrategia capacita y brinda material pedaggico, a travs de la realizacin de seminarios a diversos funcionarios de gobernaciones y alcaldas. Estas acciones contribuyen al desarrollo de la informacin estratgica territorial y por tanto del Sistema Estadstico Nacional.

Gua para Diseo, Construccin e Interpretacin de Indicadores

2
7

En este contexto y consciente de la necesidad de brindar a los usuarios los mejores productos, el DANE, a travs de la EFET, desarroll una serie de cuadernillos denominados Herramientas estadsticas para una gestin territorial ms efectiva. Estos documentos favorecen

la transparencia y credibilidad en la calidad tcnica de las entidades para un mejor entendimiento, comprensin y aprovechamiento de las estadsticas producidas en el contexto de los principios de coordinacin nacional, pertinencia, imparcialidad y acceso equitativo.

Herramientas estadsticas para una gestin territorial ms efectiva

INTRODUCCIN

La informacin estadstica es un elemento fundamental para la toma acertada de decisiones, por tanto, es imprescindible contar con informacin de calidad que permita valorar y medir la realidad econmica y social. Por esta razn, es cada vez ms necesaria la elaboracin de conjuntos de indicadores que ayuden al anlisis del comportamiento de todas las variables de estudio. En este sentido, se debe entender el proceso de produccin de indicadores bajo un esquema estratgico, que implica un proceso dinmico, donde se mantiene un balance adecuado entre los diferentes tipos de indicadores, con el fin de determinar la relacin entre los medios y los fines. En este sentido, segn Llano y Moreno (1995), pretender elaborar sistemas de indicadores que slo sirvan para dar cuenta del estado de la sociedad, es interpretar a los procesos sociales

como estticos, sin involucrar el dinamismo natural de la sociedad. Segn este lineamiento, un sistema de indicadores debe buscar dar cuenta de ambos sucesos, permitiendo en una primera instancia extraer una foto del estado del fenmeno en un momento del tiempo, a partir del cual se elabore un diagnstico que sirva para la formulacin de polticas, planes, programas y proyectos, a las cuales se les haga permanente seguimiento y evaluacin. De esta manera, un sistema de seguimiento y evaluacin basado en indicadores, es una herramienta que permite valorara el nivel de cumplimiento de los objetivos propuestos de un plan, programa o proyecto, para lo cual identifica y selecciona la informacin que permita tomar decisiones, aplicar correctivos y sistematizar experiencias. A su vez, este sistema permite entender y valorar todos los
9

Gua para Diseo, Construccin e Interpretacin de Indicadores

pasos estructurales en el proceso decisorio de una poltica pblica (Quintero, 2000). El presente documento aborda los elementos metodolgicos bsicos que se deben tener en

cuenta en el diseo, construccin e interpretacin de indicadores, con el fin de mejorar el entendimiento del criterio de calidad que presupone el manejo de informacin estadstica para la toma de decisiones.

10

Herramientas estadsticas para una gestin territorial ms efectiva

IMPORTANCIA Y USOS DE LA INFORMACIN

Al introducir este tema, es til abordar las diferencias que existen entre los trminos datos e informacin. Los datos son simplemente unidades de informacin que incluyen percepciones, nmeros, observaciones, hechos y cifras, pero que al estar desligadas de un contexto particular, carecen de sentido informativo. La informacin, es un conjunto organizado de datos procesados, que constituyen un mensaje sobre un determinado fenmeno y proporciona significado

o sentido a una situacin en particular. Los datos se convierten en informacin cuando aportan significado, relevancia y entendimiento, en un tiempo y lugar especfico. Lo que puede ser informacin para una persona o entidad puede ser simplemente irrelevante para otra. El principal desafo de la evaluacin y planificacin es separar los datos que tienen sentido y aportan informacin, para asegurarse de que el anlisis se realice basado en la mejor informacin disponible.

Diagrama 1. Datos e informacin

Datos
Gua para Diseo, Construccin e Interpretacin de Indicadores

Informacin 11

Es necesario cuantificar las actividades que se realizan en el interior de una organizacin, dicha cuantificacin se denomina medicin. Medir es comparar una magnitud con un patrn preestablecido, lo que permitir observar el grado en el que se alcanzan las actividades propuestas dentro de un proceso especfico. Este proceso permite, entre otras cosas, planificar con mayor certeza y confiabilidad, discernir con mayor precisin las oportunidades de mejora de determinados procesos y explicar y analizar el curso de los hechos. Existe la tendencia generalizada a medirlo todo en pro de minimizar la incertidumbre; sin embargo, esto es entender la medicin como un simple proceso de recoleccin de datos, la clave consiste en elegir las variables adecuadas y suficientes que permitan medir y transmitir informacin respecto al objeto de estudio. En tal sentido, una adecuada medicin deber contar con las siguientes caractersticas:
12

Ser pertinente, es decir, que las mediciones que se lleven a cabo sean relevantes y tiles en el tiempo para facilitar las decisiones que sern tomadas sobre la base de tales mediciones. Ser precisa, es decir, que debe reflejar fielmente la magnitud que se quiere analizar, lo cual puede conseguirse a travs de una buena definicin de las caractersticas de las unidades a medir y una adecuada eleccin del instrumento de medicin. Ser oportuna, es decir, que se encuentre disponible en el periodo de tiempo en que la informacin es importante y es relevante para la toma de decisiones, tanto para corregir como para prevenir. Ser econmica, esto se refiere al hecho fundamental de que debe existir una proporcionalidad entre los costos incurridos en la medicin y los beneficios y la relevancia de la medicin.

Herramientas estadsticas para una gestin territorial ms efectiva

2
2.1 DEFINICIN Un indicador es una expresin cualitativa o cuantitativa observable, que permite describir caractersticas, comportamientos o fenmenos de la realidad a travs de la evolucin de una variable o el establecimiento de una relacin entre variables, la que comparada con perodos anteriores, productos similares o una meta o compromiso, permite evaluar el desempeo y su evolucin en el tiempo. Por lo general, son fciles de recopilar, altamente relacionados con otros datos y de los cuales se pueden sacar rpidamente conclusiones tiles y fidedignas. Un indicador debe cumplir con tres caractersticas bsicas: 1. Simplificacin: la realidad en la que se acta es multidimensional, un indicador puede considerar alguna de tales dimensiones (econmica, social, cultural,

INDICADORES: GENERALIDADES

poltica, etc.), pero no puede abarcarlas todas. 2. Medicin: permite comparar la situacin actual de una dimensin de estudio en el tiempo o respecto a patrones establecidos. 3. Comunicacin: todo indicador debe transmitir informacin acerca de un tema en particular para la toma de decisiones. Por ejemplo, el pulso y la temperatura corporal describen el estado de la salud de un individuo; cuando se tiene un registro de estos indicadores que est por fuera de los niveles considerados como normales, es necesario tomar medidas externas para controlar su comportamiento. Este indicador cumple con las tres caractersticas mencionadas: Simplifica, puesto que un valor nico de la temperatura
13

Gua para Diseo, Construccin e Interpretacin de Indicadores

corporal, que puede ser tomado en distintas partes del cuerpo, ser un indicio de una situacin general del organismo, de forma rpida an cuando no identifica especficamente la dolencia o el tipo de enfermedad. Mide, dado que se establece un valor de referencia, permite, si se encuentran valores por encima o por debajo del de referencia, decidir si en el cuerpo se presenta alguna situacin anmala. Comunica, debido a que presenta un claro indicio de una variacin con respecto a una situacin inicial; evidentemente, el resultado de la medicin de la temperatura a travs de un instrumento como el termmetro, ser entendible si se conocen los principios de su medicin (calor del cuerpo, capacitacin de la temperatura en una barra con mercurio, etc.). Por lo tanto, un indicador es una seal de cambios en una realidad para determi14

nados actores; adems siempre todo actor puede valorar por igual un indicador.

2.2 OBJETIVOS DE UN INDICADOR

Los indicadores son herramientas tiles para la planeacin y la gestin en general, y tienen como objetivos principales: Generar informacin til para mejorar el proceso de toma de decisiones, el proceso de diseo, implementacin o evaluacin de un plan, programa, etc. M onitorear el cumplimiento de acuerdos y compromisos. Cuantificar los cambios en una situacin que se considera problemtica. E fectuar seguimiento a los diferentes planes, programas y proyectos que permita tomar los correctivos oportunos y

Herramientas estadsticas para una gestin territorial ms efectiva

mejorar la eficiencia y eficacia del proceso en general.

2.3.1 Indicadores segn medicin Indicadores cuantitativos: este tipo de indicadores son una representacin numrica de la realidad; su caracterstica ms importante es que, al encontrarse valores diferentes, estos pueden ordenarse de forma ascendente o descendente. Ejemplo: el promedio de hijos de un ncleo familiar de estrato 2 en el municipio X para 2001 fue 2,8 hijos y para 2002 fue 2,9. Indicadores cualitativos: es otro instrumento que permite tener en cuenta la heterogeneidad, amenazas y oportunidades del entorno organizacional y/o territorial. Adems, permiten evaluar, con un enfoque de planeacin estratgica, la capacidad de gestin de la direccin y dems niveles de la organizacin. Su caracterstica principal es que su resultado se refiere a una
15

2.3 TIPOLOGA DE INDICADORES

Existen cuatro tipos de clasificaciones comunes en la teora sobre indicadores (segn medicin, nivel de intervencin, jerarqua y calidad). Sin embargo, se debe tener en cuenta que estas clasificaciones no son excluyentes y que en muchos casos se pueden agrupar de formas diferentes dependiendo de las necesidades del proceso estadstico. Como lo explica Vos (1995), en muchos casos es difcil hacer una distincin muy exacta y rgida entre los diferentes tipos de indicadores, y es preferible interpretarlos como una cadena de indicadores que permitan relacionar insumos con resultados en trminos de los objetivos inmediatos de los programas y proyectos y con los efectos ltimos en trminos del impacto sobre un conjunto ms amplio de objetivos en el desarrollo.

Gua para Diseo, Construccin e Interpretacin de Indicadores

escala de cualidades. Los indicadores cualitativos pueden expresarse as: -- Categricos: por ejemplo, bueno, aceptable, regular, malo. -- Binarios: por ejemplo, s, no. 2.3.2 Indicadores segn nivel de intervencin. Hacen referencia a la cadena lgica de intervencin, es decir, a la relacin entre los insumos, los resultados y los impactos; tratan de medir en cunto se acerca a las metas esperadas con los insumos disponibles. Para esto se dispone de cinco tipos de indicadores: 1. Indicadores de impacto: se refieren a los efectos, a mediano y largo plazo, que pueden tener uno o ms programas en el universo de atencin y que repercuten en la sociedad en su conjunto. Ejemplos: crecimiento del PIB, tasa de desempleo, ingreso nacional per cpita, proporcin de la poblacin en pobreza extrema.
16

2. Indicadores de resultado (outcome): se refieren a los efectos de la accin institucional y/o de un programa sobre la sociedad. Ejemplos: porcentaje de nios de 0 a 6 aos vacunados, porcentaje de nios inscritos en educacin primaria, porcentaje de viviendas con conexin a servicio de acueducto, nmero de habitantes beneficiados con la construccin de un nuevo sistema de agua potable. 3. Indicadores de producto (outputs): se refieren a la cantidad y calidad de los bienes y servicios que se generan mediante las actividades de una institucin o de un programa. Ejemplos: nmero de techos construidos en viviendas con relacin al total programado, nmero de tomas de agua potable por cada 1000 habitantes. 4. Indicadores de proceso: se refieren al seguimiento de la realizacin de las actividades

Herramientas estadsticas para una gestin territorial ms efectiva

programadas, respecto a los recursos materiales, personal y/o presupuesto. Este tipo de indicadores describe el esfuerzo administrativo aplicado a los insumos para obtener los bienes y servicios programados. Ejemplos: tiempo de espera para atencin mdica pblica, nmero de alumnos por maestro en escuelas pblicas, nmero de desayunos distribuidos a nios en localidades rurales. 5. Indicadores de insumo: se refiere al seguimiento de todos los recursos disponibles y utilizados en una intervencin. Ejemplos: gasto en atencin mdica bsica, porcentaje de computadores disponibles para uso del programa X, variacin de recursos fsicos. 2.3.3 Indicadores segn jerarqua Indicadores de gestin: este tipo de indicadores tambin son denominados indicadores in-

ternos y su funcin principal es medir el primer eslabn de la cadena lgica de intervencin, es decir, la relacin entre los insumos y los procesos. Aunque este tipo de indicadores se usan cuando se da comienzo al cronograma, se conciben en la etapa de planeacin, cuando para cada situacin plateada se programan tareas, actividades y recursos fsicos, financieros, as como talento humano. Dentro de esta categora, se tienen en cuenta los indicadores administrativos y operativos, esto es, aquellos que miden el nivel o cantidad de elementos requeridos para la obtencin del producto, servicio o resultado. Indicadores estratgicos: permiten hacer una evaluacin de productos, efectos e impactos, es decir, la forma, mtodo, tcnica, propuesta, solucin y alternativa son elementos que pertenecen, bajo el criterio de estrategia, a todo el sistema de seguimiento y evaluacin. En este sentido,
17

Gua para Diseo, Construccin e Interpretacin de Indicadores

los indicadores estratgicos permiten medir los temas de mayor incidencia e impacto.

Estas dos ltimas tipologas se complementan como se observa en el diagrama 2.

Diagrama 2. Interrelacin entre indicadores, segn nivel de resultados y jerarqua

Ms estratgico Pas Visin institucional Objetivos generales de la entidad Objetivos especficos de la entidad Objetivos de las oficinas o dependencias Menos estratgico De proceso Tipologa de indicadores De resultado De producto De impacto

Indicadores de gestin

Indicadores estratgicos

Jerarqua de objetivos

2.3.4 Indicadores segn calidad. Dan cuenta de la dinmica de actividades especficas; stos debern medir la eficiencia y eficacia, de modo que permitan introducir los correctivos necesarios o los cambios requeridos dentro del transcurso del proceso, ya que informan sobre reas crticas del mismo.
18

Indicadores de eficacia: expresan el logro de los objetivos, metas y resultados de un plan, programa, proyecto o poltica. Ejemplo: el gobierno del departamento X tiene proyectado ofrecer 8 000 nuevos subsidios de vivienda para el ao 2004; al finalizar el ao se hizo un

Herramientas estadsticas para una gestin territorial ms efectiva

inventario y se encontr que efectivamente se entregaron 6 500 subsidios. El indicador de cumplimiento es: IC = IC = Meta alcanzada Meta planeada 6 500 8 000 * 100

segmento VIS. El indicador de eficiencia es: IE = Logro alcanzado * 100 Recursos disponibles 5 220 6 500 * 100 = 80,3%

IE =

*100 = 81,25 % Interpretacin: el 80,3% de los subsidios otorgados para vivienda en el departamento X, durante el ao 2004, se entregaron para el segmento de vivienda de inters social (VIS). Indicadores de efectividad: este concepto involucra la eficiencia y la eficacia, es decir, el logro de los resultados programados en el tiempo y con los costos ms razonables posibles. Es la medida del impacto de nuestros productos en el objetivo y el logro del impacto est dado por los atributos que tienen los productos lanzados al objetivo. Ejemplo: El departamento X ha invertido parte de su presupuesto en la inclusin de
19

Interpretacin: las metas propuestas en la entrega de subsidios de vivienda del departamento X, en el ao 2004, se cumplieron en un 81,25%. Indicadores de eficiencia: permiten establecer la relacin de productividad en el uso de los recursos. Ejemplo: el departamento X desea saber cuntos de los subsidios otorgados para vivienda fueron entregados para vivienda de inters social (VIS) durante el ao 2004. Al finalizar el ao se hizo un inventario y se encontr que efectivamente se entregaron 6 500 subsidios, de los cuales 5 220 fueron entregados en el

Gua para Diseo, Construccin e Interpretacin de Indicadores

nios y nias a la educacin bsica. Para saber la efectividad de este programa se busca TA=

saber el impacto de esta medida en la poblacin, para lo cual se mide la tasa de alfabetismo.

Personas mayores de 15 aos que saben leer y escribir * 100 Total poblacin mayor de 15 aos TA= 2 593 400 2 824 560 * 100 = 91,8% el departamento X es alfabeta, es decir, sabe leer y escribir.

Interpretacin: el 91,8% de la poblacin mayor de 15 aos en

20

Herramientas estadsticas para una gestin territorial ms efectiva

CONSTRUCCIN DE INDICADORES

Construir indicadores presupone, ante todo, tratamiento responsable de la informacin relacionada con el tema objeto de estudio. El proceso de elaboracin de un indicador est constituido, en lo fundamental, por cuatro etapas bien definidas, que se describen a continuacin. 3.1 FORMULACIN DEL PROBLEMA: QU SE QUIERE MEDIR? La identificacin del objeto de medicin (poltica, programa, proyecto o problemtica) es el primer aspecto que se debe establecer en un estudio determinado. Los indicadores deben, en principio, proporcionar informacin concreta acerca de dicho objeto; por lo tanto, la informacin y su modo de recoleccin alrededor de l tienen que ser cuidadosamente escogidos, y en el evento en que se realicen preguntas, stas deben ser muy bien formuladas.

El segundo paso consiste en determinar cul es el aspecto especfico que interesa evaluar de dicho objeto de medicin, el cual puede estar relacionados con la formulacin, los insumos, los procesos, los resultados, los impactos, la gestin o los productos. Esta actividad no permite crear dudas frente a lo que se pretende medir y facilita la construccin de un indicador adecuado para aclarar o disminuir las incertidumbres que rodean los problemas planteados. Por ejemplo, si el mercado laboral es el objeto de estudio, el problema planteado puede obedecer al nivel de desempleo y se puede obtener como uno de los resultados, un indicador que observe la baja ocupacin de la poblacin joven. Si el objeto fuera el sector salud y se construye un indicador por causas especficas de enfermedad, el resultado puede ser la
21

Gua para Diseo, Construccin e Interpretacin de Indicadores

enfermedad que est causando el mayor nmero de muertes. 3.2 DEFINICIN DE LAS VARIABLES Una vez definido qu se quiere medir, puede procederse a la elaboracin del indicador, para lo cual se establecen las variables que lo conforman y la relacin entre ellas para que produzcan la informacin que se necesita. Lo que se investiga en una unidad de anlisis1 son sus caractersticas (cualidades), denominadas variables, las cuales pueden modificarse o variar en el tiempo y en el espacio; por ejemplo: edad, gnero, aos de educacin formal, nivel socioeconmico, etc. Las variables, una vez identificadas, deben ser definidas con la mayor rigurosidad posible asig1

nndole un sentido claro, para evitar que se originen ambigedades y discusiones sobre sus resultados. As mismo, se debe tener claridad de quin y cmo produce dicha informacin para de esta forma mejorar el criterio de confiabilidad. 3.3 SELECCIN DE INDICADORES Y CALIDAD DE LOS DATOS De modo general, un indicador debe ser de fcil comprensin e interpretacin y debe permitir establecer relaciones con otros indicadores utilizados para medir la situacin o fenmeno en estudio, es decir, debe ser comparable en el tiempo y en el espacio. Metodolgicamente, debe ser elaborado de forma sencilla, automtica, sistemtica y continua. El proceso de seleccin de indicadores depende del contexto terico en el que se les requiera, es decir, dependen en buena medida de las caractersticas del proyecto a evaluar o rea de estudio que se vaya a emprender.

La unidad de anlisis se entiende como el elemento mnimo de estudio, observable o medible, en relacin con un conjunto de otros elementos que son de su mismo tipo; por ejemplo, si el tema es anlisis de gestin, la unidad de anlisis es cada uno de los objetivos establecidos seleccionados como estratgicos para el cumplimiento de las metas y objetivos globales de la gestin.

22

Herramientas estadsticas para una gestin territorial ms efectiva

El inicio de tal proceso comprende una reflexin terica, conceptual y metodolgica que se constituyen en la base de las etapas subsiguientes de produccin y anlisis. Existen unos criterios ge-

nerales para la seleccin de indicadores, que tienen en cuenta las caractersticas de los datos que se van a utilizar como soporte, su relacin con el problema de anlisis y la utilidad para el usuario.

Tabla 1. Criterios para seleccin de indicadores

Criterio de seleccin Pertinencia Pregunta a tener en cuenta El indicador expresa qu se quiere medir de forma clara y precisa? El indicador es monitoreable? La informacin del indicador est disponible? Objetivo Busca que el indicador permita describir la situacin o fenmeno determinado, objeto de la accin. Verifica que el indicador sea medible, operable y sensible a los cambios registrados en la situacin inicial Los indicadores deben ser construidos a partir de variables sobre las cuales exista informacin estadstica de tal manera que puedan ser consultados cuando sea necesario. Los datos deben ser medidos siempre bajo ciertos estndares y la informacin requerida debe poseer atributos de calidad estadstica. Que los resultados y anlisis permitan tomar decisiones.

Funcionalidad

Disponibilidad

Confiabilidad

De donde provienen los datos?

Utilidad

El indicador es relevante con lo que se quiere medir?

Fuente: Metodologa lnea base de indicadores, DANE 2009

3.3.1 Criterios para la seleccin de indicadores. Es importante realizar un control de calidad del

indicador, respondiendo a las preguntas planteadas en cada uno de los criterios fundamen23

Gua para Diseo, Construccin e Interpretacin de Indicadores

tales o bsicos que se deben tener en cuenta para la seleccin de indicadores (tabla 1). Si se responde de forma afirmativa a todas las preguntas, el indicador ser adecuado, de lo contrario se debe considerar la posibilidad de construir indicadores adicionales y someterlos al mismo control de calidad.

3.3.2 Criterios relacionados con la calidad estadstica. La calidad estadstica es fundamental para obtener buenos indicadores; por tal razn, es importante hacer un anlisis previo de la calidad de los datos que van a ser utilizados, para lo cual se toman como referencia el cumplimiento de los criterios2 que se presentan en la tabla 2.

Tabla 2. Criterios de seleccin relacionados con la calidad estadstica

Criterio de seleccin Relevancia Credibilidad Objetivo Depende del grado de utilidad para satisfacer el propsito por el cual fue buscada por los usuarios. Evala si los indicadores estn soportados en estndares estadsticos apropiados y que las polticas y prcticas aplicadas sean transparentes para los procedimientos de recoleccin, procesamiento, almacenaje y difusin de datos estadsticos (INE, 2007). Evala la rapidez de localizacin y acceso desde y dentro de la organizacin. [] La accesibilidad incluye la conveniencia de la manera en que los datos estn disponibles, los medios de divulgacin, la disponibilidad de metadatos y servicios de apoyo al usuario (OECD, 2003, p. 9) Evala el cumplimiento del tiempo transcurrido entre su disponibilidad y el evento o fenmeno que ellos describan, pero considerado en el contexto del periodo de tiempo que permite que la informacin sea de valor y todava se puede actuar acorde con ella (OECD, 2003). Evala que el proceso estadstico posea una adecuada consistencia y coherencia y est sujeta a una poltica de revisin previsible.

Accesibilidad

Oportunidad

Coherencia

Fuente: Metodologa lnea base de indicadores, DANE 2009

2

Estos criterios de calidad estadstica estn basados en lo propuesto por la OECD en el documento OECD, Quality framework and guideline for OECD statistical activities. 2003.

24

Herramientas estadsticas para una gestin territorial ms efectiva

3.3.3 Criterios relacionados con la utilidad y comprensin de los indicadores para el usuario. Un indicador debe responder a una necesidad social real que haga

necesaria su generacin y su utilizacin; como tal, debe cumplir con requisitos mnimos para su entendimiento e interpretacin por parte de los usuarios (tabla 3).

Tabla 3. Criterios de seleccin relacionados con utilidad y comprensin

Criterio de seleccin Aplicabilidad No redundancia Objetivo Debe responder a una necesidad real que haga necesaria su generacin y su utilizacin. Debe expresar por s mismo al fenmeno sin ser redundante con otros indicadores. Existe la posibilidad que dos indicadores se encuentren altamente correlacionados, esto hace que la informacin contenida en estos sea muy similar, lo cual indicara la posibilidad de utilizar uno de ellos. En lo posible, se debe construir un solo indicador por proceso objeto de medicin. Debe ser fcil de entender para todos, especialistas y no especialistas. Debe ser comparable en el tiempo siempre y cuando utilice como base la misma informacin. Tambin debe ser comparable con otras regiones o pases. La evolucin de un indicador est determinada por los cambios que ocurran en la informacin que la sustenta. Debe ser mensurable inmediatamente se tiene disponible los datos que interrelaciona. Debe construirse en el corto plazo para facilitar la evaluacin y el reajuste de los procesos para alcanzar las metas.

Interpretabilidad Comparabilidad

Oportunidad

Fuente: Metodologa lnea base de indicadores, DANE 2009

3.4 DISEO DEL INDICADOR 3.4.1 Identificacin del contexto. Se debe tener un conocimiento actualizado del contexto

social, poltico, jurdico y econmico de la unidad de anlisis. 3.4.2 Determinacin de usos y actores. Se deben determinar
25

Gua para Diseo, Construccin e Interpretacin de Indicadores

los usos especficos que tendr el indicador y sealar los actores que requieren esa informacin. 3.4.3 Identificacin de fuentes de informacin y procedimientos de recoleccin y manejo de la informacin. Se deben identificar las fuentes de informacin y sus caractersticas, as como los procedimientos ms adecuados de recoleccin y manejo de la informacin (La informacin est disponible? En qu formato se encuentra o cul sera el formato en el que deseara que se encontrara? Qu mtodos utilizara para recolectar la informacin?). Dichas fuentes pueden ser el sistema de informacin de la entidad, registro de informacin sobre la implementacin de procesos para el logro de metas y cumplimento de compromisos, informacin estadstica, instrumentos de medicin elaborados especialmente para medir resultado o estudios de tipo cuantitativo o cualitativo.
26

Para poder realizar el anlisis y seguimiento adecuado de las situaciones mediante la utilizacin de los indicadores, se requiere tener acceso y disponibilidad a datos econmicos, sociales, polticos y ambientales de alta calidad. Por consiguiente, se deben tener en cuenta tres aspectos fundamentales durante el proceso de recoleccin de datos: 1. Dnde se producen los datos? 2. Cmo se captan o recolectan? 3. Cmo fluyen? No basta con tener una base de datos, pues en su esencia, una base de datos no necesariamente representa la informacin, pero s constituye el mejor concepto para su materia prima. Para que la materia prima se convierta en informacin, sta tiene que ser revisada, depurada, procesada, organizada y analizada para un fin especifico. Por ser la recoleccin un aspecto crtico, se recomienda tener en cuenta, para el desarrollo de su actividad, los aspectos que se relacionan a continuacin.

Herramientas estadsticas para una gestin territorial ms efectiva

a. Actividades previas a la recoleccin: Evaluacin de la informacin actualmente disponible: una vez definidas las caractersticas de la informacin que se utilizar en la construccin del indicador, el paso a seguir requiere una revisin de los datos disponibles tanto en la propia entidad, como en aquellas entidades que por su naturaleza sean generadoras de los mismos. Tambin es recomendable el mismo procedimiento para la informacin secundaria o aquella que se procesa para obtener los datos necesarios. Se deben establecer y ubicar las fuentes primarias de los datos y las fuentes encargadas de suministrar informacin secundaria, para lo cual se sugiere elaborar un directorio de fuentes, donde se describan claramente los datos de identificacin de cada una y la informacin disponible (variables).

Es importante que durante el proceso de construccin del indicador se prevea y evale la existencia de los datos que servirn de base; si no existen algunos de ellos, se debe evaluar la conveniencia de reformular el indicador utilizando otra informacin disponible, o la de asegurar la produccin de los datos para su construccin. Recopilacin y evaluacin de la informacin secundaria procedente de diversas entidades que tengan que ver con el tema: la informacin secundaria es aquella que se obtiene con base en otra informacin, como proyecciones de poblacin, ndices de precios y otros. Determinacin de la informacin primaria que debe ser recopilada directamente de las fuentes: esta informacin puede obtenerse como resultado de una operacin estadstica: censo, encuesta por muestreo probabilstico o no probabilstico o un registro administrativo.
27

Gua para Diseo, Construccin e Interpretacin de Indicadores

 Definicin de los mtodos de recoleccin, de acuerdo con atributos particulares: existen diversos mtodos de recoleccin de datos: entrevista o consulta directa (en la fuente o a travs de Internet), autodiligenciamiento, correo, telefnicamente, etc. b. Requisitos para la obtencin de datos: en el momento de captar u obtener los datos es necesario tener en cuenta las siguientes recomendaciones: Recolectar los datos de la misma fuente para evitar sesgos causados por efectos de cambios en la metodologa de la medicin. Verificar en la fuente habitual que los datos suministrados sigan la misma metodologa. Los cambios metodolgicos pueden hacer incomparables los resultados estadsticos. Aclarar si los datos en cada periodo recolectado son provisionales o definitivos, de tal
28

forma que se entiendan los resultados derivados de estos. C uando los datos constituyen series temporales de informacin, se deben evaluar los cambios significativos entre un periodo y otro, con el fin de establecer la causa o justificacin que sustente el cambio, con el propsito de disponer de elementos de juicio que faciliten la realizacin de anlisis sobre su evolucin y comportamiento en el tiempo. 3.4.4 Definicin de responsabilidades. Es necesario definir o verificar los responsables de: La produccin de la informacin asociada al indicador. La recoleccin de la informacin. El anlisis de dicha informacin. La administracin de las bases de datos asociadas a dicha informacin.

Herramientas estadsticas para una gestin territorial ms efectiva

 La preparacin de los reportes y la presentacin de la informacin con el indicador. 3.4.5 Documentacin del indicador. Una vez agotadas las fases anteriores, lo que sigue se refiere a la documentacin del indicador. Lo primero es definir de manera concreta y coherente con la unidad de anlisis, todos los elementos que configuran el indicador. Con base en lo anterior, el segundo paso es construir, como instrumento metodolgico de resumen, la ficha tcnica del indicador o metadato3, optimizando el uso y aprovechamiento de la informacin disponible por parte de los usuarios. Los elementos que conforman una ficha tcnica se describen a continuacin: Nombre del indicador: es la expresin verbal, precisa y concreta que identifica el indicador.
3

Sigla: trmino abreviado que representa el nombre del indicador. Objetivo: propsito que se persigue con su medicin, es decir, describe la naturaleza y finalidad del indicador. Definiciones y conceptos: explicacin conceptual de cada uno de los trminos utilizados en el indicador. Mtodo de medicin: corresponde a la explicacin tcnica sobre el proceso para la obtencin de los datos utilizados y la medicin del resultado del indicador. Unidad de medida: es en la que se mide el indicador; por ejemplo; porcentaje, hectreas, pesos, etc. Frmula: expresin matemtica mediante la cual se calcula el indicador. La frmula se debe presentar con siglas claras y que, en lo posible, den cuenta del nombre de cada variable.
29

Registro que informa sobre las propiedades y caractersticas de la informacin estadstica, en este caso, de los indicadores.

Gua para Diseo, Construccin e Interpretacin de Indicadores

 Variables: descripcin de cada variable de la frmula: especificacin precisa de cada una de las variables con su respectiva sigla. Limitaciones del indicador: Qu no mide el indicador? Las limitaciones que el indicador tiene como modelo para medir una realidad a la que es imposible acceder directamente. Fuente de los datos: nombre de las entidades encargadas de la produccin y/o suministro de la informacin que se utiliza para la construccin del indicador y operacin estadstica que produce la fuente. Desagregacin temtica: se refiere al nivel de detalle temtico hasta el cual se puede obtener informacin estadsticamente significativa a partir de los datos disponibles. Desagregacin geogrfica: se refiere al nivel geogrfico hasta el cual se puede obtener informacin estadsticamente
30

significativa; por ejemplo, nacional, departamental, municipal, entre otras. Periodicidad de los datos: frecuencia con que se hace la medicin del indicador en su expresin total. Fecha de informacin disponible: se refiere a la fecha inicial y final de la informacin disponible. Responsable: entidad(es) y dependencia(s) que tendr(n) a su cargo la elaboracin del indicador. Observaciones: incluye las reflexiones y recomendaciones que se consideren pertinentes para la conceptualizacin y comprensin del indicador, adems de sealar la bibliografa de referencia o documentales utilizados para la elaboracin de los conceptos. En el anexo encontrar un ejemplo prctico de documentacin de indicadores (ficha tcnica).

Herramientas estadsticas para una gestin territorial ms efectiva

ELEMENTOS PARA LA INTERPRETACIN DE INDICADORES

mediciones diferentes: ejemplo: la Secretara de Obras Pblicas y Transporte de la Gobernacin del departamento A desea conocer la utilizacin de los vehculos de carga con los que cuenta el departamento en un ao; entonces, el indicador sera ndice de utilizacin vehcular general y sus caractersticas seran las que se muestran en la tabla 4.

Para la interpretacin de los indicadores, se deben tener en cuenta entre otros los siguientes elementos: 4.1 LAS VARIABLES QUE ESTN EN EL NUMERADOR Y EN EL DENOMINADOR a. Cuando el indicador es el resultado de la relacin de dos variables que estn expresadas en

Tabla 4. Caractersticas del ndice de utilizacin vehicular general

Nombre del indicador ndice de utilizacin vehicular general: muestra la forma en que se utilizan, los vehculos dentro del proceso de movilizacin de mercancas en el departamento A Variables que relaciona Cantidad de carga movilizada Nmero de vehculos por configuracin por ao Frmula de clculo Cantidad de carga movilizada / Nmero total de vehculos de carga por configuracin Unidad de medida Toneladas / ao Operacin estadstica Registro del transporte de carga por carretera en el departamento A. Fuente de informacin Grupo de Estudios de Carga Subdireccin Operativa de Transporte Automotor. Ministerio de Transporte.

Gua para Diseo, Construccin e Interpretacin de Indicadores

31

b. Cuando el indicador se expresa en variables que estn expresadas en la misma unidad de medicin: por ejemplo, el porcentaje de las reas recreativas con respecto al total del rea construida en las instituciones educativas, se obtiene por medio del indicador: Porcentaje del rea recreativa: este indicador establece la relacin entre el rea recreativa con respecto al total del rea construida en las instalaciones educativas. Variables: -- Tm2ar: total de metros cuadrados de rea recreativa -- Tm2: total de metros cuadrados de rea construida Frmula:
PAR = PAR = Tm2ar Tm2 = *100 = *100 =8,36%

recreativa en las instalaciones educativas del departamento. 4.2 LAS DEFINICIONES Y CONTENIDOS Las definiciones cambian en el tiempo. Las definiciones cambian en el espacio: mientras en nuestro pas se considera analfabeta a la persona mayor de 15 aos que no sabe leer y escribir, en Suecia se considera a una persona analfabeta cuando tiene 11 aos o ms, lo cual hace que el porcentaje de analfabetismo no sea estrictamente comparable. De dnde proceden las cifras? Qu entidad las recoge?: los objetivos y la metodologa seguida para su recoleccin, depuracin, procesamiento y presentacin. La clasificacin que se d a los indicadores no es excluyente, porque en algunos casos un indicador demogrfico se puede

15 050 180 000

En otras palabras, el 8,36% del rea total construida es para reas

32

Herramientas estadsticas para una gestin territorial ms efectiva

tomar como social, uno social como econmico o viceversa. Las unidades de medida: kilogramos, kilmetros, metros, hectreas, metros cuadrados, galones, litros, porcentaje, miles, millones, etc. Por ltimo, debe tenerse en cuenta que el proceso de seleccin de indicadores relevan-

tes no slo se basa en el diseo, construccin e interpretacin del indicador, sino que tambin presupone un proceso ms extenso en donde se deben evaluar los indicadores, teniendo en cuenta los planes y programas a los cules se quiere tener referencia, y de esta forma poder decidir cules indicadores son estratgicos y cules no. El diagrama 3 muestra este proceso.

Diagrama 3. Proceso para el diseo y construccin de indicadores estratgicos

Evaluacin de planes y programas Plan Nacional de Desarrollo Programas sectoriales de desarrollo Programas especficos Programas operativos anuales y planes de accin

Aplicacin prctica Definicion de objetivos Objetivos del programa Misin, participantes, beneficios, xitos obtenidos, obstculos para el desarrollo integracin con otros programas

Seleccin de dimensiones de medicin S Componentes crtcos de xito (consensos) No Validacin

Construccin de la forma del indicador y ficha tcnica de metadato

Adems, para cada indicador: estado actual, metas y rangos de gestin para su cumplimiento

Verificar si han cubierto las dimensiones de evaluacin de inters

Construccin del indicador

Fuente: DANE

Gua para Diseo, Construccin e Interpretacin de Indicadores

33

El primer paso para disear un indicador estratgico es evaluar los planes y programas de referencia, y con ello verificar la pertinencia de construir el indicador. Despus, es necesario definir los objetivos que se quieren medir. El tercer paso es seleccionar las dimensiones de medicin bus-

cando un consenso respecto a que dicho indicador sea el mejor para medir las dimensiones establecidas. El siguiente paso es la construccin del indicador con su respectiva ficha tcnica. Por ltimo, se debe validar este proceso para poder llevar a la prctica la medicin del indicador.

34

Herramientas estadsticas para una gestin territorial ms efectiva

BIBLIOGRAFA

CEPAL. 2003. Gestin orientada a asegurar la calidad de los datos en los institutos nacionales de estadstica. Segunda reunin de la Conferencia Estadstica de las Amricas, Chile. Charry, J. 1996. Los indicadores de gestin y de resultados en las entidades del Estado. 1. Edicin. Biblioteca Jurdica Dike. Bogot. DANE. 2002. Elementos metodolgicos bsicos para la seleccin, construccin, interpretacin y anlisis de indicadores. SNIE. Bogot. Instituto Nacional de Estadsticas de Chile (INE Chile) 2007. Dimensiones de la calidad segn OECD y Eurostat. Serie Estudios, Nro. 4, Santiago de Chile, noviembre. Llano, A., y Moreno, H. 1995. Metodologa para la conformacin de la lnea de base del programa BIDPlan Pacfico. Departamento Nacional de Planeacin. Bogot.

LORA, E. 1987. Tcnicas de medicin econmica, Siglo XXI editores. OECD. 2003. Quality Framework and Guidelines for OECD Statistical Activities, Version 2003/1. Pfenniger, Mariana. 2004. Indicadores y estadsticas conceptuales: un breve repaso conceptual. Portal Iberoamericano de Gestin Cultural. Espaa. http://www.gestioncultural. org/gc/boletin/pdf/ Indicadores/MPfenniger.pdf PODION. 2000. Planificacin de proyectos y diseo de indicadores. Bogot. Quintero, Vctor M. 2000. Evaluacin de proyectos sociales: construccin de indicadores, FES, Bogot. VOS, Rob. 1995. Hacia el mejoramiento del sistema de indicadores sociales para Amrica Latina. Institute of Social Studies y Banco Interamericano de Desarrollo BID, Washington.
35

Gua para Diseo, Construccin e Interpretacin de Indicadores

ANEXO
Ficha tcnica. Tasa especfica de fecundidad por edad
Nombre del indicador Sigla Objetivo Tasa Especfica de Fecundidad por Edad TEFE Medir el patrn de fecundidad por edad, o sea, de la frecuencia relativa de los hijos dados a luz por mujeres de diferentes edades durante sus aos reproductivos. Mujeres en edad reproductiva. Mujeres entre 15 y 49 aos. Se pueden conformar grupos por edades simples o quinquenales, ejemplo: de 15 a 19; de 20 a 24, etc. Nmero de hijos nacidos vivos. Nmero de nacimientos por cada grupo de mujeres en edad reproductiva. Mtodo de medicin Divisin entre el nmero de hijos nacidos vivos de mujeres de un grupo de edad especfico entre el nmero de mujeres del mismo grupo de edad, por 1000. Nmero de hijos nacidos vivos por cada 1000 mujeres

Definiciones y conceptos

Unidad de medida Frmula Variables

TEFEi =

NHVi NMii

*1000

NHVi : Nmero de hijos vivos de mujeres en el rango de edad i , durante el periodo de referencia. NMii : Nmero de mujeres por rango de edad i, durante el periodo de referencia. No mide los hijos nacidos vivos por las mujeres menores de 15 aos o mayores de 49. NHVi : Estadsticas vitales - DANE NMii : Censos nacionales de poblacin DANE i : rango de edad. Puede ser por edades simples o quinquenales.

Limitaciones del indicador Fuente de los datos Desagregacin temtica

Gua para Diseo, Construccin e Interpretacin de Indicadores

37

Ficha tcnica. Tasa especfica de fecundidad por edad (conclusin)

Desagregacin geogrfica Periodicidad de los datos Fecha de informacin disponible Responsable Observaciones Nacional, departamental, municipal Perodo intercensal, aproximadamente cada 10 aos 1964, 1973, 1985, 1993, 2005. DANE - Direccin de Censos y Demografa Bibliografa: Resultados de los censos nacionales de poblacin en Colombia. ltimos censos: 1964, 1973, 1985, 1993 y 2005.

Fuente: DANE