Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Nacional de Estadística
Metodología
Aseguramiento de la Calidad de la
Información Estadística
Versión 2.0
2011
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
JORGE BUSTAMANTE R.
Director
Directores técnicos
Coordinación Técnica
Ana Zoraida Quintero Gómez.
Equipo Técnico
Hernando Trilleros, Yuri L. Sánchez Gracia, Mónica Patricia Pinzón, Diana Carolina
Torres, Juan Camilo Contreras, Diego López Hernández, Luís Alejandro Montenegro,
Guillermo Moreno, Jesús Alberto Cantillo Vásquez.
3
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
4
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
CONTENIDO
PRESENTACIÓN .................................................................................................................. 8
INTRODUCCIÓN................................................................................................................... 9
1. ANTECEDENTES ........................................................................................................ 11
2. DISEÑO ....................................................................................................................... 14
2.1 OBJETIVOS ........................................................................................................... 14
2.1.1 Objetivo general ............................................................................................... 14
2.1.2 Objetivos específicos........................................................................................ 14
2.2 MARCO DE REFERENCIA .................................................................................... 14
2.2.1 Base conceptual............................................................................................... 14
2.2.2 Referentes Internacionales............................................................................... 17
2.3 DISEÑO DE INSTRUMENTOS .............................................................................. 21
2.3.1 Instrumentos de evaluación .............................................................................. 21
2.3.2 Instrumentos de seguimiento............................................................................ 24
3. PROCESO DE EVALUACIÓN Y CERTIFICACIÓN...................................................... 26
3.1 EQUIPO DE TRABAJO ........................................................................................ 26
3.1.1 Equipo base: .................................................................................................... 26
3.1.2 Comisión de Expertos Independientes (CEI): ................................................... 26
3.2 ESQUEMA DE EVALUACIÓN PARA COLOMBIA ............................................... 27
3.3 ETAPAS DEL PROCESO..................................................................................... 28
3.3.1 Selección de operaciones estadísticas ............................................................. 29
3.3.2 Recolección...................................................................................................... 30
3.3.3 Evaluación........................................................................................................ 32
3.3.4 Certificación...................................................................................................... 46
3.3.5 Seguimiento integral ......................................................................................... 50
4. DOCUMENTACIÓN RELACIONADA............................................................................... 52
GLOSARIO.......................................................................................................................... 55
BIBLIOGRAFÍA.................................................................................................................... 59
ANEXOS
5
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
ÍNDICE DE GRÁFICOS
Pág.
6
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
ÍNDICE DE TABLAS
Pág.
7
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
PRESENTACIÓN
8
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
INTRODUCCIÓN
9
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
10
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
1. ANTECEDENTES
En el año 2000 se inicia el proceso de diseño del Sistema de Gestión de la Calidad del
DANE - SGC. El cual se implementa a partir del año 2002 con la auditoría y certificación
del ICONTEC, renovándose cada tres años.
4
Derogado por el Decreto 1151 de 2000 y este a su vez por el Decreto 262 de 2004.
5
Plan Nacional de Desarrollo 2002 – 2006, Hacia un estado comunitario p.262
11
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Para el 2005, dentro de las metas de Visión Colombia II Centenario: 2019, se afirma:
“Consolidar un Estado eficiente y transparente y un modelo de intervención económica
óptimo”, se establece como meta crear un sistema estadístico y un mapa nacional de
registros, el cual busca articular en forma coherente la producción de información y
facilitar el acceso de los usuarios. En ese contexto, se espera alcanzar los estándares
adecuados de generación de información confiable, oportuna y de uso colectivo.
Así mismo, el primer objetivo trazado por Visión Colombia 20196 pretende: "Convertir el
Estado colombiano en un generador eficiente de información, destinada a promover el
desarrollo y bienestar de la población, a incentivar la participación ciudadana y a
consolidar la democracia", para esto se definieron las estrategias necesarias para adoptar
una política que enmarque el desarrollo de este objetivo. Por lo cual, en julio de 2006 se
creó el Plan Nacional de Información Básica (PLANIB), que definió las metas, objetivos,
herramientas, estrategias, programas, metodologías y recursos, para mejorar la calidad y
confiabilidad de las estadísticas y superar la crisis de información básica.
6
El proyecto propone un plan de acción a través de cinco objetivos estratégicos.
7
Departamento Administrativo Nacional de Estadística – DANE. Decreto Número 3851 de 2006. 02 de
Noviembre de 2006.
8
CANDANE – Centro Andino de Altos Estudios: Proyecto que tiene por finalidad “liderar el mejoramiento
continuo de la calidad de la información básica y de la capacidad de las instituciones para generarla y
difundirla, en los ámbitos nacional e internacional, en especial en el regional andino, mediante la ejecución de
actividades académicas de alto nivel”.
12
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
13
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
2.DISEÑO
2.1 OBJETIVOS
Asegurar la calidad del proceso estadístico dentro del marco de los principios
fundamentales de Naciones Unidas y de los criterios de calidad considerados por el
DANE como pertinentes para cumplir con los requisitos y necesidades de los usuarios y
generar credibilidad, confiabilidad y transparencia en la producción de información
estadística dentro del Sistema Estadístico Nacional – SEN.
• Certificar, las operaciones estadísticas estratégicas que cumplen con los criterios de
calidad.
La historia del término de calidad ha sido muy dinámica desde comienzos del siglo XX,
pues el desarrollo social y económico lo han ido adaptando a sus requerimientos, su
definición esencial se enfoca hacia la satisfacción de las necesidades y el sobrepaso de
las expectativas de los clientes y sus partes interesadas.
Con la evolución del concepto de calidad y las filosofías relacionadas, surge la iniciativa
de promover el desarrollo de estándares internacionales, para facilitar el intercambio a
nivel mundial de bienes y servicios producidos por las organizaciones.
14
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
9
GESTIÓN DE LA CALIDAD DE LOS DATOS EN UN ORGANISMO ESTADÍSTICO. Segunda reunión de la
Conferencia Estadística de las Américas de la Comisión Económica para América Latina y el Caribe.
Santiago de Chile, 18 al 20 de junio de 2003.
15
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
16
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Durante los últimos años, diferentes organismos internacionales han venido trabajando en
el desarrollo de lineamientos que permitan mejorar la calidad en la producción estadística.
Por una parte, el esfuerzo se ha enfocado a la implementación de marcos de calidad
sustentados en los principios fundamentales que rigen la actividad estadística emitidos
por Naciones Unidas. De otro lado, se han desarrollado metodologías que buscan medir
el cumplimiento de requisitos definidos mediante esquemas de evaluación de la calidad
estadística que en algunas ocasiones concluyen en un proceso de certificación.
En este sentido, esta metodología tiene en cuenta los trabajos que en materia de calidad
de la información estadística han desarrollado organismos internacionales como Naciones
Unidas, la Oficina de Estadística de la Comunidad Europea – Eurostat- , el Fondo
Monetario Internacional –FMI-, la Organización para la Cooperación y el Desarrollo
Económico –OCDE- y la Agencia Estadística de Canadá – Statistics Canadá-; asimismo,
considera los ejercicios realizados por países como Reino Unido, Sudáfrica, Francia y
Holanda.
De otra parte, Eurostat, de acuerdo a cada uno de los 15 principios del Código de Buenas
Prácticas, diseñó un cuestionario de autoevaluación “DESAP”, desarrollado por un grupo
10
http://unstats.un.org/unsd/methods/statorg/FP-Spanish.htm
17
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
de trabajo para que los organismos estadísticos de los países comunitarios revisen el
cumplimento de los principios e indicadores del Código durante el primer año de
implementación11.
Para complementar las auto-evaluaciones con una evaluación externa, todos los
organismos de estadística de los países miembros y Eurostat están sujetos a una
revisión de pares. Conforme al Código se evalúan las áreas relacionadas con el entorno
institucional y la difusión de estadísticas, abordando los siguientes principios: (1)
Independencia profesional, (2) Mandato de recogida de datos, (3) Adecuación de los
recursos, (4) Compromiso de calidad, (5) Confidencialidad estadística, (6) Imparcialidad
y objetividad y (15) Accesibilidad y claridad.
Con base en la labor realizada por otras organizaciones internacionales (como FMI,
Eurostat) y las oficinas nacionales de estadística (por ejemplo, Estadísticas Canadá), la
OCDE define el marco de calidad y el procedimiento de evaluación para garantizar la
calidad de las estadísticas.
Una vez finalizado el proceso de revisión por parte de un equipo de pares de los países
miembros, se procede a diseñar un informe sobre la revisión de la calidad para
posteriormente ser aprobado por el comité de estadísticas de la OCDE.
18
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Reino Unido
El Reino Unido, publicó un código de buenas prácticas en el año 2009 para las
estadísticas oficiales con el objetivo de promover la aplicación de los mejores principios,
métodos y prácticas de los productores estadísticos oficiales e incrementar la confianza
en el Sistema Estadístico del Reino Unido. Así mismo, establece una autoridad estadística
encargada de liderar los procesos de evaluación, en los que se examinan
sistemáticamente la evidencia de los productores, usuarios y otros interesados respecto al
Código. Los resultados de esta evaluación se documentan en un informe que sirve para
analizar las fortalezas y debilidades de las actividades estadísticas que se evalúan
cubriendo aspectos que llevan la labor de producción estadística, publicación y difusión13.
19
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
formulario que permite evidenciar el cumplimiento de los criterios del código, revisando
aspectos como:
Sudáfrica
La certificación de las estadísticas elaboradas por los órganos del Estado implica un
procedimiento estándar de evaluación a cargo de un equipo de evaluación de calidad de
los datos, establecida por el Secretario General del Organismo Estadístico de Sudáfrica.
Una vez finalizada la evaluación de los datos, el equipo de evaluación designado debe
presentar un informe sobre la calidad de las estadísticas y las clasifica así:
14
South African Statistical Quality Assessment Framework (SASQAF), Second edition, Statistics South Africa,
2010.
20
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Estadísticas de calidad
Estadísticas aceptables
Estadísticas cuestionables
Estadísticas pobres (deficientes)
En algunos países europeos han elaborado sus propios sistemas de evaluación, a partir
de la adaptación de los principios del Código de Buenas Prácticas de Eurostat. Por
ejemplo, en Francia y Holanda se realiza una evaluación del entorno institucional,
proceso y producción estadística; en Francia la evaluación la realiza un comité de
calidad, mientras que en Holanda se realiza una autoevaluación y posteriormente ésta es
revisada por un comité evaluador. Asimismo para el caso de Francia, se expide un sello
de calidad basado en el cumplimiento de requisitos de calidad.
Este instrumento tiene como objetivo acopiar la información sobre las principales
características de la operación estadística, las cuales son necesarias para realizar la
evaluación de la calidad del proceso estadístico.
Para cumplir este propósito se cuenta con tres versiones del formulario de características
técnicas sobre el proceso de la operación estadística, versiones que se diferencian de
acuerdo al tipo de operación estadística a evaluar. Estas son:
21
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Módulo I. Identificación
Recopila información pertinente a la entidad responsable de la operación estadística:
Nombre de la entidad, dirección, ciudad, teléfono entre otros. De igual forma, cataloga la
operación en una determinada área temática y toma los datos de contacto de la persona
responsable de la operación.
22
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
23
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Los requisitos de calidad15 son las condiciones de calidad establecidas para evaluar el
nivel de calidad de las operaciones estadísticas. Su estructura depende del tipo de
operación estadística y están definidos en tres módulos temáticos: entorno, proceso
estadístico y base de datos. Cada requisito de calidad se encuentra fundamentado en
referentes nacionales e internacionales, según el caso, entre estos se encuentran los
principios fundamentales de las estadísticas oficiales de Naciones Unidas, el código de
buenas prácticas de las estadísticas europeas de Eurostat, documentos con directrices de
la Conferencia Estadística de las Américas CEA- CEPAL, la lista de verificación de las
etapas de la investigación estadística (DANE-DIRPEN); del mismo modo se relacionan
referentes para la evaluación de la base de datos: ISO/IEC 27001:2005, ISO 20252:2006,
ISO/IEC9075, los objetivos de control para la información y la tecnología relacionada
COBIT (siglas en inglés), entre otros.
15
Los formatos de requisitos de calidad para evaluar muestras, censos y registros, se encuentran como
documentos de trabajo. Estos documentos relacionan el requisito y la explicación de este, presenta la
asociación de las preguntas del Formulario de características técnicas, el referente en el que se encuentra
fundamentado y el peso asignado a cada uno para la calificación.
24
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
• Registro de Evidencias
25
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Experto evaluador estadístico: encargado de la revisión del diseño muestral (en caso
de muestreos), revisión del diseño estadístico (en el caso de registros administrativos),
análisis de las técnicas del procesamiento de la información recolectada, validaciones,
imputaciones, controles de consistencia, coeficientes de variación, entre otros.
26
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
27
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Este aparte tiene como objetivo explicar las etapas del proceso de evaluación y
certificación de la calidad estadística detalladas en los siguientes pasos:
1. Selección de las operaciones estadísticas
2. Recolección
3. Evaluación
4. Certificación
5. Seguimiento Integral
•Sensibilización
Cumplimiento de los
• Revisión de la requisitos de calidad
oferta (PENDES) • Obtención de
información
• Importancia para Calif icación Inf orme expertos
Cuentas Nacionales Formulario de calidad concepto previo
Recertificación**
características
y OCDE técnicas de OE
Seguimiento integral
Verificación y
Certificación
evaluación de:
28
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Esta etapa tiene como objetivo seleccionar las operaciones estadísticas que van a ser
vinculadas al proceso de aseguramiento de la calidad. Se realiza a partir del inventario de
oferta del Plan Estratégico Nacional de Estadísticas – PENDES16, y posteriormente, para
elegir el número de operaciones estadísticas a evaluar en el año, se prioriza de acuerdo al
cumplimiento de los siguientes parámetros.
16
El PENDES, se define como un instrumento técnico permanente que identifica la producción estadística
estratégica y los requerimientos de datos más urgentes, necesarios para que la sociedad en general pueda
realizar el seguimiento y evaluación de las políticas, planes y programas orientados al desarrollo del país; y a
través del cual se estiman los costos financieros necesarios para el desarrollo de las actividades estadísticas
estratégicas para el país, facilitando el uso eficiente de los recursos disponibles.
29
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
INSUMOS NO PRODUCTOS
Selección de OE
• Revisión de la oferta
Inventario (PENDES)
Aprobación OE
de OE SI
Comité interno seleccionada
priorizado • Importancia para DANE para asegurar
PENDES Cuentas Nacionales y
OCDE
• Revisión de temas
económicos y sociales de
impacto
3.3.2 Recolección
•Sensibilización
17
El comité Interno DANE está conformado por el director del DANE, el subdirector y asesores.
18
Información sobre el estado actual de la operación estadística, recolectada mediante el “formulario de
características técnicas” para el proyecto de Certificación de la Calidad de la Información Oficial Básica.
30
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
•Aplicación de instrumentos
Esta actividad se realiza mediante una entrevista directa con los responsables de las
operaciones estadísticas a evaluar, en donde se lleva a cabo la aplicación del Formulario
de características técnicas de la operación estadística, el cual se aplica según el tipo de
operación (ver anexos A, B y C), y se acopian los soportes documentales. Durante el
acopio de la información se diligencia el “registro de solicitud de documentos”19 el cual
contiene el listado de la documentación digital o impresa, que es requerida para la
evaluación de la operación estadística.
19
El formato de solicitud de documentos hace parte de los documentos de trabajo del proyecto de
aseguramiento de la calidad estadística.
31
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Formulario de
características
técnicas de OE
3.3.3 Evaluación
32
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
los ingenieros de sistemas del equipo base, son los responsables de la evaluación de la
calidad de la base de datos de la operación estadística, de acuerdo a los criterios de
calidad establecidos. Con base en lo anterior, se establece el plan de trabajo a seguir en
la etapa de evaluación de las operaciones estadísticas. Las actividades que se
desarrollan son:
20
La descripción de los requisitos de calidad se encuentra en la “Guía de evaluación y calificación”, la cual
hace parte de los documentos de trabajo
21
Las “matrices de calificación” para cada tipo de operación estadística hacen parte de los documentos de
trabajo.
33
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Nombre de Atributo de
Requisitos de calidad
requisito calidad a evaluar
La operación estadística se encuentra fundamentada sobre
Marco Normativo Continuidad
una base legal.
Se realiza seguimiento a la calidad del proceso estadístico
Compromiso de Pertinencia y relevancia;
mediante controles y se ejecutan acciones que le permitan
calidad Continuidad
mejorar su calidad.
Los recursos humanos, financieros, físicos e informáticos
Recursos que dispone la entidad, son suficientes y adecuados para la Continuidad
producción de estadísticas.
34
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Nombre de Atributo de
Requisitos de calidad
requisito calidad a evaluar
Necesidades de
Cuenta con procedimientos para detectar las necesidades Pertinencia y
usuarios
de información de los usuarios institucionales. relevancia
(planeación)
Necesidades del sector La operación estadística está acorde con las necesidades Pertinencia y
(planeación) de información del sector. relevancia
Conceptos
Hace uso de conceptos estandarizados teniendo en Coherencia;
estandarizados
cuenta referentes nacionales y/o internacionales. Comparabilidad
(Diseño)
Nomenclaturas y Hace uso de nomenclaturas, clasificaciones y/o
Coherencia;
clasificaciones codificaciones actualizadas y estandarizadas nacional y/o
Comparabilidad
(Diseño) internacionalmente.
Se diseña, documenta y actualiza todo el proceso de la Relevancia y
Documentación operación estadística (diseño, producción, análisis y pertinencia;
(Diseño) difusión) y la documentación se encuentra disponible para Transparencia;
los usuarios. Accesibilidad
El grupo técnico responsable de la operación estadística
Documentación Exactitud;
utiliza una única versión de los diferentes documentos
(Diseño) Coherencia
metodológicos.
Pertinencia y
Pertinencia de la fuente La fuente de información es adecuada frente a las
relevancia;
(Diseño) particularidades de la temática de la operación estadística
Exactitud
Utilidad para políticas
La operación estadística actualmente permite el diseño Pertinencia y
públicas
de políticas públicas o análisis del sector evaluado. relevancia
(Diseño)
Pertinencia y
El diseño de las preguntas del formulario de recolección
Diseño de instrumentos Relevancia;
es coherente frente al fenómeno de estudio y guarda una
(Diseño) Coherencia;
adecuada estructura y secuencia.
Exactitud
Documentación La operación estadística cuenta con protocolos para Transparencia;
(Diseño) incluir y/o eliminar preguntas y/o módulos del formulario. Coherencia
Desgaste en la fuente Se diseñan mecanismos o procesos para minimizar el
Exactitud
(Diseño) desgaste a las fuentes de información.
Relevancia y
pertinencia;
Problemas de Se conocen los problemas que la operación estadística
Exactitud;
recolección presenta en el proceso de recolección y se cuenta con
Oportunidad y
(Ejecución) planes que orienten a los responsables para su solución.
puntualidad
Coherencia
Completitud Se garantiza que la información recolectada es correcta y Exactitud;
(ejecución) completa. Coherencia
Control flujo de la Se cuenta con mecanismos efectivos para controlar la
Exactitud
información pérdida de información en las diferentes etapas del
35
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Nombre de Atributo de
Requisitos de calidad
requisito calidad a evaluar
(Ejecución) proceso estadístico (recolección, crítica y procesamiento)
Captura El sistema de captura permite validar la consistencia de
Exactitud
(Ejecución) los datos recolectados.
Se informa a las fuentes y a los usuarios de la
Información al usuario Exactitud;
información, los objetivos de la operación estadística y los
(Ejecución) Transparencia
principios de confidencialidad.
Relevancia y
Se identifican los problemas que presenta la operación pertinencia;
Problemas de
estadística en el procesamiento de la información y se Exactitud;
procesamiento
cuenta con planes que orienten a los responsables para Oportunidad y
(Ejecución)
su solución. puntualidad
Coherencia
Critica de la información Se evalúan y validan los datos, se conoce el origen de los Exactitud;
(Ejecución) errores y se corrigen los que son detectados. Coherencia
Relevancia y
pertinencia;
Se identifican los principales problemas (si los hay) que
Problemas de análisis Exactitud;
presenta el proceso de análisis de los resultados de la
(Análisis) Oportunidad y
operación estadística.
puntualidad
coherencia
Información coherente Las estadísticas producidas son coherentes con Coherencia;
(Análisis) operaciones similares. Exactitud
Información comparable
Las series de la operación estadísticas son comparables. Comparabilidad
(Análisis)
Documentación de Interpretabilidad;
Los errores en los datos publicados, cuentan con
errores Accesibilidad;
procedimientos para ser divulgados y documentados.
(Difusión y acceso) Transparencia
Pertinencia y
Difusión clara Las estadísticas se difunden de manera clara, permitiendo
relevancia,
(Difusión y acceso) su fácil compresión por parte de los usuarios.
Interpretabilidad
Accesibilidad;
Difusión oportuna Las estadísticas producidas se difunden de manera
Oportunidad y
(Difusión y acceso) oportuna.
puntualidad
Exactitud;
Se identifican las deficiencias que la operación estadística Oportunidad y
Problemas de difusión
tiene en la difusión de la información y se cuenta con puntualidad
(Difusión y acceso)
planes que orienten a los responsables para su solución. coherencia;
Accesibilidad
Difusión de series La operación estadística difunde series históricas de Accesibilidad,
históricas resultados y las diferencias que se puedan presentar en coherencia y
(Difusión y acceso) su publicación están documentadas y se pueden explicar. pertinencia
Acceso Micro datos Se permite el acceso a los usuarios de los microdatos con
Accesibilidad
(Difusión y acceso) fines investigativos y académicos.
Difusión Ficha técnica El metadato y la ficha técnica de la operación estadística
Accesibilidad
(Difusión y acceso) es accesible a todos los usuarios y están publicadas.
Medios de difusión Los resultados de la operación estadística se divulgan por
Accesibilidad
(difusiòn y acceso) diferentes canales de difusión.
36
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Nombre de Atributo de
Requisitos de calidad
requisito calidad a evaluar
Necesidades de Cuenta con procedimientos para detectar las necesidades
Pertinencia y
usuarios de información de los usuarios institucionales.
relevancia
(planeación)
Necesidades del sector La operación estadística está acorde con las necesidades Pertinencia y
(planeación) de información del sector. relevancia
Conceptos Hace uso de conceptos estandarizados teniendo en
Coherencia;
estandarizados cuenta referentes nacionales y/o internacionales.
Comparabilidad
(Diseño)
Nomenclaturas y Hace uso de nomenclaturas, clasificaciones y/o
Coherencia;
clasificaciones codificaciones actualizadas y estandarizadas nacional y/o
Comparabilidad
(Diseño) internacionalmente.
Se diseña, documenta y actualiza todo el proceso de la Relevancia y
Documentación operación estadística (diseño, producción, análisis y pertinencia;
(Diseño) difusión) y la documentación se encuentra disponible para Transparencia;
los usuarios. Accesibilidad
El grupo técnico responsable de la operación estadística
Documentación Exactitud;
utiliza una única versión de los diferentes documentos
(Diseño) Coherencia
metodológicos.
La fuente de información es adecuada frente a las Pertinencia y
Pertinencia de la fuente
particularidades de la temática de la operación estadística relevancia;
(Diseño)
Exactitud
Utilidad para políticas La operación estadística actualmente permite el diseño
Pertinencia y
públicas de políticas públicas o análisis del sector evaluado.
relevancia
(Diseño)
El diseño de las preguntas del formulario de recolección Pertinencia y
Diseño de instrumentos es coherente frente al fenómeno de estudio y guardan una Relevancia;
(Diseño) adecuada estructura y secuencia. Coherencia;
Exactitud
Documentación La operación estadística cuenta con protocolos para Transparencia;
(Diseño) incluir o eliminar preguntas del formulario. Coherencia
Actualización del marco El marco muestral está actualizado y es el adecuado para
Exactitud
(Diseño) el estudio.
El marco muestral no presenta problemas de
Actualización del marco
subcobertura, sobrecobertura, duplicidades ni registros Exactitud
(Diseño)
erróneos.
El tamaño de la muestra es el adecuado para las
Tamaño de muestra
estimaciones que se realizan y al diseño muestral Exactitud
(Diseño)
planteado
Diseño muestral La estrategia de muestreo es eficiente frente a la dinámica
Exactitud
(Diseño) del estudio.
Algoritmos Los algoritmos de selección de la muestra, están acordes
Exactitud
(Diseño) con la documentación presentada.
Criterios de
estratificación Los criterios de estratificación son adecuados Exactitud
(Diseño)
Las fórmulas utilizadas para realizar las estimaciones son
Medición del Error
acordes con el diseño muestral y los algoritmos de Exactitud
(Diseño)
selección, y están documentadas
Se calculan los coeficientes de variación o tasas de error
Medición del Error
para cada una de las estimaciones realizadas y se Exactitud
(Diseño)
documenta la metodología del cálculo de la varianza
37
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Nombre de Atributo de
Requisitos de calidad
requisito calidad a evaluar
estimada
Mantenimiento de
Se documenta adecuadamente la rotación de la muestra
muestra Exactitud
en periodos consecutivos
(diseño)
Control de Sesgo
Se hacen ajustes por no respuesta y se documentan. Exactitud
(Diseño)
Si se realiza reemplazo de las unidades muéstrales
Control de Sesgo
cuando hay pérdida de muestra, este reemplazo Exactitud
(Diseño)
garantiza que no se genere sesgo en las estimaciones.
Desgaste a las fuentes Se diseñan mecanismos o procesos para minimizar el
Exactitud
(Diseño) desgaste a las fuentes de información.
Relevancia y
pertinencia;
Problemas de Se conocen los problemas que la operación estadística
Exactitud;
recolección presenta en el proceso de recolección y se cuenta con
Oportunidad y
(Ejecución) planes que orienten a los responsables para su solución.
puntualidad
Coherencia
Completitud Se garantiza que la información recolectada es correcta y Exactitud;
(ejecución) completa. Coherencia
Control flujo de la Se cuenta con mecanismos efectivos para controlar la
información pérdida de información en las diferentes etapas del Exactitud
(Ejecución) proceso estadístico (recolección, crítica y procesamiento)
Captura El sistema de captura permite validar adecuadamente la
Exactitud
(Ejecución) consistencia de los datos recolectados.
Se informa a las fuentes y los usuarios de la información,
Información al usuario Exactitud;
los objetivos de la operación estadística y los principios de
(Ejecución) Transparencia
confidencialidad.
Relevancia y
Se identifican los problemas que presenta la operación pertinencia;
Problemas de
estadística en el procesamiento de la información y se Exactitud;
procesamiento
cuenta con planes que orienten a los responsables para Oportunidad y
(Ejecución)
su solución. puntualidad
Coherencia
Critica de la información Se evalúan y validan los datos, se conoce el origen de los Exactitud;
(Ejecución) errores y se corrigen los que son detectados. Coherencia
Relevancia y
pertinencia;
Se identifican los principales problemas (si los hay) que
Problemas de análisis Exactitud;
presenta el proceso de análisis de los resultados de la
(Análisis) Oportunidad y
operación estadística
puntualidad
coherencia
Información coherente Las estadísticas producidas son coherentes con Coherencia;
(Análisis) operaciones similares. Exactitud
Información comparable
Las series de la operación estadística son comparables. Comparabilidad
(Análisis)
Documentación de Interpretabilidad;
Los errores en los datos publicados, cuentan con
errores Accesibilidad;
procedimientos para ser divulgados y documentados.
(Difusión y acceso) Transparencia
Publicación tasas de
Se publican medidas de precisión de las estimaciones
error Transparencia
realizadas
(Difusión y acceso)
Pertinencia y
Difusión clara Las estadísticas se difunden de manera clara, permitiendo
relevancia,
(Difusión y acceso) su fácil compresión por parte de los usuarios.
Interpretabilidad;
38
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Nombre de Atributo de
Requisitos de calidad
requisito calidad a evaluar
Accesibilidad
Difusión oportuna Las estadísticas producidas se difunden de manera Oportunidad y
(Difusión y acceso) oportuna. puntualidad
Exactitud;
Se identifican las deficiencias que la operación estadística Oportunidad y
Problemas de difusión
tiene en la difusión de la información y se cuenta con puntualidad
(Difusión y acceso)
planes que orienten a los responsables para su solución. coherencia;
Accesibilidad
Difusión de series La operación estadística difunde series históricas de Accesibilidad,
históricas resultados y las diferencias que se puedan presentar en coherencia y
(Difusión y acceso) su publicación están documentadas y se pueden explicar. pertinencia
Acceso Microdatos Se permite el acceso a los micros datos a los usuarios
Accesibilidad
(Difusión y acceso) con fines investigativos y académicos.
Difusión Ficha técnica El metadato y la ficha técnica de la operación estadística
Accesibilidad
(Difusión y acceso) es accesible a todos los usuarios y están publicadas
Medios de difusión Los resultados de la operación estadística se divulgan por
Accesibilidad
(difusión y acceso) diferentes canales de difusión.
Atributo de
Nombre de
Requisitos de calidad calidad a
requisito
evaluar
Necesidades de Cuenta con procedimientos para detectar las necesidades
Pertinencia y
usuarios de información de los usuarios institucionales.
relevancia
(planeación)
Necesidades del sector La operación estadística está acorde con las necesidades Pertinencia y
(planeación) de información del sector. relevancia
Conceptos Hace uso de conceptos estandarizados teniendo en cuenta
Coherencia;
estandarizados referentes nacionales y/o internacionales.
Comparabilidad
(Diseño)
Nomenclaturas y Hace uso de nomenclaturas, clasificaciones y/o
Coherencia;
clasificaciones codificaciones actualizadas y estandarizadas nacional y/o
Comparabilidad
(Diseño) internacionalmente.
Se diseña, documenta y actualiza todo el proceso de la Relevancia y
Documentación operación estadística (diseño, producción, análisis y pertinencia;
(Diseño) difusión) y la documentación se encuentra disponible para Transparencia;
los usuarios. Accesibilidad
El grupo técnico responsable de la operación estadística
Documentación Exactitud;
utiliza una única versión de los diferentes documentos
(Diseño) Coherencia
metodológicos.
Pertinencia y
Pertinencia de la fuente La fuente de información es adecuada frente a las
relevancia;
(Diseño) particularidades de la temática de la operación estadística
Exactitud
Utilidad para políticas
La operación estadística actualmente permite el diseño de Pertinencia y
públicas
políticas públicas o análisis del sector evaluado. relevancia
(Diseño)
39
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Atributo de
Nombre de
Requisitos de calidad calidad a
requisito
evaluar
Pertinencia y
El diseño de las preguntas del formulario de recolección es
Diseño de instrumentos Relevancia;
coherente frente al fenómeno de estudio y guarda una
(Diseño) Coherencia;
adecuada estructura y secuencia.
Exactitud
Documentación La operación estadística cuenta con protocolos para incluir Transparencia;
(Diseño) o eliminar preguntas del formulario. Coherencia
Marco Censal Se diseña un marco censal adecuado para la operación
Exactitud
(Diseño) estadística.
Desgaste a las fuentes Se diseñan mecanismos o procesos para minimizar el
Exactitud
(Diseño) desgaste a las fuentes de información.
Relevancia y
pertinencia;
Problemas de Se conocen los problemas que la operación estadística
Exactitud;
recolección presenta en el proceso de recolección y se cuenta con
Oportunidad y
(Ejecución) planes que orienten a los responsables para su solución.
puntualidad
Coherencia
Completitud Se garantiza que la información recolectada es correcta y Exactitud;
(ejecución) completa. Coherencia
Cobertura Se realiza una evaluación adecuada sobre la cobertura del
Exactitud
(Ejecución) censo
Control flujo de la Se cuenta con mecanismos efectivos para controlar la
información pérdida de información en las diferentes etapas del proceso Exactitud
(Ejecución) estadístico (recolección, crítica y procesamiento)
Captura El sistema de captura permite validar la consistencia de los
Exactitud
(Ejecución) datos recolectados.
Se informa a las fuentes y a los usuarios de la información,
Información al usuario Exactitud;
los objetivos de la operación estadística y los principios de
(Ejecución) Transparencia
confidencialidad.
Relevancia y
Se identifican los problemas que presenta la operación pertinencia;
Problemas de
estadística en el procesamiento de la información y se Exactitud;
procesamiento
cuenta con planes que orienten a los responsables para su Oportunidad y
(Ejecución)
solución. puntualidad
Coherencia
Critica de la información Se evalúan y validan los datos, se conoce el origen de los Exactitud;
(Ejecución) errores y se corrigen los que son detectados. Coherencia
Relevancia y
pertinencia;
Se identifican los principales problemas (si los hay) que
Problemas de análisis Exactitud;
presenta el proceso de análisis de los resultados de la
(Análisis) Oportunidad y
operación estadística
puntualidad
coherencia
Información coherente Las estadísticas producidas son coherentes con Coherencia;
(Análisis) operaciones similares. Exactitud
Información comparable
Las series de la operación estadísticas son comparables. Comparabilidad
(Análisis)
Documentación de Interpretabilidad;
Los errores en los datos publicados, cuentan con
errores Accesibilidad;
procedimientos para ser divulgados y documentados.
(Difusión y acceso) Transparencia
Pertinencia y
Difusión clara Las estadísticas se difunden de manera clara, permitiendo relevancia,
(Difusión y acceso) su fácil compresión por parte de los usuarios. Interpretabilidad;
Accesibilidad
40
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Atributo de
Nombre de
Requisitos de calidad calidad a
requisito
evaluar
Difusión oportuna Las estadísticas producidas se difunden de manera Oportunidad y
(Difusión y acceso) oportuna. puntualidad
Exactitud;
Se identifican las deficiencias que la operación estadística Oportunidad y
Problemas de difusión
tiene en la difusión de la información y se cuenta con puntualidad
(Difusión y acceso)
planes que orienten a los responsables para su solución. coherencia;
Accesibilidad
Difusión de series La operación estadística difunde series históricas de Accesibilidad,
históricas resultados y las diferencias que se puedan presentar en su coherencia y
(Difusión y acceso) publicación están documentadas y se pueden explicar. pertinencia
Acceso Microdatos Se permite el acceso a los usuarios de los micro datos con
Accesibilidad
(Difusión y acceso) fines investigativos y académicos.
Difusión Ficha técnica El metadato y la ficha técnica de la operación estadística es
Accesibilidad
(Difusión y acceso) accesible a todos los usuarios y están publicadas.
Medios de difusión Los resultados de la operación estadística se divulgan por
Accesibilidad
(difusión y acceso) diferentes canales de difusión.
Fuente: DANE – DIRPEN. Aseguramiento de la Calidad de la Información Estadística. 2011.
− Especificar las reglas de validación que aplican a las variables, para asegurar el
nivel de calidad requerido en la evaluación de la base de datos.
− Realizar la traducción informática de las reglas de validación al lenguaje de
consulta de la base de datos.
− Evidenciar posibles inconsistencias de la base de datos mediante la aplicación de
las validaciones de las reglas del negocio y/o reglas de integridad o de la
estructura del dato.
− Presentar los indicadores de calidad de los datos que se consideran en la
evaluación de las bases de datos y el método de obtención de sus medidas.
− Percibir el grado de madurez del sistema de información que maneja la operación
estadística evaluada.22
− Presentar un informe de hallazgos y recomendaciones.
En la tabla 7 se presentan los requisitos evaluados en este componente para los registros
administrativos, muestreos y censos.
22
Basada en la metodología The Control Objectives for Information and related Technology (COBIT), COBIT
4.1. IT Governance Institute, Dimensiones conceptuales (Procesos de TI, Criterios de Información y Recursos
de TI).
41
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Atributo de
Nombre de requisito Requisitos de calidad calidad a
evaluar
Seguridad Garantiza la seguridad de los datos, por medio de
Accesibilidad
(Entorno Tecnológico) controles y perfiles de acceso, según el tipo de usuario.
Relevancia y
Cuenta con herramientas tecnológicas para algunas o
Infraestructura tecnológica pertinencia;
todas las etapas del proceso: recolección, procesamiento,
(Entorno Tecnológico) Coherencia;
análisis y difusión.
Exactitud
Relevancia y
Realiza uso de las herramientas tecnológicas para
Infraestructura tecnológica pertinencia;
algunas o todas las etapas del proceso: recolección,
(Entorno Tecnológico) Coherencia;
procesamiento, análisis y difusión.
Exactitud
Recuperabilidad Cuenta con procedimientos definidos para realizar
Integridad
(Entorno Tecnológico) respaldo y recuperación de la información producida.
Documentación de la BD
Cuenta con un modelo entidad relación o modelo de datos Coherencia;
(Entorno de Base de
actualizado. Transparencia
Datos)
Documentación de la BD
Coherencia;
(Entorno de Base de Cuenta con un diccionario de datos actualizado.
Transparencia
Datos)
Documentación de la BD
Cuenta con reglas de validación de integridad y
(Entorno de Base de Transparencia
consistencia de datos, documentadas y actualizadas.
Datos)
Sobre el sistema de información y/o herramienta
Integridad y consistencia
informática que maneja la operación estadística se aplican
Exactitud;
de la base de datosreglas de validación de integridad y consistencia de datos,
Integridad y
(Entorno de Base de uso de estándares nacionales y/o internacionales de
consistencia
Datos). nomenclaturas, clasificaciones y categoría de datos.
Indicador de calidad a nivel de campo.
Sobre el sistema de información y/o herramienta
Integridad y consistencia informática que maneja la operación estadística se aplican
Exactitud;
de la base de datos reglas de validación de integridad y consistencia de datos,
Integridad y
(Entorno de Base de uso de estándares nacionales y/o internacionales de
consistencia
Datos). nomenclaturas, clasificaciones y categoría de datos.
Indicador de calidad a nivel de variable.
Sobre el sistema de información y/o herramienta
Integridad y consistencia informática que maneja la operación estadística se aplican
Exactitud;
de la base de datos reglas de validación de integridad y consistencia de datos,
Integridad y
(Entorno de Base de uso de estándares nacionales y/o internacionales de
consistencia
Datos). nomenclaturas, clasificaciones y categoría de datos.
Indicador de calidad a nivel de registro.
Fuente: DANE – DIRPEN. Aseguramiento de la Calidad de la Información Estadística. 2011.
23
La “Guía de evaluación y calificación” y “Guía para la documentación y evaluación de Base de Datos” hace
parte de los documentos de trabajo
42
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Para determinar los periodos a ser evaluados de la base de datos de los censos y
encuestas, se tendrá en cuenta lo siguiente:
Registros administrativos
43
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Así mismo, si el concepto previo de certificación emitido por la CEI no es favorable para la
certificación de la operación estadística evaluada, dicha operación no continua a la
44
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
siguiente etapa del proceso de aseguramiento de la calidad. Sin embargo, la CEI formula
un plan de mejoramiento y el DANE procede a realizar un acompañamiento a la entidad
productora de la operación con el fin de que ésta lleve a cabo la implementación de dicho
plan.
• Plan de mejoramiento
La formulación del plan de mejoramiento inicia con la socialización y validación con los
responsables de la operación estadística, los hallazgos y recomendaciones,24 emitidos por
los expertos evaluadores. En esta socialización se busca definir conjuntamente los
lineamientos sobre las actividades, acuerdos y compromisos que conllevan al
mejoramiento de la información estadística producida y establecer el alcance de la
implementación de las acciones de mejora.
24
Estas recomendaciones son emitidas por los expertos evaluadores y pueden ser generadas a partir de las
falencias encontradas en la producción estadística, ó corresponder a sugerencias dadas a partir de la
experticia y conocimientos de los evaluadores.
25
Nomenclaturas y clasificaciones, metodologías, buenas prácticas, documentación de metainformación,
conceptos, entre otros.
45
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
INSUMOS PRODUCTOS
Evaluación
Cumplimiento de los
requisitos de calidad
• Formulario único
diligenciado. • Matriz de calificación
• Documentación de soporte diligenciada
acopiada • Informe de evaluación
• Muestra de la base de datos expertos: concepto
Medición Informe: previo de certificación
de calidad: Análisis de • Plan de mejoramiento
Calificación expertos formalizado.
Metodologías, manuales,
instructivos, modelos entidad Formulación del Plan
relación , reglas de validación de Mejoramiento
y diccionario de datos.
3.3.4 Certificación
Esta etapa tiene como objetivo certificar las operaciones estadísticas que obtengan el
concepto favorable para la certificación emitido por la CEI, a partir de la evaluación de
calidad realizada. Los productos generados en la etapa de evaluación, dados por el
informe de evaluación, la medición del nivel de cumplimiento de los requisitos de calidad
en la matriz de calificación y los planes de mejoramiento, son presentados ante el comité
certificador del DANE para la aprobación del concepto previo de certificación. Este comité
se encarga de:
46
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Una vez, el comité interno aprueba el concepto de certificación por parte de la CEI, el
equipo base gestiona ante la dirección del DANE el trámite del registro de calidad y la
elaboración de los certificados para las operaciones estadísticas evaluadas.
Tipos de certificación
Dentro del proceso se contemplan tres tipos de certificación los cuales se presentan en la
siguiente tabla.
Tipo de Vigencia de
certificación certificación
A – Excelente Tres años
B – Bueno Dos años
C - Aceptable Un año
Certificación tipo A
De igual manera, la certificación tipo A contiene una serie de obligaciones que consisten
en mantener las condiciones metodológicas y de calidad bajo las cuales se produce la
operación estadística, informar oportunamente al DANE sobre los cambios presentados
en el proceso estadístico, y, en el corto y mediano plazo (no más de tres años),
implementar las acciones de mejoramiento a que haya lugar, según el plan de
mejoramiento establecido.
47
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Certificación tipo B
Las obligaciones que conlleva recibir este tipo de certificación corresponden a mejorar las
condiciones metodológicas y de calidad bajo las cuales se produce la operación
estadística, a través de la implementación del plan de mejoramiento en un plazo no mayor
a dos años, e informar oportunamente al DANE sobre los cambios presentados en el
proceso estadístico.
Certificación tipo C
Este tipo de certificación implica una serie de obligaciones que consisten en mejorar las
condiciones metodológicas y de calidad bajo las cuales se produce la operación
estadística, a través de la implementación del plan de mejoramiento en un plazo no
superior a un año (las acciones de mejoramiento son de alto impacto y por lo tanto su
realización es de pronto cumplimiento), e informar oportunamente al DANE sobre los
cambios presentados en el proceso estadístico.
El certificado está sustentado por el registro de calidad del DANE, el cual documenta los
siguientes acuerdos, ratificados además en la resolución 691 proferida por el DANE el 24
de mayo de 2011:
48
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Por último, es importante resaltar que una vez vencida la certificación otorgada, la entidad
productora deberá iniciar una nueva evaluación de la calidad estadística de la operación,
atendiendo las actualizaciones metodológicas que se hayan realizado en dicho momento.
La renovación de esta certificación se hará previa comunicación de la parte interesada
con seis (6) meses de antelación a la fecha de vencimiento. En el gráfico 5, se presentan
los insumos, actividades y productos de la etapa de certificación.
INSUMOS PRODUCTOS
Certificación
• Certificación
• Registro de certificado
• Compromisos
Co mi té de certificaci ón
• Informe de evaluación
Revisión y validación
expertos: concepto previo
del concepto previo de
de certificación
certificación expertos.
• Plan de mejoramiento
formalizado.
LA BASE DE DATOS
Aprobación del SE INTEGRA EN
concepto de LA ICD
certificación
49
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
26
El “Registro de entrega de evidencias - seguimiento” hace parte de los documentos de trabajo.
27
El “Formato para la documentación y control del seguimiento” hace parte de los documentos de trabajo.
50
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Verificación y
evaluación de:
• Certificación
Implementación
OE certificadas con
• Registro del
certificado de calidad de estándares mejoramiento
•Buenas Prácticas
• Compromisos •PAD continuo en la
•Metodologías
•Conceptos
calidad estadística
•Nomenclaturas y
Clasificaciones
Implementación
del plan de
mejoramiento
•Actividades para
el fortalecimiento
estadístico
51
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
4. DOCUMENTACIÓN RELACIONADA
52
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
11. Requisitos de calidad censos: son las condiciones de calidad establecidas para
evaluar el nivel de calidad del proceso estadístico de las operaciones realizadas
mediante censos.
18. Guía para formulación del plan de mejoramiento: este documento está dirigido a
la CEI, con el fin de proporcionarles elementos para la formulación del plan de
mejoramiento el cual consolida recomendaciones para que el productor de la
operación estadística lleve a cabo su implementación.
53
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
54
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
GLOSARIO
Nota 1. El término "calidad" puede utilizarse acompañado de adjetivos tales como pobre,
buena o excelente.
55
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
31
Fuente: DANE. Sistema Estadístico Nacional SEN. Estandarización de Conceptos. Año 2010.
http://190.25.231.249/aplicativos/sen.
32
Norma Internacional ISO 9000:2005. Sistemas de Gestión de la Calidad. Fundamentos y Vocabulario.
Traducción certificada. Ginebra, Suiza.
56
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
57
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
Serie de datos sobre una acción sujeta a regulación o control obtenidas por una entidad
pública o privada como parte de su función y que resulta de necesidades fiscales,
tributarias u otras, creado con la finalidad de viabilizar la administración de los programas
de gobierno o para fiscalizar el cumplimiento de obligaciones legales de la sociedad
(CEA-II, CEPAL 2003, INEGI 2004).
58
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
BIBLIOGRAFÍA
ISO. Norma Internacional ISO 19011: Directrices para la auditoria de los sistemas de
gestión de la calidad y/o ambiental. Ginebra, Suiza: Derechos reservados de la ISO,
2002.
REINO UNIDO Code of Practice for Official Statistics, UK Statistics Authority, January
2009.
59
Aseguramiento de la Calidad de la Información Estadística
Documento metodológico
60