ANLISISDELADIFUSINDE

EVALUACIONESEXTERNASA
LOSPROGRAMASSOCIALES
Documento Analtico

Coordinador:
M.AntoniodeHaroMeja
Investigadores:
Dr.DavidArellanoGault
M.WalterLepore
M.DavidSnchezValds

30 DE JUNIO DE 2008
Contenido

Introduccin ........................................................................................................................... 2
Marco terico y definicin de conceptos ............................................................................ 4
Principales patrones y tendencias ........................................................................................... 9
Mejores prcticas encontradas ............................................................................................. 13
Conclusiones ........................................................................................................................ 16
Bibliografa........................................................................................................................... 18

1 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

Introduccin

En las ltimas dcadas el desarrollo de las Tecnologas de la Informacin y Comunicacin (TICs) ha

permitido nuevas formas de organizar actividades sociales y econmicas entre actores heterogneos y
dispersos geogrficamente. Son innegables los avances que herramientas como Internet ofrecen para
reducir costos y tiempos de comunicacin en el mundo de los negocios; pero, adems, estos y otros
beneficios se han trasladado a otros mbitos, como la administracin pblica. El uso y aplicacin de
las TICs en el sector pblico es comnmente conocido como gobierno electrnico o e-Gob (entre otras
acepciones), que en aos recientes se ha transformado internacionalmente en una herramienta til para
asistir en la construccin de un gobierno eficiente, eficaz, transparente y enfocado en las necesidades
de la ciudadana (Gruening, 2001).
En la actualidad el gobierno electrnico es definido de muy diferentes formas en la literatura, desde
aqullos que lo entienden como la provisin de trmites pblicos mediante Internet, hasta autores que
lo conceptualizan como el uso de cualquier tipo de tecnologa de comunicacin e informacin en el
sector pblico (incluso, telfonos y faxes).1 No obstante estas diferencias, algunos de los resultados
esperados ms recurrentes del gobierno electrnico que se encuentran en la literatura suelen ser: el
mejoramiento de la calidad de los servicios pblicos, eficiencia y productividad en los procesos y
operacin gubernamental, programas y polticas ms eficaces, transparencia y rendicin de cuentas,
fomento a la participacin ciudadana y transformacin de las estructuras gubernamentales (Gil-Garca
y Luna Reyes, 2007; Luna Reyes et al., 2007; Fountain, 2001).
El gobierno electrnico no debe entenderse, sin embargo, como una herramienta aislada, dirigida
nicamente a reconfigurar virtualmente las relaciones entre estado y ciudadana, sino como parte de un
conjunto mayor de reformas impulsadas en el sector pblico a nivel mundial, comnmente agrupadas
bajo el concepto de Nueva Gestin Pblica (NGP). sta consiste, en pocas palabras, en un fenmeno
internacional dirigido a incorporar prcticas financieras y econmicas del sector privado en el proceso
decisorio del sector pblico. El objetivo principal de la NGP consiste en transformar la lgica de
jerarqua y autoridad de la administracin pblica tradicional, en una lgica basada en incentivos de
mercado, contratos y control de resultados (Jones y Kettl, 2003). Bajo la lgica de la NGP, por lo
1
No nos detendremos en este breve espacio a definir y conceptualizar detenidamente el concepto de gobierno electrnico.
Para una revisin de las principales definiciones en la literatura se sugiere ver el trabajo de Gil-Garca y Luna Reyes
(2007). 2 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

tanto, el propsito actual de la actividad administrativa consiste en la induccin de ciertos resultados
(Schedler, 2004, p. 375) y stos, a su vez, se convierten en el objeto principal del control poltico y
administrativo.
Mxico, como muchos pases del mundo occidental, no ha estado ajeno a estas tendencias y tambin
ha adoptado algunos mandatos propios de la NGP; en ciertos casos, transformndolos en ley. Cabe
tener presentes los ejemplos ms emblemticos, como la Ley Federal de Transparencia y Acceso a la
Informacin Pblica Gubernamental y la Ley Federal de Servicio Profesional de Carrera. En cuanto al
control de resultados, en el Decreto de Presupuesto de Egresos de la Federacin (a partir del ao 2006)
se ha establecido la obligacin de evaluar los programas sujetos a reglas de operacin mediante la
contratacin de consultores externos- y de difundir las evaluaciones en las respectivas pginas de
Internet de las dependencias y entidades encargadas de los programas.2
Como parte de esta estrategia orientada al logro de un gobierno enfocado en resultados, transparente y
que rinde cuentas al pblico, el Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social
(CONEVAL) tiene a su cargo la determinacin de los criterios de evaluacin de los programas (junto
con la SHCP y la SFP) y la promocin de la difusin accesible y comprensible- de los resultados de
las evaluaciones. Este documento consiste precisamente en un anlisis de la difusin de las
evaluaciones externas de los programas sociales sujetos a reglas de operacin, para las cuales el
CONEVAL ha diseado una serie de criterios para calificar sus respectivas publicaciones en las
pginas electrnicas de las dependencias y entidades.3
El presente documento se compone de cuatro apartados. En la siguiente seccin de este apartado
introductorio presentamos el objeto de estudio de este trabajo y una breve revisin de literatura para
entender y hacer operativas las definiciones y conceptos que estaremos utilizando en el resto del
documento. En el segundo apartado mostramos las principales tendencias y patrones encontrados sobre
la difusin de las evaluaciones externas de los programas sujetos a reglas de operacin. En el apartado
siguiente realizamos un recorrido por las mejores prcticas en trminos de difusin que se han

2
Artculo 26 del Presupuesto de Egresos de la Federacin para el ejercicio fiscal 2007, publicado en el Diario Oficial de la
Federacin el 28 de diciembre de 2006.
3
Las calificaciones obtenidas por las dependencias y entidades, respecto al cumplimiento de la difusin de las evaluaciones
externas, constituyen uno de los componentes del indicador de Evaluacin y Monitoreo de Programas Federales (EMP).
ste, a su vez, forma parte del ndice de Desempeo Institucional de la Administracin Pblica Federal, que es uno de los
cinco ndices que componen el MIDO (Modelo Integral de Desempeo de rganos de Vigilancia y Control) a cargo de la
SFP. 3 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

presentado en las diferentes entidades y dependencias. Por ltimo, en el cuarto apartado, las
conclusiones de este trabajo.

Marcotericoydefinicindeconceptos

Con el propsito de analizar la forma en que la informacin gubernamental est disponible al pblico a
travs de Internet, resulta conveniente iniciar con la definicin de nuestro objeto de estudio: la difusin
de evaluaciones externas de programas sociales sujetos a reglas de operacin en sitios web de dominio
gubernamental. El trmino difusin se entiende como la accin y efecto de divulgar o propagar.4 No
obstante, cuando hablamos de difusin en formatos electrnicos y a travs de Internet, el trmino
adquiere ciertas particularidades que merece la pena considerar. Entender la difusin electrnica
nicamente como la publicacin de informacin gubernamental en un sitio o pgina web, no resulta
del todo til en trminos sociales (Di Maggio et al., 2001): la publicacin de informacin, por s sola,
no basta para fomentar una comunicacin valiosa (Collins et al., 1997, p. 414) entre gobierno y
ciudadana. Ms importantes para tal fin, destacan los expertos, son la facilidad de encontrar
informacin relevante, as como los motores y tcnicas de bsqueda de informacin (Collins et al.,
1997).
Ante esta aclaracin, es necesario encontrar criterios para conceptualizar la difusin de las
evaluaciones externas, de forma que resulten tiles a los fines de este trabajo. Nos enfrentamos, sin
embargo, a un campo prcticamente inexplorado. No hemos encontrado investigaciones que midan y
evalen la forma en que documentos o informacin gubernamental especfica es puesta a disposicin
del pblico a travs de medios electrnicos. En su mayora, las evaluaciones de este tipo se enfocan en
los portales o sitios web de dependencias o entidades de gobierno; es decir, contextos ms generales
donde se encuentra determinada informacin o servicio pblico (Gant y Gant, 2002; Luna Reyes et al.,
2007; Gil-Garca y Luna Reyes, 2007). A pesar de la falta de investigaciones acadmicas previas de
referencia, consideramos conveniente adaptar algunos criterios de evaluacin utilizados para portales y
sitios web a nuestro objeto de estudio.
Cuando se trata de proveer informacin til a la ciudadana a travs de Internet, la experiencia
internacional muestra dos enfoques diferentes: el de la demanda y el de la oferta (Luna Reyes et al.,

4 4 / 20
Definicin tomada del Diccionario Enciclopdico Larousse 2002.

Anlisis de Difusin de las Evaluaciones a Programas Sociales

2007). Por el lado de la demanda, el nfasis est puesto en el diseo de portales y sitios web. El
enfoque de la oferta, por otra parte, est dirigido a satisfacer las necesidades e intereses de los usuarios,
con base en el entendimiento y el anlisis de sus comportamientos frente a Internet y los principales
usos que le dan a los portales y sitios electrnicos de los gobiernos. J.P. Gant y B.D. Gant (2002) han
intentado conjugar ambos enfoques para evaluar la calidad y funcionalidad de portales de gobierno
utilizando cuatro dimensiones: transparencia, apertura, customizacin y usabilidad.5 Estas dimensiones
tambin han sido retomadas por Luna Reyes et al. (2007) para evaluar cuatro portales de gobiernos
estatales de Mxico; adems, agregaron una quinta dimensin: seguridad y privacidad.
En ambos casos, los autores entienden por transparencia a la publicacin de informacin que permite
a los usuarios comprobar la legitimidad de los contenidos de los portales y la posibilidad de contactar a
los proveedores de informacin. Para medir esta dimensin se utilizan como criterios de evaluacin: la
cantidad y calidad de elementos en el sitio web que permiten identificar las fechas de produccin,
publicacin y actualizacin de informacin, y datos del propietario del contenido y del webmaster del
portal.
La segunda dimensin, apertura, hace referencia a la existencia y disponibilidad de informacin
completa y servicios relevantes para diversos actores sociales. Algunos indicadores utilizados para esta
dimensin son: el nmero de pasos requeridos (por ejemplo, en el nmero de clics) para cumplir con
determinada tarea,6 la cantidad y tipos de servicios disponibles, y la forma en que la informacin
personal sigue al usuario durante el uso del portal.
La customizacin (adaptacin del trmino ingls customization) se propone como la tercera dimensin
para evaluar la funcionalidad y calidad de portales y sitios web. sta intenta capturar el grado de
flexibilidad de las plataformas electrnicas para ajustarse a las necesidades particulares de los usuarios,
as como las opciones que ofrecen para que los mismos usuarios adapten a sus propios gustos e
intereses la presentacin de la informacin y los elementos visuales.
Por otro lado, usabilidad (adaptacin del trmino ingls usability) se refiere a la facilidad para utilizar
los portales; en particular, las opciones que ofrecen a los usuarios para navegar y encontrar
informacin relevante (esta misma dimensin tambin ha sido retomada en otros trabajos similares,

5
El trabajo de Gant y Gant (2002) evala la funcionalidad y los servicios electrnicos disponibles en los portales web de
los 50 estados de la unin americana.
6
En nuestro caso, podramos entender una tarea como la actividad de buscar, encontrar y descargar las evaluaciones
externas a los programas. 5 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

como el de Angoitia, 2007).7 Algunas de las formas para medir la usabilidad de los portales evalan la
existencia de sistemas de mens intuitivos, catlogos o registros de temas, mapas del sitio,
herramientas de bsquedas, vocabulario accesible y el cumplimiento de las recomendaciones W3C,8
entre otras.
La usabilidad adquiere una importancia vital para este trabajo, pues es la dimensin que ofrece un
panorama ms completo del acceso real a la informacin pblica. En trminos de desarrollo de
productos de informacin web, de hecho, la usabilidad ha ido adquiriendo un papel ms relevante que
la arquitectura de la informacin o la gestin de contenidos. 9 Puede ser llevada, incluso, a aspectos de
ms alto nivel como el diseo de navegacin y la estructura hipertextual que facilitan el acceso a los
usuarios (Tramullas Saz, 2002). En pocas palabras, Goto y Cotler (2001, en Tramullas Saz, 2002)
definen usabilidad como la forma real en que un usuario navega, encuentra informacin e interacta
con un sitio web. Es primordial para esta dimensin, entonces, considerar la calidad de uso como
parmetro principal de la usabilidad de herramientas tecnolgicas (Bevan, 1995; Bevan y Curson,
1997). Ms an, la dimensin de usabilidad adquiere importancia significativa cuando hablamos de
informacin, pues sta es inseparable de la aplicacin y es parte activa de la interfaz de usuario
(Tramullas Saz, 2004, p. 9). Es necesario, por lo tanto, avanzar hacia un diseo centrado en el
usuario de los portales y de los productos de informacin digital (Tramullas Saz, 2004). Como
sugiere Orna (2001), resulta necesaria una visin estratgica del producto e integrar el anlisis de
tareas y las necesidades de informacin de los usuarios, junto con el contexto en el que stos se
encuentran. Slo de esta forma es posible alcanzar una efectiva gestin de la informacin en las
organizaciones pblicas (Tramullas Saz, 2004).

7
En sus inicios, la usabilidad estaba exclusivamente enfocada en el diseo y produccin industrial de softwares y
productos, en la ergonoma y en las interfases del usuario en el contexto de la interaccin hombre-mquina (conocida en la
literatura como HCI, human computer interaction). Posteriormente, la usabilidad se volvi un criterio de evaluacin que se
hizo extensivo a otras reas de las tecnologas de la informacin.
8
Las recomendaciones W3C estn dirigidas a facilitar el acceso a informacin en la web a personas con capacidades
diferentes (generalmente este concepto es conocido en la literatura especializada como accesibility), y a garantizar el
acceso a usuarios con tecnologa obsoleta (equipos de cmputos, buscadores en web, etc.). Para medir la usabilidad de los
portales en especial, siguiendo los lineamientos W3C- en algunos casos se emplean programas especficos (algunos
gratuitos, como el WebXACT, propiedad de Watchfire) o tcnicas especialmente diseadas (para ms detalle se sugiere
remitirse al sitio de Usabilitynet).
9
La arquitectura de la informacin (AI) es una disciplina dedicada al diseo estructural de sistemas de informacin y a la
organizacin, recuperacin y presentacin de la informacin mediante el diseo de ambientes intuitivos. La AI hace uso de
las ventajas de la tecnologa aplicada a las ciencias de la informacin para potenciar el uso de documentos digitales (Baeza
Yates et al., 2004). 6 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

La ltima dimensin que presentamos en este espacio, seguridad y privacidad, es la que agregaron
Luna Reyes et al. (2007) a las cuatro dimensiones originalmente propuestas por Gant y Gant (2002).10
sta incluye aspectos de tcnicas de seguridad, privacidad y confidencialidad. Como indicadores de
esta dimensin suelen considerarse la existencia de mtodos para encriptar informacin personal de los
usuarios al realizar trmites con el gobierno, y la publicacin de polticas de privacidad y seguridad
que expliquen al pblico la forma en que sern utilizados sus datos personales.
Habiendo revisado los principales criterios utilizados para evaluar portales y sitios web de gobiernos
(estatales y/o federales, tanto a nivel nacional como internacional), es necesario adaptar algunas de las
cinco dimensiones de anlisis a las particularidades de este trabajo. Necesitamos delimitarlos, por lo
tanto, en trminos de la difusin de evaluaciones externas de programas pblicos en pginas web, de
forma accesible y comprensible (como indica la el Decreto del Presupuesto de Egresos de la
Federacin). De acuerdo con lo mencionado en esta seccin, sugerimos utilizar los elementos que se
presentan en el siguiente cuadro.

Cuadro 1. Dimensiones para evaluar la difusin de las evaluaciones externas de los programas
sujetos a reglas de operacin
Dimensin Descripcin Medicin

Disponibilidad y existencia de las evaluaciones * Publicacin de las evaluaciones externas (informacin completa)
Apertura
externas * Pasos necesarios para encontrar informacin (nmero de clicks)

Legitimidad del contenido de las evaluaciones

* Datos sobre encargado de publicacin y actualizacin de las evaluaciones en las pginas web
Transparencia y posibilidad de contactar a los proveedores de
* Datos sobre fecha de publicacin y actualizacin de las evaluaciones en las pginas web
informacin

* Encontrar las evaluaciones utilizando los bscadores del sitio web

Facilidad para navegar y encontrar las
Usabilidad * Encontrar las evaluaciones utilizando los mapas del sitio web
evaluaciones externas
* Encontrar las evaluaciones utilizando catlogos de temas de la pgina principal del sitio web

Fuente: elaboracin propia

Como puede observarse, de las cinco dimensiones utilizadas para evaluar portales electrnicos de
gobiernos, retomamos slo tres de ellas que fueron adaptadas a nuestro objeto de estudio. De esta
forma, cuando hablamos de difusin estamos haciendo referencia a las tres dimensiones presentadas en
el Cuadro 1, que conjuntamente intentan ofrecer un panorama completo de la forma en que el pblico

10
Gant y Gant (2002) tambin incluyen privacidad y seguridad como elementos sustantivos, aunque lo ubican dentro de la
7 / 20
dimensin de transparencia. Luna Reyes et al. (2007) consideran ms conveniente presentarlos como una quinta dimensin.

Anlisis de Difusin de las Evaluaciones a Programas Sociales

puede acceder a las evaluaciones externas. En el caso preciso de la dimensin de apertura, tomamos en
cuenta que los documentos estn disponibles en la red y el nmero de pasos (clics) que debe dar un
usuario para llegar a la pgina web donde las evaluaciones estn publicadas. En general, los criterios
diseados por el CONEVAL para medir la difusin -y luego asignar un puntaje a los rganos Internos
de Control (OIC) de cada dependencia y entidad encargada de los programas- estn enfocados en este
aspecto. Si bien estos criterios resultan parcialmente tiles, no logran capturar cabalmente la forma en
que son publicadas, buscadas, encontradas y descargadas las evaluaciones.11 Es necesario, por lo tanto,
valorar tambin la legitimidad del contenido de las evaluaciones, mediante la dimensin de
transparencia, y, ms importante an, el grado de facilidad con que un usuario tipo puede encontrar
esas evaluaciones (a travs de la dimensin de usabilidad).
Para finalizar este apartado cabe mencionar las razones por las que hemos dejado fuera de nuestra
propuesta a las otras dos dimensiones de anlisis. La dimensin de seguridad y privacidad no ha sido
incluida dado que no se aplica a nuestro objeto de estudio, sino que es un componente particularmente
importante para la realizacin de trmites mediante los portales web de las dependencias y entidades
de gobierno, y para el manejo de datos personales de los usuarios. La dimensin de customizacin
tampoco se ha considerado pues en el corto y mediano plazo implicara un rediseo a fondo de muchas
pginas de las entidades y dependencias. No es el propsito de este trabajo sugerir reformas inmediatas
en este sentido.

11
Para ms detalles sobre la evaluacin de los criterios diseados por CONEVAL se sugiere remitirse al Documento E que
forma parte de los productos entregables a cargo del equipo consultor. 8 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

Principalespatronesytendencias

En este apartado se muestran los patrones y tendencias ms destacables que se han encontrado al
analizar la difusin de las evaluaciones externas de acuerdo a los criterios diseados por el
CONEVAL.
En trminos generales, tanto a nivel nacional como internacional, no quedan dudas de que el uso de
Internet por parte de gobiernos nacionales y locales ha facilitado a los ciudadanos el acceso a la
informacin pblica. A pesar de estos avances, sin embargo, la presentacin de la informacin, la
calidad de los contenidos y los mtodos para encontrar informacin relevante muestran un alto grado
de heterogeneidad. De acuerdo con las experiencias internacionales, por ejemplo, los portales
electrnicos de gobierno oscilan entre aplicaciones simples -como pginas web nicamente- y
proyectos interorganizacionales ms complejos que buscan altos grados de integracin de la
informacin y de colaboracin entre ciudadana y gobierno (Cook et al., 2004; Fountain, 2001).
No es de sorprenderse, por lo tanto, si en Mxico encontramos el mismo nivel de heterogeneidad que
se observa en las experiencias internacionales. Ms an, cuando observamos la publicacin de
evaluaciones de programas que son operados por muy diversas entidades y dependencias que, adems,
tienen intereses y necesidades muchas veces contrastantes y estn integradas por actores heterogneos
que afectan la toma de decisiones y la implementacin de sus acciones. No hay que dejar de lado, en
este sentido, que la funcionalidad de los portales electrnicos y de los productos de informacin que
ofrecen los gobiernos depende relativamente poco de la tecnologa adoptada por las organizaciones. En
mayor medida, es un reflejo del nivel de integracin de los procesos y servicios subyacentes (y reales)
al interior y entre organizaciones pblicas (Gant y Gant, 2002). Es as como uno de los elementos ms
importantes no reside nicamente en el uso correcto de las TICs, sino tambin en el grado de
compromiso y colaboracin, de recursos compartidos e integracin de procesos entre las diferentes
agencias del aparato burocrtico (Luna Reyes et al., 2007).
Como en todo tipo de reforma en el sector pblico, modificaciones al status quo afectan arreglos
institucionales existentes y la cultura organizacional de cada agencia; el gobierno electrnico no es la
excepcin (Arellano, 2004). Es de esperarse, por lo tanto, que se susciten resistencias para cambiar las
formas de trabajo y las relaciones intra e interorganizacionales a partir de la adopcin de las TICs en el
sector pblico. Encontramos, de hecho, que algunas agencias de gobierno han estado ms abiertas a
9 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

los cambios tecnolgicos y al impacto que han tenido en aspectos organizacionales (mostrando, por
ende, una orientacin ms enfocada en el ciudadano y sus necesidades). Sin embargo, otras
organizaciones han sido ms reticentes a estas transformaciones y, por lo tanto, la disponibilidad de
informacin en sus portales no ha estado dirigida a satisfacer al pblico, sino a cumplir con
disposiciones legales y a evitar sanciones administrativas. En cierta medida, esta situacin puede ser
entendida no slo como una resistencia burocrtica natural, sino tambin como una duda razonable en
relacin a los costos y beneficios que tiene para las organizaciones generar determinados servicios o
productos de informacin. Estamos hablando de costos y beneficios financieros y de recursos
humanos, pero tambin en sentido de la utilidad que este tipo de informacin aporta a la rendicin de
cuentas en trminos ms generales.
En lo que respecta a las organizaciones ms enfocadas en el ciudadano, stas suelen publicar
informacin relevante de forma amigable e intuitiva. Lo que se pretende es que un ciudadano-tipo
pueda encontrar informacin de su inters sin necesidad de conocer la estructura de gobernanza del
organismo pblico o el rea encargada de operar determinado programa. Hemos encontrado algunos
casos en que la informacin se organiza y presenta de acuerdo al lenguaje de un ciudadano comn y
teniendo presente comportamientos tpicos de un usuario frente a una pgina de Internet (las
estructuras mentales, segn Baeza-Yates et al., 2004).
Algunos de los ejemplos ms representativos de este tipo de organizaciones son la Secretara de
Desarrollo Social (SEDESOL) y la Secretara de la Reforma Agraria (SRA). Por otra parte, entre las
entidades sectorizadas, el mejor exponente es la Comisin Nacional para el Desarrollo de los Pueblos
Indgenas (CDI). Casi todos los programas de estas organizaciones, de acuerdo a los criterios
diseados por el CONEVAL, tienen una calificacin superior al 98% de los puntos. Adems, como se
ver en la prxima seccin, no slo la informacin est completa y se accede a ella en pocos pasos,
tambin la forma de encontrar las evaluaciones externas es muy intuitiva y sencilla para el usuario.
El segundo tipo de organizaciones se caracteriza por brindar informacin de forma poco amigable y
clara para el ciudadano, y est ms enfocado en responder a la estructura formal de gobierno y a sus
lineamientos normativos. En el caso de Mxico, como en muchos pases latinoamericanos, no existen
an fuertes presiones externas para cumplir con los principios de usabilidad y acceso a informacin
pblica, al mismo tiempo que las polticas de tecnologas de la informacin no son consideradas una
prioridad (Lunas Reyes et al., 2007). Esta situacin se refleja en muchas pginas web de las entidades
10 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

y dependencias, y en la forma en que ponen a disposicin del pblico las evaluaciones de sus
programas. En ciertos casos, algunas dependencias y entidades parecen estar apenas desarrollando sus
sitios web y, por lo tanto, suelen trasladar la misma terminologa y organizacin internas de las
agencias a sus plataformas electrnicas. Esto suele representar un obstculo para encontrar
informacin que est disponible en los sitios web-, pero que se encuentra escondida tras la
estructura interna de la organizacin y el lenguaje diario y natural de sus miembros (Baeza-Yates et al.,
2004).
Un ejemplo de este tipo de organizaciones es la Secretara de Economa (SE), en particular en lo que
se refiere al uso de vocabulario o nombres poco intuitivos para un usuario-tipo. Dos de sus programas,
Fondo PYME y PROSOFT, publican sus evaluaciones mediante hipervnculos12 que llevan
respectivamente los siguientes ttulos: Informe Definitivo y EECRPDIS. Difcilmente un
ciudadano pueda saber a qu programas corresponden estos archivos, el tipo de evaluacin
(Consistencia y Resultados, Diseo u Otro tipo) y el ao al que corresponden.
En este mismo sentido, sin duda alguna, el caso ms representativo de organizaciones poco enfocadas
en las necesidades de los ciudadanos en materia de informacin es la Secretara de Educacin Pblica
(SEP). En repetidas ocasiones, encontrar las evaluaciones externas de esta dependencia ha sido
prcticamente imposible. Por ejemplo, en la pgina del Programa Escuelas de Calidad (PEC) no se
encuentra la evaluacin ms reciente ah slo est disponible la evaluacin de 2006- y para acceder a
la evaluacin 2007 es necesario entrar a la pgina de la Direccin General de Desarrollo de la Gestin
e Innovacin Educativa (DGDIE) que depende de la Subsecretara de Educacin Bsica. Luego, para
poder descargar la evaluacin hay que hacer clics en los siguientes links: 1) Programas, 2)
Evaluaciones externas, 3) Materiales, y 4) el documento con la evaluacin. Algo similar ocurre con el
Programa de Fortalecimiento de la Educacin Especial y de la Integracin Educativa, donde los
medios ms intuitivos no conducen a la evaluacin. Para encontrarla y descargarla el ciudadano
debera saber que es un programa de educacin bsica y, por lo tanto, necesita remitirse a la
Subsecretara de Educacin Bsica y luego a la DGDIE, en cuya pgina la evaluacin est disponible.
Estos dos programas de la SEP son un claro ejemplo de cmo al publicar las evaluaciones algunas
organizaciones trasladan el manejo de informacin de sus propias estructuras organizacionales internas
a sus respectivas pginas y sitios web. Esta situacin posiblemente sea til para la misma organizacin

12
En este documento utilizamos indistintamente, como sinnimos, los trminos hipervnculo, link y liga. 11 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

en caso de que alguna otra rea de la SEP necesite acceder a este tipo de informacin-; sin embargo,
representa un obstculo para los ciudadanos pues implica (o supone) que deben conocer a qu unidad
administrativa corresponde el programa, quin lo opera y quin es el encargado de publicar las
evaluaciones.
La SEP tambin ha mostrado otros casos aun ms graves, pues no slo es muy difcil encontrar las
evaluaciones, sino que adems la informacin est incompleta o mal presentada; tal es el caso del
Programa Educativo Rural. A continuacin, la cadena de hipervnculos a los que un ciudadano debera
acceder (desde la pgina principal del SEP) para descargar las evaluaciones de este programa: 1)
Educacin por niveles, 2) Educacin Media Superior, 3) Direccin General de Educacin Tcnica
Agropecuaria, 4) Reglas de operacin y Evaluacin del PER 2006-2007, 5) Informe de evaluacin.
Como si fuera poco, luego de este tortuoso camino, la evaluacin 2007 no est publicada. El Programa
de Mejoramiento al Profesorado (PROMEP) tambin ha mostrado fallas de este tipo. Por un lado, la
bsqueda es muy poco intuitiva y hay que acceder a los siguientes links: 1) Becas, 2) Becas de
excelencia, 3) Men para buscar informacin general de becas, 4) PROMEP, 5) evaluaciones externas
del PROMEP y 6) el documento con la evaluacin. Luego, la evaluacin externa est prcticamente
incompleta, se presenta sin apegarse a los lineamientos y criterios diseados por CONEVAL y el
archivo despliega la informacin en un orden confuso (por ejemplo, el ltimo apartado que se incluye
en la evaluacin es un resumen ejecutivo).

12 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

Mejoresprcticasencontradas

Se presentan brevemente en este apartado algunos casos exitosos de dependencias y entidades que han
avanzado satisfactoriamente en la difusin de las evaluaciones a sus programas sociales sujetos a
reglas de operacin.
La Secretara de la Reforma Agraria (SRA) es una de las organizaciones que ms facilita al pblico la
bsqueda de las evaluaciones externas de los programas que dependen de ella o de una entidad
sectorizada. De hecho, es posible acceder a las evaluaciones directamente desde la pgina principal de
la dependencia: en el men de Temas de inters est disponible un hipervnculo intitulado Informes
finales de las evaluaciones de consistencia y resultados. Tambin se pueden encontrar las evaluaciones
si en el men principal de la pgina se accede al link Programas; cada programa, luego, tienen una liga
directa a sus evaluaciones.13 Cabe mencionar, adems, que las evaluaciones se encuentran entrando al
mapa del sitio de SRA y dirigindose al hipervnculo de programas. La pgina principal de SRA, sin
embargo, no dispone de un buscador que ayude a encontrar esta u otra informacin.
La Secretara de Desarrollo Social (SEDESOL) es otra dependencia que concentra de forma
relativamente fcil y gil la informacin de todas las evaluaciones a programas que dependen de su
control directo o indirecto, cuando se trata de sus entidades sectorizadas. Se accede a las evaluaciones
desde el men principal de la pgina de inicio, mediante un hipervnculo a la pgina Programas
sociales. All se encuentran una lista de programas y un link a sus evaluaciones (conduce a la pgina
de Evaluaciones de los programas sociales). En esa pgina est disponible un catlogo de las
evaluaciones divididas por aos (2002-2005, 2006 y 2007) que, a su vez, lleva a otra pgina donde
estn agrupadas segn hayan sido de Diseo o de Consistencia y Resultados. Esta forma de presentar
las evaluaciones resulta til para los usuarios porque no slo es posible identificar fcilmente el
programa evaluado, sino tambin qu tipo de evaluacin fue llevada a cabo y a qu ao corresponde.

13 La forma de presentar la informacin relevante de cada evaluacin difiere segn si el programa es operado centralmente
por la SRA (mediante la Direccin General de Coordinacin) o por una entidad sectorizada. En el primero de los casos
(FAPPA y PROMUSAG) se llega a una pgina donde est la informacin general de la evaluacin y, a parte, la evaluacin
del consultor externo en un archivo pdf. Para encontrar la evaluacin del programa Joven emprendedor rural, operado por
el Fondo de tierras e instalacin del joven emprendedor rural, es necesario acceder al micrositio del Fondo y en su pgina
principal desde el men- se pueden encontrar los resultados de la evaluacin, la cual est dispersa en diferentes archivos
(en pdf). Resulta ms complicado, sin embargo, encontrar la informacin general de la evaluacin. 13 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

Una diferencia con respecto con la pgina de SRA es que para llegar a las evaluaciones de SEDESOL
es necesario un mayor nmero de clics en los hipervnculos disponibles; adems, en la pgina de esta
ltima dependencia no se encuentran las evaluaciones en su catlogo de Temas de inters. Sin
embargo, en contraste con la SRA, la pgina de SEDESOL dispone de un buscador para encontrar las
evaluaciones que, adems, pueden ser fcilmente ubicables a travs del mapa del sitio. Quizs el punto
ms dbil en el caso de SEDESOL es que presenta informacin de las evaluaciones en varios archivos
separados (en pdf), en lugar de agrupar toda la informacin relevante, sean datos generales como
resultados de las evaluaciones, en pocos archivos. Este no es un hecho menor pues, en muchos casos,
la necesidad de descargar varios documentos implica un mayor tiempo de consulta para el usuario.
Aparte, dependiendo del tamao (en bites) de los archivos, de la capacidad de la red y de los equipos
de cmputos, hay ms probabilidad de que se generen problemas durante la descarga y, por lo tanto,
que los usuarios no puedan obtener la informacin deseada (slo por citar dos ejemplos: las
evaluaciones de consistencia y resultados de los programas 3x1 para Migrantes y Vivienda Rural
se componen de 27 y 33 archivos en pdf, respectivamente).
En cuanto a las entidades, la Comisin Nacional para el Desarrollo de los Pueblos Indgenas (CDI)
representa otro caso exitoso. En efecto, es el organismo pblico que ms facilidades ofrece a los
usuarios para acceder a las evaluaciones externas. En todas las pginas del sitio se muestra siempre un
men de Noticias donde se presenta un recuadro que lleva directamente a las evaluaciones externas de
cada uno de los programas; el usuario slo tiene que seleccionar el programa cuya evaluacin desea
ver. Adems, la presentacin visual y grfica de este recuadro permite su fcil identificacin. Luego,
como en casos anteriores, los resultados completos de las evaluaciones suelen venir desagregados en
varios archivos (por lo general, cuatro documentos pdf y uno en zip con las bases de datos), mientras
que la informacin general de la evaluacin se presenta en la misma pgina web desde donde se
descargan los archivos de la evaluacin. Cabe mencionar que no ha sido posible encontrar las
evaluaciones utilizando el mapa del sitio o su buscador. No obstante, en las pginas donde se despliega
el mapa o se muestran los resultados de las bsquedas aparece siempre el men de noticias
mencionado con el vnculo directo a las evaluaciones.
Hasta aqu hemos presentado aquellos casos que consideramos exitosos; es decir, que disponen de
informacin completa sobre las evaluaciones de sus respectivos programas y que facilitan la bsqueda
y descarga de esta informacin a los usuarios. En el caso de SRA y CDI es posible acceder a las
14 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

evaluaciones directamente desde sus respectivas pginas de inicio, lo cual reduce significativamente el
tiempo de bsqueda. Para encontrar las evaluaciones de SEDESOL es necesario dar un mayor nmero
de pasos (mayor cantidad de clics), aunque la forma de agrupar las evaluaciones (divididas por aos y
tipos) es ms amigable para el usuario.
En trminos generales, los casos ms exitosos en materia de difusin de las evaluaciones son aquellos
en que se puede acceder a esta informacin desde la pgina principal de las dependencias o entidades.
Para ello, las experiencias aqu reportadas suelen disponer de dos mecanismos: 1) un hipervnculo que
conduce directamente a las evaluaciones externas o 2) un hipervnculo que lleva a sus programas y
luego a sus respectivas evaluaciones. Tambin hemos considerado como una prctica destacable en
trminos de difusin el hecho que las evaluaciones puedan encontrarse mediante el mapa o el buscador
del sitio.
En cuanto a la presentacin de la informacin, el caso de CDI exhibe una forma muy gil y sencilla
para el usuario. En pocos archivos rene los resultados de las evaluaciones (incluyendo anexos y bases
de datos), mientras que los datos generales completos (desde la unidad administrativa responsable del
programa, hasta el tipo de contratacin de la evaluacin y su costo) se publican en la pgina de
descarga de los documentos de la evaluacin. Esta forma de dividir y presentar la informacin ha
resultado til al equipo consultor (y eventualmente al CONEVAL) para identificar con claridad qu
informacin publicada corresponde a los evaluadores externos es decir, si han cumplido con los
trminos de referencias de sus respectivos contratos- y cul es responsabilidad de las unidades
administrativas de los programas y de dar seguimiento a las evaluaciones.

15 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

Conclusiones

El presente documento ha realizado un breve anlisis de la difusin de las evaluaciones externas de los
programas sociales sujetos a reglas de operacin en las pginas electrnicas de las respectivas
dependencias y entidades responsables. Este trabajo ha sido complementado con la elaboracin de una
base de datos que contiene las calificaciones obtenidas por las dependencias y entidades, de acuerdo a
una serie de criterios diseados por el Consejo Nacional de Evaluacin de la Poltica de Desarrollo
Social (CONEVAL). Estas calificaciones sern incluidas en el indicador de Evaluacin y Monitoreo de
Programas Federales (EMP), que forma parte del ndice de Desempeo Institucional de la
Administracin Pblica Federal, uno de los cinco ndices que componen el MIDO Modelo Integral de
Desempeo de rganos de Vigilancia y Control- a cargo de la SFP.
La primera parte del trabajo ha estado dedicada a una somera revisin de literatura, con el propsito de
conceptualizar la difusin electrnica de las evaluaciones externas (nuestro objeto de estudio) y de
establecer dimensiones de anlisis tiles a los fines de este trabajo. De esta forma, este documento
propone tres dimensiones que permiten aproximarse y medir el acceso real a las evaluaciones
externas: Apertura (disponibilidad y existencia de las evaluaciones externas), Transparencia
(legitimidad del contenido de las evaluaciones y posibilidad de contactar a los proveedores de
informacin) y Usabilidad (facilidad para navegar y encontrar las evaluaciones externas). Como puede
observarse con ms detalle en el Documento E que acompaa a esta entrega, los criterios diseados
por CONEVAL para medir la difusin de las evaluaciones externas han estado particularmente
dirigidos a capturar la dimensin de Apertura, pero han relegado las otras restantes.
La segunda y tercera parte de este documento se ha enfocado en los patrones, tendencias y
experiencias ms relevantes de las dependencias y entidades. En trminos generales, se observa que
algunas organizaciones gubernamentales estn ms preocupadas por cumplir con mandatos legales,
normativos y organizacionales, que por ofrecer al ciudadano informacin til y relevante. No hay que
olvidar que, cuando hablamos de difundir informacin pblica gubernamental, lo importante es que
sta tenga alguna utilidad social; no nicamente garantizar a las agencias de gobierno evitar sanciones
por incumplimiento de mandatos legales. Otras organizaciones, por el contrario, han avanzado en
direccin de la satisfaccin del usuario/ciudadano, facilitando y agilizando la bsqueda, encuentro y
descarga de informacin.
16 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

Cabe advertir, en este sentido, que cumplir con la ley (publicar las evaluaciones externas) y satisfacer a
la ciudadana (facilitar el acceso a estas evaluaciones) no son necesariamente actividades mutuamente
excluyentes. Sin embargo, conjugar ambas tareas requiere cambios y estrategias que implican costos y
beneficios, esfuerzos para modificar estructuras de accin, comunicacin e interaccin de las
organizaciones pblicas, y, ms importante y difcil aun, lograr un cambio de mentalidad y de cultura
organizacional que aminore las resistencias al cambio. Para ello, quizs haya que desplazar la
discusin sobre los criterios ms adecuados para evaluar la difusin de evaluaciones, hacia un debate
ms amplio sobre los incentivos institucionales necesarios para impulsar a las organizaciones pblicas
a comportarse en favor de la transparencia y rendicin de cuentas en trminos ms generales.

17 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

 Bibliografa

Arellano D. (Ed.) (2004), Ms all de la reinvencin del gobierno: fundamentos de la nueva gestin
pblica y presupuestos por resultados en Amrica Latina, Mxico: Ed. Porra.

Baeza-Yates, R., C. Rivera Loaiza y J. Velasco Martn (2004), Arquitectura de la informacin y

usabilidad en la Web. En El profesional de la informacin, 2004, Vol. 13, Nro. 3, pp. 168-178.
Disponible en http://www.mantruc.com/files/art-epi-2004.pdf, fecha de consulta: 9 de Junio de 2008.

Bevan, N. (1995), Usability is quality of use. Proceedings of the 6th International Conference on
Human Computer Interaction, Yokohama, Japn; Anzai y Ogawa (Eds.). Elsevier. Disponible en
http://www.usabilitynet.org/papers/usabis95.pdf, fecha de consulta: 12 de Junio de 2008.

Collins, W., E.L. Knodel y M.V. Mahoney (1997), "'Here, Just Stick this Document on the Web':
Planning Usable Web Documents". Proceedings of the 44th International Technical Communication
Conference, Washington, DC: Society for Technical Communication, pp. 414-416. Disponible en
http://www.stc.org/confproceed/1997/PDFs/PG414-.PDF, fecha de consulta: 13 de junio

Cook, M., S.S. Dawes, D. Juraga, D.R. Werthmuller, C.M. Pagano y B.F. Schwartz (2004), Bridging
the enterprise: Lessons from the New York state-local Internet gateway prototype. Albany, NY: Center
for Technology in Government, University at Albany, SUNY.

De Angoitia, R. (2007), La Evolucin de los Portales del Gobierno Federal: la experiencia de ocho
entidades, Documento de Trabajo DTAP # 196, Centro de Investigaciones y Docencia Econmicas
(CIDE), Mxico, D. F.

Di Maggio, P., E. Hargittai, W.R. Neuman y J.P. Robinson (2001), Social implications of the
Internet. En Annual Review of Sociology, Vol. 27, pp. 307-336.

Fountain, J. E. (2001). Building the virtual state. information technology and institutional change.
Washington, DC: Brookings Institution Press.

Gant, J.P. y D.B. Gant (2002), Web portal functionality and State government E-service.
Proceedings of the 35th Annual Hawaii International Conference on System Sciences. Disponible en
http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=994073, fecha de consulta: 13 de Junio de
2008.

Gil-Garca, J. Ramn y Luis F. Luna-Reyes. (2007), Modelo Multidimensional de Medicin del

Gobierno Electrnico para Amrica Latina y el Caribe. Santiago de Chile, Naciones Unidas.
Disponible en http://www.cepal.org/cgi-
bin/getProd.asp?xml=/publicaciones/xml/6/28646/P28646.xml&xsl=/ddpe/tpl/p9f.xsl&base=/socinfo/t
pl/top-bottom.xsl, fecha de consulta: 12 de Junio de 2008.

Goto, K. y E. Cotler (2001), Web ReDesign. Workflow that Works. Indianapolis: New Riders.

18 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales

Gruening G. (2001), Origin and theoretical basis of new public management. En International Public
Management Journal, Vol. 4, Nro. 1, Primavera 2001, pp. 1-25.

Jones, L.R, y Kettl, D. (2003), Assessing Public Management Reform in an International Context, en
International Public Management Review, Vol. 4 (1).

Luna-Reyes, L., J. R. Gil-Garca y J. S. Rojas-Bandera (2007), An Exploratory Study of Electronic

Government and State Portals in Mexico. En Mila Gasc-Hernndez (Ed), Latin America Online:
Cases, Successes and Pitfalls. Hershey, PA: Idea Group Inc.

Bevan, N., e I. Curson (1997), Methods for Measuring Usability, Proceedings of the 6th IFIP
Conference on Human-Computer Interaction, Sydney, Australia. Disponible en
http://www.usabilitynet.org/papers/meatut97.pdf, fecha de consulta: 13 de Junio de 2008.

Orna, E. (2001), Information product revisited. En International Journal Information Management,

21, pp. 301-316.

Schedler, Kuno (2004), Developing Performance Indicators and Measurement Systems in Public
Institutions. En Strategies for Public Management Reform. Oxford, U.K.: Elsevier.

Tramullas Saz, J. (2002), Propuestas de anlisis de usabilidad para sedes web. En: Workshop
Contenidos y Aspectos Legales en la Sociedad de la Informacin. Valencia: Universidad Politcnica
de Valencia. Disponible en http://eprints.rclis.org/archive/00000526/02/16_jtramullas_usabilidad.pdf,
fecha de consulta: 10 de Junio de 2008.

------------------------ (2004), El diseo centrado en el usuario para la creacin de productos y servicios

de informacin digital. En Revista iberoamericana sobre usuarios de informacin Forinf@ Online,
22-23, pp. 6-14. Disponible en http://eprints.rclis.org/archive/00008297/, fecha de consulta: 10 de
Junio de 2008.

19 / 20

Anlisis de Difusin de las Evaluaciones a Programas Sociales