13-Evaluación de Políticas Públicas Salcedo

13
Evaluacin de
polticas pblicas
Roberto Salcedo
compilador
bbapdf
BIBLIOTECA BSICA
DE ADMINISTRACIN PBLICA
siglo
veintiuno
editores
grupo editorial
siglo veintiuno
siglo xxi editores, mxico
siglo xxi editores, argentina
CERRO DEL AGUA
GUATEMALA
248, ROMERO DE TERREROS,
04310 MXICO, DF
www.sigloxxieditores.com.mx
salto de pgina
ALMAGRO
38, 28010
4824, C 1425 BUP
BUENOS AIRES, ARGENTINA
www.sigloxxieditores.com.ar
biblioteca nueva
ALMAGRO
38, 28010
MADRID, ESPAA
MADRID, ESPAA
www.saltodepagina.com
www.bibliotecanueva.es
anthropos
266, BAJOS,
08007 BARCELONA, ESPAA
www.anthropos-editorial.com
DIPUTACIN
portada de len muoz santini

primera edicin, 2011
escuela de administracin pblica del df y secretara de educacin del df
isbn 978-607-95516-0-5 (obra completa)
isbn 978-607--8228-14-0 (volumen 13)
siglo xxi editores, s.a. de c.v.
isbn 978-607-03-0252-7 (obra completa)
isbn 978-607-03-0342-5 (volumen 13)
derechos reservados conforme a la ley
impreso y hecho en mxico
NDICE
presentacin,
prlogo,
por marcelo ebrard casaubon
por mara nadiezhda robles villaseor
agradecimientos
evaluacin de polticas pblicas,
15
por roberto salcedo aquino
anlisis y evaluacin de las polticas pblicas,
17
por auditora
superior de la federacin, auditora especial de desempeo
por auditora superior de la

federacin, auditora especial de desempeo
52
indicadores de desempeo,
sobre la evaluacin de polticas pblicas,
por mauricio merino
71
169
la evaluacin en el marco del anlisis de polticas pblicas,
por mara bustelo ruesta
185
[5]
PRESENTACIN
Desde nuestra perspectiva, un gobierno de izquierda debe asumir el

desafo y la responsabilidad de conducir los asuntos pblicos para
conseguir equidad, con la conviccin de que es posible aplicar mtodos y conocimientos racionales, explcitos y modernos en la prctica
de las polticas de gobierno para resolver con mayor eficacia los problemas de la poblacin. Es por ello que decidimos emprender la ruta
de profesionalizar a los servidores pblicos mediante el estudio de las
teoras y las prcticas de la administracin gubernamental. As, pues,
propusimos a la Asamblea Legislativa del Distrito Federal la creacin
de una institucin acadmica de alto nivel dedicada a la formacin y
actualizacin de los servidores pblicos, como mecanismo de mejora
continua en la inacabable tarea de conseguir la solucin de los retos
que enfrenta la capital mexicana.
As naci la Escuela de Administracin Pblica del Distrito Federal
a inicios de 2009 y ya comienza a entregar frutos de su actividad en
diversas formas: cursos, seminarios, talleres de actualizacin profesional en reas especficas de la gestin citadina, conferencias especializadas y, en este caso en particular, los primeros catorce textos
de una biblioteca especializada en el entendimiento, anlisis e implementacin de polticas pblicas.
En la Biblioteca Bsica de Administracin Pblica encontramos
una cuidadosa seleccin de textos fundamentales, reunidos y editados
bajo el cuidado de expertos ampliamente reconocidos nacional e
internacionalmente por sus aportaciones a los campos de la interaccin entre la sociedad y el gobierno, el enfoque estratgico en la
gestin pblica, la participacin ciudadana, la evolucin de la administracin pblica mexicana y su perspectiva histrica, los procesos
de calidad en el sector pblico y el sentido moral de los poderes pblicos, temas todos ellos de indudable importancia y relevancia para
la vida cotidiana en la sociedad contempornea.
Estoy seguro de que esta biblioteca ser una compaera cercana
y un activo valioso para los servidores pblicos no slo del Gobierno
del Distrito Federal sino de Mxico y Latinoamrica: de todos los que
[7]
presentacin
estamos empeados en luchar por la democracia, la equidad, la perspectiva de gnero, la rendicin de cuentas y la sustentabilidad.
marcelo ebrard casaubon
Jefe de Gobierno del Distrito Federal
PRLOGO
El Gobierno del Distrito Federal tiene como principio el mandato

ciudadano de construir una ciudad de Mxico justa, respetuosa del
estado de derecho, segura, prspera y solidaria con todos sus habitantes, especialmente con aquellos que enfrentan mayores dificultades.
Como gobierno democrtico que es, est comprometido a actuar su
jeto a la supremaca de la ley, a manejarse con transparencia, a mantenerse abierto a la participacin ciudadana y a pugnar por el logro
de la equidad.
Para llegar a tan elevados fines se requiere bastante ms que slo
la intencin de emprenderlos, porque el tamao, la diversidad y la
complejidad de la capital son extraordinarios y requieren por tanto
de visin de Estado, estrategias de largo plazo y todo el caudal de
conocimientos y experiencia que sea posible reunir.
Casi lo primero que salta a la vista es la percepcin de que ese proyecto y visin de ciudad no podr realizarse sin una administracin
pblica de calidad, lo cual implica contar con un cuerpo de funcionarios pblicos orgullosos de trabajar en el gobierno de la ciudad
para beneficio de sus ciudadanos, respetuosos de la ley, cuidadosos
de los recursos pblicos, con un alto grado de competencia profesional,
eficientes en su desempeo, proveedores de servicios de calidad, preparados para enfrentar cualquier emergencia, dispuestos a modificar las situaciones sociales injustas y a tratar con respeto a todas las
personas.
Otro rasgo fundamental de esta visin es la cultura de la planificacin democrtica y la evaluacin de la accin administrativa, porque
las polticas y los programas de servicio debern ser planeados con
base en caracterizaciones claras de los problemas; con objetivos y
metas precisos y con las acciones necesarias para lograrlos, adems
deque con el establecimiento de estndares de calidad e indicadoresde desempeo explcitos y medibles.
Como puede fcilmente comprenderse, el factor humano desempea
un papel fundamental para la consecucin de estos objetivos, pues no
basta con disponer del herramental tcnico y los recursos financieros
[9]
10
prlogo
y materiales para las tareas diarias, sino que todo ello deber necesariamente sustentarse en la voluntad, las actitudes y el conocimiento,
cualidades estas intrnsecamente personales y dependientes en buena
medida de aspectos educativos y de convivencia profesional.
Sin embargo, el Gobierno del Distrito Federal careca de una institucin dedicada a atender expresamente las necesidades especficas
de formacin y profesionalizacin de sus servidores pblicos, y por
ello surgi la idea y el plan de creacin de la Escuela de Administracin
Pblica del Distrito Federal, hoy en da la institucin responsable de
formar los servidores pblicos del Gobierno del Distrito Federal, promoviendo a la par un elevado estndar de calidad en las tareas de la
funcin pblica.
Sabemos que la percepcin ciudadana acerca de la administracin
y el servicio pblico es lacerantemente precaria; sin cortapisas se
asocia a los servidores pblicos con corrupcin e incompetencia,
entre otros males, por lo que nuestro reto es maysculo. No slo se
trata de comenzar a abordar los problemas de la ciudad de Mxico de
manera diferente, buscando equidad, sustentabilidad, recuperacin
del espacio pblico, ampliacin y diversificacin del transporte pblico, adems de aplicar convicciones y competencias de servidores
pblicos probos y capaces, genuinamente empeados en trabajar
para los ciudadanos, sino de dar pruebas a la ciudadana del carcter
genuino del proceso.
El Gobierno del Distrito Federal es consciente de que no bastan
las buenas intenciones o tan slo destinar mayores presupuestos o
aumentar las coberturas de los programas: es necesario aplicar cono
cimientos, habilidades y tcnicas; estar al tanto de los avances producidos
por los estudiosos de la administracin pblica, impulsar institucionalmente el derecho y la obligacin de estudiar, de actualizarnos, de
reflexionar, de compararnos con la teora, de ponernos a prueba.
As, parte integral de las labores de la eapdf consiste en producir
materiales acadmicos de trabajo para servidores pblicos pero
tambin para los estudiosos de la administracin pblica y de la ciudadana interesada. Por eso decidimos emprender la construccin de
la Biblioteca Bsica de Administracin Pblica, un proyecto editorial
que rene textos fundamentales para quienes se propongan ejercer
su funcin de servidor pblico con todas las de la ley, es decir, mediante el estudio y la consulta directa de las fuentes ms importantes
del conocimiento y la prctica de polticas pblicas.
prlogo
11
Se trata de materiales originalmente escritos en espaol por especialistas locales y regionales, y de traducciones que ponen las teoras y
experiencias internacionales ms relevantes al alcance no slo de los
servidores pblicos tanto del Gobierno del Distrito Federal como de
otros estados de la Repblica, sino tambin de lectores en los pases
de habla hispana interesados en encontrar y conocer una visin actual
de la administracin pblica que a todos nos impacta.
Es de notar que un esfuerzo tan amplio requiri la participacin
de todo un equipo de trabajo encabezado por el notable coordinador general de esta obra, el doctor Luis F. Aguilar Villanueva,
especialista seero en la gestin pblica en el mundo, de amplia y
reconocida trayectoria avalada por decenas de sus libros y publicaciones, a quien se reconoce como el introductor del enfoque de las
polticas pblicas en Amrica Latina, y ahora presidente del Comit
Expertos de Administracin Pblica de la onu. Para cada tomo de
los que integran la Biblioteca, Luis F. Aguilar convoc a un muy destacado especialista, referente en su campo de conocimiento, quien
reuni el trabajo de mltiples expertos.
El volumen 1 de la serie est a cargo del propio Luis F. Aguilar;
inicia con un ensayo sobre la disciplina de las polticas pblicas escrito por l especialmente para la ocasin e incorpora textos fundamentales sobre el tema que le da ttulo: Poltica pblica.
El segundo tomo se llama Administracin pblica y explora aspectos relativos a la complejidad organizacional e institucional; fue
compilado por el doctor Enrique Cabrero Mendoza, eminente investigador en las reas de gerencia y finanzas pblicas, anlisis organizacional y gestin municipal y polticas pblicas, quien se desempea
como director general del prestigiado Centro de Investigacin y Docencia Econmicas (cide).
Administracin pblica mexicana del siglo xx es el ttulo del tercer
volumen, editado por la doctora Mara del Carmen Pardo, cuyo
currcu
lum, trayectoria acadmica y publicaciones la consolidan
como una de las autoras imprescindibles en el estudio de la administracin pblica. Ella encabeza los textos dedicados a analizar la
evolucin de la administracin pblica mexicana a la luz del avance
de la modernizacin de la sociedad mexicana y de su sistema poltico.
Participacin ciudadana en las polticas pblicas es el volumen 4 de la
serie, realizado por el doctor Manuel Canto Chac, destacado profesorinvestigador y autor de obras publicadas en Mxico, Espaa y Co-
12
prlogo
lombia, entre otros pases. La participacin ciudadana resulta crucial

para el desarrollo y asentamiento de las polticas pblicas, y Amrica
Latina ha sido en diversos grados precursora de movimientos civiles,
como los que analiza en su artculo introductorio y presenta en los
textos seleccionados.
El volumen 5 es Organizacin e instituciones, a cargo del maestro Rodolfo Vergara Blanco, quien a sus credenciales acadmicas aade su
experiencia en la gestin de la administracin pblica. En su artculo
introductorio explora las mltiples formas en que surgen, prosperan
y decaen las relaciones entre organizaciones e instituciones diversas.
Es el turno de los estudios histricos: en el volumen 6, titulado
Administracin pblica mexicana del siglo xix, el doctor Roberto Rives,
autor y coautor de libros especializados en el tema, los explora, explica
y analiza, examinando las diversas fases de la administracin pblica
en su trnsito del Imperio a la Repblica, as como en sus etapas de
desarrollo a partir de un esquema de organizacin central hasta llegar
al federalismo, con todas sus implicaciones para la poca presente.
Gestin de calidad es el nombre de nuestro sptimo libro, compilado por el maestro Francisco Moyado Estrada, cuya formacin
acadmica en Mxico y Barcelona, as como su extensa carrera y experiencia en la administracin pblica, le permiten ofrecer una visin
amplia sobre la implantacin de las polticas de calidad necesarias
para mejorar efectivamente el desempeo de los gobiernos, dando
con ello sustento y seguimiento a los compromisos establecidos con
los ciudadanos.
El tomo 8 de la coleccin se titula Gestin estratgica, trabajo llevado
a cabo por el maestro Ernesto Velasco Snchez, de liderazgo emergente en el campo de la administracin pblica, con estudios en
El Colegio de Mxico y en Birmingham. Su enfoque versa sobre la
necesidad y la conveniencia de asumir perspectivas estratgicas en
la gestin y la planeacin pblicas, ajustando si fuera necesario los
modos internos de la organizacin para volverla capaz de enfrentar
los desafos presentados por su entorno.
tica pblica, volumen 9 de esta Biblioteca Bsica, realizado por
el doctor Mauricio Merino, quien adems de su ampliamente reconocida experiencia y trayectoria acadmica, fuera consejero electoral
en el Instituto Federal Electoral (ife), resalta que si no somos capaces
de en efecto darle contenido moral al servicio pblico, entonces
nuestra tarea pierde sentido, profundidad y trascendencia.
prlogo
13
Nueva gestin pblica, tomo 10 de esta coleccin, fue realizado por el

doctor Guillermo Cejudo, profesor-investigador del Centro de Investigacin y Docencia Econmicas (cide), discpulo de la London School
of Economics and Political Science y de la Universidad de Boston,
plantea que la Nueva Gestin Pblica es un trmino frecuentado en
las ltimas dcadas para denotar un conjunto de decisiones y prcticas
administrativas orientadas a flexibilizar estructuras y a introducir
mayor competencia en el sector pblico, con el propsito de mejorar
los resultados de la accin gubernativa.
El tomo 11, denominado Servicio profesional de carrera, desarrollado por el doctor Jos Luis Mndez, reconocido impulsor del
servicio civil en Mxico, quien instaur el del Instituto Federal Electoral, plantea los dilemas del servicio profesional y hace un recorrido
de los intentos previos a la instauracin del servicio pblico federal.
De igual manera, en este tomo se plantea la relacin entre personal
directivo y personal poltico en Mxico y, por ltimo, muestra estudios comparados sobre la profesionalizacin del Estado en nuestro
pas y en otras naciones.
El volumen 12 lleva por ttulo Gestin de crisis y es presentado por
el doctor Marco Mena, egresado de la Universidad de Chicago, quien
se pregunta: Por qu es importante preparar una institucin u organizacin para enfrentar una crisis? El ejercicio de gobierno nunca ha
estado exento de situaciones de crisis. En la actualidad, la diversidad y
complejidad de riesgos (naturales, tecnolgicos, industriales, ambientales, socio-organizativos) a que estn sometidas las sociedades, obliga
a los servidores pblicos a contar con herramientas para la oportuna
deteccin de los riesgos, para la conduccin eficaz de escenarios de
crisis y para la adecuada comunicacin en caso de situaciones conflictivas. En este contexto, la llamada Gestin de crisis se ha convertido en
una disciplina, que debe estar al alcance de quienes tienen la responsabilidad de conducir los asuntos pblicos.
El tomo 13 se intitula Evaluacin de polticas pblicas. Elaborado por
el maestro Roberto Salcedo, con amplia experiencia como auditor de
las polticas pblicas implementadas por el Gobierno Mexicano, as
como profesor en la Facultad de Ciencias Polticas y Sociales y en la
Facultad de Estudios Profesionales de Acatln, en la Universidad Nacional Autnoma de Mxico, desarrolla aqu los criterios bsicos para
realizar la evaluacin de polticas pblicas y revisa conceptos inherentes al buen desempeo de las instituciones, tales como la eficacia,
14
prlogo
la eficiencia, la economa, la calidad de los servicios y bienes pblicos,

entre otros.
Esta Biblioteca cierra con el volumen 14, denominado Transparencia
y rendicin de cuentas; compilado por Jos Sosa, quien es egresado de
El Colegio de Mxico, maestro en Estudios Urbanos y Regionales por
The University of Sussex y doctor por el Instituto Universitario Ortega
y Gasset de Madrid. En su volumen plantea una mirada amplia y crtica
sobre los alcances y transcendencia de la transparencia y rendicin de
cuentas, que tienen impacto en las administraciones pblicas y en sus
funcionarios. De manera particular plantea las obligaciones institucionales como un problema y como una oportunidad para la gestin
pblica vanguardista y democrtica.
Luis F. Aguilar lo resume as: tener gobiernos cuyas acciones directivas sean de impecable naturaleza pblica y de probada eficacia
es una justa exigencia ciudadana y es el objetivo esencial del anlisis,
diseo e implementacin de las polticas pblicas.
Nada nos hara sentir ms satisfechos si, discrepando o en acuerdo
con los textos que aqu les ofrecemos, los servidores pblicos del Distrito Federal, del pas y de Amrica Latina, decidieran incluir, como
su nombre pretende, nuestros libros en su biblioteca bsica, al lado
de las correspondientes leyes, reglamentos y cdigos. Reciban pues
esta contribucin del Gobierno del Distrito Federal dedicada a los
servidores con autntica vocacin de servicio pblico.
mara nadiezhda robles villaseor
Directora
Escuela de Administracin Pblica del Distrito Federal
AGRADECIMIENTOS
La Escuela de Administracin Pblica del Distrito Federal agradece

a las siguientes instituciones su apoyo para editar la Biblioteca Bsica
de Administracin Pblica: Instituto Nacional de Administracin
Pblica, El Colegio de Mxico, Centro de Estudios Internacionales,
Universidad Autnoma Metropolitana, Universidad Iberoamericana,
Universidad Complutense de Madrid, Royal Institute of Public Administration, Centro Latinoamericano de Administracin para el
Desarrollo, Fundacin Mexicana de Estudios Polticos y Administrativos, Fundacin Konrad Adenauer, Instituto Federal de Acceso a la
Informacin Pblica, Auditora Superior de la Federacin, Auditora
Especial de Desempeo, Cmara de Diputados LIX Legislatura. As
como a las siguientes revistas: Reforma y Democracia, Polis, Public Administration. Asimismo, a las siguientes editoriales: Ediciones Gestin
2000, Ediciones Deusto, Fondo de Cultura Econmica, Miguel ngel
Porra, Trillas, Comunicacin Total, The Johns Hopkins University
Press, Brookings Institution Press, Cambridge University Press, sage
Publications. Tambin agradece sus comentarios a los doctores Juan
C. Olmeda, Daniel Daz Jurez y a la licenciada Noem Elena Ramn
Silva para el buen fin de esta edicin.
[15]
EVALUACIN DE POLTICAS PBLICAS

roberto salcedo aquino
introduccin
Auge y cada de Yemen

Bagdad, 19 de la Luna de Ramadn de 1321, Beremiz Samir imparte un
curso de evaluacin a miembros distinguidos de la corte del visir Maluf. Las
lecciones dan inicio con el siguiente relato:
AssadAbuCarib, monarca de Yemen, hallndose cierto da descansando en el
amplio mirador de palacio, so que haba encontrado a siete jvenes que caminaban
por una senda. Vencidas por la fatiga y la sed, las jvenes se detuvieron bajo el ardiente sol del desierto. Surgi en ese momento un apuesto doncel que se acerc a las
peregrinas llevndoles un cntaro de agua pura y fresca. Saci la sed que torturaba
a las jvenes y stas, reanimadas, pudieron reanudar su jornada.
Al despertar, impresionado por ese inexplicable sueo, determin AssadAbu
Carib llamar a un astrlogo famoso, llamado Sanib, y le consult sobre el significado
de aquella escena. Sanib respondi con presteza: Seor!, las siete jvenes que caminaban por la senda eran las artes divinas y las ciencias humanas: la Filosofa, la
Dialctica, la Retrica, la Poltica, la Msica, la Pintura y la Arquitectura. El joven
magnnimo que las socorri era el Clculo; sin el auxilio de l, ni las artes, ni las
ciencias pueden avanzar.
Impresionado por estas palabras, determin el monarca que se organizaran centros
de estudios para calcular y evaluar el desempeo del reino en todas las ciudades, oasis
y aldeas. Hbiles y elocuentes ulemas acudan a los bazares y a los paraderos de las
caravanas a dar lecciones de aritmtica, matemticas, clculo y evaluacin de los resultados del comercio, de la infraestructura de los caminos, de las cargas impositivas
y de muchos menesteres ms de la vida pblica.
Al cabo de pocos meses se not que el pas despertaba con un prodigioso impulso
de prosperidad nacido del saber qu exactamente estaba pasando y qu se quera que
pasara. Medir y evaluar todo y alcanzar metas cada vez ms ambiciosas se convirti
en una fiebre social.
[17]
18
Paralelamente al progreso de la ciencia, crecan los recursos materiales; las escuelas estaban llenas de alumnos; el comercio se desarrollaba de manera prodigiosa;
el prestigio de la evaluacin creca porque era objetiva y permita mejorar todas las
prcticas: la del comercio, las de produccin y las impositivas.
El pas del Yemen estaba abierto al progreso, pero vino la fatalidad. Al morir
AssadAbuCarib, subi al trono un prncipe vanidoso, indolente y de escasas dotes
intelectuales. Pocos meses despus, todos los servicios pblicos estaban desorganizados; las escuelas cerradas; los ulemas huyeron del pas bajo las amenazas de ser
acusados de perversidad y de enemigos del reino por demostrar el ruinoso estado en
que se encontraban las cosas pblicas. A la salida de los ulemas, el pas se precipit
a la ruina.
Beremiz Samir conclua su leccin: la historia demuestra que el progreso

de un pueblo se halla ligado al desarrollo de un continuum: aritmtica-matemticas-clculo y evaluacin del estado de las cosas pblicas.
Para concluir la clase, los alumnos oraron de esta manera:
Oh Dios, Clemente y Misericordioso!: perdona la pobreza, la pequeez y la puerilidad de nuestras mentes. Ensanos a evaluar.
En la segunda leccin Beremiz Samir ense: la aritmtica nos proporciona la nocin de nmeros; la matemtica, la de medida; el clculo, la de
proporcin; y la evaluacin, la de comparacin. Todo ello ensea al hombre
a ser sencillo, modesto y humilde, porque se conoce la exacta medida de la
grandeza o de las limitaciones.1
La historia del Auge y cada de Yemen nos muestra, primero, que la
evaluacin es una disciplina cientfica con pretensin de objetividad
y utilidad prctica; segundo, que se desarrolla sobre los procelosos
mares de la poltica, y tercero, que la neutralidad y competencia del
evaluador son cualidades indispensables para la prctica profesional.
La evaluacin de las polticas pblicas es una tarea de las ciencias
sociales, por lo que se basa en la racionalidad de los postulados, en
la objetividad de los datos y en los mtodos de anlisis; pero se lleva
a cabo en un contexto poltico. Por lo tanto, se debe tener en cuenta
que lo que se evala es producto de decisiones polticas; que los resul1
Malta Tahan, Captulo xi: De cmo Beremiz inici sus lecciones, en El hombre que
calculaba, Mxico, Limusa, 1990.
evaluacin de polticas pblicas
19
tados de la evaluacin entran necesariamente en la arena poltica, lo

que significa que stos sern usados para denostar a enemigos o para
publicitar el xito de quienes conducen la maquinaria gubernamental;
que la evaluacin en s misma adopta una postura poltica, ya que
expone una visin de los problemas pblicos, sanciona la implementacin y valora los impactos del quehacer gubernamental, ya que con
ello traspasa la frontera de la ciencia social para incursionar en los
terrenos peligrosos de la legitimidad poltica de las decisiones y de los
efectos de la accin pblica.
Los ulemas de la historia de Yemen comprendieron que la evaluacin es un ejercicio dentro del campo de la investigacin social
sobre las arenas movedizas de la poltica y que por lo tanto es, en
primer lugar, un ejercicio de prudencia.
Aunque la evaluacin se realice para polticos, no es un ejercicio de
poltica militante; es un ejercicio acadmico, cientfico y profesional
sobre el estado en que se encuentra un problema de la agenda pblica.
Por lo tanto, el primer riesgo de la evaluacin consiste en que los valores y creencias del evaluador lo acerquen a la dogmtica poltica y
lo conviertan en parte de la contienda. Frente a este posible sesgo, lo
que queda es su legitimidad cientficotcnica que debe ser percibida
como objetiva, independiente, creble, imparcial, veraz.
El riesgo de caer en posibles sesgos ideolgicos disminuir si en
el diseo de la poltica pblica se hallan definidos claramente los objetivos y las metas por alcanzar y los mtodos de evaluacin. De esta
manera, la precisin de qu se quiere y cmo se va a lograr la evaluacin no se prestar a interpretaciones multvocas o a ejercicios hermenuticos mltiples, que son los que generan las tensiones entre los
evaluadores y los evaluados.
La evaluacin, como una disciplina de la investigacin cientfica,
cumple la funcin significativa de trabajar por una descripcin, interpretacin y crtica del impacto real de las polticas pblicas. Su primer
problema por resolver consiste en advertir la falsa sinonimia entre una
multiplicidad de conceptos que la literatura del tema utiliza sin precisin ni conceptualizacin. Se habla de investigacin social aplicada
a la gestin pblica, evaluacin de polticas pblicas, evaluacin de
objetivos y metas, evaluacin de cobertura, evaluacin de impactos,
evaluacin de efectos, evaluacin de productos, evaluacin de la productividad, evaluacin de procesos, evaluacin de insumos, evaluacin
de input, evaluacin de costo-beneficio, evaluacin de costo-eficacia,
20
evaluacin de costo-eficiencia, anlisis de costo-utilidad, anlisis de

reduccin de costos, evaluacin de los actores, evaluacin de la calidad de los bienes y servicios, evaluacin de la satisfaccin del ciudadano usuario o beneficiario, evaluacin de proyectos, evaluacin de
programas, anlisis de polticas pblicas, auditoras comprehensivas,
auditoras de resultados, auditoras de desempeo, auditoras value
for money Por consiguiente, el primer ejercicio es acudir a la hermenutica, que es la ciencia que orienta debidamente el conocimiento de
los conceptos, textos y contextos, cuya funcin es encontrar el sentido
justo de un concepto susceptible de una amplia gama de versiones,
para tratar de volver, en lo posible, unvoco lo multvoco.
El ejercicio de conceptualizacin pretende, bajo las reglas de la hermenutica, enviar un mensaje concreto, correcto, preciso, omnicomprensivo: que todos entiendan lo mismo. Siguiendo los cnones de la
hermenutica, podemos agrupar todos los conceptos en cuatro bsicos, de los que se desprenden todos los dems: investigacin social,
evaluacin propiamente dicha, anlisis de polticas y auditoras de desempeo. Tienen en comn que todos utilizan los mtodos y tcnicas
propuestos por las ciencias sociales cuyo objetivo general es verificar
que la racionalidad del sector pblico se sustente en la aplicacin del
principio de mximo beneficio social (pmbs) que obliga, al emprender
cualquier actividad, a elegir la alternativa en la que los beneficios sociales exceden los costos en el monto mximo y, una vez tomada la
decisin, que se controle y evale la implementacin para conocer que
el pmbs efectivamente prevalece.
Todos los conceptos adoptan modos de indagacin sistemtica, lo
que implica que se trabaje con los cnones estrictos de las ciencias
sociales; siguiendo los pasos establecidos por un mtodo riguroso, y
sus hallazgos aspiran a ser confirmables con evidencias suficientes,
competentes, pertinentes y relevantes, y a explicitar la naturaleza de
los datos, las fuentes y el contexto donde fueron recogidos, as como
sus procesos de transformacin de datos en informacin: interpretaciones, conclusiones, extrapolaciones y recomendaciones.
Por lo tanto, los cuatro trminos tienen en comn la metodologa
propuesta por las ciencias sociales para verificar el estado del pmbs,
pero se diferencian sustancialmente por su teleologa. As, la investigacin social aspira a acrecentar o perfeccionar el saber cientfico
con el objetivo de constatar teoras, comprobar hiptesis, realizar generalizaciones, indagar regularidades. Si la investigacin pretende co-
21
nocer, descubrir, explicar los efectos o impacto de la gestin pblica,

entonces la llamaremos evaluacin. Si la investigacin se enfoca en el
diseo de una poltica pblica para realizar la prognosis, se le denominar anlisis de polticas pblicas. Si la investigacin se instaura
para fiscalizar el cumplimiento de los objetivos y metas de una poltica
pblica a partir de la rendicin de cuentas, entonces estaremos frente
a un proceso de auditora de desempeo.
Estos cuatro conceptos conllevan la preocupacin histrica de los
ciudadanos que consiste en saber si el gobierno est trabajando con
eficacia y eficiencia. Se desea saber, asimismo, si el dinero pblico se
est gastando con tanto cuidado y consideracin como sea posible, si
se est usando adecuadamente y se estn logrando los efectos que se
previeron.
cuatro conceptos clave
Investigacin social
La investigacin social se realiza con el fin ltimo de construir conocimiento y tiene como principal destinatario a la comunidad cientfica y, en segundo trmino, a los actores relacionados con el tema
investigado; tiene dos caracteres: el bsico y el aplicado. El primero,
para crear teora, y el segundo, para confirmar las generalizaciones y
regularidades de la teora en la prctica.
La investigacin social, en cuanto ciencia dedicada al estudio de
los efectos del actuar gubernamental, busca, en forma sistemtica,
explicaciones lgicas de causa-efecto que se basen en la informacin
emprica obtenida mediante mtodos confiables. Estas explicaciones
cientficas constituyen una de las metas intrnsecas de la ciencia social
y tratan de ser de alcance amplio y con las mayores probabilidades de
generalizacin.
La ciencia social aplicada en las explicaciones causales de los impactos gubernamentales intenta ir ms all de la solucin de problemas especficos planteados por las polticas pblicas al incorporar
sus teoras, modelos y leyes con el objetivo de buscar regularidades
para transitar de las hiptesis a su confirmacin o rechazo, hasta
establecer postulados del comportamiento gubernamental que se
22
puedan sistematizar en una teora en continuo perfeccionamiento.

La conformacin de dicha teora deber permitir la formulacin de
descripciones y explicaciones cada vez ms completas, cada vez ms
fidedignas y cada vez ms vlidas sobre el diseo, implementacin y
consecuencias de las polticas pblicas.
La investigacin social busca la precisin no slo en la terminologa
que utiliza, sino tambin en sus afirmaciones, en sus proposiciones y
en sus conclusiones; su papel principal es convertir las afirmaciones
generales del sentido comn en afirmaciones precisas y comprobables, adems de sealar cules son los casos en los que son aplicables y aqullos en los que no lo son. Por lo tanto, la investigacin
social aplicada a las polticas pblicas trabaja permanentemente en
aclarar los significados de los referentes y en precisar los lmites de
validez dentro de cada uno de los contextos en que se utilizan.
Por ser una investigacin social aplicada, somete constantemente
todos sus postulados a pruebas empricas para lograr descripciones y
explicaciones sistemticas respaldadas por la observacin del actuar
gubernamental. La bsqueda de esta meta proporciona la esencia de
lo que Robert K. Merton2 llama el ethos de la investigacin cientfica,
o sea, las cuatro caractersticas fundamentales con las que se debe
practicar:
a] universalismo: que la verdad descubierta sea aplicable en los trminos ms amplios y que no se limite a situaciones o puntos de
vista particulares; el imperativo del universalismo tiene sus races
en el carcter impersonal de la ciencia.
b] comunalismo: que el conocimiento producido pertenezca a todos,
para que sirva para desarrollar la ciencia.
c] imparcialidad: entendida como la aceptacin de los hechos como
tales, puesto que el cientfico debe librarse dentro de lo posible
de prejuicios o preferencias subjetivas en su investigacin, anlisis
e interpretacin.
d] escepticismo sistemtico: es un componente fundamental de la ciencia
en cuanto representa la capacidad para someterla a un cuestionamiento crtico constante.
2
Robert K. Merton, Teora y estructura social, Mxico, Fondo de Cultura Econmica,
1970, pp. 544-545.
23
La investigacin social, como toda investigacin cientfica, tiene

que establecer las condiciones de verdad y certeza de un hecho; para
ello, debe someterse a un riguroso mtodo general que consiste en la
bsqueda persistente de estas dos condiciones. Este mtodo cientfico
se define como: la persistente aplicacin de la lgica como caracterstica comn de todo conocimiento razonado.3 El mtodo cientfico
es la forma de someter a la rigurosidad de la argumentacin lgica, hiptesis y conjeturas sobre los fenmenos sociales, mediante el examen
de las evidencias que abogan a favor o en contra. El mtodo cientfico
es el camino argumentativo que recorre el investigador en la bsqueda
de la certeza y la verdad.
Evaluacin de polticas pblicas

La evaluacin de polticas pblicas se define como la valoracin de
la accin emprendida por los poderes pblicos para abordar un problema de la agenda pblica; pone el nfasis en los efectos reales de la
accin gubernamental.
La evaluacin tiene como principal destinatario a la comunidad de
los actores polticos sin preocuparse fundamentalmente de la comunidad cientfica. Por supuesto que puede generar conocimiento cientfico, pero no es sta su funcin principal.
El concepto de evaluacin es multvoco, pero todas las acepciones
tienen un hilo conductor: proporcionar evidencias suficientes, pertinentes, competentes y relevantes del grado con que la implementacin de una poltica pblica ha conseguido los fines que se propona
cumplir y del grado en que ha producido otras consecuencias colaterales. Podra decirse que la evaluacin es el planteamiento crtico,
desde el punto de vista de las ciencias sociales, del estado que guarda
una poltica pblica y del grado en que el pmbs ha operado.
La evaluacin de polticas es fundamentalmente un asunto de la
investigacin social aplicada. Se nutre de la investigacin terica y su
papel se centra en operacionalizar los conceptos de la teora para hacerlos manejables en la investigacin prctica. Se trata de conjugar
la operacionalizacin de los conceptos tericos con los referentes del
3
Cohen y Nagel, Introduccin a la lgica y al mtodo cientfico, tomo ii, Buenos Aires,
Amorrortu, 1971, p. 8.
24
diseo de una poltica pblica para recolectar, verificar y realizar los

ejercicios hermenuticos de la informacin sobre la ejecucin y eficacia de las polticas pblicas, utilizando los mtodos de las ciencias
sociales. El objetivo es valorar los resultados e impactos de una poltica
con la pretensin de racionalizar la toma de decisiones. Esta racionalidad debe operacionalizarse en la elaboracin de planes, programas
y de un proceso de presupuestacin fundados en una lgica tcnicoeconmica sobre la base del principio del mximo beneficio social.
La evaluacin pretende ofrecer una descripcin y explicacin sobre
lo que ha ocurrido o est ocurriendo por el actuar pblico, por lo
que se le considera una investigacin retrospectiva; tiene una lnea
fronteriza muy tenue con el anlisis de polticas que se refiere a la
prospectiva. En la prctica, tanto la retrospectiva como la prospectiva
se basan en los tres tiempos simples: qu se hizo, qu est ocurriendo
y qu resultados queremos obtener, por lo que el traspaso de fronteras
es muy frecuente. La tenue frontera entre la evaluacin y el anlisis es
el nfasis del estudio sobre los efectos probables o sobre los efectos
reales.
Anlisis de polticas pblicas

Un anlisis de polticas es la utilizacin de los mtodos y tcnicas de las
ciencias sociales para contestar a la cuestin de cules sern los efectos
probables de una poltica antes de que sta entre en operacin. Un
anlisis de poltica realizado sobre un programa que ya est en operacin se denomina ms apropiadamente: evaluacin de programa.
Mientras que la evaluacin de polticas valora los efectos en forma
retrospectiva, el anlisis de polticas conjetura cules podran ser los
efectos de una poltica antes de que sta se ponga en operacin y busca
informar sobre las decisiones que todava estn por tomarse.
Todo anlisis de polticas supone la aplicacin de tcnicas sistemticas de investigacin tomadas de las ciencias sociales y basadas en
medidas de eficacia, eficiencia, calidad, costo e impacto. El anlisis se
lleva a cabo en la formulacin, ejecucin y evaluacin de las polticas
para estructurar un sistema de implementacin lo ms racional posible, por lo que se exploran los posibles efectos y costos para poner en
operacin una poltica pblica y se elaboran ejercicios sobre la racionalidad del binomio causa-conveniencia.
25
Por medio del anlisis de las polticas pblicas se pretende entender

las causas, el modo de operar y los objetivos de la poltica pblica,
para ponerla en operacin con la mayor certidumbre posible y con la
mayor confiabilidad en obtener resultados positivos. Se investiga si la
poltica pblica en cuestin se ha diseado correctamente y si es posible implementarla de acuerdo con los criterios de eficacia, eficiencia
y economa; si es coherente con los principios de la democracia representativa; si realmente beneficiar a la poblacin a la cual se dirige y
si el pmbs se cumplir.
En resumen, el anlisis de polticas pblicas se concentra en estudiar y explicar los procesos concretos de actuacin de los poderes
pblicos para generar propuestas de solucin a los problemas sociales;
esto es lo que hace que el anlisis ponga nfasis en su futura aplicabilidad para hacer eficaces las prcticas gubernamentales.
El anlisis de polticas pblicas ha ido ampliando su objeto de estudio. Se ha pasado del simple anlisis de la decisin pblica y sus
implicaciones, al estudio de las complejas acciones que se derivan de
la misma y sus efectos sobre el planteamiento del problema original.
Wayne Parsons lo sentencia as:
en sentido ortodoxo, el anlisis de las polticas pblicas se ocupa de mejorar
los mtodos de identificacin y definicin de problemas, especficamente de
metas, evaluacin de alternativas, seleccin de opciones y medicin del desempeo4
Y propone que la quididad del asunto quede asentada as: quin

asegur qu valores, mediante qu instituciones y cundo y cmo suceder o sucedi?
Auditoras de desempeo
Uno de los instrumentos ms valiosos de la democracia lo constituye
la rendicin de cuentas, entendida como la obligacin que tienen
quienes ejercen el poder pblico de responsabilizarse del mandato
conferido, de someterse a evaluaciones de su desempeo y de dar a
conocer los resultados de las mismas a los ciudadanos. La auditora
4
Wayne Parsons, Polticas pblicas, Mxico, flacso, 2007, p. 91.
26
de desempeo es la encargada de realizar la evaluacin sobre la rendicin de cuentas.

Las auditoras de desempeo utilizan los mtodos y trminos de las
ciencias sociales para verificar y comparar lo propuesto por las polticas pblicas contra lo logrado y analiza las causas de las diferencias.
Sus fuentes principales son los documentos de rendicin de cuentas,
principalmente la Cuenta de la Hacienda Pblica Federal, documento
por antonomasia de la rendicin de cuentas.
La auditora de desempeo es una revisin sistemtica, interdisciplinaria, organizada, objetiva, propositiva, independiente y comparativa del impacto social de la gestin pblica, tanto de las actividades
gubernamentales enfocadas en la ejecucin de una poltica general,
sectorial o regional, como de aquellas inherentes al funcionamiento
de los entes pblicos.
Es una revisin:
Sistemtica, porque utiliza los mtodos y las tcnicas de las ciencias
sociales para obtener sus evidencias y, a partir de ellas, elabora sus
consideraciones.
Interdisciplinaria, porque se realiza con la aplicacin de los conocimientos de varias disciplinas acadmicas, segn la materia o especialidad que trate la revisin.
Organizada, porque tanto su protocolo de investigacin la auditina
como su ejecucin obedecen a un razonamiento lgico, normado
con los estrictos cnones de la investigacin social aplicada.
Objetiva, porque trata de describir y explicar los fenmenos como
los podra analizar cualquier cientfico social carente de prejuicios o
intereses generados sobre el objeto o sujeto fiscalizado; es tambin
objetiva porque todas sus conclusiones estn basadas en evidencias
suficientes, competentes, relevantes y pertinentes.
Propositiva, porque sus juicios sobre la materia fiscalizada estn
encaminados a la bsqueda de las mejores y sanas prcticas gubernamentales, ms que a sancionar o denostar los resultados de las
polticas pblicas.
Independiente, porque no intervienen intereses ajenos al grupo auditor ms que la razn y la objetividad.
Comparativa, porque mide el impacto social de la gestin pblica y
compara lo propuesto con lo realmente alcanzado; sobre todo por los
ejercicios de benchmarking de lo logrado contra las mejores prcticas.
27
La auditora de desempeo se ocupa bsicamente de examinar las

tres e: eficacia, eficiencia y economa. Adems, toma en cuenta las
tres c: calidad en el servicio, ciudadano-usuario o beneficiario, y
comportamiento de los actores.
Las auditoras de desempeo que observan la propiedad, pertinencia y racionalidad de los objetivos propuestos por las polticas pblicas se denominan comprehensivas. En realidad, realizan el anlisis
de la teora poltica, por lo tanto, son revisiones que trabajan en la
frontera entre la poltica y la ciencia social, por lo que deben estar
libres de sesgos metodolgicos y percibidas como un asunto de investigacin social.
Si la auditora de desempeo se enfoca en el vnculo objetivos-consecuencias sin analizar los medios caja negra se denomina de resultados; si la auditora fundamenta su anlisis en la eficacia, eficiencia y
economa de una poltica pblica, se denominar de desempeo propiamente dicho y su objetivo ser determinar si la institucin pblica
obtiene los resultados esperados (eficacia); si la operacin es fiel al
diseo de la poltica pblica (eficiencia), y si los costos tanto de la operacin como de los resultados son los generalmente aceptados en una
racionalidad de mercado (economa).
conceptualizacin del trmino evaluacin
Cuando se gasta dinero pblico, tiempo y energas para resolver un

problema siempre habr que poner en duda tanto la eficacia de tales
esfuerzos como si el pmbs sustenta el esfuerzo gubernamental. La
evaluacin nace precisamente de la duda metdica cartesiana para
saber si lo que se est haciendo es lo que se debera hacer y si fuera
as constatar los efectos deseados. La evaluacin pretende encontrar
la racionalidad de las decisiones sobre el gasto pblico, por lo que
establece un conjunto de proposiciones conjeturas por demostrar
que describan y expliquen con precisin las razones de los tomadores
de decisin y de quienes pagan los impuestos para financiar el gasto
pblico.
A los ciudadanos no les importa saber cules son las normas que
rigen la burocracia, pero s les importa la eficacia con la que el gobierno les brinda servicios y si el pmbs gua las acciones gubernamen-
28
tales. Ellos desean programas que funcionen y funcionarios que hagan

funcionar con eficacia la maquinaria gubernamental.
Desde un punto de vista analtico, pueden distinguirse cinco etapas
en las polticas pblicas: origen, diseo, gestin, implementacin y
evaluacin. La primera etapa se genera cuando se decide hacer frente
a un problema y subirlo a la agenda pblica; la segunda, cuando se
estructura la accin gubernamental; la tercera, cuando se gestionan
todos los apoyos polticos-presupuestarios; la cuarta, cuando la poltica pblica se pone en accin, y, la ltima, cuando se revisan los
efectos. Si se estudian y analizan todas las fases, la evaluacin tiende a
ser concebida como una de las fases finales, aunque la mayora de los
autores reconocen la interrelacin de todas.
El concepto de evaluacin puede dividirse, para fines de comprensin, en dos aspectos: la teora del cambio o teora de la poltica
pblica y la medicin de los efectos de la accin pblica.
La teora del cambio de la poltica pblica, llamada tambin teora de la
poltica pblica o teora del programa, indaga la creencia subyacente
de que determinadas acciones gubernamentales producirn determinados resultados. Sin embargo, la teora pocas veces se somete
a un anlisis riguroso de causa-efecto y ste es el punto central del
evaluador: realmente hacer A producir B? He aqu un ejemplo:
Una maana Mao despert con la idea de liquidar una de las cuatro grandes
plagas de China, que eran las ratas, las moscas, los mosquitos y los gorriones.
Orden movilizar a toda la poblacin para exterminar a esos pjaros que se coman
los granos e impedan la multiplicacin de las cosechas. Era un honor llevar largos
collares con gorriones colgando como trofeos. Los evaluadores de esta decisin que
hicieron llegar sus advertencias sobre el despropsito, fueron fusilados. Mao gan
la guerra, porque limpi el pas de gorriones, pero el desequilibrio ecolgico fue tan
grande que aumentaron las dems pestes a las que los gorriones, precisamente, se
ocupaban de frenar. Las cosechas decayeron y aument la hambruna. Un mensaje
top secret enviado a Mosc solicitaba que, en nombre del internacionalismo socialista, se enven con urgencia doscientos mil gorriones del lejano este sovitico lo
antes posible.
La medicin de los efectos de la accin pblica. A esta medicin se le llama

strictus sensus evaluacin. Por consiguiente, evaluar una poltica pblica es medir los resultados netos imputables a la intervencin gu-
29
bernamental en un rea especfica. Por lo tanto, podemos aseverar

que la evaluacin consiste en la utilizacin de los mtodos de las
ciencias sociales para medir y valorar los efectos reales, previstos o
no, de las polticas pblicas.
Latus sensus podemos afirmar que la evaluacin es una investigacin con el rigor metodolgico de las ciencias sociales para valorar el
origen, diseo, gestin, implementacin y los efectos netos de la accin
pblica con el objeto de establecer una relacin causa-efecto para mejorar las prcticas gubernamentales, apoyar la toma de decisiones y
las futuras decisiones sobre la generacin de nuevas polticas pblicas.
utilidad de la evaluacin
La utilidad es el fundamento de la evaluacin, por lo que la preocupacin por su utilizacin debe ser la gua conductora. El evaluador no
debe perder la brjula y siempre debe tener presente que su trabajo
debe concluir con recomendaciones tiles para ayudar a los diseadores o ejecutores de las polticas pblicas.
Para asegurar la utilidad de la evaluacin, se deben tener presentes
cuatro consideraciones: a] que las preocupaciones y preguntas de los
posibles usuarios estn contenidas en el programa de revisin; b] que
las recomendaciones sean producto de evidencias y pruebas sistemticas rigurosas y objetivas del estado real de la implementacin de una
poltica pblica (no debe haber dudas sobre la severidad de la metodologa); c] las recomendaciones deben ser pertinentes e idneas, con
carcter pragmtico y dirigidas a la prctica mediante la propuesta de
cursos de accin con carcter prospectivo, y d] que el proceso lgico
problema-curso de accin sea tan evidente que la conclusin sea prcticamente axiomtica.
Los principales puntos sobre la utilidad de la evaluacin son cinco:
Para verificar, ratificar o corregir el rumbo de la accin gubernamental.
La evaluacin pone nfasis en las metas que tienen sancin oficial
con el objetivo de que los implementadores conecten lo que estn
30
tratando de cumplir con sus actividades diarias. Este ejercicio de

la racionalidad medios-fines es de una gran utilidad para corregir
desviaciones de las polticas pblicas.
Aprender de la experiencia y tomar decisiones sobre bases ms slidas.
La evaluacin extrae el conocimiento de lo ya hecho para mejorar el
diseo y la implementacin de las polticas pblicas. La historia nos
proporciona lecciones sobre lo que ha funcionado bien y lo que ha
fallado, y las razones de xitos y fracasos, propios y ajenos.
Negociaciones presupuestales.
En un sistema de administracin por resultados, la evaluacin
facilita las negociaciones con los ministerios de finanzas. Es ms
sencillo demandar incrementos presupuestales cuando se pueden
mostrar resultados tangibles de las asignaciones recibidas y gastadas, que en el caso contrario.
Las sanas prcticas gubernamentales.
Un compromiso normal para la evaluacin est basado en la esperanza de que las prcticas inefectivas puedan ser identificadas
mucho antes de que el error se vuelva una pandemia. La evaluacin
de los procesos del programa puede mandar seales tempranas de
lo que necesita atencin. Una razn importante para emprender la
evaluacin es hallar pronto qu est sucediendo para hacer cambios
correctivos hacia las mejores prcticas.
Ejercicio democrtico de rendicin de cuentas.
La evaluacin debe servir como instrumento que permita, en los diferentes niveles de responsabilidad, rendir cuentas sobre la gestin y
los resultados de un programa. El ciudadano tiene derecho a saber
no slo en qu se estn empleando los fondos pblicos, sino tambin
con qu grado de idoneidad, eficacia y eficiencia se asignan, gestionan y emplean dichos fondos y, de ser posible, saber si el pmbs es
el eje de la gestin gubernamental.
31
Cuando se inicia una evaluacin, el usuario debe estar comprometido en poner en prctica las recomendaciones y el evaluador en
poner toda su competencia profesional en estructurar recomendaciones tiles basadas en la evidencia de los hallazgos. Es importante
que quienes toman decisiones sientan como suyas las recomendaciones. Para aumentar este sentido de pertenencia lo mejor es desarrollarlas conjuntamente con ellos.
criterios de la evaluacin
Un gobierno que no orienta sus recursos con la finalidad de ofrecer resultados a la sociedad es un gobierno que erosiona su legitimidad y ve
sistemticamente mermadas sus capacidades de conduccin poltica
y regulacin social. En virtud de lo anterior, resulta indispensable revisar a fondo el origen, diseo, gestin, implementacin y evaluacin
de las polticas pblicas, a fin de generar nuevos mecanismos e instituciones que, efectivamente, incentiven a los actores y permitan al
gobierno responder con xito a la misin de las instituciones sustentadas en las demandas sociales sobre el principio del mximo beneficio social.
El modelo del pmbs se incorpor en el sistema de planeacin, programacin y presupuestacin (ppp). Segn los tericos, el modelo ayudara al gobierno a: 1] identificar los objetivos nacionales con precisin
sobre una base de continuidad; 2] elegir entre dichos objetivos los ms
urgentes; 3] buscar los medios alternativos de alcanzar los objetivos y
metas de la manera ms eficaz y con el mnimo costo; 4] informar a
los ciudadanos no slo del costo de los programas del ao prximo,
sino tambin de los costos a mediano plazo; 5] medir el desempeo
de las polticas pblicas para asegurar que el capital invertido se viera
reflejado en los bienes y servicios pblicos; 6] medir el desempeo
de los actores, ya sea institucionales o individuales, y 7] enfocar toda
la poltica pblica en la satisfaccin del ciudadano-beneficiario o ciudadano-usuario.
El sistema ppp, hoy llamado presupuesto con base en resultados
(pbr), requiere de una rigurosa y explcita definicin de objetivos de
mediano y largo plazos, el establecimiento de metas de corto plazo, la
estructuracin de un sistema de indicadores clave que permita a los to-
32
madores de decisiones y a los ciudadanos en general conocer el estado

que guarda la administracin pblica pero, sobre todo, el estado que
guarda la salud de la repblica. El pbr requiere un cuidadoso anlisis
de los costos y beneficios de cada alternativa y del empleo del anlisis
del pmbs en el proceso de decisin. Sin lugar a dudas, este sistema implica una considerable distancia de los mtodos presupuestales tradicionales del gobierno y un paso importante hacia el desarrollo de un
proceso de decisin racional argumentativo.
La estructura del pbr entraa la reorganizacin del presupuesto, ya
no se insiste en los insumos (inputs), sino en los productos (outputs).
Tradicionalmente, el presupuesto se organizaba para mostrar al Congreso hacia dnde se diriga el dinero. Esta organizacin dificultaba
la posibilidad de relacionar los costos con los productos generados;
en consecuencia, se traz una nueva estructura que sirve mejor a los
objetivos del anlisis y la evaluacin de las polticas pblicas. De esta
manera, los gastos se agrupan segn su propsito o meta; se enlazan
los insumos y los productos, con lo que se obtiene la base para aplicar
el principio de mximo beneficio social en las distintas polticas
pblicas.
He aqu algunos impedimentos que han trabado el progreso de
este mtodo: primero, en el caso de muchos programas pblicos, los
objetivos y las metas estn expresados con ambigedad o de manera
contradictoria, o se dispersan en muchas direcciones. La responsabilidad de esta falta de claridad la comparten el Congreso y el Poder
Ejecutivo. Segundo, existen muchos problemas conceptuales todava
irresueltos en la aplicacin del pmbs a los gastos pblicos, a pesar de
que el concepto bsico del anlisis y del criterio costo-beneficio se
acepta. Tercero, el sistema del pbr se instaur sin los cambios metodolgicos que implican la definicin de objetivos y metas precisas y
el sistema de indicadores clave que permita, en tiempo real, medir el
impacto de las polticas pblicas. Cuarto, la ejecucin del pbr requiere
de analistas que estn capacitados en el manejo del pmbs y de los modelos que ello implica. Quinto, el sistema del pbr exitoso, que imponga
el pmbs, amenazara la capacidad de los grupos de presin y de los
factores reales de poder, de obtener asignaciones presupuestales para
sus intereses. Sera mucho ms difcil para estos grupos lograr apoyo
a favor de un programa que les proporcione un subsidio, en caso de
existir un slido anlisis que demostrase que sus costos futuros son
mayores que los beneficios esperados. En consecuencia, esos sectores
33
han presentado una considerable oposicin al desarrollo de procedimientos analticos serios para la evaluacin de las polticas pblicas.
Existen seis criterios para la evaluacin de las polticas pblicas que
se desprenden del pmbs y de la estructura del pbr: eficacia, eficiencia,
economa, competencia de los actores, calidad del bien o servicio y
ciudadano usuario o beneficiario.
Eficacia
La eficacia es un concepto ligado esencialmente con el logro de objetivos y metas. Evaluar la eficacia de un programa o poltica pblica se
debe traducir como el anlisis de los resultados o consecuencias de la
accin gubernamental comparado contra lo pretendido.
La literatura del tema operacionaliza el concepto resultado como
efecto, impacto y producto. Se hablar de efecto cuando los resultados
se evalan en relacin con la satisfaccin del ciudadano usuario o beneficiario o en relacin con la percepcin de la comunidad. Se usar
el trmino impacto cuando los resultados sean confrontados contra
los valores postulados por la teora del programa. Y, finalmente, el
concepto productos se aplicar cuando se utilice el anlisis sistmico:
insumo-producto (qu entra al sistema y qu sale).
As, por ejemplo, en la poltica pblica contra la pobreza, los valores que subyacen en la teora del programa son: elevar la calidad
de vida de la poblacin, aumentar las oportunidades de vida digna,
la no transmisin de la pobreza a las futuras generaciones. As, si
el evaluador ha podido operacionalizar esos conceptos y establecer
indicadores de impacto podr dar las explicaciones suficientes sobre
el impacto de la poltica pblica y de cmo se han alcanzado o no los
valores.
En la evaluacin de los efectos, el evaluador debe analizar la satisfaccin de los ciudadanos y de las comunidades mediante entrevistas
y encuestas de opinin, con mtodos cualitativos que expliquen la percepcin sobre la accin gubernamental. As, en la poltica del combate
contra la pobreza, los programas de alimentacin, educacin y salud
pueden estar funcionando con razonable eficacia, pero la percepcin
de la comunidad puede ser baja.
Cuando se habla de productos, los evaluadores se refieren a los
bienes y servicios que produce el gobierno. Ah se evala la calidad y
34
la oportunidad con las que son puestos para satisfacer las necesidades
ciudadanas.
La evaluacin de la eficacia consta de dos partes: una relativa a
verificar si se han logrado los objetivos y las metas de la poltica; y
otra, que comprueba si los acontecimientos deseados efectivamente
han ocurrido, y si pueden atribuirse a la poltica aplicada.
Los indicadores estratgicos o de resultados5 se asocian al cumplimiento de los objetivos fundamentales de una poltica pblica; en
consecuencia, miden lo verdaderamente esencial; se determinan con
base en los componentes crticos de xito y son los parmetros de
medicin de la eficacia para verificar si se cumplieron los objetivos de
un programa, la actividad institucional o la poltica pblica; indican
si es posible la medicin, con precisin razonable, del nivel y calidad
que se desea.
Por lo tanto, la primera tarea en la evaluacin de los resultados es
responder a la siguiente pregunta: la poltica o el programa tiene objetivos suficientemente discernibles, estables, unvocos? Si la respuesta
es positiva, entonces el sistema de evaluacin del desempeo contar
con indicadores estratgicos correctos, cuantitativamente mensurables y cualitativamente interpretables; pero cuando la respuesta es
negativa, habr que regresar al diseo de la poltica pblica para hacer
los ejercicios hermenuticos que permitan saber exactamente qu se
quiere lograr y luego construir los indicadores estratgicos; todo esto
se deber hacer mediante un dilogo argumentativo con los diseadores y operadores del programa.
Eficiencia
La evaluacin de la eficiencia mide y califica el recorrido entre medios
y fines; es la proporcin entre la utilizacin de insumos, recursos,
costo, tiempo y la forma en que se relacionan los fines con los medios.
Existe un consenso generalizado sobre la importancia de valorar
por medio de los criterios generales de eficiencia hasta qu punto los
resultados alcanzados derivan de una utilizacin racional de los recursos financieros, tcnicos y humanos.
5
Para acceder a una explicacin ms detallada de los indicadores, vase: Indicadores
de Desempeo, Auditora Superior de la Federacin, Mxico, 2009.
35
La teora de la implementacin asienta que si las actividades se conducen conforme lo planeado con suficiente intensidad de calidad y
fidelidad al plan, los resultados estarn disponibles. Pero se asume,
en un diseo ortodoxo de la poltica pblica, que los mtodos de evaluacin de los resultados y la frecuencia con la que se evaluar estn
consignados.
Dos enfoques tienen su raz en el criterio de eficiencia: insumos
y procesos; evalan el cmo, no el para qu. Pero el cmo es importante porque es el vnculo entre el diseo y el resultado. Un programa
puede fallar no porque sus servicios fueran inapropiados o mal diseados sino porque fueron mal operados. Es como una pelcula brillantemente escrita y elegantemente fotografiada, pero psimamente
actuada, de tal manera que los resultados son totalmente mediocres.
La evaluacin de procesos. La tendencia a concentrarse en los procesos
es natural: los gestores miden lo que hacen sus instituciones, y en las
organizaciones regidas por normas, los operadores consideran que
su trabajo consiste en seguir ciertas rutinas bajo ciertas normativas.
Si siguen dichos procesos fielmente y generan el esperado volumen
de produccin de bienes o servicios, estn haciendo su trabajo. Pocas
veces piensan en el impacto que las actividades tienen en aquellos
que la institucin debe servir. Sin embargo, un proceso ejecutado a
la perfeccin, si fracasa, representa una prdida de tiempo y dinero.
Se podra decir que hubo una manera eficiente de fracasar.
Evaluacin de insumos. Su objetivo es valorar la capacidad del sistema
para llevar a cabo las estrategias planeadas con los recursos dados.
Identifica y valora el mrito de proyectos alternativos, ayuda a disear los programas y a dar forma a las propuestas y proyectos.
Sirve para tomar decisiones sobre la estructuracin del programa,
identificacin de fuentes de apoyo y diseo de estrategias y procedimientos. Se centra en la cantidad y calidad de los recursos disponibles para la realizacin de cierta tarea: el nmero y calidad tcnica
del personal, la informacin disponible, el nivel de financiamiento,
el apoyo poltico, etctera.
La eficiencia se mide con indicadores de gestin; stos se centran en
los procesos clave por medio de los cuales opera una poltica pblica.
Son medidas de la operacin de una poltica pblica y proporcionan
informacin relevante sobre la productividad y la calidad con la que
36
se trabaja; adems, permiten determinar brechas en el desempeo y

tomar decisiones para mejorar las formas de trabajo.
Economa
La economa mide el costo de los recursos aplicados para lograr los
objetivos de un programa o poltica pblica contra los resultados
obtenidos; implica racionalidad, elegir, entre varias opciones, la
que conduzca al mximo cumplimiento de los objetivos con el
menor gasto posible. La principal interrogante es saber si dentro
del contexto poltico y social especfico los recursos han sido aplicados y utilizados de un modo racional y eficiente para lograr los
fines previstos. Tambin se le conoce como valor por dinero (value
for money).
La investigacin social, la evaluacin, el anlisis de las polticas
y la auditora de desempeo, en muchas ocasiones, tratan de determinar el costo, el valor y la utilidad de una poltica, incluyendo
la estimacin del valor de los usos alternativos de los recursos;
para ello se auxilian de varios enfoques, los dos principales son:
costo-beneficio y costo-eficiencia.
Costo-beneficio. Este mtodo de toma de decisiones sustenta su racionalidad al contestar la siguiente pregunta: las ganancias obtenidas
por las personas, superan sus sacrificios? Si la respuesta es afirmativa, la medida debe ser aceptada; en caso contrario, no favorece
a la esfera pblica ni al inters pblico.
Consiste en identificar, medir y valorar los costos versus los beneficios pretendidos por un proyecto, programa o poltica pblica. El
evaluador compara la situacin sin el actuar pblico no se hace
nada contra la situacin con intervencin y obtiene los efectos atribuibles exclusivamente a la realizacin.
Costo-eficiencia. El anlisis costo-eficiencia utiliza la evidencia evaluativa de resultados para estimar los beneficios del programa.
Esto incluye no nicamente los gastos del programa, sino tambin
costos indirectos y costos de oportunidad. La pregunta clave de
este enfoque es: cunto cuesta alcanzar un nivel de productividad?
37
Se puede concluir que una evaluacin con enfoque de economa de

una poltica pblica busca expresar en trminos monetarios el costo
de bienes o servicios pblicos en relacin con indicadores estratgicos
o de impacto.
Competencia de los actores

La evaluacin del desempeo de los servidores pblicos es un asunto
abstruso y de difcil solucin; conlleva el sndrome de la madrastra de
Blancanieves: la evaluacin es correcta y objetiva y no hay objeciones
mientras el espejo mgico diga que uno es la encarnacin de la eficacia; pero cuando el espejo es objetivo y nos dice que no somos ni
los mejores ni los ms eficaces, entonces confrontamos lo dicho por
el espejo y emprendemos una campaa de desprestigio contra los sistemas de evaluacin.
Se debe partir del principio de que lo que no se puede medir no
se puede mejorar. Por lo tanto, la evaluacin del desempeo del servidor pblico deber realizarse aunque sea por el mtodo de aproximaciones sucesivas. Entonces, cules sern los criterios generalmente
aceptados para la evaluacin?, se responde: combinaciones de indicadores cuantitativos y cualitativos, y combinaciones de factores individuales y de cooperacin en grupos de trabajo.
Los indicadores cuantitativos se enfocarn en la parte de la eficiencia: nmero de das laborados, nmero de das con asistencia
puntual, cumplimiento de tareas ordenadas. Pero la calidad del
trabajo tiene que ser medida mediante indicadores cualitativos de
satisfaccin del superior y de los ciudadanos usuarios o beneficiarios;
se tratara de medidas de percepcin. Las medidas de eficacia laboral individual seran relativamente manejables si los procesos en
que se labora establecieran controles documentales que midieran la
contribucin de cada servidor pblico en la realizacin del trabajo
colectivo. Y las medidas de cooperacin social en el trabajo colectivo
tendran que ser una mezcla entre la percepcin de los pares y el
juicio del superior.
Los cuatro factores: indicadores cuantitativos, cualitativos, evaluacin individual y evaluacin del trabajo en equipo deben estar
orientados a medir el cumplimiento de la misin, de los objetivos institucionales de mediano y largo plazos, y de las metas de corto plazo.
38
La evaluacin del desempeo se puede lograr por la ponderacin

de dos indicadores clave: la capacitacin como actualizacin del conocimiento en la esfera de competencia y la profesionalizacin, como la
conjuncin de indicadores cualitativos sobre la capacidad del trabajo
en equipo, la capacidad de solucionar problemas, la satisfaccin en el
cumplimiento de la misin, la capacidad de tomar decisiones y asumir
el riesgo. Ambos indicadores deben manifestar si se cumplieron los
objetivos y metas institucionales y si se orient la actuacin de conformidad con la misin.
El busilis de la gestin del capital humano es la eficacia obtenida
por la capacidad de realizacin que genera la idoneidad en el cargo.
El principal y legtimo principio de la evaluacin de la idoneidad es el
mrito probado en el campo de la accin; la pregunta clave en la evaluacin de la idoneidad es: qu ha realizado?, no cuntos diplomas
trae consigo. El sector pblico requiere saber y hacer; en suma: saber
hacer, entendida esta frase como ciencia y experiencia.
Calidad del bien o servicio

El inters particular de los usuarios de los servicios pblicos se centra
en la calidad de stos, no se trata slo de que el gobierno preste los
servicios que se consideran necesarios para la comunidad, sino que,
adems, los preste con calidad. La calidad en los servicios pblicos es
una gran responsabilidad de los gobiernos.
La principal manera en que los evaluadores pueden introducir la
evaluacin de calidad en sus estudios es mediante el uso de estndares
de desempeo generalmente aceptados.
La calidad en el contexto de la prestacin de un servicio pblico
comprende varios componentes: oportunidad, cantidad, accesibilidad, disponibilidad, precisin, seguridad e idoneidad, que expresan
valores de provisin del servicio y, como parte de esto, la relacin entre
el gobierno-proveedor y el ciudadano usuario o beneficiario.
Existen, en la prctica, tres principales categoras de instrumentos
de medicin de la calidad de los servicios: las encuestas entre los
usuarios, los grupos de enfoque y el establecimiento de normas o estndares de calidad. Estas tcnicas son suficientemente conocidas por
ser de aplicacin general en numerosas actividades sociales y en otras
relacionadas con la mercadotecnia.
39
Ciudadano usuario o beneficiario

En la doctrina de la nueva gestin pblica (ngp), el concepto de cliente
sustituye al de ciudadano o al de usuario del servicio. Se trata de sub
rayar la idea de que un servicio pblico puede y debe ser sometido
a las mismas reglas de mercado de los servicios que presta el sector
privado. An ms, se afirma que no hay ninguna diferencia entre
la naturaleza intrnseca de uno y otro. Es muy importante la consideracin, tambin proveniente de la ngp, en el sentido de que las
preferencias de los usuarios y sus necesidades deben recibir la ms
alta prioridad.
La teora crtica y la teora interpretativa sostienen que es probable
que la burocracia no sea capaz de representar con autenticidad los
intereses del ciudadano y, por consiguiente, se hace necesario que ste
participe ms activamente en los procesos sobre los bienes y servicios
que recibe.
La naturaleza de la participacin del ciudadano puede variar. Se sugiere que puede haber una lnea continua trazada por su participacin
con cinco puntos identificables: informacin, consulta, participacin
conjunta, delegacin y control.
El primero tan slo proporciona a un ciudadano informacin
acerca de qu servicios van a suministrarse. El segundo considera una
injerencia en las decisiones y una oportunidad de tener un dilogo
con el proveedor, en donde las decisiones sin embargo todava las
toma el gobierno o el prestador de servicios. El tercero establece la
participacin en la toma de decisiones o que stas se hagan en forma
conjunta. El cuarto prev que las decisiones las tomen los ciudadanos,
pero dentro de un marco de referencia convenido al menos parcialmente determinado por el gobierno o proveedor. El ltimo implica
que los ciudadanos determinen todas las decisiones, como ocurrira
en un mercado verdaderamente competitivo. La mayora de los pases
operan en el segundo o tercer punto de la lnea continua.6
Al respecto, conviene agregar algunas consideraciones:
Existe una gran diferencia entre medir procesos y medir resultados.
Cuando las organizaciones pblicas miden rendimientos, sus gestores normalmente disean listas que miden lo bien que llevan
6
Vase ocde, Un gobierno alerta, Mxico, 1996, pp. 82 y ss.
40
algunos procesos administrativos: a cunta gente sirven; con qu

velocidad les sirven; qu porcentaje de solicitudes se llenan en un
periodo dado. Bsicamente miden su volumen de datos.
Existe una gran diferencia entre medir la economa y medir la eficacia. La economa es una medida de lo que cuesta cada unidad de
resultado. La eficacia es una medida de la calidad de este resultado:
con qu precisin se consigue el resultado deseado? Cuando medimos la economa sabemos lo que cuesta conseguir un resultado especfico; cuando medimos la eficacia, sabemos si nuestra inversin
tiene valor. No hay nada ms ridculo que hacer de un modo ms
econmico algo que se debe dejar de hacer.
No obstante, la relacin cercana entre los aspectos de eficacia y eficiencia de la operacin de un programa, stas pueden tener una relacin inversa. Es posible tener un programa relativamente ineficiente
y, sin embargo, eficaz; se desperdician recursos, pero se alcanza el
objetivo; o un programa relativamente eficiente, pero ineficaz; se
puede hacer un uso ptimo de los recursos, pero no obstante se obtiene poco impacto sobre el problema que se pretenda resolver.
Cuando se evala la calidad de un bien o servicio pblico, los estndares deben estar relacionados con las expectativas de los ciudadanos, y la atencin de los servidores pblicos debe ser de alta
calidad y se debe considerar al ciudadano como a alguien que paga
el servicio y exige calidad en un mercado competitivo.
el rigor metodolgico de la evaluacin
La investigacin social, la evaluacin, el anlisis de polticas pblicas

y la auditora de desempeo debern cumplir con los requisitos del
mtodo cientfico: sistemtico, controlado, emprico y crtico.
Una investigacin es sistemtica si el investigador procede en forma
ordenada, siguiendo con rigurosidad el proceso de obtencin, elaboracin y anlisis de los datos, de tal forma que stos obtengan
evidencias suficientes, competentes, relevantes y pertinentes que
fundamenten conclusiones vlidas.
La evidencia es suficiente cuando se obtiene la cantidad necesaria
para sustentar las observaciones, conclusiones y recomendaciones;
41
es pertinente cuando se relaciona con la materia revisada y el periodo de estudio; es relevante cuando es importante y coherente,
cuando tiene relacin lgica y patente con los hechos; es competente cuando es de calidad, cuando es capaz de persuadir sobre su
validez para apoyar las conclusiones y recomendaciones.
Es controlada si todo el proceso se orienta hacia la solucin de la
quididad y las hiptesis planteadas en el diseo, y si se cumple en
cada parte del proceso con los requisitos del mtodo cientfico.
Es emprica si el investigador busca las bases de sus conclusiones en
fuentes primarias en la realidad, mediante el estudio directo de ella.
Es crtica si permea el escepticismo cientfico en todo el proceso
de investigacin; si la duda metdica es aplicada a cada resultado,
a cada inferencia, a cada interpretacin y a cada conclusin, de tal
manera que se reformule, reenfoque y clasifiquen los resultados y
que todos ellos posean las caractersticas de la evidencia.
En la fiscalizacin superior de la Cuenta Pblica 2007, la Auditora
Superior de la Federacin llev a cabo una auditora de desempeo a
los Centros de Estudios de la Cmara de Diputados, que tienen por
objeto prestar [] los servicios de apoyo tcnico y la informacin
analtica [] acorde con los cnones de la investigacin cientfica, en
forma objetiva, imparcial y oportuna []. 7
Para evaluar el cumplimiento de este objetivo, la Auditora Superior de la Federacin encomend a la Universidad Autnoma Metropolitana (uam) determinar una gua metodolgica para valorar
el cumplimiento de los cnones de la investigacin cientfica en los
servicios ofrecidos por los centros de estudios. La uam defini como
canon cientfico al conjunto de reglas metodolgicas que prescriben
el modo de proponer y contrastar teoras; la lgica de la formulacin
de hiptesis y explicaciones; los procedimientos de contrastacin emprica, y la objetividad del conocimiento. Con base en el estudio elaborado por la uam, se definieron dos elementos que caracterizan el
rigor metodolgico en la investigacin cientfica: el primero se refiere
propiamente al diseo metodolgico de la investigacin, y el segundo,
a la estructura del informe para comunicar los resultados.
7
Artculo 35 del Estatuto de la Organizacin Tcnica y Administrativa y del Servicio
de Carrera de la Cmara de Diputados.
42
a] Criterios de evaluacin del diseo metodolgico

El diseo metodolgico se refiere al plan global de la investigacin
que comprende: el planteamiento de las preguntas de investigacin, la
delimitacin de los objetivos, la teora y los conceptos, las hiptesis, las
tcnicas de recoleccin de los datos y el anlisis de los datos. Un buen
diseo de investigacin es aquel que integra de un modo coherente y
adecuado los objetivos de la investigacin y los procedimientos para el
anlisis de los datos.
Para evaluar el diseo metodolgico de la investigacin, los criterios son los siguientes:
Problema. El problema establece la direccin del estudio. Definirlo
significa especificarlo con detalle y precisin. Formularlo se refiere
a la presentacin oracional del mismo.
Objetivos. Es necesario establecer qu pretende la investigacin.
Hay investigaciones que buscan contribuir a resolver un problema
en especial y otras que tienen como objetivo principal probar una
teora o aportar evidencia emprica a favor de ella.
Conceptos. Todo grupo de investigadores, para poder organizar sus
datos de forma que puedan percibir las relaciones entre ellos, debe
hacer uso de conceptos. Un concepto es una abstraccin obtenida
de acontecimientos observados que establece una representacin
simblica de una diversidad de hechos; han de resultar lo suficientemente claros para especificar con palabras la cuestin a tratar.
Los conceptos deben permitir su representacin por algn tipo de
evidencia que se pueda obtener por medio de observacin directa o
mediante otras actividades de investigacin, y debe resultar factible
realizar tales operaciones o actividades.8
Marco terico. Consiste en un conjunto de proposiciones lgicamente articuladas que tiene como fin la explicacin y prediccin de
conductas en un rea determinada de fenmenos; la claridad en la
elaboracin conceptual supone que los conceptos estn concreta y
claramente definidos, de manera que sean observables y cumplan
con los criterios de validez interna, siendo consistente con las defini-
8
C. Selltiz, Wrigtsman y Cook, Mtodos de investigacin en las relaciones sociales, Mxico,
Ediciones Rialp, 1980.
43
ciones de los conceptos, operacionalizacin y medicin de los conceptos y las relaciones entre los mismos.9
Hiptesis. Debe plantear, en forma clara y sucinta, cul es el resultado esperado. Es recomendable que la hiptesis prediga lgicamente la respuesta a la pregunta que se hizo en el planteamiento del
problema y que sea congruente con el objetivo principal.
Diseo de instrumentos y recoleccin de informacin. El rigor
cientfico se manifiesta en la coherencia lgica del proceso de investigacin, en el empleo de procedimientos y tcnicas adecuadas
al diseo metodolgico, en la relacin entre objetivo, problema,
proceso y resultados.
Datos. El proceso de investigacin implica la recoleccin de datos
pertinentes sobre las variables, sucesos, contextos, categoras, comunidades u objetos involucrados en la investigacin. Esta etapa implica cuatro actividades: a] seleccionar un instrumento o mtodo de
recoleccin de datos; b] aplicar ese instrumento o mtodo; c] preparar observaciones, registros y mediciones obtenidas, y d] anlisis
de los datos recopilados y procesados.
Anlisis de resultados. Un diseo de investigacin puede evaluarse
conforme a su validez interna y externa. Un diseo de investigacin
tiene validez interna cuando se controlan adecuadamente todas las
variables y existe control sobre las posibles explicaciones alternativas en la presentacin de resultados. La validez externa se produce
cuando los resultados obtenidos pueden ser generalizados a otras
unidades de anlisis, otras situaciones y casos distintos a aquel en
que se realiz la investigacin.10
9
Eva Anduiza Perea, Ismael Crespo y Mnica Mndez Lago, Metodologa de la ciencia
poltica, Madrid, Centro de Investigaciones Sociolgicas, serie 1999 (Cuadernos Metodolgicos, 28).
10
Francisco Alvira Martn, Diseo de investigacin social: criterios operativos, en
Manuel Garca Ferrando, Jess Ibez y Francisco Alvira (comps.). El anlisis de la realidad social. Mtodos y tcnicas de investigacin, 1a. reimpresin, Madrid, Alianza Editorial,
2002, p. 106.
44
b] Criterios de evaluacin de la estructura del informe

para comunicar resultados
La comunicacin de los resultados de una investigacin es tan importante como el estudio mismo, ya que si stos no se informan de
manera adecuada no alcanzarn el impacto esperado.
Aunque no hay esquemas preconcebidos y las variantes que pueden
presentar son ilimitadas, se parte de modelos normalizados como
textos acadmicos, administrativos, jurdicos, etctera, cuya estructura
interna presenta la informacin de manera organizada, generalmente
en las partes siguientes:
Contexto de la poltica. En este apartado se explica el problema, su
entorno y su perspectiva histrica.
Revisin bibliogrfica y documental. Se describen las evaluaciones
anteriores y los estudios de investigacin social aplicada; y, en caso
que las hubiera, auditoras de desempeo. Se debe argir sobre los
aciertos y errores de los mtodos sociales y estadsticos aplicados
que los evaluadores utilizaron en revisiones anteriores.
Preguntas y objetivos. Se determinan los objetivos de la evaluacin
y se consignan las preguntas clave con sus hipotticas respuestas.
Descripcin del programa. Se explica el programa evaluado: el problema que pretende resolver; los objetivos y metas; la gestin de los
interesados para lograr los apoyos poltico-presupuestarios; y la implementacin.
Diseo estadstico. Se describe la capacidad que tuvieron la implementacin del programa y la evaluacin para la recoleccin de
los datos y su cobertura y se determina si se us un diseo experimental, en el caso de que hubiese habido un grupo de control, o un
cuasi-experimental (doble diferencia, apareamiento de datos, entre
otros) si no hubo un grupo de control, as como la lgica de los ejercicios hermenuticos.
Recomendaciones. Se ofrecen sobre la base de las evidencias y de
los hallazgos y segn el criterio profesional. Las recomendaciones
deben ser pertinentes, idneas y proactivas para mejorar la poltica
pblica.
Conclusiones. Se consigna un eptome que retome las principales
tesis de la evaluacin con el fin de poner en prctica las recomendaciones.
45
problemas para realizar una evaluacin
Los principales factores que se consideran problemticos en la prctica

de una evaluacin son cuatro: a] la ambigedad de los objetivos; b] la
inexistencia de sistemas de indicadores clave generalmente aceptados;
c] la resistencia a la medicin de resultados; d] la desconfianza en la
competencia de los evaluadores.
a] La ambigedad de los objetivos

Algunas polticas pblicas tienen un alto grado de confusin y ambigedad en sus objetivos. Muchas de ellas son declaraciones polticas
ms en busca de una opinin pblica favorable que de objetivos precisos por alcanzar. As, en la poltica de educacin se declara
que la educacin que imparte el Estado tender a desarrollar armnicamente
todas las facultades del ser humano y fomentar en l, a la vez, el amor a la
patria y la conciencia de la solidaridad internacional, en la independencia y
en la justicia. (Artculo 3 de la Constitucin Poltica de los Estados Unidos
Mexicanos.)
Cmo medir tales propsitos? Cuando uno acude al sistema de

evaluacin al desempeo (sed) se encuentra con los siguientes indicadores: porcentaje de la poblacin objetivo de educacin bsica que
recibe el servicio; nmero de libros de texto y materiales educativos
que se entregan de manera oportuna y suficiente; cobertura anual del
programa enciclomedia; tasa de crecimiento de espacios educativos.
Por supuesto, la declaracin de cmo debe ser la educacin que imparte el Estado no se operacionaliza conceptualmente, lo que produce
una serie de indicadores descontextualizados del propsito de la poltica pblica.
Por lo tanto, para evaluar las polticas pblicas es importante aclarar
primero su marco orientativo, tratando de identificar los objetivos planteados explcitamente y de ah hacer el ejercicio de deduccin de los
referentes clave que permitan la medicin merced a una correcta operacionalizacin de los conceptos y su correlativo sistema de evaluacin.
Una corriente de la evaluacin postula que una poltica que no tiene
objetivos precisos, unvocos y estables escapa a toda posibilidad de eva-
46
luacin; otra, asegura que aunque no puedan concretarse los objetivos

y metas, es posible evaluar los efectos e impactos de la accin gubernamental; otras, consideran que entonces es posible con la colaboracin
de los diseadores clarificar y precisar los objetivos y hacerlos explcitos, entonces el evaluador emprende una labor normativa.
b] Inexistencia de sistemas de indicadores clave generalmente aceptados

Un asunto de gran complicacin es el hecho de que las diferentes funciones de gobierno invariablemente incluyen diferentes tipos de medidas de evaluacin.
La credibilidad de la informacin con que se integran los indicadores
a partir de la confianza de los datos entregados en el sistema de informacin es uno de los valores ms importantes que se debe asegurar.11
Entre las principales dificultades de tipo tcnico a las que se enfrentan las instituciones para el diseo y desarrollo de indicadores de
desempeo se encuentran: la definicin de objetivos precisos y operacionalizables para las polticas pblicas de naturaleza compleja; la
ausencia de objetivos pertinentes en materia de resultados de eficacia,
eficiencia, economa y calidad; la incongruencia de los objetivos generales con los objetivos especficos o a la inversa; la inexperiencia de los
servidores pblicos tanto en el diseo como en la utilizacin de los indicadores de desempeo; la resistencia a poner en marcha un sistema
de evaluacin de desempeo; la carencia de medios tecnolgicos para
hacer funcionar los sistemas de informacin, y la complejidad del
trabajo para tener informacin en tiempo real.
c] Resistencias a la medicin de resultados

Para quienes trabajan cmodamente dentro de un sistema de intereses mutuamente respetados, en reas de confort, la entrada en vigor
del mecanismo de medicin del desempeo no ser bienvenida en
modo alguno.
11
Vase Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social
(ilpes), Indicadores de Desempeo en el Sector Pblico, Juan Cristbal Bonnefoy y Marianela
Armijo, Santiago de Chile, Naciones Unidas, noviembre de 2005 (Manuales, 45).
47
Esperar lo contrario equivaldra a suponer que los servidores pblicos estn dispuestos a actuar en su contra. Existen instituciones en
el sector pblico de casi todos los pases cuyo nivel de eficiencia es tan
bajo que la introduccin de instrumentos de medicin de desempeo
se vera como una gran amenaza; en esos casos, aparecer una deformada lealtad institucional que generar todas las resistencias a la
implementacin de sistemas de evaluacin. Es aconsejable, en tales
circunstancias, introducir mecanismos de medicin externa con un
fuerte marco de estmulos, incentivos y premios al interior de la institucin.
d] La desconfianza en la competencia de los evaluadores

Es muy frecuente que los operadores de las polticas pblicas consideren que son los que ms saben del estado que guarda la gestin pblica en su mbito de accin y en su programa o poltica pblica. Por
lo tanto, no esperan que personal externo les pueda decir algo ms de
lo que ya saben, amn de que los evaluadores, en ocasiones, no llenan
las expectativas de los operadores dado que sus recomendaciones no
pasan ms all del sentido comn salpicado de datos duros.
Para enfrentar este problema, los evaluadores han conformado asociaciones, han emitido cdigos de tica y publicado estndares de actuacin; adems, se han establecido mecanismos de certificacin de la
calidad profesional del evaluador o de los despachos en que trabajan.
taxonoma
La taxonoma de la evaluacin se construye a partir de tres dimensiones: el agente evaluador, el momento en que se evala y el objeto
por evaluar.
Segn el agente evaluador. Se puede distinguir entre evaluacin interna y evaluacin externa. La evaluacin externa es la que se realiza
por parte de alguien que no tiene que ver con el financiamiento ni
con la formulacin ni con la ejecucin del programa o poltica que
se evala. La evaluacin interna es la que se realiza por parte de
48
una institucin, unidad de evaluacin, equipo o agente que ha participado o participa en el programa o poltica en alguno o ms de los
aspectos antes mencionados. Por supuesto es posible la existencia de
evaluaciones mixtas.
Segn el tiempo de la evaluacin. Respecto del momento en que se
evala, en la versin ms sencilla, la evaluacin se divide en tres
categoras: ex ante, in va y ex post. La primera se realiza antes de que
un programa se ponga en marcha en sentido estricto; la segunda
es cualquier evaluacin que se realiza durante su desarrollo; y la
tercera, cuando la evaluacin se realiza una vez que el programa se
ha ejecutado, ser ex post.
Segn el objeto por evaluar. Tres son los conceptos que se utilizan en
la evaluacin segn el objeto por estudiar: evaluacin de proyectos,
evaluacin de programas y evaluacin de polticas pblicas.
Evaluacin de proyectos. Se habla de un proyecto cuando existe
una accin o decisin que requiere recursos pblicos para generar
supuestos beneficios en la produccin de bienes o servicios pblicos, o en la produccin de ambos para resolver o administrar un
problema que se ha subido a la agenda gubernamental.
La evaluacin de proyectos debe describir, analizar y explicitar
la razonabilidad de stos, y se sustenta en el anlisis del costo-beneficio; por lo que en la medida en que los beneficios superen los
costos, la evaluacin deber recomendar su ejecucin.
La evaluacin de proyectos y el anlisis de polticas se intersecan
en que indagan para la toma de decisiones; la primera para cuestiones acotadas en tiempo, espacio y cobertura; y el segundo, para
lneas de actuacin gubernamental para mbitos ms amplios, horizontes ms abiertos y tiempos de largo plazo.
Evaluacin de programas.12 La literatura sobre evaluacin habla en
general de programas, servicios y polticas pblicas, sin distinguir,
12
Programa: Instrumento normativo del sistema nacional de planeacin democrtica, cuya finalidad consiste en desagregar y detallar los planteamientos y orientaciones
generales del Plan nacional, mediante la identificacin de objetivos y metas. Segn el
nivel en el que se elabora, puede ser global, sectorial e institucional, de acuerdo con su
temporalidad y con el mbito territorial que comprende puede ser nacional o regional
y de mediano y corto plazos, respectivamente. Conjunto homogneo y organizado de
actividades por realizar para alcanzar una o varias metas, con recursos previamente determinados a cargo de una unidad responsable. Vase Secretara de Hacienda y Crdito
49
en la mayora de los casos, procedimientos distintos para objetos

diferentes. Se suele hablar de un objeto genrico de la evaluacin,
al que se le asigna el concepto de programa, pero que pretende
designar, en general, polticas, planes, programas, proyectos, servicios, medidas y materiales, dejando fuera la evaluacin institucional y de personal.
Evaluacin de polticas pblicas. Las polticas pblicas consisten en
procesos, decisiones y cursos de accin en los que intervienen los
poderes pblicos para abordar un determinado problema pblico
en un cierto periodo.
Una poltica es una declaracin oficialmente aceptada de una
misin con sus objetivos, congruente con un conjunto de actividades que pretendern alcanzar resultados positivos para cumplir
los objetivos en una particular jurisdiccin.
Las polticas pblicas son el resultado de las actividades de las autoridades investidas de poder pblico y de legitimidad gubernamental;
se centran en el anlisis de los entornos sistmicos, en el busilis de los
problemas pblicos y en los resultados e impactos que tienen las acciones de gobierno sobre los ciudadanos. Las polticas pblicas se formulan mediante dilogos argumentativos de las partes involucradas,
tanto de las autoridades como de los ciudadanos usuarios o beneficiarios; una vez diseadas, se ejecutan sobre una visin de costo-beneficio y sobre los criterios de eficacia, eficiencia y economa.
consideraciones finales
El quid del funcionamiento racional del sector pblico puede considerarse como una serie de transferencias del poder adquisitivo de los ciudadanos a las autoridades y, luego, como una serie de transferencias
de stas a aqullos. El Estado emplea este poder adquisitivo en los
programas de transferencias de ingresos hacia unos grupos del sector
privado, o bien, lo utiliza para adquirir bienes y servicios que a su vez
rinden beneficios a los particulares. stos son los dos modos de disPblico, Glosario de Trminos ms usuales de la Administracin Pblica Federal, Mxico,
2001.
50
poner de los ingresos pblicos: pago de transferencias y produccin

de bienes y servicios. La primera y principal premisa para el debate
es si esta transferencia se basa en el principio de mximo beneficio
social. La racionalidad del sector pblico se sustenta en la aplicacin
del pmbs, que obliga, al emprender cualquier actividad, a elegir la alternativa en que los beneficios sociales excedan de los costos en el monto
mximo y a abstenerse de cualquier actividad cuyos costos no sean
superados por los beneficios.
Un importante aspecto sobresale del pmbs: se formula el requisito
mnimo que toda actividad gubernamental debe cumplir para que resulte de inters pblico: se exige que cualquier proyecto pblico, para
ser aprobado, exhiba perspectivas de beneficios mayores que los costos.
A fin de lograr el mximo beneficio social, el funcionario pblico que
toma la decisin debe efectuar una bsqueda exhaustiva de las distintas alternativas para alcanzar el objetivo y elegir el que maximice el
excedente de los beneficios sociales sobre los costos sociales. Esta circunstancia impele a utilizar el criterio de racionalidad socioeconmica
para justipreciar cualquier decisin pblica. Sobre este principio se
debe argumentar en la elaboracin de las polticas pblicas.
Ante la pregunta: cmo debe gastar el sector pblico?, se debe
responder: el gobierno debe recaudar impuestos y efectuar gastos que
maximicen la utilidad social. sta es la racionalidad de las polticas pblicas, por consiguiente, los ciudadanos debern interpelar al sector
pblico sobre la recaudacin y gasto pblicos sobre el pmbs.
Por supuesto, los ciudadanos deben discutir en cules programas
se debe gastar y cunto en cada uno. Cualquiera que sea la decisin, el
sector pblico debe asignar el gasto entre los distintos programas, de
modo que los impuestos siempre produzcan una utilidad social. Bajo
el principio de mximo beneficio social se debe considerar que los
impuestos involucran costos sociales y que los gastos confieren beneficios sociales. La racionalidad de las decisiones pblicas se mide por
la congruencia entre costo y beneficio social.
Las administraciones rebosan de datos, pero stos describen y
miden, ante todo, la asignacin de sus recursos y las realizaciones
que producen: cunto dinero se ha gastado, cuntos actos administrativos se han ejecutado. Sin embargo, el evaluador del desempeo
se interesa por los efectos y por los impactos de tales actividades. La
pobreza de datos disponibles sobre los efectos contrasta con la abundancia de las estadsticas internas sobre la gestin administrativa. Des-
51
graciadamente, son raras las polticas pblicas que, desde su diseo,

se toman la molestia de preparar un dispositivo para recolectar datos
y rendir cuentas sobre sus resultados e impactos. De ah la necesidad
para el evaluador de elaborar a posteriori los indicadores de resultados,
ya sea directamente, ya sea recurriendo a otros mtodos, es decir, a
indicadores indirectos que faciliten una buena aproximacin.
Por supuesto, existe el peligro de que en el proceso de evaluacin
de los gastos pblicos se incorporen explcitamente objetivos distintos
del pmbs. Muchos programas con propsitos obsoletos o irracionales
con respecto al pmbs podran perpetuarse con el pretexto de tener la
misin de redistribuir el ingreso sin tener en cuenta los beneficios que
deben repercutir en la esfera de lo pblico.
Para resumir: la evaluacin es un ejercicio desde la rigurosidad de
la metodologa de las ciencias sociales; se realiza en el campo de la
poltica para mejorar la eficacia de la accin gubernamental; requiere
objetividad, neutralidad y recomendaciones pragmticas, pero sobre
todo prudencia profesional.
ANLISIS Y EVALUACIN DE LAS POLTICAS PBLICAS1

auditora superior de la federacin
auditora especial de desempeo
prembulo
Las ciencias sociales se han esforzado por comprender el comportamiento poltico del hombre, la sociedad y el Estado. Por medio de
distintos enfoques y metodologas, han intentado dar respuesta al
porqu de los actos y de las decisiones polticas pero, sobre todo, han
dedicado tiempo muy valioso para intentar cambiar aquellas decisiones y situaciones que han alejado al hombre y al Estado de actos y
comportamientos poco ticos en el ejercicio del poder.
Este proceso, intuitivo en sus inicios y sistematizado en la actualidad, ha sido y es parte medular de toda agenda poltica. Los procedimientos se han transformado, pero en el fondo mantienen su misma
esencia: conocer, comprender y transformar el desempeo pblico,
con base en un profundo conocimiento de la poltica y de los intereses
que conforman el proyecto de un rgimen en cada momento de su
historia.
Este ejercicio comprende el conocimiento del pasado y del presente de una nacin, para poder conducir al pas hacia un rumbo
que permita aumentar los niveles de responsabilidad, creatividad y
eficacia del gobierno. Hoy en da, la suma de estos elementos constituye el pilar para garantizar la sobrevivencia y la legitimidad de todo
rgimen poltico.
Bajo esta tnica, en 1978 se publica The Breakdown of Democratic
Regimes, de Juan Linz y Alfred Stepan, en el cual se analizan las causas
del fracaso de las democracias latinoamericanas y europeas estable-
1
Auditora Superior de la Federacin, Auditora Especial de Desempeo. Anlisis y
Evaluacin de las Polticas Pblicas, en Auditora Superior de la Federacin, Elaboracin de las polticas pblicas. Lectura para auditores, Mxico, 2009, pp. 159-186.
[52]
anlisis y evaluacin de las polticas pblicas
53
cidas en la dcada de los setenta y los golpes de Estado que les sucedieron. En esta investigacin se plantearon tres causas que explicaban
el fracaso de estos gobiernos.
La primera, era la incapacidad de estos regmenes de construir
un conjunto de polticas pblicas que pudieran ser implementadas
de acuerdo con los criterios de eficacia, eficiencia y economa que
deban caracterizar toda democracia. A grandes rasgos esto implica
que el gobierno debe ser eficaz para disear una poltica pblica,
eficiente para implementarla y econmico para hacerlo con el menor
costo posible.
La segunda, era la incapacidad de alcanzar los arreglos necesarios sobre los acuerdos y negociaciones polticas que se requieren para legitimar un gobierno democrtico. Esto dificulta
la definicin de objetivos, la generacin de nuevas polticas pblicas y la garanta de un justo equilibrio entre los poderes ejecutivo, judicial y legislativo.
La tercera, era la enorme dificultad por construir un espacio
legtimo entre la sociedad civil y la sociedad poltica, en el cual se
pudiera consolidar la democracia, realizar la revisin del ejercicio pblico, establecer los equilibrios y tejer los cambios de una sociedad.
Una sociedad civil robusta, con capacidad de generar y proponer alternativas polticas y de monitorear y supervisar al gobierno, es esencial
para consolidar una democracia.
Estos tres elementos constituyen el eje sobre el cual descansa la
legitimidad democrtica. sta es la garanta para que los grupos y partidos polticos puedan agregar y representar a toda la inmensa gama
de diferencias que existen en la sociedad e institucionalizar y resolver
los conflictos polticos que siempre fluyen en ella. Esto implica una
sociedad poltica informada, presionada y renovada por la sociedad
civil conforme el arreglo institucional para conducir una democracia
en un contexto legal.
La vigencia de este estudio es notoria. En la actualidad, ninguna
democracia puede sobrevivir sin conciliar estos tres elementos. Son el
sustento de los nuevos arreglos polticos que se requieren para garantizar la viabilidad de las nuevas democracias.
54
el poder legislativo
La complementariedad entre sociedad civil y sociedad poltica es

un asunto vital para consolidar una democracia y para entender la
funcin del Poder Legislativo. ste representa los intereses polticos
de la sociedad civil, es el espacio en donde se expresan las diferencias
y mediante l, la sociedad civil vigila al gobierno. El trabajo del Poder
Legislativo es la esencia de la vida democrtica.
En este poder confluyen tres elementos centrales para la vida
democrtica: a] la formulacin y la aprobacin de las polticas
pblicas; b] las reglas generales de convivencia de una sociedad;
y c] la vigilancia del ejercicio pblico.
Uno de los precursores en el anlisis de este tema es John Stuart
Mill; sealaba que las asambleas representativas tenan como obligacin vigilar y controlar el gobierno, arrojar una luz de publicidad
en sus actos, aprobar las polticas pblicas y vigilar que se realicen
de manera adecuada, pero tambin censurar las que deberan serlo
por razones de ineficiencia, ineficacia o por una desproporcin en la
relacin costo-beneficio. El Congreso es definido como el comit del
conflicto.
El Poder Legislativo est obligado a fiscalizar la operacin del
gobierno y rendir cuentas a la sociedad que representa de la forma
en que opera el gobierno. El Congreso tiene que debatir la agenda
nacional, expedir leyes como tarea primaria y fundamental, pero ha
sumado a su ejercicio lo que sealaba Stuart Mill con toda claridad:
fiscalizar y sancionar la gestin pblica.
En la actualidad, los trabajos de evaluacin y supervisin del
ejercicio pblico han avanzado significativamente, no se restringen a detectar fallas administrativas o actos de corrupcin,
sino que se han trazado senderos ms ambiciosos como los de
sealar errores en el diseo de las polticas pblicas y corregir las
desviaciones detectadas en la implementacin. sta es la esencia
de su trabajo de fiscalizacin, ya que al convertirse en el nico
poder legtimo de representacin ciudadana est obligado a consolidar un gobierno eficaz, eficiente y econmico.
La legitimidad del Congreso resulta de su vnculo con la ciudadana, de su representatividad y de su igualdad formal, y por
ello, su trabajo es el de rendir cuentas de los actos que realiza el
gobierno, pero sobre todo sancionar todo aquello que se aleje del
55
cumplimiento de los objetivos y metas aprobados por los mtodos

institucionales.
A diferencia del Poder Ejecutivo, el Poder Legislativo se compone
de ciudadanos que asumen la representacin nacional, y a diferencia
del Poder Judicial, siempre apela al sentir de la sociedad a la que representa.
El Congreso se conforma por los partidos polticos, quienes son los
que establecen el vnculo entre los ciudadanos y el gobierno. Los partidos articulan las demandas que han sido formuladas por los ciudadanos, los grupos de inters, los medios de comunicacin, y cualquier
otra instancia de representacin social. Ellos tienen la encomienda de
transformar estas demandas en polticas pblicas viables dentro del
contexto de los principios y las doctrinas que como partido representan.
Los partidos polticos consolidan las demandas ciudadanas en paquetes de plataformas y polticas pblicas ordenadas de manera clara
y propositiva que permiten al elector seleccionar entre un proyecto
y otro. Esto obliga a los partidos a estructurar proyectos de polticas
pblicas que garanticen el funcionamiento y la operacin de una democracia representativa.
Los congresos, ya sea en su forma parlamentaria o en un rgimen
presidencial, representan la diversidad poltica, en l confluyen los distintos intereses y constituyen el eje de la democracia. En este espacio,
se discuten todos los programas y las polticas pblicas, se fija y disea
el destino de una nacin, y se articulan y agregan distintos intereses.
Los partidos que lo componen, tienen la encomienda y la responsabilidad de ayudar a la gobernabilidad de su pas y de asumir la responsabilidad en las tareas de gobierno.
Los congresos tienen la obligacin de garantizar decisiones racionales y una asignacin eficiente, ordenada y sustentada de los recursos pblicos. El gobierno el ejecutivo es el responsable de su
implementacin.
La encomienda de evaluar el desempeo del gobierno por el Congreso resulta de su carcter representativo y de las responsabilidades
asignadas a este poder. El Congreso tiene la obligacin de discutir
y, en su caso, aprobar los planes y programas del gobierno y el presupuesto para implementarlos, esto lo convierte en el garante de la
operacin y del desempeo. La misin del Congreso es muy clara:
definir junto con el gobierno los planes y programas que guiarn la
gestin pblica, calificar la implementacin de las polticas pblicas,
56
sancionar los errores y desviaciones, modificar las decisiones mal

tomadas, construir mejores programas pblicos y un gobierno ms
eficaz, eficiente y econmico.
La rendicin de cuentas y la fiscalizacin son una de las tareas ms
importantes de los congresos. Esta importante responsabilidad tiene
mayor alcance en los regmenes parlamentarios, debido a su carcter
histrico deliberativo. Sin embargo, en las democracias presidenciales,
los congresos han avanzado de manera contundente en las ltimas
dcadas.
La obligacin de rendir cuentas y someterse a fiscalizacin no
es algo nuevo para las democracias. De hecho, la mayora de los
regmenes, de una manera u otra, han efectuado esta prctica a lo
largo de sus historias. Hoy en da, ninguna democracia puede legitimarse sin este importante componente; el ciudadano es cada
vez ms demandante, la opinin pblica presiona incesantemente
por un mejor gobierno; y la sociedad, mediante la inmensa variedad de organizaciones no gubernamentales que fluyen en ella,
demanda mayor transparencia en el ejercicio pblico, y exige que
se sancionen las malas decisiones polticas.
La sociedad se hace muchas preguntas, pero generalmente quiere
saber por qu y cmo el gobierno toma sus decisiones, por qu se disean e implementan polticas pblicas con resultados tan diferentes;
para qu sirven y a quin sirven la mayora de las decisiones; a quines
benefician y cules de ellas no logran alcanzar las expectativas por las
cuales fueron creadas. Los cuestionamientos son variados y pueden
ser severos; en la actualidad existe la demanda de que todos los programas pasen por la supervisin de la sociedad.
La demanda por contar con ms informacin es un reclamo universal. Aos atrs los juicios sobre los programas pblicos se realizaban
de manera superficial y generalmente eran internos, carecan de un
trabajo sistemtico, y se estructuraban con las apreciaciones de los
mismos funcionarios pblicos responsables de disearlos y ejecutarlos.
Con el paso de los aos y debido a la tenacidad de los congresos y
de las instituciones responsables de evaluar el desempeo pblico, la
evaluacin de las polticas pblicas y las auditoras de desempeo se
han constituido en un campo de trabajo muy especializado y sobre
todo muy confiable.
En los ltimos cuarenta aos se ha consolidado una clara tendencia
a efectuar evaluaciones de alta calidad, con mayor rigor y mayor
57
sustento terico y emprico. En estos aos se ha demostrado que se

pueden realizar auditoras muy efectivas con pocos recursos y recurriendo a tcnicas y metodologas eficientes y sobre todo confiables.
Ao con ao, las instituciones responsables de auditar al gobierno
evalan los programas con mucho xito utilizando estos nuevos enfoques.
La mayora de las evaluaciones, en la actualidad, se realizan
con metodologas y tcnicas de investigacin probadas por su
eficacia, con mucho rigor y prcticas ordenadas, lo cual les ha
permitido realizar adecuadamente las auditoras de desempeo
de manera confiable.
Realizar auditoras eficaces y sustentadas en informacin certera es
fundamental para toda democracia, ya que la evaluacin tiene como
propsito encontrar deficiencias y sugerir los cambios para mejorar la
calidad de la gestin pblica.
Esto convierte al auditor en un agente de cambio y no en un procesador de informacin. El auditor utiliza la informacin para llegar a
conclusiones acertadas y as poder recomendar cambios que impacten
favorablemente el desempeo del gobierno.
hacia una evaluacin de calidad
Las auditoras que desarrollan la mayora de las instituciones requieren de mucho trabajo, de profesionalismo, precisin y rigor; el
auditor de desempeo deber estar capacitado para proponer estrategias que impacten positivamente la gestin pblica.
La actividad del auditor es esencialmente tcnica, sin embargo, no
puede limitarse al anlisis de los datos por s mismos, sino que debe
forzosamente analizar el cumplimiento integral de los programas. El
objetivo final es encontrar las mejores frmulas, y obligar al gobierno
a cumplir los objetivos y las metas que se ha trazado. Por ello, la auditora de desempeo tiene que ser un vehculo de cambio de la forma y
velocidad con que trabaja el gobierno.
Las auditoras de desempeo deben revelar informacin pertinente a partir de un enfoque multidisciplinario y demostrar la
manera en que se ejercieron los recursos pblicos; las desviaciones
realizadas en el ejercicio presupuestal; los errores en el diseo de los
58
programas. Asimismo, debern presentar resultados que sirvan para

generar nuevas iniciativas de ley e iniciar debates para decidir sobre
las alternativas presupuestales y metodolgicas para alcanzar eficacia,
eficiencia y mayor calidad en los programas pblicos.
El contexto en el cual se desarrollan las auditoras de desempeo
es cada vez ms complejo; los ciudadanos, los miembros del Congreso,
los medios de comunicacin y la sociedad en general presionan al gobierno para que trabaje mejor y que rinda cuentas de los asuntos econmicos, polticos y sociales que atiende.
Los resultados de las auditoras de desempeo generan grandes
expectativas y su confiabilidad les ha garantizado legitimidad.
En trminos prcticos, la evaluacin del desempeo de las polticas
pblicas es el ejercicio mediante el cual se mide la relacin que existe
entre las metas y los objetivos de un programa con los resultados que
alcanzan.
Este concepto ha recibido tantas definiciones diferenciadas que
varios autores han planteado que se ha convertido en un imn semntico, al cual se le adhiere prcticamente cualquier esfuerzo sistemtico por conocer el desempeo del gobierno.
En 1972 se planteaba que la palabra evaluacin era tan elstica que
podra cubrir juicios de toda ndole. En la dcada de los ochenta, las
escuelas de evaluacin sealaban que ste era un proceso que serva
para determinar el mrito, el costo y el valor de los programas, lo cual
permita distinguir entre las decisiones eficaces y los asuntos con un
alto grado de utilidad. En la actualidad, la evaluacin es un procedimiento analtico clave que abarca la mayora de las disciplinas intelectuales y prcticas. Sin embargo, para los efectos de esta lectura, se
acota la definicin al esfuerzo sistemtico que se realiza para analizar
el valor y el mrito de las decisiones que en materia de poltica pblica
toma y ejecuta el gobierno.
La evaluacin que hace una auditora de desempeo es un esfuerzo
que le da sentido a las polticas pblicas, ya que mediante investigaciones sistemticas y racionales se describen y explican la operacin
de los programas, sus efectos, justificaciones e implicaciones sociales.
En trminos prcticos, toda auditora de desempeo a las polticas
pblicas es un anlisis mediante el cual se determina si las decisiones
y alternativas que ha tomado el gobierno para resolver un problema
fueron las ms adecuadas. Esto implica un anlisis minucioso entre
objetivos y resultados; la clave del xito de una revisin recae en el
59
grado de exactitud y precisin con que se obtiene la informacin y se

realiza el ejercicio hermenutico para interpretar con rigor metodolgico la informacin.
Para comprobar la validez de los resultados se debe realizar un anlisis detallado de los temas siguientes:
La manera en que los asuntos llegaron a agendarse.
La lista de medios y fines con los cuales el gobierno espera resolver
un asunto especfico.
La relacin de todas las variables estructurales que pueden
afectar el proceso de implementacin de un programa pblico.
Esto implica un esfuerzo exhaustivo por encontrar las variables
no establecidas en el diseo que pueden impactar el proceso.
Las causas que llevaron a enfrentar los problemas de la manera en
que lo hace el gobierno.
La relacin de todas las alternativas que existen para enfrentar el
mismo asunto.
La ptima utilizacin de la informacin disponible para analizar
la concordancia entre los objetivos y las metas planteadas y el desempeo del gobierno.
La consistencia y claridad al realizar las conclusiones.
Las propuestas de modificaciones de los contenidos de los programas pblicos, bajo los principios de integridad, objetividad e
imparcialidad.
Las auditoras de desempeo descubren los orgenes del fracaso
de una poltica. En cada una influyen factores de diversa ndole, en
algunos casos el fracaso se debe a una falta de coincidencia entre
los fines y los medios para alcanzarlas; a la apata, la incompetencia
y la falta de voluntad poltica de las autoridades; a una lucha frontal
entre los grupos polticos involucrados; a la subjetividad de las decisiones y a una falta de claridad en la definicin de los objetivos y a
la ausencia de atencin a los factores reales de poder involucrados
en cada decisin. El hecho es que siempre existen situaciones difciles de medir, pero que impactan con gran fuerza cada programa
pblico.
La evaluacin debe servir para analizar los beneficios o impactos
que cada decisin y accin generan en la poblacin a la que va dirigido
el programa.
60
Buena parte del esfuerzo de auditora tiene como propsito hacer

que la accin de gobierno tenga sentido. Por ello, el auditor debe tener
la capacidad para ir al centro de la poltica pblica y detectar cmo
fueron tomadas las decisiones, cmo se establecieron los criterios a
partir de los cuales se disearon los programas y cmo se dise el
sistema de control y evaluacin. La auditora, en esencia, debe servir
para medir la capacidad de gestin de un gobierno.
los modelos
Los auditores y las instituciones responsables de auditar una poltica

pblica han desarrollado tcnicas o han recurrido a las ya existentes
para realizar sus observaciones con imparcialidad y objetividad. Lo
importante es que las evaluaciones utilicen informacin recopilada
mediante las mejores tcnicas existentes y que los resultados conduzcan a discusiones serias que permitan llegar a resultados certeros
y fiables.
No existe un modelo ideal. Cada modelo se compone de elementos de varias disciplinas cuya finalidad es alcanzar conclusiones confiables, sistemticas y racionales. Aunque siempre
existen riesgos en los procedimientos, toda auditora de desempeo debe aspirar a seleccionar los medios ms eficientes para
alcanzar objetivos.
La auditora de desempeo surge como una disciplina rigurosa
para mejorar la forma en que operan los programas y las polticas pblicas; para que sea objetiva y confiable es fundamental que se realice
de manera independiente y con autonoma tcnica.
Las auditoras a las polticas pblicas realizan sus tareas mediante
un trabajo sistematizado, ordenado y profesional, cuyo objetivo es
transparentar el ejercicio del servicio pblico, denunciando anomalas,
errores y desviaciones, ofreciendo una deteccin de los motivos que
generaron estas situaciones. Este delicado trabajo obliga a decidir con
criterio, cautela y profesionalismo la forma en que se estructura cada
auditora. La seleccin del mtodo y las tcnicas de recopilacin de
informacin sern cruciales para generar informacin til y confiable,
por ello es fundamental que se planteen correctamente las hiptesis
de trabajo y los objetivos de cada auditora.
61
Existen diferentes metodologas para emprender una auditora de

desempeo, y se considera que una evaluacin puede ser ms confiable si parte de un esquema integral. Esto implica que la evaluacin
se realice en tres momentos bsicos: Ex ante, in tempo y ex post. Veamos
cada uno de ellos.
Ex ante
En esta fase se estudia la manera en que un gobierno estructura e integra su agenda de trabajo, y la forma en que se pactan y recomponen
los intereses que intervienen en la conformacin de un proyecto de
gobierno. La agenda revela la manera en que se negocia la inclusin
y la exclusin de un asunto o de un problema, por ello su estudio es
fundamental.
En la agenda se analizan las causas que dieron origen a cada decisin de gobierno, los motivos por los cuales se opt por una estrategia y no por otra; los grupos e intereses polticos que intervinieron
para que la decisin se tomara de esa forma y el cmulo de situaciones
internas que lograron que ese problema se atendiera y se enfrentara
de una manera especfica.
En esta fase se estudia con detenimiento la manera en que se
disea cada poltica pblica. El diseo es fundamental para el xito o
el fracaso del programa. Muchas decisiones sobre el diseo contienen
elementos que garantizan su viabilidad: en otros casos, el diseo ser
causante del fracaso. El diseo y sus mecanismos de implementacin
indican las posibilidades reales que tiene el programa para cumplir
con sus objetivos, por ello es fundamental estudiar ambos procesos.
El momento ex ante est incluido en el Marco Operativo de la Auditora Especial de Desempeo, en el apartado de la auditina y concretamente en la comprensin de la poltica pblica y en el mapa de tesis.
In tempo
Esta fase se centra en el anlisis de la implementacin. No es un procedimiento posterior, sino que implica la posibilidad de que el grupo de
auditores participe observando el proceso de puesta en marcha de un
programa. En este momento se pueden percibir los problemas de ope-
62
racin como: la presin que ejercen los grupos sociales involucrados

y el desempeo de los funcionarios que apoyan u obstaculizan la implementacin; la actitud de la burocracia; la manera en que fluyen los
recursos econmicos y la voluntad poltica para destrabar obstculos;
la informacin que falta para continuar hacia el siguiente eslabn.
Es un momento difcil de evaluar, pero esencial, ya que permite
desentraar los problemas en el momento en que ocurren.
El trabajo de campo del grupo auditor cubre este tiempo.
Ex post
Se denomina evaluacin ex post porque tiene por objeto calificar los
resultados de un programa, proyecto u operacin, en trminos de
sus efectos directos o impactos producidos, una vez concluida la actividad; se trata de una evaluacin retrospectiva que permite conocer
en detalle el proceso de implementacin de las polticas pblicas. En
un sistema de evaluacin ex post se reconocen dos tipos de anlisis: ex
post simple; ex post en profundidad.
Estos anlisis se diferencian bsicamente en la oportunidad de
su aplicacin y en el nivel de detalle de la informacin analizada. El
anlisis ex post simple se realiza inmediatamente que finaliza la fase
de ejecucin del programa o proyecto, y en la que slo ser posible
realizar un anlisis de los resultados de corto plazo, registrados en variables como costos y tiempo de ejecucin y conocer las desviaciones.
Adems, en algunos casos, se podr estimar el cambio en la rentabilidad social de las iniciativas de la poltica pblica.
Se entiende por anlisis ex post en profundidad a la revisin que
detalla, analiza y compara el comportamiento de lo estimado contra
lo real en las variables relevantes. Se realiza cuando las etapas e iniciativas de la poltica pblica estn en operacin plena y permite, por
una parte, establecer si la ejecucin y puesta en operacin de los programas o proyectos cumplieron con las proyecciones especificadas
en el anlisis ex ante, si generaron los beneficios y costos sociales
esperados, adems de validar las metodologas aplicadas. Mediante
este proceso es posible constatar la validez de las proyecciones de las
variables relevantes, la validez de los supuestos y parmetros adoptados y la magnitud de los resultados estimados en los estudios de
evaluacin ex ante.
63
Es necesario tener en cuenta la revisin dentro del ciclo de la poltica pblica, junto con los distintos momentos en que pueden recogerse datos evaluativos y juicios valorativos que de ella se derivan. Se
elabora un cuadro sinptico:
Acciones anlisis en el ciclo de vida de la poltica pblica
Etapa
Diseo
(antes)
Actividades
propias
Identificacin,
formulacin,
planificacin
Accin evaluativa
Temporalidad
Evaluacin de
necesidades y
potencialidades
Evaluacin ex ante
Implementacin Ejecucin y
(durante)
seguimiento
Evaluacin del
progreso
Evaluacin in tempo
(intermedia)
Evaluacin
(despus)
Evaluacin de
resultados e
impacto
Evaluacin ex post
fuente:
hegoa,
Evaluacin
Lara Gonzlez, La evaluacin ex post de Impacto, Cuadernos de Trabajo de

2000, Universidad de Antioquia, Colombia.
Para que un anlisis sea integral requiere de varios elementos:

Un enorme esfuerzo intelectual para disear las mejores metodologas para estudiar de manera diferenciada cada poltica pblica,
programa o proyecto.
Analizar e integrar las variables que conforman el mosaico poltico
de una sociedad mediante un estudio minucioso de la red de relaciones verticales y horizontales que de manera conjunta estructuran
cada decisin poltica.
La coordinacin y cooperacin de las instancias que intervienen en
el proceso poltico, para evitar que dominen las decisiones verticales
en una sociedad. Esto garantizar una sociedad y un gobierno ms
democrticos.
Las auditoras de desempeo de las polticas pblicas deben aspirar
a formar parte del proceso poltico de todo rgimen. Esto requiere
que en la medida que las auditoras logren entender la correlacin y la
congruencia que existe entre los medios y los fines de cada programa,
debern aspirar a que sus observaciones sean tomadas en cuenta al
64
momento de redisear una poltica pblica. La informacin que generan es un arsenal que debe formar parte del ejercicio pblico y debe
servir para beneficiar a la sociedad transparentando y mejorando el
desempeo del gobierno.
El fin ltimo de la auditora de desempeo es que sta sea un ejercicio que contribuya al mejoramiento de la calidad de vida de la ciudadana, informando sobre las decisiones tomadas y acciones ejecutadas
por el gobierno y sus instituciones.
La informacin que generan las auditoras de desempeo tiene un
gran impacto. El auditor debe convertirse en un interlocutor legtimo
entre el Legislativo y el Ejecutivo, y debe participar en los debates en
donde se evalan las polticas pblicas.
la evaluacin y la teora del conocimiento
Uno de los aspectos ms importantes de las auditoras de desempeo

es su contribucin a la teora del conocimiento. Los resultados de las
auditoras de desempeo no son inconexos, forman parte del todo
que une la forma en que un rgimen opta por definir y dirigir el
rumbo de una nacin. El anlisis de las polticas pblicas es el espejo
mediante el cual se mide el trabajo del gobierno y es un esfuerzo por
descubrir y probar teoras generales de la organizacin social, poltica
y econmica de una sociedad.
Las auditoras de desempeo son un esfuerzo sistematizado que
explica la prctica poltica y las fallas de las formas convencionales de
operar de un gobierno y sobre todo permite, a partir de ellas, construir estrategias ms eficaces.
Las auditoras siempre sern mejores si se revisa todo el proceso: la
demanda social, la integracin del asunto a la agenda gubernamental,
el diseo de la poltica pblica, la implementacin y los sistemas de
control y de evaluacin. Auditar el desempeo de un programa pblico, sin conocer su origen, llevar a conclusiones equivocadas. La
auditora es un proceso de relaciones dinmicas entre la evidencia y
las explicaciones, entre el descubrimiento y la confirmacin. Esto es
esencial para construir una teora del conocimiento ya que slo en la
medida en que las explicaciones sean consistentes con la informacin
que se obtiene, se podrn aportar elementos que garanticen un co-
65
nocimiento de las polticas pblicas. Este procedimiento permite el

trnsito de las explicaciones a la evidencia, para despus utilizar la
evidencia para generar explicaciones ms precisas y contribuir al descubrimiento y al conocimiento.
Un trabajo de esta ndole, realista en esencia, contiene la conviccin
de que siempre se puede construir algo mejor. La utilizacin de mtodos cualitativos y cuantitativos permite desarrollar y generar conocimientos que den sentido a la auditora. La discusin sobre este tema se
ha centrado en discernir entre la eficacia y la seleccin de los mtodos
de recopilacin y generacin de informacin, pero la atencin se debe
focalizar hacia la conjuncin de las mejores metodologas de investigacin con el sentido comn y el reconocimiento de los aspectos
polticos que existen en cada decisin poltica.
Sabemos que los cambios en las direcciones y orientaciones polticas de un rgimen han respondido a la capacidad y la intuicin
de sus dirigentes. Los cambios, sin embargo, no son siempre los adecuados o pertinentes y pareciera que el hombre no aprende de sus
propias experiencias. Los cambios son difciles, sobre todo cuando no
existe suficiente informacin. La acumulacin de informacin debe
servir para perfeccionar el conocimiento. Slo as puede convertirse
en experiencia.
La historia, como siempre, nos brinda la oportunidad para entender este proceso. Desde la promulgacin de la Constitucin de
1917, ao en el que se inicia la etapa de construccin de instituciones,
hasta nuestros das, la industria azucarera ha enfrentado diversos problemas, que al paso de los aos se han convertido en estructurales, sin
que hayan podido resolverse. Las polticas pblicas implementadas no
han logrado orientar al sector sobre caminos autosustentables.
El problema de la agroindustria puede dividirse en tres etapas: a]
etapa del proteccionismo, que abarca prcticamente todo el siglo xx;
b] etapa de la liberacin, que va de 1987 a la fecha, y c] etapa de intervencin coyuntural, a partir de 1997:
a] Etapa del proteccionismo. De 1931 a 1983 se crearon diversas instituciones para ordenar la agroindustria, entre ellas, Financiera
Nacional Azucarera, snc y la Comisin Nacional de la Industria
Azucarera y Alcoholera. Todas intentaron ordenar la relacin entre
los factores de la produccin y la comercializacin del producto;
financiar para operar y modernizar la industria; organizar a los
66
productores; vender excedentes o importar azcar para cubrir el

dficit de produccin y satisfacer la demanda; regular la industria;
estudiar e investigar los problemas para encontrar soluciones de
largo plazo; subsidiar a productores y consumidores; controlar
precios, y operar los ingenios paraestatales.
Cabe sealar que en 1938, el presidente Lzaro Crdenas expropi los ingenios azucareros con el propsito de garantizar el
abasto del producto, y de impedir que los intereses de estas empresas definieran el precio y el abasto del mismo. Crdenas, influido por las corrientes nacionalistas de la poca, as como por
las polticas impulsadas por el presidente Roosevelt de fortalecer
al Estado, opt por nacionalizar esta industria. Este viraje en el
conjunto de las decisiones responda a la lgica que sealaba que
las economas requeran de un Estado fuerte para atender los
enormes problemas y rezagos que el liberalismo no haba podido
resolver.
Estas decisiones se tomaban sobre la base de la informacin que
los diagnsticos elaborados por el gobierno revelaban, pero no se
pareca en nada al arsenal de informacin que las evaluaciones
del desempeo pblico generan en la actualidad. Sin embargo, se
tom y se pens que era la ms acertada.
b] Etapa de la liberacin. En 1987 el gobierno federal decidi poner a
la venta todos los ingenios que operaba. Se conformaron 13 grupos
integrados por 54 ingenios y 6 empresas. Para 1993 el Estado haba
concluido la privatizacin de todos los ingenios y su papel sera
exclusivamente de regulador.
Los precios del azcar se liberaron gradualmente hasta quedar
libres de control en 1996. Con la entrada en vigor del Tratado de
Libre Comercio (tlc) se gener una nueva frmula para calcular
el precio de referencia para el pago de la caa, en funcin de la
calidad del producto entregado al ingenio, con objeto de crear un
mercado sin controles, ordenado y transparente.
Los ingenios privatizados incurrieron en prcticas imprudentes
de endeudamiento; hacia el ao 2000 ms de la mitad de ellos
enfrentaba serios problemas para cumplir sus obligaciones con las
instituciones crediticias, con los abastecedores de caa, con otros
proveedores y con el fisco. Adems, el precio nacional del azcar
oscilaba entre los 400 y 500 dlares por tonelada, mientras que en
el mercado internacional era de 194 dlares y la fructuosa, sustituto
67
del azcar, estaba en 230 dlares. En la zafra 96-97 se logr una

produccin rcord que origin una sobreoferta, que aunada a los
precios del mercado internacional, caus una cada en los precios
internos del producto; para compensar esa cada, el gobierno tuvo
que volver a intervenir y otorgar un subsidio a la industria a partir
de 1997.
c] Etapa de intervencin coyuntural del Estado. Comienza con los
subsidios que se consignaron en el Presupuesto de Egresos de la
Federacin (pef) a partir de 1997, y su punto culminante es el Decreto por el cual se expropian por causa de utilidad pblica a favor
de la nacin, las acciones, los cupones y los ttulos representativos
del capital o partes sociales de 27 empresas, publicado en el Diario
Oficial de la Federacin el 3 de septiembre de 2001. Sin embargo, los
propietarios de las unidades industriales azucareras expropiadas
a favor de la nacin promovieron diversos juicios de amparo por
considerar que se haban violado sus garantas constitucionales.
De los ingenios azucareros que solicitaron la proteccin de la
justicia, se les otorg el amparo a 14 de ellos, en razn de que
acreditaron la violacin de sus garantas individuales previstas en
los artculos 14 y 16 constitucionales, ya que la autoridad administrativa no acredit la debida integracin del expediente a que se
refiere el artculo 3 de la Ley de Expropiacin, al no contar con
los elementos suficientes que justificaran las causas de utilidad pblica contenidas en el Decreto expropiatorio del 3 de septiembre
de 2001, adems de considerar que se deba otorgar la garanta de
audiencia al afectado previa al acto expropiatorio.
En resumen, la agroindustria ha tenido un comportamiento
errtico: crisis de sobreproduccin contra dficit; problemas de financiamiento y de endeudamiento excesivo que han llevado a la
agroindustria a la quiebra tcnica; problemas de obsolescencia y de
competitividad; la demanda nacional se ha satisfecho con produccin
nacional y con importacin; los intereses de los productores y de los
industriales no han podido conciliarse; y las polticas pblicas han
sido ineficaces.
El Estado ha rescatado, por causas de utilidad pblica, los ingenios,
los ha vuelto a privatizar y los ha vuelto a rescatar, en un crculo vicioso que parece no tener solucin; ha creado instituciones con objeto
de ordenar la industria, las ha liquidado por su falta de efectividad
68
y las ha vuelto a crear; ha controlado los precios y los ha liberado y

ha insistido en nuevas formas de operacin que tampoco han sido
efectivas.
Este ejemplo demuestra que no existe un proceso de aprendizaje.
Que no se ha generado un conocimiento de las decisiones mal o bien
tomadas; por ello, es fundamental que en el momento en que un gobierno tome una decisin no parta de cero y que la historia de cada
decisin pblica sirva para generar conciencia sobre cada problema.
La evaluacin debe aspirar a convertirse en el recopilador de la historia de una nacin, debe registrar la historia de cada poltica, ya que
se encuentra en una posicin privilegiada para hacerlo. La historia de
las polticas pblicas es la historia y el relato de un pas.
reflexin capitular
La evaluacin de la funcin pblica debe ser un esfuerzo sistematizado por comprender y explicar cada decisin y cada poltica
pblica. El ciudadano espera que las auditoras se realicen con imparcialidad, honestidad, profesionalismo y con criterios claros, objetivos
y racionales. Toda auditora de desempeo debe indicar con claridad
en dnde se localizan los focos rojos de cada programa, e indicar con
precisin qu debe realizar la institucin para superar sus errores u
omisiones. La informacin que generan debe ser pblica, debe ser el
soporte sobre el cual se tomen las futuras decisiones y debe incluir
un componente de censura cuando los resultados obtenidos no concuerdan con los establecidos en el diseo.
La auditora de desempeo es un ejercicio racional, ordenado, disciplinado y objetivo sobre el desempeo de un programa, de una poltica pblica o una institucin.
Ningn gobierno puede preciarse de ser democrtico slo por informar. ste es un concepto vaco que se pierde en la vorgine de informacin que toda sociedad genera, lo importante en la rendicin de
cuentas es la evaluacin de lo que se logra confrontado contra lo programado. En este contexto, las instituciones responsables de evaluar y
fiscalizar el desempeo de los gobiernos deben realizar su trabajo con
las mejores herramientas posibles, con los mejores y ms rigurosos
diseos metodolgicos y los mejores cuadros profesionales.
69
Tomar una decisin y convertirla en un programa pblico eficaz

es algo complicado, difcil, largo y sinuoso. Slo aquellas decisiones
menores logran tomarse con grados mnimos de dificultad; las importantes, las que a todos afectan, se enfrentan a demasiadas variables, no
todas fciles de controlar.
La auditora de desempeo ha madurado en respuesta a una sociedad ms demandante. Su contribucin es esencial para evitar una
rendicin de cuentas fraccionada y en ocasiones ambigua. La evaluacin debe aspirar a comprender los objetivos difusos que existen
en los programas; entender la dinmica del gobierno que evala, la
actuacin de los distintos niveles de gobierno que participan en cada
decisin y que a partir de sus propias expectativas definen el xito
del programa en funcin de sus propios intereses; organizar la informacin dispersa que existe sobre cada programa y establecer el diseo
de la metodologa de la evaluacin para que los resultados sean confiables y tiles.
La efectividad de la democracia est en juego. Slo el estudio pormenorizado de la efectividad, la eficiencia, la coherencia, la relevancia
y la utilidad de los programas pblicos podrn contrarrestar los actos
fuera de la ley. El reto es enorme, pero hay indicios slidos y contundentes de que en esta ocasin la evaluacin del desempeo pblico
lleg para quedarse.
bibliografa
Bardach, Eugene, Los ocho pasos para el anlisis de las polticas pblicas, Mxico,
cide, 1999.
Lasswell, Harold, The Emerging Conception of the Policy Sciences, Policy Sciences,
1971.
Linz, Juan J. y Alfred Stepan, The Breakdown of Democratic Regimes, Baltimore,
John Hopkins University Press, 1978.
Nagel, Stuart, Handbook of Public Policy Evaluation, California, Sage Publications, 2000.
Newcomer, Kathryn E., Handbook of Practical Program and Evaluation, San
Francisco, Jossey-Bass Publishers, 1994.
Sabine, George H. y Thomas L. Thorson, A History of Political Theory, Illinois,
Dryden Press, 1973.
Sowell, Thomas, A Conflict of Visions: Ideological Origins of Political Struggles,
U.S. Basic Books, 2002.
70
Sylvia, Ronald D. y Kathleen M. Sylvia, Program Planning and Evaluation for the
Public Manager, U.S. Waveland Press, 1997.
Theodoulou, Stella Z. y Mathew Cahn, Public Policy: the Essential Readings,
New Jersey, Prentice Hall, 1995.
Varios autores, Historia General de Mxico, Versin 2000, Mxico, El Colegio
de Mxico, 2000.
Weimer, David y Aida Vining, Policy Analysis, New Jersey, Prentice Hall, 1990.
INDICADORES DE DESEMPEO1
auditora especial de desempeo
En este captulo se presentan los tres apartados siguientes: 1] los

principales problemas para identificar y construir indicadores de desempeo; 2] las seis vertientes de indicadores que conforman el tablero
de control del auditor de desempeo, y 3] el uso del anlisis de benchmarking para medir el desempeo de una organizacin.
Los principales problemas tcnicos y operativos a los que se enfrenta un auditor para identificar y construir indicadores para medir
el desempeo de una organizacin pueden estar relacionados con la
definicin o ausencia de objetivos; la falta de competencia del personal responsable; o la ausencia de inters de los entes auditados.
Por lo que se refiere al tablero de control, el objetivo es mostrar
los beneficios que los indicadores de desempeo traen consigo, tanto
para aumentar la calidad de los resultados de la auditora, como para
mejorar el desempeo de una institucin en el largo plazo. Utilizar
indicadores de desempeo para medir un programa pblico es una
tcnica avanzada que ha demostrado su eficacia en la mayora de los
casos. El auditor encontrar en esta lectura las herramientas necesarias para mejorar su trabajo, obtener informacin de mayor calidad
y emitir juicios sustentados en datos veraces y objetivos. El tablero de
control se convierte, con el uso, en el mejor antdoto contra la ineficiencia, ya que demuestra la manera en que las variables ms importantes se entrelazan para producir resultados.
Cada uno de los indicadores ocupa un lugar que siempre est conectado a otro. Ningn indicador es ms importante que otro, aunque
cada uno tiene un grado distinto de complejidad en su proceso de
medicin. Todos tienen un peso especfico y todos determinan de
1
Auditora Superior de la Federacin. Auditora Especial de Desempeo, Indicadores de Desempeo, en Auditora Superior de la Federacin, Lectura para auditores,
Mxico, 2009, pp. 281-434.
[71]
72
manera conjunta el desempeo de un programa pblico. Este enfoque

integral permite obtener mejor informacin, garantizar la confiabilidad de los resultados y, sobre todo, identificar el origen de los problemas que afectan el cabal desempeo de los programas pblicos.
El tablero de control permite un anlisis equilibrado de las variables que miden el desempeo de la institucin, al asegurar un
equilibrio entre ellas y ofrecer una perspectiva ms amplia, as como
obtener informacin confiable sobre el desempeo de una institucin
de manera rpida y precisa. El tablero analiza los aspectos financieros
de un programa con base en seis indicadores, que de manera conjunta
explican el desempeo de un programa o una institucin. Los indicadores de desempeo deben traducir los grandes objetivos de una
institucin en metas especficas y cuantificables.2
En cuanto al anlisis de benchmarking, es una herramienta que
permite a una organizacin comparar su desempeo respecto de las
mejores prcticas con base en indicadores generalmente aceptados, a
fin de identificar las brechas existentes y establecer un plan de accin
para mejorar el desempeo.
1. los principales problemas para identificar

y construir indicadores de desempeo
La credibilidad de la informacin con que se integran los indicadores

a partir de la confianza de los datos entregados en el sistema de informacin es uno de los valores ms importantes que se debe asegurar. 3
Entre las principales dificultades de tipo tcnico a las que se enfrentan las instituciones para el diseo y desarrollo de indicadores de
desempeo se encuentran:
La definicin de objetivos de naturaleza compleja para la misin,
con objetivos mltiples y contradictorios.
2
Robert Kaplan y David Norton, Using the Balanced Scorecard as a Strategic System, Harvard Business Review, 996.
3
Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social (ilpes),
Indicadores de Desempeo en el Sector Pblico, Naciones Unidas, Juan Cristbal Bonnefoy y
Marianela Armijo, Serie Manuales 45, Santiago de Chile, noviembre de 2005.
indicadores de desempeo
73
La ausencia de objetivos pertinentes y medibles en materia de productos finales, de calidad y de eficacia.

La ausencia de correlacin entre los objetivos globales con los objetivos especficos, lo cual disminuye el valor como herramienta de
gestin para evaluar los programas.
La relativa inexperiencia de los funcionarios tanto en el diseo
como en la utilizacin de las medidas de desempeo.
La falta de competencias contables ms all de una formacin tradicional.
La ausencia de inters en la utilizacin de los altos funcionarios.
La ausencia de medios para llenar los sistemas de informacin necesaria.
La resistencia del personal y de los sindicatos en la contabilizacin
de sus tiempos de trabajo.
El costo de las medidas de desempeo.
La complejidad del trabajo consistente en integrar y sintetizar rpida
y eficazmente las numerosas fuentes de datos.
A partir de la sistematizacin de la documentacin y de la experiencia de trabajo es posible sealar que existen dos reas o tipos
de problemas, las cuales tienen que ver con los aspectos tcnicos o
metodolgicos relativos al diseo y construccin del indicador propiamente, y otros relacionados con los aspectos operativos o de implementacin del sistema de indicadores, como son: qu unidad
administrativa se hace cargo del sistema de informacin?, cul es el
rol de las jefaturas?, cules son los plazos recomendados para la entrega de los reportes de la gestin?, cules son las consecuencias de
la evaluacin? A continuacin se presenta un listado no exhaustivo
delas dificultades recin enumeradas, tanto tcnicas como operativas, para la construccin de indicadores.
Cules son los productos estratgicos y cunto debo medir.
Cmo formular objetivos estratgicos y desagregar metas.
Cmo establecer la ponderacin de los indicadores.
Qu unidades o reas deben generar indicadores.
Cmo construir la frmula.
Cmo medir la produccin intangible.
Cmo medir los resultados finales de la gestin institucional que
estn influenciados por factores externos.
74
Cmo medir los resultados de la gestin institucional que dependen

de la gestin de varias instituciones.
Cmo medir los productos cuyos resultados se obtienen a largo
plazo.
Construccin de bases de datos para realizar la medicin. Dificultad
para contar con datos.
Datos histricos disponibles para realizar la medicin.
Dificultad para medir los insumos y productos por falta de sistemas
contables financieros para desarrollar indicadores de eficiencia.
Antecedentes para desarrollar indicadores de productos y poder
evaluar los resultados finales.
Sobre qu datos compara el indicador.
No se dispone de una unidad a cargo del sistema de control de
gestin o que sta tenga poca incidencia en el resto de las unidades
de la organizacin.
Las capacidades tcnicas y el compromiso interno para la evaluacin
y la construccin de indicadores radican en pocos funcionarios.
No se cuenta con recursos para desarrollar un sistema de informacin que permita la alimentacin automtica de las variables
para la construccin de los indicadores y el clculo de las frmulas.
No se vislumbra el valor agregado de construir indicadores: a las
instituciones no les atrae ninguna consecuencia presupuestaria, incentivo econmico, entre otros.
El ejercicio de realizar indicadores se transforma en una carga burocrtica que no estimula el inters por la evaluacin.
Aparte de la autoridad central que demanda los indicadores no
existe inters por conocer los resultados.
Si en el proceso de identificacin de productos que sern medidos,
no se focaliza en aquellos de carcter estratgico o relevante (aquellos
que estn directamente relacionados con lo que la organizacin
hace y justifica su existencia y que se dirigen a los usuarios externos,
entre otros atributos), todo el esfuerzo de evaluacin del desempeo
que emprenda la organizacin se ver afectado.
Suele ocurrir que las diferentes unidades, reas o departamentos
de la institucin identifican como susceptibles de medicin no slo
a aquellos productos que tienen que ver con la misin institucional,
dirigidos a usuarios externos, relevantes desde el punto de vista presupuestario, sino a todos aquellos que contribuyen a dicha produccin,
75
tales como procesos de compra, emisin de certificados, reuniones

realizadas, etc. Lo anterior implica que se obtienen finalmente como
sistema de indicadores, listados de medidas de desempeo de carcter
intermedio que no informan sobre lo relevante.
Un ejercicio que debe llevar a cabo una institucin que muestre su
desempeo es alinear los indicadores hacia aspectos estratgicos de la
gestin y hacer un balance para determinar si en los objetivos estn
efectivamente representadas las prioridades del gobierno, del sector y
de la propia institucin.
El diseo e implantacin de un sistema de indicadores en una institucin pblica enfrenta muchos desafos, y uno de los ms mencionados tiene que ver con el levantamiento de los datos que permitirn
construir los indicadores o establecer los referentes (metas, benchmarking, entre otros). Esta dificultad por s sola no se introduce en
diferentes tipos de problemticas con que tropiezan las instituciones,
que van desde la dificultad de identificar qu datos se requieren, qu
sistemas de informacin apoyarn su desarrollo, a la falta o insu
ficiencia de recursos que muchas veces se enfrentan para desarrollar
indicadores de resultados intermedios o finales. stos, a menudo,
requieren encuestas, estudios de percepcin y de costo beneficio,
entre otros.
Por lo que se refiere a los indicadores de costo-beneficio, una de
las principales dificultades es que no siempre es posible desagregar
los costos por cada una de las actuaciones que interesa medir. Esto
se ejemplifica cuando en el costo de un servicio pblico intervienen
varios organismos de la administracin pblica. stos son los clsicos
referidos a servicios que tienen externalizadas parte de sus funciones,
tal como seala un ejemplo para el caso espaol donde los centros
penitenciarios suelen formar parte del patrimonio histrico y la vigilancia exterior est a cargo de la Guardia Civil o de la Polica Autonmica en las Comunidades Autnomas que tienen transferida esta
competencia y el resto del costo del centro penitenciario es cubierto
por la Direccin General de las Instituciones Penitenciarias.
Otro problema de la medicin de los insumos tiene que ver con la
falta de homogeneidad de los indicadores y sus referentes, especialmente en lo relativo a los costos. Esta situacin implica que se tenga
especial cuidado en la comparacin de los indicadores; por ejemplo,
en inspecciones de control, prestaciones mdicas, horas-hombre en
investigacin, entre otros.
76
Se pone especial nfasis, entonces, en la necesidad de que se establezcan criterios claros y precisos para la construccin de indicadores.
La idea es que la informacin que emane de dichos indicadores sea
correctamente interpretada. Es fundamental asegurar el requisito de
idoneidad y calidad de la informacin base referida a los insumos para
la construccin de indicadores.
Otro tipo de dificultad que enfrenta la construccin de indicadores
es la que se deriva de la intangibilidad del tipo de produccin como,
por ejemplo, la actividad artstica, la diplomacia o la investigacin.
En otros casos en que no es significativo medir los resultados absolutos, ya que no son controlables por la institucin, es relevante medir
aspectos tales como:
Calidad de los servicios: oportunidad o accesibilidad.
La cobertura.
La regularidad del servicio.
Por lo que se refiere a la dificultad para la construccin de un
sistema de control de la gestin y las resistencias que se crean en el
interior de las organizaciones, la revisin de la documentacin seala
algunas recomendaciones para definir una estrategia de implantacin
participativa del sistema.
Disponer de un sistema contable presupuestario adecuado: la contabilidad presupuestaria clsica no es suficiente, como mnimo se
necesita un presupuesto estructurado en lo posible por objetivos.
Tambin se precisa tener conocimiento de costos de los servicios
prestados.
Fomentar la colaboracin del personal afectado: los sistemas de
retribucin flexibles, condicionados a resultados, podran ser un
modelo a seguir.
Lograr una voluntad poltica de mejorar a la Administracin Pblica: la voluntad poltica dirigida a conseguir una administracin
pblica moderna, gil, eficaz y eficiente permitir impulsar las acciones tendientes a la consecucin de estos objetivos.
Buscar el apoyo de personas influyentes y clave dentro de la organizacin que apoyen el proyecto.
Proporcionar los medios adecuados para el xito de la implantacin
de acuerdo con la cultura de la organizacin.
77
Procurar asociar el proceso de la implantacin con la resolucin de

algunas posibles insatisfacciones de los trabajadores.
Destacar las ventajas del nuevo sistema y no ocultar los inconvenientes.
Reducir al mximo los puntos de incertidumbre que pueda generar
la implantacin.
Crear grupos de mejora en el marco de una poltica de calidad.
Un indicador puede ser considerado como bueno por la facilidad
en la construccin y en su manejo por la organizacin (costo adecuado
y entrega de la informacin del da a da de la organizacin), pero
puede ser considerado como deficiente, en trminos de la informacin final que entregue respecto del efecto final que tiene en la
poblacin, en los usuarios finales.
Entre las dificultades que se tienen que superar para implantar un
buen sistema de indicadores estn las de: evitar incentivos perversos,
la disyuntiva entre resultados significativos o relevantes, la disyuntiva
entre los resultados significativos y los resultados que demuestren
cambios relevantes en el corto plazo y la disyuntiva entre los resultados
significativos que se alcanzan a un nivel de costo y esfuerzo relativo.
La dificultad de identificar lo estratgico o bien la falta de datos
hace que muchas veces las instituciones tiendan a medir de acuerdo
con la informacin disponible, descuidando los aspectos ms relevantes de la gestin. Esto ocasiona que el conjunto de indicadores que
finalmente se presenta est desequilibrado y no muestre las prioridades de gestin reales de la institucin.
No contar con indicadores que demuestren cmo la institucin
est entregando sus productos a los usuarios y si stos se ajustan a sus
necesidades; esto puede implicar que los esfuerzos institucionales se
dirijan principalmente a lo que es ms visible y fcil de mostrar, descuidando un aspecto clave de la evaluacin del desempeo, que es la
focalizacin de los aspectos estratgicos.
Otra dificultad es que las instituciones no identifiquen los costos
desagregados por productos, lo que impide construir indicadores
de eficiencia. Tambin se dificulta disponer de estndares de calidad del servicio, ya que stos se construyen a partir de datos sobre
la percepcin de calidad de servicios, o de tiempos de respuesta
respecto de la entrega de stos, lo que requiere invertir en estudios
adicionales.
78
Tambin existe una serie de dificultades estructurales en la administracin pblica que dependen del desarrollo que tenga cada pas.
Entre las principales limitaciones se mencionan la debilidad de los
procesos de concursabilidad para el nombramiento de directivos pblicos, los escasos incentivos para asumir mayores niveles de responsabilidad, las escasas consecuencias respecto del desempeo logrado.
Junto a ello se verifica, en la mayor parte de los pases, que los sistemas
de personal no han desarrollado mecanismos de incentivos a los funcionarios, vinculados a los estndares comprometidos en el mbito
institucional, tales como sistemas de reconocimiento, remuneraciones
vinculadas al desempeo, entre otros.
2. las seis vertientes de indicadores que conforman

el tablero de control del auditor de desempeo
Los indicadores de desempeo son un conjunto de medidas que tabulan, calculan y registran una actividad o un esfuerzo de un trabajo
realizado. La informacin obtenida se expresa de manera cuantitativa
o cualitativa y explica el grado de desempeo de una institucin para
la consecucin de sus objetivos. Los indicadores sirven para medir
cmo trabaj una institucin y si la manera de hacerlo contribuye
a que la institucin cumpla con sus objetivos y metas o se aleje de
ellos. La informacin que obtiene a partir de los indicadores debe ser
confiable, ya que su clasificacin debe garantizar objetividad e imparcialidad. stos sirven para entender errores y aciertos, y sobre todo
predecir las posibilidades de xito de todo programa en el largo plazo.
Todas las instituciones deben contar con sus propios indicadores
de desempeo. Las economas ms desarrolladas y sus gobiernos
cuentan con sistemas eficientes de medicin. Esto ha servido para mejorar la calidad de su servicio y mejorar la manera en que operan sus
gobiernos.
A grandes rasgos, los indicadores de desempeo estructuran un
proceso de monitoreo continuo de los logros de cada programa pblico. Los indicadores de desempeo son la herramienta ms importante y confiable que existe para clasificar informacin y explicarla en
trminos de resultado. Un sistema de indicadores nos permite:
79
Conocer la manera en que trabajan las instituciones.

Detectar errores y omisiones de manera ms rpida.
Ordenar, disciplinar y ofrecer objetividad a procesos complejos y
difciles.
Todas las evaluaciones, ya sean privadas o pblicas, requieren de
mucha tenacidad y dedicacin y los indicadores de desempeo son los
medios a partir de los cuales se puede agilizar este proceso. Los indicadores son una referencia de orden y direccin y evitan la dispersin
y la falta de precisin a lo largo de una implementacin.
El estudio de los indicadores de desempeo sirve para que las organizaciones funcionen, realicen mejores cosas y al menor costo posible.
El principio bsico es que slo se puede mejorar lo que se conoce con
exactitud. La esencia es sencilla y prctica, lo que se mide es lo nico
que se lleva a cabo. Como seala Harbour: La informacin que no
se mide, no sirve y no tiene fines en s misma.
Un indicador de desempeo es una unidad de medida que permite
el seguimiento y evaluacin peridica de las variables clave de un ente,
mediante su comparacin en el tiempo con sus correspondientes referentes internos y externos.
En este apartado se presentan los indicadores de las seis dimensiones que se revisan en materia de desempeo: indicadores de resultados o estratgicos; eficacia; indicadores de gestin o de procesos:
eficiencia; indicadores de costos; economa; indicadores de calidad;
indicadores de satisfaccin del ciudadano-usuario; e indicadores
sobre la competencia de los actores.
2.1. Indicadores de resultados o estratgicos: eficacia

El uso de los indicadores de resultados o estratgicos est relacionado
directamente con la evaluacin de los resultados finales en los mbitos
de accin de las intervenciones pblicas y de los efectos causados por
dichos resultados en los ciudadanos.
Los indicadores de resultados o estratgicos son los que se asocian
al cumplimiento de los objetivos fundamentales de una institucin; en
consecuencia, estos indicadores miden lo verdaderamente esencial. Se
determinan con base en los componentes crticos de xito; es decir, en
los resultados finales que garanticen el logro de los objetivos de un ente.
80
En la auditora practicada a las acciones de regulacin de los servicios de telecomunicaciones, a cargo de la Secretara de Comunicaciones y Transportes, se determin que debido a que la informacin y
los elementos presentados en los indicadores incorporados en el Presupuesto de Egresos de la Federacin y en la Cuenta Pblica no incluyeron conceptos para evaluar la eficacia de la Direccin General de
Poltica de Telecomunicaciones, la Auditora Superior de la Federacin
(asf) construy otros seis indicadores para complementar la evaluacin
del cumplimiento de los objetivos, como se presenta a continuacin:
Cuadro de indicadores estratgicos construidos para evaluar
las acciones de regulacin de los servicios de telecomunicaciones
Vertiente
de revisin
Eficacia
Objetivo
Indicador
ndice de ampliacin
de la cobertura
Cobertura
ndice de cobertura
por servicio de
telecomunicaciones
ndice internacional
de cobertura de
los servicios de
telecomunicaciones
Frmula del indicador

Demanda real de
usuarios por servicio de
telecomunicaciones /
demanda estimada
Nmero de usuarios
por servicio de
meta establecida
Resultados de los
ndices de cobertura
de los servicios de
telecomunicaciones en
Mxico / pases de la
ocde
ndice de calidad
por servicio de
telecomunicaciones
Calidad
Resultados de los ndices

de calidad por servicio
de telecomunicacin /
parmetro
Tiempo de instalacin Resultados del tiempo
de lneas telefnicas
de instalacin de lneas
fijas
telefnicas fijas /
parmetro
Tiempo de instalacin Resultados del tiempo
de lneas telefnicas
de instalacin de lneas
fijas
telefnicas fijas /
parmetro
81
Cuadro de indicadores estratgicos (continuacin)

Vertiente
de revisin
Objetivo
Indicador
Frmula del indicador
Porcentaje de llamadas Resultados del

cadas de telefona
porcentaje de llamadas
celular
cadas de telefona
celular / parmetro
ndice internacional
de calidad de
de calidad de los servicios
los servicios de
de telecomunicaciones en
telecomunicaciones
Mxico /pases de la ocde
ndice de
competitividad
tarifarios de los servicios
tarifaria de los
de telecomunicaciones /
servicios de
parmetro
telecomunicaciones
Evolucin tarifaria
Tarifas cobradas en
de los servicios de
2005 por la prestacin
telecomunicaciones
de los servicios de
tarifas cobradas en 2001
Competitividad
ndice internacional
Tarifas cobradas
de tarifas de
por la prestacin
los servicios de
de los servicios de
telecomunicaciones
telecomunicaciones en
Mxico / pases de la
ocde
Competencia en
la prestacin de
los servicios de
telecomunicaciones
Nm. de empresas de los

servicios en operacin
en 2005 / nm. de
empresas en 1997
fuente:
Comisin Federal de Telecomunicaciones, Sistema Interno de Indicadores Estratgicos y de Gestin.
Se observ que la sct estableci seis indicadores para evaluar la

eficacia de los objetivos de la poltica de telecomunicaciones, los cuales
fueron considerados para la revisin; y no dispuso de indicadores para
medir la ampliacin de la cobertura, la calidad del servicio y la competitividad tarifaria, por lo que en este aspecto no se ajust a lo establecido en el Plan Nacional de Desarrollo y en el numeral I del Manual
de Programacin y Presupuesto para el ejercicio fiscal 2005.
82
En la actualidad, la mayora de las instituciones pblicas y privadas utilizan los indicadores de resultados o estratgicos para
medir su propio desempeo, y han sido de gran utilidad para las
auditoras de desempeo. La incorporacin de estos indicadores ha
implicado un enorme esfuerzo para reorganizar las tareas internas
de la mayora de las instituciones pblicas y privadas, en funcin de
los resultados que esperan obtener y su impacto ha sido decisivo.
Lo primero que han hecho es obligar a las dependencias a plantear
metas anuales realistas, y despus a comprometerse para alcanzarlas.
Trabajar a partir de resultados estratgicos implica dejar de lado los
trabajos al vapor y las presiones polticas por atender asuntos de coyuntura y a concentrarse en disear metas a largo plazo y programas
anuales, que de manera conjunta servirn para cumplir las metas
establecidas.
A continuacin se presenta un ejemplo sobre la eficacia en la sustentabilidad de los bosques.
a] Produccin de planta para reforestacin

Con la revisin y el anlisis de los reportes de la Red Nacional de Viveros y su Produccin 2007, se constat que la meta aprobada (215000
plantas) se cumpli en 65.1%, al producir 139893 plantas para reforestacin de terrenos forestales o preferentemente forestales, de las que
68.1% (95347 plantas) correspondieron a las que fueron sembradas en
2007 y 31.8% (44546 plantas) a las que se sembraron un ao antes.4 El
menor cumplimiento de la meta se explica por el cierre de viveros por
parte de la sedena y los efectos climatolgicos adversos originados por
el huracn Dean.
En 2007, de las 139893 plantas producidas, el 23.9% (33489
plantas) correspondi a la conafor y el 76.1% (106404 plantas) a las
producidas por otras dependencias federales, los gobiernos locales y
los particulares. En ese ao, en promedio, el ndice de produccin por
vivero fue de 415000 plantas, inferior en 60.4%, en promedio anual,
al obtenido en 2005 (687000 de plantas).
4
Las plntulas se siembran durante todo el ao y se contabilizan en el ao que se
consideran aptas para las acciones de reforestacin.
83
En el caso de la conafor, en el periodo 2005-2007, el nmero de

viveros en operacin aument anualmente 2.0%, al pasar de 73 en
2005 a 76 en 2007, aunque por vivero el ndice de produccin fue
de 441000 plantas, lo que signific un decremento, promedio anual,
del 22.5%, respecto de las 735000 plantas producidas en 2005, principalmente porque en el estado de Quintana Roo la produccin se
redujo anualmente en 96.2%, al pasar de 28000 plantas en 2005 a
4000 plantas en 2007, como resultado de la presencia de huracanes
en ese estado.
Por lo que corresponde a los viveros en operacin, a cargo de
otras dependencias federales, los gobiernos locales y los particulares,
se constat que aun cuando el nmero de viveros se increment, en
promedio anual, 19.1%, al pasar de 184 en 2005 a 261 en 2007, el
ndice de produccin por vivero fue de 408000 plantas producidas,
21.8% menos, en promedio anual, que la produccin de 2005 (668000
plantas producidas), que se explica fundamentalmente por la desincorporacin de los 22 viveros de la sedena iniciada en 2005 (17 viveros)
y concluida en 2007 (5 viveros). En 2006, los 5 viveros de la sedena
que operaron produjeron, en conjunto, 19400 plantas, 16.6% de la
produccin total de plantas en ese ao (116726 plantas).
b] Reforestacin de la superficie forestal del pas

Con base en los ndices de supervivencia de rboles plantados en el
periodo 2003-2005, 5 la asf determin que de 322320 plantas sembradas en 2007 por la conafor, supervivi el ndice inferior en 5.7%
respecto del estndar de 60.0%, determinado por la comisin, con
base en niveles de supervivencia aceptados por la fao.
En el periodo 2005-2007, el nmero de plantas sembradas se increment, en promedio anual, en 34.2%, al pasar de 179086 plantas
sembradas en 2005 a 322320 plantas en 2007, como se observa a continuacin:
5
Para 2007, la conafor indic que los resultados del ndice de supervivencia de rboles
plantados no se haban concluido por parte de la Universidad Autnoma de Chapingo.
84
ndice de supervivencia de plantas sembradas

para reforestacin, 2005-2007
Concepto
2005
2006
2007
Plantas sembradas (miles)

Plantas supervivientes (miles)
Plantas muertas (miles)
ndice de supervivencia
Variacin respecto del estndar
del 60%
179086
91692
87394
51.2
195742
100807
94935
51.5
322320
175065
147255
54.31/
34.2
38.2
29.8
3.121/
(8.8)
(8.5)
(5.7)
2.822/
tmca
(%)
fuente:
Comisin Nacional Forestal, Informe de Cierre Definitivo Prorbol Reforestacin, 2005, 2006 y 2007, Mxico, 2006-2008; y nota informativa tema supervivencia de
la reforestacin, del 27 de septiembre de 2008.
1/
Cifras estimadas con base en los ndices de supervivencia de los aos 2003, 2004,
2005 y 2006.
2/
Variacin en puntos porcentuales.
El nmero de plantas supervivientes aument 38.2%, en promedio

anual, de 91692 plantas en 2005 a 175065 plantas en 2007, lo que
signific un incremento de 3.1 puntos porcentuales en el ndice de
supervivencia de plantas, al pasar de 51.2% en 2005 a 54.3% en 2007.
Con estas acciones, en el periodo 2005-2007 la prdida neta de superficie forestal decreci en 38.8%, en promedio anual, al pasar de
337.0 miles de hectreas reforestadas en el periodo 2005-2006 a 206.1
miles de hectreas en el periodo 2006-2007, como se observa a continuacin:
Prdida neta de la superficie forestal del pas, 2005-2007
Concepto
Superficie deforestada
Superficie reforestada
(miles de hectreas)
Prdida neta de superficie
forestal
Variacin
Absoluta
%
(2.2)
(0.4)
20052006
20062007
549.7
547.5
212.7
341.4
128.7
60.5
337.0
206.1
(130.9)
38.8
85
Prdida neta (continuacin)

Concepto
ndice de reforestacin
(hectreas reforestadas por
hectrea deforestada)
20052006
20062007
0.4
0.6
Variacin
Absoluta
%
0.4
n.a.
fuente:
Auditora Superior de la Federacin, cifras estimadas con base en el Informe

Evaluacin de los Recursos Forestales, Informe pas Mxico 2005, proporcionado por
la conafor en el oficio nm. uaj/682/2008 del 19 de septiembre de 2008; Comisin
Nacional Forestal, Informe de Cierre Definitivo Prorbol Reforestacin, 2005, 2006 y
2007, Mxico 2006, 2007 y 2008; y Nota Informativa Tema Supervivencia de la Reforestacin, Mxico, 27 de septiembre de 2008.
n.a. o aplica.
Con sus acciones de reforestacin, la conafor logr incrementar

en 60.5% (128.7 miles de hectreas) la superficie reforestada, al pasar
de 212.7 miles de hectreas reforestadas en el periodo 2005-2006 a
341.4 miles de hectreas en el periodo 2006-2007. Por cada hectrea
deforestada, la comisin reforest en terrenos forestales 0.6 hectreas
como medida compensatoria, que significaron 0.7 miles de hectreas
ms que las reforestadas en el periodo 2005-2006 (0.4 hectreas).6
Una institucin que no est organizada para cumplir con las metas
esperadas difcilmente podr cumplirlas. Por ello, la mayora de las
reformas que han emprendido un buen nmero de gobiernos han
canalizado esfuerzos a reorganizar sus estructuras internas mediante
tareas encaminadas a trabajar, de manera coordinada, para alcanzar
las metas propuestas.
La manera ms sencilla y rpida de conocer si una institucin est
trabajando para obtener resultados es si cuenta con indicadores internos de desempeo y, sobre todo, si stos son los adecuados para
cumplir con las metas. Es una cultura nueva de trabajo que requiere
de tiempo y disciplina y si los indicadores no se establecen con claridad, la informacin que se obtenga de ellos ser poco confiable,
poco clara y probablemente sesgada.
6
Tomo vi, volumen 1, vi.4. Sector Medio Ambiente y Recursos Naturales,
Secretara de Medio Ambiente y Recursos Naturales, pp. 349-356.
vi.4.1.
86
Qu mide el indicador de resultados?

En primer lugar, si la institucin organiz su trabajo interno a partir
de su misin, de sus propsitos que la hicieron nacer, de su objetivo
social. Una institucin debe responder a la pregunta: para qu me
constituyeron y qu se espera que resuelva, promueva o logre?
En segundo lugar, si la institucin cuenta con planes estratgicos
de trabajo. Esto implica un depurado ejercicio para entender la
manera en que la institucin espera alcanzar sus objetivos. Esto
obliga a la institucin a establecer con claridad y objetividad los
objetivos que espera cumplir en el largo plazo y a partir de ellos
disear los programas de corto y mediano plazos que servirn para
cumplir esos objetivos generales. Nada se resuelve de una vez y para
siempre; por lo tanto, los programas de mediano y largo plazos
con indicadores estratgicos sealarn qu tan lejos estamos de los
objetivos institucionales.
En tercer lugar, verificar que los planes estratgicos establecen las
contingencias internas y externas que pueden afectar el desempeo.
En muchas ocasiones, las situaciones externas o internas pueden
alterar por completo el rumbo de un programa pblico y si la institucin no lleva a cabo este esfuerzo de anlisis de riesgo y de prospectiva sobre los posibles escenarios, las posibilidades de xito se
vern disminuidas.
En cuarto lugar, supervisar si existe una congruencia entre las metas
anuales de la institucin con los objetivos de largo plazo. En ocasiones, el auditor podr encontrar que las metas anuales no siempre
coinciden con los objetivos de mediano plazo.
Todos los programas anuales de las dependencias pblicas estn
obligados a proporcionar informacin de calidad para que los funcionarios y el Congreso evalen el desempeo. Los programas deben indicar la conexin entre las metas anuales y los objetivos de largo plazo.
En ocasiones, las ambiciones y las metas de las instituciones son tan
amplias y tan abstractas, que los programas que se ponen en marcha
no producen resultados positivos.
Si una institucin trabaja a partir de resultados estratgicos deber
establecer una conexin entre los objetivos generales y el presupuesto
anual de cada uno de los programas. Por ello, las auditoras debern
comparar el desempeo de cada programa auditado, con las metas
87
establecidas en los presupuestos anuales y confrontar todo contra los

objetivos de mediano plazo. Los resultados que arrojen las evaluaciones servirn para describir las acciones que hace falta realizar para
cumplir con las metas establecidas.
Los retos para los auditores y las instituciones que realizan estos
trabajos son enormes. Esto se debe a que intervienen muchos actores
en el proceso y siempre surgen complicaciones derivadas de la misma
estructura gubernamental. Por ello, las auditoras deben convertirse
en una invaluable herramienta para mejorar la administracin de los
programas, mejorar el proceso de rendicin de cuentas y aumentar
los ndices de confiabilidad en el gobierno.
El auditor del desempeo deber normar su trabajo a partir de tres
preguntas bsicas:
a] La institucin cumpli las metas de corto plazo y se encamina a
lograr los objetivos de largo plazo?
b] La institucin conjunt las estrategias y los recursos que se requieren para cumplir con los objetivos trazados?
c] La institucin o el programa, logr producir informacin valiosa
y confiable sobre su desempeo? Se sabe cul es la brecha entre el
aqu y el ahora, y lo que falta por hacer?
Estas preguntas encierran un arsenal de informacin que deber
servir para obtener una idea precisa sobre el desempeo del programa o el ente auditado. La combinacin de resultados deber
ser contrastada con un ideal de desempeo, aunque esto sea muy
ambicioso. Los indicadores son la herramienta ms importante que
tienen los funcionarios para resultados. Si una institucin los plantea
incorrectamente lo ms probable es que nunca cumpla con las metas
planteadas.
La auditora deber brindar respuestas para evaluar los rezagos
funcionales de una institucin y sugerir cambios que incidan en el
mejoramiento del ejercicio del programa. Por ello, deber encontrar
las fallas en los programas auditados y solicitar explicaciones cuando
sucedan. El auditor deber evaluar las metas planteadas por la institucin, ya que en muchas ocasiones los objetivos son tan ambiciosos
y los programas tan poco vinculados con la realidad, que evidentemente jams podrn alcanzar sus metas. La auditora debe detectar
los vnculos entre los medios y los fines de cada programa, ya que en
88
muchos casos no estn planteadas las coincidencias entre los medios

y los fines.7
Anlisis detallado de las tres preguntas planteadas
a] La Institucin cumpli las metas de corto plazo y se encamina a
lograr los objetivos de largo plazo?
Lo primero que deber evaluar el auditor para responder esta pregunta es si existen los medios necesarios para cumplir con los objetivos y metas establecidos. Algunas de las metas pueden ser fciles de
medir, como lo seran los datos que se pueden expresar de manera
cuantitativa y objetiva.
Por ejemplo, en el caso de la auditora de desempeo de la educacin media superior en las modalidades de formacin profesional
tcnica terminal y tcnica con bachillerato, realizada con motivo de la
revisin de la Cuenta Pblica de 2007, el grupo auditor responsable se
dio a la tarea de identificar el nmero de jvenes en edad de cursar estudios de educacin media superior que se matricularon en el Colegio
Nacional de Educacin Profesional Tcnica (conalep); el nmero de
alumnos matriculados en ese colegio que concluyeron sus estudios; y
el nmero de alumnos egresados del conalep que continuaron con sus
estudios o bien que consiguieron incorporarse al mercado productivo,
a efecto de verificar el cumplimiento de las metas establecidas en el
Presupuesto de Egresos de la Federacin. Los resultados de la revisin
revelaron que:
En 2007 haba 6.3 millones de jvenes en edad de cursar estudios de
educacin media superior.
El Sistema Educativo Nacional (sen) atendi 3.8 millones de estudiantes, el 60% de la poblacin en edad escolar.
Quedaron sin atencin 2.5 millones de jvenes, el 40% del total.
El conalep matricul a 259 miles de alumnos, el 4% del total de la
poblacin en edad para cursar la educacin media superior y el 7%
de la matrcula del sen.
El conalep cumpli parcialmente su objetivo de formar tcnicos calificados en el nivel bachillerato, ya que de los 113.7 miles de alumnos
7
United States General Accounting Office, 1998, Management Reform: Agencies Inicial Efforts to Restructure Personnel Operations, GAO/GGD-98-83, Washington, D.C.
89
de la generacin 2004-2007: el 43% egresaron; el 54% reprob o

desert del sistema, y el 3% tiene una situacin acadmica indeterminada.
Respecto del seguimiento de egresados, se observ que de los 16.5
miles de ex alumnos encuestados el 12% continu con sus estudios
en el nivel superior; el 20% ingres al mercado laboral y el 68% no
tiene ninguna actividad.
De lo anterior, se concluye que de cada 100 alumnos que ingresan
al conalep, 43 logran concluir sus estudios, y slo 8 consiguen un
empleo.
Existen objetivos menos precisos, ms abstractos y ms difciles de
medir, como seran, por ejemplo: los alcances de un programa para
abatir la pobreza. Esto obliga al auditor a definir indicadores ms precisos, y a recurrir a los expertos en el tema para corroborar si las
polticas adoptadas fueron las ms adecuadas para enfrentar este tipo
de problemas.
No hay que olvidar que los auditores no pueden ser expertos en
todos los temas. Lo que se espera de los auditores es que tengan el
criterio necesario para discernir si las variables utilizadas en el programa son realistas, objetivas y precisas. Lo importante es evitar
analizar cientos de variables que dificulten la posibilidad de evaluar
correctamente un programa, y que los indicadores utilizados logren
demostrar la justa dimensin del mismo.
Todas las auditoras debern medir la manera en que la institucin
espera cumplir con sus objetivos. Por ejemplo si est evaluando un
programa de empleo de la Secretara de Trabajo, se deber analizar a
quin fue dirigido el programa, si capacit correctamente al personal
que lo brind y si las personas que tomaron el curso obtuvieron un
empleo y si lograron permanecer en l por lo menos un ao. Cada
programa debe tener congruencia interna. Para que las metas se
cumplan, es importante que los indicadores reflejen los contenidos
y metas de los programas. Si no existe una congruencia entre indicadores y el programa de trabajo, el auditor deber indicarlo y sealarlo
como una de las principales fallas.
Durante la auditora, el auditor deber analizar si las medidas
utilizadas son vlidas. Existen ocasiones en que la evaluacin puede
perderse en un mar de informacin. Una medida vlida puede ser
un programa de vacunacin, por ejemplo, ya que su medicin est
90
vinculada con el nmero de vacunas aplicadas y con el nmero de

enfermedades que sufren los nios. Si la incidencia de enfermedades
controladas por la vacunacin no se reduce entonces el programa est
fallando. Ningn programa es perfecto, la mayora tienen pequeas
fallas, por ello hay que ser muy cauteloso con los juicios emitidos.
El auditor deber tener la serenidad para analizar con imparcialidad y objetividad las variables que estudiar para evitar conclusiones
equivocadas. Las medidas analizadas debern ser lo suficientemente
claras para demostrar la dimensin del programa y reflejar sus principales actividades. Se debe evitar la tendencia de asumir que un programa no tuvo un buen desempeo slo porque fallaron algunos de
los indicadores. O, por el contrario, asumir que el programa fue todo
un xito, porque algunos indicadores as lo sealan.
Debido a que los programas pblicos tienen objetivos mltiples y equilibran intereses, todos los programas debern responder con calidad y
eficiencia en los tiempos, los costos y los resultados. Por ello, lo primero
que debe efectuar un auditor al evaluar un programa es lo siguiente:
Verificar si los indicadores utilizados reflejan el desempeo de la
institucin en el cumplimiento de sus objetivos.
Verificar si los indicadores analizados cubren los aspectos clave del
desempeo del programa.
Verificar si los indicadores utilizados por la institucin generaron
consecuencias impredecibles que pudieron ser evitadas.
b] La institucin conjunt las estrategias y los recursos que se requieren para cumplir con los objetivos trazados?
La segunda pregunta de este indicador analiza el vnculo entre las estrategias y los recursos que se requieren para alcanzar las metas. Esto
implica un desglose elaborado por la institucin de los recursos financieros, humanos y tecnolgicos que se necesitan para implementar
cada una de las acciones del programa, lo cual implica estudiar las
estrategias permanentes y los recursos, as como la relacin entre los
medios y los fines.
Con motivo de la revisin de la Cuenta Pblica de 2005, la Auditora Superior de la Federacin evalu el desempeo de los servicios
de educacin bsica, en trminos de la eficacia en la cobertura de
atencin y el cumplimiento de los objetivos y metas comprometidos
91
por la Secretara de Educacin Pblica en el Presupuesto de Egresos

de la Federacin para ese ejercicio fiscal. En la evaluacin se evidenci
la falta de vinculacin de las estrategias implementadas por la dependencia con los recursos aprobados por la H. Cmara de Diputados,
como se muestra en los resultados que se detallan a continuacin:
En materia de cobertura, en 2005, la sep cumpli parcialmente el
mandato constitucional de otorgar educacin a todos los mexicanos,
toda vez que se atendieron 27745320 (43.8%) de las 63380303 personas que carecan de ese nivel educativo, y quedaron sin atencin
35634983 personas.
La matrcula nacional del subsistema escolarizado mostr un crecimiento del 1.3% en promedio anual respecto de 2001, como consecuencia del aumento del 6.7% en la inscripcin de nios en el nivel
preescolar, y del 2.2% en la de jvenes en nivel de secundaria. En las
escuelas particulares, la matrcula registr un crecimiento promedio
anual del 3.8%.
El ndice de eficiencia terminal aument en 2.3% en primaria, y
3.7% en secundaria, lo que refleja un avance moderado de logro educativo. Asimismo, se determin que de cada 100 alumnos que se inscriben en primaria escolarizada, 62 egresan de secundaria y 38 no
concluyen la educacin bsica, lo que ocasiona un rezago educativo
generacional promedio de 838 mil personas al ao.
En la grfica siguiente se observa la evolucin del rezago educativo
nacional generacional para el periodo 1996- 2004:
Rezago educativo generacional, 1996-2004
Ingreso a
primaria
Concepto
ndice de
ingreso y
egreso
100
Alumnos
2478302
Egreso de
primaria
88
Ingreso a
secundaria
83
Egreso de
secundaria
62
2186140 2069386 1639802

Rezago =
838500
En cuanto al ejercicio de los recursos, en 2005, el gasto pblico en

educacin, como proporcin del pib, fue de 5.5%, 2.5 puntos porcentuales por debajo del 8.0% establecido en la Ley General de Educacin.
92
Se determin una distribucin desigual de los recursos destinados a

la educacin bsica, ya que el gasto por alumno atendido se situ en
13.4 miles de pesos en el subsistema escolarizado, y en 0.6 miles de
pesos en el subsistema de adultos. Similar situacin se observ en la
distribucin nacional, ya que las aportaciones del gobierno federal
fueron superiores a las de los gobiernos estatales en un rango que
oscila entre 11.0% y 99.6%.
Asimismo, se observ que no hay una correlacin entre un mayor
gasto educativo y una mayor eficiencia terminal en educacin bsica,
ya que aqul se destina principalmente a garantizar la operacin
de las escuelas sin vincularlo con los resultados de logro educativo,
como se detalla en el cuadro siguiente:
Indicadores de gasto y educativa
Gasto pblico
por alumno
atendido
Entidad
Cobertura
(%)
Escolarizado
(Miles
de pesos)
Eficiencia terminal
Primaria
(%)
Secundaria
(%)
Pruebas pisa
2003
Comprensin
lectora y de
matemticas
(1600 puntos)
Absoluta
(%)
Nacional
88.6
12.5
90.0
78.6
785
49.1
Baja
California
Sur
90.6
17.0
95.7
85.3
762
47.6
Oaxaca
91.6
11.9
85.9
77.1
672
42.0
Quertaro
89.8
10.8
96.1
76.3
836
52.2
En este ejemplo se observa que no hubo una conjuncin adecuada

de las estrategias y los recursos para cumplir con los objetivos trazados
en materia de cobertura y eficiencia terminal, lo que se reflej en un
rezago educativo generacional.
Cmo conectar las estrategias con los resultados?
El auditor deber supervisar que el programa de trabajo describe las
estrategias de la institucin para alcanzar sus objetivos. Esto implica
93
que se analicen procedimientos, inspecciones y los procesos administrativos y humanos para obtener los resultados esperados. Es importante que las estrategias incluyan un apartado donde se analicen los
requerimientos tecnolgicos.
El programa deber describir tanto las estrategias nuevas, como
las viejas para alcanzar las metas. Los aspectos nuevos reflejan un
esfuerzo de innovacin de la empresa que podra impactar positivamente la gestin de su trabajo. Asimismo, debe reconocer las limitantes legales que existen para alcanzar las metas. 8
Qu debe hacer el auditor para obtener esta informacin?
Establecer los vnculos entre las estrategias de corto plazo y las
metas de largo plazo.
Distinguir las estrategias vigentes y las nuevas.
Verificar que existen mtodos alternos para mejorar su trabajo.
stos pueden ser, entre otros, las reingenieras financieras, privatizaciones o cualquier otro que sirva para mejorarlo.
Verificar si la institucin est estudiando el uso de nuevas regulaciones, por ejemplo, exenciones fiscales, o cualquier otra.
Verificar si la institucin est promoviendo algn cambio legislativo para mejorar su trabajo.
Verificar si se ha contrastado esta estrategia con otras propuestas
por la institucin, para que de manera conjunta sirvan para mejorar su trabajo.
Supervisar si algunos de los cambios efectuados en la institucin
son resultado de las recomendaciones hechas anteriormente por la
Auditora Superior de la Federacin.
Verificar si alguna institucin solicit obviar algn procedimiento
administrativo que para efectos del cumplimiento de la meta fuera
contraproducente.
En caso de solicitar las exenciones el auditor deber:
8
United States General Accounting Office, Managing for Results: The Statutory
Frameword for Performance-Based Management and Accountability, gao/ggd/aimmd-98- 52, 1998, Washington, D.C.
94
Realizar una discusin con la institucin para explicar por qu solicit la exencin.
Describir cules seran las ventajas administrativas si se exime de
este paso.
Proponer los cambios que se efectuarn en caso de que se autorice
la exencin.
Variables externas
La institucin deber verificar si en el programa de trabajo se establece el impacto de alguna variable externa en su desempeo. Existen
variables externas que pueden cambiar por completo el rumbo de un
programa. El auditor deber investigar si existen programas de contingencia en caso de presentarse alguna de ellas.
Para ello, el auditor deber verificar que la institucin:
Proporcion una explicacin de la manera en que estas variables
afectarn su desempeo.
Evalu el impacto de dichas variables.
Determin en forma adecuada los impactos derivados de estas variables.
Cuenta con una estrategia que mitigue su impacto.
Todos los programas pblicos debern contar con una estrategia
que incluya la manera en que se financia y administra un programa.
Si ste requiere cambios adicionales, deber especificar la cantidad de
recursos que se necesitarn. Asimismo, deber incluir los montos de
los recursos utilizados en aos anteriores a los del ao fiscal en curso,
as como los que necesitar en un futuro para alcanzar sus metas. La
experiencia demuestra que los programas ms exitosos son aquellos
que detallan la cantidad de recursos necesarios para alcanzar las
metas. No siempre es sencillo desglosar o etiquetar los recursos que
se necesitan para alcanzar una meta. Generalmente, las instituciones
incorporan rubros generales en sus programas de trabajo.9
Otro asunto que deber analizar el auditor en este rubro es si la institucin ha optado por incorporar la compra de bienes de capital para
9
Meter Drucker, The Information Executives Truly Need, Harvard Business Review,
1998, pp. 1-24.
95
la institucin. Algunas entidades y dependencias como la Secretara

de la Defensa, de Marina y de Seguridad Pblica, Petrleos Mexicanos
y la Comisin Federal de Electricidad, por citar slo algunas, dependen mucho de la inversin en equipo. Por ello, es importante que
se detallen los recursos que se necesitarn para cumplir con las metas.
Finalmente, el auditor requerir la siguiente informacin para facilitar su trabajo:
La manera en que la institucin conjunta los recursos humanos y
los financieros para cumplir las metas.
El impacto que una disminucin presupuestal tendra para consecucin de las metas.
Alguna referencia en el programa anual de trabajo sobre el capital
de la institucin, la informacin tecnolgica que se requiera y la
planeacin financiera de la institucin.
Una demostracin de que los cambios en el capital llevarn a un
mejor desempeo institucional.
Los vnculos entre la inversin en capital y el cumplimiento de las
metas.
La consistencia entre el desempeo del capital y las metas anuales.
La congruencia entre los recursos requeridos y la justificacin para
los cambios en el capital.
Cuando la institucin ha formulado estos pasos, el auditor deber
realizar lo siguiente:
Verificar que la propuesta sea razonable y que se vincule con el
cumplimiento de metas.
Comprobar que el programa establece de manera lgica y ordenada la manera en que estos recursos contribuyen a mejorar el
desempeo.
Verificar que existe congruencia entre los recursos econmicos y
los sistemas tecnolgicos de informacin.
Determinar que los bienes de capital solicitados reflejen las metas y
los costos, y sean presentados adecuadamente en el plan de adquisiciones de la institucin.
Corroborar que el programa de trabajo explique de manera clara
la manera en que esta inversin redundar en el cumplimiento de
las metas.
96
c] La institucin o el programa logr producir informacin valiosa y

confiable sobre su desempeo?
Unos de los puntos que ms genera confianza sobre el desempeo
de los programas pblicos es la validez y la confiabilidad de sus indicadores de desempeo. La confiabilidad se refiere a la precisin con
la que la institucin mide su desempeo y la validacin se refiere a la
manera en que sus indicadores lo reflejan. Ambos conceptos estn
influidos por varios factores, incluyendo la calidad de la informacin
sobre las cuales la propia institucin plantea sus indicadores de desempeo.
Por ello, el auditor deber verificar y validar la informacin que
ofrecen sus indicadores durante la auditora. Esto garantizar la
confiabilidad de los resultados y evitar sesgos. El auditor deber
comprender que en muchos casos el problema de la calidad de la informacin radica en los costos de producir informacin de mejor calidad.
Para ello el auditor deber verificar lo siguiente:
Si la informacin proporcionada por la institucin es transparente
y se encuentra libre de sesgos.
Si los procedimientos para verificar la informacin estn sustentados en hechos.
Si la informacin obtenida genera conclusiones equivocadas sobre
el desempeo del programa.
Cmo validar y verificar el desempeo?
El auditor deber asegurarse de que la informacin proporcionada
por la institucin es suficiente, acertada y consistente. Su meta debe
centrarse en describir procedimientos para verificar y validar la informacin.
La informacin que analiza el auditor es recopilada, generalmente,
por el personal de la institucin auditada y los errores pueden ocurrir
durante varias fases de este proceso. Esto puede ser resultado de una
manera incorrecta de obtener la informacin o de la existencia de problemas serios en la base de datos de la institucin. En muchos casos,
la informacin almacenada en las computadoras se puede perder o
se pueden generar muchos errores al transferir la informacin de un
archivo a otro.
97
Este tipo de errores lleva a conclusiones equivocadas, por lo cual el

auditor deber verificar que la informacin est sustentada en hechos
y que existen controles sobre los procedimientos, la recopilacin, el
mantenimiento y los ingresos de la informacin nueva.
En este contexto, el auditor deber obtener:
Una descripcin del proceso de verificacin de la informacin recopilada.
La deteccin de procedimientos generales para controlar la calidad de la informacin, como los que se realizan por medio de
cmputo.
Para comprobar la confiabilidad de la informacin obtenida, el auditor deber realizar las siguientes tareas:
Efectuar revisiones peridicas de los mtodos de recopilacin,
mantenimiento y procedimientos adoptados por la institucin.
Efectuar revisiones peridicas de la informacin mediante muestreos aleatorios que verifiquen la consistencia de la informacin
obtenida.
Contrastar la informacin obtenida, con la que realizan los auditores independientes o recurrir a cualquier otro procedimiento
para verificar la informacin financiera.
Revisar los programas de trabajo para identificar las referencias
existentes sobre el proceso de validacin de la informacin.
Revisar auditoras anteriores en donde se explique cmo fue clasificada la informacin.
Si los indicadores requieren informacin financiera, se recomienda
revisar las auditoras de los reportes financieros anuales.
Verificar que los errores de antao estn corregidos y que los problemas estn resueltos.
Entrevistar a funcionarios para verificar los esfuerzos que hacen
para mejorar la calidad de su informacin y detectar si an persisten lagunas.
Revisar si algunas recomendaciones emitidas por la Auditora Superior de la Federacin fueron tomadas en cuenta.
98
Cmo reconocer las limitaciones en la informacin?

El auditor deber precisar si el programa de trabajo reconoce las limitaciones que existen en la informacin institucional, as como la
manera en que sta impacta la forma en que se comprueba el cumplimiento de sus metas.
En muchas ocasiones las instituciones carecen de informacin
precisa sobre el desempeo de cada uno de sus programas. En otras,
no existe o la moldean para aparentar su cumplimiento. En muchos
casos, los datos son viejos o carecen de sistemas tecnolgicos modernos de clasificacin. En muchos otros, prevalecen los motivos polticos ajenos al desempeo del programa. El auditor deber, en todos
los casos, desentraar problemas e identificar la calidad de la informacin que se audita.
A continuacin se presenta un ejemplo sobre la calidad de la informacin.
Operacin del Sistema Integral de Operacin Migratoria (siom) 10
De los 11 mdulos que integran el Sistema Integral de Operacin Migratoria (siom), para registrar el estatus migratorio de las personas que
se internan al territorio nacional, 7 (63.6%) se utilizaron de manera
parcial, a saber: repatriacin, asegurados, querellas, fmi, archivo migratorio, trmites y derechos migratorios; 3 (27.3%) operaron en
100.0%, que corresponden a flujo migratorio, revisin secundaria y
control migratorio; y 1 (9.1%), que corresponde al mdulo de embarcaciones, no oper. De este ltimo y de los que operaron parcialmente, el Instituto Nacional de Migracin (inm) seal que estn en
proceso de reestructuracin.
Respecto de los siete mdulos que operaron de manera parcial, se
revisaron cuatro: 6] Asegurados, 7] Querellas, 9] Archivo migratorio
y 10] Trmites, y se constat lo siguiente:
10
Auditora Superior de la Federacin, Informe del Resultado de la Revisin y Fiscalizacin Superior de la Cuenta Pblica, 2007, Mxico, 2008, pp. 185-189.
99
Observaciones determinadas en la revisin del siom, 2007

Mdulo
Observaciones
6. Asegurados El nmero reportado de

asegurados en el siom (50598)
difiere del reportado por las
delegaciones regionales (58482)
7. Querellas
La informacin que report el
sistema impidi identificar el
asunto de la querella
9. Archivo
No se digitalizaron los
migratorio expedientes migratorios
10. Trmites
El nmero reportado de
trmites en el sistema (335163)
difiere del reportado por las
delegaciones regionales (334200)
Efectos
No son confiables las
cifras reportadas en
el sistema
Falta de informacin
relevante
Falta de informacin
de consulta
No son confiables las
cifras reportadas en
el sistema
fuente:
Auditora Superior de la Federacin, elaborado con base en los reportes del

Caractersticas del Sistema Integral de Operacin Migratoria, proporcionadas con
los oficios nms. INM/CA/1389/2008 del 20 de agosto de 2008, INM/CA/0717/2008
del 17 de abril de 2008, INM/CA/1390/2008 del 21 de agosto de 2008, INM/
CA/2117/2008 del 31 de octubre del 2008, INM/CA/2530/2008 del 8 de diciembre
de 2008 e INM/CA/2552/2008 del 11 de diciembre de 2008.
siom,
Asimismo, en los cuatro mdulos que operaron parcialmente, se

constat que existen diferencias de cifras respecto de los registros
de las delegaciones regionales, as como falta de informacin, por
lo que los reportes del sistema no fueron confiables, oportunos y
completos.
Respecto de los 3 mdulos en los que el sistema oper al 100.0%,
relativos al flujo migratorio, revisin secundaria y control migratorio,
se determin que de los 166 puntos de internacin existentes en el
pas, slo en 27 (16.3%) oper el sistema, lo que represent una cobertura del 89.6% (19,368,215) del flujo migratorio total registrado
por las delegaciones regionales en 2007.
100
Multas a inmigrantes documentados por violaciones a la Ley General de Poblacin11

En 2007, fueron sancionados 24406 extranjeros por un monto de
30411.5 miles de pesos, donde Baja California (2197), Chihuahua
(3129) y el Distrito Federal (3603) concentraron al 36.6% de extranjeros sancionados (8929), y el Distrito Federal, Quintana Roo
y Tamaulipas concentraron el 38.6% del monto de las sanciones
(11750.9 miles de pesos).
Los registros proporcionados por 29 delegaciones regionales
del inm no permitieron identificar el precepto que infringieron
los extranjeros que se internaron al pas en forma documentada,
de acuerdo con lo sealado en la Ley General de Poblacin: por
no cumplir la orden de salida del territorio nacional; por incumplimiento o violacin de las disposiciones administrativas o legales
a que se condicion su estancia; por realizar actividades para las
cuales no estaban autorizados; por realizar actividades ilcitas o deshonestas; por ostentar calidad migratoria distinta a la autorizada, y
por proporcionar datos falsos de su situacin migratoria.
Como se observ en el ejemplo descrito, es importante que los auditores verifiquen si existen algunas observaciones o amonestaciones
en relacin con la calidad de la informacin que estn auditando.
Por ello, deben iniciar su trabajo reconociendo las limitaciones y
proceder a evaluar el conjunto de las fuentes de informacin disponibles. Su meta debe ser la verificacin de la consistencia y la certeza
de su informacin. El auditor debe partir del supuesto de que ningn
proceso de recopilacin de informacin est libre de errores y que las
limitaciones significativas, siempre llevarn a establecer conclusiones
errneas sobre el desempeo de un programa.12
Las limitantes ms recurrentes que existen en la informacin que
se audita son las siguientes:
La existencia de varias fuentes de informacin. El auditor deber
verificar que no existan inconsistencias entre una localidad y otra,
Ibid., pp. 231-236.
General Accounting Office, Human Capital: Key Principles from Nine Private Sector Organizations, GAO/GGD-00-28, 2000, Washington, D.C.
11
12
101
de un periodo a otro y de una fuente a otra. Esto sucede de manera

recurrente cuando se cambian los conceptos y las categoras sobre
las cuales se establece el proceso de recopilacin de informacin.
Inconsistencia en la informacin que resulte de un clculo a una
medida imprecisa. Esto sucede cuando el personal responsable de
registrar la informacin lo hace de manera incorrecta.
Informacin incompleta. Esto puede resultar de errores humanos
o de fallas en los sistemas de informacin.
El problema con la informacin poco confiable son los resultados
que se obtienen a partir de ella. Resolver estas limitantes es uno de
los retos ms importantes que tiene un auditor. A grandes rasgos, el
auditor deber realizar las siguientes tareas para garantizar la calidad
de la informacin:
Revisar fuentes alternas de informacin para determinar si stas
contienen los mismos problemas. Si la informacin auditada es financiera, se sugiere analizar las auditoras previas para verificar
que los errores detectados en ellas estn resueltos.
Verificar que el proceso de recopilacin de informacin detecte sus
propias debilidades y que se lleven a cabo esfuerzos para corregirlas.
Verificar que las acciones que la institucin piensa tomar para subsanar estos huecos sean razonables y lgicas.
Efectuar entrevistas con los funcionarios de la institucin para supervisar que se tomen las medidas correctas para resolver los problemas.
Para detectar problemas en las fuentes de informacin externas a
la institucin, el auditor deber realizar las tareas siguientes:
Verificar y detectar si la informacin auditada pertenece a fuentes
externas a la institucin.
Determinar si las fuentes externas son confiables.
Entrevistar a los funcionarios responsables para verificar que la informacin sea consistente y clara y provenga de fuentes confiables.
Examinar auditoras anteriores para detectar si existen problemas
con las fuentes externas consultadas.
Detectar si la institucin conoca las limitaciones en la informacin
consultada.
102
Analizar si la institucin ha hecho un esfuerzo para cambiar sus

sistemas de informacin a fin de aumentar su calidad.
Sin duda el problema ms importante de toda auditora es encontrar informacin de calidad. Los costos econmicos de sustituir los
sistemas de informacin son tan altos, que las instituciones prefieren
aceptar el costo de los errores y las lagunas de informacin. Por ello, el
auditor deber estudiar conjuntamente con la institucin nuevos mtodos de recopilacin de informacin que sean menos costosos, pero
que sean capaces de producir informacin de calidad.
En sntesis, la meta de este indicador es determinar la manera en
que una institucin trabaja e informa sobre sus actividades. Un gobierno que trabaja mejor y cuesta menos es una de las aspiraciones
ms importantes de todos los gobiernos. Trabajar a partir de resultados implica un compromiso con un cambio. No implica un cuestionamiento a la manera en que un gobierno atiende un problema, sino
concentrarse en analizar y conocer la forma en que trabaja para hacerlo. La mayora de los gobiernos cuenta con un catlogo de buenas
intenciones e incluso de buenas decisiones, el problema es ponerlas
en marcha. El reto radica en intentar cambiar la manera de hacer las
cosas para alcanzar las metas de manera ms rpida y eficiente.
2.2. Indicadores de gestin o de procesos: eficiencia

El segundo indicador del tablero de control es el de gestin o de
proceso. Pero qu es la gestin? Es el recorrido que existe entre el
propsito u objetivo y el resultado. Es la manera en que una institucin se organiza para operar un programa y producir los mejores
resultados y, por ello, es crucial para desarrollar el trabajo con eficiencia. Por este motivo, en los ltimos aos, su medicin ha ocupado
un importante lugar en los trabajos de evaluacin.
A lo largo de la historia de la humanidad los grandes logros en
materia cientfica, econmica, militar o deportiva han sido resultado
del conjunto de estrategias que se requieren para implementar una
decisin o una estrategia especfica. Nadie puede aspirar al xito si no
controla las decisiones, los procesos y las acciones que se tomen.
Lo mismo se aplica en una institucin, ninguna estrategia podr
implementarse y cumplirse correctamente si no se acompaa de
103
tiempo y dedicacin. Ninguna empresa o institucin podr alcanzar

sus metas si no analiza la manera en que se organiza, si no mide la calidad del desempeo de sus funcionarios, si no toma en cuenta la capacitacin de sus empleados y si desconoce los ndices de productividad.
La medicin de la gestin se ha vuelto un asunto crucial. De poco
sirven los planes y la planeacin estratgica, si sta no va acompaada
de un eficiente programa de desempeo. Este tema cobra an ms
relevancia cuando se habla de instituciones que cuentan con burocracias establecidas a lo largo de aos, que lejos de convertirse en un
elemento positivo y propositivo para una dependencia, se convierten
en el enemigo a vencer.13
Qu es la gestin interna?
El indicador de la gestin interna es un indicador central para todas
las auditoras. A lo largo de la historia existen muchos testimonios de
la manera en que la burocracia obstaculiza y entorpece la consecucin
de las metas de una institucin. Por ello, las instituciones deben ser
muy cuidadosas al definir sus metas, al organizar su trabajo interno
y al identificar las tecnologas que se requieren para ello. Cada institucin debe decidir los procedimientos que utilizar para cumplir
con sus objetivos y especificar las medidas que cada uno de ellos debe
tomar.
Por ejemplo, en el caso de la auditora de desempeo del Programa
Desayunos Escolares, a cargo del Sistema Nacional para el Desarrollo
Integral de la Familia (dif), los auditores precisaron que la problemtica por resolver por el programa consista en que los nios de
preescolar y primaria llegaban a la escuela sin la ingesta de alimentos
diaria necesaria para sobrellevar la jornada escolar de cinco horas;
por lo que en su objetivo se establecieron los compromisos siguientes:
1] Otorgar el desayuno a los nios que cursan la educacin preescolar y primaria.
2] El desayuno deber contribuir con el 30.0% del aporte calrico
diario.
13
Mark Graham Brown, Keeping Score: Using the Right Metrics to Drive World-Class Performance, Nueva York, Productivity Press, 1996, pp. 95-99.
104
3] Todos los nios recibirn las raciones antes de iniciarse las clases,
para tener un impacto en el rendimiento escolar.
Tambin se identific que el Desarrollo Integral de la Familia (dif)
estableci dos tipos de desayuno: fro, que consista en: 1] leche entera
de vaca, 2] galleta adicionada o pan de dulce, y 3] postre o fruta; y
caliente: 1] leche entera de vaca, 2] un platillo fuerte (se selecciona del
men con base en la cultura alimentaria de la regin) y 3] pan, tortilla
y fruta.
Los resultados de la auditora revelaron que:
El aporte diario de protenas y caloras del desayuno fro era de
20.0%, inferior al comprometido por el programa de 30.0%; en
tanto que el caliente se ajustaba al estndar.
Ms del 50.0% de los desayunos se entregaron despus de haberse
iniciado las clases.
Lo primero que debe invocar un programa pblico es la innovacin.
Los auditores debern prestar especial atencin al tipo de procedimientos que se implementen, ya que muchos de ellos resultan obsoletos y poco prcticos para cumplir con eficacia las metas trazadas.
Lo segundo es analizar si la institucin ha incorporado la opinin
de los funcionarios medios en la toma de decisiones, ya que uno de
los errores ms frecuentes es que las cpulas de una institucin toman
decisiones esperando que se cumplan, cuando en realidad saben que
no cuentan con el personal, ni con la capacidad para hacerlo.
Lo tercero es conocer la manera en que el contexto interno afecta
un programa. Esto es fundamental, ya que ejerce una enorme influencia en los resultados. Sin embargo, no todas las instituciones
pueden detectar estos problemas. Algunos de ellos incluso son difciles de rastrear.
Los hechos demuestran que las empresas ms exitosas son las que
dedican tiempo para comprender la compleja red de situaciones e
intereses que fluyen y se tejen en las burocracias. En contraste, las
menos exitosas son aquellas que privilegian la informalidad en el
trabajo. En las instituciones pblicas, los factores polticos tienen un
peso adicional, an ms fuerte que en el sector privado, pero normalmente dedican pocos esfuerzos para entender esta funcin, cuando es
la de ms peso en toda institucin.
105
De acuerdo con la gao, las instituciones que logran medir este

mundo interno son las nicas que han demostrado habilidad para
anticipar los retos del futuro y realizar ajustes para que los problemas
potenciales no desemboquen en crisis mayores.14
En la medida en que una institucin construya y explique su entorno interno podr disear estratgicamente sus metas. Esto le permitir concentrarse en los retos del largo plazo y realizar cambios en
la manera en que espera alcanzarlos. Por ejemplo, un aspecto interno
de Luz y Fuerza del Centro (lfc) es su ndice de cobranza, el cual
refleja el porcentaje de los ingresos netos respecto de lo facturado.
Los resultados de este ndice del periodo 1998-2007 se presentan a
continuacin:
Monto recuperado, 1998-2007 (millones de pesos)
Aos
Facturado
Cobrado
(1)
(2)
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
Acum.
13979.9
16593.7
19977.8
21388.4
23417.2
27893.0
31037.9
34127.4
38332.2
40188.4
266935.9
13391.6
15732.3
18492.2
20232.9
22442.1
26297.1
29784.9
32628.6
36495.5
39012.7
254509.9
Monto facturado no
Monto no
Monto recuperado
cobrado
recuperado
Relativo
Relativo
Relativo
Absoluto
Absoluto
Absoluto
(%)
(%)
(%)
(3)=(1-2) (4)=(3/1)
588.3
861.4
1485.6
1155.5
975.1
1595.9
1253.0
1498.8
1836.7
1175.7
12426.0
4.2
5.2
7.4
5.4
4.2
5.7
4.0
4.4
4.8
2.9
4.6
(5)
114.9
129.4
122.0
150.3
143.6
298.7
130.2
240.3
285.6
259.1
1874.1
(6)=(5/3) (7)=(3-5) (8)=(7/3)
19.5
15.0
8.2
13.0
14.7
18.7
10.4
16.0
15.5
22.0
15.1
473.4
732.0
1363.6
1005.2
831.5
1297.2
1122.8
1258.5
1551.1
916.6
10551.9
80.5
85.0
91.8
87.0
85.3
81.3
89.6
84.0
84.4
78.0
84.9
fuente:
Elaborado por la asf con base en el Reporte del ndice de Cobranza por Cuenta de Consumidores, 1998-2007.
En el periodo 1998-2007 el monto facturado no cobrado acumulado

fue de 12426.0 millones de pesos, de los cuales la entidad recuper
1874.1 millones de pesos (15.1%) y 10551.9 millones de pesos (84.9%)
no se haban recuperado al cierre de 2007.
14
United States General Accounting Office, Management Reform: Agencis Inicial
Efforts to Restructure Personnel Operations, GAO/GGD-98-93, Washington, D.C.
106
La entidad seal que las causas que inciden en el monto no recuperado son las siguientes:
La existencia de servicios con adeudos acumulados, los cuales a los
3 meses son integrados en un listado denominado suspensos, que
representan el 1.0% del monto total no recuperado.
La cartera vencida, que se refiere a aquellos adeudos incobrables,
debido a que los deudores se cambiaron de domicilio y el adeudo
no puede ser cobrado a los nuevos usuarios, representa el 97.6%
del monto total no recuperado, del cual el 51.9% corresponde a los
adeudos de gobiernos municipales y estatales, el 32.5% a los particulares y el 13.2% a los adeudos del gobierno federal.
Facturacin errnea, que si bien puede corregirse tambin se encuentra desfasada. Esto corresponde al 1.4%.
Los factores externos tambin tienen un peso enorme. Generalmente son los que impactan negativamente el desarrollo de un programa. Estas variables pueden ser de tipo econmico, como lo seran
las restricciones presupuestales, los cambios tecnolgicos, una crisis
financiera o las presiones sociales para implementar o cancelar un
programa, por citar slo algunas.
Ambas variables pueden ser medidas con base en auditoras internas, encuestas internas, auditoras independientes y mediante la
revisin de los procesos internos.
Por ejemplo, en la auditora practicada al proceso de recaudacin
fiscal realizado por el Servicio de Administracin Tributaria (sat),
la asf determin que en materia de eficiencia en la recaudacin
fiscal, en el periodo 2004-2007 la recaudacin total administrada
por el sat, en trminos nominales, aument 482689.7 millones de
pesos (36.3%), lo que signific una tasa media de crecimiento anual
de 10.9%, donde la proveniente de los grandes contribuyentes, que
incluye a Pemex, explica el 55.9% (269962.6 millones de pesos) del
incremento.
La recaudacin proveniente de grandes contribuyentes, que incluye
a Pemex, registr una tasa media de crecimiento anual de 8.7%, al
pasar de 952380.0 millones de pesos en 2004 a 1222342.6 millones
de pesos en 2007, incremento inferior en 2.2 puntos porcentuales al
crecimiento registrado en la recaudacin total administrada por el
sat, de 10.9 por ciento.
107
La recaudacin generada por los grandes contribuyentes, incluido

Pemex, represent en el periodo 2004-2007, en promedio, el 70.8% de
la recaudacin total administrada por el sat, y sin considerar a Pemex,
el 33.6%. Asimismo, la recaudacin proveniente de los grandes contribuyentes, que incluye a Pemex, registr una disminucin de 4.2 puntos
porcentuales, al pasar de 71.7% en 2004 a 67.5% en 2007 y, sin considerar a Pemex, la participacin de los grandes contribuyentes aument
1.9 puntos porcentuales, al pasar de 33.4% en 2004 a 35.3% en 2007.
El comportamiento de la recaudacin de grandes contribuyentes,
sin incluir a Pemex, mostr que en el mismo periodo se increment a
una tasa media de crecimiento anual de 13.0%, al pasar de 443414.9
millones de pesos en 2004 a 639224.2 millones de pesos en 2007.
Otros factores que influyen en la eficiencia son el control de los
procesos internos, la medicin de los procedimientos internos, la innovacin a prcticas organizacionales, el factor tiempo y la productividad, los cuales se presentan a continuacin.
a] Control de los procesos internos
La clave para el xito de una institucin recae en el control de sus procesos internos. Esto implica un frreo control sobre el proceso de produccin de bienes y servicios pblicos, ya que slo as se podr llegar
a niveles consistentes de produccin y calidad. La dificultad consiste
en establecer los estndares de calidad que se esperan obtener y evitar
atender la informacin que proporcionan los monitoreos cotidianos
que realizan las instituciones. Se requiere de un gran esfuerzo para
definir correctamente cules variables incluir en este indicador para
asegurar un control eficiente del proceso y con ello alcanzar los estndares de calidad esperados en la prestacin de los servicios.15
Dos variables dan contenido a los procesos de control interno:
1] Las expectativas ciudadanas del servicio que espera recibir.
2] Los resultados que ofrece la institucin y los beneficios que recibe
el ciudadano.
Ambas variables son muy complejas. La tradicin dicta que las burocracias trabajan de acuerdo con sus intereses y provocan un desfase
15
Id.
108
entre metas y objetivos. Ninguna institucin puede trabajar correctamente si no conoce las demandas, es decir, lo que los ciudadanos esperan obtener de cada poltica pblica. Slo as podrn trabajar con
calidad.
Otro problema que surge con estas variables es que todas las instituciones muestran una enorme preocupacin por los resultados que
esperan alcanzar, sin preocuparles los medios que se requieren para
lograrlo. Si un funcionario alcanza los resultados esperados por la
institucin, poco le importa si para hacerlo utiliza mecanismos poco
convencionales.
Evaluar procedimientos de control interno garantiza informacin
importante para predecir y controlar la calidad del servicio prestado.
Asimismo, sirve para explicar los motivos del incumplimiento de las
metas. Muchos piensan que no importa cmo se lleguen a obtener
los resultados siempre y cuando se cumplan. Otros consideran que
siempre es mejor detenerse a monitorear y analizar el proceso partiendo del supuesto de que siempre es mejor conocer el detalle de la
operacin, que suponer ciertos comportamientos.
Generalmente, la mayora de las instituciones evala estos procesos
despus de que se cumple el ciclo anual de trabajo. Este elemento
retrospectivo genera informacin importante, pero no garantiza que
se desarrollen cambios que impacten favorablemente el desempeo
de la instititucin. Normalmente, explican cmo se alcanzaron ciertas
metas, pero no incide de manera directa sobre el desempeo de la
organizacin interna de la institucin.
Por ello, una auditora de desempeo deber dedicar tiempo a conocer la manera en que la institucin trabaja. La informacin que se
obtiene mediante este procedimiento servir a los funcionarios pblicos para mejorar los procesos organizacionales, identificar brechas
en el desempeo y mejorar sus formas de trabajo. sta es informacin
valiosa para la Cmara de Diputados, ya que la deteccin de fallas en
la gestin interna debe incidir en la siguiente aprobacin del presupuesto. Esta informacin sirve para que los programas cumplan con
sus objetivos, se fortalezca la eficiencia interna y se implementen prcticas de innovacin y calidad de su gestin.
El monitoreo de las prcticas administrativas y la incorporacin
de prcticas innovadoras han servido mucho para alcanzar objetivos.
Esto demuestra que la planeacin estratgica no es suficiente para
garantizar la calidad. Por ello, el anlisis de la gestin interna tiene
109
un valor muy importante. En primer lugar, identifica la brecha entre

el comportamiento real de la institucin y lo contrasta con el que la
propia institucin haba establecido como meta. Una vez identificada,
los funcionarios podrn sugerir dnde colocar los recursos para mejorar el procedimiento.
Esta deteccin permite reconocer cuellos de botella y canalizar esfuerzos al lugar ms adecuado. Por ello, la auditora debe fijarse como
meta la deteccin de las reas que requieren cambios sustantivos en su
organizacin y ayudar a plantear metas realistas.16
Por ejemplo, en la auditora de desempeo practicada a las actividades de produccin de petrleo crudo y gas a cargo de Pemex Exploracin y Produccin, la asf determin que el organismo presentaba
prcticas operativas en materia de aprovechamiento del gas muy
alejadas de las prcticas internacionales, ya que en 2007 el ndice de
envo de gas a la atmsfera represent el 5% de la produccin anual,
en tanto que en las empresas de clase mundial ese ndice es de 2%,
lo que signific que en Pemex Exploracin y Produccin se dejara de
aprovechar una proporcin de gas que represent ms del doble del
parmetro internacional, con el consecuente efecto en las importaciones de ese hidrocarburo.
b] La medicin de los procedimientos internos
De acuerdo con Brown, los indicadores de procedimiento interno
miden la manera en que la institucin se organiza para alcanzar sus
metas. No son indicadores de resultados, sino que permiten conocer
si la institucin sabe cmo organizarse para alcanzar las metas y si
trabaja con la velocidad adecuada para ello.17
El auditor deber buscar que la institucin controle todo el proceso
de gestin interna. La nica manera de alcanzar este resultado es conociendo si la institucin actu de manera consistente para obtenerlo.
Es posible que las auditoras revelen que la institucin no cumple ao
con ao las metas establecidas, debido a que siempre se organiza de
la misma forma. Por ello, la medicin de la gestin interna es fundamental para cuantificar resultados, ya que detecta el origen de los
16
William Christopher y Carl Thor, Handbook for Productivity Measurement and Improvement, Nueva York, Productivity Press, 1993.
17
Brown, 1996, p. 102.
110
problemas y evita responsabilizar a otros indicadores de errores que

derivan slo de la organizacin interna.
En la actualidad, muchas instituciones pblicas y privadas pueden
predecir sus resultados evaluando solamente los procesos internos.
Existen instituciones de mala calidad organizacional que de antemano
saben que jams alcanzarn sus objetivos. Existen otras que siempre
cumplen, ya que su organizacin interna es, por s misma, una garanta para alcanzar las metas.
Las instituciones pueden medir con cierta precisin sus indicadores internos de gestin si conocen lo que esperan los usuarios del
servicio que prestan. Esto, sin embargo, es difcil de hacer. Existe confusin sobre el modelo organizacional que se debe retomar y la mayora de ellas se organizan sobre la base de tradiciones y confan en la
experiencia, ms que en la informacin racional para hacerlo. El reto
de una auditora es desentraar estos procedimientos y encontrar las
fallas y problemas que evitan el cabal desempeo de una institucin.18
En la actualidad ninguna organizacin de vanguardia puede depender slo del personal para alcanzar las metas. Si la institucin no
cuenta con la tecnologa adecuada, desde el software y las mejores tcnicas de trabajo, las metas no podrn cumplirse. Esto se magnifica en
las burocracias modernas, ya que los gobiernos pagan enormes costos
por mantener personal sindicalizado que en realidad poco contribuye
a las mejores prcticas administrativas. Las burocracias dependen de
los mandos altos y medios para cumplir con las metas, por lo cual aumentan los costos y la productividad disminuye. Es imposible alcanzar
metas innovadoras con personal poco calificado y sobre todo con una
burocracia que encuentra en la innovacin la fosa de sus expectativas
de permanencia en su puesto. Esta realidad impide que en muchas
ocasiones las instituciones pblicas puedan recurrir a procedimientos
simplificados de gestin interna.
Esta realidad impide que se pueda medir eficazmente el desempeo interno de una institucin. Es difcil predecir el comportamiento humano, y por ello es difcil elaborar mediciones internas que
controlen variables que dependen de personas. Lo que s se puede
esperar, es que las instituciones cuenten con procedimientos racionales de organizacin que puedan ser monitoreados con exactitud
18
Gary Hamel y C.K. Parlad, Competing for the Future, Cambridge, Harvard Business
School, 1994.
111
para evitar que el personal trabaje de acuerdo con tradiciones y convicciones, ms que con principios y reglas.
La clave para contar con buenos sistemas de medicin de gestin
interna se determina sobre la base del impacto que la organizacin
tendr sobre la obtencin de resultados. Las mediciones deben estar
sustentadas en realidades y no en supuestos difciles de comprobar.
La gestin interna debe crear un nuevo paradigma para la prestacin de servicios a la ciudadana. Esto implica implementar nuevos
modelos organizacionales y de operacin en la administracin pblica
para permitir el uso de la tecnologa adecuada de informacin y comunicacin.
La auditora de desempeo deber verificar si las instituciones auditadas han incorporado nuevas tcnicas y procesos administrativos
para mejorar la calidad de su trabajo. En un mundo tan competitivo
es imposible que un programa se implemente mediante prcticas administrativas obsoletas y que han probado su ineficacia para cumplir
con sus objetivos. Una institucin no puede transitar en pleno siglo xxi
con procesos de trabajo ineficientes y que adems absorben la mayora
de sus recursos financieros.
c] La innovacin a prcticas organizacionales
Los aos noventa se caracterizaron por esfuerzos importantes para reformar la manera en que operan los gobiernos. Qu implicaba esto?
A grandes rasgos se trataba de transformar los procesos administrativos de las instituciones pblicas hacia uno que privilegiara la calidad
de los servicios que se prestan y la oportunidad para proporcionarlos
en tiempo y con la eficiencia esperada por el usuario. Esto implic
un cambio en la manera de acceder a los servicios pblicos, aunado a
una exigencia por transparentar el ejercicio pblico. La reinvencin
implicaba el ejercicio de nuevos modelos organizacionales y de operacin para permitir el uso adecuado de la tecnologa de punta en
materia de informacin y comunicacin.19
La auditora deber verificar si la institucin auditada implement
nuevos reglamentos y leyes para transformar su manera de trabajar.
19
John Case, Open-Book Management: Comming Business Revolution, Nueva York, Har
per Business, School Press, 1995.
112
La experiencia internacional demuestra que esto es factible, siempre y

cuando exista la voluntad poltica para hacerlo.
Cambiar las prcticas administrativas obliga a los gobiernos a ser
eficientes, pero para hacerlo se requiere lo siguiente:
Hacer ms con menos.
Recuperar las experiencias.
Orientar el trabajo hacia resultados.
Otorgar facultades a la ciudadana para conocer sus necesidades
mediante mecanismos de retroalimentacin continua.
Mantener el principio de eficiencia y pragmatismo.
Orientar el trabajo hacia una meta y no slo hacia las reglas.
Fomentar un gobierno participativo y emprendedor y no mantener
uno rutinario.
d] El factor tiempo
Un indicador importante en la medicin del indicador de gestin
interna es el tiempo que duran los procesos de trabajo, es decir, el
tiempo que tarda una institucin en cumplir las metas establecidas.
El ciclo del tiempo es el que se requiere para cumplir con las metas
trazadas por el programa. Si el indicador demuestra que se tarda el
doble del tiempo para hacerlo, o simplemente no se cumpli, entonces
se trata de un problema mayor. Varios analistas en este tema han sealado que la capacidad de medir el tiempo que una institucin tarda
en cumplir sus metas es la clave de la competitividad.20 El ciclo del
tiempo es fundamental para toda institucin. Se debe medir no slo
el tiempo en que se cumple con las metas, sino, por ejemplo, el tiempo
en que las direcciones jurdicas revisan los documentos legales. En
muchas ocasiones, la revisin de los documentos de apoyo es tan larga
y burocrtica que difcilmente se puede cumplir con las metas establecidas.
Una encuesta que midiera esto debera incluir las preguntas siguientes:
20
James L. Heskett, T.O. Loveman, W.E. Sasser y L.A. Schlesinger, Putting the Service-Profit Chain to Work, Harvard Business Review, 1994.
113
Cunto tiempo perdi en la fila para ser atendido por un mdico?

Fue atendido con prontitud o lo enviaron a otro lugar?
De ser as cunto tiempo esper ah?
El objetivo de medir el ciclo del tiempo es detectar dnde radica
la ineficiencia. Por ello, habra que preguntarles a los ciudadanos lo
siguiente:
Cunto tiempo est dispuesto a esperar para recibir los servicios
mnimos que le garanticen una calidad de vida digna?
Cunto tiempo pierde en trasladarse de un lado a otro en la ciudad?
Cunto tiempo estn dispuestos a perder por la ineficiencia del
gobierno para estructurar un programa de transporte urbano eficiente?
Las preguntas son infinitas, pero vitales, para evaluar la calidad
de los procesos que obstaculizan la implantacin de un programa. Lo
mismo sucede cuando se analiza el tiempo que se pierde no slo para
implementar una decisin, sino para que el gobierno tome una decisin. Cuntos aos se pierden analizando y evaluando propuestas,
argumentando asuntos polticos y se aplazan decisiones sustantivas
para el desempeo de una institucin?
Hay que tener mucho cuidado con este tema, ya que se puede recopilar la informacin incorrecta. El ciclo del tiempo es el que tarda
una institucin en cumplir con las metas establecidas. Ningn usuario
de los servicios pblicos estar contento con un resultado si ste no
se hace en tiempo y forma. Muchas instituciones juegan con el concepto de tiempo informando que se ha reducido cuando en realidad
no lo han hecho. Se debe ser cauteloso y desconfiar de los tiempos
que la institucin ha fijado. Hay que ser incisivo y contrastar esta informacin con la que proporciona el usuario.
Como ejemplos de indicadores de gestin que tomen en cuenta el
factor tiempo, se pueden considerar los tres medidores que utilizan
los institutos nacionales de salud: promedio de das de espera para
obtener una preconsulta, promedio de das de espera para una intervencin quirrgica y promedio de das de estancia hospitalaria.
Por lo que corresponde al primer indicador, ste permite medir el
tiempo que un paciente debe esperar para tener acceso a los servicios
mdicos de los institutos nacionales, y para el efecto la Secretara de
4.0
n.d.
9.5
3.0
2.0
6.0
Instituto
Nacional de
Pediatra
8.9
2.5
5.0
Instituto
Nacional de
Cardiologa
13.5
2.5
8.0
Instituto
Nacional de
Neurologa
12.4
2.3
10.0
6.0
2.0
5.0
11.0
2.0
n.d.
Instituto
Instituto
Instituto
Nacional de
Nacional de Nacional de
Enfermedades
Nutricin Cancerologa
Respiratorias
Auditora Superior de la Federacin, Informe del Resultado de la Revisin y Fiscalizacin Superior 2002-2005, Instituto Nacional de Ciencias Mdicas y Nutricin Salvador Zubirn, Indicadores Bsicos de Gestin Comparativos e Instituto Nacional de Cancerologa, Indicadores de
Servicios de Atencin Mdica Proporcionados.
n.d.: No disponible.
fuente:
1. Promedio de das de
espera para obtener
una preconsulta
2. Promedio de das
de espera para una
intervencin quirrgica
3. Promedio de das de
estancia hospitalaria
Indicador
Valor
estndar
Resultado
Resultados de los indicadores que consideran el factor tiempo

obtenidos por los institutos nacionales de salud
auditados entre 2004 y 2008
114
115
Salud estableci un valor estndar ptimo de 3.0 das; el segundo indicador valora el promedio de das que un enfermo debe aguardar
para que se realice una ciruga, y para ello se fij un estndar ptimo
de 2.0 das; y el tercer indicador coadyuva a evaluar el tiempo de permanencia de un enfermo en el servicio hospitalario de los institutos,
su valor estndar es de 6.0 das.
Como se observa en el cuadro anterior se detallan los resultados
que los seis institutos nacionales auditados entre 2004 y 2008 obtuvieron en esos tres indicadores:
De los resultados reportados por los 6 institutos auditados, se concluye que el tiempo de espera de los pacientes para recibir la atencin
mdica que requieren fue superior a los estndares ptimos establecidos por la Secretara de Salud.
Otro ejemplo. En el servicio de energa elctrica, la continuidad del
servicio es un aspecto importante y para medirla la Comisin Federal
de Electricidad (cfe) y Luz y Fuerza del Centro (lfc) utilizan el ndice
de tiempo de interrupcin por usuario de distribucin.
En comparacin con la cfe el tiempo de interrupcin por usuario
de lfc es superior, como se muestra en la grfica siguiente:
Comparativo del tiempo de interrupcin por usuario de distribucin,
lfc/cfe (minutos/usuario)
fuente:
Reporte del Tiempo de Interrupcin por Usuario de Distribucin de lfc, 20032007 y Cuenta de la Hacienda Pblica Federal 2007.
Si bien el resultado de lfc en este indicador es similar al de la cfe, la

percepcin del usuario es muy diferente, ya que existe una diferencia
116
de criterios entre ambas instituciones para la medicin del indicador

de referencia. La cfe mide las interrupciones a partir de 1 minuto y lfc
a partir de 5 minutos. En el Programa Sectorial de Energa 20072012
se menciona que la Secretara de Energa lleva a cabo acciones para
que la metodologa de medicin de lfc sea igual a la de la cfe, ya que
la entidad no cuenta con las herramientas para medir a partir de 1
minuto.
e] Productividad
Una parte importante del indicador de gestin interna es el de la
productividad, un asunto fundamental en el proceso operacional de
una empresa. Parte del supuesto de que, aun si los programas estn
planteados con lgica, orden y racionalidad, si el trabajador no tiene
el menor inters en contribuir al mejoramiento de los procesos administrativos de la institucin, ser imposible cumplir con las metas
establecidas.
A diferencia de lo que sucede en las empresas privadas, donde la
productividad se premia con estmulos econmicos, bonos, acciones
u otros estmulos, en el sector pblico la productividad no se puede
premiar de la misma forma. Sera poco tico aunque, en algunos
casos, recomendable.21
En la actualidad, el tema de la productividad ha sido sustituido por
el de calidad. sta se puede conocer como se ofrecen los servicios que
presta el Estado y es un tema fundamental para el funcionamiento
de las democracias modernas. De manera recurrente, buena parte de
los programas pblicos se caracteriza por atender problemas de corto
plazo, y ocasiona dificultades en la calidad y la utilidad del programa.
Esto se puede apreciar prcticamente en todo: en los proyectos urbanos, en los indicadores macroeconmicos, en la prestacin de los
servicios mnimos de bienestar social como son la salud, la electricidad, el agua, la vivienda y el transporte.
Todas las organizaciones necesitan contar con algunos ndices de
productividad para saber si la suma de los recursos humanos y eco21
Hace algunos aos Juan Jos Surez Copel, director financiero de Petrleos Mexicanos, seal que sera conveniente pensar en otorgar estmulos a los trabajadores para
aminorar los actos de corrupcin que suceden con la venta ilegal de este hidrocarburo.
Reforma, 13 de abril de 1993.
117
nmicos son utilizados de manera eficiente. Los ndices de productividad siempre son medidas y proporciones de algn tipo sobre los
resultados obtenidos.
La productividad sirve para conocer lo que las escuelas de administracin han llamado el valor del dinero. Es decir, si el costo por lo que
se paga por un servicio tiene una correlacin directa con la calidad
con la que se presta.
El indicador de gestin interna, como su nombre lo dice, seala
si los procesos internos de gestin han sido construidos para que la
institucin cumpla con sus metas y objetivos, o si por el contrario, se
trata de un proceso que obstaculiza el cumplimiento de metas con la
calidad que esperan los usuarios. Brindar servicios de salud con una
enorme deficiencia de calidad y ofrecer programas educacionales que
no siempre impactan positivamente a los receptores es una enorme
irresponsabilidad. La auditora de desempeo tiene el compromiso
de evitar que las instituciones pblicas continen administrando con
parcialidad y sin capacidad los recursos pblicos. Es un reto difcil y
de gran envergadura.
Medir la calidad con la que se prestan los servicios pblicos es
siempre una accin compleja y siempre ser difcil. Si al tratar de
evaluar la calidad y la productividad de un escritor lo hiciramos midiendo el nmero de pginas que escribe diariamente, el reporte tal
vez dira algo as. El escritor es prolfico. Hoy logr escribir ciento
cincuenta pginas. Como resultado de esta proeza, el escritor recibe
un aumento de sueldo de su casa editorial, es felicitado y contina
semana tras semana repitiendo esta hazaa hasta completar las mil
pginas que tena contratadas con la empresa editorial.
Si la evaluacin del trabajo del escritor se hiciera solamente a partir
del nmero de pginas escritas la conclusin sera contundente. El escritor cumpli con la meta y la editorial se congratula por la eficiencia
con la que desarroll su trabajo. Sin embargo, el problema que se present no estaba considerado por la editorial.
Una vez publicado el libro, tal como lo estipulaba el contrato, la
editorial se percat de que nadie se interes por comprarlo. Investig
las causas y encontr varias. En primer lugar, que el tema seleccionado
no era del inters de los lectores, que la redaccin era psima, y que
el autor tena una imagen muy negativa en el medio debido a ciertos
asuntos personales que mermaban su credibilidad. Como resultado
de estos factores, el libro no se vendi y la empresa editorial perdi
118
miles de pesos. La leccin que se desprende de este smil es que si

no se utilizan los indicadores correctos para medir el desempeo, los
juicios sern incorrectos y los costos muy altos. Cumplir metas implica
trabajar con calidad, con conviccin y con claridad.
En resumen, los indicadores de gestin o de proceso son los medidores de la operacin de una organizacin, los cuales proporcionan
informacin relevante sobre la productividad y eficiencia con la que
trabaja. Un buen control de los procesos internos conducir a niveles
adecuados de produccin y calidad. Por ello, la informacin proporcionada por los indicadores de gestin permite determinar brechas en
el desempeo y tomar decisiones para mejorar las formas de trabajo,
a fin de que los programas cumplan con sus objetivos de manera eficiente.
2.2. Indicadores de costos: economa

El tercer indicador de nuestro tablero de control es el indicador de
costos. La mayora de las evaluaciones o auditoras que se han practicado a lo largo de la historia, se concentran en analizar los aspectos
financieros y contables de los programas pblicos. Hasta hace pocos
aos, el xito de un programa se circunscriba solamente a estudiar si
la institucin reportaba ganancias o prdidas. A lo largo de los aos,
las evaluaciones financieras han tenido un auge muy importante, y
han dado pie a una enorme lista de especialidades financieras y contables. Sin embargo, en la actualidad las auditoras se diversifican y
el tema econmico forma parte de un conjunto de variables que de
manera integral miden el desempeo de un programa pblico.
Indicador de economa
El tercer indicador mide lo que toda institucin espera: que sus nmeros estn correctos, que no existan fallas y que los recursos asignados
para cumplir con los objetivos de un programa sean los adecuados, los
justos, y los que ms valor agreguen a los recursos asignados para ese
propsito.
La economa mide el costo o recursos aplicados para lograr los objetivos de un programa o una poltica pblica contra los resultados
119
obtenidos; implica racionalidad; es decir, elegir entre varias opciones

la alternativa que conduzca al mximo cumplimiento de los objetivos
con el menor gasto presupuestal posible. Tambin se le conoce como
valor por dinero o value for money.
Por ejemplo, en la auditora practicada a las actividades de Conservacin de Carreteras de la Red Federal Libre de Peaje, de Cuota,
Alimentadoras y Caminos Rurales, a cargo de la Secretara de Comunicaciones y Transportes, correspondiente a la revisin de la Cuenta
Pblica 2006, se realiz un anlisis del gasto por unidad de meta en
la operacin de las carreteras de la red federal libre de peaje, con los
resultados siguientes:
En el Programa Sectorial de Comunicaciones y Transportes (psct)
2001-2006 se seala, entre otros objetivos, el de vigilar que el estado
fsico de las carreteras reduzca los costos de operacin de los vehculos
de los usuarios.
Para evaluar ese objetivo, se solicit al Instituto Mexicano del
Transporte (imt) el clculo de los costos de operacin vehicular considerando las condiciones fsicas reales y normales de las carreteras de
la red federal libre de peaje y de cuota.
Con la informacin proporcionada por el imt, la asf realiz un anlisis para las carreteras de la red federal libre de peaje, y obtuvo los
resultados que se encuentran en el cuadro de la siguiente pgina.
En los aos de referencia se registr una disminucin tanto en el
costo de operacin vehicular real en 3.9%, como en el normal en 3.5%,
en promedio anual, por lo que en cada ao 2001-2006 disminuy el sobrecosto de operacin al transitar por las carreteras de la red federal
libre de peaje en 12.7% en promedio anual, que signific 11047.7 millones de pesos, al pasar de 22409.7 a 11362.0 millones de pesos en
esos aos, pero se registr un costo de operacin vehicular real de
65903.3 millones de pesos, como resultado del mayor consumo de
combustible, lubricantes, llantas y refacciones, ya que estas carreteras
registraron en promedio una longitud de 12384.3 km, el 27.3% de esa
red en condiciones fsicas deficientes durante el periodo 2001-2006.
En 2006, como resultado de las condiciones fsicas de las carreteras
de la red federal libre de peaje, se registr un sobrecosto de operacin
vehicular por transitar en las carreteras de la red federal libre de peaje
que ascendi a 11362.0 millones de pesos.
Al calcular el sobrecosto de operacin por vehculo-kilmetro recorrido en las carreteras de la red federal libre de peaje, que se refiere
Costo de operacin vehicular

real 3/
(2)
338189.6
321915.6
302012.5
294543.4
282703.4
283334.0
(54855.6)
(3.5)
Costo de operacin vehicular

real 2/
(1)
360599.3
341888.6
319991.5
310968.3
297404.4
294696.0
(65903.3)
(3.9)
(12.7)
(11047.7)
22409.7
19973.0
17979.0
16424.9
14701.0
11362.0
Sobrecosto de operacin
(3)=(1)-(2)
Instituto Mexicano del Transporte. Anlisis del sobrecosto de operacin vehicular, en las carreteras de la red federal libre de peaje, 20012006.
1/
En trminos reales a pesos de 2006.
2/
Se refiere a los costos de operacin vehicular en funcin del estado fsico real de las carreteras (bueno, aceptable y deficiente).
3/
Se refiere a los costos de operacin vehicular asumiendo un estado fsico bueno en las carreteras de la red federal libre de peaje.
fuente:
2001
2002
2003
2004
2005
2006
Variacin absoluta
2006-2001
tmca(%)
Ao
Sobrecosto de operacin vehicular en las carreteras de la red federal libre de peaje, 2001-2006
(millones de pesos) 1/
120
121
a los recursos adicionales que eroga un usuario por transitar por esas
carreteras dadas sus condiciones fsicas, la asf obtuvo los resultados
siguientes para el periodo 2001-2006:
Sobrecosto de operacin por vehculo-kilmetro recorrido en las
carreteras de la red federal de libre de peaje, 2001-2006 (pesos)1/
Ao
2001
2002
2003
2004
2005
2006
Variacin absoluta
2006-2001
tmca(%)
Costo de
operacin
vehicular real 2/
(1)
4.36
4.05
3.73
3.46
3.27
3.13
Costo de
operacin
vehicular real 3/
(2)
4.09
3.82
3.52
3.28
3.11
3.01
(1.23)
(6.4)
(1.08)
(5.9)
Sobrecosto de
operacin
(3)=(1)-(2)
22409.7
19973.0
17979.0
16424.9
14701.0
11362.0
(11047.7)
(15.0)
fuente:
Instituto Mexicano del Transporte, Anlisis del sobrecosto de operacin vehicular en

las carreteras de la red federal libre de peaje, 2001-2006.
1/
2/
Se refiere a los costos de operacin por vehculo-kilmetro recorrido en funcin
del estado fsico real de las carreteras (bueno, aceptable y deficiente).
3/
Se refiere a los costos de operacin por vehculo-kilmetro recorrido asumiendo
un estado fsico bueno de las carreteras.
En el periodo de anlisis decreci el costo de operacin por vehculo-kilmetro recorrido real en 6.4%, as como el normal en 5.9%,
en promedio anual, pero cada usuario que transit por las carreteras
de la red federal libre de peaje tuvo que erogar un costo operativo adicional de 0.22 centavos promedio por vehculo-kilmetro recorrido,
durante los aos de 2001 a 2006.
Del anlisis de la informacin sobre el costo de operacin vehicular
por circular en las carreteras de cuota de la red propia de Caminos y
Puentes Federales de Ingresos y Servicios Conexos (capufe) y del Fideicomiso de Apoyo para el Rescate de Autopistas Concesionadas (farac)
122
en los aos de 2005 y 2006, la asf obtuvo los resultados siguientes para
el periodo 2005-2006:
Sobrecosto de operacin vehicular por vehculo -kilmetro recorrido
en las autopistas de cuota, 2005-2006 (pesos)1/
Concepto / Concesionario
2005
(1)
2006
(2)
Variacin
absoluta
(3)=(2)-(1)
Variacin (%)
(4)=(2)/(1)
3.41
3.16
3.01
2.89
(0.40)
(0.27)
(11.7)
(8.5)
3.10
3.10
2.97
2.84
(0.13)
(0.26)
(4.2)
(8.4)
0.31
0.06
0.04
0.05
(0.27)
(0.01)
(87.1)
(16.7)
Costo de operacin
por vehculo-kilmetro
recorrido real 2/
capufe
farac
Costo de operacin
por vehculo-kilmetro
recorrido normal 3/
capufe
farac
Sobrecosto de operacin
vehicular
capufe
farac
fuente:
Instituto Mexicano del Transporte de la SCT, Informacin Estimada de Sobrecostos,

2005-2006.
1/
2/
Se refiere al costo de operacin por vehculo-kilmetro recorrido en funcin del
estado fsico real de las carreteras de cuota (bueno, aceptable y deficiente).
3/
Se refiere al costo de operacin por vehculo-kilmetro recorrido asumiendo un
estado fsico bueno en las carreteras de cuota.
En los aos de 2005 a 2006, para la red propia de capufe, decreci

el costo de operacin por vehculo-kilmetro recorrido real en 11.7%,
as como el normal en 4.2%, pero cada usuario que transit por las autopistas de cuota de la red capufe tuvo que erogar un costo operativo
adicional de 0.17 centavos promedio por vehculo-kilmetro, durante
los aos de 2005 a 2006.
Tambin en la red de autopistas de cuota del farac se registr una
disminucin en el costo de operacin por vehculo-kilmetro recorrido real en 8.5%, as como el normal en 8.4%. Se precis que en esta
123
red de autopistas cada usuario que transit por la red farac tuvo que
erogar un costo operativo adicional de 0.05 centavos promedio por
vehculo-kilmetro, durante los mismos aos.
En el periodo de anlisis disminuy el sobrecosto de operacin vehicular por transitar en las carreteras de la red federal libre de peaje
en 11047.7 millones de pesos pero se registr un costo de operacin
vehicular real de 65903.3 millones de pesos, debido a las condiciones
fsicas deficientes en esas carreteras. Cada usuario que utiliz estas carreteras tuvo que erogar un costo operativo adicional de 0.20 centavos
promedio por vehculo-kilmetro recorrido.
En 2006 se registr un sobrecosto de operacin vehicular en las
carreteras de la red propia de capufe de 15.0 millones de pesos, y en
la red de carreteras del farac fue de 637.1 millones de pesos. Por los
resultados anteriores se observ que no se alcanzaron los objetivos
establecidos en el psct 2001-2006, en lo relativo a vigilar que el estado
fsico de las carreteras reduzca los costos de operacin de los vehculos
de los usuarios.
Tradicionalmente, todas las instituciones acumulan ms informacin financiera que ninguna otra. Por este motivo, tanto las instituciones privadas como las pblicas miden el desempeo econmico
de la misma manera en los ltimos 30 aos. Los ejecutivos y los funcionarios pblicos han aprendido a jugar con los nmeros para aparentar que todo marcha viento en popa. Esto ha provocado un enorme
nmero de especialistas en este tema, pero tambin ha minado el
trabajo, delegado decisiones, y disminuido el rendimiento de los empleados y la calidad de los servicios prestados. Ello ha ocasionado que
los ciudadanos perciban una incapacidad generalizada del gobierno
para cumplir con sus responsabilidades.22
Por ello, en la actualidad, este indicador se ha modificado con la
adicin de los puntos siguientes:
Verificar que los recursos asignados a las instituciones pblicas y
administrados por los funcionarios pblicos se apliquen de manera
responsable, eficiente y econmica, para alcanzar las metas establecidas por la institucin.
22
Meter Drucker, The Information Executives Truly Need, Harvard Business Review,
1985.
124
Verificar que este procedimiento se haga de acuerdo con las leyes y

reglamentos vigentes.
Supervisar que los funcionarios pblicos sean responsables de establecer y mantener controles efectivos para asegurar que se cumplan
las metas y con ello garantizar que los recursos estn salvaguardados, que se cumplan las leyes y las regulaciones y que la informacin est disponible.
Entregar los informes en tiempo y forma para garantizar el proceso
de rendicin de cuentas.23
Por ejemplo, en la auditora practicada a las actividades de recaudacin fiscal realizadas por el sat, se verific que, para el ejercicio
2007, el sat formul el indicador: Incremento en rentabilidad de la
fiscalizacin, a cargo de la Administracin General de Grandes Contribuyentes, que mide el monto de recaudacin secundaria respecto
del presupuesto ejercido en el captulo 1000 Servicios Personales,24
para el cual estableci una meta especfica para el ejercicio 2007 de
180.0 pesos por cada peso gastado en recaudacin.
Si bien los resultados de la auditora mostraron un cumplimiento de
la meta establecida para 2007 al alcanzar un resultado de 227.4 pesos,
para el periodo 2004-2007 se observa una disminucin en el ndice
de rentabilidad de la fiscalizacin, como se muestran en el cuadro siguiente:
23
General Accounting Office, Financial Audit Manual, gao/pcie, Washington, D.C.
2001.
24
De conformidad con el Clasificador por Objeto del Gasto para la Administracin
Pblica Federal publicado en el Diario Oficial de la Federacin del 13 de octubre del 2000
y modificado el 1 de febrero de 2008, el Captulo 1000 Servicios Personales incluy:
remuneraciones al personal de carcter permanente; remuneraciones al personal de
carcter transitorio; remuneraciones adicionales y especiales; erogaciones del Gobierno Federal por concepto de seguridad social; pagos por otras prestaciones sociales
y econmicas; pago por estmulos a servidores pblicos, y previsiones para servicios
personales.
125
Rentabilidad de la fiscalizacin de la administracin general

de grandes contribuyentes, 2004-2007
Variables
(1) Recaudacin
secundaria
(cifras cobradas y
virtuales: millones
de pesos)
2004
2005
2006
2007
35831.0 18326.2 32434.9 29221.0
(2) Presupuesto
ejercido captulo
1000 (millones de
pesos)
136.1
134.7
141.1
128.5
Rentabilidad de
la fiscalizacin
(pesos)
(3) =(1) / (2)
263.3
136.1
229.9
227.4
Variacin
2004-2007
Absoluta
%
(6610) (18.4)
(7.6)
(5.6)
(35.9) (13.6)
fuente:
Informe Mensual Enero-Diciembre, 2006-2007, correspondiente a la Administracin de Grandes Contribuyentes, proporcionado por el sat, mediante el oficio nm.
103-06-2008-0207 del 23 de abril de 2008.
De acuerdo con los resultados, la rentabilidad de la fiscalizacin

degrandes contribuyentes realizada por la Administracin Generalde
grandes contribuyentes, disminuy en 13.6% (35.9 pesos) en el periodo 2004-2007, ya que, mientras en 2004 por cada peso ejercido en
el captulo 1000 Servicios personales la recaudacin secundaria fue
de 263.3 pesos, en 2007 fue de 227.4 pesos.
Respecto de 2006, la rentabilidad de la fiscalizacin en 2007 disminuy en 2.5 pesos (1.1%), al pasar de 229.9 pesos en 2006 a 227.4
pesos en 2007, lo que represent una disminucin en la recaudacin
secundaria de 3213.9 millones de pesos.
Formas para medir la economa
La economa relaciona el uso racional de los recursos utilizados frente
a la maximizacin de los resultados obtenidos, es decir, establece si la
adquisicin, asignacin y uso de los recursos humanos, financieros y
fsicos ha sido la conveniente para maximizar los resultados.
126
Para la construccin de indicadores de economa se deben relacionar variables de insumos con variables de productos, con lo cual se
pueden obtener indicadores de costos de produccin por unidad de
producto o de servicio.
Costo-beneficio (Value for Money)
La relacin costo-beneficio es uno de los instrumentos que se pueden
emplear para la medicin de la economa. Esta relacin tambin es
conocida como Value for Money (vfm) o valor por dinero, que se define
como la mejor relacin precio-calidad, es decir, como la ptima relacin entre el valor del producto o servicio, segn el mercado, y la calidad del mismo, teniendo en cuenta la satisfaccin del inters pblico
y de los derechos de los usuarios del bien o servicio.
Para la determinacin de la relacin costo-beneficio, se relacionan
las variables del costo del bien o servicio producido respecto del beneficio recibido por el usuario cuantificado en dinero.
Un ejemplo de la medicin del costo beneficio es el relacionado con
el costo de la operacin de la Auditora Superior de la Federacin en
cada ejercicio presupuestal frente al beneficio medido en dinero de
los resultados de su gestin fiscalizadora. En el periodo 1999-2007, el
resultado de las recuperaciones derivadas de la accin fiscalizadora de
la asf fue de 33717.8 millones de pesos, que en valores nominales represent aproximadamente 33 veces el presupuesto original de la asf
aprobado por la H. Cmara de Diputados para el ejercicio 2009, por lo
cual la asf ha mostrado una buena relacin costo-beneficio.
Otro ejemplo de la relacin costo-beneficio lo encontramos en
la auditora de desempeo del Programa Carrera Magisterial (pcm),
realizada con motivo de la revisin de la Cuenta Pblica de 2007, en
la cual el grupo auditor se dio a la tarea de: verificar el nmero de
plazas docentes de educacin bsica incorporadas a dicho programa,
as como el pago de los estmulos autorizados para el efecto; realizar
un estudio de impacto con base en los resultados de la prueba enlace
2007, considerando 152112 registros, 38.6% de las plazas evaluadas;
y determinar el gasto promedio anual por docente incorporado. Los
resultados de la revisin revelaron que:
En 2007 se haban incorporado al pcm 600782 plazas docentes de
educacin bsica, 57% del total de las plazas federales.
127
Por funcin, de los 600782 docentes incorporados, el 80.0% (479281

profesores) estaba frente a grupo; el 15.0% (92
160 maestros)
ocupaba un cargo directivo o de supervisin; y el 5.0% (29341 docentes) se desempeaba como tcnico-pedagogo.
Respecto de la prueba enlace, se verific que en la materia de espaol los alumnos de docentes incorporados al pcm lograron un
total de 524 puntos de los 708 requeridos como mnimo, inferior
en 3.1% al alcanzado por los alumnos de maestros no incorporados
(508 puntos). En matemticas, los alumnos de profesores con carrera magisterial obtuvieron 530 puntos de los 709 solicitados como
mnimo, 3.7% menos puntos que los alcanzados por los alumnos de
los docentes sin carrera magisterial.
El gasto promedio anual por docente incorporado en el pcm ascendi a 55.4 miles de pesos.
En resumen, los indicadores de costos proporcionan informacin
sobre la racionalidad del gasto aplicado por cada unidad de producto
que se obtiene. Son un instrumento de medicin de la aplicacin de
los recursos financieros, materiales y humanos, que resulta de utilidad
para el establecimiento de controles orientados a elevar la eficiencia
en el uso de esos recursos en la consecucin de las metas de una organizacin.
2.4. Indicadores de calidad

El cuarto indicador del tablero de control es el indicador de calidad.
ste es otro tema central del tablero de control, ya que no siempre se
pueden prestar los servicios con la calidad que esperan los usuarios.
Esto se magnifica en el caso de los gobiernos, ya que estn en juego
muchas variables. Un gobierno, a diferencia de una empresa privada,
no est acostumbrado a tomar en consideracin de manera metdica
la opinin ciudadana. De manera recurrente, presta servicios de mala
calidad, no procura innovarse y slo se preocupa por cambiar cuando
aumentan las presiones polticas o cuando ya no puede ocultar promesas incumplidas. Esta actitud, sin embargo, se ha transformado con
el paso de los aos, los gobiernos perciben que deben transparentar
la informacin, mejorar la calidad de la atencin ciudadana y rendir
cuentas. El ciudadano opina y el gobierno est obligado a responder
128
con propuestas ms eficientes de gestin pblica. En este apartado

se presentan los subapartados siguientes: a] Los puntos que se deben
medir en la calidad; b] La calidad de los productos y servicios; c] Los
ndices de calidad, y d] La medicin de la calidad.
a] La calidad debe medir los siguientes puntos: la precisin; el tiempo
en el que se presta el servicio; la satisfaccin de los usuarios con los
resultados finales, y la innovacin.
La precisin. Sin duda es el indicador ms analizado y es fundamental para evaluar la calidad, por ejemplo, con la que se prestan
los servicios de salud, la banca de desarrollo, una aerolnea, un aeropuerto, una compaa de luz, el transporte pblico, entre otros.
En la auditora practicada a la Operacin del Aeropuerto Internacional de la Ciudad de Mxico a cargo del Aeropuerto Internacional
de la Ciudad de Mxico, S.A. de C.V. (aicm), la asf aplic una encuesta
de opinin sobre la percepcin de los usuarios en relacin con la calidad de los servicios aeroportuarios.
Para realizar este anlisis se integr el nmero total de encuestados
en vuelos de salida y llegada, considerando el porcentaje de las personas encuestadas que estuvieron satisfechas, insatisfechas y que no
contestaron. Asimismo, los resultados de las encuestas se agruparon
en cinco grandes temas y se obtuvo en cada caso un promedio para
conocer la percepcin genrica de los conceptos evaluados.
Como resultado se observ que los mayores grados de satisfaccin
de los pasajeros se obtuvieron en el servicio de informacin al usuario,
con un promedio de pasajeros satisfechos del 85.6%, donde destaca el
rubro de la informacin recibida por parte de las aerolneas; y en el
tema de la seguridad, la satisfaccin promedio fue del 80.2%, debido
principalmente a la amabilidad y la eficiencia del personal de revisin
de pasajeros y su equipaje de mano.
Los menores niveles de satisfaccin se encontraron en el manejo y
entrega de equipaje, con 73.6% de encuestados satisfechos, as como
en el tiempo de atencin, con 78.1%; debido en el primer caso a que
los usuarios no saban dnde recoger su equipaje o no estuvieron de
acuerdo con el trato; y en el segundo, a que los tiempos de espera
para el desembarque de la aeronave y en las bandas de equipaje no
estuvieron dentro de las expectativas de los encuestados.
129
Por lo que respecta a los otros servicios, aduana, migracin y sanidad, la mayor parte de los encuestados no contest debido a que
dichos servicios se aplican slo para pasajeros que llegan en vuelos
internacionales; de los que emitieron su opinin, el 19.8% se encontr
satisfecho con esos servicios y el 1.6% se mostr insatisfecho.
Los niveles de satisfaccin observados denotaron reas de oportunidad para la Gerencia de Calidad, que revelaron la necesidad de que
esa gerencia mejorara la calidad de los servicios que presta, sobre todo
en el manejo y entrega de equipaje y en el tiempo de atencin.
El tiempo en el que se presta el servicio. Si un servicio no es prestado
en tiempo y forma, es imposible pensar que fue hecho con calidad.
Como ejemplo se tienen los resultados de la auditora al Programa
Normal de Operacin del Servicio Postal Mexicano (sepomex), con
motivo de la revisin de la Cuenta Pblica 1999.
En dicha revisin, la Auditora Superior de la Federacin realiz
una evaluacin de la oportunidad en la entrega de la correspondencia,
para los aos de 1997, 1998 y 1999, en la que se determin lo siguiente:
Tiempos promedio de entrega de correspondencia despus
del depsito, 1997-1999 (das)
Servicio
Tiempo
estndar
1997
1998
1999
Local
Urbano
Semiurbano
Rural
2
3
5
10
2.35
4.90
5.50
10.35
2.36
4.68
5.80
10.40
3.04
5.80
5.10
10.40
Variaciones porcentuales
de 1999 respecto del
tiempo estndar
52.0
93.3
2.0
4.0
fuente:
Cuadro elaborado por la Auditora Superior de la Federacin, con base en la

informacin proporcionada por el Servicio Postal Mexicano.
Como se observa, sepomex no cumpli con los tiempos de entrega de

correspondencia en la misma localidad, entre los principales centros
urbanos y entre destinos semiurbanos, respecto de los tiempos estndar de entrega de correspondencia establecidos por el organismo.
130
Con la comparacin de los resultados obtenidos en 1999 frente

a la meta estndar, se observaron retrasos en la entrega de correspondencia en los servicios local (en un da) y urbano (en tres das),
lo que significa que, en el primer caso, el retraso fue del 52.0% y, en
el segundo, casi se duplic. Es importante lo anterior considerando
que estos servicios son contra los que se compite con empresas privadas.
Se determin que siendo el servicio pblico de correos una actividad estratgica reservada al Estado, el Servicio Postal Mexicano
no ha cumplido de manera satisfactoria con el objetivo de hacer del
correo un medio de comunicacin oportuno, porque no se han cubierto los tiempos de entrega de correspondencia establecidos por el
organismo.
La satisfaccin de los usuarios con los resultados finales. La calidad
la miden ellos y poco se hace para conocer su opinin, generalmente
es informacin que estorba y si es contraria a los intereses de la autoridad prefieren exhibir a los ciudadanos antes de reconocer una
falla en la ejecucin del programa. Prestar un servicio fuera de los
estndares de calidad aprobados es una falla, pero se hace. Pocas
instituciones trabajan bajo parmetros eficientes de trabajo.
En la revisin de la Cuenta Pblica 2003, se practic una auditora
de desempeo a las actividades de distribucin y comercializacin de
gas natural, a cargo de Pemex Gas y Petroqumica Bsica.
Para conocer la impresin de los principales clientes de gas natural,
entre los que se encuentran productores independientes de energa
elctrica, distribuidores y grandes consumidores, respecto del servicio
que les proporcion el ente auditado durante 2003, se aplicaron 10
encuestas, 5 en la ciudad de Monterrey y 5 en la ciudad de Mxico con
sus respectivas zonas conurbadas, donde Pemex Gas y Petroqumica
Bsica comercializa la mayor parte del gas natural.
A continuacin se presenta el resultado de las respuestas que dieron
los ejecutivos de las empresas encuestadas sobre el volumen, precio,
oportunidad y la calidad del gas natural que les suministr Pemex Gas
y Petroqumica Bsica.
De conformidad con los datos del cuadro siguiente, la opinin de los
clientes encuestados de Pemex Gas y petroqumica Bsica, se resume
como sigue:
Precio
B
R
A
Oportunidad
Mm M
B
Mb
Encuestas a clientes de gas natural sobre el volumen, precio, oportunidad y calidad.

Mm: Muy malo.
M: Malo.
B: Bueno.
Mb: Muy bueno.
R: Razonable.
A: Alto.
fuente:
Particular (Mxico, D.F.)
Particular (Mxico, D.F.)
Particular (Naucalpan,
Edo. de Mxico)
Particular (Mxico, D.F)
Distribuidor (Mxico, D.F.)
Distribuidor (Garza Garca, N.L.)

X
Distribuidor (Monterrey N.L.)
Particular (Garza Garca, N.L.)
Productor independiente
(Garza Garca, N.L.)
Mb
X
Mm
Volumen
M
B
Productor independiente
(pesquera, N.L.)
Tipo de Cliente
Resultado de las encuestas a principales clientes de energa elctrica

en las ciudades de Mxico, Monterrey y Mrida
Mm
Calidad
M B
Mb
131
132
Volumen
De los clientes encuestados, el 70% opin que es muy bueno el abastecimiento del gas, ya que han recibido las cantidades requeridas y
que de presentarse contingencias en el abasto les son notificadas con
tiempo y de inmediato se restablece el suministro. El 30.0% calific el
abastecimiento como bueno.
Precio
El 70% de los encuestados calific de alto el precio del gas que les
vende el organismo, en razn de que la poltica de precios que aplica
Pemex Gas y Petroqumica Bsica est indexada a los precios del gas
del sur del estado de Texas, que indicaron que son de los ms altos
del mundo. El 30% restante determin como bueno el precio del gas
adquirido.
Oportunidad
El 80.0% de los encuestados calific de muy buena la recepcin del
gas natural, ya que durante 2003 no se registraron contratiempos en
el suministro del combustible. El 20.0% restante seal que fue buena
la oportunidad con la que reciben el gas natural.
Calidad
El 60% de las empresas encuestadas calific de buena la calidad del
gas natural que les suministr Pemex Gas y Petroqumica Bsica durante 2003; tambin manifestaron que en algunos casos no se cumpli
la norma porque se presentaron variaciones en la composicin del gas
por la presencia de hidrocarburos lquidos. El otro 40% contest que
fue muy buena la calidad del gas natural suministrado durante 2003,
ya que el combustible cumpli con la norma establecida y las caractersticas ofrecidas en el contrato y su poder calorfico fue superior al
convenido.
De lo anterior se obtuvo que la percepcin del cliente-ciudadano
es que el gas natural que les suministr pgpb durante 2003 se abasteci en el volumen y con la oportunidad requerida, que su precio es
133
elevado y que en general cumple con la calidad requerida, ocasionalmente hubo presencia de hidrocarburos lquidos que no cumplen
con la norma.
La innovacin. Es esencial para analizar la calidad. Cuando una
persona toma un vuelo, espera que el piloto que est volando el
Boeing 747 aterrice como siempre lo ha hecho, y que no decida innovar su tcnica de aterrizaje en ese momento. Todas las innovaciones
tienen que ser estudiadas con detenimiento, pero pocas son las que se
implantan. Generalmente privan los intereses polticos, lo cual impide
que las decisiones para mejorar la calidad sean creativas y prcticas.
Esto slo reproduce un patrn que repite errores y que no eleva la
calidad de vida de los ciudadanos.
b] Calidad de los productos y servicios
En una empresa privada es fcil detectar lo que se vende y dnde estn
ubicados los productos. En la Comisin Federal de Electricidad no es
tan fcil, aunque es un servicio fundamental. Para efectos prcticos
es lo mismo producir una bebida embotellada, que producir energa
elctrica. Por ambos productos se paga, pero con la particularidad de
que el ciudadano consumidor de energa elctrica es un consumidor
cautivo del gobierno. Aunque el servicio que presten las autoridades
sea de nfima calidad, no existen opciones en el mercado para cambiar
de compaa y el ciudadano est obligado a continuar pagando por un
servicio, independientemente de su calidad. Esta variable en un servicio
siempre es ms difcil de cuantificar que la calidad de un producto.25
Por ejemplo, la calidad en el suministro de la energa elctrica en
cuanto a la continuidad del fluido elctrico, se mide con el ndice de
tiempo de interrupcin por usuario, cuyo anlisis respecto de empresas internacionales fue el siguiente:
25
James Cortada, Balancing Performance Measurements and Quality, Quality Digest, 1994.
134
Tiempo de interrupcin por usuario de empresas de clase mundial 1/

(minutos / usuario)
72.1%
65.9%
58.8%
57.6%
101.4%
fuente:
Comisin Federal de Electricidad, Tiempo de interrupcin por usuario (tiu), cfe vs

Otras empresas suministradoras de electricidad.
1/
Los valores de empresas de clase mundial corresponden al ao 2000, el valor de
la cfe es de 2006.
Nota: El ndice de tiempo de interrupcin por usuario que se presenta corresponde
al proceso de distribucin de energa elctrica.
En 2006, la cfe registr un tiempo de interrupcin por usuario de

71.5 minutos, resultado favorable, en comparacin con el promedio
de empresas de clase mundial, ya que su ndice fue inferior en 57.6%.
A diferencia de una empresa privada, las instituciones pblicas son
organizaciones de servicio, cuyos productos impactan en el mejoramiento de la calidad de la vida de los ciudadanos en todos los mbitos.
En el aire que respiramos, en las calles que transitamos, en la salud
que brindan, en el mejoramiento de las condiciones econmicas del
pas, en la creacin de empleos, en la manera de educar a la poblacin
o en garantizar la seguridad pblica, por mencionar algunos de los
ms importantes.
Todas las instituciones pblicas estn obligadas a pensar en el consumidor final del producto. Sin embargo, esto no siempre ocurre. Las
instituciones pblicas estn obligadas a conocer lo que espera el ciudadano del servicio que prestan y slo en la medida en que conozcan
esto podrn mejorar su desempeo. Esta informacin debe ser la
pieza fundamental de la planeacin interna de todos los gobiernos.
Sirve para conocer lo que se va a producir, cmo se har y establecer
los controles internos necesarios para hacerlo.
135
La mayora de las instituciones pblicas en el mundo elaboran

encuestas para conocer lo que el ciudadano espera de cada servicio
prestado, lo cual las obliga a replantear estrategias y a tomar decisiones innovadoras sobre estos temas. Si los gobernantes hicieran esto
como rutina, probablemente podran permanecer ms tiempo en sus
cargos. Las campaas polticas son como un catlogo de nuevos productos y servicios que el gobierno est dispuesto a realizar.
c] ndice de calidad
Es imposible que una institucin privada o pblica mida todos los elementos que definen la calidad de sus productos. Por ello, se deben seleccionar y segmentar los puntos clave del servicio para que mediante
un anlisis se logre tener una idea clara de la manera en que fue
prestado. Este ndice debe otorgar un peso especfico a cada variable
basado en la importancia que el auditor asigne a cada una de ellas.
Cada uno de los elementos del cuadro deber tener su propia calificacin y la suma de todas ellas dar una respuesta clara de la calidad
con que fue prestado el servicio. El auditor asignar una calificacin
a cada uno de ellos y el promedio servir para establecer una opinin
objetiva sobre el servicio o producto. Este sistema de calificacin est
vinculado con la tesis de segmentar el servicio. Por ello, la calificacin
tiene que darse por cada uno de los segmentos que el auditor seleccion para evaluar.26
Un ejemplo sera el siguiente:
Cuadro 1. Reporte de trabajo: tabla de calificacin (porcentajes)
Medidas
Grado de certeza
Grado de cumplimiento
Tiempo
Seguimiento de lineamientos
Forma de presentacin
Consistencia
Calificacin
26
Jerry Brown, 1996, pp. 91- 93.
Participacin
Resultados
20
20
25
10
10
15
85
64
77
82
70
56
62
Resultados
ponderados
12.8
15.0
20.5
7.0
5.6
9.3
70.6
136
Cuadro 2. Para medicin de proyectos (porcentajes)

Medidas
Participacin
Resultados
20
25
10
15
20
10
90
96
84
100
68
76
94
86.4
Metas cumplidas
Relacin clientes
Uso de metodologa
ndice de innovacin
Diseo de calidad
Formato de informe
Meta
Resultados
ponderados
19.0
21.0
10.0
10.2
15.2
9.4
85.0
Ambas tablas sirven para segmentar informacin. Cada una incorpora las variables que se espera analizar para obtener la mejor
informacin. La segmentacin de las variables permite detectar
dnde radican las fallas y trata de mejorar cada uno de los puntos
dbiles. Estos ejemplos son ilustrativos de empresas privadas, pero
demuestran la importancia de la segmentacin de cada una de las
fases que de manera conjunta detonan la calidad de un bien o servicio prestado.
d] La medicin de la calidad
Cmo mide el gobierno la calidad de sus productos o servicios?
Las instituciones siguen seis pasos:
Definen los ndices de medicin de calidad con base en las expectativas que los ciudadanos o los clientes tienen sobre el servicio final.
Recopilan informacin con base en muestras amplias de los productos y servicios. Nunca se emiten opiniones basadas en informacin emitida por pocos usuarios.
Precisan el peso que cada uno de los segmentos tendr en la calificacin final.
Elaboran un ndice correcto en el cual se vierte el peso especfico de
cada una de las variables seleccionadas.
Fijan estndares de calidad con base en lo que esperan los usuarios
del producto final.
137
Analizan informacin objetiva que terceros hacen sobre la calidad

del servicio prestado. Esto se puede realizar mediante anlisis comparados, exmenes o encuestas elaboradas por otros.
La calidad del bien o servicio debe tomar en cuenta los atributos
siguientes:
Transparencia: los ciudadanos desean saber cmo trabaja la administracin pblica, quin es responsable de cada asunto.
Participacin del ciudadano-usuario: los ciudadanos se resisten a ser
tratados como receptores pasivos de aquellos bienes o servicios que
reciben.
Satisfaccin de los requerimientos del ciudadano: en la medida en
que sea posible se debe ofrecer a los ciudadanos servicios que correspondan a su particular situacin. Los servicios del tipo Una talla le
queda a todos ya no son apropiados.
Accesibilidad: los ciudadanos deben tener facilidad de acceso fsico
a la administracin a horas convenientes y se les debe ofrecer informacin en lenguaje simple y llano.
Disponibilidad: los ciudadanos deben tener acceso a los bienes y
servicios que requieran en la cantidad necesaria para satisfacer sus
necesidades.
Oportunidad: se refiere a que los usuarios a los que va dirigido el
bien o servicio de que se trate, deben de tenerlo en el momento
justo en el que se le requiera, a fin de que su necesidad sea atendida
cuando sta se presente.
Precio: los precios de los bienes y servicios deben ser adecuados al
valor de stos, es decir, tiene que haber una relacin precio-valor
equilibrada.
Alternativas: los ciudadanos deben contar con otras opciones para
adquirir los bienes o servicios que demanden.
La mayora de las instituciones en la actualidad ha orientado su
trabajo a partir de las necesidades de los usuarios. Las empresas
privadas lo llaman el enfoque al cliente y las instituciones pblicas
se refieren a l como el enfoque hacia el ciudadano. La calidad debe
ser la constante que persigan todas las instituciones. Sin conocer lo
que los usuarios esperan del servicio es muy difcil precisar la calidad con la que se debe trabajar. La nica manera de convertirse en
138
el nmero uno es brindando valor agregado a los bienes y servicios.

La manera en que los clientes o ciudadanos perciban el desempeo
de la institucin debe convertirse en su prioridad.
En la auditora de desempeo practicada a las actividades de produccin de petrleo crudo y gas a cargo de Pemex Exploracin y
Produccin, se determin que el gas que ese organismo entregaba
a Pemex Gas y Petroqumica Bsica cumpla parcialmente con los
parmetros de calidad establecidos. El gas hmedo amargo que pep
entreg a pgpb en los puntos de entrega Cactus, Cd. Pemex y Nuevo
Pemex en 2007, cumpli con la calidad en cuanto al contenido de
cido sulfhdrico y bixido de carbono, pero no cumpli con el parmetro de contenido de nitrgeno, ya que super en 0.6%, 6.8% y
6.4%, respectivamente, el valor mximo establecido en el contrato
de compraventa.
El gas seco que pep entreg en Culebra Norte cumpli con la calidad
en cuanto al contenido de licuables, nitrgeno, bixido de carbono,
cido sulfhdrico; en el punto de entrega Pandura se cumpli el valor
mximo de contenido de nitrgeno, bixido de carbono, cido sulfhdrico, pero super el contenido de licuables en 6.6 barriles por milln
de pies cbicos (bl/mmpc).
En 2007, el gas hmedo amargo que pep envi a pgpb en los puntos
de entrega Cactus, Cd. Pemex y Nuevo Pemex super en promedio
4.6% el contenido de nitrgeno establecido en el contrato de 2.0%
vol.
El gas seco que pep envi a pgpb en el punto de entrega Culebra
Norte cumpli con la calidad; en tanto que en Pandura el contenido
de licuables fue de 17.1 barriles por milln de pie cbico, superior en
6.6 barriles por milln de pie cbico al parmetro de 10.5 bl/mmpc
establecido en el contrato de compraventa.
Se determin que el organismo no logr su objetivo establecido
en el pef de contar con estndares internacionales de calidad, ya que
el gas seco y el gas hmedo amargo entregado a pgpb no se ajustaron
a los parmetros de calidad establecidos en el contrato de compraventa. Al respecto, se observ que no se aplicaron penalizaciones
econmicas a pep por el incumplimiento en la calidad del gas que
entreg a pgpb.
139
2.5. Indicador de satisfaccin del ciudadano-usuario

Es un indicador reciente y ocupa el quinto lugar en el tablero de
control. En trminos generales, mide si el usuario o ciudadano est
satisfecho, con el servicio que recibe. Poco se conoce sobre este tema,
y lo que una institucin puede intuir es que el ciudadano espera obtener un servicio de calidad al menor precio posible. Sin embargo, en
la realidad, poco se hace por conocer la opinin de los usuarios. Un
escaso nmero de instituciones realiza encuestas para medir el grado
de satisfaccin del ciudadano usuario y as evita una responsabilidad
seria frente al servicio prestado.
Debido a que la mayora de los programas pblicos no toman en
cuenta la opinin de los ciudadanos, el gobierno no se esmera en
ofertar programas eficaces y la mayora de ellos no logra resolver los
problemas y el gobierno termina replanteando estrategia tras estrategia a lo largo de muchos aos.
Muchos gobiernos han retomado una prctica comn que utiliza
el sector privado, que implica un ejercicio de medicin de la opinin
de los ciudadanos usuarios o beneficiarios. De hecho, la mayora de
las propuestas de reformas serias que han establecido los gobiernos se
han propuesto conocer la opinin del ciudadano usuario sobre el bien
o servicio recibido. Estas experiencias han permitido avances importantes y han servido para mejorar la calidad con la que los gobiernos
prestan sus servicios.
El gobierno, a diferencia del sector privado, est obligado a ofrecer
servicios que permitan la convivencia armnica de los ciudadanos. Necesita garantizar al ciudadano servicios bsicos como la energa elctrica, el suministro de agua potable, los servicios de salud eficientes,
servicios de limpia, de educacin y seguridad pblica. A grandes
rasgos, necesita propiciar un clima de estabilidad poltica y econmica
para garantizar que la sociedad conviva en paz, que la mayora de los
ciudadanos tenga una fuente de ingresos digna y que no existan conflictos por las desigualdades sociales.
Sin embargo, pocas decisiones son tomadas en cuenta a partir de la
opinin ciudadana. La complejidad del proceso de toma de decisin
y la cantidad de decisiones que conforman estas responsabilidades,
aleja a los gobiernos de la poblacin y por ello toman las decisiones
a partir de proyectos polticos. Conocer la opinin de los ciudadanos
usuarios, no implica que el gobierno consulte cada decisin que toma
140
con los ciudadanos, pero s realizar un esfuerzo por conocer la manera

en que el ciudadano percibe las acciones que implementa el gobierno.
A continuacin se presentan los subapartados siguientes: a] la medicin de la satisfaccin del ciudadano-usuario durante la auditora,
b] el uso de las escalas para determinar el grado de satisfaccin del
ciudadano-usuario y c] el ndice de satisfaccin del ciudadano-usuario.
a] La medicin de la satisfaccin del ciudadano-usuario
Lo primero que debe hacer el auditor para conocer la opinin ciudadana es segmentar a la poblacin. Esto implica tener una idea de
lo que espera cada grupo y segmentarlo con base en ello. Cada grupo
tiene intereses diversos y necesidades especficas, por lo cual el gobierno no puede basar sus decisiones solamente en la intuicin.
Cuando un auditor inicia una auditora cuenta con poca informacin. sta puede ser resultado de plticas sostenidas con diferentes
personas; de grupos de enfoque; de reuniones con los beneficiarios directos de los programas, pero todos requieren sistematizar esfuerzos
para conocer la opinin que cada grupo tiene del programa.
Lo primero que necesita el auditor es un mtodo sencillo para encuestar a los usuarios de los servicios. Las encuestas servirn para obtener una idea precisa de lo que piensan del programa auditado. Para
obtener informacin clara y estructurada, el auditor puede utilizar
una sencilla encuesta como la que se presenta a continuacin:
A grandes rasgos, cmo calificara usted la calidad del producto o
servicio recibido?
Cmo califica la capacidad de respuesta del gobierno a sus problemas y preocupaciones?
Cmo es su relacin con la institucin?
Qu puede ofrecerle la institucin, adems de lo que ya hizo para
mejorar el servicio?
Si hubiera una sola cosa que usted considere que sirva para mejorar el trabajo, cul sera?
Como se puede observar, tres de las cinco preguntas sirven para
medir la satisfaccin del usuario con el servicio y las restantes dos
sirven para conocer brevemente su opinin. Ambos tipos de preguntas proporcionan informacin de calidad. Las preguntas sobre la
141
medicin sirven para medir tendencias y las abiertas para obtener informacin especfica que puede ser utilizada para mejorar la calidad
del servicio prestado.
b] El uso de las escalas para determinar el grado de satisfaccin del
ciudadano-usuario
Existen varias formas para medir esta informacin mediante una
encuesta. La primera puede ser una escala tradicional en donde los
valores van de extraordinarios a malos. La escala que se recomienda
utilizar es la siguiente:
Cuadro 3. Escala de medicin de satisfaccin del usuario
5
Extraordinaria
4
Muy buena
3
Satisfactoria
2
Regular
1
Mala
Para constatar que un usuario est satisfecho con el servicio, la

calificacin debe estar entre 3.85 y 5.0. Algunas instituciones consideran que el servicio es bueno cuando la proporcin tabulada es de 2
o ms puntos. Algunas otras consideran que el servicio es bueno slo
si la calificacin est cerca del 100%. Un nmero significativamente
ms bajo, como del 20%, no puede indicar que el servicio prestado es
bueno. El auditor deber ser muy claro y buscar un trmino medio,
cercano al 80%, de no ser as, estara cometiendo un error de apreciacin y notara una falta de confiabilidad en sus resultados.
Otra manera de medir la satisfaccin del usuario es asegurando
que las preguntas se hagan adecuadamente. Por ejemplo, si al auditor
le interesa medir si los tiempos para tramitar una licencia de conducir
han mejorado, puede preguntar lo siguiente: De acuerdo con su experiencia usted cree que el tiempo de espera para obtener su licencia ha
disminuido? Conteste s o no. La respuesta podr revelar informacin
incorrecta. Por qu? Es posible que la persona haya esperado ahora
slo hora y media, mientras que la ocasin anterior esper dos horas
y media. La respuesta denotara que hubo mejora, pero tambin revelara que sigue siendo muy largo el tiempo perdido para tramitar este
documento. Por ello, es importante que las preguntas sean precisas.
Por ejemplo:
142
Indique usted el tiempo que permaneci esperando en la fila para

tramitar su licencia de conducir:
1] Ms de 120 minutos ( ).
2] Entre 61 y 120 minutos ( ).
3] Entre 31 y 60 minutos ( ).
4] 30 minutos o menos ( ).
Lo importante es plantear las preguntas de manera correcta y evitar
obtener informacin incorrecta sobre el desempeo de un programa.
c] El ndice de satisfaccin del ciudadano-usuario
Una vez identificados los datos suaves y duros, se deber conjuntar
esta informacin en un solo ndice. Este ndice de medicin de la satisfaccin del usuario debe ser una sntesis estadstica de toda la informacin y debe ser de fcil acceso para cualquiera que lo consulte.
El ndice deber incluir lo siguiente:
Cincuenta o sesenta por ciento de datos duros y cuarenta o cincuenta por ciento de datos suaves.
Incluir informacin segmentada del servicio prestado y desagregada en partes.
Integrar la informacin de manera sencilla.
Cada uno de los ndices individuales deber especificar su peso en
un porcentaje que depender de su importancia. Por ejemplo, una
lista de quejas, por s misma no revelara gran inconformidad. Pero
una marcha que paralice una ciudad s lo es. Una reduccin en las
quejas tampoco revela mucho, ya que la gente puede dejar de quejarse
por hartazgo ante la incapacidad de respuesta del gobierno a su problema especfico.
El caso del Instituto Mexicano del Petrleo (imp) sirve de ejemplo.
El imp indic que para medir la satisfaccin de Pemex aplica un cuestionario al cierre de cada proyecto de servicio contratado. La escala
utilizada consta de 10 opciones de respuesta que van de 1 a 10, donde
1 representa el menor nivel de satisfaccin y 10 el mayor nivel. El cuestionario evala cuatro dimensiones: Calidad, Oportunidad, Confiabilidad y Empata, como se describe a continuacin:
143
Dimensin
Calidad
Oportunidad
Confiabilidad
Empata
Descripcin
Se refiere a la certeza del cliente de que el servicio
cumple con las especificaciones establecidas
Considera la prontitud para atender los requerimientos
del cliente, as como el cumplimiento de sus necesidades
en tiempo, conforme a lo acordado
Se refiere a la confianza del cliente en la experiencia
y profesionalismo del personal, as como en el nivel
tecnolgico del imp utilizados para cumplir con el
servicio.
Capacidad de comprender las necesidades del cliente
por medio de la atencin personalizada.
Para medir la satisfaccin del cliente el imp realiza el seguimiento de

los resultados de las encuestas en sus cuatro dimensiones por medio
de semforos, cuyos parmetros son:
Verde
De 100% a 80%
Nivel adecuado
Amarillo
De 79% a 60%
Nivel de puntos de
mejora
Rojo
De 59% a 0%
Nivel de puntos de
correccin
Los resultados de la satisfaccin por organismo de Pemex en 2006,

se presentan a continuacin:
Resultados de la satisfaccin del cliente por organismo de Pemex,
2006 (porcentajes)
Nmero de
proyectos de
Concepto
Calidad Oportunidad Confiabilidad Empata Promedio
servicios con
encuesta 1/
pep
307
85.3
84.5
86.0
85.6
85.3
pr
86
91.8
89.8
93.3
86.2
90.3
pgpb
29
85.7
84.4
87.8
87.0
86.2
ppq
35
94.7
91.6
95.1
90.9
93.1
P. Corporativo
27
77.5
73.7
75.7
87.2
78.5
Total
promedio
484
87.0
84.8
87.6
87.4
86.8
fuente:
Instituto Mexicano del Petrleo, ndice de Satisfaccin del Cliente por organismo de
Pemex, 2006.
1/
Cada encuesta considera un valor mximo de 100% para cada una de las dimensiones.
144
En 2006, los organismos de Pemex opinaron que los servicios del

son satisfactorios en trminos de calidad, oportunidad, confiabilidad y empata, es decir, en promedio 8 de cada 10 servicios registraron un rango adecuado; destaca ppq con un ndice promedio de
93.1% y pr con el 90.3%. Pemex Corporativo opin que los servicios
requieren mejoras, ya que se registr un ndice promedio de 78.5
por ciento.
Lo anterior denota que el imp cumpli con lo establecido en su Estatuto Orgnico y en su Manual de Organizacin.
En suma, el indicador de satisfaccin del ciudadano-usuario mide
el grado de satisfaccin de los usuarios respecto a los bienes y/o servicios que recibe. Para su determinacin, una prctica comn es la realizacin de encuestas de opinin a los usuarios. Por ello, en el diseo
de las preguntas y la definicin de las escalas de valor asociadas se
debe ser cuidadoso para disponer de informacin til que nos ayude
a conocer la percepcin del ciudadano usuario de aquellos aspectos
que nos interesa saber para formular propuestas de mejora del bien
o servicio.
imp
2.6. Indicador sobre la competencia de los actores

Es el sexto y ltimo indicador del tablero de control. Cuando hablamos de la competencia de los actores nos referimos a quienes
realizan las tareas en el sector pblico: las instituciones y los servidores pblicos. La fuerza laboral no opera en el vaco, requiere de
un medio para el desarrollo y aplicacin de sus competencias. Ese
medio es la institucin o entidad, la cual tambin posee un conjunto
de competencias.
De esta forma, ambos actores (institucin y recurso humano) presentan caractersticas, potencialidades, dinmicas y competencias que
les son propias a cada uno. No las comparten, pero s interactan en
la operacin de las polticas pblicas y determinan el grado de xito
(desempeo) que se alcance.
El nivel de competencia de un actor afectar el desempeo global y,
obligadamente, al otro actor. Tomando como ejemplo un desempeo
deficiente, se puede presentar tanto el caso de una excelente institucin y un recurso humano incompetente, o con desajustes de comportamiento; o por el contrario y con el mismo resultado: un recurso
145
humano altamente competente, pero inmerso en una institucin con

instrumentos jurdicos, reglamentarios y organizacionales insuficientes. A continuacin se presentan los subapartados: a] desempeo
institucional, b] desempeo de los servidores pblicos y c] servicio civil
de carrera.
a] Desempeo institucional
Se entiende como instituciones a aquellos mecanismos de orden social
y de cooperacin que rigen el comportamiento de un grupo de individuos que, en el caso de las organizaciones formales de gobierno y
servicios pblicos, aluden a la sociedad de su conjunto; son sistemas
constituidos por personas, normas, funciones y procedimientos que
interactan en un entorno con la finalidad de alcanzar objetivos.
Para analizar el desempeo institucional nos formulamos preguntas tales como: La institucin cuenta con un fundamento jurdico
que seale de manera clara su mandato y los objetivos? La entidad
cuenta con normas y manuales o reglas de operacin? Tiene una estructura orgnica adecuada a su mandato?
La revisin de la competencia institucional implica el anlisis del
marco jurdico-normativo que rige el desarrollo de las actividades
que realiza el ente. Entre los aspectos por revisar se encuentran los
fundamentos jurdicos de su creacin y su mandato, las bases de su
organizacin y las facultades y funciones de cada una de las reas
que integran su estructura orgnica; si cuenta con manual de organizacin autorizado y si ste es adecuado para cumplir con su mandato;
si dispone de manuales y procedimientos que le permitan realizar
sus funciones de manera articulada, eficaz y congruente, as como
controlar la calidad de los suministros y programas, que aseguren la
continuidad del servicio y establecer mecanismos de evaluacin que
destaquen la eficiencia y la eficacia con que se desempee el ente.
En el marco de las auditoras de desempeo, la potencialidad de
las competencias de las entidades pblicas se comienza a delinear
desde su concepcin misma (claridad de su misin, visin y objetivos),
hasta la planeacin del marco jurdico que especificar y acotar sus
alcances, considerando, por supuesto, los instrumentos y la infraestructura que le brindarn capacidad ejecutoria (vase esquema 1).
146
Esquema 1. Competencias institucionales

Claridad de objetivos
Misin
Visin
Objetivos
Capacidad ejecutoria
Fundamentacin y sustento jurdico

Diseo organizacional
Soporte reglamentario
Soporte procedimental
Instrumentos programticos
Infraestructura
Recursos materiales
Recursos financieros
Cabe sealar que el esquema es enunciativo, no limitativo. Sin embargo, se considera que para un estudio de desempeo, enfatiza su importancia y permitir orientar el conocimiento, anlisis y evaluacin
de la claridad, capacidad e infraestructura del actor institucin.
Las instituciones y sus atributos
Como todo producto social, las organizaciones acumulan atributos de
muy variadas dimensiones y caractersticas. Las instituciones pblicas
comparten con otros tipos de organizaciones una amplia gama de elementos (vase esquema 2).
Esquema 2. Atributos
Propsito
Las organizaciones se crean y permanecen por

un propsito (misin)
Diseo
El diseo organizacional que adopten matiza

y, por momentos, determina el accionar de las
organizaciones
Cultura
Toda organizacin tiene una cultura, sea esta

manifiesta o subyacente (normas, hbitos,
estilos, valores).
Campo de accin
mbito de competencia.
Estructura
Es, junto con los recursos, el marco que

permite tornar en realidad los valores, bienes
o servicios que produce la organizacin.
147
En el caso de las entidades responsables de la aplicacin de las polticas pblicas y de los mecanismos que posibilitan la convivencia e
interaccin social, presentan adems atributos sui generis que estn
dictados por su condicin de entidades de gobierno, no circunscritas
necesariamente a la competitividad en los mercados o a las exigencias
de mayores ganancias o rendimientos de capital. Su misin, objetivos
y trascendencia social justifican, por s mismos, su existencia.
Las instituciones, como estructuras de orden social, formal y de gobierno, estn orientadas a atender las necesidades de un amplio conjunto de individuos y sus competencias se encuentran ntimamente
vinculadas con la potestad o aptitud legal para ejercer las atribuciones
y facultades que les son conferidos por la ley. Aqu resulta imprescindible considerar el estudio de los instrumentos que permiten y definen sus modos de operacin: estructuras, manuales de organizacin
y procedimientos, planes y programas de trabajo.
Por lo que respecta a los manuales, es menester reconocer la importancia fundamental que tiene el conocimiento de la organizacin, su
estructura operativa (procesos), as como la estructura orgnica (atribuciones). stas debern guardar congruencia con la misin, visin
y objetivos del organismo. Es decir, se requiere conocer el marco
normativo, las atribuciones, estructuras, funciones, canales de comunicacin y coordinacin; esto es, la informacin detallada del funcionamiento general y especfico de la entidad.
El auditor de desempeo deber enfocar su atencin primaria
hacia los sistemas de control, que son las instancias en las cuales descansa y se refleja la operacin de las instituciones en forma detallada.
Comnmente se conforman de sistemas de informacin, medicin de
resultados y rendicin de cuentas, los cuales incluyen informacin no
nicamente financiera, sino sobre la operacin general de los organismos, medios y fines, resultados por rea, actividad o proceso y, en
conjunto, tambin cmo y a qu instancias se reporta.
La necesidad de vincular las entidades pblicas con esquemas de
operacin que busquen continuamente su perfeccionamiento responde, por un lado, a la finitud de los recursos del Estado como en
cualquier otra organizacin y, factor no menos importante, al ineludible compromiso tico y responsabilidad social del gobierno que implica, entre muchos otros aspectos, evitar el derroche, la dispersin y
la aplicacin ineficiente de recursos y esfuerzos.
En el mismo sentido y por las caractersticas de su naturaleza, las
148
instituciones pblicas ostentan un marcado desarrollo normativo. Normalmente sustentan su existencia en ordenamientos legales y su funcionamiento en regulaciones de niveles diversos. Adems, se les exige
el desarrollo, aprobacin y publicacin de su reglamentacin interna.
El auditor de desempeo deber considerar los atributos de la institucin que analiza: su actualizacin, su pertinencia y su claridad.
La conjugacin de los atributos determina, en alto grado, las competencias de la organizacin.
b] Desempeo de los servidores pblicos
El trmino recurso humano se refiere al conjunto de personas,
sin distingo de nivel jerrquico o de especializacin, que prestan sus
servicios en el mbito de alguna institucin y conforman su fuerza
laboral. Los recursos humanos son tambin un elemento dinmico,
no esttico. Su desarrollo y el ejercicio de sus competencias pueden
presentar grandes desigualdades.
Bajo este concepto, uno de los temas que ms preocupan a los
funcionarios es la competencia del personal que labora en las instituciones. ste es un tema polmico, ya que los empleados son la cara
pblica de una institucin. A partir de su comportamiento se emiten
juicios automticos sobre una dependencia, organizacin o institucin
pblica. Se asume normalmente que su actitud es el reflejo de lo que
piensa y realiza cada una de las dependencias pblicas, pero pocos
se detienen a analizar los motivos de cada una de las acciones que a
diario enfrentan los ciudadanos.27
Cuando se trata de evaluar el desempeo de un empleado pblico,
los juicios son ms severos. Influyen muchos motivos para ello. El ms
comn es que el ciudadano percibe que el sueldo que reciben es fruto
de los ingresos que paga va impuestos. El otro que aparece de manera
recurrente, es que la burocracia es una masa amorfa de personas sin
ms inters que el de obtener una canonja por realizar un servicio
que estn obligados a prestar por ley. El tercero, es que esta misma
masa amorfa trabaja a partir de la ley de los mnimos esfuerzos y que
har todo lo posible para obstaculizar cualquier procedimiento.
Muchas de estas apreciaciones son justas. Otras no lo son. Lo que
es un hecho es que los empleados y funcionarios realizan muy poco
27
Claire Drulikowski, Measuring Employee Satisfaction, Quality Digest, 1994.
149
esfuerzo por entender las causas de este bajo desempeo y hacen aun
menos para medirlas e intentar mejorarlas.
c] Servicio civil de carrera
Los recursos humanos representan la fuerza laboral de una institucin. Son elementos dinmicos no estticos, cuyo desarrollo y competencias pueden ser desiguales, as como su ciclo de vida dentro de
una institucin, que comprende tres etapas: 1] la seleccin y el reclutamiento; 2] su vida laboral y desarrollo, y 3] el egreso.
Generalmente, los servicios de carrera dan respuesta a esas tres
etapas, al regular por lo menos cinco procesos: 1] el ingreso (reclutamiento y seleccin); 2] el desarrollo profesional (capacitacin); 3] la
evaluacin del desempeo; 4] el ascenso o promocin, y 5] el retiro.
El servicio civil de carrera es una forma de gestionar los recursos
humanos de la administracin pblica para formar servidores pblicos cuyo compromiso sea con el inters comn, sin consideraciones
polticas de grupo o partido, basada en el mrito, la imparcialidad y la
igualdad de oportunidades.
Hablar de servicio civil de carrera en Mxico implica necesariamente hablar de la tradicin administrativa del pas y de su relacin
con la evolucin y consolidacin del Estado, ya que, como cualquier
otra institucin (o poltica pblica, vale mencionar), la profesionalizacin de la funcin pblica en Mxico es producto de una historia
acumulada. sta hace referencia ya no slo a las necesidades que justifican su tardo origen, sino a su forzosa relacin con otras instituciones y prioridades de la vida pblica.
Mxico puede ser considerado dice Omar Guerrero como una
excepcin dentro de la regla en la formacin profesional en administracin pblica, por lo que toca al papel activo de los gobiernos en
pro de la preparacin de sus servidores.28 Ciertamente el tema de
la profesionalizacin en Mxico ha tenido una mayor difusin en los
ltimos aos, lo que ha llevado a una mayor preocupacin, tanto de
practicantes como estudiosos, por el tema. Pero otro resultado de esta
publicidad ha sido la percepcin (no tan errada) de que el tema sim28
La experiencia de la formacin profesional y el servicio pblico en Mxico, en
Nstor Fernndez (coord.), Servicio pblico de carrera en Mxico: experiencias y perspectivas,
Mxico, inap, 2001, p. 15.
150
plemente estuvo ausente durante mucho tiempo en la agenda gubernamental. No obstante, a pesar de lo que se pueda creer, los intentos
por profesionalizar la gestin pblica mexicana tienen sus inicios
desde los primeros intentos de formacin del Estado mexicano, e incluso algunos van ms all para encontrar los primeros atisbos de una
funcin pblica profesional en el periodo virreinal.
El servicio civil de carrera ha sido definido por la Organizacin de
las Naciones Unidas (onu) como el cuerpo apoltico, permanente, de
servidores pblicos que forma la espina dorsal de una administracin
dada. Los elementos de un sistema civil son: una ley bsica de administracin de personal de servicio civil; y un organismo responsable
de su aplicacin.29
De conformidad con el documento Servicio Civil de Carrera del
Servicio Exterior Mexicano elaborado por la Secretara de Relaciones
Exteriores en agosto de 2001, el servicio civil de carrera es definido
como un sistema integral de administracin del personal pblico, que
comprende desde el ingreso del trabajador hasta su separacin del
servicio, crea condiciones de trabajo y de vida adecuada para los trabajadores que deben responder a la realidad existente en el pas, por
lo que su diseo e implementacin debe partir de bases tcnico-metodolgicas slidas que permitan darle coherencia y viabilidad.
Asimismo, el servicio civil se define como un conjunto de reglas
y procedimientos administrativos que regulan el precio del trabajo y
su divisin en una unidad administrativa. Este conjunto de reglas controla y dirige los recursos humanos de la unidad, y crea un mercado laboral cerrado que se conecta con el mercado laboral nacional a travs
puntos de entrada y salida. Las reglas de la entrada y la salida, de la
permanencia y la movilidad dentro del sistema, de la asignacin de las
actividades y funciones de sus integrantes, y de los premios y castigos
a los mismos, constituyen las caractersticas del servicio civil.30
En Mxico se han sentado las bases para el servicio civil, en especfico, el artculo 123, apartado B, fracciones vii y viii, de la Constitucin Poltica de los Estados Unidos Mexicanos, establece:
29
Organizacin de las Naciones Unidas, Manual del Servicio Civil. Administracin Pblica, Departamento de Asuntos Econmicos y Sociales, 1961.
30
Juan Pablo Guerrero Amparan, Consideraciones sobre la instauracin del servicio civil
en Mxico, Mxico, cide, septiembre de 2000.
151
vii.La
designacin del personal se har mediante sistemas que permitan

apreciar los conocimientos y aptitudes de los aspirantes. El Estado organizar
escuelas de Administracin Pblica.
viii. Los trabajadores gozarn de derechos de escalafn a fin de que los ascensos se otorguen en funcin de los conocimientos, aptitudes y antigedad.
Como antecedentes del servicio civil de carrera en la administracin pblica, en 1934 se cre el Instituto de Formacin Profesional
como rgano desconcentrado de la Procuradura General de Justicia
del Distrito Federal.
En 1960 se adicion el apartado B al artculo 123 Constitucional
para incluir los derechos constitucionales burocrticos sobre jornada
de trabajo, descansos, vacaciones, salarios, designaciones, escalafn,
suspensin, cese, derecho a asociacin, seguridad social y conflictos
laborales. Posteriormente, en 1963 se promulg la Ley Federal de los
Trabajadores al Servicio del Estado.
En la misma dcada, se comenz a considerar la administracin de
personal al servicio del Estado como fundamental para llevar a cabo
acciones tendientes a garantizar los derechos de los trabajadores, as
como su desempeo honesto y eficiente, lo que propici que en 1965
se creara la Comisin de Administracin Pblica, que fue la base del
Programa de Reforma Administrativa del Poder Ejecutivo Federal
(1971-1976), en el que se ponder la idea del cambio de actitudes, ms
que cambios estructurales formales.
El Plan Nacional de Desarrollo 1983-1988 dej de lado la implantacin del servicio civil de carrera; sin embargo, se registraron algunos
avances respecto al establecimiento de mecanismos eficientes de reclutamiento, seleccin e induccin de personal, as como la bsqueda
de mejores resultados en la prestacin de los servicios y la atencin al
pblico.
El Plan Nacional de Desarrollo 1983-1988, pretendi mejorar la
capacidad tcnica y administrativa del personal federal. Para tal propsito, se adoptaron las lneas de accin siguientes:
Instaurar el servicio civil de carrera, en colaboracin con la Federacin de sindicatos de Trabajadores al Servicio del Estado;
Promover la seguridad de los empleos de los trabajadores de base;
Continuar con la simplificacin de la estructura y organizacin administrativa del sector pblico;
152
Fomentar la vocacin de servicio del personal federal mediante una

motivacin adecuada, elevando as la eficiencia y la agilidad en el
funcionamiento de la burocracia; y
Promover la capacitacin permanente del personal federal, creando
as condiciones para la carrera administrativa.
En este contexto, en 1983 se instal la Comisin Intersecretarial
del Servicio Civil de Carrera, con el propsito de instaurar el servicio
civil que proporcionara la estabilidad, profesionalizacin y capacidad
de innovacin; en la comisin se seal que por dicho medio se mantendra la seguridad del empleo del servidor pblico y, sobre todo,
hara posible que los ascensos en la Administracin Pblica Federal
obedeciesen a criterios permanentes de reconocimiento al trabajo y
dedicacin personal, aspectos fundamentales para enriquecer y mejorar la gestin del gobierno.31
Posteriormente, se instrument el Programa de Modernizacin de
la Administracin Pblica (promap), publicado en el dof el 28 de mayo
de 1996, que plante los siguientes objetivos generales para el periodo
1995-2000: a] Transformar a la Administracin Pblica Federal en
una organizacin eficaz, eficiente y con una arraigada cultura de servicio para coadyuvar a satisfacer cabalmente las legtimas necesidades
de la sociedad; y b] Combatir la corrupcin y la impunidad a travsdel
impulso de acciones preventivas y de promocin, sin menoscabo
delejercicio firme, gil y efectivo de acciones correctivas.
Por lo que respecta a la profesionalizacin de los servidores pblicos,
sus actividades se agruparon en torno al subprograma denominado
Dignificacin, Profesionalizacin y tica del Servidor Pblico, cuyos
objetivos fueron:
Contar con un servicio profesional de carrera en la administracin
pblica que garantice la adecuada seleccin, desarrollo profesional
y retiro digno para los servidores pblicos, que contribuya a que
en los relevos en la titularidad de las dependencias y entidades, se
aproveche la experiencia y los conocimientos del personal y se d
continuidad al funcionamiento administrativo.
31
La importancia del establecimiento del servicio pblico de carrera en Mxico, en
L. F. Aguilar (coord.), Profesionalizacin del servicio pblico en Mxico: hacia la innovacin y
la democracia, Mxico, Universidad Iberoamericana, 2003, p. 17.
153
Impulsar en el servidor pblico una nueva cultura que favorezca los

valores ticos de honestidad, eficiencia y dignidad en la prestacin
del servicio pblico, y fortalezca los principios de probidad y responsabilidad.
En la actualidad, de acuerdo con los artculos 31, fraccin xxiv, y
37-A, fraccin vi bis, de la Ley Orgnica de la Administracin Pblica
Federal,32 corresponde a la Secretara de Hacienda y Crdito Pblico
ejercer el control presupuestal de los servicios personales y establecer
normas y lineamientos en materia de control del gasto en ese rubro
y a la Secretara de la Funcin Pblica dirigir, organizar y operar
el Sistema de Servicio Profesional de Carrera en la Administracin
Pblica Federal en los trminos de la ley de la materia, dictando las
resoluciones conducentes en los casos de duda sobre la interpretacin
y alcances de sus normas, respectivamente.
La ley establece un sistema de personal de calidad que permita
atraer, retener, formar y motivar a los mejores profesionales de Mxico
en el servicio pblico, lo que traer efectos positivos en la transparencia, administracin, actualizacin, simplificacin y modernizacin
del Gobierno Federal y contiene normas para la operacin de los siete
subsistemas mediante los cuales se organizarn las actividades del
servicio. Dichos subsistemas se clasifican de la siguiente manera: 1]
Planeacin de Recursos Humanos; 2] Ingreso; 3] Desarrollo Profesional; 4] Capacitacin y Certificacin de Capacidades; 5] Evaluacin
del Desempeo; 6] Separacin, y 7] Control y Evaluacin.
El artculo 1 de la Ley del Servicio Profesional de Carrera en la
Administracin Pblica Federal establece que es aplicable a las dependencias de la apf Centralizada;33 y para las entidades del sector paraes32
Publicada en el Diario Oficial de la Federacin el 29 de diciembre de 1976; reformas
publicadas en el Diario Oficial de la Federacin el 8 de diciembre de 1978; 31 de diciembre de 1980; 4 de enero y 29 de diciembre de 1982; 30 de diciembre de 1983; 21 de
enero y 26 de diciembre de 1985; 14 de mayo y 24 de diciembre de 1986; 4 de enero de
1989 y 22 de julio de 1991, 21 de febrero de 1992; 25 de mayo de 1992; 28 de diciembre
de 1994; 19 de diciembre de 1995; 15 de mayo y 24 de diciembre de 1996; 4 de diciembre de 1997; 4 de enero de 1999; 18 de mayo de 1999; 30 de noviembre de 2000; y 10
de octubre de 2007.
33
Ley Orgnica de la Administracin Pblica Federal, artculo 1, segundo prrafo, establece que la Presidencia de la Repblica, las Secretaras de Estado, los Departamentos
Administrativos, y la consejera Jurdica del Ejecutivo Federal integrarn la Administracin Pblica Centralizada. Para efectos de este informe se denominar dependencias y
154
tatal se prev el establecimiento de sus propios sistemas con base en

los principios de la presente ley.
El servicio civil de carrera se debe concebir como un sistema
orientado a posibilitar y promover la creacin de una nueva cultura
de servicio pblico, que responda a las expectativas de la sociedad, a
los intereses laborales del servidor pblico y que posibilite el cumplimiento de la misin de la apf de manera eficaz y eficiente.
En ese contexto, es posible delimitar que todo servicio civil de carrera debe considerar los elementos siguientes:

1. Estructura y catlogo de puestos.

2. Ingreso y promocin.
3. Evaluacin del desempeo.
4. Capacitacin y formacin profesional.
5. Relaciones laborales.
Como ejemplos de los servicios civiles de carrera, a continuacin se

presentan los casos del Servicio Civil de Carrera Policial y del Servicio
Profesional de Carrera en la Administracin Pblica Federal.
1] Servicio Civil de Carrera Policial
Esquema de operacin. Este servicio tiene como fines garantizar la estabilidad y la seguridad en el empleo, con base en un esquema proporcional y equitativo de remuneraciones y prestaciones para los
integrantes; promover la responsabilidad, honradez, diligencia, eficiencia y eficacia en el desempeo de las funciones y en la ptima
utilizacin de los recursos de la institucin; fomentar la vocacin de
servicio mediante la motivacin y el establecimiento de un adecuado
sistema de promociones que permita satisfacer las expectativas de desarrollo profesional de los integrantes; e instrumentar e impulsar la
capacitacin y profesionalizacin permanente de sus miembros, para
asegurar la lealtad institucional en la prestacin de los servicios.
En 2004, el Servicio Civil de Carrera Policial comprendi siete procesos: 1] Reclutamiento; 2] Seleccin; 3] Ingreso; 4] Permanencia; 5]
Promocin; 6] Rgimen de estmulos; y 7] Conclusin del servicio.
rganos desconcentrados, conforme a las bases de datos proporcionadas por la entidad
fiscalizada.
155
El Servicio Civil de Carrera Policial es aplicable a todo el personal

de la Polica Federal Preventiva (pfp), con excepcin de su titular y
los servidores pblicos del rgano interno de control. De los 11805
servidores pblicos adscritos a la pfp en 2004, el 99.9% (11788) pertenecieron al servicio de carrera, como se indica a continuacin:
Servidores pblicos del servicio civil de carrera policial, 2004

Puesto
Total del personal
Plazas no pertenecientes al
servicio
Plazas de servicio
Comisario general
Comisario jefe
Comisario
Inspector general
Inspector jefe
Inspector
Subinspector
Oficial
Suboficial
Sargento primero
Sargento segundo
Cabo
Polica
Plazas
Participacin %
11805
17
100.0
0.1
11788
10
34
44
85
174
499
1058
1255
5573
1419
778
850
9
99.9
0.1
0.3
0.4
0.7
1.5
4.2
9.0
10.6
47.3
12.0
6.6
7.2
0.1
fuente:
Auditora Superior de la Federacin, Informe del Resultado de la Revisin y Fiscalizacin Superior de la Cuenta Pblica 2004, Mxico, 2006.
Principales resultados. La Polica Federal Preventiva (pfp) no cumpli

con la facultad establecida en su ley ni con el objetivo del Plan Nacional de Seguridad Pblica 2001-2006 de implementar el Servicio
Civil de Carrera Policial, ya que no logr consolidar la operacin de
los procesos de permanencia, promocin y rgimen de estmulos,
debido a la falta de autorizacin de las normas y los lineamientos para
156
regir su aplicacin. Por lo anterior, tampoco cumpli con el objetivo

del servicio de promover la responsabilidad, honradez, diligencia, eficiencia y eficacia de los cuerpos policiales; garantizar la estabilidad y
seguridad del empleo; fomentar la vocacin del servicio; e impulsar la
profesionalizacin permanente de sus integrantes, a fin de atender los
problemas de inseguridad pblica y combatir la corrupcin y el abuso
de poder de los cuerpos policiales.
De los siete procesos que integran el Servicio Civil de Carrera Policial, la pfp realiz tres (el reclutamiento, la seleccin y el ingreso) con
base en los procedimientos certificados en 2004 bajo la Norma iso
9001:2000.
En relacin con el proceso de permanencia, la pfp capacit al 57.9%
(6822 elementos policiales) de los integrantes del Servicio Civil de
Carrera Policial y practic el examen toxicolgico al 18.8% de los elementos; sin embargo, no consolid el sistema de profesionalizacin.
La pfp no logr consolidar el proceso de promocin, ya que de un
total de 385 plazas para ascenso, el 87.0% fue ocupada por personal
de nuevo ingreso, lo que afect el cumplimiento del objetivo del servicio de garantizar la estabilidad y seguridad del empleo y fomentar la
vocacin de servicio.
En relacin con el proceso rgimen de estmulos, la pfp careci de
un sistema de evaluacin del desempeo aplicable a los integrantes del
servicio, basado en la productividad y eficiencia, con metas, objetivos,
sanciones y recompensas, que permitiera implementar programas de
mejora continua.
En cuanto al proceso de conclusin del servicio, la Comisin del
Servicio Civil de Carrera Policial dictamin la baja de 704 elementos
(6.0% de los 11788 integrantes) por renuncia, jubilacin e incumplimiento de los requisitos de permanencia.
Con la auditora se comprob la falta de planeacin, programacin
y presupuestacin de las acciones relacionadas con el Servicio Civil
de Carrera Policial; de indicadores para evaluar los resultados de su
aplicacin y del cumplimiento de los objetivos del servicio; de la autorizacin del manual de normas para su instrumentacin y operacin;
y de la definicin de los perfiles de puesto para el ingreso a la pfp.
157
2] Servicio Profesional de Carrera en la Administracin

Pblica Federal
Esquema de operacin. Este servicio tiene como propsito establecer las
bases para la organizacin, funcionamiento y desarrollo del Sistema
del Servicio Profesional de Carrera en las dependencias de la Administracin Pblica Federal Centralizada, para garantizar la igualdad
de oportunidades en el acceso a la funcin pblica con base en el
mrito y con el fin de impulsar el desarrollo de la funcin pblica para
beneficio de la sociedad.
De acuerdo con la Ley del Servicio Profesional de Carrera en la
Administracin Pblica Federal, son principios rectores del Servicio
Profesional de Carrera los siguientes: la legalidad, la eficiencia, la objetividad, la calidad, la imparcialidad, la equidad, y la competencia
por mrito; y comprende la instrumentacin de siete subsistemas: 1]
Planeacin de Recursos Humanos; 2] Ingreso; 3] Desarrollo Profesional; 4] Capacitacin y Certificacin de Capacidades; 5] Evaluacin
del Desempeo; 6] Separacin, y 7] Control y Evaluacin.
El Servicio Profesional de Carrera es aplicable a las dependencias
de la Administracin Pblica Federal Centralizada, con excepcin de
las dependencias de seguridad nacional, seguridad pblica, salud y
relaciones exteriores. En 2005, de las 103 dependencias que conformaron la Administracin Pblica Federal Centralizada, el 74.8% (77)
estuvieron sujetas al Servicio Profesional de Carrera, como se indica
a continuacin:
Dependencias de la administracin pblica federal sujetas al servicio
profesional de carrera, 2005
Descripcin
Total de dependencias de la Administracin
Pblica Centralizada
Sujetas al Servicio Profesional de Carrera
No sujetas al Servicio Profesional de Carrera
Plazas
Participacin
%
103
100.0
77
26
74.8
25.2
Dependencias de la administracin pblica (continuacin)
158
Descripcin
Fuerzas armadas
Seguridad pblica
Salud
Relaciones exteriores
Otros 1/
Plazas
2
10
3
5
6
Participacin
%
7.7
38.5
11.5
19.2
23.1
fuente:
Auditora Superior de la Federacin, Informe del Resultado de la Revisin y Fiscalizacin Superior de la Cuenta Pblica 2005, Mxico, 2007.
1/
Centro de Investigacin y Seguridad Nacional, Servicio de Administracin Tributaria, Tribunales Agrarios, Tribunal Federal de Conciliacin y Arbitraje, Tribunal Federal
de Justicia Fiscal y Administrativa, y Consejo Nacional de Ciencia y Tecnologa.
Respecto de las plazas sujetas al Servicio Profesional de Carrera,

stas corresponden a los niveles de: director general, director general
adjunto, director de rea, subdirector de rea, jefe de departamento
y enlace, que en 2005 sumaron 42944 servidores pblicos, esto es, el
7.0% de las plazas adscritas a la Administracin Pblica Federal Centralizada.
Principales resultados. Se evalu el cumplimiento de los objetivos de
establecer las bases de organizacin, funcionamiento y desarrollo
del Sistema del Servicio Profesional de Carrera, para garantizar la
legalidad, eficiencia, objetividad, calidad, imparcialidad, equidad y
competencia por mrito en la Administracin Pblica; de la implementacin de los subsistemas de Planeacin, de Recursos Humanos,
de Ingreso y de Capacitacin y Certificacin de Capacidades; y de la
aplicacin de los recursos destinados a su operacin. Se determinaron
los resultados siguientes:
En 2005, la sfp estableci las bases para la organizacin, funcionamiento y desarrollo del Sistema Profesional de Carrera (spc), en 77 dependencias de la administracin pblica centralizada. Se registraron
avances en su operacin en 75 de ellas, con 508.5 puntos (50.8%) de los
1000 establecidos por la secretara para 2006, ao en el que deba funcionar el sistema en su totalidad. En la organizacin, funcionamiento
y operacin del sistema, las dependencias y rganos desconcentrados
erogaron 243109.7 miles de pesos, lo que signific un promedio de 5.9
miles de pesos por servidor pblico.
159
De los siete subsistemas que integran el spc, en 2005 operaron

cuatro de ellos: Planeacin de Recursos Humanos; Ingreso; Capacitacin y Certificacin de Capacidades; y, Control y Evaluacin. Los
tres subsistemas restantes (Desarrollo Profesional, Evaluacin del Desempeo y Separacin) registraron avances en su organizacin para su
posterior funcionamiento y operacin en 2006.
Por lo que hace al Subsistema de Planeacin de Recursos Humanos, de las 77 dependencias sujetas al spc, 71 de ellas certificaron
su estructura orgnica e integraron el Catlogo de Puestos, a las que
estuvieron adscritas 41724 plazas de las 42944 que forman el spc ; 39
contaron con gabinetes de apoyo; 3 definieron puestos de libre designacin; 11 determinaron puestos clave; 24 registraron movimientos
laterales; y 33 establecieron puestos de ocupacin temporal.
Respecto del Subsistema de Ingreso, de las 77 dependencias sujetas
al spc, 59 sometieron a concurso 2509 plazas mediante 2930 concursos por convocatoria pblica y abierta, de las que 2163 fueron concursadas una sola vez y 346 en ms de una ocasin; de las 2509 plazas
concursadas, 1524 (60.7%) se declararon ganadas en 2005.
Con la evaluacin realizada a este subsistema, no fue posible verificar que todas las plazas vacantes se concursaron, ya que en 2005 no
se consolid el procedimiento para identificar la situacin organizacional del 23.8% de las 41164 plazas adscritas al spc que estuvieron
vacantes en algn periodo del ao. De una muestra de 208 concursos
ganados, en 79 de ellos el ganador no result el mejor evaluado, y 9
candidatos de director general y director general adjunto que resultaron ganadores en el proceso de seleccin ingresaron al spc sin acreditar las evaluaciones gerenciales respectivas.
En el Subsistema de Capacitacin y Certificacin de Capacidades,
de las 77 dependencias sujetas al spc, 66 de ellas capacitaron el 38.9%
de los servidores pblicos del servicio en la capacidad gerencial o
directiva, y 56 dependencias capacitaron el 33.9% en la capacidad
tcnica transversal. En 2005, ningn servidor pblico logr su certificacin en las capacidades profesionales adquiridas. Finalmente, en el
Subsistema de Control y Evaluacin, la sfp defini 24 indicadores para
evaluar la operacin del sistema de manera gradual, y mediante el
sistema mi dEspc/Banderas blancas evalu y control la implementacin del spc.
160
3. el uso del anlisis de benchmarking para medir el desempeo

de una organizacin
Otra de las aportaciones innovadoras de los aos noventa al tema

del desempeo administrativo de las instituciones fue el concepto
llamado por la metodologa anglosajona benchmarking competitivo.
ste es un procedimiento que brinda a los administradores un mtodo
que puede ser aplicado a cualquier medida y que tiene un efecto detonador en el trabajo.
El origen de esta palabra se encuentra en las marcas distintivas que se
hacan en una roca o en una pared. Era una referencia que determinaba
la posicin topogrfica o la altitud en que se encontraba una persona.
En trminos generales, se trata de un punto desde el cual se pueden
realizar contrastes que comparan una forma de trabajar con otra.
En la actualidad las empresas buscan formas y frmulas que las dirijan hacia una productividad y calidad mayor para poder ser competitivas y alcanzar niveles de desempeo y eficiencia equiparables a las
mejores empresas del mundo en su ramo. Una de estas herramientas
o frmulas es el benchmarking.
Existen varios autores que han estudiado y definido este tema:
David T. Kearns, director general de Xerox Corporacin. Benchmarking es el proceso continuo de medir productos, servicios y
prcticas contra los competidores ms duros o aquellas compaas
reconocidas como lderes en la industria.
Robert C. Camp. Benchmarking es la bsqueda de las prcticas de la
industria que conducen a un desempeo excelente.
Bengt Kallf y Svante stblon. Benchmarking es un proceso sistemtico y continuo para comparar nuestra propia eficiencia en trminos de productividad, calidad y prcticas con aquellas compaas
y organizaciones que representan la excelencia.
Michael J. Spendolini. Benchmarking es un proceso sistemtico y continuo para evaluar los productos, servicios y procesos de trabajo de
las organizaciones que son reconocidas como representantes de las
mejores prcticas, con el propsito de realizar mejoras organizacionales.
De las anteriores definiciones se puede concluir que benchmarking
es una herramienta para determinar el posicionamiento de una em-
161
presa o ente pblico respecto de las mejores prcticas operativas en

la materia a nivel internacional mediante un proceso continuo y constante de medicin y de comparacin, con el propsito de establecer
las brechas de desempeo existentes en relacin con los estndares
internacionales, y adoptar medidas organizacionales para abatir gradualmente las brechas determinadas y alcanzar un desempeo similar
al de las empresas lderes en el ramo.
El benchmarking es una herramienta valiosa de administracin
debido a que proporciona un enfoque disciplinario y lgico para comprender y evaluar de manera objetiva las fortalezas y debilidades de
una empresa o compaa en comparacin de las mejores prcticas en
la materia. Es un proceso sistemtico que busca las mejores prcticas,
las ideas ms innovadoras y sugiere procedimientos operacionales
ms efectivos que conduzcan hacia un desempeo de alta calidad.
Un aspecto importante en el proceso de benchmarking es la revisin
de los sistemas de evaluacin del desempeo, que muestran los indicadores mediante los cuales se miden los bienes, servicios o prcticas de
las instituciones lderes en el ramo.
A continuacin se presentan los subapartados siguientes: benchmarking para la identificacin de indicadores, benchmarking para el
establecimiento de metas y benchmarking para el establecimiento de
estndares.
3.1. Benchmarking para la identificacin de indicadores

Todas las entidades pblicas y privadas realizan, en alguna forma,
mediciones de sus diversos procesos y resultados, para lo cual tienen
definido un conjunto de indicadores estratgicos y de gestin.
Por ejemplo, en la industria elctrica nacional las empresas pblicas, como la Comisin Federal de Electricidad y Luz y Fuerza del
Centro, cuentan con una amplia gama de indicadores para medir cada
uno de sus procesos productivos, as como los resultados estratgicos.
Sin embargo, ese conjunto de indicadores no necesariamente es apropiado para medir de manera universal el desempeo de las empresas
elctricas en el mundo dado que responden a situaciones particulares
de estas dos empresas estatales mexicanas.
Para determinar el posicionamiento de una organizacin respecto
de las empresas lderes en su ramo hay que realizar mediciones y com-
162
paraciones. Para ello, se tienen que utilizar los mismos medidores que
emplean las empresas de clase mundial.
Los estudios de benchmarking permiten a una organizacin identificar los principales indicadores bajo los cuales la prctica internacional mide el desempeo de las empresas internacionales. Por
ejemplo, en materia de energa elctrica, se presentan tres casos:
El primero, se refiere al estudio comparativo de los resultados de
la cfe con los resultados de empresas de clase mundial de los indicadores de disponibilidad propia, eficiencia trmica y confiabilidad en
el arranque para el proceso de generacin, en los que se registraron
los resultados siguientes:
Comparativo de los resultados de la cfe en el proceso de generacin
respecto de estndares internacionales, 2006 (porcentajes)
fuente:
Secretara de Hacienda y Crdito Pblico, Cuenta de la Hacienda Pblica Federal

2006; y Comisin Federal de Electricidad, Indicadores Internacionales, Subdireccin de Generacin.
Los resultados de la grfica anterior muestran que la disponibilidad de la infraestructura de generacin de la cfe fue superior en 0.9
puntos porcentuales al estndar internacional; el ndice de eficiencia
trmica de la cfe fue inferior en 1.7 puntos porcentuales al estndar
internacional; y la confiabilidad en el arranque de la cfe fue inferior
en 1.3 puntos porcentuales al estndar internacional.
Por lo que se refiere a productividad por trabajador, los resultados
del ndice de ventas por trabajador de cfe respecto de siete empresas
de clase mundial fueron los siguientes:
163
Ventas por trabajador de la cfe y de empresas de clase mundial, 2006

(megawatts / trabajador)
fuente:
Comisin Federal de Electricidad, Reporte del ndice de Ventas (MWh)/trabajador

de Empresas Mundiales.
En materia de productividad por trabajador, la cfe se ubic en el

ltimo lugar del grupo, y sus ventas por trabajador en 2006 fueron de
2784.0 MW, esto es, menor en 47.8% que el promedio de empresas de
clase mundial como Endesa de Espaa y Portugal, Tepco de Japn, E.
ON de Europa Central, edf Energy de Inglaterra, enel de Italia, edf sa
de Francia y pge de Estados Unidos.
En relacin con el precio medio de empresas de clase mundial por
sector, los resultados fueron los que se muestran en el cuadro de la
siguiente pgina.
Del cuadro siguiente se desprende que en 2006 el precio promedio
de venta de energa elctrica de la cfe fue competitivo respecto de
los precios promedio de venta de las empresas de clase mundial de
Estados Unidos, Espaa, Canad y Japn.
En comparacin con los estndares internacionales, la disponibilidad de la infraestructura de generacin de la cfe fue superior en 0.9
puntos porcentuales; el tiempo de interrupcin registr un resultado
favorable para la cfe, ya que su ndice fue menor en 57.6%; y los
precios promedio de la energa de la cfe fueron menores en 38.5% en
el sector residencial, en 8.4% en el comercial, en 2.6% en el mediana
industria y 14.8% en el gran industria. En el caso del ndice de eficiencia trmica, su resultado fue inferior en 1.7 puntos porcentuales al
2006.
fuente:
cfe
Mxico
Estados Unidos
Japn
Canad
Espaa
Estados Unidos
Estados Unidos
Pas de origen
2.5739
2.1593
1.7858
1.0582
0.0478
0.7487
1.56
0.96
Residencial
Precios medios
Mediana
Comercial
industria
2.5224
2.2040
1.3267
1.2285
1.6894
0.9583
1.2988
1.1537
0.9126
0.7990
0.8173
0.6517
1.43
1.17
1.31
1.14
2.3632
0.8946
0.8401
0.7612
0.7221
0.4862
1.01
0.86
Gran industria
Comisin Federal de Electricidad, Reporte de Precios Medios de Empresas de Clase Mundial 2006, y Reportes de Precios Medios de la cfe,
Consolidated Edison Co. of N.Y.

Chubu Electric Power Co. Tric
Atco Electric
Iberdrola
Progres Energy Inc.
Pacific Corp.
Promedio
Empresa
Precios medios de empresas de clase mundial, 2006 (pesos/Kilowatt hora)
164
165
estndar internacional y la confiabilidad en el arranque en 1.3 puntos

porcentuales; la productividad medida en ventas por trabajador fue
inferior en 47.8% al promedio de empresas de clase mundial.
3.2. Benchmarking para el establecimiento de metas

Los estudios de benchmarking muestran las brechas de desempeo
actual del ente respecto de las empresas con las mejores prcticas.
Estas brechas pueden ser de tres tipos:
a] Brecha negativa. Significa que las prcticas externas son mejores
que las del ente evaluado.
b] Operaciones en paridad. Significa que no hay diferencias importantes en las prcticas respecto de los competidores.
c] Brecha positiva. Las prcticas internas son superiores, por lo que el
benchmarking se basa en los hallazgos internos.
Una vez que se definieron las brechas de desempeo, es necesario
establecer una proyeccin de los niveles de desempeo futuro. Se
trata de establecer metas funcionales respecto de los hallazgos del
benchmarking y convertir dichas metas en principios de operacin
que cambien los mtodos y las prcticas de manera que se cierren las
brechas de desempeo existentes. Para ello, se tienen que convertir
en accin los hallazgos del benchmarking y los principios operacionales
basados en ellos.
3.3. Benchmarking para el establecimiento de estndares

Los estudios de benchmarking tambin sirven para definir estndares
de desempeo, entendidos stos como lo mejor en prcticas operativas en la rama institucional de que se trate.
Estos estndares constituyen el resultado a alcanzar en los diferentes productos, servicios o procesos que se realizan en un ente.
Son el punto de comparacin para las evaluaciones que se realicen
del desempeo. Son el punto de referencia para la medicin del
desempeo de las organizaciones y para la determinacin de las
brechas existentes. En funcin de los estndares internacionales de
166
prcticas operativas las organizaciones que utilizan estudios de benchmarking determinan sus metas de desempeo futuro, a fin de mejorar la operacin dentro de la organizacin y reducir las brechas
existentes.
Los estndares deben estar actualizados permanentemente en un
mercado de condiciones cambiantes, de manera que se asegure el desempeo excelente. Para ello, es importante realizar una evaluacin en
aspectos como la comprensin del proceso de benchmarking, la comprensin de las mejores prcticas, la importancia y valor; lo adecuado
para fijar metas es ver qu aspecto necesita una recalibracin. Por
ejemplo, en el Programa Sectorial de Energa (prosener) 2001-2006,
se estableci como objetivo estratgico asegurar el abasto suficiente
de energticos con estndares internacionales de calidad y precios
competitivos, y contar para ello con empresas energticas pblicas y
privadas de clase mundial.
Los resultados de las auditoras practicadas a los organismos subsidiarios de Petrleos Mexicanos han evidenciado brechas importantes
del desempeo de esos organismos respecto de los estndares internacionales.
En Pemex Exploracin y Produccin, el resultado de la tasa anual
de incorporacin de reservas es del 60%, en tanto que la prctica internacional es de entre 100 y 105%; en tanto que el ndice de envo de
gas a la atmsfera en ese organismo es del 5% de la produccin anual,
el estndar es del 2 por ciento.
En Pemex Refinacin, de acuerdo con un estudio de posicionamiento referenciado del periodo 2000-2004 realizado por la Compaa Salomn, el valor estndar de personal equivalente del Sistema
Nacional de Refinacin (snr) para el ao 2004 fue de 38.9 trabajadores por cada 100 mil unidades de destilacin equivalente (edc).
Se precis que el ndice de personal equivalente alcanzado en 2004
por Pemex Refinacin en el snr fue de 187.9 personas por cada 100
mil edc, valor superior en 383.0% al estndar de las refineras de la
cngm, e inferior en 12.4% al resultado promedio del periodo 20002002, como se observa en el cuadro siguiente:
167
ndice de personal equivalente, 2000-2004 (personal equivalente

por cada 100 mil edc)
Aos
Concepto
2000
2002
(1)
(2)
cngm
35.1
39.0
snr
226.5 202.6
Cadereyta
237.7 144.8
Madero
380.6 286.0
Minatitln
330.9 316.5
Salamanca 215.3 183.9
Salina Cruz 153.6 162.4
Tula
170.8 190.9
Promedio
2000-2002 Estndar
(3)
(4)
37.1
34.0
214.6
38.9
191.2
34.7
333.3
38.9
323.7
42.5
199.6
42.5
158.0
38.9
180.8
34.7
2004
Resultado
Brecha
(5)
(6)=(5)-(4)
n.d.
n.a.
187.9
149.0
132.7
98.0
214.5
175.6
230.8
240.8
230.8
188.3
149.4
110.5
183.0
148.3
fuente:
Pemex Refinacin, Reporte de los resultados del posicionamiento referenciado en materia de produccin, 2000-2004.
n.d.: No disponible.
n.a.: No aplicable.
El organismo precis que la brecha en el ndice de personal equivalente respecto del estndar de las refineras de la cngm se debe a
que las plantillas de personal que se tienen en el Sistema Nacional de
Refinacin son ms amplias que las de las refineras de la cngm, ya que
estas ltimas no incluyen personal de mantenimiento y tienen una
menor cantidad de personal administrativo en comparacin con el
que se tiene en el snr.
4. reflexin capitular
De lo expuesto en este captulo se concluye que medir el desempeo
de los entes fiscalizados en la aplicacin de las polticas pblicas es
una tarea compleja y vasta, en la cual se enfrentan diversos retos como
la insuficiencia de indicadores para realizar la medicin y la falta de
objetivos, metas o informacin para su determinacin.
La tarea de medicin del desempeo requiere de herramientas
bsicas, como los indicadores de desempeo que conforman el ta-
168
blero de control. A partir de ellos, se puede obtener informacin de

manera rpida y precisa sobre los resultados obtenidos por cualquier
ente respecto de las seis dimensiones o vertientes de revisin del desempeo que son la eficacia, eficiencia, economa, calidad, opinin del
ciudadano usuario y la competencia de los actores. Estas vertientes
explican de manera conjunta el desempeo de un programa o una
institucin.
Asimismo, la medicin del desempeo requiere de comparaciones
respecto de las mejores prcticas en la materia de que se trate. Para
ello, el anlisis de benchmarking es un mtodo de gran ayuda en esta
tarea, ya que permite determinar las fortalezas y debilidades de una
organizacin, as como las brechas de su desempeo respecto de las
mejores prcticas.
SOBRE LA EVALUACIN DE POLTICAS PBLICAS1

mauricio merino
Escribir sobre la evaluacin de las polticas pblicas es una tarea difcil, principalmente porque todava no existe un acuerdo acadmico
o profesional definitivo sobre el significado y los alcances de la evaluacin como tal. Por el contrario, durante los ltimos veinte aos del
siglo pasado y el principio del siglo xxi, la evolucin de los medios para
allegarse y procesar informacin, la dilucin paulatina de los viejos
parmetros polticos que solan utilizarse para emitir juicios sobre el
desempeo de los gobiernos y la prdida de identidades ideolgicas y
propsitos nacionales de largo aliento, han despertado una discusin
indita sobre el sentido, los alcances y los usos de las distintas formas
que puede tomar una evaluacin. Si ya era difcil antes, no es casual,
por ejemplo, que en las muy conocidas antologas sobre polticas pblicas editadas por Luis F. Aguilar hacia inicios de los aos noventa,
los temas fueran los problemas pblicos y el estudio, la hechura y la
implementacin de polticas, pero no la evaluacin, en nuestros das
es an ms arduo estar seguros de lo que estamos pidiendo, cuando
solicitamos una evaluacin de polticas.2
La Auditora Superior de la Federacin ha editado varios manuales
cuidadosos y de carcter pedaggico que se emplean en el estudio de
los mtodos cuantitativo y cualitativo, en el anlisis e interpretacin
de la informacin. Otras publicaciones recientes se han hecho a consecuencia de las evaluaciones obligadas por el Consejo Nacional de
Evaluacin de la Poltica de Desarrollo Social (coneval) en materia
1
Mauricio Merino, Sobre la evaluacin de polticas pblicas. Lectura para auditores,
Mxico, Auditora Superior de la Federacin, Auditora Especial de Desempeo, 2009,
pp. 3-41.
2
Luis F. Aguilar (ed.), La implementacin de las polticas, Mxico, Miguel ngel Porra,
1993; El estudio de las polticas pblicas, Mxico, Miguel ngel Porra, 1992; La hechura de
las polticas, Mxico, Miguel ngel Porra, 1992; Problemas pblicos y agenda de gobierno,
Mxico, Miguel ngel Porra, 1993.
[169]
170
mauricio merino
de polticas de desarrollo social;3 se han realizado esfuerzos por definir el sentido de la evaluacin de la funcin pblica en Mxico o
de la fiscalizacin superior, emprendidos por autores como Alejandro
Oropeza o Aime Figueroa,4 de la Universidad de Guadalajara, y, en
otro sentido, por organizaciones sociales de muy diversa ndole, entre
los que se destacan los trabajos emprendidos por Gestin Social y
Cooperacin (gesoc, A.C.),5 dirigida por Alejandro Gonzlez; o por
fundar, que ha realizado esfuerzos muy encomiables por evaluar
las polticas de subsidios y el gasto pblico mexicano.6 De la misma
manera, el cide ha emprendido esfuerzos para evaluar las decisiones
econmicas del pas y la orientacin de sus polticas sociales.7 stos
son slo algunos de los esfuerzos recientes por definir, comprender y
utilizar con la mayor utilidad posible las herramientas de investigacin
3
En particular, el trabajo publicado por Fernando Corts, Agustn Escobar y Mercedes Gonzlez, Mtodo cientfico y poltica social. A propsito de las evaluaciones cualitativas de
programas sociales, Mxico, El Colegio de Mxico, Centro de Estudios Sociolgicos, 2008.
4
Aime Figueroa Neri (directora), Cuenta Pblica en Mxico. Evaluando el laberinto
legal de la fiscalizacin superior, Mxico, Universidad de Guadalajara, 2005. Alejandro
Oropeza Lpez, La evaluacin de la funcin pblica en Mxico, Mxico, Barcelona, Plaza
y Valds, 2005.
5
gesoc, A.C. public en 2008 Gobernar por resultados? Implicaciones de la poltica de evaluacin del desempeo del gobierno mexicano, coordinado por Alejandro Gonzlez Arreola,
en el que analiza la pertinencia del diseo de las reformas deevaluacin del desempeo
en Mxico ysu potencial para mejorarlacalidad delgastopblicoyla modernizacin
de la administracin pblica.
6
fundar encabeza el proyecto Subsidios al campo en Mxico, disponible en lnea en:
www.subsidiosalcampo.org.mx. Adems, ha publicado varios estudios relevantes sobre
el gasto pblico en distintas ramas y temticas, disponibles en lnea en: www.fundar.
org.mx.
7
Los esfuerzos ms recientes son: Alejandro Villagmez y Juan Ignacio Hernndez,
Impacto de la reforma al sistema de pensiones en Mxico sobre el ahorro, Divisin de Economa,
Documento de Trabajo nm. 453, Mxico, cide, 2009. John Scott, Agricultural Policy and
Rural Poverty in Mexico, Divisin de Economa, Documento de Trabajo nm. 395, Mxico,
cide, 2007. Kurt Unger, El desarrollo econmico y la migracin mexicana: el tlcan e impactos en
las regiones, Divisin de Economa, Documento de Trabajo nm. 361, Mxico, cide, 2006.
Judith Mariscal, Convergencia tecnolgica y armonizacin regulatoria en Mxico: una evaluacin
de los instrumentos regulatorios, Divisin de Administracin Pblica, Documento de Trabajo
nm. 201, Mxico, cide, 2007. Teresa Bracho Gonzlez y Giulianna Mendieta Melgar, El
proceso de focalizacin y las estrategias estatales de seleccin de beneficiarios: El caso del Programa
Escuelas de Calidad, Divisin de Administracin Pblica, Documento de Trabajo nm. 177,
Mxico, cide, 2006. Mauricio Merino e Ignacio Macedo, La poltica autista. Crtica a la red
de implementacin municipal de la Ley de Desarrollo Rural Sustentable, Divisin de Administracin Pblica, Documento de Trabajo nm. 168, Mxico, cide, 2005.
sobre la evaluacin de polticas pblicas
171
que se agrupan en torno a la idea y las prcticas de la evaluacin. Si

a esa lista se aadieran los mtodos y las propuestas publicadas en
fechas ms recientes por organismos internacionales como el Banco
Mundial, el pnud o el fmi, y por organismos continentales como el
bid o la cepal, se vera enseguida que las ideas, los mtodos y las referencias sobre la evaluacin de las decisiones de los gobiernos y sobre
la forma en que utilizan los recursos pblicos y su fuerza normativa,
se han multiplicado y se han vuelto mucho ms complejos durante los
ltimos aos. Tanto, que en ocasiones, tras la lectura de algunos de
esos trabajos, se llega a pensar con sinceridad que la evaluacin corre
el riesgo de convertirse en un catlogo de metodologas que compiten
por construir verdades a modo de quien las ha diseado y que acaban
por abandonar sus propsitos. Evaluaciones que se convierten en
fines: ejercicios intelectuales ms o menos sofisticados y ms o menos
complejos, que se imponen a la postre sobre el objeto evaluado. Si
se me permite una metfora para explicarme mejor, pienso que se
parecen a los amores que siente un adolescente: son tan intensos, que
mueren de amor pero olvidan a la persona que amaban.
Segn la Real Academia de la Lengua Espaola, evaluar significa
sealar el valor de una cosa, y con ms precisin estimar, apreciar,
calcular el valor de una cosa. Dicho de otra manera, se trata de un ejercicio que se realiza sobre algo ms, de modo que ninguna evaluacin
puede ser valiosa por s misma, con independencia de la cosa cuyo valor
quiere estimar, apreciar o calcular. Se puede discutir hasta la nusea
si algunos mtodos resultan ms eficaces que otros para estimar esos
valores. Si, en efecto, utilizar ciertas herramientas de comparacin
estadstica entre variables complejas es ms pertinente que emplear
modelos economtricos tipo panel para determinar el valor de una determinada decisin de poltica pblica; o se puede insistir en que el levantamiento de informacin por medio de entrevistas a profundidad
con actores relevantes de un proceso determinado es ms til que
hacer una encuesta para recuperar percepciones; o decir que las series
de tiempo para situar los impactos que ha tenido una cierta inversin
de recursos pblicos son ms precisas que los estudios de costo-beneficio sin referencias al momento anterior; etctera. Pero en todos estos
casos, lo que estaremos discutiendo es, a fin de cuentas, el mtodo (es
decir, el camino) ms adecuado para estimar, apreciar o calcular el
valor de una cosa. De modo que, en principio, todas esas discusiones
resultan intiles, aunque no banales, si no se identifica con exactitud y
172
mauricio merino
de modo previo de qu estamos hablando: cul es esa cosa cuyo valor,

segn el diccionario, amerita ser estimado, apreciado, calculado? Para
optar por un determinado mtodo y seleccionar cul de ellos es mejor
para establecer el valor que buscamos, es necesario saber, primero,
de qu estamos hablando. Es algo sencillo que ejemplifica la teora
del caldo de pollo (para que haya caldo de pollo debe haber pollo),
para poder evaluar una poltica, primero hay que tener una poltica.
Se podra escribir mucho ms sobre las razones que hubo, durante
la segunda mitad del siglo xx, para que el enfoque de polticas pblicas se impusiera sobre otras formas previas de evaluar la accin
pblica. Si esta discusin hubiera tenido lugar en los aos cincuenta
del siglo xx, el lenguaje sera muy diferente. Quiz se hablara de los
planes trazados, de los propsitos polticos y sociales que se persiguen
y de la necesidad de apreciar los resultados del trabajo gubernamental
a partir de valores genricos como la justicia social, el trabajo o el
acceso a los servicios pblicos y beneficios otorgados por el Estado
benefactor. Si esta conversacin hubiera sucedido en los aos sesenta
o setenta, quiz se estara argumentando que lo fundamental sera conocer la evolucin de los indicadores econmicos que se desprenden
de los programas establecidos por el gobierno y llevados a cabo junto
con ciertos actores sociales, empresariales y colectivos. Se hablara,
tal vez, del alcance de las obras pblicas emprendidas, del nmero de
personas que eventualmente se habran beneficiado de las inversiones
realizadas y hasta de las expectativas que los planes y programas habran despertado en la organizacin de la sociedad. Tal vez se aadiran algunos elementos propios de la teora de las organizaciones.
Pienso que se discutira todo eso, porque entonces se tena una concepcin del papel que deba desempear el gobierno mucho ms ambiciosa que la que tenemos ahora, al principio del siglo xxi.
Cuando se hablaba de organizacin y de planeacin, en realidad
se estaba hablando de la mejor forma posible de organizar los medios
disponibles por el Estado para imaginar y emprender grandes proyectos pblicos, capaces de mejorar las condiciones de vida para la
gran mayora de la sociedad. Se pensaba que el gobierno era el motor
de la economa y tambin el nico responsable de garantizar condiciones para la justicia social y para abatir la desigualdad. De ah que,
en aquellos momentos, evaluar equivala mucho ms a juzgar los resultados efectivamente obtenidos por el conjunto de la economa, de
la sociedad y la estabilidad poltica, que a emitir calificaciones, estimar
173
el valor, sobre un determinado programa. No se evaluaba tanto una

oficina o una accin determinada como el resultado alcanzado por
el conjunto de las decisiones pblicas. De ah que los informes pblicos (la tradicin de los presidenciales, en particular), los grandes
nmeros y las grandes tendencias, se impusieran a la hora de juzgar si
las decisiones tomadas y los recursos invertidos efectivamente haban
sumado valor a la sociedad. Si calidad es el valor aadido por cada
unidad de tiempo invertido, lo que se evaluaba en aquellos aos era la
relacin entre los grandes objetivos y las grandes decisiones tomadas.
Y, adems, dicho sea de paso, la verdad es que haba medios mucho
ms laxos para juzgar si los servidores pblicos haban empleado los
dineros que se les haban asignado con honestidad. Pero se era un
propsito diferente.
Aquel modelo de grandes planes, grandes objetivos y grandes
tendencias fracas, sin embargo, hacia el ltimo cuarto del siglo
pasado. Las crisis econmicas acabaron convertidas en la crisis
del Estado del bienestar (el Welfare State, como se le conoca
en ingls) y tambin en la destruccin de los modelos grandilocuentes que haban propuesto los regmenes socialistas. Si en
1977 se declar la ruptura del Estado del bienestar (para fijar
en cambio el estado del malestar, como le llam en su momento
Ramn Cotarelo), 8 para 1989 la cada del muro de Berln y la
quiebra del modelo sovitico obligaron a pensar en las posibilidades de accin de los gobiernos en trminos ms modestos
y, a la vez, ms frugales, ms eficientes y ms eficaces. La propuesta de abandonar el gobierno de planes grandilocuentes y
omnicomprensivos, para comenzar a gobernar por polticas, no
naci del xito sino del fracaso del modelo anterior. Aprender as
a seleccionar mejor, a precisar ms y a ser mucho ms eficientes
se volvi una clave indispensable para recuperar la capacidad del
Estado en la solucin o, al menos, en la gestin de los principales
problemas pblicos.
As, gobernar dej de ser un ejercicio casi omnipotente destinado a
crear y distribuir bienestar entre la sociedad, para volverse un asunto
de seleccin de problemas. Si hace mucho tiempo se deca que gobernar era poblar, y despus, que gobernar era desarrollar; ahora,
8
Ramn Garca Cotarelo, Del estado del bienestar al estado del malestar: la crisis del estado
social y el problema de legitimidad, Madrid, Centro de Estudios Constitucionales, 1990.
174
mauricio merino
con ms modestia, decimos que gobernar es seleccionar. Dado que el

gobierno ya no puede resolver todos los problemas pblicos, entonces
debe aprender a seleccionar cules atender, de qu modo lo har y
con qu medios. Gobernar es seleccionar, y por eso las polticas pblicas se han convertido en el enfoque ms utilizado en nuestros das
para darle sentido a las tareas del Estado, pues disear polticas es un
ejercicio que consiste, en principio, en seleccionar y definir los problemas pblicos que el Estado puede y quiere atender.
Las polticas pblicas son una seleccin y una definicin de problemas. Consisten, en rigor, en la utilizacin de los medios que tiene
a su alcance el Estado para decidir en qu asuntos intervendr y hasta
qu punto lo har. Las polticas pblicas son decisiones del Estado
que se originan en un proceso poltico previo mediante el cual se seleccionan y se definen problemas pblicos. Son decisiones polticas,
pues a pesar de todas las debilidades que haya mostrado el Estado
durante los ltimos aos, ese Estado, deca Daniel Bell, que se ha
vuelto demasiado pequeo para resolver los grandes problemas del
mundo y demasiado grande para resolver los pequeos problemas de
los individuos,9 ese Estado sigue teniendo el monopolio legtimo de
la coercin fsica, sigue siendo la mayor organizacin poltica de la
sociedad y sigue produciendo las normas mediante las cuales sucede
la convivencia. De modo que tras las polticas pblicas hay decisiones
de poder, tomadas por el Estado o bajo el cobijo de las normas y de las
estructuras de autoridad generadas por esa organizacin poltica. Decisiones que reclaman del Estado la eleccin de problemas pblicos y
de las distintas alternativas de accin que eventualmente puede seguir
para modificar el status quo que le motiv a actuar.
Seleccionar las polticas que adoptar el Estado supone, en consecuencia, definir los problemas que quiere atender. En este ltimo
punto, se juega, quiz, la mayor parte del contenido de las polticas
y su sentido poltico y social. No hay ningn ejercicio ms relevante
para el diseo, la implementacin y la evaluacin de las polticas pblicas que el momento en el que se definen los problemas pblicos que
sern atendidos por el Estado. De ese ejercicio intelectual, poltico y
econmico, depende el curso que seguir el resto del proceso de las
polticas.
9
Daniel Bell, Las contradicciones culturales del capitalismo, Madrid, Alianza Editorial,
1989; Las muchas facetas del siglo xx, Letras Libres, nm. 10, octubre de 1999, pp. 10-19.
175
Creo que el autor que mejor ha explicado la importancia de la

definicin de problemas pblicos como la clave principal de todo el
enfoque de polticas es Giandomenico Majone.10 Y lo ha hecho con
una metfora que identifica a las polticas pblicas con los programas
de investigacin cientfica. En estos ltimos, como bien se sabe, una
comunidad cientfica determinada comparte un conjunto de conocimientos, de saberes que les dan sentido a sus investigaciones e incluso
a sus vocaciones, al que Imre Lakatos llam ncleo duro: esas tesis,
ese conjunto de certezas, que forman el corazn mismo de la disciplina cientfica de la que estemos hablando.11 En torno de ese ncleo
duro, hay, a su vez, un cinturn de proteccin: hiptesis y pruebas
que se realizan de manera cotidiana por esa comunidad cientfica
para demostrar o para falsear las tesis centrales del ncleo duro y
para aadir conocimientos nuevos, evidencias adicionales, certezas
nuevas a la disciplina. Se le llama cinturn de proteccin, porque las
hiptesis que lo forman pueden cambiar, ajustarse, fracasar incluso,
sin que el ncleo duro de la disciplina se quiebre ni se abandone.
Al contrario, mientras ms pruebas se hacen en el cinturn de proteccin y mientras ms datos y evidencias surgen de l, mayor certidumbre se tiene sobre los conocimientos reunidos en el ncleo duro
de la disciplina.
Pues bien, Majone propone una analoga entre los programas de
investigacin cientfica y las polticas pblicas, y sugiere la existencia
de un ncleo duro tambin para las polticas, en el que estn las
convicciones firmes derivadas de una definicin previa del problema
que se quiere atender; y un cinturn de proteccin, en el que estn
los procedimientos, las reglas operativas, las decisiones cotidianas, los
recursos, los responsables y hasta las oficinas que se utilizan para que
el ncleo duro de la poltica pueda llevarse a cabo. En el ncleo
de una poltica hay, al menos, tres cosas que no pueden pasarse por
alto: la primera se refiere a la causalidad del problema que se quiere
atender. Las causas que, a juicio del analista de polticas y de quien
toma las decisiones, han generado el problema que se ha seleccionado
10
Giandomenico Majone, Evidencia, argumentacin y persuasin en la formulacin de polticas, Mxico, Colegio Nacional de Ciencias Polticas y Administracin Pblica/Fondo
de Cultura Econmica, 1998.
11
Imre Lakatos, The methodology of scientific research programmes, Cambridge, Cambridge University Press, 1978.
176
mauricio merino
por el Estado; la segunda, a la forma en que quiere modificarse el

status quo: al punto al que quiere llegarse o, si se prefiere, al resultado
puntual que quiere producirse tras la intervencin del Estado; y la
tercera, a la argumentacin exacta sobre el sentido y el propsito de la
poltica que se est llevando a cabo, a partir de los valores que se defienden y que le dan sentido a la intervencin. Majone acierta, creo yo,
cuando subraya que la definicin de un problema pblico no equivale
a la descripcin periodstica, efectista, de una determinada situacin
problemtica. Definir un problema no consiste en decir, por ejemplo,
que hay cinco millones de personas que no tienen casa o que existen
cuarenta millones de mexicanos en situacin de pobreza alimentaria.
Definir el problema significa encontrar las causas por las que esa situacin est sucediendo, y hacerlo, adems, de manera que existan
soluciones factibles; significa encontrar la causalidad y la factibilidad
en torno de una situacin problemtica. Por qu no tienen un lugar
para vivir tantos millones de personas o por qu no pueden salir de
la condicin de pobreza extrema en la que estn? La poltica pblica
no puede reducirse a decir que hay pobres o desamparados, sino a
encontrar las causas por las que hay pobres y desamparados, as como
los medios factibles para modificar la existencia de esas causas. Si una
determinada causa no tiene solucin, tampoco tiene sentido disear
una poltica que se sabe fracasada de antemano. Como bien advierte
la filosofa poltica, cualquiera que proponga algo cuya factibilidad
sabe imposible, comete un acto de corrupcin.
Por otra parte, la definicin del problema debe decirnos de qu
se trata la intervencin del Estado, a dnde quiere llegar, qu efectos
est buscando. Un punto de llegada o de inflexin que, situado en el
tiempo y mediante el uso de los recursos efectivamente disponibles,
debe servirnos para reconocer la relacin entre las causas identificadas y las soluciones propuestas. En el ncleo de una poltica no hay
actividades, rutinas o procedimientos sin sentido, sino una definicin
precisa de lo que el Estado quiere obtener: el sentido en el que quiere
modificar el status quo que lo ha llevado a seleccionar un determinado
problema. Esa definicin dira: si hoy tenemos tantos millones de personas sin casa, al final del periodo sealado por la poltica que seguiremos, habr tantos millones menos porque, al menos para esas
personas, habrn cambiado las condiciones que han producido esa
situacin. O, dicho de otra manera, el status quo se modificar en el
sentido que la poltica quiere producir.
177
Finalmente, en el ncleo duro ha de estar definido, tambin, el

cuadro de valores a los que se adscribe la poltica pblica. Ese cuadro
puede estar explcitamente sealado o no, pero en todo caso debe
ser preciso en la argumentacin de la poltica. No solamente debe
responder a cul punto se quiere llegar, tras la identificacin de causas
y soluciones factibles, sino que debe decirnos qu est buscando
como una situacin mejor a la actual. Es mucho ms importante
decir, por ejemplo, que la poltica de profesionalizacin del servicio
pblico busca identificar a los mejores profesionales disponibles en
el mercado laboral para ocupar las plazas vacantes, que sealar solamente cuntos concursos se harn en el ao, aunque el valor superior
no se haya conseguido de ninguna manera. La argumentacin de una
poltica pblica no slo es reveladora de lo que persigue, sino de los
valores a los que se adscribe. La prueba de fuego, creo yo, consiste en
preguntarle a un servidor pblico qu problema est resolviendo con
su quehacer cotidiano, cmo sabe si efectivamente est resolvindolo
y por qu lo hace. Si en lugar de responder con precisin a cada una
de esas preguntas lo hace sealando sus funciones, sus atribuciones
o el calendario de actividades que sigui durante el ltimo mes, sabremos con seguridad que ah no hay una poltica pblica definida o,
al menos, que nuestro entrevistado no la conoce. Usted qu problema
pblico est resolviendo, a dnde quiere llegar y por qu? Sabemos la
respuesta a esas preguntas? Respondemos de una manera semejante
o al menos comparable? Si no es as, querr decir que el cinturn de
proteccin de la poltica se ha adueado de nuestras rutinas.
Claro que los procedimientos formales importan tanto como
los informes que deben escribirse o los formatos y las secuencias
de trmites que han de llevarse a cabo para que una determinada
poltica pblica pueda cumplirse.12 Y ms todava, cuando el principio liberal de legalidad rige todos los actos de la administracin
pblica, y no slo en el sentido de que los funcionarios solamente
pueden hacer aquello para lo que estn expresamente facultados,
sino tambin porque deben cumplir puntualmente con sus obligaciones. No hacer ms, pero tampoco menos, de lo que la ley
les exige. No cabe duda de que, a diferencia de los gerentes de la
iniciativa privada, los servidores pblicos estn obligados a seguir
12
Mauricio Merino, La importancia de las rutinas, Divisin de Administracin Pblica,
Documento de Trabajo nm. 160, cide, 2005.
178
mauricio merino
reglas estrictas y a ceirse a lo que esas reglas y los procedimientos

que se derivan de ellas les reclaman. Sin embargo, nada de eso es
el ncleo duro de una poltica pblica, ni tampoco debe convertirse en lo fundamental del quehacer gubernamental. Trmites,
procedimientos, informes, lineamientos y rutinas son el cinturn
de proteccin de una poltica, tanto como las oficinas y hasta los
funcionarios que deben llevarlas a cabo. Si un trmite, un lineamiento o una oficina se vuelven en contra de una poltica, favorecen la existencia de las causas de los problemas que se quieren
resolver, obstaculizan el propsito que se persigue o contradicen
los valores en los que se afinca, entonces deben cambiarse. Por eso
son cinturn de proteccin: porque pueden y aun deben ajustarse peridicamente, revisarse y evaluarse en funcin del ncleo
duro de la poltica.
Cuando los manuales, los procedimientos, los trmites o el papeleo
de cualquier ndole desvan el cumplimiento de la poltica, decimos
que se ha cado en la trampa de los procedimientos. Algo que Eugene
Bardach llam, hace mucho, los juegos de la implementacin, para
referirse a todos los recursos burocrticos que suelen esgrimirse en las
oficinas pblicas para asentarse en rutinas, mientras se abandonan los
puntos fundamentales, las causas y los valores de las polticas que le
dan sentido a la accin pblica en nuestros das.13
No obstante, nada de eso se puede hacer sin definiciones claras
y sin sentido tico; es decir, sin referencia a valores. Si en definitiva es imposible establecer qu es bueno y qu es malo; qu
es mejor y qu es peor en la accin pblica. Si se supone que el
apego a la tica consiste solamente en la repeticin mecnica de
una secuencia de trmites y procedimientos establecidos; si se
piensa que un buen servidor pblico es aquel que obedece sin preguntar sobre el sentido ni el propsito de su actividad cotidiana;
que realiza actividades conforme a su manual de funciones, sin
relacionarlas nunca con los problemas pblicos que enfrenta; si
no sabe qu propsitos persigue como parte de una estructura de
autoridad del Estado, entonces se ha perdido lo fundamental.14 Y
13
Eugene Bardach, The implementation game: what happens after a bill becomes a law,
Cambridge, mit Press, 1977.
14
Mauricio Merino, La importancia de la tica en el anlisis de las polticas pblicas, Revista del clad, Reforma y Democracia, nm. 41, junio de 2008.
179
eso no slo es grave en cuanto a la prdida de medios fundamentales para resolver problemas pblicos de manera eficiente, eficaz
y econmica, honesta y transparente (valores todos enunciados,
por cierto, en la Constitucin del pas), sino porque una vez instalada en la trampa de los procedimientos,15 una vez instalada esa
lgica, el resultado inevitable y empricamente verificable ser que
los objetivos de la burocracia dominarn sobre los propsitos pblicos del Estado. En una secuencia interminable, las oficinas pblicas velarn porque otras oficinas pblicas hagan lo que dicen
los manuales y los procedimientos que, al mismo tiempo, otras
oficinas pblicas han redactado.
Paradjicamente, no se trata de un fenmeno nuevo. Al contrario,
Franz Kafka lo describi en El castillo y en El proceso hace poco menos
de un siglo. Esas burocracias inconmovibles y ajenas a la vida pblica
(pblica en el sentido estricto del trmino y no solamente gubernamental), que toman decisiones incomprensibles, con rutinas y procedimientos que nadie conoce, excepto quienes forman parte de las
oficinas que las siguen. Que incluso construyen sus propios lenguajes
y su cultura (siglas y palabras incomprensibles para quienes no forman
parte del grupo) y que se justifican a s mismos gracias a la repeticin
incansable e intil de rutinas y procedimientos cuyo propsito original ya nadie recuerda, pero que sirve para cobrar el salario, para
establecer jerarquas y para ejercer el poder burocrtico que de otra
manera tendra que rendir cuentas claras.
Pero la tica importa, adems, porque es indispensable para que
las polticas pblicas respondan al adjetivo que les estamos dando;
es decir, para ser realmente pblicas. Me refiero a las tres caractersticas del sentido pblico que ha sintetizado con mucho tino Nora
Rabotnikof: a lo pblico como lo que es comn, lo que es de todos;
a lo pblico como lo que se conoce, lo que sabemos, lo que es del
conocimiento pblico; y a lo pblico como lo que est abierto y es
accesible, lo que no est cerrado.16 Lo pblico que, para serlo de veras,
15
Como bien ha advertido Dennis Thompson, al hablar del problema de las muchas
manos y Amy Gutmann, al advertir el riesgo de la discrecionalidad otorgada a los funcionarios que controlan a funcionarios, que a su vez controlan a funcionarios, etctera.
Amy Gutmann y Dennis Thompson, Ethics and politics: cases and comments, Chicago,
Nelson-Hall, 1990.
16
Nora Rabotnikof, En busca de un lugar comn. El espacio pblico en la teora poltica
contempornea, Mxico, Instituto de Investigaciones Filosficas-unam, 2005.
180
mauricio merino
no debe convertirse en cosa privada, secreta o cerrada. El sentido de

lo pblico que no se refiere solamente a la idea de que los funcionarios
han de cumplir ciertas obligaciones que estn sealadas en las leyes,
ni seguir determinados procedimientos formales para demostrar que
han hecho lo correcto, sino que atae a la necesidad de que las polticas (es decir, las decisiones tomadas por quienes actan a nombre
del Estado, seleccionando y definiendo problemas pblicos para modificar el status quo sobre la base de valores claramente establecidos),
sean efectivamente pblicas: de todos, conocidas e incluyentes. Si algo
que ha de ser comn se vuelve de uno o de unos cuantos; si algo que
debe saberse se esconde o se oculta; y si algo que debe ser accesible
se cierra y se vuelve deliberadamente excluyente, entonces hay que
afirmar que el sentido de lo pblico se ha corrompido. La corrupcin
consiste, pues, en la apropiacin ilegtima de las cosas pblicas, en su
ocultamiento o en su uso para fines privados.
Para romper ese riesgo, producido tambin por la burocratizacin
sin sentido de las oficinas pblicas, es que resulta indispensable inyectar sentido tico a la poltica pblica y a las tareas gubernamentales.
Subrayar el sentido tico de polticas y oficinas pblicas no consiste
solamente en invocar normas morales, cdigos de conducta o buenas
prcticas. Todo eso ayuda, sin duda, pero a la postre puede resultar
del todo insuficiente, pues su eficacia depende de la buena voluntad
de los funcionarios. Y si eventualmente esos funcionarios deciden no
seguir los principios ticos que se les proponen, entonces el riesgo
es que otros servidores pblicos pretendan obligarlos mediante la reproduccin sistemtica de reglas y procedimientos, hasta generar el
crculo vicioso que ya se ha descrito. Pero si, de un lado, invocar principios, cdigos y comparaciones no es suficiente y, de otro, tampoco
es razonable aadir ms y ms reglas, y ms y ms procedimientos de
vigilancia, supervisin, fiscalizacin y sancin, pues se corre el riesgo
de caer en la trampa de los procedimientos y construir el Castillo de
Kafka, qu se puede hacer, entonces?
La respuesta est, precisamente, en la lgica de la evaluacin.
Es decir, en la apreciacin, la medicin y el clculo que cada poltica pblica tiene, a la luz de los problemas pblicos que quiere
resolver, de las causas que ha definido, de los cauces factibles que
estableci y de los valores que cada una invoc. Y hacer eso a la luz
del da, de conformidad con los valores de lo pblico (de todos, conocido y abierto), para que se sepa, para que se abra, para que se
181
pueda debatir y para que se pueda corregir. Si la evaluacin es una

valoracin (que consiste en sealar el valor de una cosa), esto solamente se puede hacer en funcin de los valores que cada poltica
pblica dice defender, as como de los valores que deben seguir
los servidores pblicos responsables de llevarlas a cabo. Desde
este mirador, evaluar no es una cuestin mecnica sino tica, no
es otro procedimiento para establecer parmetros y resultados
que nadie ver, ni nadie utilizar; no es una condicin para salvaguardar la vigencia de ciertas oficinas pblicas, ms all de su
verdadera utilidad para el espacio pblico del pas. Evaluar se convierte en un ejercicio fundamental para revisar la coherencia de
las polticas consigo mismas, con los valores que invocan y con los
medios que emplean. Mientras que los resultados de la evaluacin,
as entendida, dejan de ser informes sin ms propsito que determinar la sancin (los premios y los castigos) de los funcionarios
que han sido evaluados, para convertirse en un instrumento principal del diseo e implementacin de polticas, en una fuente de
informacin inexcusable y en una herramienta insustituible para
la rendicin de cuentas y para consolidar el sentido democrtico
del servicio pblico.
Qu problemas quiere resolver el Estado con los medios que tiene
a su alcance? Cmo han sido definidos esos problemas? Cul es la
causalidad que se est atacando y en qu sentido se quiere modificar
el status quo, mediante el uso de dineros, normas y estructuras de
autoridad protegidas por el gobierno? Qu cambios son los que se
quieren producir, y cules son los argumentos centrales, o ncleo
duro, de las polticas que ya estn en curso? Evaluar polticas equivale
a responder preguntas como stas; a sealar el valor de esas polticas,
a partir de las definiciones y los valores que las propias polticas establecen. En otra metfora afortunada, Majone ha escrito en fechas
ms recientes que la implementacin de las polticas pblicas guarda
una analoga con los contratos privados de prestacin de servicios. En
ellas, como en los contratos, se redactan las clusulas principales a las
que las partes habrn de ceirse; el objeto del contrato, sus propsitos,
sus tiempos, los fines que persigue y los resultados que se esperan de
cada parte. Pero tambin se fijan en ellos las clusulas necesarias para
negociar, resolver o arbitrar las diferencias que eventualmente surjan
en el camino de la ejecucin; se dice a qu tribunales se acudir y en
qu trminos. Se delimitan no slo los intercambios plausibles y pre-
182
mauricio merino
visibles, sino las formas en que podrn desenvolverse los conflictos. Y

se asume como cosa imposible que, en cada contrato, se prevean y se
establezcan todos los posibles cursos de accin que se deriven de la
puesta en marcha de los acuerdos celebrados. Se hace explcito que
nadie puede saber todo, prever todo y anticipar todo. Y por eso es necesario que los contratos establezcan el modo en que sern resueltas
las diferencias y corregidas las desviaciones.17
En el mismo sentido, las polticas pblicas no pueden preverlo todo
en el momento en que se disean. Ni siquiera en el mejor de los casos,
tras haber seleccionado, definido y diseado las polticas de manera
impecable, podrn evitarse las contingencias, las emergencias y las
ocurrencias. A la hora de la implementacin, habr siempre un momento, una situacin, una circunstancia que modificar los mapas
de ruta originalmente trazados. Por eso, la evaluacin equivale a las
clusulas litigiosas de los contratos, a las frmulas de salida de los
problemas que eventualmente se presenten durante la ejecucin.
Pero de conformidad con esa misma analoga, as como las clusulas
que prevn los litigios no tendran sentido alguno si no fuera por las
clusulas que definen el objeto, los tiempos y los resultados de los
contratos, en las polticas pblicas la evaluacin carecera de propsito y de utilidad si no fuera consecuente con el ncleo duro de
las polticas. La evaluacin es necesaria para que ese ncleo duro
prevalezca. Y acaso, para reconocer que el diseo de una poltica ha
fracasado, en sus propios trminos, cuando tras la accin realizada los
problemas pblicos no pudieron resolverse o la poltica se desvi de la
argumentacin inicial.
Concluyo con una idea ms: los auditores responsables de evaluar
el desempeo de la administracin pblica mexicana pueden hacer
grandes contribuciones al pas (como lo estn haciendo), sealando
las ausencias, las omisiones, las incongruencias y las inconsistencias
de las polticas pblicas mexicanas. Ayudara mucho advertir, por
ejemplo, que una determinada accin pblica no tiene ninguna conexin de sentido con problema pblico alguno, o que se realiza
por inercia o por mandato legal, pero sin propsito pblico; sealar,
17
G. Majone, La implementacin como evolucin, en Aaron Wildavsky y Jeffrey
Pressman, Implementacin, cmo grandes expectativas concebidas en Washington se frustran en
Oakland, Mxico, Fondo de Cultura Econmica y Colegio Nacional de Ciencias Polticas
y Administracin Pblica, 1998.
183
cuando suceda, que una poltica no tiene ncleo duro, ni argumentacin slida; es decir, que no sabe qu quiere obtener ni qu resultados promueve. Y producir, en cambio, experiencias para apreciar y
calcular el valor de aquellas otras polticas que hayan establecido con
nitidez sus propsitos, los valores a los que se atienen, el ncleo duro
de su definicin y una argumentacin difana, clara.
Cuando todo esto suceda, la evaluacin podr convertirse en
la piedra de toque de la transparencia y la rendicin de cuentas en
Mxico. Pero tambin en la nica forma posible de utilizar nuestros
escasos recursos para la mejor seleccin y para la gestin ms comprometida y ms atinada de los problemas pblicos que nos agobian.
No debemos evaluar para cumplir una obligacin y para sancionar a
quienes no cumplen trmites, procedimientos o rutinas establecidas,
sino para valorar, corregir, trasmitir. Para hacer pblicas, de verdad
pblicas, las polticas pblicas.
bibliografa
Aguilar, Luis F. (ed.), La hechura de las polticas, Mxico, Miguel ngel Porra,
1992.
, La implementacin de las polticas, Mxico, Miguel ngel Porra, 1993.
, El estudio de las polticas pblicas, Mxico, Miguel ngel Porra, 1992.
, Problemas pblicos y agenda de gobierno, Mxico, Miguel ngel Porra,
1993.
Bardach, Eugene, The implementation game: what happens after a bill becomes a
law, Cambridge, mit Press, 1977.
Bell, Daniel, Las contradicciones culturales del capitalismo, Madrid, Alianza Editorial, 1989.
, Las muchas facetas del siglo xx, Letras Libres, nm. 10, octubre de
1999, pp. 10-19.
Bracho Gonzlez, Teresa y Giulianna Mendieta Melgar, El proceso de focalizacin y las estrategias estatales de seleccin de beneficiarios: El caso del Programa
Escuelas de Calidad, Divisin de Administracin Pblica, Documento de
Trabajo nm. 177, Mxico, cide, 2006.
Corts, Fernando, Agustn Escobar y Mercedes Gonzlez, Mtodo cientfico y
poltica social. A propsito de las evaluaciones cualitativas de programas sociales,
Mxico, El Colegio de Mxico, Centro de Estudios Sociolgicos, 2008.
Figueroa Neri, Aime, Cuenta Pblica en Mxico. Evaluando el laberinto legal de
la fiscalizacin superior, Mxico, Universidad de Guadalajara, 2005.
184
mauricio merino
Garca Cotarelo, Ramn, Del estado del bienestar al estado del malestar: la crisis
del estado social y el problema de legitimidad, Madrid, Centro de Estudios
Constitucionales, 1990.
Gonzlez Arreola, Alejandro (coord.), Gobernar por resultados? Implicaciones
de la poltica de evaluacin del desempeo del gobierno mexicano, Mxico,
gesoc, A.C., 2008.
Gutmann, Amy y Dennis Thompson, Ethics and politics: cases and comments,
Chicago, Nelson-Hall, 1990.
Lakatos, Imre, The methodology of scientific research programmes, Cambridge,
Cambridge University Press, 1978.
Majone, Giandomenico, Evidencia, argumentacin y persuasin en la formulacin de polticas, Mxico, Colegio Nacional de Ciencias Polticas y Administracin Pblica / Fondo de Cultura Econmica, 1998.
, La implementacin como evolucin, en: Aaron Wildavsky y Jeffrey
Pressman, Implementacin, cmo grandes expectativas concebidas en Washington se frustran en Oakland, Mxico, Fondo de Cultura Econmica y Colegio Nacional de Ciencias Polticas y Administracin Pblica, 1998.
Mariscal, Judith, Convergencia tecnolgica y armonizacin regulatoria en Mxico:
una evaluacin de los instrumentos regulatorios, Divisin de Administracin
Pblica, Documento de Trabajo nm. 201, Mxico, cide, 2007.
Merino, Mauricio, La importancia de la tica en el anlisis de las polticas
pblicas, Revista del clad, Reforma y Democracia, nm. 41, junio de 2008.
, La importancia de las rutinas, Documento de Trabajo nm. 160, cide,
2005.
e Ignacio Macedo, La poltica autista. Crtica a la red de implementacin municipal de la Ley de Desarrollo Rural Sustentable, Divisin de Administracin
Pblica, Documento de Trabajo nm. 168, Mxico, cide, 2005.
Oropeza Lpez, Alejandro, La evaluacin de la funcin pblica en Mxico,
Mxico, Barcelona, Plaza y Valds, 2005.
Rabotnikof, Nora, En busca de un lugar comn. El espacio pblico en la teora poltica contempornea, Mxico, Instituto de Investigaciones Filosficas-unam,
2005.
Scott, John, Agricultural Policy and Rural Poverty in Mexico, Divisin de Economa, Documento de Trabajo nm. 395, Mxico, cide, 2007.
Villagmez Alejandro y Juan Ignacio Hernndez, Impacto de la reforma al
sistema de pensiones en Mxico sobre el ahorro, Divisin de Economa, Documento de Trabajo nm. 453, Mxico, cide, 2009.
LA EVALUACIN EN EL MARCO DEL ANLISIS

DE POLTICAS PBLICAS1
mara bustelo ruesta
introduccin
En este captulo se exponen las referencias tericas sobre evaluacin

de polticas pblicas que sirven como marco para el anlisis y la valoracin de las evaluaciones (metaevaluacin) que se ha realizado de las
polticas pblicas de igualdad de gnero en Espaa, en los niveles de
gobierno autonmico y central. Su concepcin se basa en una revisin
extensa de la literatura sobre evaluacin de programas y polticas pblicas.
En este trabajo existe la firme voluntad de abordar la evaluacin
desde el marco ms general del anlisis de polticas pblicas. El papel
que la evaluacin juega en este marco de referencia es el objeto de estudio del primer punto de este captulo. Para esto, se analizan diferencialmente los conceptos de anlisis de polticas pblicas y de evaluacin
de programas. Se expone el componente descriptivo y el prescriptivo
del anlisis de polticas pblicas ya sealados por Lasswell, y se sita
la evaluacin de programas respecto a estas dos perspectivas. A continuacin se reflexiona sobre la evaluacin en el ciclo de vida de la
poltica pblica, fundamentando su necesidad y posibilidades, aunque
se reconoce que ha sido la fase eternamente abandonada en el estudio
de las polticas pblicas. Tambin se realiza una crtica a la concepcin
tradicional de la evaluacin como una fase exclusivamente finalista y
que se limita al anlisis y valoracin de los resultados de una poltica.
A tal efecto, se expone un panorama general sobre cmo se ha ido
ampliando el objeto de estudio de la evaluacin de polticas pblicas,
1
Mara Bustelo Ruesta, La evaluacin de las polticas pblicas de igualdad de gnero en los
gobiernos central y autonmicos en Espaa 1995-1999, tesis doctoral para obtener el grado
de doctora en Ciencia Poltica por la Universidad Complutense de Madrid. Premio extraordinario de doctorado, 2001, Espaa, p. 37.
[185]
186
mara bustelo ruesta
poniendo en cuestin, incluso, la idea de que la evaluacin tiene un exclusivo carcter retrospectivo y esto sea lo que la diferencia del anlisis
de polticas pblicas. Por ltimo, se discute una visin ms integrada
del anlisis de polticas pblicas y se seala el papel que la evaluacin
tiene en la misma.
En una segunda parte del captulo, se revisa, elabora y discute
sobre el concepto y el sentido de la evaluacin de programas y polticas pblicas. Una vez discutido el concepto, se exponen y elaboran
las funciones de la evaluacin, diferencindolas de sus propsitos y objetivos. En la literatura especializada y los manuales sobre evaluacin
se suele hablar indistintamente de la evaluacin de proyectos, programas, planes y polticas; sin embargo, se han querido sealar aqu
las diferencias que existen, en nuestro parecer, entre el concepto de
evaluacin de programas (y que incluye proyectos, planes, medidas,
servicios pblicos, etc.) y el de evaluacin de polticas pblicas.
Una vez que se ha explicado el concepto de evaluacin en sus aspectos ms importantes, se define la evaluacin diferencialmente, poniendo nfasis en lo que la evaluacin tiene de especfico respecto
a otras formas de anlisis e indagacin. Para esto, se presentan, en
primer lugar, las diferencias existentes entre evaluacin e investigacin, con la idea de reforzar la identidad propia de la evaluacin de
programas y porque en la todava incipiente prctica de la evaluacin
de programas en las administraciones pblicas espaolas tienden, en
algunas ocasiones, a confundirse esos dos extremos.
Tambin en esta tercera y ltima parte del captulo, se insiste en
el elemento valorativo de la evaluacin y en la importancia del concepto de enjuiciamiento sistemtico como una de las claves de la
identidad de la evaluacin de programas y polticas pblicas. Paralelamente, se discute sobre el eminente carcter prctico y aplicado
de la evaluacin, y se elabora sobre el cuarto nivel de anlisis en la
evaluacin el establecimiento de recomendaciones, exponiendo el
debate existente sobre si deben los evaluadores o no establecer dichas
recomendaciones. Finalmente, se trata la preocupacin por el uso y la
utilizacin que tradicionalmente ha ocupado a los profesionales y acadmicos de la evaluacin de programas y que se concreta, entre otros
aspectos, en la importancia creciente en la literatura especializada de
la fase de presentacin de la informacin y comunicacin de los resultados de la evaluacin.
la evaluacin en el marco del anlisis de polticas pblicas
187
1. el anlisis de polticas pblicas: el papel de la evaluacin

en este marco de referencia
1.1. Concepto y caractersticas del anlisis de polticas pblicas

El anlisis de polticas pblicas se ocupa, en general, de los problemas
pblicos y de cmo los poderes pblicos los abordan. La evaluacin
de las polticas pblicas es una parte de ese anlisis general que se
ocupa de valorar la actuacin de los poderes pblicos en su intento de
solucionar problemas.
Efectivamente, el objeto de estudio del anlisis de polticas pblicas
consiste tanto en los problemas pblicos y cmo stos son definidos
como, precisamente, en cmo los poderes pblicos intentan dar respuesta a dichos problemas.
Por lo cual, no se trata tanto de preocuparse de las caractersticas propias de
las instituciones, de la normativa, o de los grupos presentes, como de considerar aquellos aspectos que resulten relevantes o significativos con respecto a
la adopcin y puesta en prctica de una poltica pblica (Subirats, 1992: 13).
As, el anlisis de polticas pblicas tiene un carcter prctico y

aplicado. Ni siquiera se plantea el estudio de los problemas pblicos
en abstracto, sino cmo estos son definidos para ser abordados. Este
carcter aparece en el mismo concepto y, por ejemplo, William N.
Dunn define el anlisis de polticas como
una disciplina de ciencia social aplicada que utiliza mtodos mltiples de indagacin y discusin para producir y transformar informacin relevante para
las polticas y que puede ser utilizada en contextos polticos para resolver
problemas relacionados con las polticas (Dunn, 1981: 35).
Precisamente, esa capacidad e intencin del anlisis de polticas pblicas de estudiar y explicar los procesos concretos de actuacin de los
poderes pblicos dando repuesta a los problemas sociales, es lo que
hace que se ponga nfasis en su aplicabilidad y utilidad para un mejor
gobierno y tratamiento de los asuntos pblicos.
Adems, el anlisis de polticas pblicas ha ido ampliado su objeto
de estudio, sobre todo a partir de la dcada de los aos setenta. sta,
entre otras, es una forma en la que se ha ido dando respuesta a las
188
mara bustelo ruesta
cada vez mayores dificultades de gobierno y al abordaje de los mltiples problemas sociales en sociedades cada vez ms complejas. Se ha
pasado del simple anlisis de la decisin pblica y sus implicaciones,
al estudio de las complejas acciones que se derivan de la misma y sus
efectos sobre el planteamiento del problema original (Subirats, 1992:
14), o en trminos de Wayne Parsons, se ha pasado del exclusivo inters en el anlisis de la decisin (decision analysis), es decir, el anlisis
del proceso de toma de decisiones y el anlisis de polticas para la toma
de decisiones, al anlisis de la entrega o reparto (delivery analysis), es
decir, al anlisis de la ejecucin o implementacin, la evaluacin, el
cambio y el impacto (Parsons, 1995).
1.2. El componente descriptivo y prescriptivo del anlisis

de las polticas pblicas
Harold D. Lasswell, padre de la perspectiva de las polticas pblicas,
en su primer trabajo publicado en 1951 (La orientacin hacia las polticas), ya hace una importante distincin entre el conocimiento del
proceso de la poltica (knowledge of) y el conocimiento en el proceso de
la poltica (knowledge in). La ciencia de polticas que l propone debe
tener estos dos marcos de referencia. En el primero (conocimiento
del o anlisis de la poltica) se pretende conocer el proceso de decisin de la poltica as como de hecho sucede. En realidad, se tratara
de describir por qu determinados problemas son calificados como
pblicos, entran en la agenda, se definen, cmo y por qu se eligen
ciertos cursos de accin y ejecucin y se evalan a travs de ciertos
criterios y metodologas de evaluacin. En el segundo (conocimiento
en o anlisis para la poltica) se trata de incorporar los datos y los
teoremas de las ciencias en el proceso de deliberacin y decisin de
la poltica, con el propsito de corregir y mejorar la decisin pblica.
Este marco de referencia tiene, entonces, un componente prescriptivo,
tal y como lo define inicialmente Lasswell. Se trataba de ofrecer mtodos e informacin pertinente para incrementar la racionalidad de la
construccin, examen, seleccin y desarrollo de las opciones de la poltica. Como dice Aguilar (1996: 53), se trata de una teora normativa
de carcter tecnolgico.
En realidad, para Lasswell, estas dos actividades de conocimiento
(que corresponderan a los componentes descriptivo y prescriptivo del
189
anlisis de las polticas pblicas) son interdependientes y complementarias, adems de interdisciplinarias y contextuales. Sin embargo, en
el desarrollo posterior de los estudios de polticas pblicas hubo una
escisin en dos corrientes: por un lado, de los interesados exclusivamente en el estudio positivo de la elaboracin de la poltica (ms ligado
a los estudios de las policy sciences o el policy making), ms contextualizadores y relacionados con lo poltico-administrativo y, por otro, los
normativo-tcnicos (ms ligados a los estudios de policy analysis), ms
dados a las tcnicas cuantitativas y de anlisis econmico (Aguilar,
1996: 54 y ss).
Estas dos tradiciones se van desarrollando y, a partir de la dcada
de los aos setenta, y paradjicamente por los resultados desalentadores para las dos corrientes, hubo una expansin en Estados Unidos
de escuelas y programas de polticas pblicas (Ban, 1997: 41). De
todas formas, aunque haya habido tradiciones separadas de estudio,
tambin ha habido posturas eclcticas e integradoras. Hogwood y
Gunn (1984) plantean el doble componente descriptivo y prescriptivo
desde la misma definicin del anlisis de polticas pblicas. Consideran
ambos componentes necesarios, aunque consideran como inapelable
y definitorio el carcter prescriptivo, por su aspecto novedoso y valioso respecto a la aplicacin. Para estos autores, con este carcter, el
anlisis de polticas pblicas tiene una naturaleza aplicada, relevante
socialmente, multidisciplinaria, integral y dirigida hacia los problemas
(Hogwood y Gunn, 1984: 3). Efectivamente, la administracin pblica
y los subcampos de polticas pblicas y de gestin pblica tienen una
tendencia a la accin o vocacin profesional y una tendencia o vocacin a prescribir. Hay que evitar, sin embargo, la tendencia a extraer
enseanzas prescriptivas de enseanzas insuficientes (Ban, 1997:
44). Es decir, la prescripcin debe basarse necesariamente tambin en
la descripcin y ambos componentes, utilizados de forma conjunta,
pueden tener una mayor potencia, utilizndose de forma sinrgica.
Este carcter integrador tambin se detecta en otros autores, como
por ejemplo Dunn, que veremos ms adelante.
Desde nuestro punto de vista y para enmarcar la evaluacin, conviene asumir una visin integradora de estos dos componentes. La
evaluacin, al igual que el anlisis en general, se ve tambin en la
disyuntiva de si el anlisis de la poltica debe mantenerse al margen
del anlisis para la poltica. Sin embargo, la evaluacin est ms directamente vinculada a la doble exigencia de conocimiento y accin, ya
190
mara bustelo ruesta
que la calidad del razonamiento no es algo separable de la pregunta

sobre su pertinencia prctica (Monnier, 1995: 259). Adems, la fase
de la evaluacin de las polticas, dado el reconocimiento formal con
el que puede contar el evaluador, y con el que a veces no cuenta el
analista general (hay algo ms de mercado para evaluadores que
para analistas), se ha trabajado ms en su aspecto prescriptivo, que
en el descriptivo. Es decir, el evaluador ha intervenido estableciendo
cmo debe hacerse una evaluacin o, de hecho, hacindola, ms que
estudiando o describiendo los procesos de evaluacin. Sin embargo,
esta segunda faceta descriptiva, que incluira la realizacin de estudios de metaevaluacin (evaluacin de los procesos de evaluacin),
puede resultar especialmente interesante en contextos en los que no
existe una cultura evaluativa afianzada, pero en los que, de hecho,
estn emergiendo con cierta fuerza diferentes prcticas evaluativas
(como es el caso espaol). En este sentido, insistimos, de acuerdo con
Hogwood y Gunn (1984), en la necesidad de incluir ambas perspectivas (descriptiva y prescriptiva) en el marco de anlisis y, tambin,
en la consideracin de que la perspectiva prescriptiva es lo que confiere su carcter ms especfico y aplicado, tanto al anlisis en general
como a la evaluacin de polticas pblicas en particular. As, del anlisis descriptivo de los procesos de evaluacin debe surgir, adems
de una comprensin general sobre las polticas pblicas, iluminacin
sobre cmo hacer evaluacin de dichas polticas en determinados
contextos.
1.3. La necesidad de la evaluacin en el ciclo de vida de la poltica

Adems de los actores, el estilo de los procesos decisorios, la estructura de los problemas en juego y las propias reglas del juego
(procedimientos formales seguidos en los procesos de adopcin de
las polticas pblicas), una de las categoras analticas ms utilizadas
en el estudio de las polticas pblicas es la del ciclo de vida de una
poltica (es decir, la dinmica que caracteriza las distintas fases en que
se articula dicho ciclo de vida). Bajo esta perspectiva, se propone la
posibilidad de estudiar una poltica pblica descomponiendo en diversas fases su ciclo de vida: la definicin del problema y la entrada
en la agenda de los poderes pblicos, la formulacin de propuestas
y la adopcin de decisiones, su implementacin, la valoracin de los
191
resultados y la eventual sucesin o terminacin de la poltica iniciada.

De hecho, esta categora analtica puede incluir las anteriores ya que
cada una de las fases descritas puede distinguirse de las dems por
el tipo de actores dominantes, el contexto institucional y los estilos
de decisin prevalentes. Por ejemplo, mientras en la fase de entrada
en la agenda el papel de los medios de comunicacin suele ser crucial
(en el intento de captacin de la atencin pblica), ste se ve atenuado
durante la fase de implementacin en la que los colectivos beneficiados o perjudicados son los que siguen directamente interesados en
su evolucin (Regonini, 1991: 80). Es decir, existe una redefinicin
de los actores de una fase a otra, y esto hace que esta perspectiva de
anlisis adquiera un inters especial: en lugar de analizar, de forma
tradicional, las caractersticas de cada fase por separado, se intenta
reconstruir la dinmica interna del ciclo de vida de una poltica.
Este marco de anlisis, representado a travs de las fases del ciclo
de una poltica, y en sus diferentes versiones, es vlido adems para la
doble faceta descriptiva y prescriptiva del anlisis de polticas pblicas
(Hogwood y Gunn, 1984: 4).
Bajo esta perspectiva del ciclo de vida de una poltica pblica, la
evaluacin se convierte en una de las fases de desarrollo. Si se estudian y analizan todas las fases, la evaluacin tiende a ser concebida
como una de las fases finales, aunque la mayora de los autores reconocen la circularidad de las polticas pblicas, y se suele limitar la
evaluacin final de los resultados de la poltica. Sin embargo, el campo
de la evaluacin de programas y polticas se ha ido desarrollando en
los ltimos aos hacia una clara expansin del mbito que abarca,
tanto en lo que se refiere a la metodologa como a las preguntas que
responde. Inicialmente, la evaluacin se conceba exclusivamente
como un medio para medir los resultados y los efectos de una poltica
o programa. En la actualidad, nadie discute que la evaluacin puede
abarcar las diferentes fases de la poltica o programa, desde su diseo
o concepcin hasta su impacto.
Sin embargo, la evaluacin en el marco de las polticas pblicas
es la fase menos estudiada desde el punto de vista de su anlisis. Un
buen indicador de esta tendencia es el hecho de que de las cuatro
excelentes antologas compiladas por Aguilar Villanueva (El estudio
de las polticas pblicas, Problemas pblicos y entrada en agenda de gobierno, La hechura de las polticas y La implementacin de las polticas)
no hay ninguna que aborde los temas de evaluacin. Se puede decir
192
mara bustelo ruesta
que una buena parte del desarrollo terico sobre la evaluacin de

programas y polticas se ha realizado fuera del marco de la disciplina
del anlisis de polticas pblicas, aunque hay toda una serie de autores que bien debido a su disciplina inicial (por ejemplo, Wholey,
Vedung, Monnier), bien a su especial inters por (por ejemplo, Weiss)
o su inmersin profesional (por ejemplo, Chelimsky) en los procesos
polticos, se han encargado de hacer el engarce entre ambas (sub)
disciplinas.
1.4. El carcter retrospectivo y prospectivo del anlisis

de polticas pblicas
Algunos autores (Rist, 1990; Ballart, 1993; Vedung, 1997) sealan el
carcter retrospectivo de la evaluacin, dado que pretende ofrecer informacin sobre lo que ha ocurrido o est ocurriendo. Adems, en la
primera acepcin de la evaluacin como medio para evaluar los resultados y efectos de un programa o poltica, resultaba lgico e inevitable
considerarla de forma exclusivamente retrospectiva. A medida que se
va ampliando el foco de la evaluacin, sin embargo, este carcter exclusivamente retrospectivo no queda tan claro. De hecho, en el marco
de algunos organismos internacionales y algunos pases, como Suecia,
se desarrollan modalidades de evaluacin ex-ante, que hacen difcil su
clasificacin como actividad retrospectiva. Este carcter retrospectivo
puede implicar, adems, un cierto riesgo de considerar la evaluacin
exclusivamente hacia el final de los procesos, perdiendo una gran
parte de su potencial como elemento integrador, y desde un principio,
del ciclo de vida de un programa o poltica.
Precisamente, es ese carcter retrospectivo el elemento que Rist
(1990) considera diferenciador entre la evaluacin de programas y
el anlisis de polticas. Mientras la evaluacin de programas valora
las polticas pblicas de forma retrospectiva, el anlisis de polticas
lo hace de forma prospectiva, es decir, busca informar decisiones
que todava tienen que tomarse. El foco del anlisis de polticas es,
pues, el anlisis prospectivo y el de la evaluacin de programas el retrospectivo. Tambin para Chelimsky (1985), esta diferencia afecta
el tipo de preguntas que cada uno de los tipos de indagacin puede
hacerse: el anlisis de polticas pone nfasis en los efectos probables,
mientras la evaluacin de programas lo har en los efectos reales.
193
Efectivamente, sta es una diferencia general entre evaluacin y anlisis, pero el propio Rist reconoce que lo que aparece a primera vista
como una dicotoma clara retrospectivo y prospectivo se convierte,
si miramos ms de cerca, en dos pasos de un proceso interactivo: se
toman decisiones, se recoge informacin sobre los efectos de dichas
decisiones, se toman ms decisiones con los datos disponibles de los
resultados de decisiones previas, etctera (Rist, 1990: 4).
En definitiva, aunque el carcter retrospectivo sirva como elemento
diferenciador del anlisis de polticas pblicas en general, que tiene
un carcter ms prospectivo, hay que reconocer la amplitud de miras
cada vez mayor de la evaluacin. Es esta amplitud, precisamente, la
que permite que la evaluacin sea parte integrante de la vida de una
poltica y que sirva como herramienta metodolgica til para la totalidad de dicho proceso.
1.5. Una visin integrada del anlisis de polticas pblicas:

el papel de la evaluacin
Como ya se ha comentado anteriormente, algunos autores han hecho
un esfuerzo de integracin de las diferentes perspectivas y componentes del anlisis de polticas pblicas. Segn Dunn (1981: 36 y ss.),
por ejemplo, el anlisis de polticas pblicas debe generar informacin
sobre tres tipos de cuestiones:
1] sobre valores, cuyo logro es la prueba principal sobre si un problema se ha resuelto,
2] sobre hechos, cuya presencia puede limitar o mejorar el logro de
los valores, y
3] sobre acciones, cuya adopcin puede resultar en el logro de los
valores y la resolucin de los problemas.
El analista al generar informacin sobre las anteriores tres cuestiones puede emplear una o ms de estas tres perspectivas de anlisis:
1] Emprica, que describe las causas y los efectos de una poltica pblica dada. Las cuestiones se refieren a los hechos y el tipo de informacin que se genera es denominativo o designativo. Un posible
194
mara bustelo ruesta
ejemplo sera la descripcin, explicacin o prediccin del gasto pblico en sanidad o educacin.
2] Evaluativa, que determina el valor de una poltica pblica. Las
cuestiones son de valor y el tipo de informacin que se genera es de
carcter evaluativo. Como ejemplo, la evaluacin de las diferentes
maneras de distribucin de la carga fiscal segn sus consecuencias
ticas y morales.
3] Normativa, que recomienda futuras acciones que pueden resolver
los problemas pblicos. Las cuestiones estn relacionadas con la
accin y el tipo de informacin que se genera es de recomendacin
o consejo (advocative). As, se puede recomendar, por ejemplo, una
poltica de ingresos mnimos garantizados como una forma de
paliar los problemas de desigualdad social.
Cuadro 1.1. Tres perspectivas para el anlisis de polticas publicas
Perspectiva
emprica
evaluativa
normativa
Cuestin principal
Existe? (hechos)
Qu valor tiene? (valores)
Qu debe hacerse?
(acciones)
Tipo de informacin
Designativa
Evaluativa
De recomendacin
(advocative)
Adems, la produccin de informacin, sea del tipo que sea, se

lleva a cabo a travs de diferentes tcnicas analticas. Para Dunn, el
anlisis de polticas utiliza los mismos procedimientos analticos generales que se utilizan en otras ciencias sociales, mencionando la descripcin, la prediccin, la evaluacin y la prescripcin. La descripcin
y la prediccin ayudan a contestar cuestiones designativas, la evaluacin las evaluativas y la prescripcin las normativas. La prediccin
y la recomendacin se realizan tpicamente antes de que se adopte
la accin (ex-ante), es decir, estn relacionadas con el futuro; la descripcin y la evaluacin lo hacen despus (ex post) y estn relacionadas
con el pasado (vase cuadro 1.2. en la siguiente pgina).
Estos procedimientos analticos generales se corresponden con
cuatro mtodos para analizar las polticas:
1] Seguimiento (descripcin): produce informacin sobre las causas y
consecuencias pasadas de las polticas.
195
Cuadro 1.2. Procedimientos analticos generales segn el momento

y el tipo de cuestin
Tipo de cuestin/
Momento
Antes de la
accin
Despus de la
accin
Designativa
Evaluativa
prediccin
evaluacin
descripcin
evaluacin
De
recomendacin
prescripcin
fuente:
Dunn, 1981: 39.

La prescripcin puede ocurrir despus de que la accin se haya llevado a cabo,
aunque esta forma retrospectiva de anlisis de polticas (El gobierno debera haber
hecho esto o aquello) es similar a un mdico que receta la medicina cuando el paciente
ha muerto.
nota:
2] Pronstico (prediccin): produce informacin sobre las consecuencias futuras de las polticas.
3] Evaluacin (evaluacin): produce informacin sobre el valor de polticas pasadas o futuras.
4] Recomendacin (prescripcin): produce informacin sobre la probabilidad de que acciones futuras produzcan consecuencias valiosas.
Adems hay otros dos mtodos que no tienen correspondencia directa con ningn procedimiento analtico general:
5] Estructuracin de problemas: basndose en procedimientos de
clasificacin, produce informacin especulativa sobre las soluciones potenciales de un problema. Implica todo el resto de mtodos, siendo un metamtodo que funciona como una especie de
regulador central de todo el proceso de anlisis.
6] Deduccin prctica: permite llegar a conclusiones sobre el grado
en el que los problemas se han solucionado.
Estos mtodos analticos estn relacionados jerrquicamente y
son interdependientes. Algunos, como por ejemplo, el seguimiento
se pueden utilizar por s solos mientras otros, como la evaluacin,
requieren de la utilizacin previa de otro mtodo. La recomen-
196
mara bustelo ruesta
dacin requiere el uso previo del seguimiento, la evaluacin y el

pronstico.
Para Dunn, finalmente, esto se combina con cinco tipos de informacin relevante para las polticas: problemas, alternativas, acciones,
resultados y desempeo de la poltica. El anlisis de polticas pblicas
integrado que l propone es un proceso de indagacin que implica
esos cinco componentes de informacin y que se transforman el uno
en el otro a travs de los seis mtodos analticos (estructuracin de
problemas, pronstico, seguimiento, evaluacin, recomendacin y
deduccin prctica). La informacin y los mtodos son interdependientes y forman parte de un proceso dinmico en el que ocurren las
transformaciones correspondientes: los problemas se transforman en
alternativas y stas en acciones y stas en resultados, y as sucesivamente.
En esta visin integrada, es lgico que la evaluacin tenga un papel
acotado y definido. Sin embargo, insistimos en la dificultad de encontrar polticas pblicas analizadas de forma integral y continuada
o, si se quiere, de la posibilidad de analizar una poltica integralmente
en un momento determinado o por parte de un nico equipo de analistas. sta es una de las razones por las cuales la evaluacin necesariamente ampla su visin y, a su vez, ofrece una valoracin que asume los
diferentes componentes, perspectivas y fases del anlisis de polticas
pblicas.
2. la evaluacin de polticas pblicas

2.1. El concepto y el sentido de la evaluacin
A lo largo de los aos de desarrollo de la disciplina de la evaluacin,
se han dado mltiples definiciones del trmino, dependiendo de la
amplitud del enfoque y de cada uno de los autores.
En la definicin de Chelimsky (1985), la evaluacin de programas
es la aplicacin de mtodos de investigacin sistemticos para la valoracin del diseo, la implementacin y la efectividad de un programa. Tambin Weiss (1998), que utiliza el trmino de investigacin
evaluativa (evaluation research), dice que sta consiste en la utilizacin
de la metodologa propia de las ciencias sociales para hacer que el
proceso evaluador sea ms exacto y sistemtico. En la misma lnea,
197
Rossi y Freeman (1989: 14) tambin definen la investigacin evaluativa

como la aplicacin sistemtica de los procedimientos de investigacin
social, para valorar la conceptualizacin y el diseo, la ejecucin y
la utilidad de los programas de intervencin social. En estas definiciones se refleja ya su expansin a todo el ciclo de vida del programa
o poltica. Sin embargo, se hace hincapi en la utilizacin de las metodologas de investigacin social. En otras palabras, lo que define la
evaluacin es su objeto de estudio y no tanto sus procedimientos, que
seran los mismos que los de la investigacin social.
Otra de las definiciones de evaluacin, la cual es citada por parte
de muchos autores, es la definicin adoptada por el Joint Committee
on Standards for Educational Evaluation (a partir de ahora Joint
Committee), que como se ver ms adelante fue el comit encargado
de elaborar el primer cdigo profesional, que se convierte en referencia en el mbito de la evaluacin. Tanto en la primera (1981) como
en la segunda edicin (1994) de las normas del Joint Committee, la
evaluacin queda definida, y de forma muy amplia, como la investigacin sistemtica del valor o mrito de un objeto. En este caso, la
definicin hace ms nfasis en el carcter especfico de valoracin de
la evaluacin, es decir, implica que la evaluacin siempre supone un
juicio. Esto, lgicamente, debe reflejarse en los procedimientos con los
que se realice. Por lo tanto, se define diferencialmente la evaluacin
por sus procedimientos y no por su objeto, que se deja sin acotar.
Creemos que una definicin completa del concepto de evaluacin
debe reflejar ambos extremos, tanto lo referido al objeto como lo referido a los procedimientos. Argumentaremos ms adelante la necesidad
de incluir tambin en el concepto de evaluacin cuestiones referidas a
las funciones de la misma.
En primer lugar, parece claro que si nos referimos a la evaluacin
de programas o polticas, tenemos ya una primera acotacin del objeto
de estudio. Se evalan programas, realidad ms definida y acotada,
y polticas en general (ms adelante diferenciamos entre estas dos
realidades). En general, se puede hablar de la evaluacin de cualquier intervencin social que pretenda abordar un problema pblico,
bien sea globalmente (polticas), o bien de forma particular a travs
de proyectos, programas, planes, medidas, servicios, materiales, etc.
Parece claro, adems, que las intervenciones (polticas, programas,
etc.) no son estticas y tienen un ciclo de vida, desde su diseo hasta
los impactos a largo plazo que puedan producir. Como ya hemos
198
mara bustelo ruesta
visto, aunque en las primeras etapas del desarrollo de la disciplina

de la evaluacin se tenda a considerar como objeto de evaluacin
nicamente los resultados y efectos de los programas, en la actualidad, el objeto de la evaluacin de programas se extiende a todo su
ciclo de vida.
Respecto a los procedimientos, ya hemos mencionado el carcter especfico de enjuiciamiento de la evaluacin. Es decir, que adems de
la recopilacin y el anlisis sistemtico de informacin, se realiza un
enjuiciamiento tambin sistemtico. O mejor dicho, que dicha recopilacin y anlisis de informacin se realiza con el objetivo de valorar el
objeto a evaluar. El carcter sistemtico viene determinado al menos
por tres factores: en primer lugar, la conciencia de la actividad, es
decir, saber qu se est evaluando y se quiere evaluar con carcter
previo y respondiendo a unas determinadas necesidades de informacin. En segundo lugar, porque se sigue un determinado orden
y mtodo al hacerlo (aqu es donde la evaluacin toma prestado elementos de la metodologa de investigacin social). Y en tercer lugar,
porque estructura de forma lgica el camino hacia la valoracin, es
decir, se recopila informacin, se interpreta dicha informacin y se
valora con la base de dichas interpretaciones que, a su vez, estn basadas en la informacin recopilada. Patton (1982: 273) seala cuatro
Cuadro 1.3. El anlisis valorativo en evaluacin y sus cuatro niveles
Es importante distinguir entre estos cuatro niveles:
resultados o hallazgos: son los hechos, datos e informacin que se
recoge, la presentacin bsica de los datos, los hallazgos empricos.
interpretaciones: son las explicaciones sobre los hechos, especulaciones
entre las interrelaciones, causas, razones y significados que se dan a los datos.
juicios o valoraciones: son las valoraciones acerca de los resultados
y sus interpretaciones, criterios especficos aplicados a los hallazgos.
Estableciendo si son buenos o malos, positivos o negativos, en la
direccin deseada o en la no deseada, por encima, acorde o por debajo
de las expectativas, etctera.
recomendaciones: son sugerencias sobre posibles lneas de accin; cambios
propuestos en el programa o cosas a mantener en el mismo; consejos para
los patrocinadores, responsables y tcnicos del programa o poltica que se
evala, y que harn que mejore.
(A partir de patton, M.Q. 1986, Practical Evaluation, Beverly Hills, Sage).
199
niveles de anlisis en evaluacin, que aparecen en el cuadro 1.3.: resultados o hallazgos, interpretaciones, juicios y recomendaciones.
Segn la definicin apuntada, se pretende emitir juicios sobre
el valor y el mrito del objeto (programas, polticas, etc.) evaluado.
Conviene aqu definir y distinguir entre los dos trminos sealados:
mrito y valor (o vala). Quien primero distingue estos trminos es
Michael Scriven, cuya aportacin terica al campo de la evaluacin
es calificada, precisamente, como la ciencia de la valoracin
(Shadish, Cook y Levinton, 1991), pero tambin se recoge en la obra
de Stufflebeam y Shinkfield (1987), y en una propuesta tan diferente
como es la de Guba y Lincoln (1989). Para estos autores, el mrito depende de las caractersticas intrnsecas del evaluando y tiene que ver
con si hace bien lo que se supone que debe hacer, el valor depende de
lo extrnseco, del uso que se hace en el contexto. Es decir, mientras el
mrito podra ser valorado aisladamente, el valor slo podra ser considerado respecto a un contexto y a unas necesidades particulares. Es
decir, el evaluando podra ser meritorio aunque no vlido (puede que
algo sea bueno en s mismo pero que no sea adecuado para un contexto determinado). Esta circunstancia de estar interesados no slo
en el mrito sino tambin en el valor de lo que se evala abunda en el
carcter prctico y aplicado de la evaluacin.
Precisamente es este carcter aplicado y prctico, as como el cuarto
nivel de anlisis sealado por Patton (el de las recomendaciones), lo
que recuerda la necesidad de incluir en la definicin de evaluacin
su porqu o razn de ser, es decir, sus funciones. Efectivamente, la
evaluacin no se hace en abstracto sino con la intencin de mejorar
los programas y polticas evaluadas, rendir cuentas y/o ejemplificar
o ilustrar acciones futuras (ms adelante, tratamos las funciones de
la evaluacin). Es decir, la informacin que se pretende arroje la evaluacin tiene vocacin de ser utilizada para dichas funciones. sta es
la razn por la cual el evaluador extrae tambin recomendaciones
para la accin a la luz de los hallazgos, interpretaciones y juicios establecidos.
As, el sentido ltimo de la evaluacin es su utilidad para el proceso
de intervencin social. Esta utilidad debe ser concebida, adems, en
dos sentidos. Por un lado, la evaluacin debe ser capaz de generar
una informacin til para el programa o poltica que est evaluando,
es decir, la informacin ha de ser pertinente al objeto evaluado y a su
contexto determinado. Por otro, debe ser una informacin con ca-
200
mara bustelo ruesta
rcter prctico, es decir, debe estar dirigida a la accin, proponiendo

cursos de accin futura (que pueden ir desde modificaciones concretas a continuar o terminar el programa o poltica evaluada). Por
esto, creemos que la evaluacin puede y debe tener tambin, en este
sentido, un carcter prospectivo. Prcticamente todos los autores de la
disciplina coinciden en la consideracin de la utilidad de la evaluacin
como eje de la misma, aunque ponen nfasis en elementos diferentes.
Para Monnier (1995), la utilidad social es el elemento clave de la evaluacin y aqulla se consigue si se reconoce e implica a los diferentes
actores en el proceso evaluativo. Para Vedung (1997), la evaluacin
debera ser til porque tiene una orientacin claramente prctica: es
una valoracin destinada a desempear un papel en futuras acciones.
Para Weiss (1998), la evaluacin est concebida para su uso, y eso es
lo que la diferencia, precisamente, de otras formas de investigacin
social. Incluso cuando su utilizacin es menos directa e inmediata, la
utilidad sigue siendo el fundamento de la evaluacin. Patton (1997)
estructura su enfoque terico-prctico, precisamente, alrededor de la
utilizacin, y realiza una propuesta que tiene en cuenta este aspecto
desde el principio de los procesos evaluativos.
2.2. Las funciones de la evaluacin

Ya se ha comentado en el punto anterior la necesidad de incluir las
funciones de la evaluacin en la propia definicin del concepto, dado
su carcter prctico y aplicado. La elaboracin sobre dichas funciones,
adems, va a contribuir a comprender el carcter especfico de la evaluacin sobre otro tipo de indagaciones. Las funciones tienen que
ver, lgicamente, con los usos que se pretende dar a la evaluacin, de
manera que la definicin de las mismas se encuentra en el corazn del
concepto.
Stufflebeam y Shinkfield (1987: 23) sealan tres funciones segn el
uso que se quiera hacer de la evaluacin: perfeccionamiento o mejora
(improvement), recapitulacin,2 rendimiento de cuentas o responsabi2
Aqu respetamos la traduccin realizada en la versin castellana del trmino accountability aunque nos parece ms adecuada la expresin rendimiento de cuentas o
incluso de responsabilidad, como se hace en la traduccin de este trmino en otras
obras (Rossi y Freeman, 89; Vedung, 97).
201
lidad (accountability) y ejemplificacin o iluminacin para acciones futuras (enlightenment). En sus diferentes versiones, creemos que stas
son las tres funciones bsicas de la evaluacin.
La primera funcin, la de mejora del programa o poltica evaluada, significa que la evaluacin se concibe como un artefacto metodolgico que permite la retroalimentacin y el aprendizaje sobre la
propia prctica. En este sentido, la evaluacin resulta imprescindible
como instrumento de mejora y perfeccionamiento y como garante
de la calidad de un servicio o programa. Lgicamente esta funcin
refuerza la atencin al contexto concreto y determinado de lo que se
est evaluando, a las necesidades y naturaleza de las personas destinatarias de dicho servicio y de todos los agentes crticos en el mismo,
especialmente el personal que lo atiende y la organizacin que lo
promueve.
El rendimiento de cuentas o responsabilidad sera la segunda funcin
de la evaluacin. La evaluacin debe servir como instrumento que
permita, en los diferentes niveles de responsabilidad, rendir cuentas
sobre la gestin y los resultados de un programa. Esto adquiere un
mayor sentido cuando se refiere a programas y polticas pblicas,
ya que el rendimiento de cuentas debe formar parte indiscutible del
sistema democrtico. Este rendimiento de cuentas debe darse a varios
niveles, incluyendo de forma especial a la ciudadana: el ciudadano/a
tiene derecho a saber no slo en qu se estn empleando los fondos
pblicos sino tambin con qu grado de idoneidad, eficacia y eficiencia
se estn asignando, gestionando y empleando dichos fondos.
Adems de estas dos funciones, la evaluacin puede cumplir una
tercera que es la de dar luz o iluminar acciones futuras. Aunque el
sentido ltimo de la evaluacin tiene que ver, esencialmente, con el
programa concreto evaluado en un contexto, situacin y momento determinado de forma que se contribuya a su mejora y se rindan cuentas
sobre el mismo, las evaluaciones arrojan una informacin sistemtica
que contribuye al acervo cientfico no slo de ese programa, servicio o poltica concreta sino tambin del abordaje general de determinados problemas pblicos. Como dice Carol Weiss,
el estudio de las polticas y programas en accin es una oportunidad para
estudiar los estmulos que conducen al cambio y las condiciones ambientales
bajo las cuales es ms probable que ocurran cambios (Weiss, 1998a: 28).
202
mara bustelo ruesta
Es claro que si se evalan sistemticamente los diferentes programas de prevencin de drogodependencias, por ejemplo, dichas
evaluaciones contribuirn en su conjunto a construir conocimiento
sobre las diferentes formas de hacer prevencin, cules son los contextos y grupos adecuados, quines son los agentes intervinientes necesarios, qu respuestas han dado los poderes pblicos en diferentes
momentos y por qu, etc. En definitiva, se sabr ms sobre cmo
hacer prevencin y esto servir de orientacin general a los poderes
pblicos sobre cmo abordar el problema de las drogodependencias.
En este sentido, en la actualidad, en la comunidad cientfica internacional algunos evaluadores reclaman ms experiencias de sntesis de
evaluaciones, meta-anlisis y metaevaluaciones para aprovechar todo
el cmulo de estudios de evaluacin realizados en determinadas reas
en los ltimos aos (Cook, 1997). Desgraciadamente, esta peticin
no puede ser trasladada a muchos pases como Espaa, en donde lo
primero que tiene que ocurrir es que se hagan suficientes estudios
como para poder ser sintetizados.
Vedung (1997) tambin se centra en estas tres funciones bsicas
de la evaluacin: mejora (o perfeccionamiento), responsabilidad (o
rendimiento de cuentas) y conocimiento bsico (que equivaldra a
la funcin de enlightenment propuesta por Stufflebeam y Shinkfield).
Dos cuestiones nos parecen especialmente destacables y novedosas
en su discurso. Por un lado, el autor parte de la consideracin del
conocimiento bsico como objetivo subordinado a los otros dos. Efectivamente, la mejora de las polticas evaluadas y el rendimiento de
cuentas sobre las mismas destacan como las razones fundamentales
para llevar a cabo una evaluacin, ya que los conocimientos bsicos
deberan considerarse ms bien como un efecto colateral de los dos
anteriores (Vedung, 1997: 131). Esto nos parece un punto particularmente importante en la diferenciacin de evaluacin e investigacin,
como se ver ms adelante.
En segundo lugar, Vedung analiza con profundidad la funcin de
la responsabilidad, cuestin que normalmente se obvia en la literatura
al uso. En su anlisis, distingue cuatro perspectivas distintas respecto
de la responsabilidad. Desde la perspectiva poltica, la evaluacin
es un instrumento clave para que los representantes polticos comprueben que la administracin est realmente ejecutando las tareas
que se le han asignado. Desde una perspectiva tcnico-organizativa,
la evaluacin es un instrumento para que los directivos de los orga-
203
nismos pblicos tengan informacin sobre si los subordinados estn

cumpliendo correctamente su tarea. Aunque Vedung reconoce que
en el discurso sobre la evaluacin rara vez se escucha el punto de
vista de los ciudadanos, stos configuraran una tercera perspectiva.
La ciudadana necesita la evaluacin para valorar cmo los polticos
elegidos y sus agentes a diferentes niveles estn desarrollando sus
tareas, y para exigirles responsabilidades en las prximas elecciones.
Por ltimo, desde la perspectiva del cliente (categora ms limitada
que la de los ciudadanos), la evaluacin puede producir informacin
sobre si los servicios prestados son satisfactorios y se estn distribuyendo equitativamente. Estas cuatro perspectivas hacen que se den
dobles lealtades en la cadena de representacin pblica (los representantes polticos son a la vez superiores y subordinados, la burocracia
nacional es agente del gobierno y jefe de otros organismos pblicos,
etc.), siendo evaluados los que a su vez tienen que evaluar, lo que contribuye, segn el autor, a la tibieza en el inters mostrado por la evaluacin en la vida pblica.
2.3. Propsitos y objetivos de la evaluacin de las polticas pblicas

En la literatura sobre evaluacin no se suele distinguir entre cules
son las funciones y cules los propsitos y objetivos de la misma. Nosotros, sin embargo, queremos distinguir entre funciones bsicas de
la evaluacin y objetivos o propsitos, basndonos en la distincin de
los dos conceptos. Segn la Real Academia de la Lengua Espaola
la funcin est definida como capacidad de accin o accin de un
ser apropiada a su condicin natural (para lo que existe) o al destino
dado por el hombre (para lo que se usa). Claramente, las funciones
de la evaluacin han sido definidas por el destino que se le ha dado
a tal actividad (para lo que se usa) en trminos genricos, de forma
que pueden quedar definidas como su condicin natural (para lo que
existe). Nosotros queremos recalcar este factor de condicin natural,
es decir, la evaluacin existe para mejorar, rendir cuentas y/o iluminar
acciones futuras. Si cumple una funcin distinta, no es evaluacin, es
otra cosa.
Sin embargo, los objetivos (fin o intento a que se dirige o encamina
una accin u operacin), fines (motivo con que se ejecuta una cosa)
y propsitos (nimo o intencin de hacer o de no hacer una cosa), se
204
mara bustelo ruesta
distinguen de las funciones en que pueden ser mucho ms variados y

no definen en s mismos la naturaleza, en este caso, de la evaluacin.
Carol Weiss (1998a: 25) seala que, tradicionalmente, la evaluacin
ha hecho hincapi en el propsito de ofrecer informacin para facilitar
el proceso de toma de decisiones. El tipo de decisiones pueden ser:
hacer correcciones intermedias en el proceso de ejecucin de un
programa
continuar, expandir o institucionalizar un programa o cortarlo, acabarlo o abandonarlo
examinar nuevas ideas y/o programas
elegir la mejor entre varias alternativas
decidir si se contina con la financiacin
En esta misma lnea, Chelimsky (1987: 74-75) liga los propsitos de
la evaluacin al ciclo de las polticas pblicas y a los procesos de decisin en cada una de esas fases. Estos diferentes propsitos tendrn
implicaciones en los tipos de evaluacin que debern aplicarse para
cubrir las diferentes necesidades de informacin, como se ver ms
adelante. Ella habla, entonces, de tres grandes propsitos de la evaluacin, que son:
Para la formulacin de polticas, esto es, por ejemplo, para valorar y/o
justificar la necesidad de un nuevo programa. Requiere informacin
de la evaluacin de, al menos, tres grandes reas: 1] informacin
del problema de que se trata, 2] informacin sobre anteriores programas y esfuerzos similares o relacionados, y 3] informacin que
permita la seleccin de un programa alternativo sobre otro.
Para la ejecucin de polticas, esto es, por ejemplo, para asegurar
que el programa se est ejecutando de la forma ms efectiva y eficiente. Se aplica igualmente a nuevos programas o programas ya
existentes. La informacin que se requiere para este propsito tiene
que ver con: 1] informacin sobre la ejecucin o implementacin
del programa (si es operativo, cunto cuesta, si es similar en las diferentes localizaciones, si se ajusta a lo formulado, si hay problemas
en la puesta en prctica, etc.) , 2] informacin sobre la gestin del
programa (el grado de control del gasto, la cualificacin y credenciales del personal, la distribucin de recursos, el uso de la informacin del programa en el proceso de toma de decisiones, etc.), y
205
3] informacin sobre el estado actual del problema abordado en el

programa (si est creciendo o aumentando, si est cambiando, etc.).
Para la responsabilidad o rendimiento de cuentas (accountability), esto es,
por ejemplo, para determinar la efectividad de un programa y la
necesidad de su continuacin, modificacin o terminacin. Tambin
se aplica a programas nuevos y ya existentes y requiere informacin
sobre: 1] informacin sobre los resultados del programa, 2] informacin sobre si el programa ha logrado sus objetivos, y 3]informacin
sobre los efectos (esperados e inesperados) del programa.
Sin embargo, en los ltimos aos ha aumentado la conciencia de
que los resultados de una evaluacin no determinan, por s solos, las
decisiones acerca de un programa, servicio o poltica. En muchas ocasiones, las organizaciones y agentes en torno a un programa o poltica
no aplican de forma directa e inmediata los resultados de una evaluacin. Ms frecuentemente, aprenden de la evaluacin y este aprendizaje afecta a las decisiones de forma sutil y gradual. Por esta razn,
en los ltimos tiempos se ha ido reconociendo el importante papel
que puede tener la evaluacin como facilitadora del aprendizaje organizativo (Weiss, 1998a: 26). En este caso, los propsitos estn menos
orientados a decisiones concretas sobre los programas o polticas evaluadas, como son:
registrar la historia del programa o poltica
ofrecer feedback o informacin sobre su prctica a los profesionales
que intervengan en dichas polticas o programas
enfatizar o reforzar los objetivos de un programa
rendir cuentas (la cultura del rendimiento de cuentas puede hacer a
los profesionales de una organizacin estar ms atentos a las expectativas del pblico)
entender (saber ms sobre) la intervencin social
Adems de estos nobles objetivos, la literatura sobre evaluacin,
en su evolucin hacia la incorporacin de la prctica a la teora evaluativa y su afn realista, ha ido tambin identificando otros posibles
propsitos con los que se llevan a cabo ciertos estudios de evaluacin.
Por ejemplo, en algunos casos se pueden realizar evaluaciones a requerimiento de la subvencin, becas o proyectos obtenidos, no tanto
porque exista una conciencia sobre la conveniencia o necesidad de
206
mara bustelo ruesta
la evaluacin; en estos casos, la evaluacin puede convertirse en un

mero requisito formal.
Carol Weiss (1998a) seala que los evaluadores deben ser conscientes de la existencia de propsitos encubiertos y Vedung (1997) utiliza
el trmino propsitos estratgicos ya que normalmente estn orientados a un determinado plan (aunque la mayora de las veces permanecen encubiertos); en su identificacin se basa, en parte, en un listado
de abusos evaluativos identificado por Suchman (67). Stufflebeam y
Shinkfield (1987) hablan de seudoevaluaciones. Estos propsitos se
podran resumir en los siguientes:
Aplazamiento. Se trata de llevar a cabo una evaluacin con el propsito de demorar una decisin. En algunos casos se puede esperar,
incluso, que una determinada cuestin candente se vaya debilitando
con el paso del tiempo y disminuya la atencin y presin pblica. La
evaluacin ser, en cualquier caso, un elemento tranquilizador.
Evasin y/o evitacin de responsabilidades. En este caso, las evaluaciones se realizan para obligar a los oponentes a compartir responsabilidades por decisiones impopulares. O puede ser que se encargue
un estudio de evaluacin para evitar toda responsabilidad, pretendiendo que la evaluacin sea la que adopte las decisiones.
Legitimacin de una decisin ya tomada. La evaluacin puede ser un
medio para legitimar una decisin ya tomada. Weiss (1998a: 22)
utiliza la expresin window dressing (desnudarse delante de la
ventana) para referirse a este propsito.
Relaciones pblicas. Las evaluaciones tambin pueden llevarse a cabo
por pose o imagen, o como un medio de hacer visible o darle publicidad al programa o poltica evaluada. Se puede utilizar la evaluacin como un gesto de racionalidad y asumiendo una posicin
de investigacin objetiva y cientfica, ofreciendo as una buena apariencia externa.
Ofrecimiento de una imagen determinada. En el propsito anterior, el
mero hecho de encargar una evaluacin es suficiente. En ste, la
evaluacin se centra en una seleccin sesgada y parcial de sus resultados sustantivos.
Pueden darse dos movimientos relacionados: uno, la justificacin
de un programa dbil a travs de la seleccin de aquellos aspectos positivos (Eyewash para Suchman, 1967); otro, el encubrimiento de un
207
fallo o fracaso evitando la informacin relativa al mismo (whitewash).

La postura de los diferentes autores ante estos ltimos propsitos
difiere ligeramente. Vedung (1997) parece ms comprensivo con
estos propsitos, denominndolos estratgicos, ya que responden a
un determinado plan o estrategia. En el caso de Suchman (su publicacin data del ao 1967 y el campo de la evaluacin estaba muy poco
desarrollado) y el de Stufflebeam y Shinkfield (1987) su posicin es
claramente condenatoria. Weiss (1998a) tambin habla de estos propsitos como razones no tan legtimas de llevar a cabo evaluaciones
y advierte a los evaluadores de las mismas. Su posicin al respecto se
ilustra en la siguiente cita:
La evaluacin es, entonces, una empresa racional que a menudo se lleva a cabo
por razones no racionales o, al menos, no informativas [], pero lo importante es que tales motivos tienen consecuencias en la evaluacin que pueden
ser serias y nada prometedoras. [] La gracia de las evaluaciones es que a
menudo se comprueba que son tiles aun cuando se comenzaron sin ninguna
intencin de utilizar los resultados. [] El potencial de ejemplificacin general de la evaluacin ayuda a sobreponer algunas de las seales no favorables emitidas por los patrocinadores desinteresados (Weiss, 1998a: 23-24).
En general, pues, se seala la importancia de reconocer la existencia

de estos otros propsitos de las evaluaciones. Tanto evaluadores
como analistas deben estar al tanto de estos posibles propsitos y saberlos reconocer y analizar. Adems, los evaluadores deben sealar y
hacer explcitos estos propsitos en caso de que haya indicios de los
mismos, y clarificar y negociar con las personas que encargan la evaluacin los propsitos reales y legtimos de un proceso de evaluacin.
Ante situaciones extremas, los evaluadores deben saber identificar la
situacin evaluativa de la forma ms realista posible, con la intencin
de poder decidir y, si viene al caso (apoyndose en criterios deontolgicos ticos y profesionales), no emprender la evaluacin encargada.
2.4. Diferencias y similitudes entre la evaluacin de programas

y de polticas pblicas
La literatura en evaluacin habla en general de programas, servicios y
polticas pblicas, no distinguiendo, en la mayora de los casos, proce-
208
mara bustelo ruesta
dimientos distintos para objetos diferentes. Es ms, se suele hablar de

un objeto genrico de la evaluacin, al que suele asignarse el concepto
de programa, pero que pretende designar, en general, polticas,
planes, programas, proyectos, servicios, medidas y materiales, dejando
fuera la evaluacin institucional y de personal (Joint Committee, 1994).
En otros casos el campo acadmico y profesional de la evaluacin
pretende abarcar an ms objetos: tomamos como ejemplo los Principios Orientadores para Evaluadores elaborados por la Asociacin
Americana de Evaluacin (aea, 1994), en los que se explicita que se
aplicaran, adems de a los campos mencionados anteriormente, a la
evaluacin institucional, de personal, del desempeo, de la tecnologa,
de proyectos de investigacin, de teoras, etc. De hecho, a lo largo de
este trabajo se utiliza el trmino evaluacin de programas y polticas
en sentido amplio. Sin embargo, nos parece conveniente realizar una
serie de distinciones conceptuales y terminolgicas en este sentido.
Una primera distincin sera la relacionada con el objeto de la evaluacin. S parece evidente que es diferente evaluar programas que
evaluar polticas pblicas; y efectivamente, existe una diferencia de
nivel. Algunos autores mencionan que existen diferentes niveles de
evaluacin, aunque esta categorizacin analtica no es frecuente en
la literatura de evaluacin y, cuando aparece, no se le da una especial
importancia. As Carol Weiss (Weiss, 1998a: 7), habla de programas
nacionales (pone como ejemplo el Head Start), de proyectos locales
(pone como ejemplo el programa concreto de Head Start que se lleva
a cabo en el Centro Comunitario de Brigham), y de componentes de
los proyectos (pone como ejemplo un elemento del proyecto local mencionado como es la implicacin de los padres a travs de encuentros
semanales). Tambin Weiss habla de que se pueden evaluar polticas,
aunque la definicin que ofrece de las mismas sea algo limitada (una
poltica es una declaracin de objetivos, aceptada oficialmente, ligada
a una serie de actividades que se supone cumplirn dichos objetivos
en una determinada jurisdiccin). Sin embargo, la conclusin de
Weiss al respecto es que la mayora de las estrategias evaluativas que
se usan en evaluacin de polticas son las mismas que en la evaluacin
de programas.
Sin embargo, nosotros creemos importante hacer un esfuerzo de
distincin conceptual entre lo que es evaluacin de polticas y evaluacin de programas, aunque estemos en general de acuerdo con
Weiss en que la mayora de las estrategias evaluativas son las mismas.
209
En el cuadro siguiente se exponen las principales diferencias en una

serie de dimensiones. Segn el objeto de estudio, por evaluacin de
programas se entiende, en sentido estricto, la evaluacin de todo
tipo de unidades: servicios, medidas, proyectos, programas y planes.
Estas unidades se caracterizan, con un mayor o menor grado de am
plitud y generalidad, por ser realidades acotadas, con unos objetivos,
unas actividades, unos recursos y un calendario ms o menos definidos. Sin embargo, las polticas pblicas son unidades menosdefinidas a priori, realidades ms amorfas, y consisten en procesos,
decisiones y cursos de accin en los que intervienen los poderes pblicos para abordar un determinado problema pblico en un cierto
periodo de tiempo. El trmino de polticas pblicas ha sido utilizado
de muy diferentes maneras (Hogwood y Gunn, 1984: 13-19) e incluso
una poltica puede consistir en no hacer nada (Heclo, 1972). Son
ms difcilmente acotables y requieren de la redefinicin y reconstruccin previa por parte del analista, ya que
toda poltica pblica es definida subjetivamente por el observador, comprendiendo normalmente un conjunto de decisiones relacionadas con una variedad
de circunstancias, personas, grupos y organizaciones (Subirats, 1989: 42).
Necesariamente, esta diferencia en el objeto debe marcar de

alguna manera distintas formas de abordar las evaluaciones. Entre
otras, una mayor probabilidad de que para la evaluacin de polticas
pblicas, el agente evaluador sea un analista de polticas pblicas,y
para la evaluacin de programas, sean bien consultores externos (no
necesariamente analistas), bien responsables internos de dichos programas.
Respecto a la aplicacin, mientras la evaluacin de programas es
probable que enfatice la mejora y el control de responsabilidades internas, la evaluacin de polticas puede que lo haga haciendo hincapi
en el conocimiento general o iluminacin para acciones futuras, o
en una informacin general que permita tomar decisiones fundamentadas sobre la continuacin o terminacin de tal poltica o programa.
Por ltimo respecto a la aplicacin, la evaluacin de programas
definitivamente es la base y contribuye a la evaluacin de las polticas
pblicas.
Sin embargo, la metodologa utilizada es esencialmente la misma,
aunque se puede decir que la evaluacin de polticas siempre se apoya
210
mara bustelo ruesta
ms en el anlisis secundario de datos, entre otros, de la informacin

generada por los propios programas.
Finalmente, el calendario de la evaluacin o la temporalidad, en
general, suele ser ms ajustado en la evaluacin de programas ya que
los ciclos temporales suelen ser ms cortos y estar ms definidos.
Dimensiones
objeto de
estudio
agente
evaluador
aplicacin
metodologa
tiempos
ejemplos
Evaluacin de programas
Planes, programas, proyectos
Servicios, medidas
Consultores externos
Responsables internos
Mejora del programa
o servicio
Control de responsabilidades
Contribucin a la evaluacin
de una poltica
Flexibilidad metodolgica
Evaluacin de politicas
Polticas pblicas
Analistas
Iluminacin para
acciones futuras
Ayuda a las decisiones
sobre continuacin o
terminacin
Flexibilidad
metodolgica (relativo
mayor apoyo en anlisis
secundario de datos)
Temporalidad ajustada
Puede tomarse ms
tiempo aunque debe
reflejar el carcter
dinmico de la poltica
Programa Deporte y droga Poltica de juventud en la
Red de albergues juveniles
comunidad de Madrid
3. lo especfico de la evaluacin
3.1. Las diferencias con otras prcticas de anlisis: Evaluacin vs investigacin
Durante los primeros aos del desarrollo de la disciplina de la evaluacin de programas en los aos sesenta y setenta, no se encuentran
en la literatura especializada distinciones entre investigacin y evaluacin. Entonces, se conceba la evaluacin como un tipo de investigacin de carcter aplicado y que debe guiarse por los estndares de la
misma. En realidad, se consideraba la evaluacin como una hermana
menor de la investigacin, siendo a veces desprestigiada en la comu-
211
nidad cientfica de entonces. La utilizacin de trminos como investigacin evaluativa (Rossi y Freeman, 1989; Weiss, 1975, etc.), aunque
contribuan a dar una mayor seriedad y a obtener legitimidad para
el nuevo campo, no ayudaban al esclarecimiento o diferenciacin de
los dos conceptos.
Respecto a la naturaleza de la investigacin y de la evaluacin, es
evidente que ambas son modos de indagacin sistemtica. Esto implica que, como requisito mnimo, son actividades que se hacen de
forma consciente y con un sistema, es decir, siguiendo unos pasos o
aplicando algn mtodo o forma sistemtica de actuacin. Adems,
para Lincoln y Guba (1986: 547) se trata de tipos de indagacin disciplinadas. Por indagacin disciplinada (disciplined inquiry), estos autores entienden algo que es confirmable pblicamente y que permite
explicitar la naturaleza de los datos, las fuentes y el contexto en el
que fueron recogidos, as como los procesos de transformacin de
los datos en informacin (interpretaciones, conclusiones, extrapolaciones, recomendaciones).
A caballo entre el criterio de la naturaleza de cada actividad y el
criterio de su finalidad, estara su posible carcter bsico o aplicado.
Ambos tipos de actividad investigacin y evaluacin pueden ser de
carcter aplicado; pero la evaluacin es siempre de carcter aplicado,
nunca bsico. La investigacin, por el contrario, puede ser tanto de
carcter bsico como aplicado. Sin embargo, el hecho de que se d
una investigacin aplicada (cuyo fin primario sea la solucin de un
problema o la respuesta a una necesidad concreta, ms que el desarrollo de teora en abstracto) no la convierte automticamente en una
actividad evaluativa. Tampoco el hecho de ser aplicada no significa
que sea una investigacin de categora inferior; muy al contrario, el carcter aplicado de la investigacin dota de contenido y utilidad social
a la actividad cientfica. Como sealan Lincoln y Guba es posible
afirmar que muchos avances bsicos en las ciencias han sido ocasionados por esfuerzos para resolver problemas prcticos (1986: 548).
Lo que s parece claro es, como se ha dicho antes, que la evaluacin es
siempre de carcter aplicado ya que se hace para valorar el mrito y/o
valor de un evaluando en su contexto, para resolver determinadas necesidades de informacin y con la intencin de mejorar el evaluando,
rendir cuentas sobre el mismo o ilustrar sobre acciones futuras. Es
ms, se puede afirmar que la evaluacin es un tipo de indagacin
sistemtica especialmente aplicada.
212
mara bustelo ruesta
El criterio de la diferente finalidad de la investigacin y la evaluacin es el que proporciona una base ms amplia para su distincin.
En trminos generales, la investigacin se hace con el fin ltimo de
construir conocimiento. La evaluacin, sin embargo, se hace para mejorar los programas evaluados, rendir cuentas sobre los mismos y generar una informacin que permita ilustrar posibles acciones futuras.
Es cierto que, de alguna manera, la evaluacin tambin construye
conocimiento, pero ste es siempre de carcter ms aplicado o concreto. La realizacin de evaluaciones sistemticas en un determinado
sector o de un determinado tipo de polticas (por ejemplo, de cooperacin al desarrollo) es evidente que contribuye a la acumulacin de
conocimiento sobre el problema que se trata de resolver y la forma
de hacerlo. Pero tambin es claro que sta no es su funcin principal.
La evaluacin nunca se hace con el fin de comprobar proposiciones
tericas, aunque s sea, en cierto modo, una aplicacin de la teora ya
que las evaluaciones siempre tienen como teln de fondo y referencia,
adems del contexto especfico del evaluando, el marco terico en
torno al tipo de intervencin evaluado. Esta diferencia de propsito es
la primordial a la hora de distinguir entre investigacin y evaluacin
y la que hace que los dos tipos de indagacin sean distintos respecto
a otras dimensiones y caractersticas. As, la investigacin es un modo
de indagacin de carcter acadmico, mientras la evaluacin lo es de
carcter prctico (Cordray y Lipsey, 1987). Esto quiere decir que la
evaluacin de programas pone nfasis en la valoracin y el enjuiciamiento del evaluando, su significado para los destinatarios, patrocinadores y responsables, en ser relevante y sensible ante el contexto
y, sobre todo, en ofrecer una informacin oportuna en el tiempo y
til para la toma de decisiones relacionada con dicho evaluando. Por
lo tanto la utilidad es el sentido ltimo o leitmotiv de la evaluacin de
programas. La evaluacin se hace con la intencin de ser utilizada.
En su forma ms simple, la evaluacin se lleva a cabo por parte de un cliente
que tiene decisiones que tomar y que busca en una evaluacin una informacin en la que basar sus decisiones. Incluso cuando el uso es menos directo
e inmediato, la utilidad de algn tipo es la fundamentacin de la evaluacin
(Weiss, 1998: 15).
El hecho de que la utilidad sea una caracterstica central de la evaluacin implica una serie de condicionantes que deben darse en este
213
tipo de actividad cientfica. La existencia de un cliente o clientes que

han demandado la evaluacin y la necesidad de responder ante un
contexto especfico hacen que el evaluador, adems de la lealtad hacia
su campo de estudio y como cientfico social, tenga, sobre todo, obligaciones con el cliente, los formuladores de la poltica, los directivos,
los profesionales y los participantes y beneficiarios del programa evaluado. Esto significa que la evaluacin debe tener mayor capacidad de
respuesta que la investigacin, especialmente ante el contexto (aunque
la investigacin debe tener tambin en cuenta el contexto, para la
evaluacin la respuesta al mismo es crucial) y ante los responsables y
agentes crticos de los programas.
En conexin con esta capacidad de respuesta y, en general, con la
utilidad como sentido ltimo de la evaluacin, est la necesaria oportunidad en el tiempo que debe tener la evaluacin. Los ritmos de la
investigacin pueden ser distintos, mucho ms lentos. Sin embargo,
para la evaluacin, la capacidad de respuesta est claramente ligada al
calendario. La utilidad de la informacin que arroja una evaluacin
depende, en gran medida, de que sta llegue a tiempo para la toma
de decisiones sobre las mejoras, las posibles modificaciones y el rendimiento de cuentas. La entrega tarda de un informe de evaluacin
puede significar la prctica inutilidad del mismo. Eleanor Chelimsky
reflexiona sobre las aportaciones que se pueden hacer a la teora de
la evaluacin desde la experiencia de la prctica evaluativa, y es precisamente ste uno de los puntos sobre el que llama la atencin; para
ella, a la necesidad de oportunidad en el tiempo de la evaluacin no
se le ha dado la suficiente importancia en el nivel terico (Chelimsky,
1998). Cuanto ms inestable e incierto polticamente sea el contexto
en el que se encuentra el programa o poltica a evaluar, ms acuciante
es la necesidad de que la evaluacin cumpla los criterios de temporalidad. Si se tarda mucho tiempo en contestar las preguntas de evaluacin, por muy bien contestadas que estn, es posible que el debate
que las gener ya no sea el mismo, que se hayan quedado obsoletas
y sean irrelevantes o que los destinatarios a los que se haba dirigido
la evaluacin hayan desaparecido. Chelimsky tambin seala que el
incumplimiento de plazos en un proceso de evaluacin suele daar
la reputacin y credibilidad de los evaluadores a largo plazo; adems
del incumplimiento de compromisos, los retrasos suelen entenderse
como seal de incompetencia o de que hay algo que ocultar (Chelimsky, 1998: 41).
214
mara bustelo ruesta
La investigacin y la evaluacin se suelen producir en contextos

distintos y que pueden ser caracterizados de forma diferente, segn
se trate de una investigacin o de una evaluacin. Algunos autores
como Weiss (1998), quien considera que la evaluacin se desarrolla
en un escenario de accin, han utilizado este criterio para distinguir
entre los dos tipos de actividad. La evaluacin se desarrolla en un
contexto especfico que es al que dicha evaluacin debe responder
y que debe orientar y enfocar el estudio de evaluacin. Adems,
los procesos de evaluacin siempre se llevan a cabo en un escenario
de accin, en el que lo ms importante que ocurre es el programa.
Weiss insiste en que en este tipo de escenarios es probable que se
den conflictos entre el programa y la evaluacin del mismo; lgicamente, cuando esto ocurre, siempre se da prioridad al programa y no
a la evaluacin (Weiss, 1998: 15). Al fin y al cabo, si la evaluacin se
realiza para mejorar el programa, es lgico que aquella dependa de y
se subordine a ste. Por lo tanto, los procesos de evaluacin dependen
ms del contexto que los de investigacin. Esto, en trminos prcticos,
significa que las estrategias de seleccin, recopilacin y anlisis de la
informacin tambin se deben plantear de forma diferente en los dos
tipos de actividad, siendo ms cautelosos e inclusivos (ofreciendo una
mayor participacin a responsables y a agentes crticos) en los procesos de evaluacin.
Esta mayor dependencia del contexto de la evaluacin est ntimamente ligada al necesario reconocimiento del carcter poltico de los
procesos evaluativos. sta es otra diferencia clara con la investigacin,
ya que esta ltima se ve mucho menos afectada por el contexto poltico.
De forma especial, las diferencias en el objeto de estudio han sido
poco tratadas en la literatura sobre evaluacin, aunque desde nuestro
punto de vista, tambin se pueden identificar algunas diferencias. La
diferencia bsica inicial estriba en que la investigacin suele tener por
objeto el estudio del problema que los programas intentan abordar, es
decir qu problema pblico se intenta solucionar y sus caractersticas (por
ejemplo, la desigualdad de oportunidades entre mujeres y hombres) y
la evaluacin, sin embargo, se dedica al estudio de las intervenciones
pblicas que intentan solucionar dicho problema, es decir, cmo se
aborda el problema en un contexto y momento determinado (por
ejemplo, la poltica de igualdad de oportunidades entre mujeres y
hombres). Afinando algo ms en el anlisis, mientras la investigacin
puede dedicarse a la evolucin del problema en abstracto, la evaluacin
215
pretende valorar las intervenciones para abordar dicho problema y

sus efectos en esa evolucin, o, dicho de otra manera, cmo ha ido evolucionando el problema por efecto de la intervencin a travs de un
programa. Esto, en un sentido estricto, es a lo que se llama el efecto
neto de un programa o poltica, es decir, lo que ha producido un
programa y que no se hubiera producido en ausencia del mismo. Esta
diferenciacin es importante porque puede dar lugar a equvocos. Por
ejemplo, el estudio de la situacin social de la mujer y su evolucin
durante tres aos en un determinado territorio no es equivalente a
la evaluacin del Plan de Igualdad de Oportunidades entre Mujeres
y Hombres que se haya ejecutado en ese territorio durante el mismo
periodo. Es decir, una cosa es el anlisis peridico de la situacin de
la mujer, y otra muy diferente, la valoracin de las acciones que se han
llevado a cabo por parte de los poderes pblicos para paliar las situaciones de desigualdad de gnero.
Adems de la valoracin de este efecto neto, que en muchas ocasiones es sumamente difcil y costoso de medir, la evaluacin de la
forma en la que se aborda un problema pblico debe incluir la valoracin del diseo de la intervencin, su puesta en prctica y sus resultados. Es decir, el foco de la evaluacin es la valoracin de las acciones
e intervenciones concretas que se realizan para abordar un problema determinado, en todas sus dimensiones. Stufflebeam y Shinkfield (1987: 23)
consideran que, mientras la investigacin se limita al estudio de ciertas
variables que tienen un inters terico, la evaluacin se dedica a todos
los criterios que se utilizan en la determinacin de un valor. Esto significa que la investigacin puede centrarse en ciertos aspectos concretos o en algunas variables especficas; es decir, su foco de atencin
puede ser pequeo o ms acotado. Por el contrario, la evaluacin,
por el hecho de determinar el valor de una intervencin, suele tender
a considerar sta de forma global, ms que centrarse en algunos aspectos concretos de dicha intervencin.
Sin embargo, aunque existen diferencias genricas entre el objeto
de estudio de la investigacin y la evaluacin y el reconocimiento
de las mismas es tambin importante para establecer una identidad
para la evaluacin como actividad cientfica diferenciada, no basta
con distinguir los objetos en trminos abstractos. Por un lado, es
evidente que el abanico de objetos de investigacin (cualquier tipo
de problema) es mucho ms amplio que el de la evaluacin, que est
mucho ms acotado (abordaje de un problema a travs de algn tipo
216
mara bustelo ruesta
de intervencin). Pero por otro lado, para diferenciar entre objetos,

puede hacer falta el cruce del propsito con el que se lleva a cabo la
indagacin. As, el objeto de la evaluacin puede ser invadido por
la investigacin, si sta se lleva a cabo con un propsito diferente al
de la evaluacin de programas. Por ejemplo, el estudio comparado
de las polticas de cooperacin al desarrollo en tres pases, aunque se
trata de un objeto que tiene que ver con el abordaje de un problema,
ms que con el problema en s mismo, sera ms investigacin que
evaluacin porque, seguramente, no se llevara a cabo con la intencin
de mejorar las polticas o controlar responsabilidades, sino con un
propsito ms general de construccin de conocimiento.
Como ya se ha mencionado, los criterios ms utilizados para resaltar diferencias y semejanzas entre investigacin y evaluacin, junto
con los de finalidad, son los de tipo epistemolgico y metodolgico. Algunas de las primeras distinciones que se encuentran en la literatura
tendan a pensar en la investigacin en trminos positivistas, dejndole
a la evaluacin mayores grados de libertad metodolgicos. Las evaluaciones suelen utilizar mtodos subjetivos y no estn tan estrechamente controladas ni sujetas a manipulacin como las investigaciones
(Stufflebeam y Shinkfield, 1987: 23). Incluso se llega a identificar a
cada tipo de actividad con un paradigma diferente desde el punto de
vista epistemolgico. Para Cordray y Lipsey (1987: 29), la evaluacin
se inscribira en una perspectiva ms constructivista (examinando
diferentes hechos, vistos desde muchos puntos de vista) mientras
la investigacin lo hara en una ms positivista (examinando un conjunto de hechos sobre los aspectos tangibles de una intervencin).
En una lnea de inclusin de todas las perspectivas paradigmticas,
distinguen investigacin y evaluacin (Lincoln y Guba, 1986). Estos
autores proponen una definicin de investigacin que sea vlida para
cualquier orientacin epistemolgica y para cualquier tipo de investigacin (bsica o aplicada): es un tipo de indagacin disciplinada que
se lleva a cabo para resolver algn problema de forma que se consiga
entendimiento o se facilite la accin. Sin embargo,
la evaluacin es un tipo de indagacin disciplinada que se lleva a cabo para
determinar el valor (mrito y/o vala) de alguna entidad el evaluando tal
como un tratamiento, un programa, unos recursos o una actuacin, de forma
que se mejore o refine el evaluando (evaluacin formativa) o se valore su impacto (evaluacin sumativa) (Lincoln y Guba, 1986: 549-550).
217
Como se puede observar, estas definiciones vuelven a hacer hincapi en las diferentes finalidades.
Una de las semejanzas que siempre se aducen al hablar de investigacin y evaluacin es la utilizacin de la misma metodologa (Weiss,
1998). Es ms, en ocasiones se ha definido la evaluacin como la utilizacin de los mtodos de la investigacin para valorar programas.
Para Weiss, la utilizacin de los mtodos de las ciencias sociales tiene
como fin hacer que el proceso valorativo sea ms exacto y sistemtico.
De nuevo, como muchos otros autores, Weiss seala que lo que distingue la investigacin evaluativa no es el mtodo o la materia de
la que se ocupa, sino la intencin o el propsito para la que se hace
(Weiss, 1998: 15). Como ya se ha visto, ni siquiera Lincoln y Guba,
quienes enmarcan su discusin con pautas de carcter epistemolgico,
insisten en las diferencias metodolgicas, sino que se centran en las diferencias de propsito, y mencionan algunas cuestiones respecto a los
destinatarios y los resultados o productos. Ms adelante, se argumenta
que tambin existen diferencias de mtodo, aunque ambos tipos de
actividad utilicen las mismas tcnicas de recopilacin y anlisis de informacin e incluso las mismas metodologas en ocasiones. De esta
manera, hacemos eco del smil utilizado por Lincoln y Guba: el hecho
de que utilicen las mismas herramientas (martillos, desarmadores y
llaves) no hace iguales a carpinteros, electricistas y plomeros (Lincoln
y Guba, 1986: 537).
Carol H. Weiss, adems de la utilizacin de las mismas tcnicas
y mtodos, e incluso los mismos diseos de investigacin, menciona
otra semejanza relacionada con el criterio metodolgico. Para Weiss,
la evaluacin pretende, como cualquier otra investigacin, describir,
entender relaciones entre variables y seguir la secuencia causal de una
variable con otra. Sin embargo, para la autora, no siempre se pueden
aplicar los mtodos con el mismo rigor que en la investigacin ya que
las dependencias del tiempo, el espacio, la gente y los recursos disponibles son ms estrechas y evidentes en situaciones de evaluacin. As,
los mtodos de evaluacin a menudo representan un trmino medio
entre lo ideal y lo posible (Weiss, 1998: 18). En definitiva, lo que las
diferencia, pues, no es la metodologa en s misma sino las circunstancias y condicionantes con los que se aplica.
Segn nuestro punto de vista, la idea de metodologa de Weiss
tiene que ver con una visin tradicional y acotada del mtodo y que
se limita a la forma en la que se recopila y analiza la informacin.
218
mara bustelo ruesta
Esto tambin tiene que ver con la necesaria diferencia que se debe
establecer entre los niveles metodolgico y tecnolgico (referido a las
tcnicas para la recopilacin y anlisis de la informacin). La metodologa se refiere al razonamiento lgico que vincula la informacin
que se recopila al conocimiento general. Las tcnicas son las que
permiten recopilar la informacin. Como veremos ms adelante, si
consideramos que la metodologa de evaluacin comprende algo ms
que la recopilacin y el anlisis de la informacin, se pueden tambin
encontrar diferencias de mtodo entre los dos tipos de indagacin.
En lo que se refiere a la distincin entre la metodologa de investigacin y la de evaluacin, es interesante insistir en la diferencia entre
los niveles metodolgico y tecnolgico. De esta manera, la utilizacin de
las mismas tcnicas de recopilacin y anlisis de informacin no
significa la utilizacin de una misma metodologa. Como se ha comentado antes, Guba (1990) dice que la metodologa se refiere a la
forma en la que se busca el conocimiento; nosotros aadiramos en
que se busca y se ofrece el conocimiento. As, creemos que cuando
se habla de metodologa de evaluacin estamos hablando de algo
ms que la forma en la que se recopila y analiza la informacin;
hablamos, al menos, de 1] cmo se selecciona la informacin que
se quiere recopilar, teniendo en cuenta y respondiendo al contexto
especfico del programa que se pretende evaluar (diagnstico de la
situacin evaluativa, diseo de la estrategia general de evaluacin
y establecimiento y definicin de los criterios o preguntas de evaluacin), 2] cmo se recopila y trata la informacin que nos va a
permitir contestarnos a las preguntas de evaluacin, y 3] cmo se
valora dicha informacin y, por lo tanto, se juzga el mrito y/o valor
del evaluando. En una visin amplia de la metodologa podramos
aadir, adems, otros dos pasos: 4] cmo se traducen dichas valoraciones en recomendaciones para la accin y 5] cmo se transmiten
y comunican los resultados de la evaluacin para que stos sean los
ms tiles y utilizados. Aunque estos dos ltimos pasos pueden ser
tambin considerados como resultados esperados de los procesos de
evaluacin. Por lo tanto, hay varias caractersticas que distinguen
la metodologa de evaluacin de la de investigacin y la hacen, de
alguna forma, especfica.
En primer lugar, esta especificidad tiene que ver con la definicin
del problema a resolver y con el primer paso sobre cmo se seleccionan los criterios o preguntas de evaluacin. Weiss (1998:15) seala
219
que, en evaluacin, las preguntas que se plantean se derivan siempre

del propio programa a evaluar. Independientemente de que se tenga
en cuenta el estado de la cuestin, las fuentes ms importantes para
la elaboracin de los criterios o preguntas de evaluacin son los objetivos del programa a evaluar y, sobre todo, las preocupaciones de los
agentes crticos (de la comunidad de poltica o programa). Mientras
los investigadores pueden formular sus propias hiptesis, el evaluador
debe convertir en preguntas de evaluacin las preocupaciones del
programa. Aunque el evaluador pueda influir en lo que l considera
importante, el corazn de los estudios de evaluacin son las cuestiones
de inters programtico.
En segundo lugar, en evaluacin siempre se da un elemento de valoracin. Para Weiss (1998: 15), una de las diferencias entre investigacin
y evaluacin es lo que ella llama la calidad de juicio. En evaluacin
se compara entre lo que es y lo que debera ser; se compara respecto
a normas implcitas o explcitas, relativas o absolutas. El elemento de
valoracin respecto a una serie de criterios es lo que diferencia la evaluacin respecto a otros tipos de investigacin. Tambin para Alvira,
aunque los procesos de evaluacin son muy similares a los de una investigacin aplicada, la caracterstica que principalmente diferencia a los
dos tipos de actividad es que en evaluacin se deben emitir juicios de
valor sobre el objeto evaluado (Alvira, 1991: 7). ste debe ser siempre
un enjuiciamiento sistemtico, que tenga en cuenta los criterios y
normas previamente establecidos y que se base, sobre todo, en los
datos recopilados y en las interpretaciones que de ellos se han hecho.
Sin embargo, investigacin y evaluacin no se diferencian por las
tcnicas de recopilacin y anlisis de informacin que son, bsicamente,
las mismas. Aunque, afinando en el anlisis, se puede sealar que, en
general, las evaluaciones tienden a utilizar tcnicas menos sofisticadas
que las investigaciones. Las constricciones de tiempo, recursos y contexto que suelen darse en las situaciones de evaluacin hacen que, en
muchas ocasiones, la utilizacin de tcnicas complejas y costosas sea
menos posible y apropiado.
Adems de los criterios mencionados, se pueden sealar tambin
diferencias entre investigacin y evaluacin segn los destinatarios
o usuarios de los dos tipos de actividad, ya que stos son potencialmente distintos, siendo los destinatarios de la investigacin la comunidad cientfica en trminos abstractos, y de la evaluacin, una
comunidad de poltica o programa concreta. En el caso de la investi-
220
mara bustelo ruesta
gacin, el grupo destinatario principal es la comunidad cientfica y en

un papel secundario, las comunidades de poltica relacionadas con el
tema investigado. En evaluacin, ocurre justamente lo contrario: en
un papel secundario estara la comunidad cientfica, y como destinataria principal la comunidad de poltica. Esta comunidad de poltica
es, en cualquier caso, compleja y amplia. Adems del cliente que la
encarga, existen muchas otras personas que estn implicadas en el
programa, de una manera u otra, y, por lo tanto, tienen necesidades
de informacin e intereses en los procesos evaluativos. Es posible que
para una evaluacin haya un nico cliente que la ha encargado, pero
siempre va a haber ms destinatarios que esperan algo en concreto
de esa evaluacin. Como muestra, Guba y Lincoln (1989: 40-41) identifican un amplio listado de trece tipos de posibles agentes crticos3
(stakeholders) en una evaluacin, divididos en tres grandes clases: los
agentes, los beneficiarios y las vctimas del programa a evaluar.
En este listado se incluyen desde los patrocinadores del programa
(agentes) hasta las personas que sufren costes de oportunidad por el
uso del evaluando, tales como las personas que hubieran preferido
invertir los recursos en otros programas (vctimas). Por lo tanto, el
elenco de destinatarios a los que hay que responder y de posibles actores a involucrar es mucho ms amplio y complejo en los procesos de
evaluacin que en los de investigacin.
Tambin se pueden establecer diferencias segn los resultados que
deben producir y que se esperan de los dos tipos de indagacin; respecto a los resultados se puede hablar, por un lado, de productos
esperados (publicacin de resultados en un caso y recomendaciones
e informe en el otro) y, por otro, de sus efectos (reconocimiento de
la comunidad cientfica en un caso y utilizacin de los resultados en
el otro).
Debido a la naturaleza y finalidad de la evaluacin, sta debe contar
con un ltimo nivel de anlisis y exposicin de los resultados que
consiste en la traduccin de los resultados de la evaluacin en recomendaciones. Estas recomendaciones son sugerencias sobre posibles lneas
de accin a seguir respecto al programa o poltica evaluada, cambios
propuestos en el programa o cosas a mantener en el mismo o con3
El trmino stakeholder suele utilizarse en ingls debido, en parte, a su difcil traduccin. Aqu lo vamos a traducir como agente crtico, alguien que puede verse afectado
o afectar al programa y, por lo tanto, a su evaluacin.
221
sejos para la mejora dirigidos a los patrocinadores, responsables y/o

profesionales del programa. Evidentemente, estas recomendaciones
deben seguir la secuencia lgica y sistemtica de los niveles de anlisis anteriores (hallazgos, interpretaciones y valoraciones). Es decir,
las recomendaciones de una evaluacin deben estar basadas en las
valoraciones realizadas que, a su vez, habrn estado basadas en la recopilacin y anlisis sistemtico de la informacin. Este producto
de las evaluaciones no tiene por qu ser exclusivo de las mismas, ya
que una investigacin podra concluir tambin con recomendaciones;
pero ni es frecuente ni es un elemento crucial. Sin embargo, en las
evaluaciones las recomendaciones son un elemento importante ya que
son el vnculo formal entre una evaluacin y su uso. Ms all, el ofrecimiento de recomendaciones especficas y orientadas a la accin ha
sido considerado desde hace tiempo como algo deseable y relacionado
con las buenas evaluaciones (Torres, Preskill y Piontek, 1996: 105),
y esto no ocurre con la investigacin. Patton, quien ha desarrollado
un enfoque basado en la utilizacin, da tambin importancia a las
recomendaciones y, aunque insiste en que no slo stas sino todo el
resto del proceso evaluativo es lo que provoca y estimula el uso de la
evaluacin, reconoce, sin embargo, que son, a menudo, la parte ms
visible de un informe de evaluacin (Patton, 1997: 324).
Efectivamente, la preocupacin por la utilizacin y el uso de la
evaluacin ha sido una constante en la literatura especializada en el
campo de la evaluacin, cuestin que no ocurre respecto a la investigacin. Dada la naturaleza especfica de la evaluacin, su xito no
slo se debe medir por el grado en que sta contribuye al aumento o
mejora del
conocimiento sino, sobre todo, por el grado en el que ha resultado valiosa para cubrir las necesidades especficas de informacin
de un cliente, destinatario o usuario particular.
Una respuesta natural a esta preocupacin por la utilizacin y
por responder a necesidades especficas de informacin, ha sido la
atencin prestada a los procesos de comunicacin de los resultados de
las evaluaciones, incluyendo la importancia de la elaboracin de un
buen informe, legible y claro (y su difusin y seguimiento posterior),
y de otras formas alternativas de comunicacin (como por ejemplo,
sesiones de trabajo, presentaciones orales, conferencias de prensa, comunicaciones cortas como faxes, memoranda o correos electrnicos,
videos, posters, boletines y resmenes ejecutivos). Un buen exponente
de esta preocupacin por el elemento comunicativo es la obra de
222
mara bustelo ruesta
Torres, Preskill y Piontek (1996), la cual se centra en fundamentar

la importancia de dicho elemento en los procesos evaluativos y en
ofrecer orientaciones prcticas para la comunicacin y difusin de los
resultados. Es decir, la responsabilidad del evaluador no acaba con
la entrega del informe, sino que tambin tiene responsabilidades de
comunicacin, difusin y seguimiento de dicho informe.
Otra de las diferencias entre investigacin y evaluacin, respecto a
los resultados esperados de ambos procesos de indagacin, es, como
seala Weiss (1998: 16) la publicacin posterior. Mientras el resultado
evidente de la investigacin es su publicacin sta es, de hecho, prcticamente la nica va para la diseminacin de las investigaciones,
la mayora de los informes de evaluacin no se publican. Por un lado,
los responsables de los programas entienden que la informacin que
generan las evaluaciones sirve, sobre todo, para contestar a sus preguntas y cubrir sus necesidades de informacin, y no tienen especial
inters en que dicha informacin se difunda. Por otro lado, los evaluadores suelen trabajar con presin de tiempo y, normalmente, despus
de la entrega del informe, suelen ya estar trabajando en otro estudio.
Adems, los canales para publicar estudios de evaluacin son todava
muy escasos, especialmente en pases que, como Espaa, tienen todava
una escasa cultura evaluativa y la funcin de evaluacin muy poco desarrollada e institucionalizada. En el mbito anglosajn existen una
serie de publicaciones peridicas especializadas en las que pueden editarse los resultados de estudios de evaluacin y el proceso seguido en
los mismos, as como debatir sobre mtodos, enfoques, filosofa y usos
de la evaluacin. En realidad, en el campo de la evaluacin, las cuestiones referidas a los procesos y a la metodologa pueden tener ms inters incluso que los propios resultados de los estudios de evaluacin,
ya que al estar stos centrados en un contexto especfico y en un programa o poltica concreta son menos generalizables o extrapolables
que los resultados de las investigaciones. Sin embargo, no cabe duda
de que los resultados de las evaluaciones de programas y polticas de
un determinado sector pueden ser tambin de inters para la comunidad cientfica y profesional de dicho sector (por ejemplo, las polticas
de cooperacin al desarrollo), y que tambin pueden tener cabida en
las publicaciones y foros especializados de cada uno de los sectores.
Respecto a los efectos de los dos tipos de indagacin, se puede decir
que la investigacin pretende, en general, conseguir aportaciones a
la comunidad cientfica y un reconocimiento por parte de la misma; la
223
evaluacin, sin embargo, pretende la utilidad concreta y la utilizacin

de los resultados que produzca. Esta utilizacin puede ser directa e
inmediata, para la toma de decisiones (se utilizan los resultados para
tomar decisiones concretas sobre el programa o poltica evaluada) o
ms indirecta, difusa o mediata, para el aprendizaje organizativo (se
aprende de los resultados y de los propios procesos de evaluacin y
este aprendizaje general supone una mejora para el programa y la
organizacin o colectivo que lo lleva a cabo).
Finalmente, al ser actividades diferenciadas, el papel de los agentes
(es decir, investigadores y evaluadores) tambin puede diferenciarse,
incluyendo algunos requisitos y necesidades distintas para ambos. Al
fin y al cabo los evaluadores se mueven en un contexto determinante
y de caractersticas muy distintas (con un fuerte carcter poltico) a
los contextos en los que se generan las investigaciones. Esto significa
que los evaluadores deben contar con una serie de destrezas, como
son, por ejemplo, el conocimiento de los procesos polticos y ciertas
habilidades de comunicacin, que no son tan importantes en el caso
de los investigadores.
De esta manera, para moverse adecuadamente en los determinantes contextos evaluativos, el evaluador requiere de unas habilidades diferentes a las del investigador. Los evaluadores deben ser
capaces de manejarse con habilidad en los contextos complejos en los
que deben intervenir. Necesitan, desde luego, una buena formacin
metodolgica, al igual que cualquier investigador, aunque sta debe
ser de carcter diferente: el evaluador debe ser un metodlogo todo
terreno, capaz de dar diferentes respuestas metodolgicas a distintas
situaciones evaluativas. En nuestra opinin, el buen evaluador no es
el especialista en un determinado enfoque, una determinada metodologa o en varias tcnicas concretas, sino el conocedor de un elenco
amplio no slo de los diferentes enfoques, metodologas y tcnicas
sino de sus ventajas y desventajas, fortalezas y debilidades en cada situacin y contexto especfico. Adems de la formacin metodolgica,
el evaluador requiere tambin de muchas otras habilidades que debe
desarrollar de forma competente: anlisis de polticas pblicas y conocimiento sobre los procesos polticos en general, conocimiento y capacidad de trato con grupos y personas, habilidades de comunicacin,
etc. Por ltimo, es evidente que un cierto conocimiento del sector en
el que desarrolla el programa o poltica evaluada es tambin necesario; por ejemplo, saber sobre poltica de cooperacin al desarrollo y
Criterio
objeto
contexto
condicionantes
finalidad y
concepto
naturaleza/
Investigacin
Referido a problemas
(qu se aborda)
Se interesa por la evolucin de un
problema en abstracto
Se puede centrar en algunos aspectos
concretos
Escenario de investigacin
(lo prioritario es la investigacin)
El contexto es un factor ms a tener en
cuenta (no necesariamente determinante)
Carcter ms tcnico
Puede ser bsica o aplicada

Construccin de conocimiento
Debe ser una contribucin relevante para
la comunidad cientfica
Trasciende temporalmente
Es un tipo de indagacin disciplinada que

se lleva a cabo para resolver algn problema
de forma que se consiga entendimiento o se
facilite la accin
Modo de indagacin acadmico
Evaluacin
Es un tipo de investigacin disciplinada que se lleva
a cabo para determinar el valor (mrito y/o vala) del
objeto evaluado (programa, proyecto, servicio o poltica)
con el fin de mejorarlo, rendir cuentas y/o ilustrar
acciones futuras
Modo de indagacin prctico
Siempre es aplicada
Mejora de los programas
Rendimiento de cuentas
Ilustracin de acciones futuras
utilidad
Debe tener capacidad de respuesta ante y cierta
lealtad hacia los responsables de los programas
Debe ser oportuna en el tiempo
temporalidad ajustada
Escenario de accin (lo prioritario es el programa
evaluado y no su evaluacin)
El contexto es determinante. La evaluacin es
dependiente del contexto y tiene por objetivo la
respuesta a dicho contexto especfico
Carcter marcadamente poltico
Referido a las intervenciones para abordar dichos
problemas (cmo se aborda)
Se interesa por la evolucin de un problema a
consecuencia de la intervencin en el mismo
Tiende a considerar la intervencin de forma global
224
mara bustelo ruesta
Publicacin de resultados
Aportacin a y reconocimiento de la
comunidad cientfica
Grupos abstractos
Comunidad cientfica
De forma secundaria, comunidad de
poltica o programa
Referido a la seleccin, recopilacin y

anlisis de la informacin
agentes
Capacidad investigadora:
(investigadores Conocimientos bsicos sobre metodologa
y evaluadores) de la investigacin
Necesario conocimiento previo y
exhaustivo del sector
esperados
y efectos
productos
resultados:
destinatarios
mtodo
Referido al diagnstico de la situacin evaluativa, la

eleccin del tipo de evaluacin, a la definicin de los
criterios de evaluacin, a la recopilacin y anlisis de
informacin, a la valoracin y emisin de juicios a la
luz de los criterios de evaluacin, al establecimiento de
recomendaciones y a la comunicacin de los resultados
para conseguir una mayor utilidad/utilizacin de la
evaluacin
Grupos y personas concretas
Cliente, patrocinadores
Responsables, profesionales
Agentes crticos (stakeholders): agentes, beneficiarios y
vctimas del programa evaluado
De forma secundaria, comunidad cientfica
Recomendaciones para la accin
Informes normalmente no publicados
Comunicacin y difusin activa de los resultados a los
interesados
Utilidad y utilizacin de los resultados y los procesos
de evaluacin
Conocimientos metodolgicos amplios y de sus
posibilidades de aplicacin
Conocimiento del sector (puede desarrollarse a
lo largo del proceso)
Otras habilidades necesarias: anlisis de polticas
pblicas y conocimiento de los procesos polticos,
conocimiento y capacidad de trato con personas y
grupos, habilidades de comunicacin
225
226
mara bustelo ruesta
sobre fortalecimiento institucional, si sobre eso versan los programas

a evaluar. Sin embargo, para el investigador, adems de una formacin
metodolgica, la clave es ser experto especialista en el sector en el que
se investiga.
Otra diferencia estriba en la mayor atencin que necesariamente
deben prestar los evaluadores a las cuestiones de tipo tico. Es claro
que tambin la investigacin (especialmente ms en unos campos que
en otros) debe guiarse por unos principios ticos, pero el carcter
poltico de la evaluacin, apegada a un contexto especfico al que tiene
que responder y en la que siempre existen un nmero de personas
y grupos relacionados de diferente forma con el objeto de estudio,
hace que la aparicin de dilemas ticos en situaciones de evaluacin
sea ms frecuente que en situaciones de investigacin. Esta preocupacin por las cuestiones ticas ha sido recogida por las asociaciones
profesionales y acadmicas de evaluadores y, en los ltimos aos, se
han desarrollado cdigos deontolgicos que suponen, no slo orientaciones para afrontar posibles dilemas ticos, sino tambin una forma
de consolidar e institucionalizar el campo profesional de la evaluacin
(Bustelo, 1998).
Para terminar, se expone un cuadro (vanse las pginas anteriores)
en el que se resumen las principales caractersticas de la investigacin
y la evaluacin segn cada uno de los criterios discutidos.
Como se ha visto hasta ahora, las diferencias entre investigacin y
evaluacin son de tales dimensiones, que deben reflejarse no slo en
la prctica de la evaluacin sino tambin en la teora. Los manuales
de evaluacin, por ejemplo, deberan dejar de hablar de diseos de
evaluacin como diseos de investigacin social, y concentrar sus
esfuerzos en las caractersticas metodolgicas especficas de la evaluacin. Otra cuestin pendiente es, en nuestra opinin, la necesidad
de una mayor elaboracin, tanto desde el punto de vista prctico como
del terico, sobre la valoracin y la emisin sistemtica de juicios como
parte del anlisis y la metodologa de evaluacin.
Tambin creemos que se debe seguir insistiendo en la forma de incluir, de forma sistemtica y como quehacer especfico de los procesos
evaluativos, el contexto del programa o poltica evaluada como marco
de referencia del que arranca y al cual responde la evaluacin, manteniendo el rigor de la actividad evaluativa.
Por otro lado, la distincin de la evaluacin respecto a otros tipos
de anlisis e investigacin ayuda a reforzar su identidad como acti-
227
vidad cientfica diferenciada. De esta manera, resulta crucial separar

y diferenciar los dos tipos de actividad, sobre todo en el terreno de
las polticas pblicas. Ambas actividades, investigacin y evaluacin,
son necesarias y complementarias y, por lo tanto, no conviene que restemos a una con la otra. Por ejemplo, en el terreno de las polticas de
cooperacin al desarrollo es necesario que se siga investigando sobre
las desigualdades norte-sur y sobre los ndices de desarrollo en los diferentes pases y territorios. Incluso es interesante que, con objetivos
de anlisis e investigacin, se realicen estudios comparativos sobre las
polticas de cooperacin al desarrollo entre diferentes pases. Pero
tambin es absolutamente necesario que cada pas evale su poltica
de cooperacin al desarrollo y los diferentes programas e intervenciones que lleva a cabo con fines de mejora y rendimiento de cuentas.
En definitiva, no slo el hecho de que se d un alto grado de actividad
en uno de los modos de indagacin significa que deba haber baja actividad en el otro, sino que tanto la investigacin como la evaluacin se
ven claramente beneficiadas por una existencia mutua.
De esta manera, se debe sealar la importancia de la investigacin
para ofrecer un marco conceptual que sirva para la realizacin de evaluaciones. La evaluacin de polticas innovadoras en las que existe
poca base terica sobre qu es posible esperar de una determinada
intervencin (por ejemplo, las polticas de igualdad de gnero) suele
ser ms compleja que la evaluacin de programas en torno a los cuales
se han realizado mltiples investigaciones (por ejemplo, programas
de asistencia a drogodependientes). De igual manera, la existencia de
programas sistemticamente evaluados ayuda a conceptualizar y definir problemas y llama la atencin sobre campos de estudio en los que
existe una necesidad de investigacin.
Finalmente, se quiere apuntar otro terreno en el que, en nuestro
parecer, ambos tipos de indagacin pueden interactuar de forma
fructfera; se trata de la investigacin cuyo objeto de estudio son los
procesos de evaluacin (investigacin evaluativa o sobre evaluacin),
como por ejemplo la realizacin de metaevaluaciones (evaluaciones
de procesos de evaluacin), investigacin sobre la utilizacin de la evaluacin por parte de los poderes pblicos, sobre la institucionalizacin
y el desarrollo de la funcin de evaluacin en las diferentes instituciones, anlisis de las polticas de evaluacin en los diferentes pases,
etc. Este tipo de investigacin, que corresponde a la perspectiva ms
descriptiva del anlisis de polticas pblicas, est todava poco desa-
228
mara bustelo ruesta
rrollada. Su prctica generalizada, sin embargo, contribuira de forma

importante al desarrollo, consolidacin e institucionalizacin de la
evaluacin de programas no slo como funcin normalizada en los
sistemas poltico administrativos, sino tambin como actividad cientfica diferenciada.
3.2. El carcter poltico de la evaluacin

En los ltimos veinticinco aos de desarrollo de la disciplina de la
evaluacin de programas y polticas, se ha ido reconociendo, de forma
paulatina y creciente, el carcter poltico de la evaluacin por parte
de la comunidad cientfica. En algunos casos, se entiende que poltica
y evaluacin son dos realidades separadas aunque interactuantes. La
evaluacin debe responder ante el contexto poltico y, a su vez, ser
una herramienta que permita controlarlo. Para otros autores, como
Monnier (1995), la evaluacin es un acto poltico en s mismo.
Un buen indicador del reconocimiento del carcter poltico de la
evaluacin es la publicacin de la citada obra The Politics of Program
Evaluation en 1987 y cuyo editor, Dennis J. Palumbo conclua, en su captulo introductorio, que la poltica y la evaluacin estn intrnsecamente
interrelacionadas; tanto, que la efectividad de la evaluacin depende de
la incorporacin de la realidad poltica a los procesos de evaluacin.
Aunque Palumbo reconoce que existe un cierto peligro en lo que l
llama la evaluacin poltica, sin darle un sentido peyorativo (los poderosos se pueden beneficiar ms que otros ya que tienen mayores
probabilidades de controlar las condiciones en las que se realizan las
evaluaciones), la nica forma de tener un mayor impacto en las polticas y los programas es incorporando los factores polticos en los
diseos de la evaluacin y la difusin de sus resultados. Es ms, precisamente es la ingenua falta de atencin a las dimensiones polticas lo
que puede contribuir a que la evaluacin se utilice como una herramienta ideolgica. Palumbo considera que la poltica y la evaluacin
estn relacionadas de diversas formas, dos de ellas de carcter positivo: por un lado, si las evaluaciones son utilizadas se convierten en
una parte del proceso de decisiones polticas del programa evaluado;
por otro, las evaluaciones adquieren una postura sobre el programa y
esto es inevitable e inherentemente poltico. Una tercera es de carcter
negativo y es que una evaluacin puede realizarse con el propsito de
229
apoyar o crear imagen a un programa. Esta obra representa un hito

en el campo de la evaluacin no slo por el reconocimiento explcito
de la relacin poltica-evaluacin, sino tambin porque resta carcter
peyorativo al trmino poltica: no se trata slo de partidismos entre
partidos polticos sino, sobre todo, de
las interacciones de varios actores dentro y entre burocracias, clientes, grupos
de inters, organizaciones privadas y legislaturas y sobre cmo se relacionan
unos con otros desde diferentes posiciones de poder, influencia y autoridad
(Palumbo, 1987: 18-19).
sta es la primera obra que tiene como propsito explcito aconsejar

a los evaluadores la necesidad de comprender la naturaleza poltica de
la evaluacin y cmo incorporar la poltica a su quehacer evaluador.
Una de las primeras autoras que trata el tema de evaluacin y poltica es Carol H. Weiss, quien escribe un artculo en 1973 que tambin
ser publicado catorce aos ms tarde en la obra de Palumbo antes
mencionada. En dicho artculo, titulado Donde la poltica y la investigacin evaluativa se encuentran, la autora sostena que la evaluacin
es una tarea racional pero que se lleva a cabo en un contexto poltico
en el que hay que tener en cuenta tres consideraciones: la primera,
que las polticas y programas que se evalan son resultado de decisiones polticas. Segundo, la evaluacin al llevarse a cabo para alimentar el proceso de toma de decisiones entra, inevitablemente, en la
arena poltica. Tercero, la evaluacin en s misma adopta una postura
poltica ya que, por su misma naturaleza, expone implcitamente cuestiones tales como la naturaleza problemtica o necesidad de algunos
programas, la legitimidad de las estrategias y objetivos, etc. Conocer
estas resistencias y fuerzas polticas es necesario para realizar una evaluacin til. Aos ms tarde (Weiss, 1998), la autora sigue insistiendo
en que la evaluacin no se hace en abstracto, sino en un contexto
determinado; ms all, sta se realiza, principalmente, para facilitar
la toma de decisiones sobre el programa o poltica evaluada. En definitiva, se reconoce el contexto poltico, incluso como determinante de
una situacin evaluativa a la que vamos a tener que responder metodolgicamente de formas diversas. La evaluacin como proceso sistemtico reconoce, pero tambin ayuda a contrarrestar y controlar, ese
clima poltico en el que est inmerso cualquier programa o poltica,
especialmente si es pblico. De esta manera, para Weiss, el rigor de
230
mara bustelo ruesta
la evaluacin sistemtica es particularmente importante si los programas son complejos, las decisiones a tomar son importantes y caras
y si se necesita informacin para convencer a otros de la validez de las
conclusiones.
En la misma lnea, Evert Vedung (1997) configura la evaluacin
como una funcin que pueden cumplir los acadmicos y cientficos
para que gobernantes y poderes pblicos reflexionen, comprendan
mejor y tomen decisiones ms slidas y fundamentadas. En definitiva,
aunque la evaluacin se lleve a cabo en y para un ambiente poltico,
evaluacin y poltica son dos realidades separadas; la primera cumple
una funcin de ayuda y control sobre la segunda. Ambas son necesarias y se mezclan con frecuencia. As, el evaluador debe reconocer y
ser consciente que su trabajo puede verse afectado por determinadas
luchas de poder.
Sin embargo, otros autores como Monnier (1995) van un paso ms
all, y consideran que no slo se trata de que la evaluacin se desarrolla inevitablemente en un contexto poltico que hay que reconocer
y tener en cuenta, sino que es una actividad poltica en s misma y, por
lo tanto, forma parte integrante de dicho contexto poltico. Es decir,
evaluacin y poltica no son dos realidades fcilmente separables. De
esta manera, la evaluacin, al margen del rigor metodolgico, debe
procurarse una legitimidad poltica. Y muchas veces, la credibilidad
de una evaluacin depende ms de dicha legitimidad poltica que
supone el reconocimiento y consideracin de los distintos actores
sociales que de una exclusiva legitimidad cientfico-tcnica. Para
Monnier, la evaluacin sirve, entonces, como elemento negociador
entre Estado y sociedad civil y, por lo tanto, elemento generador e
integrante de la realidad poltica.
Este reconocimiento del contexto poltico y su interaccin determinante con los procesos de evaluacin ha ido aumentando en los
ltimos aos. De esta manera, el carcter poltico de la evaluacin deja
de ser un tema relacionado con la prctica evaluativa para ser parte
crucial de la teora de la evaluacin. Buen exponente de ello es la
conferencia dictada por Eleanor Chelimsky en el encuentro anual de
1997 de la aea (Asociacin Americana de Evaluacin) en San Diego,
titulada El papel de la experiencia en la formulacin de teoras sobre
la prctica de la evaluacin (Chelimsky, 1998) y en la que considera
que una de las cuestiones aprendidas con la experiencia, y que deben
ser incorporadas a la teora de la evaluacin, es la inequvoca relacin
231
entre evaluacin y poltica. La autora cree que existen dos problemas

en la forma en la que se ha pensado que la evaluacin encaja en el
mundo real, especialmente en el mundo poltico en el que se desenvuelve: en primer lugar, cree que no se ha pensado en ello lo suficiente
y, en segundo lugar, piensa que, cuando se ha pensado en ello, se
han examinado evaluacin y poltica separadamente, considerando
la poltica como perifrica o contextual a la evaluacin y no como conectada a aquella de forma visceral. Sin embargo, se debe considerar
la poltica como algo central en evaluacin.
Cules seran las implicaciones de esta centralidad poltica,
propuesta por Chelimsky, para la teora de la evaluacin? La primera
implicacin tiene que ver con la necesidad de ampliar la visin sobre la
poltica y el proceso de elaboracin de polticas.
Todava, incluso hoy en da, entendemos la poltica meramente como el contexto de una evaluacin, como algo que se entromete en el buen hacer, ms
que el motor que la conduce (Chelimsky, 1998:39).
En general, los evaluadores deben ser ms conscientes del dinamismo poltico que rodea cualquier situacin evaluativa y reconocer
su centralidad para la prctica profesional.
La segunda implicacin de esta naturaleza poltica es la necesidad de credibilidad para la prctica evaluativa. Si los resultados de
la evaluacin deben ser tiles y sobrevivir a los avatares polticos, la
evaluacin misma debe ser percibida como creble e imparcial. En
definitiva, el evaluador debe ser el proveedor de informacin honesta
en un mar de partidismos (Chelimsky, 1998: 51). Esta idea choca parcialmente con el reciente planteamiento, muy extendido en parte de
la comunidad cientfica, que considera que cierto compromiso partidario del evaluador con un ideal (advocacy evaluation) es inevitable
(Greene, 1997). Este panorama era distinto diez aos antes cuando
Palumbo deca que el dilema poltico con el que se enfrentan los evaluadores es seguir un rumbo entre el reconocimiento de la realidad
poltica de la evaluacin y mantener el simbolismo de la neutralidad
(Palumbo, 1987: 20). Es decir, parece que la comunidad cientfica al
menos parte de ella reconoce en la actualidad que la neutralidad
en evaluacin es prcticamente imposible. En cualquier caso, parece
adecuado seguir el planteamiento de Chelimsky, quien seala que reconocer que el evaluador tiene sus valores y creencias no quiere decir
232
mara bustelo ruesta
que se tenga que recomendar cierto partidismo; precisamente, una

forma de contrarrestar el sesgo del evaluador es contar con el sesgo
opuesto al seleccionar el equipo de evaluacin.4 En general, se trata de
enfatizar la imparcialidad en la realizacin del trabajo y la credibilidad
en su percepcin externa.
La tercera implicacin es la temporalidad o necesidad de oportunidad
en el tiempo (timeliness), es decir, que la evaluacin se haga en el momento oportuno y no se retrase. Cuando el clima poltico cambia,
presentar los resultados de una evaluacin demasiado tarde puede
significar lo mismo que no presentarlos. Sin embargo, presentarlos a
tiempo puede marcar la diferencia entre ser escuchados o no, que se
utilicen los resultados o no, o que se aumente o disminuya la credibilidad del evaluador. En otras palabras, si se tarda mucho en contestar
las preguntas de evaluacin, puede que el debate que las gener ya no
sea el mismo, que esas preguntas sean ya irrelevantes o que los destinatarios de la evaluacin hayan desaparecido.
Por ltimo, la cuarta implicacin se refiere a la necesidad de flexibilidad y que significa una cierta provisionalidad durante el proceso de
evaluacin. Esto puede significar enfrentar una polmica inesperada
cambiando el diseo de la evaluacin, aadiendo nuevos consultores
o nuevos componentes a la evaluacin. En definitiva, cada situacin
evaluativa puede requerir una respuesta evaluativa nica, adaptada a
las circunstancias concretas. Tambin implica ser ms cautelosos a la
hora de hacer valoraciones absolutas, enfatizando las observaciones lo
ms especficas, precisas y validadas posible.
Se pueden mencionar otras implicaciones de este reconocimiento
poltico de la evaluacin, ya apuntadas por Palumbo en su obra de
1987. Esto significa reconocer que los imperativos de los evaluadores
y los de los gestores pblicos son distintos y muchas veces entran en
conflicto, que hay que entender el valor simblico y de cambio de la
informacin que ofrecen las evaluaciones (la informacin es poder),
que es necesario extender las evaluaciones ms all de los objetivos de
un programa y comprender los procesos organizativos que subyacen
a toda situacin evaluativa. Tambin implica que hay que tener en
cuenta a todos los agentes crticos (stakeholders) especialmente a los
4
Esta prctica de incluir en un mismo equipo evaluador sesgos opuestos es lo que
hizo la gao (General Accounting Office) con la evaluacin de los polmicos programas
de educacin bilinge en Estados Unidos.
233
ms indefensos y reconocer que existen diferentes necesidades de

informacin en diferentes puntos del ciclo de una poltica.
Finalmente, nos gustara hacer una reflexin sobre otras posibles implicaciones que tiene este inevitable carcter poltico de la evaluacin.
En primer lugar, creemos que la evaluacin slo puede entenderse plenamente desde una comprensin profunda de los procesos polticos y de las
polticas pblicas, mucho ms que desde una posicin tcnica estrictamente metodolgica. La evaluacin de programas y polticas pblicas es
algo ms que una herramienta metodolgica o, si se quiere, la metodologa de evaluacin debe entenderse en un sentido mucho ms amplio
del que normalmente se le asigna. Son importantes los pasos dados
en los ltimos aos en los que la evaluacin va tomando cuerpo como
disciplina, diferencindose de la investigacin e incluso del anlisis de
polticas pblicas (Lincoln y Guba, 1986), y reclamando un cuerpo
terico propio en el que su carcter poltico es central (Chelimsky,
1998). Esto lgicamente ha de tener implicaciones en cmo se concibe
la formacin de evaluadores, cuestin que se abordar ms adelante en
este captulo. En segundo lugar, reafirma la idea de que en evaluacin
existe un doble componente: adems de un componente cognitivo, relacionado con los aspectos sistemticos, cognitivos y comparativamente
objetivos de la investigacin y la indagacin, existe un componente
intuitivo, relacionado con aspectos intuitivos y cargados de significado
por parte del evaluador, sus clientes, los agentes crticos en la evaluacin
y las organizaciones en las que estn inmersos. Este segundo componente se ha ido reconociendo en la ltima dcada, considerndose que
debe ser integrado con el primero (Torres, Preskill y Piontek, 1996).
3.3. El carcter prctico y aplicado a la accin: el elemento valorativo

y el establecimiento de recomendaciones
Ya se ha insistido, a lo largo de este captulo, sobre la especificidad
del elemento valorativo o de juicio que tiene la evaluacin. Adems de
recopilar e interpretar sistemticamente informacin, la evaluacin
cuenta con otros dos niveles de anlisis (valoracin y establecimiento
de recomendaciones) que la hacen especfica respecto a otros tipos de
anlisis e investigacin.
En los primeros aos de desarrollo de la disciplina de la evaluacin,
en los que dominaba adems una concepcin epistemolgica neta-
234
mara bustelo ruesta
mente positivista y se conceba que la ciencia poda y deba estar libre

de valores, haba algunos autores que crean que esta orientacin valorativa conduca a interpretaciones radicales y subjetivas y otorgaba un
poder inmerecido a los evaluadores. Aunque esta visin est superada
en la comunidad cientfica y profesional de la evaluacin, todava podemos encontrar algn resquicio hoy en da.5 Sin embargo, la mayora
de los autores clave en evaluacin dan a este elemento valorativo una
importancia central en el desarrollo y articulacin de las teoras de
evaluacin (Shadish, Cook y Levinton, 1991).
Ya en los aos ochenta, este elemento valorativo es plenamente reconocido e incluso utilizado como elemento central en la definicin
de la evaluacin. Stufflebeam y Shinkfield en su obra Evaluacin sistemtica (la obra original data de 1985 y la versin castellana de 1987) insisten en que la meta esencial de la evaluacin es determinar el valor
de algo que se est enjuiciando. De acuerdo con esta definicin, si un
estudio no informa de cun buena o mala es una cosa, no se trata de
una evaluacin (Stufflebeam y Shinkfield, 1987: 20). Precisamente, es
este elemento el que organiza su clasificacin de modelos o enfoques
de evaluacin, ya que estos autores denominan cuasievaluaciones
a los enfoques que no incluyen la valoracin como parte de la evaluacin y evaluaciones verdaderas a los que s lo hacen.
El reconocimiento de este elemento valorativo implica su consideracin como elemento sistemtico en el proceso de evaluacin. Esto
significa que no slo hay que procurar que la informacin que se recopile sea de calidad sino que se proporcione y clarifique una base
lgica que justifique las perspectivas de valoracin utilizadas para interpretar y valorar los resultados. Ya que existen distintos pblicos y
destinatarios de una evaluacin, se pueden y deben emplear diferentes
perspectivas de valoracin. Por ejemplo, de un mismo programa de
prevencin de drogodependencias en centros educativos, la Agencia
Antidroga puede estar interesada en la valoracin del programa respecto a la reduccin de consumo de drogas en una zona determinada.
Sin embargo, el profesorado que participe en los proyectos de pre5
En la parte iii de esta tesis doctoral se analiza cmo en una publicacin basada en
los resultados de evaluacin de uno de los planes autonmicos de igualdad, se menciona expresamente que se exponen los datos recopilados e interpretados, procurando
excluir los juicios de valor [para que] la lectora o el lector sean quienes saquen sus
propias conclusiones (Comunidad de Madrid, 1997, Las mujeres en la Comunidad de
Madrid, p. 3).
235
vencin de los centros estar ms pendiente del inters y motivacin

de los chicos y de la posibilidad de obtener recursos y desarrollar actividades como el fomento de la autoestima y del deporte que no slo
ayuden a prevenir la drogodependencia y otros problemas sociales,
sino que fomenten el desarrollo general del alumnado. Esta necesidad
de tener en cuenta las diferentes perspectivas de valoracin de los actores crticos en el programa o poltica evaluada, es una de las claves
de la evaluacin pluralista propuesta por Monnier. Precisamente, es el
compromiso sobre la interpretacin de los hechos y sus valoraciones
entre observadores y observador, de una parte, y entre los diferentes
protagonistas del programa, por otra, lo que hace que una evaluacin
sea legtima polticamente y, por lo tanto, til socialmente (Monnier,
1990-1991: 143-145).
Siguiendo a Stufflebeam y Shinkfield (1987: 21), adems de los diferentes protagonistas, tambin habr que tener en cuenta los conceptos de mrito y valor, adems de los de viabilidad y equidad. En
resumen, las bases de valoracin que deben ser tenidas en cuenta son
las siguientes:
1] Las distintas expectativas de los clientes. Nosotros aadiramos,
adems, las diferentes demandas de los ciudadanos.
2] El mrito o excelencias del servicio, programa o poltica en cuestin,
es decir, hace bien lo que se supone que debe hacer?
3] Hasta qu punto el servicio, poltica o programa es necesario o adecuado a la comunidad a la que se dirige, es decir si tiene validez.
4] Hasta qu punto es viable, ya que es posible que consuma ms recursos de los que necesite o cause infinidad de problemas polticos.
5] La equidad necesaria en toda sociedad democrtica para los programas y polticas pblicas. Un servicio, programa o poltica pblica debe estar pensado, ser asequible para todos los miembros de
la sociedad, todos los grupos deben disfrutar de una participacin
equitativa en la utilizacin de los servicios, los niveles de logro o
consecucin de objetivos no deben ser sustancialmente diferentes
para los distintos grupos, y se debern producir unos resultados
similares en la mejora del bienestar de todos los grupos sociales.
Estas bases de valoracin se vern reflejadas en los criterios de evaluacin que se establezcan en cada proceso evaluativo. Dunn (1981:
343) propone seis grandes criterios de evaluacin, que son:
236
mara bustelo ruesta
Efectividad: Se han conseguido los resultados?

Eficiencia: Cunto esfuerzo se ha requerido para conseguir dichos
resultados?
Adecuacin: Hasta qu punto el logro de los resultados ha resuelto
el problema?
Equidad: Estn distribuidos los costos y los beneficios de forma
equitativa entre los diferentes grupos?
Capacidad de respuesta (responsiveness): Satisfacen los resultados de
la poltica las necesidades, preferencias o valores de los grupos implicados?
Conveniencia o propiedad: Merecen realmente la pena los resultados
(objetivos) deseados?
Adems, las bases de valoracin pueden ser relativamente diferentes y tener sus matices especficos, dependiendo del mbito al
que pertenezca la poltica o programa evaluado. As, por ejemplo, en
la evaluacin de las polticas de cooperacin al desarrollo existe un
consenso generalizado sobre la importancia de valorar a travs de los
criterios generales de eficiencia (hasta qu punto los resultados alcanzados derivan de una utilizacin eficiente de los recursos financieros,
tcnicos y humanos), eficacia (hasta qu punto se han alcanzado los
objetivos propuestos), impacto (consecuencias previstas y no previstas
para la sociedad, tanto negativas como positivas), pertinencia (hasta
qu punto el programa evaluado se ajusta, en este caso, a los objetivos globales de desarrollo, a la poltica del donante y del receptor y
a las necesidades y prioridades locales) y viabilidad (definida en este
mbito como hasta qu punto los cambios positivos logrados como
consecuencia del programa se mantienen despus de que ste haya
finalizado) (norad, 1997, Ministerio de Asuntos Exteriores, 1998).
Por la propia naturaleza de la evaluacin, sta debe contar con un
ltimo nivel de anlisis y exposicin de los resultados que consiste en
la traduccin de los resultados de la evaluacin en recomendaciones.
Estas recomendaciones son sugerencias sobre posibles lneas de accin
a seguir respecto al programa o poltica evaluada, cambios propuestos
en el programa o cosas a mantener en el mismo o consejos para la
mejora dirigidos a los patrocinadores, responsables y/o profesionales
del programa. Evidentemente, estas recomendaciones deben seguir la
secuencia lgica y sistemtica de los niveles de anlisis anteriores. Es
decir, las recomendaciones de una evaluacin deben estar basadas en
237
las valoraciones realizadas que, a su vez, habrn estado basadas en la

recopilacin y anlisis sistemtico de la informacin.
Las recomendaciones son, adems, el vnculo formal entre una
evaluacin y su uso. Asimismo, el ofrecimiento de recomendaciones
especficas y orientadas a la accin ha sido considerado desde hace
tiempo como algo deseable y relacionado con las buenas evaluaciones
(Torres, Preskill y Piontek, 1996: 105). Patton, quien ha desarrollado
un enfoque basado en la utilizacin, da tambin importancia a las
recomendaciones y, aunque insiste en que no slo stas sino todo el
resto del proceso evaluativo es lo que provoca y estimula el uso de la
evaluacin, reconoce, sin embargo, que son, a menudo, la parte ms
visible de un informe de evaluacin (Patton, 1997: 324).
Esta idea sobre la necesidad y conveniencia de las recomendaciones
tambin tiene algunos detractores. Michael Scriven, en su obra HardWon Lessons in Program Evaluation expone 31 tesis, aprendidas, segn
su autor, de los errores cometidos en la prctica de la evaluacin
(Scriven, 1993). Una de sus tesis, con el irnico ttulo de Una evaluacin sin una recomendacin es como un pez sin una bicicleta intenta persuadir sobre la idea de que las evaluaciones no tienen por
qu concluir con recomendaciones; es ms, para l sta es una tarea
que no debe realizar el evaluador (siempre situndose desde la perspectiva del evaluador externo). Segn l, es una falacia lgica pensar
que juzgar el mrito y la vala conduce directamente a las recomendaciones; la principal funcin del evaluador es valorar y hacer juicios,
no la de hacer recomendaciones. A continuacin, analizamos la tesis
de Scriven y su fundamentacin y cules son los argumentos que, a
nuestro parecer, se pueden utilizar para contrarrestarla.
El primer argumento que utiliza Scriven es que, en muchos casos, el
evaluador no est lo suficientemente cualificado para dar ese paso de
pasar de las conclusiones a las recomendaciones. Puede que necesite
un mayor conocimiento del contexto local o conocimientos especficos
o determinados (por ejemplo, de tipo legal). Es cierto que los evaluadores deben contar con un alto conocimiento tanto del contexto como
de otras cuestiones relacionadas con los programas o polticas que
evalan. Sin embargo, creemos que los evaluadores conocen necesariamente a fondo dicho contexto, ya que han tenido que diagnosticar
previamente la situacin evaluativa para responder con un proceso
evaluativo adecuado. Por otro lado, existe una alta probabilidad de
que los evaluadores competentes aprendan mucho sobre el programa,
238
mara bustelo ruesta
su contexto, el mbito o tema sobre el que versa dicho programa y las

diferentes perspectivas en torno al mismo. Adems, una prctica muy
utilizada en los equipos de evaluacin es contar con el asesoramiento
de especialistas en los temas tratados, de manera que se pueda contrarrestar esa falta de conocimientos especficos que ayudan, definitivamente, a contextualizar las recomendaciones. Teniendo en cuenta
estas circunstancias, creemos que el evaluador est, precisamente, en
una situacin privilegiada para poder ofrecer recomendaciones, entre
otras cosas y sobre todo, porque stas emanan del estudio riguroso y
sistemtico del programa y su contexto.
El segundo argumento que utiliza Scriven es que, desde el punto
de vista del consumidor que quiere informacin para elegir entre diferentes productos, no tienen ningn inters ni las recomendaciones
para la accin (compre este determinado producto) ni para la mejora
(esto le interesar al responsable del producto, no al consumidor).
Este enfoque orientado al consumidor, que parece especialmente adecuado para orientar a tomar decisiones en una situacin de mercado
al estilo de la famosa publicacin Consumer Reports no parece tan
adecuado para la evaluacin de programas y polticas pblicas. No
slo en la mayora de los casos, la ciudadana no tiene la oportunidad
de elegir entre varios servicios, programas o polticas concretas, sino
que, incluso cuando esto es as, esta informacin es vlida nica y exclusivamente en un momento muy determinado (en el de la eleccin
de entrar o participar en un determinado programa). Pongamos un
ejemplo en el que podramos emular una cierta situacin de mercado.
Unos padres tienen que elegir el colegio pblico al que asistirn sus
hijos, ya que los criterios de zonificacin en su municipio son amplios
y pueden elegir, al menos entre 3 o 4 centros.6 En el momento de la seleccin, esta perspectiva de consumidores va a ser especialmente interesante. Pero una vez seleccionado el colegio, la perspectiva cambia
radicalmente, porque rara vez se cambia de colegio a un nio porque
hemos comprobado que otro funciona un poco mejor o para probar
en cul entre varios le va mejor. Definitivamente, a los padres les interesar que el colegio de sus hijos sea evaluado y que se ofrezcan
recomendaciones para la mejora. Por ltimo, esta visin liberal de la
6
Tambin podemos suponer que estos criterios de eleccin existen en cualquier
caso. En algunos pases, como en Estados Unidos, es prctica habitual que las familias
siten su lugar exacto de residencia en funcin del colegio elegido para los hijos.
239
evaluacin de Scriven presupone una alta madurez a la ciudadana

consumidora de los recursos pblicos. Si a esto le aadimos la falta
de cultura evaluativa en general y de los poderes pblicos en particular,
como es el caso de Espaa, creemos que desperdiciar la capacidad
del evaluador para establecer recomendaciones y dejar a poderes pblicos poco acostumbrados y con poco tiempo la tarea de traducir
los anlisis en posibles cursos de accin, parece, cuanto menos, insensato. Por otro lado, los ejemplos que utiliza Scriven para ilustrar
sus argumentaciones son de unos determinados tipos de evaluacin
(de personal y de productos) que, en cierto modo, estn alejados de
una concepcin ms general de evaluacin de programas o polticas.
Patton (1997) tambin critica la postura de Scriven. Para Patton,
aunque el consejo de Scriven sobre evitar hacer recomendaciones
cuando uno carece de las habilidades necesarias es sabio, falla a la
hora de considerar que la bsqueda de dichas habilidades y la captacin de expertos para ello forman parte de la responsabilidad del
evaluador (Patton, 1997: 327). En cualquier caso, la literatura sobre
evaluacin slo ha prestado especial atencin al asunto de las recomendaciones de forma reciente. Incluso Patton llega a decir que las
recomendaciones son la parte ms dbil de la evaluacin.
Hemos progresado enormemente en las formas de estudiar programas, en la
diversidad metodolgica y en una variedad de tcnicas y diseos para la recopilacin de datos. Las consecuencias de dichos avances a menudo culminan
en recomendaciones, pero hemos progresado comparativamente menos en
cmo construir recomendaciones tiles. Encuentro que ensear a los estudiantes sobre cmo pasar de los datos a las recomendaciones es a menudo el
mayor reto en la enseanza de la evaluacin. Es un proceso que no es simple
ni linear (Patton, 1997: 328).
Esta atencin a las recomendaciones ha hecho que se hayan desarrollado una serie de orientaciones y sugerencias prcticas para su
elaboracin (Torres, Preskill y Piontek, 1996; Patton, 1997; Chelimsky,
1998), las cuales nos parece importante sealar porque ellas son reflejo de las teoras de la evaluacin que se han ido construyendo con
una importante base prctica (Shadish, Cook y Levinton, 1991). Todas
estas sugerencias denotan la importancia concedida a la elaboracin
de recomendaciones como colofn de los procesos de evaluacin. Al
fin y al cabo, cuando se incluyen recomendaciones en un informe de
240
mara bustelo ruesta
evaluacin, stas atraen la atencin del lector como el nctar de las

flores a las abejas (Patton, 1997: 324).
En primer lugar, una de las cuestiones a tener en cuenta al desarrollar las recomendaciones es quines participan en su elaboracin y
de qu forma. Esta cuestin va a depender, sobre todo, del enfoque con
el que se haya diseado y emprendido la evaluacin, especialmente si
es un enfoque de tipo participativo. La extensin con la que participen
en las recomendaciones los agentes crticos en el programa puede ser
diversa (Patton, 1997: 333) y considerarse en un continuo (Torres,
Preskill y Piontek, 1996: 106). En un extremo estaran los evaluadores
que desarrollan ellos mismos las recomendaciones y se las entregan a
los agentes crticos (stakeholders) y en el opuesto estaran las situaciones
en las que son los propios implicados o stakeholders los que desarrollan
las recomendaciones. En los puntos intermedios se encontraran los
procesos en los que los evaluadores presentan recomendaciones para
que sean criticadas y modificadas por los implicados y agentes crticos
y tambin las situaciones en las que evaluador e implicados colaboran
conjuntamente para su elaboracin. En cualquier caso, estos autores
que prestan especial atencin a las recomendaciones suelen dar una
gran importancia a la implicacin de los destinatarios de la evaluacin
en el desarrollo de las mismas. As, sugieren que, en caso de que las
recomendaciones estn hechas por el evaluador, ste debe entregarlas
antes para permitir la revisin, discusin y/o modificacin. Tambin
desde su punto de vista es importante que los agentes crticos (stakeholders) sientan como suyas las recomendaciones; para aumentar este
sentido de pertenencia lo mejor es desarrollarlas conjuntamente con
ellos. Incluso, para aumentar el mximo sentido de pertenencia del
proceso de evaluacin en general y su uso posterior, recomiendan implicar en el anlisis de los datos a los participantes en el programa
evaluado (Torres, Preskill y Piontek, 1996: 106-107).
En segundo lugar, hay que tener en cuenta el tipo de recomendaciones que se quiere realizar. Las recomendaciones pueden ser:
simples (se desarrolla la mejor opcin)
se desarrollan varias opciones, analizando las debilidades, amenazas, costos y beneficios de cada una
opciones basadas en diferentes escenarios futuros con sugerencias
para el seguimiento
diferentes recomendaciones para diferentes destinatarios
241
La idea de desarrollar varias opciones puede resultar especialmente interesante. El propio Patton insiste en que algunos decisores
prefieren recibir opciones mltiples que verse abocados a una nica
posibilidad de accin, y en cualquier caso seala la conveniencia de
que, siempre que sea posible, hay que incluir en las recomendaciones
algunas consideraciones sobre los costos y beneficios de seguir dichas
recomendaciones. Tambin Chelimsky seala que, en su experiencia
como responsable de los estudios de evaluacin de la gao (General
Accounting Office), han llegado a la conclusin de que es muy importante medir los costos de las recomendaciones para aumentar la probabilidad de su uso. Para ella, la inclusin de la cuestin de los costos
en el proceso de evaluacin mejora la percepcin de credibilidad del
estudio, ayuda a las evaluaciones a resistir los ataques polticos y aumenta la probabilidad de que los resultados sean utilizados con el
tiempo (Chelimsky, 1998: 47). Estas sugerencias hacen que se d una
mayor importancia a esta fase final de las recomendaciones: no slo
el evaluador puede tener capacidad para hacerlo sino que tiene que
dedicarle especial tiempo, esfuerzos y cuidado (aumentando, por lo
tanto, los costos de los estudios de evaluacin). Esto resalta el papel
del evaluador no slo como metodlogo e investigador, sino como
asesor y consultor.
Otras cuestiones relacionadas con las recomendaciones y que se
encuentran en la literarura (Patton, 1998; Torres, Preskill y Piontek)
son las siguientes:
1] Las recomendaciones deben seguir claramente y deben ser apoyadas por los hallazgos de la evaluacin.
2] El tipo de recomendaciones que van a aparecer en un informe
final es materia de negociacin con los clientes de la evaluacin
(patrocinadores de la evaluacin y agentes crticos stakeholders
implicados en el programa). En realidad se debe negociar la naturaleza y la totalidad del contenido de los informes, una vez que el
propsito de la evaluacin ha sido clarificado y antes de que se recopile la informacin. Las recomendaciones no son una excepcin.
3] Hay que distinguir entre diferentes tipos de recomendaciones.
La cuestin aqu estriba en que las listas largas e indiscriminadas
difuminan el foco de atencin y disminuyen el poder de las recomendaciones cruciales. Patton (1997) sugiere seis formas de diferenciarlas:
242
mara bustelo ruesta
centrales y secundarias
sumativas y formativas
de aplicacin inmediata/a mediano plazo/a largo plazo
segn a quin van dirigidas: patrocinadores, gestores del programa, profesionales, clientes o participantes
si estn slidamente apoyadas por los datos (y todos los miembros
del equipo de evaluacin estn de acuerdo) o menos slidamente
apoyadas y existe algn disenso respecto a las mismas
si implican una creencia slida sobre que se deba actuar o simplemente pretenden estimular la discusin o hacer sugerencias que
pueden formar parte de la agenda en un futuro.
4] Las recomendaciones deben ser realistas, o mejor dicho, se deben
enfocar hacia acciones bajo el control de los destinatarios de la evaluacin, es decir, sobre lo que puedan hacer algo. En esta misma
lnea, se sugiere ofrecer datos y descripciones que tengan que ver
con los elementos clave del contexto del programa evaluado.
5] Al escribir las recomendaciones, hay que ejercitar la sensibilidad
poltica. Se recomienda ponerse en la piel de los destinatarios de
la evaluacin y trabajar con ellos, de forma anticipada las implicaciones polticas de cada recomendacin.
6] Poner especial cuidado en la redaccin de las recomendaciones,
ya que se pueden diluir en un lenguaje vago y obtuso. Se debe
intentar evitar palabras que confundan o distraigan del mensaje
central.
7] Dedicarle suficiente tiempo a la redaccin de las recomendaciones,
para trabajarlas con los destinatarios y para comprobar su claridad, comprensin, carcter prctico, utilidad y significado. Se insiste en que, a menudo, el problema es que los evaluadores acaban
haciendo las recomendaciones deprisa y corriendo, sin dedicarle el
tiempo suficiente para hacer un buen trabajo.
8] Desarrollar estrategias para que las recomendaciones se tomen en
serio. Se sugiere que el evaluador ayude a los decisores a tomar
decisiones sobre las recomendaciones con, por ejemplo, sesiones
de trabajo que asignen responsabilidades de seguimiento y fechas
tope para la puesta en prctica de dichas recomendaciones.
243
3.4. El carcter prctico y aplicado a la accin: La preocupacin

por la utilizacin y el uso de la evaluacin
La preocupacin por la utilizacin y el uso de la evaluacin ha sido
una constante en la literatura especializada a lo largo de la evolucin
de la disciplina, aunque para algunos autores, como Monnier,
hicieron falta muchas desilusiones por parte de los investigadores ante la
poca atencin otorgada por los responsables polticos o por los gestores a
sus resultados [], para que la cuestin de la utilizacin de los resultados se
planteara de forma clara (Monnier, 1990-91: 142).
Dada la naturaleza especfica de la evaluacin, su xito no slo se

debe medir por el grado en que sta contribuye al aumento o mejora
del conocimiento sino, sobre todo, por el grado en el que ha resultado
valiosa para cubrir las necesidades especficas de informacin de un
cliente, destinatario o usuario particular. Esto hace que, necesariamente, se distingan diferentes necesidades de informacin.
Una de las primeras consecuencias de esta preocupacin por la
utilizacin de la evaluacin, ha sido la de esclarecer y clasificar los
diferentes usos que de una evaluacin pueden hacerse y las diferentes
necesidades de informacin que pueden cubrirse.
Los diferentes usos vienen determinados, en principio, por la
funcin dominante de cada evaluacin. Si la funcin principal es la
mejora del programa o poltica a evaluar, el posterior uso vendr dado
por dicha funcin y las necesidades de informacin estarn determinadas por una perspectiva de desarrollo o mejora. Si la funcin dominante es la rendimiento de cuentas, las necesidades de informacin
vendrn determinadas por una perspectiva de accountability, en la que
se necesitar informacin que permita, sobre todo, hacer juicios generales sobre las responsabilidades del programa. Finalmente, si domina
la funcin de conocimiento o enlightenment, las necesidades de informacin sern ms generales y la perspectiva de uso estar ms determinada por los valores acadmicos.
Chelimsky, en su trabajo Linking Program Evaluation to User Needs
(Chelimsky, 1987: 73) explora las relaciones entre 1] las funciones y
los usuarios de la evaluacin, 2] los diferentes tipos de necesidades
de informacin, 3] los diferentes momentos del ciclo de vida de un
programa o poltica y 4] los diferentes tipos de estudios de evaluacin.
244
mara bustelo ruesta
Resultante de este cruce de los cuatro aspectos mencionados, la

autora realiza una interesante tabla en la que expone las necesidades
de informacin para seis tipos de destinatarios gubernamentales de
las evaluaciones (tomando como modelo Estados Unidos, distingue
tres en la rama ejecutiva y tres en la legislativa) y segn sea una propuesta para un programa nuevo o un programa ya existente o recin
ejecutado (Chelimsky, 1987: 83-85).
As, para la funcin referida a la formulacin de polticas (policy
formulation) el tipo de informacin requerida es referente a tres reas:
informacin sobre el problema, sobre los resultados de otros programas similares e informacin que permita la seleccin de una alternativa sobre las otras. Para la ejecucin de polticas (policy execution)
se necesitar informacin referida a la implementacin del programa,
a la gestin y direccin del programa y a la informacin actualizada
sobre el estado actual del problema que se intenta solucionar. Finalmente, para el propsito del rendimiento de cuentas (accountability)
se necesita informacin sobre los resultados de un programa, sobre
si ha conseguido los objetivos propuestos y sobre los efectos (esperados e inesperados). Tambin los diferentes destinatarios o usuarios
de la evaluacin van a tener diferentes necesidades de informacin,
dependiendo de sus funciones especficas, propsitos y nivel de responsabilidad: algunas sern comunes a todos y otras diferentes. La
capacidad para servir a diferentes usuarios, aunque deba intentarse,
siempre se va a ver constreida por la necesidad del evaluador de
contestar a las preguntas precisas que haya hecho el usuario principal
(normalmente el cliente de la evaluacin). Las necesidades de informacin van a ser tambin distintas segn el tipo de programa o poltica
y el momento del ciclo en el que se encuentre. Por ejemplo, va a influir
la antigedad del programa (que sea nuevo o ya establecido) o si es
aceptado o, por el contrario, controvertido, o si es un programa caro
o modesto. Finalmente, Chelimsky distingue cinco actividades bsicas
respecto al programa o poltica a evaluar: 1] planificar y racionalizar
un programa y su evaluacin, 2] ejecutar y gestionar un programa,
3] justificar la efectividad de la ejecucin y gestin, 4] demostrar la
efectividad de un programa y 5] medir el problema y el progreso del
programa. Cada una de estas actividades requiere de diferente informacin evaluativa.
Aunque las conclusiones concretas de Chelimsky son difcilmente
aplicables de forma directa a la situacin de Espaa, creemos que su
245
idea de clasificar y relacionar los cuatro factores anteriormente mencionados (funciones, destinatarios y necesidades de informacin, momento de la poltica y tipo de evaluacin) puede ser especialmente
clarificadora y fructfera para analizar los procesos de utilizacin de
las evaluaciones.
Adems de a la diferenciacin y clasificacin de los posibles usos de
la evaluacin, la preocupacin por la utilizacin tambin ha llevado
a la identificacin de elementos prcticos facilitadores de dicha utilizacin en los procesos de evaluacin. As, la literatura sobre uso y utilizacin de la evaluacin (Alkin, 1985; Joint Committee, 1994; Patton,
1985, 1997; Shadish, Cook y Levinton, 1991) coincide en que los evaluadores deben:
tener en cuenta el contexto especfico de la evaluacin
identificar los destinatarios (audiencias) de la evaluacin e implicarles (especialmente a clientes y agentes crticos stakeholders)
en el diseo de la evaluacin
mantener un fuerte y frecuente contacto y aportar resultados intermedios a lo largo del proceso de evaluacin
ajustar los informes a las necesidades de los destinatarios, usando
una variedad de formatos, incluyendo informes cortos y resmenes, presentaciones orales y oportunidades para la interaccin
presentar ilustraciones reales y concretas de los hallazgos
presentar los resultados con una temporalidad adecuada a una variedad de destinatarios
usar un lenguaje simple y claro
Efectivamente, una respuesta tpica a esta preocupacin ha sido la
atencin prestada a los procesos de comunicacin de los resultados de
evaluacin, incluyendo la importancia de la elaboracin de un buen
informe, legible y claro, y su seguimiento y de otras formas alternativas de comunicacin. Un buen exponente de esta preocupacin
por el elemento comunicativo es la obra de Torres, Preskill y Piontek
(1996). Una consecuencia de esto es el aumento de responsabilidades
en el papel del evaluador: la responsabilidad del evaluador no acaba
con la entrega del informe, sino que tambin tiene responsabilidades
de comunicacin, difusin y seguimiento de dicho informe. De hecho,
tiene todo el sentido esta preocupacin con los procesos de comunicacin ya que, segn demuestra una encuesta realizada a evaluadores
246
mara bustelo ruesta
profesionales de la Asociacin Americana de Evaluacin (Torres,

Preskill y Piontek, 1997), dichos profesionales estaban slo moderadamente satisfechos con sus esfuerzos y resultados en la informacin
y comunicacin de resultados. Los dos impedimentos ms mencionados para una buena informacin y comunicacin tenan que ver
con la falta de tiempo invertida en esta tarea, en primer lugar, y la
complejidad poltica y organizativa en los procesos de evaluacin, por
otro. Las razones mencionadas son: falta de claridad entre los agentes
crticos sobre sus necesidades de informacin, falta de respuesta ante
los esfuerzos por comunicar e informar, cambio de cliente o destinatario de la evaluacin en mitad del proceso, situaciones muy cargadas
polticamente, resistencia ante los hallazgos negativos, caractersticas
de individuos particulares e interpretacin errnea de los hallazgos.
Otros autores sealan la necesidad de enfocar la totalidad del
proceso de evaluacin (y no slo las fases finales) a la maximizacin
de su uso o, al menos, considerar la cuestin del uso desde el principio
(Weiss, 1998: 324). El mximo exponente es Patton, quien elabora
un modelo terico-prctico que se llama precisamente Evaluacin
orientada a la utilizacin (Utilization-Focused Evaluation). Este modelo,
adems, se ha visto reforzado con los aos. La primera edicin de su
libro con el mismo ttulo es del ao 1978. En 1997 publica una tercera
edicin introduciendo nuevos elementos y reforzando su enfoque. La
evaluacin orientada a la utilizacin se hace con y para usuarios especficos e intencionados para usos especficos e intencionados (Patton,
1997: 23). Es decir, todo el proceso de evaluacin, desde su diseo
hasta su comunicacin, est enfocado a responder las preguntas necesarias a determinados destinatarios identificados previamente.
No slo la utilizacin de la evaluacin es su sentido ltimo, sino que
la concepcin general de los procesos evaluativos debe estar subordinada a dicho fin.
Sin embargo, de forma paralela a esta preocupacin por la utilizacin, la comunidad cientfica dedicada a la evaluacin se ha ido haciendo ms consciente y realista sobre cules pueden ser, realmente,
los usos de las evaluaciones. De esta manera:
En la toma de decisiones sobre un programa o poltica, la evaluacin
es slo uno de los factores a tener en cuenta. Muchas otras variables,
adems de unos buenos y tiles resultados de evaluacin, intervienen en la toma de decisiones. En primer lugar, los resultados de
247
la evaluacin deben ser aceptados como correctos y tiles. Despus,

hay que reconocer que van a interactuar con lo que la gente ya cree
sobre el programa, sus valores y creencias sobre lo bueno y lo malo,
sus propios intereses y los intereses de la organizacin o estructura
que lance el programa, etctera (Weiss, 1998: 324).
La utilizacin no siempre es directa e inmediata. Esta utilizacin
directa e inmediata s puede darse en ocasiones, sobre todo cuando
hay buenas condiciones (el tema no es polmico, implica pocos recursos o propone cambios para los que existe un cierto consenso).
Pero lo normal es que no sea as, y que los cambios, aunque se den,
sean ms sutiles y graduales. Lo importante aqu es que, aunque no
se d un uso directo, la evaluacin afecta la manera en la que la comunidad de programa o poltica (conjunto de personas afectadas o
implicadas en un programa o poltica) ve el mundo, es decir, la hace
ms consciente (Weiss, 1998: 325).
El uso de la evaluacin puede ser simblico (Palumbo, 1987: 25).
Cmo y por qu las organizaciones usan las evaluaciones es parte de
cmo se utiliza la informacin en general. La informacin se utiliza,
sobre todo, con un valor simblico; los gestores de programas y polticas tienden a recopilar ms informacin de la que necesitan y
si la informacin es favorable tiene mayores probabilidades de ser
utilizada que si no lo es.
Chelimsky (1998: 50) hace una reflexin sobre la necesidad de
reconsiderar el concepto de uso. Para ella, la justificacin de la
evaluacin debe ser menor en cuanto al uso que se haga de sus
resultados (aunque ste sea importante para la mejora de la formulacin de polticas) que en cuanto a su xito como proveedora
de informacin de inters pblico. Es decir, que adems de los
intereses particulares y especficos de los destinatarios especficos
de una evaluacin, se puede y debe pensar en el inters pblico y
general.
Hacerse conscientes de esta realidad ha derivado en una visin ms
flexible de la utilizacin de los resultados de la evaluacin. Se ha pasado de
pensar que el uso de la evaluacin consista en el uso de los resultados
para tomar decisiones a ser consciente de unas mayores dimensiones
en el concepto de uso. La evaluacin no slo puede y debe servir
para facilitar la toma de decisiones concreta respecto a un programa.
Tambin puede contribuir al aprendizaje organizativo y de los grupos
248
mara bustelo ruesta
humanos, y su utilidad puede ir ms all del programa o poltica concreta que evala, no slo respecto al mbito o campo que toque, sino
tambin respecto a los propios procesos de evaluacin. Cada proceso
de evaluacin puede y debe contribuir y ofrecer una informacin til
sobre cmo evaluar determinadas polticas en determinados contextos, qu enfoques, perspectivas, metodologas y tcnicas han sido
adecuadas, etctera.
En definitiva, se puede pensar en el concepto de uso de la evaluacin
en un sentido amplio. A este respecto, nos parece clara la definicin
que hacen Torres, Preskill y Piontek (1996: 2). Para ellas, el uso en
evaluacin es cualquier consecuencia o resultado de una evaluacin
e incluye:
a] Los efectos de los mismos procesos de evaluacin, como una mayor
comprensin y/o apreciacin de la evaluacin.
b] Una mayor comprensin o nuevas perspectivas en una situacin,
programa u organizacin.
c] Las acciones que se llevan a cabo como resultado de una evaluacin.
En la misma lnea, para Carol H. Weiss (1998b), bajo esta visin
ampliada sobre los usos de la evaluacin, se puede hablar de cuatro
tipos de uso:
1] Uso instrumental: se usan los resultados para tomar decisiones.
2] Uso conceptual: se utiliza la evaluacin para cambiar la comprensin de lo que el programa o poltica es, hace o pretende.
3] Uso persuasivo: la evaluacin sirve para movilizar apoyos para conseguir cambios necesitados en el programa.
4] Influencia en otras instituciones y eventos, ms all del programa
o poltica evaluada. Las conclusiones de una evaluacin pueden influir en las redes de poltica (policy networks) y en los profesionales,
alterar paradigmas de poltica, y producir cambios en la agenda
poltica.
De esta manera, para Weiss (1998b: 27), adems de utilizarse los resultados, hallazgos y recomendaciones de un estudio de evaluacin, se
usan las ideas y generalizaciones extradas de la evaluacin, el mismo
hecho de evaluar (ya que la gente en torno de un programa se hace
249
ms consciente del mismo), el foco del estudio y las medidas utilizadas,

as como el propio diseo de investigacin utilizado en el estudio de
evaluacin (ya que puede influir en las operaciones de programa).
Nos resulta especialmente interesante insistir en conceptualizar
como uso de la evaluacin los efectos que se pueden producir por el
propio hecho de evaluar. Ya hace aos se describi el efecto Hawthorne,
por el que se demostr que las personas estudiadas que saban estaban siendo observadas realizaban la tarea significativamente mejor
que las que no eran conscientes de estar siendo observadas.7 Haciendo referencia a las consecuencias positivas de este efecto, se sabe
que las personas que participan en un proceso de evaluacin tienen
mayores probabilidades de hacerse ms conscientes del programa
o poltica y sus objetivos. Como Greene (1988) ha sealado, los profesionales que participan en definir y disear un proceso de evaluacin, comienzan a pensar con mayor profundidad sobre lo que se
est tratando de conseguir. Puede que esto incluso lleve a una mayor
cohesin del equipo de profesionales a cargo del programa. En definitiva, la evaluacin es reflexin y revisin; el mero hecho de dar un
espacio formalizado para ello tiene efectos positivos en s mismos.
Otros efectos positivos del hecho de llevar a cabo una evaluacin
pueden ser introducir una cultura de rendimiento de cuentas o legitimar el programa en cuanto a que se manda un mensaje sobre
que se estn tomando las cosas en serio y hay algo que aprender
del mismo. Dependiendo del enfoque adoptado para la realizacin
de la evaluacin, se pueden obtener otros efectos colaterales. Por
ejemplo, con los enfoques participativos se ayuda a las personas en
torno al programa evaluado a reflexionar sobre la prctica, a pensar
de forma crtica y a preguntarse por qu el programa funciona como
lo hace. Con una evaluacin basada en la teora, los profesionales
deben analizar y hacerse conscientes de las premisas subyacentes a
su trabajo.
7
Este efecto se describi por primera vez en 1939 por dos investigadores (Roethlisberger y Dickson, 39) que pretendan hallar la intensidad de luz ptima para la productividad de unas obreras que trabajaban con piezas elctricas pequeas, en la planta
de la Western Electric Company en Hawthorne. Constataron que cualquier cambio en
la intensidad de la luz produca un aumento de la productividad. Concluyeron que el
hecho de pertenecer al grupo experimental y ser observadas significaba una seal de
atencin personalizada de la empresa hacia ellas o hacia su bienestar personal.
250
mara bustelo ruesta
bibliografa
Aguilar Villanueva, L.F. (ed.) (1996), El estudio de las polticas pblicas, Coleccin Antologas de Poltica Pblica, Mxico, Miguel ngel Porra.
Aguilar Villanueva, L.F. (1996), Estudio introductorio 1a., en L.F.A. Villanueva (ed.), El estudio de las polticas pblicas, Coleccin Antologas de Poltica Pblica, Mxico, Miguel ngel Porra, pp. 15-74.
(1997), Estudio introductorio 2a., en L.F.A. Villanueva (ed.), La hechura de las polticas pblicas, Mxico, Miguel ngel Porra, pp. 15-84.
(1996), Estudio introductorio 3a., en L.F.A. Villanueva (ed.), Problemas
pblicos y agenda de gobierno, Mxico, Miguel ngel Porra, pp. 15-72.
(1996), Estudio introductorio 4a., en L.F.A. Villanueva (ed.), La implementacin de las polticas, Mxico, Miguel ngel Porra, pp. 15-92.
(ed.) (1996), La hechura de las polticas pblicas, Coleccin Antologas de
Poltica Pblica, Mxico, Miguel ngel Porra.
(ed.) (1996), La implementacin de las polticas, Coleccin Antologas de
Poltica Pblica, Mxico, Miguel ngel Porra.
(ed. ) (1996), Problemas pblicos y agenda de gobierno, Coleccin Antologas de Poltica Pblica, Mxico, Miguel ngel Porra.
Alkin, M.C. (1985), A Guide for Evaluation Decision Makers, Beverly Hills, C.A.,
Sage.
Alvira, F. (1991), Metodologa de la evaluacin de programas, Madrid, cis.
Ballart, X. (1993), Evaluation de polticas. Marco conceptual y organizacin
institucional, Revista de Estudios Polticos, 80 (abril-junio 1993), pp. 199224.
Ban, R. (1997), Los enfoques para el estudio de la administracin pblica:
orgenes y tendencias actuales, en R. Ban y E. Carrillo (eds.), La nueva
administracin pblica, Madrid, Alianza Universidad, pp. 17-50.
y E. Carrillo (ed.) (1997), La nueva Administracin Pblica, Madrid,
Alianza Universidad.
Chelimsky, E. (ed.) (1985), Program Evaluation: Patters and Directions,
Washington, D.C., American Society for Public Administration.
(1987), What We Have Learned About the Politics Program Evaluation, Educational Evaluation and Policy Analysis, 9, 1992: 213.
(1998), The Role of Experience in Formulating Theories of Evaluation
Practice, American Journal of Evaluation, 19(1): 35-55.
Cook, T.D. (1997), Lessons Learned in Evaluation Over the Past 25 Years,
en E. Chelimsky y W.R. Shadish (ed.), Evaluation for the 21st Century. A Handbook, Thousand Oaks, Sage, pp. 30-52.
Corday, D.S. y W. Lipsey (1987), Evaluation Studies for 1986: Program Evaluation and Program Research, Evaluation Studies Review Annual, 11(1986):
17-44.
Dunn, W.N. (1981), Public Policy Analysis An Introduction, Englewood Cliffs,
N.J., Prentice-Hall.
251
Greene, C. (1988), Stakeholder Participation and Utilization in Program

Evaluation, Evaluation Review, 12(2): 96-116.
(1997), Evaluation as Advocacy, Evaluation Practice, 18(1): 22-35.
Guba, E. (1990), The Paradigm Dialog, Newbury Park, Sage.
Guba, E. y Lincoln Y. (1989), Fourth Generation Evaluation, Newbury Park, Sage.
Heclo, H. (1972), Policy Analysis, British Journal of Political Science, 2: 83-108.
Hogwood, B.W. y L.W. Gunn (1984), Policy Analysis for the Real World, Oxford,
Oxford University Press.
Joint Committee on Standars for Educational Evaluation (1994), The Program
Evaluation: Standars 2nd ed. How to Assess evaluation of Educational Programs, Thousand Oaks, Sage.
(1998), Normas de Evaluacin para programas, proyectos y material educativo, Mxico, Trillas.
Lasswell, H. ([1951]1996), La orientacin hacia las polticas, en L. Aguilar,
(ed.), El estudio de las polticas pblicas, Mxico, Miguel ngel Porra, pp.
79-104.
Lincoln, Y. y E. Guba (1986), Research, Evaluation, and Policy Analysis. Heuristic for Disciplined Inquiry, Policy Studies Review, 5 (febrero 1986) (3):
546-565.
Morrier, E. (1990-1991), Objetivos y destinatarios de las evaluaciones, Documentacin Administrativa, 224-225: 131-152.
(1995), Evaluacin de la accin de los poderes pblicos, Madrid, Instituto de
Estudios Fiscales, Ministerio de Economa y Hacienda.
Norad (1997), Evaluacin de proyectos de ayuda al desarrollo, Manual para
evaluadores y gestores, Madrid, iudc-ucm y cedeal.
Palumbo, D.J. (ed.) (1987), The Politics of Program Evaluation, Newbury Park,
Sage.
Parsons, W. (1995), Public Policy. An Introduction to the Theory and Practice of
Policy Analyses, Cheltenham, R.U., Edward Elgar.
Patton, M.Q. (1982), Practical Evaluation, Beverly Hills, C.A. Sage.
(1985), Culture and Evaluation, San Francisco, Jossey-Bass.
(1997), Utilization-Focused Evaluation. The New Century Tex. 3rd, Thousand
Oaks, Sage.
Regonini, G. (1991), El estudio de las polticas pblicas, Documentacin Administrativa, 224-225 (octubre 1990-marzo 1991): 59-88.
Rist, R.C. (ed.) (1990), Program Evaluation and the Management of Govermment.
Patterns and Prospects across Eigth Nations, New Brunswick, Transaction
Publishers.
Rossi, P.H.F.H.E. (1989), Evaluacin. Un enfoque sistemtico para programas sociales, Mxico, Trillas.
Scriven, M. (1993), Hard-Won Lessons in Program Evaluation, San Francisco,
Jossey-Bass.
Shdaish, W., T. Cook, L.C. Leviton (1991), Foundations of Program Evaluation.
Theories of Practice, Newbury Park, Sage.
252
mara bustelo ruesta
Stufflebeam, D. y A. Shinkfield (1987), Evaluacin sistemtica. Gua terica y

prctica, Madrid. Paids/mec.
Subirats, J. (1992), Anlisis de polticas pblicas y eficacia de la administracin,
Madrid, Ministerio para las Administraciones Pblicas, Instituto Nacional
de Administracin Pblica.
Subirats, J. (1992), Un problema de estilo. La formacin de polticas pblicas en
Espaa. Exploracin sobre los elementos distintivos de nuestro policy style (Una
aportacin al anlisis del sistema poltico espaol), Madrid, Centro de Estudios Constitucionales.
(ed.) (1999), Existe sociedad civil en Espaa?: Responsabilidades colectivas y
valores pblicos, Coleccin Estudios de la Fundacin Encuentro, 5. Madrid,
Fundacin Encuentro.
Suchman, E. (1967), Evaluative Research: Principles and Practice in Public Service
and Social Action Programs, Nueva York, Rusell Sage.
Torres, R.H. Preskill, M. Piontek (1996), Evaluations Strategies for Communicating and Reporting, Thousand Oaks, Sage.
Vedung, E. (1997), Evaluacin de Polticas Pblicas y Programas, Madrid, Ministerio de Trabajo y Asuntos Sociales, Instituto Nacional de Servicios Sociales.
Weiss, C.h. (1998a), Evaluation. Methods for study Programs and Policies, second
edition, Upper Saddle River, N.J., Prentice Hall.
(1998b), Have We Learned Anything New About the Use of Evaluation?, American Journal of Evaluation, 19(1): 21-33.
Evaluacin de polticas pblicas se termin de imprimir

en los talleres de Corporacin Mexicana de Impresin, S.A. de C.V.,
con domicilio en General Victoriano Zepeda # 22,
colonia Observatorio, Mxico, D.F.
El tiraje consta de 3500 ejemplares.

13-Evaluación de Políticas Públicas Salcedo

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

13-Evaluación de Políticas Públicas Salcedo

Cargado por

Copyright:

Formatos disponibles

13

siglo xxi editores, argentina

CERRO DEL AGUA

248, ROMERO DE TERREROS,

4824, C 1425 BUP

BUENOS AIRES, ARGENTINA

portada de len muoz santini

por marcelo ebrard casaubon

por mara nadiezhda robles villaseor

anlisis y evaluacin de las polticas pblicas,

superior de la federacin, auditora especial de desempeo

por auditora superior de la

sobre la evaluacin de polticas pblicas,

por mauricio merino

la evaluacin en el marco del anlisis de polticas pblicas,

por mara bustelo ruesta

Desde nuestra perspectiva, un gobierno de izquierda debe asumir el

Jefe de Gobierno del Distrito Federal

El Gobierno del Distrito Federal tiene como principio el mandato

lombia, entre otros pases. La participacin ciudadana resulta crucial

Nueva gestin pblica, tomo 10 de esta coleccin, fue realizado por el

la eficiencia, la economa, la calidad de los servicios y bienes pblicos,

La Escuela de Administracin Pblica del Distrito Federal agradece

EVALUACIN DE POLTICAS PBLICAS

Auge y cada de Yemen

roberto salcedo aquino

Beremiz Samir conclua su leccin: la historia demuestra que el progreso

evaluacin de polticas pblicas

tados de la evaluacin entran necesariamente en la arena poltica, lo

roberto salcedo aquino

evaluacin de costo-eficiencia, anlisis de costo-utilidad, anlisis de

evaluacin de polticas pblicas

nocer, descubrir, explicar los efectos o impacto de la gestin pblica,

cuatro conceptos clave

roberto salcedo aquino

puedan sistematizar en una teora en continuo perfeccionamiento.

evaluacin de polticas pblicas

La investigacin social, como toda investigacin cientfica, tiene

Evaluacin de polticas pblicas

roberto salcedo aquino

diseo de una poltica pblica para recolectar, verificar y realizar los

Anlisis de polticas pblicas

evaluacin de polticas pblicas

Por medio del anlisis de las polticas pblicas se pretende entender

Y propone que la quididad del asunto quede asentada as: quin

Wayne Parsons, Polticas pblicas, Mxico, flacso, 2007, p. 91.

roberto salcedo aquino

de desempeo es la encargada de realizar la evaluacin sobre la rendicin de cuentas.

evaluacin de polticas pblicas

La auditora de desempeo se ocupa bsicamente de examinar las

conceptualizacin del trmino evaluacin

Cuando se gasta dinero pblico, tiempo y energas para resolver un

roberto salcedo aquino

tales. Ellos desean programas que funcionen y funcionarios que hagan

La medicin de los efectos de la accin pblica. A esta medicin se le llama

evaluacin de polticas pblicas

bernamental en un rea especfica. Por lo tanto, podemos aseverar

roberto salcedo aquino

tratando de cumplir con sus actividades diarias. Este ejercicio de

evaluacin de polticas pblicas

roberto salcedo aquino

madores de decisiones y a los ciudadanos en general conocer el estado

evaluacin de polticas pblicas

roberto salcedo aquino

superior de la federacin, auditora especial de desempeo

por mauricio merino

por mara bustelo ruesta