Evaluación Social de Proyectos

Profesor: Eduardo Contreras

Evaluación Multicriterio

Diplomado de Preparación y Evaluación Social de Proyectos

Eduardo Contreras
Ministerio de Planificación.
 UNIDAD Evaluación Multicriterio

Eduardo Contreras
 Ejemplo: Análisis de
alternativas

● Los atributos a considerar son los siguientes:

● A) Efectividad
● B) Plataforma Tecnológica
● C) Calidad Técnica de la Solución
● D) Ahorro de costos operacionales

Eduardo Contreras
 Análisis de alternativas: Una
metodología
Matriz de Evaluaciónde Alternativas

ATRIBUTOS Peso Altern. Altern. ... Altern.

EVALUABLES 1 2 n
Efectividad x% EF1 EF2 EFN
Plataforma Tecnológica x% PT1 PT2 PTN
Calidad Técnica x% CT1 CT2 CTN
Ahorro de Costos Op. x% ACO1 ACO2 ACON
TOTAL 100% P1 P2 PN

Eduardo Contreras
 Análisis de alternativas: Una
metodología
Metodología de determinación de ponderadores

... que el ítem que está en la columna? Total Orden

fila

Item 1 Item 2 Item 3 Item 4 Item 5 Item 6 Item 7

Item 1
1 0 0 1 1 1 4 2
¿El ítem que está en esta
fila es más importante...

Item 2
0 1 0 1 0 0 2 6
Item 3
1 0 0 0 1 1 3 3
Item 4
1 1 1 1 1 1 6 1
Item 5
0 0 1 0 0 0 1 7
Item 6
0 1 0 0 1 0 2 5
Item 7
0 1 0 0 1 1 3 4

Eduardo Contreras
 Problema típico de Toma de Decisión

Alternativas Número de Monto de Disponibilidad .......................... Porcentaje de Interés de

beneficiados inversión de recursos Subsidio Inversionistas
Privados

Alt 1

Alt 2

Alt 3

Alt 4

Alt 5

Eduardo Contreras
 Agregar más dimensiones (criterios) al problema es una forma de
acercar el modelo a la realidad (multidimensionalidad)

¿Cómo resolver este problema típico?

Metodologías Multicriterio

Eduardo Contreras
 Definición de AHP

En términos generales el AHP es un método de

descomposición de estructuras complejas en sus
componentes, ordenando estos componentes o variables en
una estructura jerárquica, donde se obtienen valores
numéricos para los juicios de preferencia y, finalmente los
sintetiza para determinar que variable tiene la más alta
prioridad.

Eduardo Contreras
 El AHP ( Analytic Hierarchy Process)

Esta metodología ( Saaty) ha sido aplicada desde inicios de la década

de los 80 por las principales empresas y entes gubernamentales del
mundo, en diversos problemas de toma de decisión y planificación.
La confección de la jerarquía es un proceso interactivo que realiza el
equipo de trabajo

Eduardo Contreras
 Algunas Compañías que Utilizan o han
utilizado el AHP

• IBM • Entel S.A.

• Citibank • General Electric
• U.S. Air Force • Kodak

• AT & T • C.I.A.

• U.S. Army • F.B.I.

• General Motors Co. • MOP

• MINEDUC

Eduardo Contreras
 El Proceso Analítico Jerárquico

Para determinar la mejor decisión, el método AHP requiere:

• Definir el problema principal- Determinar Objetivo Principal
• Estructurar el problema de decisión en un modelo de jerarquía -
Jerarquizar
• Comparación pareada de los objetivos y alternativas factibles
(deben ser consistentes) - Priorizar
• Datos que sirvan para priorizar las alternativas factibles, para
obtener el mejor rango de posibles soluciones - Analizar y
Sintetizar

Eduardo Contreras
 Fundamentos del AHP

El método AHP está fundado sobre una base teórica simple pero sólida.

Esta metodología propone una manera de ordenar el

pensamiento analítico, de la cual destacan tres principios

•Construcción de las jerarquías

• Establecimiento de prioridades
• Consistencia lógica

Eduardo Contreras
 Primer principio: Construcción de la jerarquía

Objetivo (Goal):
• Es lo que se espera resolver
• Es el Objetivo principal

Criterios:
• Son los elementos que definen el objetivo principal

Subcriterios
• Son los elementos que definen el criterio debajo del cual
ellos se encuentran. Estos deben ser cuantificables.
Alternativas;
• Estas son diferentes soluciones o cursos de acción

Eduardo Contreras
 Consideraciones sobre las jerarquías

¿Qué criterios aportan

Objetivo al objetivo global?

+ general
(estratégico)

Criterios

+ específico
(técnico)

Alternativas

Eduardo Contreras
 Brainstorming

Una manera muy eficaz

para estructurar una
jerarquía es someter el
tema a una lluvia de Jerarquización
ideas en presencia de
otros participantes y
anotar todos los factores
y alternativas
Evaluación y Selección
importantes.

Eduardo Contreras
 Segundo Principio: Establecimiento de Prioridades

El cálculo de la prioridad se realiza en función de comparaciones a

pares con respecto a un criterio dado. La comparación pareada está
basada en la intuición, datos o análisis previos y experiencias.

Para comparar los elementos se forma una matriz y se pregunta:

¿Cuánto supera este elemento (o actividad) al elemento con el cual
se está comparando- en la medida en que posee la propiedad,
contribuye a ella, la domina, influye sobre ella, la satisface, o la
beneficia?

Eduardo Contreras
 Escala para comparaciones a Pares
Escala de Saaty
Intensidad Definición Explicación
De igual 2 actividades contribuyen de igual forma
1
importancia al objetivo
La experiencia y el juicio favorecen
Moderada
3 levemente a una actividad sobre la
importancia
otra
Importancia La experiencia y el juicio favorecen
5
fuerte fuertemente una actividad sobre la otra
Una actividad es mucho más favorecida
Muy fuerte o
7 que la otra; su predominancia se
demostrada
demostró en la práctica
La evidencia que favorece una actividad
9 Extrema sobre la otra, es absoluta y totalmente
clara
Valores Cuando se necesita un compromiso de
2,4,6,8
intermedios las partes entre valores adyacentes
Recíprocos aij=1/aji Hipótesis del método

Eduardo Contreras
 Tipos de Comparaciones pareadas

(1) Importancia: Apropiado cuando se comparan criterios entre sí.

(2) Preferencia: Apropiado cuando se comparan alternativas.
(3) Más probable: Usado cuando se compara la probabilidad de los
resultados, ya sea con criterios o alternativas.

Comparaciones pareadas
Crear una matriz para cada criterio o subcriterio de la jerarquía que
permita determinar la prioridad Pij, de los elementos de su nivel
inmediatamente inferior. Comparar de a pares estos elementos del nivel
inferior, usando una escala de proporciones. (Escala de Saaty):

Eduardo Contreras
 Matriz de Comparaciones Ponderadores

Económico Técnico Social

w Económico 
Económico  1 2 a   
   
   
1 w 
 
Técnico
1 3 Técnico
2  
   
Social  1 1 1  
 a 
 w 
3
Social

Eduardo Contreras
 Ejemplo Importancia relativa de los criterios

Amb Social Econ

Amb 1 1/2 1/4 0,143
Social 2 1 1/2 0,286
Econ 4 2 1 0,571

Una vez completada la Matriz el problema se transforma en un

problema de Vectores y Valores propios

λ*w
A*w=λ
Donde
A=Matriz recíproca de comparaciones a pares (Juicios de importancia/ preferencia
de un criterio sobre otro)
w= Vector propio que representa el ranking u orden de prioridad
λ=Máximo valor propio que representa una medida de la consistencia de los juicios
Eduardo Contreras
 Cómo calcular las prioridades usando un método de
aproximación

Amb Social Econ Amb Social Econ

Amb 1 1/2 1/4 Amb 1/7 1/7 1/7
Social 2 1 1/2 Social 2/7 2/7 2/7
Econ 4 2 1 Econ 4/7 4/7 4/7
Total 7 3,5 1,75
Matriz normalizada
1/ 7 +1/ 7 +1/ 7
= 1 / 7 = 0,143
3 Esta síntesis nos ofrece los
2/7+ 2/7+ 2/7 porcentajes de las prioridades
= 2 / 7 = 0,286
3 globales, o importancia de los
4/7+ 4/7+ 4/7
= 4 / 7 = 0,571 criterios
3

Eduardo Contreras
 Tercer principio: Consistencia Lógica

“La consistencia tiene relación con el grado de dispersión de los

juicios del actor”
Juicios consistentes imponen 2 propiedades en forma simultánea:

A) Transitividad de las preferencias: Si C1 es mejor que C2 y C2

es mejor que C3 entonces se espera que C1 sea mejor que C3.

B) Proporcionalidad de las preferencias: Si C1 es 3 veces mejor

que C2 y C2 es 2 veces mejor que C3 entonces se espera que C1
sea 6 veces mejor que C3.

Eduardo Contreras
 Se busca evitar que la decisión se base en juicios de
consistencia tan baja que parezcan aleatorios. Por otra
parte, es difícil vivir de acuerdo a una perfecta consistencia.
El AHP mide la inconsistencia global de los juicios
mediante la proporción de consistencia.
El valor de esta proporción de consistencia no debe
superar el 10%. Esto dependerá del tamaño de la matriz de
comparación a pares.
El indice de consistencia se da por la
fórmula:

λ max-n Donde n es el tamaño de la matriz

IC =
n -1
Eduardo Contreras
 Síntesis del método

Objetivo D
Análisis O
Modelo del problema C
Derivación de Pesos de criterios U
M
Revisión de Consistencia del proceso E
Evaluación de las alternativas por criterio N
Síntesis T
Generación del Ranking de alternativas A
Análisis de Sensibilidad de la solución C
I
Documentación
Ó
N

Eduardo Contreras
 Análisis de sensibilidad

A menudo es deseable examinar la sensibilidad del resultado

de una decisión, al realizar cambios en las prioridades de los
criterios principales de un problema. Lo que se hace, es
cambiar la prioridad de ese criterio, manteniendo las
proporciones de las prioridades de los otros criterios., de tal
manera que todos ellos al modificarse, incluido el criterio
alterado, sumen uno. El software “Expert Choice” tiene cinco
formas de representar el resultado de análisis de sensibilidad.

Eduardo Contreras
 Ventajas de la Metodología

Esta metodología es una herramienta de apoyo a la toma de

decisiones que permite:

• Definir el problema que se desea resolver.

• Identificar los criterios discriminantes en la toma de
decisiones.
• Trabajar con un equipo multidisciplinario.
• Estructurar los criterios y subcriterios en una jerarquía.
• Determinar la importancia de cada criterio en términos de
ponderadores y sintetizar toda esta información para tomar
la mejor decisión.
• Llegar a un resultado en consenso.

Eduardo Contreras
 Ejemplos y aplicaciones

Eduardo Contreras
 Selección de proyectos en
concurso Fondeportes
Establecer
Establecer ranking
ranking
de
de proyectos
proyectos

Políticas
Políticas Criterios
Criterios Criterios
regionales
regionales técnicos
técnicos económicos

- Tipo de - N° beneficiarios
- Modalidad
proyectos - CAE / Usuario
deportiva
- Calidad de - Programación de
- Población
proyectos la inversión
beneficiaria
- Localización
- Indices
de gestión
- Directos
- Indirectos

-Alto rendimiento -- Indice

Indice
-IDH comunal - Generación
-Dep. formativo equipamiento
equipamiento
- Situación de empleo
- Dep. recreativo comunal
comunal
vulnerabilidad - Situación
-Dep. competitivo proyectos -Indice Aislamiento
-Emplazamiento
critico
anteriores

- Transitorios
- Permanentes

Eduardo Contreras
 Detalle de la Aplicación
Matrices de comparaciones

Marcela Gonzalez
Primera Matriz Políticas regionales Criterios técnicos Criterios económicos
Políticas regionales 5.00 3.00
Criterios técnicos 0.20 1.00
Criterios económicos 0.33 1.00

Guillermo Unnasch
Primera Matriz Políticas regionales Criterios técnicos Criterios económicos
Políticas regionales 1.00 1.00
Criterios técnicos 1.00 1.00
Criterios económicos 1.00 1.00

Jose Miguel Campos

Primera Matriz Políticas regionales Criterios técnicos Criterios económicos
Políticas regionales 1.00 3.00
Criterios técnicos 1.00 3.00
Criterios económicos 0.33 0.33

Matriz Ponderada
Primera Matriz Políticas regionales Criterios técnicos Criterios económicos
Políticas regionales 1.71 2.08
Criterios técnicos 0.58 1.44
Criterios económicos 0.48 0.69

( 1.00 x 1.00 x 0.33 )1/3

Eduardo Contreras
 Detalle de la Aplicación
Establecer ranking
Establecer ranking
de proyectos
de proyectos
(L:1.00 ; G:1.00)

Políticas
Políticas Criterios
Criterios Criterios
Criterios
regionales
regionales técnicos
técnicos económicos
económicos
(L:.481 ; G:.481) (L:.297 ; G:.297) (L:.222 ; G:.222)

- Modalidad - Tipo de - N° beneficiarios

- Modalidad
deportiva (L:.39 ; G:.087)
proyectos
deportiva
(L:.357 ; G172) (L:.524 ; G:.155) - CAE / Usuario
-- Población
Población (L:.405 ; G:.09)
- Calidad de
beneficiaria
beneficiaria proyectos - Programación de
-(L:.329
Localización
; G:.158) (L:.476 ; G:.141) la inversión
- -Localización (L:.205 ; G:.046)
Indices
(L:.14 ; G:.067)
de gestión
- Indices
de gestión - Directos
(L:.172 ; G:.084) (L:.849 ; G:.074)
- Indirectos
(L:.151 ; G:.013)
-Alto rendimiento -IDH comunal -- Generación
Generación - Indice
(L:.154 ; G:.026) (L:.37 ; G:.059) de
de empleo
empleo equipamiento
-Dep. formativo - Situación (L:.598 ; G:.05)
- Situación comunal
(L:.363 ; G:.062) vulnerabilidad -proyectos
Situación (L:.811 ; G:.055)
- Dep. recreativo (L:.63 ; G:.10) proyectos
anteriores -Indice aislamiento
(L:.291 ; G:.05) anteriores comunal
-Dep. competitivo (L:.402 ; G:.034) (L:.189 ; G:.013)
(L:.192 ; G:.033)

- Transitorios
(L:.171 ; G:.009)
- Permanentes
(L:.829 ; G:.041)
Eduardo Contreras
 Detalle de la Aplicación

Eduardo Contreras
 Selección de proyectos de
Reescolarización para el Mineduc

Reescolarización

Pertinencia Especificidad Evaluabilidad Sustentabilidad

- Focalización - Estrategia Pedagógica - Coherencia - Experiencia

Institucional
- Cobertura - Estrategia Psicosocial - Presupuesto
- Complementariedad
- Calidad de la - Alineamiento con - Indicadores
Propuesta programa

Eduardo Contreras
 Detalle de la Aplicación

Comparación Pareada

Nivel 1

Reescolarización Pertinencia Especificidad Evaluabilidad Sustentabilidad

Pertinencia 1 3 4 3

Especificidad 1 2 2

Evaluabilidad 1 ½

Sustentabilidad 1

Eduardo Contreras
 Detalle de la Aplicación
Calidad de la
Pertinencia Focalización Cobertura
Propuesta

Focalización 1 4 ¼

Valor Ponderador Cobertura 1 1/7

1. Pertinencia 0.51 Calidad de la

Propuesta
1
Focalización 0.117
Cobertura 0.039 Estrategia Estrategia Alineamiento
Especificidad
Calidad de la Propuesta 0.355 Pedagógica Psicosocial con programa
Estrategia
1 1 ¼
Pedagógica
2. Especificidad 0.226 Estrategia
1 ¼
Psicosocial
Estrategia Pedagógica 0.038 Alineamiento con
1
Estrategia Psicosocial 0.038 programa

Alineamiento con Programa 0.151

Evaluabilidad Coherencia Presupuesto Indicadores
3. Evaluabilidad 0.104
Coherencia 1 3 ½
Coherencia 0.035
Presupuesto 0.015 Presupuesto 1 1/3

Indicadores 0.055 Indicadores 1

4. Sustentabilidad 0.159
Experiencia Institucional 0.08 Sustentabilidad
Experiencia
Complementariedad
Institucional
Complementariedad 0.08 Experiencia
1 1
Institucional

Complementariedad 1

Eduardo Contreras
 Selección de alternativas para un proyecto de Arte y Cultura

Problema: “Carencia de Exposiciones de Obras Teatrales”

Descripción de Alternativas
Alternativa 1: “Construcción de sala de Teatro”.
Alternativa 2: “Carpa Itinerante”.
Alternativa 3: “Bus Teatro”.

Indicador: Costo / Beneficio

Eduardo Contreras
 Selección de alternativas para un proyecto de Arte y Cultura

Figura 4: “Jerarquía de Costos”

COSTOS

INVERSIÓN COSTOS OPERACIONALES CAE/BENEF. C.FINANCIEROS/BENEF.

Alternativa 1 Alternativa 1 Alternativa 1 Alternativa 1

Alternativa 2 Alternativa 2 Alternativa 2 Alternativa 2

Alternativa 3 Alternativa 3 Alternativa 3 Alternativa 3

Eduardo Contreras
 Figura 5: “Jerarquización de Beneficios”

MEJOR ALTERNATIVA

CONTENIDOS

PERTINENCIA

Alternativa 1

Alternativa 2

Alternativa 3

ALCANCE

CONGRUENCIA

AJUSTE A POLITICAS

RESULTADOS

CREATIVIDAD

DIVERSIDAD

EQUIDAD

REPLICABILIDAD

BENEFICIOS ECONOMICOS

AUTONOMIA

SOSTENIBILIDAD DE LA INICIATIVA

FORTALEZA ORGANIZACIONAL

PARTICIPACION

REDES CULTURALES

INTERSECTORIALIDAD

FUNCIONAL

TERRITORIAL

GESTION

PROFESIONALIZACION

DEDICACION AL PROYECTO

SOSTENIBILIDAD FINANCIERA
Eduardo Contreras
 Detalle de la Aplicación
Contenidos Resultados F. Organizacional Gestión PRIORIDAD

Alternativa 1 5.3254 11.4709 4.6180 7.7600 29.1743

Alternativa 2 3.4894 21.2011 8.2340 6.4600 39.3845

Alternativa 3 4.3254 12.2780 10.2380 4.6000 31.4414

13.1400 44.9500 23.0900 18.8200 100.0000

Figura 6: Resultados Expert Choice

INVERSIÓN COSTOS CAE _ C.FINANC. PRIORIDAD

OPERACIONALES BENEF. BENEF. GLOBAL
(22.64%) (25.82%) (41.29%) (10.25%)
Alternativa 1 11.0980 9.5630 19.7088 3.5626 43.9324
Alternativa 2 6.2149 8.6067 11.5954 3.5931 30.0100
Alternativa 3 5.3271 7.6504 9.9858 3.0943 26.0576
22.6400 25.8200 41.2900 10.2500 100.0000

Eduardo Contreras
 Detalle de la Aplicación

Figura 7: Resultados Expert Choice

Prioridad Costo Prioridad Beneficio Costo/Beneficio

Alternativa 1 43.9324 29.1743 1.5059
Alternativa 2 30.0100 39.3845 0.7620
Alternativa 3 26.0576 31.4414 0.8288

Eduardo Contreras
 Teoría de evaluación multicriterio. Aplicaciones
Identificación de ideas:para hacer rankings de ideas
y descartar las malas antes de cualquier estudio.
Para analizar alternativas de un mismo proyecto en
un estudios de preinversión
Para programas: permite agregar resultados del
marco lógico en un solo indicador
Para licitaciones de estudios.
Para licitaciones de proyectos en algunos casos
Para agregar indicadores de desempeño (control de
gestión).
Para cálculo de índices (ejemplo:calidad de vida)
En todos los ejemplos anteriores se necesita
agregar varios criterios para llegar a un solo
indicador que permita tomar la decisión.
Eduardo Contreras
 Teoría de evaluación multicriterio. Aplicaciones

Para priorizar proyectos ya evaluados y

recomendados: apoyo a los gobiernos regionales y
municipios en el proceso de priorización.
Para seleccionar en forma consensuada proyectos y
programas que postulan a fondos concursables.

❙En todos los ejemplos anteriores se necesita agregar

varios criterios para llegar a un solo indicador
que permita tomar la decisión.

Eduardo Contreras