Documentos de Académico
Documentos de Profesional
Documentos de Cultura
CM-014-19
Tabla de Contenido
I. Objetivo de la Evaluación, Alcance y Productos a Entregar ......................................................... 4
II. Desarrollo Metodológico ............................................................................................................. 5
1. Marco general del PNCJCCC .................................................................................................... 6
1.1. Antecedentes ................................................................................................................... 6
1.2. El PNCJCCC ....................................................................................................................... 8
1.3. La Cadena de Valor del PNCJCCC ..................................................................................... 9
2. Marco General de la Evaluación ............................................................................................ 14
3. Estrategia metodológica para la evaluación institucional ...................................................... 18
3.1. Marco Interpretativo de la evaluación institucional ...................................................... 18
El enfoque de las capacidades institucionales ........................................................................... 18
Estrategia de investigación ........................................................................................................ 22
3.2. Articulación entre preguntas orientadores y el diseño cualitativo ................................ 25
3.3. Estrategia de Sistematización ........................................................................................ 44
4. Estrategia metodológica para la evaluación de resultados .................................................... 48
4.1. Estrategia metodológica para el componente de evaluación resultados ...................... 48
4.2. Estrategia metodológica para la evaluación comportamental ...................................... 68
5. Estrategia para la triangulación de información .................................................................... 92
5.1. Triangulación entre métodos......................................................................................... 93
5.2. Triangulación entre actores involucrados con el PNCJCCC ............................................ 94
5.3. Triangulación entre fuentes de información ................................................................. 94
5.4. Triangulación entre disciplinas de los investigadores .................................................... 95
5.5. La matriz de consistencias y la matriz HCR .................................................................... 95
III. Definición del Trabajo de Campo y Recolección de Información ............................................... 97
1. Diseño Muestral Cualitativo................................................................................................... 97
1.1. Tipología de Muestreo ................................................................................................... 97
1.2. Selección de Unidades Muestrales ................................................................................ 98
2. Retos del trabajo de campo ................................................................................................. 103
2.1. Problemas de orden público ........................................................................................ 104
2.2. Los funcionarios públicos ............................................................................................. 106
2.3. La población usuaria .................................................................................................... 107
Página 2 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 3 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Cada uno de los objetivos anteriormente mencionados responderá a las preguntas orientadoras
planteadas para cada uno de los componentes:
La evaluación de eficiencia se realizará durante el último mes de 2019 y al menos durante los
primeros ocho meses de 2020 y tendrá una duración de nueve (9) meses. Finalmente, los productos
esperados son cinco:
Página 4 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
La investigación partirá de la aplicación de métodos mixtos (MM) para integrar los hallazgos tanto
cuantitativos y cualitativos. Para llevar a cabo esta aplicación, es necesario conducir la investigación
desde una visión interdisciplinaria para lo cual la Unión Temporal incorporará las visiones de
investigadores con experiencias y conocimientos complementarios. En particular, los métodos
mixtos se justifican no solo por la solicitud implícita de los pliegos de condiciones de hacerlo, sino
porque desde el objetivo de esta evaluación se plantea estudiar el arreglo institucional por una
parte, así como identificar y explicar los resultados esperados en del PNCJCCC, por el otro.
Lo anterior partiendo de una premisa fundamental que se exponen de forma explícitamente en los
pliegos de condiciones. El PNCJCCC es el resultado de la gestión institucional adelantada durante
más de 20 años en torno a las iniciativas que se configuraron para responder a la conflictividad y las
necesidades de justicia local con dos modelos de atención diferenciados pero complementarios: las
Casas de Justicia y los Centros de Convivencia Ciudadana
Así las cosas, y tal como lo plantean los pliegos de condiciones, se abordan los pasos a seguir para
responder al objeto general de la consultoría, teniendo en cuenta: i) el marco general del PNCJCCC;
ii) la estrategia metodológica para la evaluación institucional; iii) la estrategia metodológica para la
evaluación de resultados (que contienen la estrategia metodológica para evaluación
comportamental) y; v) la estrategia para la triangulación de la información.
Página 5 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
1.1. Antecedentes
El Programa Nacional de Casas de Justicia nace 1995 en el marco de una alianza entre el Gobierno
Nacional y la Agencia de los Estados Unidos para el Desarrollo Internacional, que presenta un
modelo de concentración de oferta de servicios de justicia para el beneficio de comunidades
apartadas y de alta conflictividad en las principales ciudades de Colombia.
En aquella época, el concepto de Casa de Justicia (CJ) fue muy bien recibido, puesto que se sumaba
a una serie de iniciativas que se estaban implementando para acercar los ciudadanos a la justicia y
promover los mecanismos alternativos de solución de conflictos que habían sido promovidos por la
Constitución Política de 1991 y que fueron instrumentalizados por la Ley 23 de 1991, para
descongestionar el aparato de justicia.
La primera CJ se construyó en la ciudad de Bogotá D.C. (Casa de Justicia de Ciudad Bolívar), y para
su entrada en funcionamiento se suscribió un convenio interadministrativo nacional, en el que
participaron las siguientes instituciones: la Fiscalía General de la Nación; la Procuraduría General de
la Nación; el Instituto Colombiano de Bienestar Familiar; el Instituto Nacional de Medicina Legal y
Ciencias Forenses; la Defensoría del Pueblo; la Superintendencia de Notariado y Registro; la
Fundación FES (implementadora de los recursos de USAID); y, el Ministerio de Justicia y del
Derecho.
El Convenio tuvo como objetivo garantizar el acceso a la ciudadanía a la justicia, integrar las
instituciones de orden nacional y distrital que ofrecerían servicios en la nueva infraestructura física.
Asimismo se determinaron obligaciones por parte de las entidades, especialmente en lo
relacionado con la designación permanente de servidores públicos, y la posibilidad de que estas
entidades pudieran definir la dotación que requerían para la prestación de los servicios.
Quizá el punto más importante del convenio es que trajo consigo la definición de un programa
institucional que se basa en la suma de esfuerzos de las entidades nacionales que han de
concentrar sus servicios jurídico-interinstitucionales en dicha Casas de Justicia, y los suma con la
oferta local dispuesta en servidores tales como, Inspectores Municipales y Comisarios de Familia;
así como de los Notarios, los Jueces de Paz (creados por la Constitución Política), los Centros de
Conciliación y Arbitraje, los Conciliadores en Equidad y los Consultorios Jurídicos de las Facultades
de Derecho de las Universidades.
La iniciativa definió como mecanismo de trabajo, la suscripción de acuerdos locales con las alcaldías
municipales y distritales que estuviesen interesadas en el modelo de Casas de Justicia, asignándoles
la responsabilidad de disponer a cualquier título, de espacio físico para el desarrollo del programa.
En igual sentido, se sentaron los componentes generales del programa que incluye los siguientes
propósitos respecto de los ciudadanos beneficiarios: a) Información y educación a los ciudadanos
acerca de sus derechos y los mecanismos de protección de estos y acerca de las autoridades e
Página 6 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
instrumentos existentes para su defensa; b) Ilustración sobre las obligaciones que la Constitución y
las Leyes demandan de los ciudadanos; c) Orientación y asesoría en situaciones de conflicto entre
ciudadanos o en sus relaciones con el Estado y d) Servicios a cargo de las entidades partícipes de la
Casa, quienes atenderían a la comunidad conforme a sus funciones constitucionales y legales y
trabajarían por la consolidación de una cultura de la convivencia pacífica y de respeto al derecho
ajeno.
A partir de allí se inició una fase de expansión en términos de cobertura en el territorio nacional,
materializado en la construcción y puesta en funcionamiento de CJ en las principales ciudades
capitales del país, así como en otros municipios que se habían interesado en el modelo y en los
beneficios que estas traen para las comunidades.
El año 2000, fue un año crucial para las CJ, en virtud de la expedición por parte del Gobierno
Nacional del Decreto 1477 de 2000, que adopta formalmente el Programa Nacional de Casas de
Justicia. En dicho Decreto se definen las CJ; se delinean los objetivos del programa y se relacionan
los servicios que deben prestarse. Asimismo, se vinculan las entidades que deben hacer parte de las
CJ, se definen sus obligaciones y se asignan unas competencias al Ministerio de Justicia y del
Derecho (MJD) como coordinador. Posteriormente, el 29 de julio de 2005, se suscribe un nuevo
Convenio Nacional para la Puesta en Marcha del Programa Nacional de Casas de Justicia, como
quiera que, si bien la vinculación de las entidades se había formalizado en el mencionado Decreto,
muchas de ellas no estaban haciendo presencia en las CJ y, por ende, se consideró oportuno la
suscripción de un nuevo acuerdo de voluntades que ratificara lo ya señalado en la normatividad.
Por último, con la escisión del Viceministerio de Justicia del antiguo Ministerio del Interior y de
Justicia, así como con la creación del Ministerio de Justicia y del Derecho y la creación de la
Dirección de Métodos Alternativos de Solución de Conflictos de en dicha entidad, el Decreto 2897
de 2011, modificado por el Decreto 1427 de 2017, asignó precisas funciones relacionadas con la
coordinación del Programa, entre las cuales se encuentran:
“1. Formular, coordinar, divulgar y fomentar políticas públicas para aumentar los niveles de acceso a
la justicia, a través de los mecanismos alternativos de solución de conflictos y de modelos de
implementación regional y local.
(…)
5. Promover el acceso a la justicia para los grupos minoritarios y vulnerables.
(…)
16. Apoyar en el diseño, coordinación, divulgación y fomento de la política pública en materia de
acceso a la justicia a través del Programa Nacional de Casas de Justicia y del Programa Nacional de
Centros de Convivencia Ciudadana, en coordinación con las entidades competentes.
17. Coordinar y articular la oferta de servicios de Métodos Alternativos de Solución de Conflictos y el
modelo de acceso a nivel local y regional.”
Así, el panorama actual del Programa incluye su fusión, de facto, con el Programa Nacional de
Centros de Convivencia Ciudadana, con el que comparte su misión de fortalecer el acceso a la
justicia de las comunidades más vulnerables y apartadas del territorio nacional. Lo anterior, si bien
ha generado un avance en su cobertura, ha desdibujado de alguna manera el propósito inicial de
Página 7 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
concentrar los servicios de justicia de las entidades nacionales y locales en beneficio del ciudadano.
Esto, en virtud de que los Centros de Convivencia Ciudadana (CCC) promueven la convivencia y el
desarrollo comunitario a través de programas locales de prevención, y no de orientación, atención,
referenciación y solución de conflictos como si lo hacen las CJ.
1.2. El PNCJCCC
b. Especialización: El programa gestiona con los operadores de justicia, modelos de atención que
respondan a las particularidades y necesidades del territorio, con el propósito de articular la
justicia formal y la justicia alternativa, promover soluciones pacíficas a los conflictos a través del
uso de mecanismos alternativos, y aumentar la capacidad de respuesta de la justicia local.
“Artículo 2.2.4.1.2 Objetivos y funciones especificas. El Programa Nacional de las Casas de Justicia
tendrá los siguientes objetivos y funciones:
Página 8 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Para cumplir algunas de las funciones descritas anteriormente, el PNCJCCC dispone de varias
herramientas. La primera es de origen normativo y tiene que ver con el alcance de las funciones
recientemente enunciadas, la segunda es una cartilla en la que el MJD traza unas líneas de trabajo,
y la tercera es una guía en la que se conceptualizan las CJ y los CCC, se describen los componentes
esenciales de su operación diaria y se presentan los lineamientos para la implementación del
programa, así como el paso a paso que debe atender la entidad territorial que se encuentre
interesada.
Finalmente, es importante notar que el PNCJCCC cuenta con 152 puntos en la actualidad, los cuales
están distribuidos en 110 CJ y 42 CCC, ubicados en 132 municipios de 30 departamentos del país,
que atienden un promedio de 250 mil personas por año1.
Así, el análisis se basa en la esquematización para caracterizar una intervención por fases y etapas.
En particular, se podría afirmar que una intervención típicamente se divide en dos fases: la
implementación y los efectos. La fase de "implementación" incluye etapas tales como “insumos,
procesos y productos – y/o entrega de bienes o servicios”. Por su parte, la fase de "efectos" se
ocupa de los cambios que se esperan de una intervención (resultados e impactos). Tal es el caso de
la presente evaluación con sus diferentes líneas de acción.
La cadena de valor del PNCJCCC describe específicamente los elementos que juegan un rol clave en
la definición de las etapas, abarcando cada uno de los eslabones de la cadena de valor de tal
manera que se podrán identificar cada uno de los aspectos a evaluar y la articulación institucional
con el avance en los resultados. Esto es importante porque, si bien existe una teoría de cambio (i.e.
Página 9 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
hipótesis de la intervención), el vínculo entre los productos y los resultados a corto plazo sigue
siendo una cuestión empírica.
En primera instancia, en la parte de insumos, se tiene en cuenta el marco normativo del Programa,
en el que se encuentra la Constitución Política de Colombia, el Plan Nacional de Desarrollo 2018-
2022, el Decreto 1477 de 2000, el Decreto 2897 de 2011 entre otros. Igualmente, se establecen los
recursos financieros, físicos y humanos que intervienen. Seguido, se encuentran los procesos que
son desagregados del proceso operativo que tiene lugar dentro de las líneas de acción del PNCJCCC
en Derechos Humanos, Enfoque Étnico, Fortalecimiento Institucional, Prevención de Violencia,
Justicia Móvil y Métodos Alternativos de Resolución de Conflictos, señalando las actividades
principales en cada una de estas. Una vez realizadas en conjunto estas actividades, se reflejan
aquellos bienes o servicios que son entregados por el implementador, es decir, los productos. En el
caso particular del PNCJCCC el servicio principal entregado es la atención integral para el acceso a la
justicia formal, no formal y a la resolución de conflictos para convivencia pacífica.
Por su parte, los resultados tienen en cuenta los cambios posibles que se dan en el corto o mediano
plazo como lo son la descentralización de servicios para el acceso a la justicia formal y no formal,
una justicia más acorde con la diversidad cultural y el contexto socio-jurídico colombiano, el
mejoramiento de las relaciones interpersonales y el reconocimiento, apropiación y promoción del
buen trato en las familias y los MASC. Asimismo, se darían los impactos, en este caso la generación
de confianza, reciprocidad, cooperación, apropiación de la norma social, la disminución de la
propensión al conflicto y la descongestión del Sistema Judicial y despachos judiciales, que tienen
lugar en el largo plazo (Ver Figura II-1).
El análisis permite identificar que en relación con los procesos, se evidencia un punto de partida,
que es la implementación de las CJ o del CCC, a través del cual se realizan actividades para la
presentación, estudio y evaluación de la solicitud del municipio o Distrito para ingresar al Programa.
De allí se desprende el producto inicial necesario para la ejecución del Programa, como lo es la
infraestructura física para la CJ o el CCC, la vinculación del personal capacitado y la puesta en
marcha. No obstante, es relevante indagar si las entidades territoriales realizan este proceso de
acuerdo con la Guía de implementación, es decir, de manera previa al funcionamiento de la CJ o
CCC o si por el contrario, presentan la solicitud para ingresar al Programa, estando en
funcionamiento. Lo anterior, con el fin de determinar las implicaciones de este proceso en la
implementación y por lo tanto, su alcance en los resultados.
• Los espacios destinados para las CJ y los CCC corresponden a lo solicitado por la Guía de
implementación y permiten la presencia de las entidades e instituciones requeridas.
Página 10 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
• Los espacios destinados para las CJ y los CCC trascienden la estructura física y cuentan con
la capacidad institucional para responder a las necesidades de conflictividad de los
municipios.
• Las líneas estratégicas se encuentran planificadas y cubiertas para su implementación
efectiva, es decir:
o Existe una asignación de funcionarios de las entidades que hacen presencia en las
CJ o CCC de tal manera que puedan brindar los servicios de forma permanente.
o Existe una estrategia de articulación interinstitucional para brindar respuestas
integrales a las necesidades de la ciudadanía.
o Existe un plan para la sostenibilidad de CJ o CCC que abarca los recursos financieros
y humanos requeridos para la correcta implementación del Programa.
o Existen unas condiciones de infraestructura adecuadas para el desarrollo de la
jornada.
o Existen estrategias de seguimientos de los casos y de cierre cuando se responde a
la necesidad del ciudadano.
o Existen los documentos y protocolos institucionales donde se reflejan las rutas de
atención, así como los informes de la implementación del programa.
o Se da una capacitación constante de funcionarios y operadores en MASC.
o Existen procesos de formación dirigidos a la comunidad sobre sus derechos y los
servicios que ofrecen las CJ o CCC.
o Se desarrollan jornadas móviles en lugares con barreras geográficas y/o sociales
que dificultan el acceso de los ciudadanos a las ofertas de servicios.
o Existen programas de participación dirigidos a ciudadanía en los que se reconoce
como sujetos activos de la convivencia y el trámite pacífico de conflictos.
• Los sistemas de información se implementan de manera efectiva, es decir:
o Cuando se da apertura a la CJ o al CCC se brindan las garantías e infraestructura
requerida para el uso de los sistemas de información.
o Se cuenta con un inventario de sistemas de información y sus variables, así como
estrategias de interoperatividad.
o Se cuentan variables para el seguimiento de casos como cifras acerca del número
de visitas que son requeridas para solucionar conflictos, entre otras.
• Finalmente, existen un seguimiento y acompañamiento de parte de la coordinación del
Programa.
Se esperaría entonces que si se observan estas evidencias de los productos, los resultados de la
implementación del PNCJCCC, tal y como se señalan en la Figura II-1, se darían las condiciones
necesarias para una teoría de cambio en donde se pueda asegurar una justicia más acorde con la
diversidad cultural y el contexto socio-jurídico colombiano, centrada en la realidad local. Asimismo,
se encontraría una mejoría en las relaciones interpersonales asociadas al conocimiento e
implementación de Métodos Alternativos de Resolución de Conflictos- MASC y la disminución de
barreras de acceso a la justicia formal y no formal, con las que cuentan las poblaciones más
vulnerables.
Página 11 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
los ciudadanos, puedan ser evidenciados en un cambio de los indicadores que se quieren medir a
través de los experimentos, esto es en indicadores asociados a la confianza, reciprocidad,
cooperación y expectativas normativas relacionadas con normas sociales2.
Por su parte, parte del análisis de la implementación PNCJCCC en un esquema de teoría de cambio,
también es posible afirmar que la articulación armónica de entidades de orden nacional, municipal
y social que cuentan con misionalidad social y de acceso a la justicia, facilita el empoderamiento y el
acceso ciudadano a la oferta de servicios, al estar concentrados en un solo lugar. En ese punto, es
importante explorar preguntas relacionadas con si la oferta de servicios corresponde con las
necesidades del diagnóstico de conflictividad y los motivos de consulta de los ciudadanos que se
acercan a las CJ o CCC.
Una reflexión final en relación con la implementación del PNCJCCC es que el Programa llama la
atención sobre su enfoque territorial y local en la articulación de la oferta institucional, y que al final
esto es un factor clave que determina la teoría de cambio. El acceso a las rutas de atención y
prevención en materia de acceso a la justicia de manera integral solo podrá lograr los impactos
esperados en términos de descongestión del Sistema Judicial y de disminución de barreras de
acceso, si la oferta de servicios y con esto, las respuestas que se brindan, corresponden a las
necesidades específicas de la ciudadanía, basadas en el seguimiento de casos, efectividad de la
oferta y en el estudio de variables que proporcionan los sistemas de información. Esto,
principalmente desde una perspectiva institucional y de resultados. Es decir, la teoría del cambio
parte de que la apropiación de métodos pacíficos de resolución de conflictos, la deconstrucción
social de la justificación de la violencia, la promoción nuevos comportamientos y actitudes dirigidas
a la convivencia son los que permitirán cumplir los objetivos previstos, en este caso, los objetivos
plasmados en el Programa.
En este sentido, es clave tener en cuenta las lecciones aprendidas y los cuellos de botella frente a la
apropiación y aplicación de los métodos pacíficos de resolución de conflictos y el reconocimiento de
la ciudadanía de la oferta de las CJ y los CCC. Por ejemplo, cuáles son las mayores dificultades para
brindar atención integral a la ciudadanía, cómo se enteró el ciudadano de la oferta de las CJ y CCC,
si está siendo posible disminuir las barreras de acceso, si se están atendiendo necesidades
específicas de la ciudadanía a través de la implementación de justicia formal y no formal, entre
otros.
Página 12 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 13 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Las principales características de estos sistemas son resumidas por Garandeau (2009). A
continuación, se presentan las similitudes de estos sistemas con el PNCJCCC, los servicios que
entrega, y sus interrelaciones con los actores involucrados, los cuales permitirán definir el enfoque
metodológico de la evaluación institucional y de resultados.
Página 14 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
La anterior comparación sugiere que el PNCJCCC puede ser analizado bajo un esquema de sistemas
complejos. Sus numerosos actores y los diferentes factores influyentes están interrelacionados e
interconectados y a su vez son dinámicos, cambiando constantemente y adaptándose a las
diferentes dinámicas de conflictividad, y a los momentos y circunstancias, en un esfuerzo por
recuperar atender una situación social.
En este caso, es posible que los diferentes eslabones de la cadena de valor que son de interés tanto
para el componente de la evaluación de procesos como el de resultados, sean influenciados positiva
o negativamente de acuerdo a los actores presentes y las diferentes dinámicas de conflictividad, y
por las decisiones que pueden tomar uno o más actores que hacen parte del sistema. Esto, dado
que, los sistemas se basan en relaciones bidireccionales que pueden afectar los demás actores, y
por lo tanto, son estos capaces de crear círculos virtuosos o viciosos conocidos como causalidad
recursiva (Rogers, 2008). En últimas, la hipótesis que surge es que estos agentes adaptativos y sus
constantes cambios, hacen que tanto el arreglo institucional como los resultados del PNCJCCC
tengan un gran componente de incertidumbre. Así, el enfoque de intervenciones complejas
imprime en esta evaluación una forma más profunda de ver la teoría de cambio del programa,
alejándose de los paradigmas lineales de causalidad o de las configuraciones de Contexto-
Mecanismo-Resultado de la evaluación realista (Ramalingam et al., 2008).
En este punto es importante mencionar, que de acuerdo al alcance dado por el DNP a la evaluación,
tanto en el componente de la evaluación institucional como en el de la evaluación de resultados, no
es suficiente saber si el PNCJCCC funciona o no, sino que es necesario establecer con información
cuantitativa y cualitativa, primaria y secundaria, dónde y cuándo funciona, cómo y por qué
funciona, y sobre todo, cómo se mantienen si es que existen buenos resultados y a su vez, cómo
mejorar estos resultados o potenciarlos donde existe margen de maniobra.
Ahora bien, los enfoques de evaluación basados en la teoría o realistas (evaluación realista) podrían
brindar información sobre qué tipo de intervención puede funcionar en qué contexto. No obstante,
estos presentan algunas limitaciones dado que se basan en paradigmas sistémicos. En otras
palabras, estos conciben las intervenciones como cadenas simples o múltiples de pasos y factores
unidos entre sí por sus causas y efectos. En contraste, como se argumenta a lo largo del enfoque
metodológico, el PNCJCCC puede definirse como un sistema complejo, en el que se toman en
cuenta las dinámicas de conflictividad así como cada uno de los factores y las partes que
interesadas, y por ende, se profundiza en las interrelaciones, las cuales pueden limitar o adaptar
otros actores constantemente, generando cierto grado de incertidumbre sobre los resultados. Esto,
para tener en cuenta otro factor, y es las dinámicas políticas, sociales, legales, técnicas,
ambientales, financieras y económicas que se dan antes y durante la creación de una CJ o CCC. En
otras palabras, en una evaluación de una intervención compleja como la del PNCJCCC, no válido del
todo, utilizar un enfoque metodológico de paradigmas causales sistémicos, porque de plantearse,
se dejarían por fuera del objeto de estudio otros factores claves que pueden determinar tanto la
orientación de los procesos, como el logro de los resultados.
Página 15 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
En este punto, se reconoce que las teorías que emerjan del PNCJCCC, por detalladas y flexibles que
sean, no pueden generar en todos los casos medidas de desempeño que puedan usarse
homogéneamente para elaborar recomendaciones que tengan como objetivo modificar la
implementación y mejorar el desempeño del Programa. Así, en un paradigma de la complejidad, la
intervención y sus efectos dependen de numerosos factores y de cómo las partes interesadas
interrelacionadas, pueden cambiar y adaptarse constantemente. Por lo tanto, las intervenciones
complejas si bien pueden tener una intención definida con su teoría de cambio, los efectos no se
producen sistemáticamente. Además, es importante atender a Rogers (2008), quien afirma que los
indicadores reflexivos (que son afectados por otras variables, (Freeze, R. D., & Raschke, R. L., 2007;
Medina, 2013)) deben usarse cuidadosamente en este tipo de intervenciones. Por lo anterior, es
imperante proponer metodologías novedosas para responder tanto al componente de la evaluación
institucional como al de resultados.
El enfoque anterior puede verse gráficamente en la Figura II-2. En este, emergen varias esferas las
cuales se explican a continuación. En primer lugar, en un esquema lineal de cadena de valor y
entendiendo que la intervención se produce de forma sistemática en diferentes configuraciones de
Contexto-Mecanismo-Resultado (CMR), la intervención puede controlar sus insumos, procesos y
productos que se entregan a la población, en este caso servicios que reciben los usuarios de una CJ
o un CCC (esfera del control del PNCJCCC).
Figura II-2 - Esferas de control, influencia e interés del PNCJCCC en un sistema complejo
En segundo lugar, se espera que la entrega de este servicio pueda facilitar, entre otros, un acceso
efectivo los servicios de justicia. Esta es la esfera de influencia del PNCJCCC. No obstante, en la
figura también se resalta cómo los vínculos entre estos diferentes actores de la intervención
pueden ser generadores de incertidumbre dado que las flechas bidireccionales, indican que los
Página 16 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
insumos, los procesos y los productos pueden ser influenciados por los demás actores que entran
en el sistema y los diferentes contextos en el que este opera, pero que no hacen parte de la esfera
de control del PNCJCCC.
Así, el PNCJCCC encaja particularmente bien en la ilustración anterior del paradigma de las
intervenciones de complejidad, son múltiples los actores que entran en el PNCJCCC a lo largo de los
diferentes procesos.
En este caso, la UT Ipsos-Economía Urbana considera que la evaluación del PNCJCCC debe ampliar
su espectro de estudio y reconocer que las dinámicas de conflictividad y el arreglo institucional para
la operación de las CJ y CCC no se basan exclusivamente sobre teorías de cambio lineales o que se
alimentan de las configuraciones CMR sistémicas, sino que esta se basa en un esquema de
intervenciones complejas para establecer los vínculos entre los diversos componentes de la
intervención. A continuación, un paralelo que justifica este planteamiento:
Página 17 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
En síntesis, este enfoque plantea que el desarrollo, más allá de la generación y acumulación de
riqueza material, es un proceso centrado en las personas, sus vínculos mutuos, las organizaciones e
instituciones que construyen para alcanzar sus fines. Bajo esta nueva manera de ver las cosas los
fines de los individuos, las organizaciones y las sociedades ya no pueden derivarse únicamente de
una definición universal del bien o de indicadores agregados como el PIB, sino que hay que
entenderlos (y evaluarlos) en su debido contexto: son las personas, sus organizaciones e
instituciones los que definen, según sus valores, cuáles son los fines, para parafrasear a Amartya
Sen (2000), “que tienen razones para valorar”. Las capacidades, en este sentido, son el conjunto de
habilidades, “haceres” y oportunidades que tienen a su disposición las personas, las organizaciones
y las sociedades para alcanzar aquello que se proponen.
Las capacidades, definidas en el marco del enfoque anterior, constituyen pues el concepto central
de esta propuesta. Con ayuda de este concepto puede plantearse que el problema que va a tratar
de resolverse en este componente de la evaluación es si el arreglo institucional y las características
organizacionales de las CJ y los CCC, están contribuyendo al desarrollo de las capacidades
institucionales para alcanzar los objetivos de política que el PNCJCCC les ha asignado. En lo que
sigue, se van a precisar los elementos conceptuales y los supuestos principales de la manera en la
que se va a adaptar el enfoque del desarrollo de las capacidades institucionales.
El concepto de entorno
Como se señaló anteriormente, más que un cuerpo de conocimiento acabado y desarrollado por
medio de modelos formales, el desarrollo de capacidades institucionales es más bien un enfoque,
una manera de ver las cosas y plantear los problemas que se ha desarrollado de manera
pragmática. No obstante, este enfoque se alimenta de otras corrientes teóricas que proveen
instrumentos conceptuales sólidos que ayudan a definir de manera rigurosa problemas de
3 Ver entre otros: (Bhagavan & Virgin, 2004; Lusthaus, Anderson, & Murphy, 1995; UNDP, 2009).
Página 18 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
investigación y evaluación. Para los propósitos de esta evaluación, se van a explorar los conceptos
de entorno institucional, capacidades y desempeño organizacional.
Ahora bien, según el marco de la evaluación de sistemas complejos delineada anteriormente, las
intervenciones no operan en un vacío social sino que son influenciadas por factores políticos,
sociales, legales, técnicos, ambientales, financieros y económicos concretos. Esta idea es la base
igualmente del concepto de entorno (que va a usarse, en este sentido, como sinónimo de
contexto), el cual se va a caracterizar, para los propósitos de la evaluación institucional, como las
fuerzas políticas, económicas, sociales e institucionales que afectan y se ven afectadas por las
intervenciones sociales. Para el caso concreto, el entorno es el marco en el cual las CJ y los CCC
implementan los lineamientos y las estrategias del PNCJCCC. No todos los componentes del entorno
tienen el mismo peso funcional en la explicación de cómo las distintas fuerzas afectan el PNCJCCC.
En esta evaluación va a partirse de la base que un enfoque centrado en las instituciones y en el
arreglo institucional es el mejor punto de partida para entender el entorno como contexto.
Aquí entra la idea de las instituciones: según han afirmado diversos autores, las instituciones
pueden concebirse como las reglas y normas construidas socialmente que constriñen y moldean el
actuar humano (North, 1991; Ostrom, 2005). Tal y como lo propone la economía institucional, las
instituciones son importantes en tanto regulan quiénes pueden participar en determinada arena
social, qué acciones pueden promoverse, permitirse o vetarse, cómo se toman las decisiones y, en
general, cuál es la estructura de incentivos (premios y castigos) que va a moldear el
comportamiento de los agentes (organizaciones e individuos).
Ahora bien, en un sentido, este planteamiento hace que los enfoques institucionales les asignen a
las instituciones efectos independientes sobre el accionar humano: cambios en las reglas producen
cambios en los comportamientos. En otro sentido, esta forma de plantear las cosas incorpora
igualmente la importancia del contexto: las instituciones, como productos del accionar humano, co-
evolucionan a la par con los cambios que se producen en la economía, la política y la sociedad. Así,
pues, aunque las instituciones de por sí conforman un tipo de entorno (el entorno institucional) que
influye en el comportamiento de los agentes, su origen, funcionamiento y eficacia para moldear la
acción humana hay que entenderla en el contexto o el entorno más amplio de las fuerzas políticas,
económicas y sociales.
Página 19 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Como se propuso, se va a separar analíticamente las instituciones (las reglas) de las organizaciones
(los jugadores). Bajo este marco, las organizaciones (para el caso concreto, las entidades que hacen
parte del PNCJCCC) operan en un entorno institucional, económico, social y político que afecta su
desempeño. Enfocándose más específicamente en el entorno institucional, se va a suponer que
éste define tanto las reglas que regulan la participación, los roles y las funciones de cada entidad en
la política pública, como los incentivos que determinan su comportamiento.
Es en este entorno en el cuál las entidades que hacen parte del PNCJCCC operan e intentan alcanzar
los objetivos de planteados desplegando para ello las estrategias y acciones que fueron definidas
anteriormente en la descripción de la cadena de valor. Aquí lo que interesa resaltar es que, de
acuerdo con el enfoque propuesto, es necesario retroceder antes de hablar de los resultados
alcanzados y preguntarse por las capacidades que tienen dichas entidades para alcanzar sus
objetivos de acceso a la justicia y generar, en últimas, valor social y bienestar.
Retomando la literatura sobre el desarrollo humano (en particular, el enfoque de las capacidades),
se va a hablar sobre las capacidades organizacionales de las CJ y CCC como aquellos medios,
habilidades, las formas de hacer las cosas (funcionamientos, en el lenguaje de Sen) que tienen
disponibles y que usan efectivamente para alcanzar sus fines, y las relaciones dentro del sistema
(i.e. bidireccionales). Aunque determinar taxativamente cuáles son las capacidades en términos de
medios y funcionamientos es una tarea más empírica que teórica (depende por supuesto del
sistema complejo), aquí se van a considerar un conjunto construido de acuerdo con elementos
comunes que ha resaltado la literatura y, de manera pragmática, de acuerdo con las necesidades de
la evaluación. Estos son (la lista no refleja un orden de importancia): los recursos, la articulación y
coordinación interinstitucional, los canales de comunicación, el conocimiento y la información.
Como eje transversal se propone considerar la gestión de recursos, de información y los
mecanismos de planeación como una de las habilidades claves que pueden ayudar a entender el
vínculo entre el entorno, los recursos y resultados. Esta forma de plantear el tema de las
capacidades organizacionales se basa en las siguientes consideraciones.
En primer lugar, para poder operar, toda entidad requiere recursos: materiales, administrativos,
infraestructura física, recursos humanos, entre otros. Al igual que la riqueza material en las teorías
del desarrollo humano, estos recursos son medios para alcanzar fines. En términos del enfoque que
se ha venido utilizando, lo anterior implica una lectura doble: examinar la distribución de dichos
recursos entre las entidades, sus déficits o superávits; y, al mismo tiempo, la capacidad que tienen
las organizaciones de transformarlos en funcionamiento, en productos (bienes o servicios) y en
resultados. Por lo tanto, el análisis debe pasar, igualmente, por preguntarse por aquellas
habilidades que les permiten a las organizaciones gestionar dichos recursos, y vincularlos con las
estrategias y las actividades a partir de las cuales planifican los resultados esperados. En pocas
palabras: posesión y uso son dos caras de la misma moneda en un análisis de capacidades.
En segundo lugar, debe partirse de la base que las entidades no operan solas, sino que compiten,
cooperan y entran en conflicto con otras entidades. Una intervención como el PNCJCCC,
Página 20 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
precisamente, se basa en la idea de coordinar y articular entidades relacionadas con servicios que
satisfacen la demanda de acceso a la justicia de los ciudadanos. Por lo tanto, la habilidad de
cooperar, de llevar a cabo acciones conjuntas, de planificar acciones hacia unos objetivos comunes,
va a ser considerada como una de las capacidades organizacionales sobre las que se va a volcar la
evaluación. Al igual que en el punto anterior, nótese que le cabe igualmente una doble lectura: el
de la posesión (por ejemplo, de vínculos o acciones efectivas de coordinación entre las entidades
involucradas en el PNCJCCC) y el del uso o gestión de mecanismos de coordinación y articulación.
En tercer lugar, se va a considerar, como una capacidad relacionada con las dos anteriores, la
generación de conocimiento y el uso de la información por parte de las CJ y las CCC. Las
organizaciones no se agotan en los recursos, sus vínculos con otras organizaciones y los resultados
alcanzados vis a vis los fines y las estrategias propuestas para alcanzarlos. Las organizaciones son
agentes del desarrollo, al igual que las personas, en la medida que aprenden de sus experiencias, se
adaptan al entorno (este tema se retomará más adelante) y generan formas de hacer las cosas y
conocimientos orientados hacia la práctica. Algunas corrientes han llamado a estas características
los activos intangibles de las organizaciones y a su gestión, la gestión -valga la redundancia- del
conocimiento. Con la misma intención, a este aspecto de las entidades y sus relaciones mutuas, se
le va a dar el nombre de capacidad de gestionar el conocimiento y la información.
El desempeño institucional
El primero de ellos está relacionado con la idea de pertinencia de la oferta con respecto a la
demanda. Para que una organización sea exitosa, se parte del hecho de que los bienes y servicios
que ofrece deben estar orientados a las demandas, las necesidades y las preferencias de los
usuarios. De la misma forma, una organización debe intercambiar información con el entorno sobre
el comportamiento de sus clientes o beneficiarios y, partir de la capacidad de gestionar el
conocimiento, adaptarse a las nuevas realidades pues, tal y como se dijo, el contexto es siempre
dinámico (y adaptativo). Dicho de manera sencilla, interesa conocer la forma en la que las CJ y los
CCC, en el marco del PNCJCCC, leen el entorno y adaptan sus servicios a las realidades de la
conflictividad regional y local.
El segundo de ellos, más allá de los resultados, es más una condición de posibilidad de cualquier
resultado y es la sostenibilidad de las CJ y los CCC. Las concepciones del desarrollo, al pasar de
considerarlo ya no un asunto relacionado con choques y agentes externos sino como un proceso
endógeno, ponen énfasis en la agencia (las capacidades, como se ha tenido oportunidad de
reseñar) y en la sostenibilidad de los esfuerzos, las ideas, los proyectos y las políticas de desarrollo
de producir por sí mimas los resultados esperados. Bajo esta óptica, cabe preguntarse por la
Página 21 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
El tercero de ellos está relacionado, a su vez, con dos aspectos: la reputación y los resultados. Con
respecto a la reputación, se dirá igualmente que está en el plano de las condiciones de posibilidad
de los resultados y se refiere más que todo a la trama de los significados, las imágenes, las
expectativas y la confianza que genera el PNCJCCC en su conjunto entre las diferentes partes
involucradas. Aquí se retoma lo dicho en el marco general, y es que para que las acciones de una
intervención pueden activar mecanismos de resultado, deben ser reconocidas y apropiadas como
construcciones y medios legítimos para alcanzar aquello que se proponen por parte tanto de las
entidades involucradas como por parte de los clientes o beneficiarios.
Por último, están los resultados alcanzados por el programa objeto de la evaluación. Aunque este va
a ser un componente que va a ser desarrollado en otra sección del documento, cabe decir que,
desde la perspectiva de la evaluación institucional y la triangulación de los resultados, los elementos
identificados por medio del análisis del entorno y las capacidades organizacionales pueden servir
para construir hipótesis que vinculen entre sí entorno, capacidades y la parte material del
desempeño: los resultados (o por lo menos las percepciones -significados- de los mismos).
Estrategia de investigación
La estrategia de investigación de esta evaluación consiste en tres fases interconectadas: i) mapa del
entorno, ii) análisis de capacidades y iii) determinación de las condiciones de desempeño.
El mapa del entorno es una construcción que hace el investigador a partir de la información
recogida en el terreno (documentos del Programa, entrevistas con las entidades involucradas,
talleres con los usuarios, información secundaria sobre los territorios, entre otros). El objetivo es
identificar la manera en la que las fuerzas del entorno afectan el desarrollo de las capacidades y el
desempeño de las CJ y los CCC en el marco del PNCJCCC. Para efectos de esta evaluación, se va a
hacer uso de la herramienta de análisis PEST, ligeramente modificada.
El análisis PEST es un tipo de análisis del entorno que se usa en la planeación estratégica de las
organizaciones y que suele complementarse con un análisis DOFA. El análisis PEST es el acrónimo de
las fuerzas Políticas, Económicas, Sociales y Tecnológicas que componen el entorno de las
organizaciones. A partir de la información recogida, se describe cada una de las categorías y se
vinculan tanto con las oportunidades y factores de éxito, como con las amenazas con respecto a la
implementación del programa y, en particular, a las capacidades organizaciones de las CJ y CCC y su
desempeño. Dado que se buscan conocer diversos tipos de contexto, la forma concreta de
desagregar las categorías PEST va a variar y corresponde a un problema empírico. Sin embargo,
pueden sugerirse las siguientes variables de interés, aclarando nuevamente que el análisis debe
Página 22 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Fuerzas políticas
Fuerzas económicas
Fuerzas sociales
Fuerzas tecnológicas
• Niveles de conectividad
• Apropiación digital
• Conocimientos y cultura digital
• Medios de comunicación: radio, prensa, televisión.
Aunque el análisis normativo podría ubicarse como uno de las integrantes del acrónimo PEST, se
sugiere tratarlo aparte por el peso que tiene en el conjunto de la evaluación. Este se desarrolla
igualmente en varias etapas: la primera, descriptiva, está dirigida a leer las normas (leyes, decretos
y demás lineamientos) y las disposiciones relacionados con las entidades: quiénes participan, cuáles
son sus funciones y responsabilidades; cuáles son los mecanismos de articulación, coordinación y
planificación. De la misma forma, se realiza una lectura de si la norma establece de manera explícita
incentivos relacionados con las actuaciones de las entidades involucradas en la implementación del
PNCJCCC. Esta lectura ya debe arrojar luces sobre qué tan taxativas, generales, directas o ambiguas
son los funciones, los mecanismos de coordinación verticales y horizontales, los incentivos y los
mecanismos de exigibilidad contemplados en las normas.
Página 23 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Una vez se realiza la parte descriptiva y se detectan las características de las normas que se han
reseñado, se pasan a analizar los diferentes puntos de vista con respecto al arreglo institucional.
Este es el análisis clásico cualitativo, el cual se dirige a entender, en un contexto determinado, cuál
es el significado de las imágenes, los relatos y las percepciones asociadas con las normas, las
funciones y los roles, los mecanismos de articulación y coordinación, junto con los incentivos que se
reconocen como determinantes de la accionar de las entidades en el marco del PNCJCCC.
Análisis de capacidades
El análisis de las capacidades busca determinar el estado de las habilidades que se encuentran en
las organizaciones con el fin de, en un momento posterior, escudriñar en las razones que pueden
explicar los efectos observados de las fortalezas o los déficits de capacidades con respecto a la
implementación del programa y el logro de sus objetivos.
Este análisis de las capacidades, al igual que la fase anterior, combina los datos obtenidos a partir
de las distintas fuentes e instrumentos de investigación. En particular, al inicio de esta fase va a ser
relevante, para entender el contexto operativo, describir y analizar las tendencias del
comportamiento de las CJ y CCC en cuanto a los flujos de atención, los tipos de casos y demás
indicadores que permitan conocer la magnitud y las características de los casos. Seguidamente,
debe realizarse el mismo diálogo entre datos organizacionales de las CJ y CCC (siempre que sea
posible) relacionados con los recursos (humanos, tecnológicos, infraestructura y financieros) y el
punto de vista de las entidades sobre los mismos.
Al análisis de los recursos se le añade como elementos dinámicos los patrones de interacción entre
las entidades (articulación y coordinación), el conocimiento, el uso de la información, y la gestión.
Para la articulación y la coordinación, que es una línea de análisis que viene de la fase anterior, se
complementa en esta fase con datos relacionados (objetivos y subjetivos) con las instancias de
articulación de los diferentes niveles: los comités nacionales, municipales, el comité coordinador al
interior de las CJ y CCC. Igualmente se busca establecer e interpretar el sentido de los distintos
puntos de vista acerca de la cooperación entre entidades, sus principales logros y dificultades.
Este análisis puede finalizar con el empleo de la matriz DOFA (Debilidades, Oportunidades,
Fortalezas y Amenazas) del contexto organizacional (en diálogo con los resultados PEST) como una
herramienta para sintetizar los hallazgos e interpretar las razones que explican que en
Página 24 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
determinados contextos las capacidades organizacionales (o sus brechas) sean factores de éxito,
debilidades, oportunidades o amenazas para el desarrollo institucional.
Desde el lado de la pertinencia, más allá de un análisis cuantitativo de correspondencia entre oferta
de servicios de acceso a la justicia y tipos conflictos (igual esto entra en la descripción de las fuerzas
del entorno), interesa destacar el proceso que llevan a cabo las CJ y los CCC para responder a dichas
demandas. Por ejemplo, si estas cuestiones entran en los procesos de planeación, seguimiento y
evaluación; si el uso de la información como capacidad permite generar conocimiento suficiente
sobre el entorno (incluidas las tendencias de la conflictividad local), y si las organizaciones son
responsivas en este sentido o, en una palabra, si las organizaciones logran adaptarse a los cambios
del entorno.
Con respecto a la categoría de reputación, se van a englobar todo el material recogido relacionado
con los diferentes puntos de vista acerca del reconocimiento y la apropiación de las normas que
regulan el Programa, el posicionamiento a nivel local y el nivel de confianza que subyace a las
interacciones (verticales y horizontales) entre las distintas entidades.
Tal y como se argumentó a lo largo de la sección pasada, el diseño metodológico del componente
institucional incorpora los conceptos de desarrollo de capacidades y se opeartiviza a través tres
estrategias: i) mapa del entorno, ii) análisis de capacidades y iii) determinación de las condiciones
de desempeño. A continuación, se presenta de manera sintética la relación entre las preguntas
orientadores de la evaluación, los instrumentos de recolección de información y los métodos y
técnicas de análisis.
Página 25 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
6. ¿De qué manera las entidades territoriales que • Entrevistas grupales a nivel • Análisis de capacidades.
hacen parte del programa han promovido la municipal. • Determinación de las
sostenibilidad de las CJ y CCC en sus municipios? • Entrevistas semi-estructuradas condiciones de
¿Qué dificultades se encuentran la ET para a nivel municipal. desempeño.
garantizar la sostenibilidad del programa?
Página 26 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Información Método/Técnica de
Pregunta de Investigación
(Instrumentos de recolección) Análisis
lo hacen? ¿Cuáles son las dificultades municipal. desempeño.
(operativas, presupuestales, normativas, de • Entrevistas semi-estructuradas
usabilidad y tecnológicas) que enfrentan los a nivel nacional.
equipos o las personas encargadas del uso y • Entrevistas semi-estructuradas
a nivel municipal.
gestión del SICJ y otros sistemas que operen en
las casas y centros?
4 A continuación, la lista de las fuentes documentales inicialmente identificadas: (i) Decreto 1477 de 2000; (ii) Documento
de análisis de transversal Justicia Local, Territorio y Conflicto (2015); (iii) Informe Casas de Justicia: Una Buena Idea Mal
Administrada (2015); (iv) Libro Ante la Justicia (2014); (v) Cartilla “La Justicia entra por casa” (2012); (vi) Documento de
Política: Acceso a la Justicia Alternativa, Programas Nacionales de Casas de Justicia y Centros de Convivencia y Ciudadana
(2015); (vii) Plan Decenal Del Sistema De Justicia 2017-2027; (viii) Informe de Rendición de Cuentas, Programa Nacional de
Casas de Justicia y Convivencia Ciudadana 2017-2018; (ix) Manual de implementación y sostenibilidad del Programa
Nacional de Casas de Justicia y Convivencia Ciudadana (2019); (x) Procedimiento de implementación del Programa
Nacional de Casas de Justicia y Convivencia Ciudadana (2019); (xi) Experiencias Exitosas De Lucha Contra La Impunidad
(2007); (xii) Manual De Procesos y Procedimientos Del Programa Nacional De Casas De Justicia (2012).
5 Las bases de datos a utilizar corresponden a: (i) SICJ, (ii) SPOA, (iii) SIERJU, (iv) SIDIJUS (Bogotá), (v) SIJUSCO (Justicia
Página 27 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 28 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 29 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
de la ruta de
acción del
programa
• Sinergias
creadas a partir
de la
articulación
institucional
• Integralidad
Contribucion
sectorial
es a la
• Respuesta
capacidad
articulada a un X X X X X X X X X X X X X X X X X X X X X
institucional
mismo
de la oferta
requerimiento
agrupada
• Mejoras
realizadas en
cobertura y
calidad de los
servicios
Justicia
• Percepciones
sobre los demás
Significados y actores
códigos involucrados X X X X X X X X X X X X X X X X X X X
compartidos • Significados
dados al
PNCJCCC
2. ¿La oferta • Revisión de
institucional los resultados
nacional y del diagnóstico
local en las CJ de
y CCC que conflictividad
Pertinencia Análisis de
están en el del municipio o X X X X X X X X X X X X X X X X X X X X
de la Oferta conflictividad
PNCJCC es la distrito:
requerida de - Revisión de los
acuerdo con antecedentes
la históricos del
conflictividad municipio o
Página 30 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
de las zonas distrito.
con presencia - Revisión del
del análisis del
Programa? contexto
¿Qué otras - Revisión del
entidades mapeo de
deberían actores y del
complement sondeo a la
ar la oferta comunidad
institucional • Percepciones
de las CJ y sobre el
CCC? diagnóstico de
conflictividad
• Inventario de
la oferta de las
CJ y CCC
• Pertinencia de
Pertinencia
la oferta en
de la oferta X X X X X X X X X X X X X X X X X X X X X X X
relación al
institucional
diagnóstico
• Déficit o
superávit de en
oferta
3. ¿La • Antecedentes
normatividad y marco
define normativo
competencia • Descripciones
sy sobre el deber
lineamientos ser del
claros para Diseño y PNCJCCC:
Análisis
las entidades deber ser del objetivos, roles X X X X X X X X X X X X X X X X X X X X
Normativo
que PNCJCCC y
participan en responsabilidad
el PNCJCCC? es
¿La • Competencias
normatividad y
(incluye responsabilidad
lineamientos es
Página 31 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
y criterios) (identificación,
definida para caracterización,
la rangos y
implementaci jerarquías)
ón y • Definiciones
operación de de los actores
CJ y CCC es sobre el
suficiente y objetivo del
clara para el PNCJCCC
Ministerio de • Definiciones
Justicia y del de los actores
Derecho, ET y sobre las
las entidades fortalezas del
que hacen diseño del
parte del PNCJCCC
Programa? • Definiciones
Objetivos de de los actores
X X X X X X X X X X X X X X X X X X X
programa sobre los
aspectos a
mejorar del
diseño del
PNCJCCC
• Percepciones
sobre la
pertinencia de
los
Lineamientos
Técnicos-
Administrativos
del PNCJCCC
• Percepciones
sobre los demás
Significados y actores
códigos involucrados X X X X X X X X X X X X X X X X X X X
compartidos • Significados
dados al
PNCJCCC
4. ¿Esa Aplicación de Cumplimient • Conocimiento X X X X X X X X X X X X X X X X X X X
Página 32 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
normatividad la o de normas de la norma
se reconoce, normatividad • Apropiación
se apropia y de la norma
opera en los • Operación de
territorios? la norma
¿Cuáles son • Cuellos de
las razones botella para
que dificultan aplicación de la
el norma
cumplimient • Percepciones
o de las sobre los demás
normas? Significados y actores
códigos involucrados X X X X X X X X X X X X X X X X X X X
compartidos • Significados
dados al
PNCJCCC
5. ¿Cómo es • Identificación
la de rangos o
coordinación Identificación jerarquías e
y articulación de instancias de
X X X X X X X X X X X X X X X X X X X
entre las interlocutore articulación
entidades s • Capacidad de
que hacen toma de
presencia en decisión
las CJ y CCC? • Identificación
¿Las de canales de
instancias de Articulación comunicación
coordinación Institucional • Facilidad de
disponibles acceso a
funcionan canales de
Identificación
contribuyen comunicación
de canales de X X X X X X X X X X X X X X X X X X X
al logro de • Claridad de la
comunicación
los información
resultados recibida
esperados • Mecanismos
del PNCJCCC? de resolución
¿Existe de
coherencia controversias
Página 33 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
entre la entre entidades
oferta • Percepción
Percepción
institucional (positiva o
de las
de cada negativa) de la
interlocucion X X X X X X X X X X X X X X X X X X X
entidad de interlocución
es
orden interinstitucion
establecidas
nacional y la al
oferta • Descripción
institucional de la oferta
disponible en nacional y la
las CJ y CCC? local en la CJ o
CCC
Coherencia
• Grado de X X X X X X X X X X X X X X X X X X X X X X X
de la oferta
coherencia
entre ofertas
(nacional y
disponible en
las CJ y CCC)
• Percepciones
sobre los demás
Significados y actores
códigos involucrados X X X X X X X X X X X X X X X X X X X
compartidos • Significados
dados al
PNCJCCC
6. ¿De qué • Acciones
manera las desde las ET
entidades que promueven
territoriales la sostenibilidad
que hacen • Factores
Acciones de
parte del institucionales,
la ET que
programa Sostenibilidad sociales, X X X X X X
promueven la
han financieros,
sostenibilidad
promovido la ambientales y
sostenibilida técnicos
d de las CJ y (internos o
CCC en sus externos) de las
municipios? ET que
Página 34 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
¿Qué determinan la
dificultades sostenibilidad
se de las CJ o CCC
encuentran la
ET para
garantizar la
sostenibilida
d del
programa?
7. ¿Las ET • Acceso a los
han sistemas de
consultado, información
utilizado y • Oportunidad
analizado la de la
información información
que brinda el • Generación
SICJ, de ser de reportes o
así, cómo lo consultas
hacen? Uso del SICJ • Protocolos de
¿Cuáles son para toma de manejo de X X X X X X X X X X X X X X X X X X X X X X X X X
las decisiones información
dificultades • Análisis y uso
(operativas, de información
presupuestal SICJ para toma de
es, decisiones
normativas, • Pertinencia de
de usabilidad la información
y para la gestión
tecnológicas) y toma de
que decisiones
enfrentan los • Restricciones
equipos o las operativas,
personas presupuestales,
Dificultades
encargadas normativas, de
para el uso X X X X X X X X X X X X X X X X X X X X X X X X X
del uso y usabilidad y
del SICJ
gestión del tecnológicas del
SICJ y otros SICJ
sistemas que • Calidad de la
Página 35 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
operen en las información
casas y • Uso de otros
centros? sistemas de
información
•
Interoperabilida
d de SICJ
• Cuellos de
botella para el
uso y la
consulta del
SICJ
Página 36 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
En este sentido, aunque los instrumentos tengan un énfasis en uno u otra componente de la
evaluación, su diseño tendrá en cuenta los conceptos generales de los enfoques de cada uno, así
como las preguntas de investigación, siguiendo la matriz de consistencia presentada en la sección
anterior, por lo que podrán servir para recolectar información tanto del componente institucional,
como el de resultados. Esto será debidamente separado para el análisis de la información como se
explicará más adelante.
Grupal
• 1 grupo focal con profesionales del
Ministerio de Justicia, responsables de la
implementación del PNCJCCC
Nivel local En cada uno de los 8 municipios seleccionados, • En cada uno de los 8
se aplicarán los siguientes instrumentos: municipios seleccionados,
se realizará un (1) taller
Individuales participativo con usuarios.
• 2 entrevistas semiestructuradas
• Una con el/la coordinador/a de CJ o CCC
• Una a un informante idóneo en temas de
seguridad, convivencia ciudadana y justicia
Grupales
• 4 entrevistas grupales:
• Una con entidades relacionadas con temas
de DDHH.
Página 37 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Nótese que se sugiere agregar dos entrevistas semiestructuradas adicionales a las solicitadas en el
pliego de condiciones, en el nivel nacional. Estas se aplicarán a organismos de cooperación
internacional que han tenido un papel importante en el desarrollo del PNCJCCC. Estos son USAID
(Agencia para el Desarrollo Internacional de los Estado Unidos) y OIM (Organización Internacional
para la Migraciones).
Las entrevistas semi estructuradas son una técnica conversacional individual o grupal en la que a
partir de preguntas de referencia o puntos de control según las variables de análisis, se obtiene
información sobre las percepciones, opiniones y actitudes de un actor relevante en un proceso
social determinado, con la participación del investigador en el rol de entrevistador. Al ser
semiestructuradas, estas entrevistas contemplarán una serie de preguntas diseñadas para abarcar
la totalidad de las categorías y responder a las preguntas de investigación pertinentes, de acuerdo
con la matriz de consistencia, pero permitirán también que surjan nuevas preguntas de manera
espontánea durante la conversación con el entrevistador.
Página 38 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Finalmente, aunque no será el objetivo principal de estas entrevistas (y de los demás instrumentos
con énfasis en la evaluación institucional) se preguntará también sobre sus percepciones respecto
algunas categorías de resultados explicadas en la matriz de consistencia de dicho componente,
indagando entre otros, sobre qué tanto el PNCJCCC contribuye a solucionar y reducir conflictos, si
se está focalizando hacia la población que lo requiere o si se están ofreciendo los servicios que se
necesitan en ese determinado contexto. En la matriz de consistencia presentada, se encuentran las
preguntas orientadoras, dimensiones, categorías y variables que se tendrán en cuenta en el diseño
de cada uno de estos instrumentos.
Grupo focal con profesionales del MJD, responsables de la implementación del PNCJCCC
Este grupo focal está enfocado hacia la evaluación institucional. En este sentido, las preguntas y
temas que se escogerán para el diseño del instrumento, estarán relacionadas con el marco
institucional del Programa y el papel que este equipo ha jugado. Teniendo en cuenta la matriz de
consistencias y el enfoque de capacidades institucionales presentando, será importante centrar
este instrumento en el concepto de desarrollo de capacidades, específicamente al indagar sobre los
recursos, la articulación y coordinación interinstitucional, y el conocimiento y la información que se
manejan, facilitan o coordinan desde el MJD.
Además de las preguntas orientadoras para guiar la conversación que se adelantará con este grupo,
se llevarán impresos en carteleras grandes y visualmente atractivas, la cadena de valor y las
estrategias del Programa (cubrimiento, coordinación, capacitación, comunicación y participación).
Esto facilitará que los participantes tengan presente la totalidad del Programa e instituciones que
los forman, evitando dejar de considerar algún aspecto relevante.
Se harán dos entrevistas semiestructuradas individuales en cada municipio, con un enfoque similar
al de las entrevistas a funcionarios de las entidades nacionales, pero añadiendo un mayor énfasis en
Página 39 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
los otros dos aspectos del enfoque de desarrollo de capacidades propuesto: el concepto de entorno
y el de desempeño institucional. A este nivel se harán dos entrevistas semiestructuradas:
Estas dos entrevistas permitirán tener una visión completa bajo el enfoque de desarrollo de
capacidades, ya que con la primera, la persona a cargo de la coordinación de la CJ o CCC, se podrá
ahondar en la descripción sobre los recursos que cuentan estas organizaciones, sus conocimientos y
sistemas de información y el uso que se les da, así como sus capacidades de articulación y
coordinación con otras entidades, entendiendo que estas son parte de sus funciones
fundamentales. Pero también, se indagará por su percepción frente al entorno, las relaciones
bidireccionales que se dan (sistema complejo), y la manera en que este panorama afecta positiva o
negativamente la implementación del PNCJCCC en su municipio.
Por el otro lado y de manera complementaria, la entrevista con el informante idóneo en seguridad,
convivencia y justicia, permitirá fundamentalmente profundizar desde la visión de la administración
municipal, en el concepto de entorno y, desde esa otra mirada, indagar por su percepción sobre el
funcionamiento y capacidades de la CJ o CCC. De esta forma, los instrumentos pueden acercarse a
la indagación sobre el desempeño institucional del Programa en el municipio y a la percepción
sobre sus resultados obtenidos, por parte de estos dos actores entrevistados.
Las CJ y CCC deben cumplir una función fundamental de articulación con otras entidades, para
facilitar a la comunidad el acceso a la justicia. Estas entrevistas grupales, por lo tanto, indagarán por
la percepción de estos funcionarios y grupos de trabajo, sobre el desempeño de las CJ y los CCC, las
fortalezas y retos de la articulación y los resultados obtenidos en cada una de sus áreas. Por esto,
estas entrevistas contendrán preguntas que buscan responder tanto a la evaluación institucional,
como a la de resultados.
De acuerdo al contexto de cada municipio y a la presencia o no de todas las entidades, podrá variar
mínimamente los convocados a cada entrevista grupal. De acuerdo con el pliego de condiciones,
estas estarán conformadas de la siguiente manera:
Página 40 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
i. Una (1) entrevista grupal con las entidades relacionadas con temas de Derechos Humanos:
Personería, Defensoría, Unidad para la Atención y Reparación Integral a las Víctimas,
Agencia para la Reincorporación y la Normalización.
ii. Una (1) entrevista grupal con las entidades relacionadas con temas de Familia y Niñez:
Comisaría de Familia, Desarrollo Comunitario, Policía Nacional, ICBF, Registraduría.
iii. Una (1) entrevista grupal con las entidades relacionadas con temas de Solución de
Conflictos: Conciliadores (de distinta índole) y Policía Nacional.
iv. Una (1) entrevista grupal con las otras entidades que hacen presencia en las CJ o CCC:
Fiscalía, Medicina Legal, Inspección de Policía, Consultorios Jurídicos (universidades),
Ministerio de Trabajo, Jueces de Pequeñas Causas.
Página 41 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Bases de datos
Como fuente de información complementaria, se busca aprovechar cada una de las bases de datos
disponibles. En primer lugar, los pliegos de condiciones sugieren que se use el SICJ. Este sistema, es
una aplicación web (https://sicj.casasdejusticia.gov.co/) que se creó en 2012, como respuesta a la
necesidad de la inmediatez de la información y en virtud del crecimiento del PNCJCCC. Inicialmente,
solo reportaban información las CJ, pero se realizaron las reformas para que tanto estas como los
CCC realicen el reporte a un mismo Sistema y con esto, se cuente con información unificada del
Programa.
• Datos de identificación.
• Datos sociodemográficos y de enfoque diferencial.
• Motivo de consulta: Tipo de trámite o servicio solicitado.
• Casos atendidos por entidad.
• Servicios brindados.
• Registro de actividades masivas o móviles realizadas por CJ o CCC.
Además, permite la realización de reportes de información generada en las CJ y CCC del país. A
partir de dichos reportes, se pretende realizar un análisis de los datos generados durante los
últimos 5 años, que permita identificar y sintetizar los elementos centrales para la evaluación
institucional como tipo de trámite o servicio solicitado, casos atendidos por entidad,
comportamiento de las solicitudes, entre otros. Así mismo, se identificarán las falencias en el
registro de información y variables necesarias para el seguimiento y la constante evaluación del
Programa.
Este análisis se apoyará con la consulta de otras bases de datos que se relacionan a continuación7:
7 Es preciso observar que el acceso a algunas de estas bases es limitado y que su incorporación en esta evaluación
dependerá de si las entidades a cargo facilitan dicho acceso. En todos los casos, que una entidad no preste esta
colaboración no incidirá de forma negativa para dar respuesta a las preguntas orientadoras.
Página 42 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
o SPOA: Base de datos del Sistema Penal Oral Acusatorio, cuenta con variables como datos de
identificación, datos sociodemográficos y de enfoque diferencial, información sobre el lugar
en el que ocurren y se denuncian los hechos, tipo y motivo de denuncia.
o SIERJU: Sistema de Información Estadística de la Rama Judicial, cuenta con variables como
datos sociodemográficos y de enfoque diferencial, procesos acumulados, rechazados o
retirados, egresos para descongestión, procesos sin trámite, procesos reactivados y
procesos inadmitidos, desiertos y desistidos.
o SIDIJUS: Sistema Distrital de Justicia (Bogotá), que a su vez cuenta con un módulo
denominado Sistema de Información de Casas de Justicia- SICAS, cuenta con variables como
datos de identificación, datos sociodemográficos y de enfoque diferencial. Además,
relaciona motivo de consulta y acciones realizadas desde el CRI.
En todos los casos, estos sistemas de información que han sido previamente identificados, serán
objeto de discusión con el CTS, de tal forma que se garantice que sean sistemas que se estén
usando, que contengan información confiable, y que representen un aporte para la evaluación.
Finalmente, es importante mencionar que se indagará por los sistemas de información que
manejan cada una de las 5 CJ y los 3 CCC de la muestra, los cuales también serán objeto de estudio
para esta evaluación.
La metodología propuesta para contestar a las preguntas de la evaluación es el más indicado por al
menos tres tipos de razones. En primer lugar, la realidad innegable de la alta heterogeneidad
económica, política, social y cultural del país. Este hace que, de entrada, se pueda suponer
razonablemente que las políticas públicas, los programas y los proyectos se comportan de forma
distinta según los lugares del país. Entender entonces cómo una política o un programa nacional se
“territorializa” es de vital importancia para tomar decisiones mejor informadas. En términos
metodológicos, esto implica diseñar metodologías sensibles al contexto y la complejidad, que
permitan construir objetos y problemas de investigación empíricos, y que generen a su vez
explicaciones situadas acerca del desempeño de las intervenciones en entornos diversos. El marco
general de la evaluación de sistemas complejos, con su énfasis en las relaciones bidireccionales, los
mecanismos contingentes y los enfoques propuestos de desarrollo de las capacidades
institucionales y análisis de resultados, responden concretamente a esta necesidad,
Página 43 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
En segundo lugar, las evaluaciones deben estar a tono con los cambios en las formas de concebir a
los actores. Para decirlo, en una palabra, si la ciencia social pasó del concepto de actor (metáfora
que sugiere el seguimiento de un libreto) al concepto más elevado de agente (de nuevo Amartya
Sen, 2000, viene el caso), la evaluación de las intervenciones no se puede quedar atrás. Las
intervenciones no son, en este sentido, implementadas por autómatas que siguen protocolos y
manuales sino por organizaciones e individuos que tienen distintos tipos de capacidades: de
aprender, innovar, de convertir los recursos en funcionamientos, de responder y adaptarse a los
cambios del entorno. La concepción de las organizaciones y las personas como agentes, es la otra
gran justificación de proponer un diálogo entre los elementos de la evaluación realista, el enfoque
de las capacidades, los experimentos comportamentales y el tomarse en serio, en general, su punto
de vista a través de la puesta en marcha de las mejores técnicas cualitativas.
Por último, la metodología propuesta es la manera más adecuada de responder al reto de una
evaluación que va a tener que combinar datos de diverso tipo: cifras sobre hechos sociales,
institucionales y organizaciones, por un lado; relatos, percepciones y opiniones subjetivas sobre la
realidad, por el otro. La complejidad, en esta medida, no solo es una idea que se deba predicar de
las formaciones sociales sino del proceso mismo de investigación: un exceso de información sin una
columna vertebral como la que aquí se propone, puede comprometer la generación de
conocimiento. La presente metodología, al plantear que la realidad y la generación de conocimiento
son fenómenos complejos, que tanto los factores estructurales como subjetivos son importantes
para entender la realidad, y diseñando técnicas que permiten analizar, integrar la diversidad de
fuentes y datos, reduciendo la complejidad, le hace justicia a esta realidad.
Página 44 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Adicionalmente, dado que las fuentes primarias y secundarias seleccionadas para el levantamiento
de información de orden cualitativo arrojarán contenidos de tipo textual, el proceso será
acompañado por técnicas de análisis de contenido. Los contenidos textuales se caracterizan por
rasgos narrativos como la funcionalidad, la intencionalidad, la situacionalidad, la secuencialidad y la
temporalidad (Alonso, 2007; Delgado y Gutiérrez, 2007; Denzin y Lincoln, 2005; Good, 2003; Kohler,
2008; Merlinsky, 2006; Ricoeur, 1998; Strauss y Corbin, 2002). Tales rasgos permitirán en la
evaluación cumplir algunos de los objetivos señalados por Fernández (2002) para el análisis de
contenido y adaptados para los fines y enfoques de la evaluación:
• Determinar el deber ser del PNCJCCC de acuerdo con las leyes, decretos, normas, guías de
implementación y documentos del plan nacional de desarrollo.
• Determinar los canales, relaciones (unidireccionales y bidireccionales) y la claridad de la
comunicación institucional en los distintos niveles del PNCJCCC.
• Describir tendencias o factores adaptativos y develar semejanzas o diferencias en el
contenido de la comunicación emitida por los canales de distintas entidades implicadas en
el PNCJCCC.
• Identificar los significados y las actitudes, creencias, deseos, valores, puntos de interés,
objetivos, metas, etc., de los distintos actores institucionales y usuarios involucrados en el
PNCJCCC.
• Comparar las percepciones y vivencias de los usuarios y los funcionarios con los estándares
e ideales normativos del PNCJCCC.
• Identificar fortalezas y debilidades en el PNCJCCC desde el punto de vista de los actores
implicados y de acuerdo con otras fuentes de información que provean información al
respecto (i.e. evaluaciones u otras investigaciones).
Para tales fines, la estrategia de sistematización y análisis de la información cualitativa abarcará los
contenidos textuales:
Página 45 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
En una fase avanzada del proceso de la categorización preliminar y habiendo recopilado todos los
contenidos textuales procedentes de las fuentes cualitativas, se procederá a codificarlos con el
software de análisis cualitativo Atlas.ti (versión 7.5.4) para alcanzar una saturación de las categorías,
Página 46 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
definir ejes de análisis y arrojar interpretaciones (Flick, 2018; Strauss y Corbin, 2002). Para ello, el
proceso de sistematización implicará transcribir en formato Word todos los registros en audio
realizados durante el trabajo de campo y digitalizar o almacenar en formato PDF las fuentes
secundarias recopiladas. Todos los contenidos textuales se marcarán y clasificarán según el sistema
acordado por el equipo, con el fin de secuenciar y reconocer información básica de los documentos
de manera eficaz, y deberá ser pertinente para la triangulación (métodos, actores involucrados y
fuentes de información). Para el caso de la información documental, se establecerán los
documentos más importantes y se categorizarán de acuerdo a su importancia normativa (e.g. leyes,
decretos, normas, guías, estudios). Además de caracterizarlos y proporcionarles una lógica de
almacenamiento, esto permitirá precisar la posterior segmentación de datos y la obtención de
unidades distintas de comparación en los contenidos textuales.
Por último, se aplicarán dos estrategias de análisis en las que el equipo participará de manera
individual y grupal. En la primera estrategia, cada miembro redactará memos o comentarios en la
Página 47 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
UH, es decir, anotaciones que incluyan sus “análisis, pensamientos, interpretaciones, preguntas e
instrucciones para la recolección adicional de datos” (Strauss y Corbin, 2002, p. 121) y que
contrasten lo que los investigadores observaron en campo con los contenidos textuales. Pueden
incluir también anotaciones sobre el contexto, hallazgos preliminares, hipótesis o ideas más
estructuradas a modo de conclusiones sobre los datos (Strauss y Corbin, 2002). Este ejercicio se
realizará de forma pautada, siempre tendiendo a responder las preguntas orientadoras de la
evaluación de acuerdo a la matriz de consistencias.
Para la segunda estrategia de análisis, tal como se expone en el capítulo de triangulación, se harán
dos reuniones de trabajo grupal con todo el equipo con el objetivo de avanzar en la construcción de
la matriz hallazgos-conclusiones-recomendaciones (HCR): en la primera, cada miembro aportará
con los hallazgos encontrados para responder las preguntas orientadoras y, en la segunda, se
formularán las conclusiones y recomendaciones que emerjan de la información levantada y
analizada. Dichas reuniones de trabajo serán previas a la escritura de los productos finales y se
realizarán con todo el equipo de investigadores, de tal forma que se avance de la mano con los
resultados de los métodos cuantitativos.
Página 48 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
enfoque busca encontrar interrelaciones en lugar de cadenas lineales de causa y efecto, y ver
procesos de cambio en lugar de imágenes instantáneas.
Así, para empezar, este enfoque se justifica en que el PNCJCCC involucra a numerosos actores e
instituciones que interactúan en diferentes niveles (nacional, departamental, municipal), los cuales
están influenciados por factores políticos, sociales, legales, técnicos, ambientales, financieros y
económicos. Asimismo, en el PNCJCCC tanto los factores como los actores involucrados están
interrelacionados entre sí. En este caso, si un agente cambia en su comportamiento, es posible que
se afecte el comportamiento de muchos otros y que por ende, se generen cambios en los
resultados esperados. En últimas, debido a los diferentes factores y actores involucrados, y su
constante cambio, así como las interrelaciones que pueden afectar la adherencia a la intervención,
los resultados del PNCJCCC contienen un gran grado de incertidumbre.
De acuerdo a Ramalingam et al. (2008), los sistemas complejos incluyen varios conceptos, los cuales
dentro de diez puntos definen varios de los elementos a tener en cuenta en la definición de las
categorías para el análisis de la evaluación a partir del enfoque de sistemas complejos:
1. Los elementos y las dimensiones del PNCJCCC están interconectados y por lo tanto son
interdependientes;
2. Los procesos de retroalimentación y la interrelación entre actores promueven o inhiben el
cambio dentro de los sistemas;
3. La forma como emergen los comportamientos al interior de los sistemas, a menudo de
manera impredecible, surgen de la interacción de las partes, de modo que el todo es
diferente a la suma de las partes;
4. Las relaciones entre actores y esferas son con frecuencia no lineales, es decir, cuando
ocurre un cambio, con frecuencia es desproporcionado e impredecible;
5. La sensibilidad a las condiciones iniciales resalta cómo pequeñas diferencias en el estado
inicial de un sistema pueden conducir a diferencias masivas más adelante (generación de
brechas);
6. El establecimiento del tiempo y lugar en el que ocurre la intervención ayuda a determinar
una imagen de las dimensiones que afectan la intervención y cómo estos cambian con el
tiempo. En otras palabras, esto permite comprender cómo se mueven y evolucionan los
sistemas con el tiempo.
7. Contemplar comportamientos impredecibles puede determinar el orden subyacente a los
comportamientos aparentemente aleatorios exhibidos por ciertos agentes dentro del
sistema;
8. Los agentes que actúan como actores adaptativos reaccionan al sistema y entre sí, lo que
lleva a una serie de fenómenos que no son controlados desde la teoría;
9. Existe campo para la auto-organización que se caracteriza como una forma particular de
propiedad emergente que puede ocurrir en sistemas de agentes adaptativos,
especialmente en los niveles más micro;
10. Finalmente, existe la co-evolución la cual describe cómo, dentro de un sistema de agentes
adaptativos, se produce la evolución conjunta, de modo que el sistema general y los
agentes que lo componen evolucionan juntos o evolucionan conjuntamente con el tiempo.
Página 49 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Dado lo anterior, es importante mencionar que si bien los paradigmas lineales de causalidad o de
las configuraciones de Contexto-Mecanismo-Resultado de la evaluación realista son metodologías
robustas en cierto tipo de intervenciones o alcances de ciertas evaluaciones, para el caso de la
evaluación de institucional y de resultados del PNCJCCC pueden llegar a ser insuficientes. Por lo
anterior, los instrumentos de recolección de información y las categorías de análisis, como se vio en
el componente de la evaluación institucional, serán diseñados y definidas para detectar y analizar
cambios emergentes que no se puedan predecir a partir de la teoría o de un análisis de
configuraciones CMR.
• Los sistemas complejos se describen mejor como una red flexible de ideas interconectadas e
interdependientes. La relevancia y aplicabilidad de este enfoque puede verse mejor a través
de estudios empíricos de realidades prácticas. Si bien una limitación es que puede que
nunca se logre una base firme para la complejidad, los instrumentos de recolección de
información estarán enfocados a desarrollar un modelo orientado a de-construir la red de
cómo se relacionan el conocimiento, las ideas, las relaciones, los actores, y lo que pasa al
conglomerar la oferta de justicia en un mismo espacio físico (i.e. las CJ o CCC), en lugar de
usar un modelo clásico de conocimiento que se basa exclusivamente en "fundamentos" o
"pilares" básicos.
• La complejidad integra elementos de la inducción y la deducción. La integración de estos
conceptos permite establecer una comprensión más profunda de los mecanismos a través
de los cuales ocurre un cambio impredecible, incognoscible y emergente. Este marco
permite una reinterpretación de los sistemas existentes y los problemas que se enfrentan
dentro de ellos. La complejidad genera ideas que ayudan a ver los problemas complejos de
una manera más realista y holística, apoyando así intuiciones y acciones más útiles, lo cual
termina siendo útil para este caso.
• La ciencia de la complejidad resulta particularmente útil al permitir analizar de forma
íntegra lo que antes se veía como "realidades desordenadas". En este caso, el enfoque de
evaluaciones de sistemas complejos permite comparaciones entre casos y sistemas
previamente no relacionados, lo que puede llevar a fortalecer los resultados y ayudar a
Página 50 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Finalmente, el mayor desafío que se presenta en la evaluación de sistemas complejos proviene del
hecho de que el mejor curso de acción dependerá en gran medida del contexto y de la información
que se levante durante la aplicación de los diferentes instrumentos de recolección de información
de la presente evaluación, sugiriendo nuevas formas de pensar sobre las hipótesis de la teoría de
cambio y al mismo tiempo, permitirá que emerjan nuevas preguntas que deberían tanto plantearse
como responderse. Así, cuatro elementos básicos se tendrán en cuenta durante el diseño de
instrumentos, así como en el levantamiento y análisis de información: i) la apertura a nuevas idea;
ii) la moderación para aceptar las limitaciones del enfoque; iii) la honestidad y la humildad de
aceptar las limitaciones que pueda llegar a tener el PNCJCCC; y iv) la rigurosidad en el método para
enfrentar las implicaciones de las nuevas ideas.
De forma similar, Creswell (2013) plantea que un estudio fenomenológico se debe procurar por
describir los significados comunes de las personas frente a un fenómeno en particular. Así, en las
ciencias sociales se ha reconocido que la forma más adecuada de capturar las percepciones es a
Página 51 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Así como se hizo para el componente de la evaluación institucional, esta sección presenta la
metodología a través de en un esquema que relaciona: i) las preguntas orientadoras, ii) los
conceptos o categorías de análisis de acuerdo con el marco interpretativo, iii) los métodos o
técnicas cualitativas para la recolección de información. Adicionalmente, se hace referencia a la
descripción de los instrumentos de recolección de información los cuales guardan completa
relación con los planteados en la evaluación de institucional, haciendo énfasis en los 8 talleres
participativos. Finalmente, se argumenta por qué la metodología propuesta es la más adecuada
para el desarrollo de la evaluación teniendo en cuenta la necesidad existente. A continuación, se
presenta de manera sintética la relación entre las preguntas orientadores de la evaluación, los
instrumentos de recolección de información y los métodos y técnicas de análisis que tiene como
base la teoría de los sistemas complejos y la fenomenología de las percepciones.
Página 52 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 53 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
8 A continuación, la lista de las fuentes documentales: (i) Decreto 1477 de 2000; (ii) Documento de análisis de transversal
Justicia Local, Territorio y Conflicto (2015); (iii) Informe Casas de Justicia: Una Buena Idea Mal Administrada (2015); (iv)
Libro Ante la Justicia (2014); (v) Cartilla “La Justicia entra por casa” (2012); (vi) Documento de Política: Acceso a la Justicia
Alternativa, Programas Nacionales de Casas de Justicia y Centros de Convivencia y Ciudadana (2015); (vii) Plan Decenal Del
Sistema De Justicia 2017-2027; (viii) Informe de Rendición de Cuentas, Programa Nacional de Casas de Justicia y
Convivencia Ciudadana 2017-2018; (ix) Manual de implementación y sostenibilidad del Programa Nacional de Casas de
Justicia y Convivencia Ciudadana (2019); (x) Procedimiento de implementación del Programa Nacional de Casas de Justicia
y Convivencia Ciudadana (2019); (xi) Experiencias Exitosas De Lucha Contra La Impunidad (2007); (xii) Manual De Procesos
y Procedimientos Del Programa Nacional De Casas De Justicia (2012).
9 Las bases de datos a utilizar corresponden a: (i) SICJ, (ii) SPOA, (iii) SIERJU, (iv) SIDIJUS (Bogotá), (v) SIJUSCO (Justicia
Página 54 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 55 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 56 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 57 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 58 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 59 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 60 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 61 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Página 62 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
En este sentido, los talleres serán la oportunidad para la construcción colectiva, a partir de
múltiples experiencias individuales y, por lo tanto, múltiples significados, expectativas y niveles de
confianza frente al PNCJCCC. Es por lo tanto fundamental un enfoque en donde todas las visiones,
percepciones y sentimientos frente al Programa son válidos y tomados en cuenta de manera
respetuosa, en un ambiente siempre seguro y amable para todas las personas allí presentes.
Los talleres servirán para indagar sobre la percepción general de las personas frente al PNCJCCC, en
términos de qué tanto contribuye al acceso y uso del sistema judicial, qué tanto contribuye a
solucionar y reducir conflictos, si se está focalizando hacia la población que lo requiere, si se están
ofreciendo los servicios que se necesitan en ese determinado contexto, qué tanto reconocimiento
tiene como Programa, así como los mecanismos que promueve y si ha contribuido a que la
ciudadanía conozca mejor sus derechos y deberes.
Además, a través de la reconstrucción de las experiencias individuales que han tenido los usuarios,
se recogerá información sobre cómo funcionan las CJ o CCC, sus capacidades y su articulación con
las otras entidades, así como las motivaciones de los usuarios antes y después de la experiencia
para acercarse al Programa y su nivel de satisfacción.
Página 63 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Los talleres tendrán una duración de tres horas y estarán dirigidos para un grupo entre 12 y 20
usuarios. Estarán divididos en 4 momentos: i) Presentación y calentamiento; ii) actividad 1; iii)
actividad 2; iv) reflexión final.
Actividad 1: Se diseñará una actividad para realizar en grupos de máximo 4 personas, en donde
entre ellos se cuenten y registren gráficamente la experiencia de los otros, como usuarios de la CJ o
CCC, hasta donde los usuarios quieran compartirlas y solamente si se sienten cómodos haciéndolas
(se buscará que así sea, a través de la confidencialidad y técnicas de facilitación). Se harán
presentaciones de los registros y discusiones de cada grupo, en plenaria, y el equipo facilitador
guiará la discusión a través de preguntas que serán diseñadas a partir de la matriz de consistencia.
De esta manera se buscará identificar los elementos que resulten más particulares de cada
experiencia individual y los que son más generalizados a todas las experiencias y, por lo tanto,
característicos del sistema complejo y por ende, del arreglo institucional en el que se pone en
marcha el PNCJCCC en el municipio.
Con la reflexión final de los talleres se busca lograr la claridad necesaria de asuntos que no hayan
sido plenamente discutidos durante las actividades y chequear que todas las preguntas y asuntos
que se deben tratar, de acuerdo al matriz de consistencia y al diseño del instrumento, hayan sido
tratados.
Nota: Estas actividades son propuestas preliminares. Además de que deben desarrollarse y
detallarse, podrán ser revisadas, ajustadas y cambiadas, de común acuerdo con el CTS.
Página 64 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
relevante en Colombia, que se ha estudiado desde la antropología jurídica, que debe tener su
espacio en este programa y por lo tanto debe ponérsele especial atención y evaluar la forma en que
institucionalmente se adapta para prestar esta atención, así como la manera en que se perciben sus
resultados.
A continuación, se muestran nuevamente las fuentes documentales y normativas que han sido
previamente identificadas. Para este componente de la evaluación, se incluirán para analizar
aspectos claves relacionados con los resultados del PNCJCCC. Estas fuentes serán complementadas
a partir de las discusiones con el CTS:
Bases de datos
• Datos de identificación.
• Datos sociodemográficos y de enfoque diferencial.
• Motivo de consulta: Tipo de trámite o servicio solicitado.
• Casos atendidos por entidad.
• Servicios brindados.
• Registro de actividades masivas o móviles realizadas por CJ o CCC.
Página 65 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Además, permite la realización de reportes de información generada en las CJ y CCC del país. A
partir de dichos reportes, se pretende realizar un análisis de los datos generados durante los
últimos 5 años, que permita identificar y sintetizar los elementos centrales para la evaluación de
resultados datos asociados a conflictividad, casos atendidos por entidad, comportamiento de las
solicitudes, entre otros.
Este análisis se apoyará con la consulta de otras bases de datos que se relacionan a continuación11:
• SPOA.
• SIERJU
• SIDIJUS
• SIJUSCO
• Sistemas alternativos de cada CJ o CCC
En todos los casos, estos sistemas de información que han sido previamente identificados, serán
objeto de discusión con el CTS, de tal forma que se garantice que sean sistemas que se estén
usando, que contengan información confiable, y que representen un aporte para la evaluación.
Finalmente, es importante mencionar que se indagará por los sistemas de información que
manejan cada una de las 5 CJ y los 3 CCC de la muestra, los cuales también serán objeto de estudio
para esta evaluación.
La ciencia clásica ha sido descrita por algunos autores como un conjunto de "ficciones útiles" que
permiten reducir las complejidades del mundo real. Como ya se ha discutido previamente, este tipo
de simplificación puede no ser la más adecuada para identificar verdaderas soluciones a un sistema
complejo como puede ser el PNCJCCC. En palabras de Ramalingam et al. (2008), la ciencia de la
complejidad ofrece un marco teórico innovador pero desafiante, el cual permitirá delinear y
comprender mejor las complejidades del mundo real. No obstante, estos desafíos crean problemas
en torno a la definición, la medición, el análisis y la coherencia de una intervención de política
pública, y por lo tanto, conducen a un reconocimiento general de que existe la necesidad de
avanzar tanto en una comprensión teórica más profunda, como en otras aplicaciones prácticas.
En este sentido, es claro que todos los diseños metodológicos cualitativos deben estar basados en
un marco conceptual, el cual debe ser el que oriente el enfoque de la evaluación. Este marco debe
estar acorde al entendimiento que el equipo investigador le da a la intervención, y sujeto al alcance
definido para la evaluación (objetivos y preguntas orientadoras), al medio institucional en el que se
desarrolla (CJ y CCC), y en el contexto en el cual el programa opera. Esta es la razón de seleccionar
el marco de la evaluación de los sistemas complejos: el PNCJCCC involucra a numerosos actores e
instituciones que interactúan en diferentes niveles y se terminan agrupando en un mismo lugar, los
cuales están influenciados por factores políticos, sociales, legales, técnicos, ambientales, financieros
11Es preciso observar que el acceso a algunas de estas bases es limitado y que su incorporación en esta evaluación
dependerá de si las entidades a cargo facilitan dicho acceso. En todos los casos, que una entidad no preste esta
colaboración no incidirá de forma negativa para dar respuesta a las preguntas orientadoras.
Página 66 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Así, con las preguntas orientadoras plasmadas en la matriz de consistencias, la definición de los
instrumentos de levantamiento de información y un marco teórico sólido, es posible implementar
una evaluación que verifique todos aquellos elementos tanto teóricos como empíricos de la
evaluación de sistemas complejos. En el caso de la evaluación del PNCJCCC, dada la naturaleza
tanto de la intervención (explicada en los párrafos anteriores), como de las preguntas orientadoras
planteadas (e.g. si el programa contribuye a mejorar el acceso y uso de los servicios de justicia por
parte de la ciudadanía), es necesario escoger dentro del repertorio de técnicas cualitativas unas que
proporcionen explicaciones certeras de por qué ocurren estos resultados (e.g. a qué obedecen
estos resultados) y si las interrelaciones que los explican obedecen a las mismas interconexiones o a
los mismos factores, los cuales se repiten o difieren de acuerdo con los contextos. Es esta la razón
por la cual se escogió la evaluación de sistemas complejos. Finalmente, de forma complementaria,
el pliego de condiciones requiere de un método concreto para analizar las percepciones; aquí se ha
propuesto en esta sección utilizar la fenomenología de las percepciones.
Por último, es importante mencionar que el diseño metodológico de la evaluación (i.e. evaluación
de institucional y de resultados) sigue un orden lógico y secuencial: primero se entra a conocer en
profundidad la intervención. Para eso se parte de la presente propuesta, la cual será
complementada con una revisión exhaustiva de información secundaria (documentos) y primaria
(talleres con el MJD y el DNP). Con esta información se diseñan los instrumentos de recolección de
información (entrevistas individuales y grupales, talleres participativos, experimentos) y se va a
campo a hacer una verificación de si se están logrando o no los resultados del PNCJCCC, y también,
cómo se están dando. Esto en un marco de sistemas complejos, evidenciando en detalle los
factores que los explican. Dicha verificación se hace una parte en campo y otra en escritorio
analizando la información recolectada y sistematizada a través del software Atlas.ti y su
triangulación con las fuentes de información cuantitativas, primarias y secundarias. El análisis de la
evaluación en el marco de los sistemas complejos permitirá establecer por qué ocurren estos
resultados (e.g. a qué obedecen estos resultados) y si las interrelaciones que los explican responden
a las mismas interconexiones o a los mismos factores, los cuales se repiten o difieren de acuerdo
con los contextos. Con la misma información se recurrirá a darle significado a los resultados a partir
de la fenomenología de las percepciones. El análisis partirá del diligenciamiento de la matriz de
hallazgos, conclusiones y recomendaciones, esto con el fin de ordenar la evidencia en torno a las
preguntas orientadoras y también, para apoyar la triangulación. El orden lógico justifica el diseño;
también el uso de técnicas precisas para el tipo de preguntas de investigación que se quieren
responder.
Página 67 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
primaria son holísticos, los cuales, abordarán aspectos que hacen referencia tanto a la evaluación
institucional como de resultados.
En este apartado se detalla el diseño experimental propuesto para obtener medidas a nivel
individual de las cuatro variables de resultado planteadas en los pliegos de condiciones, a saber:
confianza, reciprocidad, cooperación y expectativas normativas relacionadas con normas sociales
frente a la solución de conflictos y uso de violencia. Asimismo, el diseño incluye una medida
adicional a las requeridas en el pliego de condiciones que, se considera, es extremadamente útil
para entender cómo la atención recibida en las Casas de Justicia (CJ) o Centros de Convivencia
Ciudadana (CCC) afecta las actitudes individuales frente al conflicto. Se trata de una medida de la
propensión individual a situaciones de conflicto, basada en un Juego del Ultimátum con cambio de
roles (Guth et al., 1982).
Grupo de Tratamiento
Los sujetos experimentales “tratados” serán aquellos que recibieron atención en las CJ o CCC. En
este sentido se propone evaluar el efecto de la atención recibida sobre dos grupos de tratamiento
distintos:
Para el primer grupo se tomará un lapso de hasta dos semanas. Para el segundo se tomará un lapso
de mínimo un mes.12
12Estos lapsos son necesariamente arbitrarios y pueden ajustarse según las recomendaciones que haga el Comité Técnico
de Seguimiento (CTS). En esencia, su objetivo es distinguir entre los efectos de corto y de mediano plazo que tiene la
Página 68 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
La razón de esta distinción radica en que la asistencia reciente a una CJ o CCC puede tener efectos
sobre las variables que se quieren medir por dos motivos distintos: la atención recibida
propiamente dicha y las emociones o significados que podría generar esta atención. En efecto, hay
evidencia de que la exposición a canales institucionales de atención por parte de personas o grupos
que tienen necesidades o vulnerabilidades específicas puede generar emociones positivas o
negativas.13 Por ejemplo, personas que han sido recientemente victimizadas pueden revivir las
emociones negativas de su victimización al narrar los hechos en los que ésta ocurrió, y estas
emociones pueden reducirse o potenciarse dependiendo de la reacción de los funcionarios que
escuchan la narración.
Por otro lado, en la medida en que las emociones tienden a disiparse con el paso del tiempo, los
usuarios de una CJ o CCC que hayan recibido atención con suficiente anterioridad serán menos
propensos a que su comportamiento esté condicionado por las posibles emociones que la visita a
dichos centros genere en el corto plazo, lo que permitirá recuperar el efecto de mediano plazo del
servicio propiamente dicho recibido en la CJ o CCC.
La necesidad de contar con dos grupos de tratamiento distintos es que ninguno de ellos por sí solo
permite tener una medida perfecta del efecto de las CJ o CCC sobre los comportamientos que se
quieren estudiar. En el corto plazo el efecto puede estar “contaminado” por emociones y en el
mediano plazo los efectos propios de la atención podrían tender a reducirse u olvidarse
parcialmente. Además, en caso de encontrar diferencias de comportamiento entre sujetos tratados
en el corto plazo (tratamiento 1) y el tratado en el mediano plazo (tratamiento 2) este hallazgo
también puede ser informativo de la capacidad de las CJ o CCC de generar cambios
comportamentales sostenibles en el tiempo.
Grupo de Control
En principio habría varias poblaciones que potencialmente podrían constituir el grupo de control.
Por ejemplo, en forma simultánea a la convocatoria de los grupos de tratamiento 1 y 2, se podría
crear un protocolo de reclutamiento de personas con características demográficas similares en los
atención recibida en una CJ o CCC sobre los comportamientos elicitados por los experimentos. Esta distinción es
importante por las razones que se explican en el texto principal.
13 Ver por ejemplo Vargas et al. (2019) que evalúan experimentalmente la estrategia de atención institucional
denominada Unidad Móvil de Atención y Orientación a Víctimas del Conflicto (UMAOV). Se trata de una estrategia similar
a la del Programa Nacional de Casas de Justicia y Centros de Convivencia Ciudadana (PNCJCC) en la medida en que la
UMAOV concentra toda la oferta institucional de justicia a víctimas del conflicto armado en un mismo lugar. A diferencia
del PNCJCC, sin embargo, la UMAOV es móvil y se mueve a través de varios municipios a lo largo del año.
Página 69 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
mismos municipios. En esencia, el grupo de control debe ser lo más parecido posible al grupo de
tratamiento. Supóngase por un momento que fuera posible asignar el tratamiento (la atención por
parte de CJ o CCC) de manera aleatoria. Esto garantiza que la comparación de los comportamientos
de los dos grupos pueda interpretarse como el efecto causal del tratamiento. Sin embargo, en la
práctica no se cuenta con una asignación aleatoria y los sujetos tratados pueden diferir de los
potenciales controles en cuanto a sus características observables y no observables. En particular, el
hecho de que los tratados hayan buscado los servicios de una CJ o CCC puede estar correlacionado
con una serie de características que no necesariamente pueden controlarse seleccionado un grupo
de comparación con base en características demográficas observables a partir de una población de
referencia.
14 Algunos de los usuarios primerizos son citados en un día y hora específicos en los casos excepcionales en los que el
funcionario de turno encargado del servicio solicitado no se encuentra presente o no está en condiciones de atender (por
ejemplo por la acumulación de otros casos). Pero esto no es lo usual. En general, las citaciones se dan para audiencias de
conciliación entre un usuario (demandante) no primerizo y otro (demandado) que no ha buscado para sí los servicios de la
CJ o CCC. Por lo demás, la mayoría de los usuarios primerizos son atendidos cuando se acercan a la institución (bien sea
por voluntad propia o por remisión de otra institución como la Policía).
Página 70 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Por tanto, y por comparabilidad, si bien con los grupos de tratamiento 1 y 2 descritos arriba
podrían eventualmente hacerse sesiones grupales, en este escenario también deberían
implementarse sesiones individuales con los sujetos de tratamiento. De lo contrario, y
aunque las instrucciones y el protocolo sea el mismo, la implementación de los
experimentos en una sesión grupal versus una encuesta individual podría afectar el
comportamiento observado, confundiendo el efecto tratamiento.
Por supuesto, y como queda claro en el ejemplo de los experimentos realizados con PPL,
esto supone contar con un portafolio de decisiones que jugadores anónimos han tomado
con anterioridad y que puedan ser emparejadas con las decisiones de los sujetos
experimentales de tratamiento y control con el fin de generar los pagos asociados a cada
experimento para hacerlos compatibles en incentivos. En el caso de los experimentos
realizados para la evaluación de la política de resocialización estos jugadores anónimos
fueron estudiantes universitarios. Sin embargo, para la implementación de los
experimentos acá propuestos se propone que estas decisiones predeterminadas se
obtengan a partir de una población más parecida, por ejemplo personas de la comunidad
donde se encuentran las CJ o CCC. El por qué de esto tiene que ver con la necesidad de
elicitar las expectativas normativas relacionadas con normas sociales frente a la solución de
conflictos y uso de violencia. Como se especificará más abajo, este ejercicio requiere que a
los sujetos experimentales se les pague de acuerdo a su capacidad de “adivinar” cierta
norma social (es decir qué piensan sus pares sobre cierto aspecto relacionado con las
interacciones sociales). En este sentido, sería un error obtener la norma social de referencia
a partir de las creencias de estudiantes universitarios, por lo que las sesiones previas
deberían hacerse con miembros de la comunidad en los municipios en los que se realicen
los experimentos.
Página 71 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Los juegos específicos implementados para medir los comportamientos prosociales específicos de
esta convocatoria se explican a continuación.
Confianza y reciprocidad
Para medir confianza y reciprocidad se implementará el “Juego de la Confianza” (Berg et al., 1995).
En este juego dos participantes, que no se conocen entre sí, toman decisiones que afectan las
ganancias de ambos en el juego. Los dos jugadores tienen la misma dotación inicial. El jugador A (JA,
rol del emisor) debe decidir, cuánto de su dotación quiere pasar al jugador B (JB, rol del receptor).
El monto que JA decide transferir se triplica antes de llegarle a JB. Es decir, JB recibe 3 veces lo que
JA le pasó. Acto seguido, JB debe decidir cuánto dinero devolverle a JA. El monto que JB le devuelve
no se triplica.
En este juego simple, en el caso hipotético de que ambos participantes se interesen únicamente por
su propio bienestar, sin tener en cuenta el de la otra persona (recuérdese que son dos
desconocidos), JA le enviaría nada a JB, pues sabe que en caso de enviarle algo JB no le devolvería
Página 72 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
nada (pues solo le preocupa su bienestar), y así cada peso que envíe es un peso menos que se
llevará al final del juego.
Sin embargo, la implementación de este juego en diversos ambientes y con poblaciones muy
distintas arroja consistentemente como resultado que los participantes en el rol de JA envían
montos positivos a JB (entre el 50 y el 65% de su dotación, según Walker y Ostrom, 2002). Además,
confirmando las expectativas que tiene JA al enviar algo, JB suele también devolver montos
positivos.
Por su parte, el monto que JB devuelve es evidencia de reciprocidad positiva15: JB comprende que
JA confió en él al darle parte de su dinero, y siente la necesidad de devolverle el favor.
Estos dos atributos (confianza y reciprocidad) son la columna vertebral de lo que se denomina
capital social, y son fundamentales para el buen funcionamiento de la sociedad. Sin embargo,
dichos atributos no son fáciles de documentar mediante la simple observación de las acciones de
los individuos que conforman la sociedad. Mucho menos son fáciles de medir a través de encuestas,
pues en estas los individuos tienden a responder lo que piensan que el encuestador (o el
investigador) quiere escuchar. Esto es lo que se denomina sesgo de deseabilidad social.
En este sentido, el experimento descrito permite medir los niveles de confianza y reciprocidad de la
población que participa, y por lo tanto la calidad del tejido social.
Específicamente, el JA del juego de la confianza recibirá una dotación de cinco fichas, y deberá
decidir cuántas fichas va a transferir a otro participante que no ha recibido dotación inicial (JB). Las
fichas transferidas por JA son multiplicadas por tres (x3). El receptor de las fichas triplicadas (JB)
decidirá cuántas de las fichas totales desea transferir de vuelta a JA. Como se mencionó, en esta
situación de interacción estratégica, JB no tiene incentivos a devolver ninguna parte de lo recibido.
Cualquier devolución que haga implica renunciar a una ganancia. Anticipando esto, JA tiene
incentivos para quedarse con la dotación recibida y no enviar fichas. En este contexto, las fichas que
15 En este caso se considera positiva dado que el depositario devuelve más conforme sienta que JA le da un mejor trato.
Página 73 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
JA envía a JB se considera evidencia de confianza. Un participante que envía fichas lo hace porque
confía en que el receptor le devolverá al menos algo del monto recibido.
Como es de interés elicitar tanto los niveles de confianza como los de reciprocidad, cada uno de los
participantes de los grupos de tratamiento y control jugará en cada uno de los roles (JA y JB). Esto
significa que a cada participante se le medirá confianza y reciprocidad.16
Cooperación
Los juegos clásicos para medir cooperación en la literatura de economía experimental son el Juego
de los Bienes Públicos y el Dilema del Prisionero. En el primero de ellos los participantes tienen una
dotación y deben decidir si quieren contribuir parte de ella a un “proyecto” común. El recaudo total
del proyecto genera un rendimiento y se distribuye en partes iguales entre todos los jugadores,
independientemente de su contribución. Por supuesto, entre mayor sea la contribución total mayor
será lo que recibirá cada jugador al final, pero dado que la repartición es independiente del aporte
individual, cada jugador por separado tiene incentivos a no contribuir. El problema está en que sí
todos los jugadores se comportan de acuerdo a estos incentivos individuales, ninguno contribuiría y
el proyecto no lograría ningún recaudo. En este sentido, la porción de la dotación que cada jugador
contribuya es una medida de su propensión a cooperar. Uno de los primeros experimentos del
juego de los bienes públicos es el de Isaac y Walker (1988).
Por su parte, el dilema del prisionero fue sugerido por primera vez por el matemático Albert Tucker
en 1951 (Poundstone, 1992). Se trata de una situación hipotética en la que dos prisioneros son
arrestados por un delito menor, pero se sospecha (aunque no hay pruebas) que también son
culpables de un delito mucho grave. Parafraseando la situación descrita por Tucker: para lograr una
confesión, el inspector de policía decide entonces interrogarlos por separado y ofrecerle a cada uno
un trato: si confiesa la comisión del delito mayor y el otro prisionero no lo hace, la colaboración con
la justicia le dará una pena mínima, aún menor a la que tendría por el delito menor por el cual fue
arrestado. Si confiesa y el otro prisionero también confiesa, ambos tendrán una reducción parcial de
la pena, pero irán a la cárcel más tiempo del que tendrían como condena por el delito menor. Si
ninguno confiesa irán a la cárcel solo por el delito menor.
La disyuntiva es clara, si los prisioneros deciden cooperar entre sí (y por tanto no confiesan) irán a la
cárcel solamente por el delito por el cual hay pruebas y podrán salir en un tiempo corto. Pero si
alguno de los dos, anticipando que su colega no confesará, lo hace, tendrá una pena aún menor,
por lo que tiene incentivos a confesar (es decir a no cooperar). Como este incentivo es igual para
ambos prisioneros es posible que ambos confiesen y vayan a la cárcel más tiempo que si hubieran
cooperado.
16 Es posible realizar una asignación aleatoria de roles durante la sesión, en cuyo caso se mide confianza para la mitad de
los participantes de la sesión y reciprocidad para la otra mitad. Utilizando este procedimiento (y trabajando con el
supuesto de que la muestra de 400 personas se dividiría entre tratamiento y control en partes iguales) se mediría
confianza para 100 personas tratadas y para 100 personas del control y reciprocidad para 100 personas tratadas y 100
personas del control. En cambio, con el procedimiento propuesto se medirá confianza y reciprocidad para 200 personas
tratadas y 200 personas del grupo de control.
Página 74 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Uno de los primeros experimentos del dilema del prisionero es el implementado por Selten y
Stoecker (1986). En su versión más simple cada jugador debe elegir una de dos acciones, en la
práctica equivalentes a cooperar o no hacerlo. Los parámetros del juego deben ser tales que la
estrategia dominante para cada jugador sea la no cooperativa desde el punto de vista de su pago
privado (como en la narrativa original de Tucker o en el juego de los bienes públicos), de forma que
el resultado cooperativo se de sí y sólo si los jugadores tienen preferencias prosociales
cooperativas.
Nótese que el juego de los bienes públicos es equivalente al dilema del prisionero en su versión
simple en el caso de dos jugadores que tienen una dotación inicial y su conjunto de acciones solo
incluye invertir toda su dotación en el proyecto común o no invertir nada. Ese es justamente el
juego propuesto para medir cooperación en el marco de la evaluación del PNCJCCC. Por
comparabilidad con el juego de la confianza descrito anteriormente, en el protocolo propuesto cada
jugador contará con cinco fichas y deberá decidir si las invierte o no. Su pago final estará dado por
la siguiente ecuación:
Pi = Di + r * (D1+D2)
Se propone jugar con cada uno de los sujetos experimentales (tanto del tratamiento como del
control) dos versiones de este juego. En la primera r = 0.6 y en la segunda r=0.8.
Jugador 2
Invierte No invierte
Jugador 2
Invierte No invierte
Página 75 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
La diferencia entre estas dos versiones (dada por el parámetro r que da cuenta de la tasa individual
de retorno) es que en la primera versión (cuando r = 0.6) hay mayores incentivos a no cooperar con
respecto a la segunda versión. Para ver esto note que en la primera versión si los dos jugadores
cooperan (porque ambos invierten) cada uno recibe 6 fichas, solo una más que si ninguno coopera.
Entretanto, suponiendo que el jugador contrario coopera la ganancia de no cooperar son dos fichas.
En cambio, en la segunda versión si los dos jugadores cooperan cada uno recibe 8 fichas, tres más
que si ninguno coopera. Entretanto, suponiendo que el jugador coopera la ganancia de no cooperar
es solo una ficha. La literatura experimental del dilema del prisionero sugiere que la estabilidad de
comportamiento individual cooperativo a r (el rendimiento marginal per cápita) es un indicador
confiable de las verdaderas preferencias de cooperación de los sujetos (Isaac y Walker, 1988;
Ledyard, 1995; Zelmer, 2003).
La razón por la que se propone implementar las dos versiones del dilema del prisionero/juego de
los bienes públicos es para corroborar la estabilidad de las preferencias prosociales de cooperación
a cambios en los parámetros del juego y, así, identificar claramente el “tipo” de los sujetos tratados
y no tratados.
Normas Sociales
Las normas sociales son el conjunto de normas no escritas que rigen el comportamiento en
sociedad. En la literatura experimental hay dos enfoques preponderantes. El enfoque propuesto
por Cristina Bicchieri (Bicchieri, 2016; Bicchieri y Xiao, 2009) sugiere que para que una persona
decida apegarse al cumplimiento de la norma social se deben cumplir dos condiciones: primero, esa
persona debe considerar que la mayoría de las personas de su grupo de referencia también se
apegarán al cumplimiento de la norma (expectativa empírica); segundo, esa persona debe
considerar que la mayoría de las personas esperan que él se apegue a la norma (expectativa
normativa).
Por otro lado, Krupka y Weber (2013), consideran que una norma social está constituida sobre la
percepción colectiva sobre lo que es o no “apropiado” de determinado comportamiento, es decir,
el grado de aceptabilidad social de una conducta o comportamiento determinado. La norma social
proviene de un acuerdo grupal implícito sobre si determinado comportamiento es aceptable o no.
El poder de la norma social está dado por la voluntad grupal de castigar el comportamiento que sea
considerado inaceptable o premiar el comportamiento aceptable.
Tanto Bicchieri y Xiao (2009) -BX, como Krupka y Weber (2013) -KW diseñaron un método para
elicitar la norma social de forma compatible en incentivos. Si bien el método de KW otorga una
medición más fina y posiblemente es más utilizado en artículos académicos que utilizan
experimentos de laboratorio, la metodología desarrollada por BX resulta más asequible y fácil de
explicar a población no estudiantil.17 Por otro lado, la posibilidad de medir expectativas normativas
17El método de KW considera el conjunto completo de acciones disponibles en una situación determinada y para cada
acción el sujeto puede establecer el grado de aceptabilidad social de la acción considerada. Por su parte, el método de BX
solo establece, para una acción determinada, la predicción del número de personas que eligen esa acción. BX también
Página 76 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
A modo de ilustración, en un estudio reciente en Arabia Saudita se realizó un experimento con 500
hombres casados (Bursztyn et al, 2018). Arabia Saudita es un país muy conservador, donde las
mujeres deben obtener permiso de la persona que tiene su tutela (habitualmente su padre o su
esposo) para poder trabajar fuera del hogar. En el experimento, se le preguntó a los participantes si
estaban de acuerdo con la frase: “En mi opinión, las mujeres deberían tener permitido trabajar
afuera de la casa.” El 87% está de acuerdo con la frase. Cuando se les pide estimar el porcentaje de
hombres casados que están de acuerdo con esa frase, el 75% subestima ese porcentaje. A la mitad
de los participantes se les proporciona información sobre el porcentaje de aprobación de la frase, la
otra mitad es el grupo de control. Quienes reciben la información son más propensos a aceptar un
bono para registrarse en un aplicativo que ofrece servicios de búsqueda de empleo para mujeres.
Este ejemplo muestra que corregir expectativas empíricas que no están alineadas con las
expectativas normativas tiene un efecto (positivo) sobre el comportamiento, siendo una potencial
posibilidad de intervención de política pública. En este sentido, las normas sociales sobre la
utilización de la violencia como forma de resolver conflictos brindan una potencial fuente de
intervención de política que puede ayudar a alinear ambos tipos de expectativas, posiblemente
eliminando prácticas violentas que se perciben como socialmente aceptables pero no lo son.
indaga sobre si el sujeto considera que elegir esa acción está bien, así como su predicción sobre el número de personas
que consideran que elegirla están bien.
18 Este conflicto ocurre cuando la expectativa normativa va en una dirección, pero la empírica va en la dirección contraria.
Es decir, una persona cree que el comportamiento correcto es la opción A (expectativa normativa), pero espera que la
mayoría se comporte de la forma B (expectativa empírica). En este contexto, por no desviarse de lo que considera que es
el comportamiento común en su grupo de referencia, la persona terminará eligiendo la opción B, pero hubiera adoptado
la opción A.
Página 77 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
En particular, se propone el siguiente ejercicio.19 Primero se le lee a los participantes una situación
hipotética igual o parecida a la siguiente: “Me he peleado con un vecino porque se niega a bajarle el
volumen a la música.20” Los sujetos deben contestar Sí o No.
Segundo, se elicitan las expectativas empíricas frente a la norma social de resolución de conflictos.
Para ello se le pregunta a cada sujeto: “De las X personas que hay en esta habitación, ¿cuántas cree
usted que respondieron que sí?” Dependiendo de su respuesta y de la respuesta correcta (conocida
por el experimentalista) cada sujeto recibirá un pago. Siguiendo a BX, para asegurarse que la
elicitación sea compatible en incentivos, los sujetos recibirán un pago de X pesos (adicionales al
pago recibido de acuerdo al juego y rol elegidos al azar entre el juego de la confianza, el dilema del
prisionero y el juego del ultimátum) si y solo si aciertan la respuesta.21
Tercero, se elicitan las expectativas normativas. Para ello se le pregunta a cada sujeto si cree que
pelearse con un vecino por el volumen de la música -en vez de pedirlo de buena manera o llamar a
las autoridades- es lo correcto. Los sujetos deben contestar Sí o No. Luego se les pregunta
nuevamente: “De las X personas que hay en esta habitación, ¿cuántas cree usted que respondieron
que sí?”. De nuevo, dependiendo de su respuesta y de la respuesta correcta (conocida por el
experimentalista) cada sujeto recibirá un pago equivalente al anterior.
Una variable de comportamiento adicional a las que se solicitan en los pliegos de condiciones, pero
que se considera relevante para la evaluación, es la propensión individual a las situaciones de
conflicto. Para elicitar esta propensión se propone utilizar el experimento clásico del Juego del
Ultimátum en su variante en la que cada participante adopta ambos roles (Güth et al., 1982). En el
juego del ultimátum el Jugador A (JA) tiene una dotación (D) y debe decidir cuánto de la misma
transferir al Jugador B (JB), que no tiene dotación. El JB debe decidir si acepta o no la oferta de JA. Si
lo hace se implementa la distribución propuesta por JA. Si no lo hace se pierde toda la dotación
inicial y ninguno de los jugadores recibe nada.
En este contexto, un sujeto que juegue en los dos roles (el de JA y el de JB) podrá decidir cuánto
ofrecería como JA (por ejemplo X) y cuánto es lo mínimo que estaría dispuesto a aceptar como JB
(por ejemplo Y). En el paper seminal de Güth et al. (1982), los casos en los que Y+X>D se consideran
como personas propensas al conflicto, ya que sin importar en cuál rol del juego se encuentren, su
demanda sobre la dotación inicial es alta, lo cual hace muy probable que al menos alguna de las dos
situaciones concluya en conflicto (con el rechazo de la oferta y la destrucción de la dotación D). En
cambio, aquellos casos en los que Y+X<D se considera como el de una persona que está dispuesta a
19 Es importante enfatizar que la redacción exacta de la situación hipotética para elicitar las normas sociales de resolución
de conflictos se puede ajustar de acuerdo a la retroalimentación del CTS. El principal objetivo de la propuesta de
redacción incluida en este documento es ilustrativo.
20 Según conversaciones del equipo con diferentes expertos en el funcionamiento de CJ y CCC, ésta es una situación
sujeto con respecto a la respuesta correcta. Pero esto es muy difícil de explicar en el campo. De nuevo, esta
implementación sigue la de BX.
Página 78 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
sacrificar bienestar (en este caso representado como su parte de la dotación) para evitar el
conflicto. En el marco de la evaluación de los efectos del PNCJCCC sobre el comportamiento de las
personas, se considera relevante indagar sobre la propensión al conflicto de los tratados respecto a
la propensión al conflicto del grupo de control.22
Por consistencia con los juegos arriba propuestos para medir confianza, reciprocidad y cooperación,
en este caso la dotación sería de 5 fichas y el conjunto de acciones de los sujetos experimentales en
el rol de JA (JB) sería una transferencia (un umbral de aceptación) de 0, 1, 2, 3, 4 o 5 fichas. Una
ventaja de esta parametrización (adicional a la consistencia entre juegos) es que ofrecer la mitad
del total (2.5 fichas) no hace parte del conjunto de acciones, lo que obliga a la gente a pensar sus
decisiones (en vez de usar una “rule of thumb” común en este juego que es transferir la mitad) y,
además, facilita posibles situaciones en las que el mínimo de aceptación sea mayor a la
transferencia.
Implementación
Para el tratamiento 1 se propone convocar usuarios de CJ o CCC de las últimas dos semanas y para
el tratamiento 2 se propone convocar usuarios después de al menos un mes de su visita. Estos
umbrales de tiempo son flexibles y pueden ajustarse. La convocatoria se hará usando las bases de
datos de las CJ y CCC y se estratificará por tipo de atención obtenida y por género.
Por su parte, el grupo de control estaría en principio compuesto por personas del mismo municipio
reclutadas usando la última actualización de los listados de SISBEN y con características
demográficas lo más parecidas posible a los tratados. Idealmente, sin embargo, el grupo de control
serían usuarios que puedan participar de los experimentos antes de recibir el servicio de la CJ o
CCC, pero esto dificultaría hacer sesiones grupales. Se espera realizar una discusión profunda en
este aspecto con el CTS en caso de ser esta propuesta la ganadora.
Segundo, y dado que el tratamiento está dado por recibir atención en una CJ o CCC, la inferencia se
hará entre sujetos (comparando personas del grupo del tratamiento con personas del grupo de
control) y no intra-sujetos (comparando el comportamiento de una misma persona en dos
condiciones: una de tratamiento y otra de control).
22 Además, el juego del ultimatum también sirve para elicitar la “reciprocidad negativa” del receptor, si es que este
rechaza ofertas distintas de cero al considerarlas injustas por ser demasiado bajas. Este tipo de reciprocidad también
puede informar sobre la propensión al conflicto.
Página 79 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Tercero, y debido a que deben realizarse varios juegos (Confianza en los dos roles, dos versiones del
Dilema del Prisionero y Ultimátum en los dos roles) y la actividad de elicitación de normas sociales,
todos los juegos serán “one-shot” (es decir no habrá repeticiones). Además, las repeticiones
capturan también efectos de “aprendizaje” en el comportamiento, que pueden “contaminar” los
efectos de los incentivos propiamente dichos que impone cada juego.
Cuarto, en caso de hacerse sesiones experimentales (es decir si no se acepta la propuesta del
control ideal) el emparejamiento de sujetos al interior de cada sesión será del tipo “random
matching” (es decir emparejamiento aleatorio de sujetos de una misma sesión).
El objetivo de la presente propuesta es evaluar el efecto de recibir atención en una CJ o CCC sobre
el comportamiento de las personas en cuanto a confianza, reciprocidad, cooperación y normas
sociales frente a la solución del conflicto. Adicionalmente, como ya se expuso en el punto anterior,
se agrega una variable de resultado adicional, propensión al conflicto. Para poder realizar esta
evaluación es necesario contar con un grupo de control, que no haya recibido atención en ninguna
de estas instituciones.
En este sentido, las variables de resultado son: confianza, reciprocidad (positiva), cooperación,
normas sociales frente a la solución del conflicto y propensión al conflicto. Todas estas variables se
medirán para cada persona que participe en las sesiones experimentales.
Tal y como se expuso en el punto anterior, los grupos de tratamiento serán dos: las personas
tratadas hace 2 semanas o menos (tratamiento 1, de corto plazo) y las personas tratadas hace un
mes o más (tratamiento 2, de mediano plazo). Adicionalmente, habrá un grupo de control, la
escogencia del cual se expuso en detalle en el punto anterior junto con las ventajas y desventajas
de dos alternativas posibles para ello.
En cuanto a las variables de estorbo, como primera medida, es necesario comparar los sujetos de
los dos tratamientos entre sí, y los de cada uno de ellos con los del grupo de control. Esta
comparación solo puede hacerse en términos de características demográficas y socioeconómicas
observables o auto reportadas en encuesta. Estas características, para los grupos de tratamiento,
serán obtenidas de las bases de datos de las CJ y CCC y de una encuesta corta que se le haga a cada
individuo.23 Para el grupo de control serán obtenidas de la base del SISBEN y de una encuesta
equivalente a la de los tratados. Una vez hecha esta comparación se identificarán las variables
estadísticamente distintas entre grupos. En las regresiones se debe controlar por estas variables de
estorbo.
Por otro lado, al realizarse varios juegos en una misma sesión, una fuente adicional de variable
estorbo es potencialmente la secuencia en que se realicen los juegos. Esta podría afectar el
23En ella se harán preguntas sobre la participación en la CJ o CCC (tipo de atención recibida -solo para los tratados), una
pregunta sobre aversión al riesgo (validada por Dohmen et al., 2011), confianza en las instituciones y en otras personas y
capital social (participación en organizaciones cívicas o políticas).
Página 80 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
comportamiento en cada situación. Es decir, puede suceder que las decisiones en el juego de la
confianza sean diferentes si el juego de la confianza es el primer juego de la sesión o si antes de
este juego se toman las decisiones en el dilema del prisionero. Para controlar esta fuente de ruido
potencial se propone implementar dos secuencias diferentes, como se explicará en el punto
siguiente.
Una tercera fuente potencial de estorbo es que la sesión sea muy larga y los participantes terminen
cansados, generando carga cognitiva en ellos que se puede traducir en falta de atención y pérdida
de relevancia de los pagos monetarios al momento de tomar las decisiones. El protocolo propuesto
es lo más sencillo posible, siguiendo el modelo ya utilizado con PPL en una evaluación pasada que
proporcionó resultados exitosos.
Por último, se debe tener en cuenta que las características ambientales, específicas a cada uno de
los ocho municipios donde se llevarán a cabo los experimentos, podrían también constituir
variables de estorbo. Para controlar esta fuente de estorbo se incluirán efectos fijos de municipio
en el análisis empírico.
En el punto siguiente se detalla cómo se llevarán a cabo las sesiones experimentales, pero a modo
de adelanto, no habrá interacción ni retroalimentación sobre los resultados de los juegos sino hasta
el final de la sesión.24 En este sentido, la unidad de observación cada individuo (tratado y de
control).
Como se explicó en el punto anterior, una posible variable estorbo es el hecho de que, a fin de
medir las variables de resultado de interés para esta evaluación, los participantes de las sesiones
experimentales deban tomar decisiones en más de un juego. A fin de controlar este estorbo, se
considera la posibilidad de implementar dos secuencias de juego diferentes.
La naturaleza de los juegos propuestos tiene una diferencia fundamental. El dilema del prisionero
es un juego estático, el desafío de este juego es que los participantes entiendan que si bien el
resultado depende de las decisiones que tomen dos personas diferentes, al momento de decidir,
cada jugador desconoce la acción elegida por su contraparte. El juego del ultimátum y el juego de la
confianza son juegos secuenciales, donde el jugador que mueve primero sabe que su contraparte
decidirá luego de haber observado su acción. Por otro lado, mientras la acción del receptor en el
juego del ultimátum es dicotómica (aceptar o rechazar), en el juego de la confianza el conjunto de
acciones posibles del receptor es continuo (del monto recibido, debe elegir cuánto devolver). En
este sentido, las secuencias propuestas sólo alteran la posición del dilema del prisionero en la
temporalidad de la sesión.
24Es decir, durante el desarrollo de la sesión experimental los participantes no recibirán información sobre los resultados
de las actividades finalizadas, de forma que los resultados de los juegos previos no puedan afectar el comportamiento en
los juegos siguientes.
Página 81 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Por esta razón, en la primera secuencia el dilema del prisionero será el primero en realizarse,
mientras que en la otra será el tercero. La elicitación de las normas sociales se realizará en todos los
casos al final de la sesión, ya que es un juego de coordinación, donde la interacción estratégica es
menos evidente para los participantes. El juego del ultimátum siempre se realizará primero que el
juego de la confianza para facilitar la explicación de los juegos a los sujetos.25
Secuencia 1
Secuencia 2
1. Ultimátum:
a. Rol del oferente
b. Rol del receptor
2. Juego de la Confianza:
a. Rol del emisor
b. Rol del receptor
3. Dilema del prisionero:
a. Incentivos a desviarse
b. Incentivos a cooperar
4. Elicitación de Normas Sociales
La sesión experimental comenzará con unas instrucciones generales donde se explicará la dinámica
de la sesión, se hará explícito que la sesión tiene cuatro secciones independientes y que sólo
conocerán la situación específica de cada una a medida que la sesión avance. Es decir, al inicio se
explica el primer juego, se toman las decisiones correspondientes a ese juego y una vez concluida
esa actividad se explica el segundo juego y así sucesivamente. Durante el desarrollo de la sesión
experimental los participantes no recibirán información sobre los resultados de las actividades
anteriores, de forma que los resultados de los juegos previos no puedan afectar el comportamiento
en los juegos siguientes.
25Esta estrategia de implementación en la que se realiza primero el juego que es más sencillo de explicar se aplicó en los
experimentos con PPL y en el de la evaluación del Programa Familias en Acción y se obtuvo en ambos casos buenos
resultados. En este sentido se le da mayor peso a garantizar la comprensión del juego que a controlar la variable estorbo
de secuencia de los juegos.
Página 82 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Por último, se pagará únicamente una actividad, elegida al azar. Esto garantiza que los participantes
tomen sus decisiones en cada juego de manera independiente. Si la implementación fuera
diferente, existe la posibilidad de que los participantes consideren toda la situación experimental
como un supra-juego, lo que podría afectar el comportamiento en cada sección, afectando
directamente la medición de cada una de las variables de interés.
● En el dilema del prisionero cada participante tiene la dotación inicial de 5 fichas y debe
decidir entre invertir todas sus fichas o no invertir en el proyecto común (cooperar o no
cooperar).
● En el juego del ultimátum cada participante deberá decidir cuántas de las 5 fichas ofrecer al
receptor (que no tendrá dotación inicial).
● En el juego de la confianza cada participante deberá decidir cuántas fichas pasarle al
receptor, quien recibe el monto triplicado y podrá devolver todas, parte o nada de las fichas
recibidas.
● Nota: Para el juego del ultimátum y el juego de la confianza, cada participante decidirá
también en el rol del receptor.
○ En el juego del ultimátum cada participante debe establecer si acepta o rechaza
cada una de las ofertas posibles.
○ En el juego de la confianza, cada participante decidirá cuánto devolver para cada
monto recibido posible (0, 3, 6, 9, 12 o 15 fichas).
○ La implementación de esta forma, conocida como el “método de la estrategia” o
strategy method (Brandts y Charness, 2011), proporciona información más
completa sobre las preferencias de los participantes que el método directo.
Supóngase el caso en el que un emisor en el juego de la confianza decide no enviar
nada al receptor. Si se utilizara el método directo, para esa pareja se tendría
medición de confianza para el emisor, pero no se tendría medición de reciprocidad
para el receptor, ya que al no recibir nada, no puede devolver nada. Por otro lado,
el método directo en el rol del receptor permite medir confiabilidad (ante una
transferencia positiva, el receptor devuelve parte de lo recibido o no), pero no
permite medir reciprocidad (a mayor transferencia, mayor devolución).26
● Como se explicó anteriormente, para la medición de normas sociales se utilizará el método
de Bicchieri y Xiao (2009), mediante el cual se medirán expectativas empíricas y normativas
de forma compatible en incentivos.
Una vez que todos los participantes hayan tomado sus decisiones en cada una de las 4 actividades
se elegirá al azar, de forma transparente para los participantes, la actividad que determinará los
pagos de la sesión. Luego, mientras los participantes completan una encuesta post-experimento
26
Blanco et al. (2011) implementaron el juego del ultimátum con el rol del Jugador B tomando decisiones con el “strategy
method” y mostraron que los resultados son equivalentes con los conseguidos en juegos del ultimátum tradicionales.
Página 83 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
(que recogerá variables sociodemográficas para utilizar como control en las regresiones), el equipo
de campo realizará el emparejamiento aleatorio, la selección de roles al interior de cada pareja y de
acuerdo a las decisiones de cada miembro de la pareja determinará los pagos y completará la ficha
correspondiente para proporcionar retroalimentación sobre lo ocurrido en el juego seleccionado a
fin de que cada participante entienda cómo se determinaron sus ganancias.
Como se explicó en el punto 1, habrá un grupo de control y dos grupos de tratamiento. A fin de
poder realizar comparaciones entre los tres grupos, se intentará que ambos queden balanceados en
cuanto a número de participantes en cada condición. Es decir, el objetivo es tener 135 participantes
en cada uno de los tres grupos.
Las decisiones de los participantes y toda la información proporcionada por ellos será confidencial y
anónima. El único momento de la sesión en la que se darán a conocer las decisiones tomadas por
ellos será al final, cuando se proporcione información sobre los pagos, pero en ningún caso se
revelará la identidad de la contraparte. En el caso de la elicitación de normas sociales, únicamente
se dará a conocer el comportamiento agregado de los miembros de la sesión.
Las sesiones se llevarán a cabo en papel y lápiz. Tal como se aplicó en el caso de las PPL, el diseño
minimizará la necesidad de escribir y se limitará a marcar opciones que serán explicadas con
ejemplos en un tablero. De todas formas, en caso de que algún participante necesite asistencia, el
equipo de implementación en campo podrá ayudarlo a completar cada ficha de decisión en forma
privada y cumpliendo con los estándares de anonimato y confidencialidad.
Las sesiones deben realizarse en un salón cerrado, idealmente silencioso, donde los participantes
puedan poner atención sin tener distracciones externas. Cada salón debe tener al menos 28 28 sillas
(ojalá cada silla pueda tener su escritorio, en caso contrario cada participante tendrá una tabla de
apoyo que le servirá para un diligenciamiento correcto) y una mesa grande donde el equipo de
campo pueda depositar todo el material que se irá entregando a los participantes a medida que la
sesión se desarrolle. El espacio entre sillas debe ser considerable, a fin de garantizar
confidencialidad (cada participantes debe estar seguro de que nadie podrá ver su ficha de decisión)
y evitar comunicación entre los participantes.
27 Las sesiones entre grupos tratamiento y grupos de control estarán distribuidas así: un conjunto de 4 municipios con 3
sesiones (tratamiento 1, tratamiento 2, control), y un conjunto de 4 municipios distintos con al menos dos sesiones
(tratamiento 1 o tratamiento 2, control).
28 2 más que el máximo posible, para uso del equipo facilitador.
Página 84 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
El análisis empírico consiste en comparar las medidas comportamentales elicitadas para los
individuos tratados con las elicitadas para los del grupo de control. Como primera medida se
implementarán test no paramétricos para hacer una caracterización descriptiva de las
comparaciones relevantes. En particular, se implementarán los siguientes test:
• El test Wilcoxon o Mann and Whitney (MW) contrasta la hipótesis de que dos muestras
provienen de poblaciones con la misma distribución (Wilcoxon 1945; Mann and Whitney
1947).
• El test de Kruskal-Wallis (KW) es una generalización del MW pero permite realizar
comparaciones entre tres distribuciones o más de forma simultánea. Así, la ventaja de este
test es que permitirá comparar simultáneamente a los dos tratamientos con el grupo de
control.
Los test descritos permiten hacer una caracterización descriptiva de los datos “crudos” de los
experimentos. Esto es, ellos permiten controlar por posibles variables de estorbo. Por ello se
complementarán con las siguientes especificaciones paramétricas:
donde Y_i es la variable de resultado de interés, medida para el individuo i en la sesión s, T1_i
(T2_i) es un indicador de si el individuo i en la sesión s pertenece al tratamiento 1 (tratamiento
2) correspondiente al corto plazo (largo plazo), y e_i es el término de error. Como cada sesión
tendrá solamente sujetos tratados o de control no se pueden agrupar los errores por sesión. 29
Así, los errores serán robustos. b1 (b2) es el coeficiente asociado a T1_i (T2_i).
• Una segunda especificación controlará por las posibles variables de estorbo mencionadas
anteriormente:
donde I[s=1] es un indicador de si la secuencia de los juegos es la primera secuencia de las dos
propuestas anteriormente.30 Por su parte, X_is es un vector de variables de estorbo y c es un
vector de coeficientes asociados a las mismas. El resto de la notación es equivalente al de la
ecuación (1).
29Tampoco se pueden agrupar por municipio porque las sesiones experimentales se harán solamente en 8 municipios.
30Nótese que esta especificación incluye un subíndice s que denota la sesión. Esto se hace con el fin de identificar la
secuencia de juegos, que será específica a cada sesión.
Página 85 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
• Una tercera especificación incluirá efectos fijos de municipio. Al comparar los sujetos de
tratamiento y de control al interior de cada uno de los ocho municipios, esta especificación
controla por cualquier característica municipal que varíe entre municipios y que, bien sea
observada o no, no varíe en el tiempo.
donde _m indica el efecto fijo de municipio, que es equivalente a incluir una variable
dicotómica igual a 1 para cada uno de los ocho municipios de la muestra.31
• Finalmente, habrá una especificación que servirá para explorar efectos heterogéneos de los
tratamientos sobre las variables de resultado. Suponga que Z_i (o Z_is o Z_ism) es un
indicador que identifica una característica individual determinada, como el sexo del
individuo i o si se trata de una persona joven. En este caso se puede explorar si el efecto de
cada uno de los tratamientos T sobre la variable de resultado Y es diferencial (es decir
mayor o menor) para los sujetos con la característica de interés Z. Sin pérdida de
generalidad se ilustrara la regresión propuesta con la especificación más sencilla, descrita
en la ecuación (1).
donde la interacción del indicador de cada tratamiento con Z identifica el efecto diferenciado
para los sujetos para los cuales Z_i = 1, y el indicador de tratamiento no interactuado identifica
el efecto promedio para los sujetos para los cuales Z_i = 0.
De acuerdo con los requerimientos del Pliego de Condiciones deben realizarse como mínimo 20
sesiones experimentales. Además, dichas sesiones deben distribuirse entre grupos de tratamiento y
31 Nótese que esta especificación incluye un subíndice que denota el municipio. Esto se hace con el fin de identificar el
efecto fijo municipal
32 En el planteamiento metodológico del anexo técnico se incluye la pregunta “¿Cuáles son los cambios en los niveles de
confianza, reciprocidad, cooperación y normas sociales frente a la solución de conflictos y uso de violencia por parte de los
miembros de la comunidad como consecuencia directa o indirecta, de la presencia de las CJ o CCC en sus territorios? ¿Qué
efectos ha generado el Programa en la población que atiende?”, la cual se considera equivalente a la pregunta 9.
Página 86 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
control. Es importante aclarar que cada una de las sesiones debe llevarse a cabo únicamente con
miembros de cada uno de esto grupos. Es decir, no deben mezclarse miembros de diferentes
grupos de una misma sesión. Cada sesión contará con la participación de al menos 16 participantes.
No se recomienda hacer sesiones demasiado grandes para no complicar la logística del experimento
(más de 26 personas). Sin embargo, se convocará una muestra mayor (de al menos 30) con el
propósito de asegurar la participación mínima requerida. Si llega un número superior a los 26
participantes se permitirá la entrada al salón de los primeros 26 en llegar y al número restante, si
llega a tiempo, se le dará un reconocimiento en dinero (“show up fee”) de 10.000 pesos.
Se calcula que cada sesión durará máximo 120 minutos. Este tiempo incluye las siguientes etapas:
Naturalmente, las pruebas piloto son fundamentales para determinar si todas estas actividades
pueden llevarse a cabo en dos horas de juego. En caso de que el piloto arroje sesiones de más de
dos horas se puede ajustar algunas cosas en el protocolo. Por ejemplo, podría reducirse el
cuestionario.
Como se mencionó anteriormente, en principio, se propone que cada uno de los juegos se juegue
una vez en cualquiera de las dos secuencias que se implementarán:
Secuencia 1
Página 87 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Secuencia 2
1. Ultimátum:
a. Rol del oferente
b. Rol del receptor
2. Juego de la Confianza:
a. Rol del emisor
b. Rol del receptor
3. Dilema del prisionero:
a. Incentivos a desviarse
b. Incentivos a cooperar
4. Elicitación de Normas Sociales
Como ya se mencionó, hacer las dos secuencias es importante para controlar por cualquier efecto
que pueda tener sobre el comportamiento el orden en el que se lleven a cabo los juegos.
Espacio físico
Dado que los experimentos son de laboratorio en el campo y no en una institución en particular, no
se requiere salas de computador para llevar a cabo las sesiones, como suele ocurrir con los
experimentos exclusivamente de laboratorio. En su lugar, se requiere de un espacio físico cerrado,
tipo salón comunal o de clases, para adelantar las sesiones. Dichos espacios deberán contar como
ya se mencionó con un número suficiente de sillas, y en la medida de lo posible, mesas o pupitres
individuales, para que los participantes puedan tomar sus decisiones sin distracciones.
Adicionalmente, dado que los juegos propuestos son no-cooperativos, es ideal que exista una
distancia lo suficientemente amplia entre los participantes, para que estos no puedan ver las
decisiones de los demás participantes. Esta necesidad puede suplirse creando divisiones entre los
jugadores, por ejemplo, por medio de cubículos de cartón que separen los unos de los otros. Si no
es posible adecuar el espacio físico de esta manera, al menos se debe garantizar que la distancia
entre unos y otros sea lo suficientemente amplia y que el facilitador del experimento esté atento a
la no comunicación entre ellos.
La estrategia para la convocatoria de los participantes es crucial en este experimento. En este caso
se contará con los datos de contacto de los integrantes de cada grupo, pues esta información se
puede recuperar de los registros administrativos del programa y de los datos del Sisben. Si por este
canal no se puede reclutar a una persona específica por motivos de fuerza mayor, ésta se
descartará el registro y se remplazará por otra, siempre respetando la técnica de emparejamiento
descrita arriba para llevar a cabo el muestreo.
Página 88 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
En este punto vale la pena recordar que los experimentos comportamentales implican una
importante remuneración económica, que incluye un pago simplemente por asistir ($10.000 COP) y
un monto adicional que depende del desempeño en los juegos. Con un valor esperado de $30.000
COP, la remuneración estaría por encima del salario mínimo diario vigente, lo cual debe generar
incentivos para que los individuos participen en los experimentos. Más adelante se discuten las
estrategias para atender los desafíos de pérdida de muestra.
No existe consenso respecto a cómo deben llevarse a cabo los experimentos de laboratorio en el
campo. Dada la simplicidad de los experimentos propuestos, la sugerencia es llevarlos a cabo de dos
formas: a lápiz y papel o por medio de tabletas. A continuación, se describen los pros y los contras
de cada estrategia.
Con este tipo de poblaciones, quizás el método más utilizado es el del lápiz y papel. La explicación
de los juegos se hace de manera verbal y las instrucciones deben reproducirse por escrito y estar a
disposición de los participantes toda vez que estén jugando. Para aquellas personas que no pueden
leer o escribir, se dispondrá de personal de apoyo (dupla de facilitadores). Esto es viable, toda vez
que, en los cuatro juegos, al momento de participar, lo único que los jugadores deben hacer, por lo
general, es decidir sobre un número de fichas. Por ejemplo, en el juego del ultimátum, el jugador 1
debe decidir cuántas fichas le transfiere al jugador 2. Es decir, en todos los casos, la decisión es
bastante simple y puede consignarse fácilmente en una hoja de papel dispuesta para ello.
Se deberá tener especial cuidado para que dichas hojas tengan un indicador numérico
(anonimizado) de cada participante; esto con el objetivo de llevar el registro de las decisiones de
cada quien, y, por ende, poder calcular cuánto recibe de pago cada participante al final de cada
ronda. Así, por ejemplo, en el juego del ultimátum, tras leer las instrucciones del juego, cada
jugador A debe consignar su decisión en un papel que es recogido por el personal de apoyo. Estos le
informan (también por escrito o verbalmente a quienes no sepan leer) al respectivo jugador B,
acerca de la decisión de su pareja. Acto seguido, los jugadores B consignan su decisión de aceptar o
rechazar la oferta del jugador A también en una hoja que es recogida por el personal de apoyo.
Estos determinan el resultado final del juego. Luego, se procede a la siguiente ronda, y así
sucesivamente para cada juego.
La estrategia de llevar a cabo el juego utilizando lápiz y papel es muy popular en el campo, aunque
por supuesto, puede implicar demoras en la ejecución de este. Una segunda posibilidad es llevar a
cabo el juego en tabletas. Usando el programa oTree (ver https://www.otree.org/) se podrían
programar los cuatro juegos que son de interés de esta evaluación. De hecho, los cuatro juegos ya
están programados en esta plataforma, y sería cuestión de adaptarlos al contexto de la evaluación.
Todo esto es simple porque los juegos se programan en Python y ya fueron adaptados con éxito
para la evaluación del Programa Familias en Acción realizada por la actual Unión Temporal (UT).
De esta manera, cada jugador estaría conectado al juego a través de una tableta, y el software se
encarga de formar las parejas o los grupos e ir mostrando las pantallas en las que se deben tomar
Página 89 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
las decisiones. Incluso, el software se encarga de elegir las rondas que al azar determinan los pagos
finales para cada jugador. Además, los datos de interés (las decisiones) ya quedan digitalizados,
pues el programa entrega una base al final de cada sesión. Por supuesto, automatizar de esta
manera la logística de los experimentos es muy útil y ahorra tiempo. No obstante, tiene algunas
dificultades dado que es necesario que las tabletas estén conectadas entre sí por medio de una red
de internet, algo que puede ya fue probado en campo por la UT y que es fácilmente solucionable
con un router propio. Además, exige mayores capacidades de parte del personal de apoyo, pero
esto puede solucionarse a través de capacitaciones.
Por estas razones, la UT sugiere como primera opción, llevar a cabo el experimento a lápiz y papel.
En todo caso, queda abierta la posibilidad de hacer los experimentos con tabletas siempre que sea
posible, si el CTS así lo considera pertinente. La UT cuenta con los recursos físicos y las habilidades
de programación y la experiencia para que los experimentos se hagan con los más altos estándares
de calidad en ambas formas.
Contaminación
Es importante recordar que los juegos descritos, con los que se busca medir las variables de interés,
son no-cooperativos. Esto significa que los jugadores toman sus decisiones de manera
independiente, sin comunicarse con los demás jugadores y sin observar sus decisiones presentes.
Por tanto, cualquier desviación de este protocolo puede generar problemas de contaminación. Pero
resolver este riesgo es sencillo: la infraestructura y la logística empleadas en las sesiones deben
impedir que los sujetos se comuniquen entre sí, o puedan enterarse de las decisiones simultáneas
que toman otros participantes.
Página 90 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Pérdida de Muestra
La pérdida de muestra, o el attrition, no corre por cuenta de no poder contactar a los participantes
en diferentes momentos del tiempo. Esto no es un problema ya que esta evaluación no tiene línea
de base. No obstante, podría ocurrir que se seleccionen individuos para que participen en los
experimentos y que estos no se presenten. Por supuesto, esto sería inconveniente en tanto la
muestra se reduciría, generando problemas de eficiencia estadística y sesgos. Tres estrategias
ayudarán a prevenir este problema. Primero, es clave utilizar canales eficientes de comunicación
con los invitados (tratamientos y controles). Además de usar los datos de contacto, las personas a
cargo de las CJ o CCC son cruciales en esta tarea. Segundo, es necesario utilizar los registros
administrativos más actualizados posibles. Tercero, en la convocatoria se mencionará que hay un
incentivo monetario para quienes participen.
Sobre este último punto, es fundamental que los experimentos sean rentables económicamente
para los participantes. Para esto, como se mencionó anteriormente, se propone un pago por
asistencia de $10.000 COP, y un pago total promedio por participar de al menos $30.000 COP. Es
importante comparar esta medida contra el salario mínimo diario vigente en Colombia, por lo que
una remuneración de $30.000 por aproximadamente 2 horas de participación resulta rentable para
las personas de estos tres grupos. Finalmente, para garantizar que a cada sesión lleguen al menos
16 participantes requeridos, la práctica habitual en los experimentos de laboratorio y de la
experiencia que tiene de la evaluación del Programa Familias en Acción, es invitar a más personas
de las requeridas, en el caso de esta evaluación fue de 50% adicional. Para el caso de esta
evaluación, dado que se necesitan mínimo 16 participantes, se espera confirmar al menos 30
personas que hayan sido elegidas para participar. En caso de que lleguen más, o que llegue un
número impar de participantes, a los sobrantes se les pagará los $10.000 COP del pago por asistir,
se les agradece por su tiempo y se les pide que se retiren. En cualquier caso, dadas las condiciones
económicas de esta población, es de esperar que los niveles de no-asistencia sean más bajos que en
los experimentos de laboratorio convencionales.
Incumplimiento
Página 91 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Aunque existen varias formas de llevar a cabo un ejercicio de triangulación, este puede darse
mediante el uso de múltiples perspectivas/procedimientos/métodos teóricos, fuentes de datos,
investigadores o teorías para recopilar e interpretar los datos y ver al final, cómo estos convergen
en una representación precisa (Brink, 2003; Hilton, 2003).
Para esta evaluación, la triangulación viene dada por el mismo diseño dado por el DNP, donde es
necesario conducir la investigación desde una visión interdisciplinaria con múltiples métodos
complementarios y con múltiples puntos de vista provenientes de los diferentes actores
involucrados tanto en el diseño como en cada una de las etapas de implementación del PNCJCCC,
además de una revisión exhaustiva documental de información relevante.
Por lo tanto, la evaluación institucional y de resultados del PNCJCCC es compleja en la medida que
involucra diversas estrategias de recolección de datos: métodos mixtos (teniendo en cuenta
además de los instrumentos cualitativos, los experimentos comportamentales y los formularios
complementarios), múltiples actores con diversas opiniones sobre el programa (los tomadores de
decisiones, los que implementan la intervención y aquellos impactados por el programa), la revisión
información documental y de bases de datos incluyendo el SICJ, y para finalizar, un equipo de
investigadores interdisciplinarios que permitirá enriquecer la evaluación.
Así, para dar respuesta a las preguntas orientadoras de la evaluación institucional y de resultados, y
para formular recomendaciones acertadas y pertinentes, es necesario, además de contar con un
marco de la evaluación que para este caso es el de los sistemas complejos, poder sintetizar los
hallazgos de los múltiples instrumentos de recolección de información. Para ello, se propone una
metodología de triangulación múltiple que permite robustecer el análisis y validar los resultados al
articular e integrar los hallazgos entre las diferentes estrategias de recolección de datos. Esta
metodología busca analizar los resultados utilizando técnicas de triangulación entre métodos, entre
actores involucrados, entre fuentes de información y finalmente entre investigadores, para lo cual,
se utilizan dos herramientas básicas: la matriz de consistencias como guía base para responder a las
preguntas orientadoras, y la matriz de hallazgos, conclusiones y recomendaciones (HCR) como
estrategia de organización de la información de los diferentes métodos.
Página 92 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
La estrategia de métodos mixtos en la evaluación se justifica no solo por la solicitud implícita de los
pliegos de condiciones sino por la profundidad del análisis y la información adicional y
complementaria que puede desprenderse del análisis conjunto de ambos métodos. Como lo
menciona Hamui-Sutton (2013), la investigación con métodos mixtos va más allá de la suma de lo
cuantitativo y lo cualitativo, pues el análisis permite superar las limitaciones de ambos métodos,
ampliando el panorama y fortaleciendo la validez de la interpretación de los resultados. Por lo
tanto, esta evaluación contempla la articulación de los análisis cualitativos y los cuantitativos para
robustecer los resultados.
La triangulación entre métodos pretende generar categorías de análisis que sean comparables
entre los resultados cuantitativos y cualitativos. De una parte, la información cualitativa recolectada
en el trabajo de campo será analizada a través de un within-method analysis para encontrar ideas
transversales y patrones tanto por las 5 CJ como por los 3 CCC.
Por otro lado, se propone complementar el análisis cuantitativo, tanto de los experimentos como
de las bases de datos complementarias, a través de la información cualitativa de los componentes
institucional y resultados, y de la revisión documental. El análisis se realizará utilizando la matriz de
consistencias, ubicando la información de cada uno de las fuentes de información en dicha matriz,
lo que permitirá explicar ciertos resultados así como identificar cuellos de botella y factores de éxito
asociados tanto con la puesta en marcha del Programa, como con los resultados identificados. De
esta forma, analizando tanto los hallazgos del levantamiento de información cuantitativa como
cualitativa y de información primaria y secundaria se identificarán no solo los resultados, sino los
retos que tienen los actores encargados de la ejecución del PNCJCCC.
Finalmente, para este tipo de triangulación se proponen como mínimo las siguientes estrategias:
En este punto también será muy importante la triangulación entre el componente de evaluación
institucional y el de resultados. Desde el diseño metodológico se plantea que, en las categorías de
análisis cuantitativas y cualitativas, las variables dependientes o analizadas en el componente de
institucional serán tenidas en cuenta como variables que permitan entender los hallazgos del
Página 93 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
La triangulación entre actores permitirá establecer relaciones entre los involucrados en las distintas
etapas del programa entre quienes toman decisiones de política pública y los directamente
impactados por el programa. Para ello, se analizarán los resultados de los instrumentos de
recolección tanto cualitativos como cuantitativos y por tipo de actor. Se tendrán en cuenta las
interacciones y significados que se dan: i.) Al interior de las CJ y CCC identificando los diferentes
roles y canales de comunicación, ii.) Los diferentes niveles territoriales en los que se desenvuelve el
Programa (nacional y municipal), iii.) La visión de los beneficiarios (tanto en el componente
comportamental como en los talleres participativos).
Estas fuentes han sido descritas con precisión en la matriz de consistencias de la evaluación. A
partir de esto, será posible triangularlas para el análisis, como mínimo en los siguientes aspectos:
Página 94 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
i) Deber ser del acuerdo institucional del PNCJCCC, de acuerdo con las leyes, decretos,
resoluciones y documentos del plan nacional de desarrollo versus la realidad del
programa de acuerdo con las entrevistas en el nivel nacional y local.
ii) La revisión de investigaciones y otra información secundaria, y el análisis de
información complementaria que permita establecer las diferentes teorías de cambio
que pueda tener el programa así como la identificación de hipótesis alternativas versus
los resultados del PNCJCCC, de acuerdo con los experimentos y las percepciones
(significados) de los participantes, levantadas en los talleres.
Esta triangulación se realizará por etapas. En primer lugar, se analizarán los documentos sobre el
PNCJCCC: decretos, guías de implementación, estadísticas de entrada y salida de los participantes,
información financiera y presupuestal, entre otros. Posteriormente, esta información será
comparada con la información recolectada de fuentes primarias en entrevistas, talleres grupales y
sesiones comportamentales.
Los resultados del análisis de esta información servirán para resolver las preguntas orientadoras de
los dos componentes de la evaluación y servirá de insumo para las recomendaciones de política
pública.
Página 95 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
sentido, es importante poder identificar no solo durante el diseño, sino a lo largo del desarrollo de
la evaluación, las categorías de análisis de la misma.
El proceso de construcción de esta matriz consiste en responder cada una de las preguntas
orientadoras a partir de la identificación de hallazgos provenientes de las diferentes fuentes de
información. Cada hallazgo puede determinar la forma de responder una pregunta, y puede validar,
desafiar o extender los resultados encontrados por otro hallazgo. Cada uno de estos hallazgos
permite la generación de una o más conclusiones respecto a una pregunta, pero es claro que la
conclusión contiene como valor agregado el análisis del equipo de investigadores. Finalmente,
agrupar un número de conclusiones sobre un mismo tema permitirá establecer una o varias
recomendaciones, las cuales como se ha dicho, deberán ser propuestas bajo el enfoque de la
evaluación de sistemas complejos.
Además de la utilidad de esta matriz para la triangulación, esta estrategia de permite realizar un
trabajo sistémico de generación de conclusiones y recomendaciones basadas en la evidencia, y no
de los conceptos de los expertos. Asimismo, es importante notar que esta estrategia permite
materializar la triangulación múltiple anteriormente descrita, pues se aprovecha el potencial y las
ventajas tanto del enfoque cuantitativo como del cualitativo, la riqueza que produce la
interdisciplinariedad, y se establecen relaciones entre los sujetos indagados para construir
significados a partir de la intersubjetividad. Por último, vale la pena destacar que se contará con un
espacio final para la triangulación de la información, el cual es la realización de una mesa de
expertos que se llevará a cabo antes de la entrega del último producto y que permitirá a la UT
retroalimentar las recomendaciones y afinarlas con el propósito de que se ajusten a un escenario
institucional, normativo y de recursos más realista, partiendo de las diferentes perspectivas y
experiencias de los expertos invitados a dicho espacio.
Página 96 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
El tipo de muestreo que se va a proponer tiene dos características principales. En primer lugar, en
tanto hace parte de un enfoque cualitativo, es una muestra intencional (Patton, 1987). Esto quiere
decir que no obedece a criterios de aleatoriedad ni representatividad estadística, sino de la
relevancia de los datos cualitativos que pueden obtenerse para una descripción y análisis profundo
del punto de la vista de la persona, sus prácticas y significados. Como sostiene Patton (1987), el
objetivo central de las muestras intencionales es generar casos que sean ricos en información y
que, al mismo tiempo, sirvan para entender a profundidad los asuntos centrales de la evaluación.
En segundo lugar, se va a usar lo que el autor anteriormente citado denomina criterio de variación
máxima para escoger los lugares y las unidades muestrales. Dado que la necesidad de la evaluación
demanda seleccionar una muestra pequeña en cuanto a lugares y personas, sería errado pretender
que a partir del trabajo de campo realizado en 8 municipios, por ejemplo, se puedan extrapolar sus
conclusiones al funcionamiento en general del PNCJCCC en el país: no se alcanzarían a cubrir las
variaciones demográficas, culturales, sociales, económicas y de implementación del programa que
se necesitarían tener en cuenta para poder sacar conclusiones acerca del programa. No obstante,
se puede aprovechar esta misma limitación, “radicalizarla” y convertirla en una fortaleza
metodológica.
Con respecto al segundo propósito, la heterogeneidad de las características de los casos puede
darles mayor peso a los patrones, los resultados y experiencias compartidas que emerjan a partir
del análisis. En la medida que los casos difieren entre sí en un grado considerable, el investigador
puede tener más confianza en la determinación de los patrones significativos y las cadenas
33Los parecidos de familia son un término y un método de investigación que propuso originalmente Wittgenstein (1988)
con respecto a los juegos de lenguaje.
Página 97 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
causales, bien sea con respecto al análisis institucional o con respecto a los resultados, pues
elementos como la cultura, la demografía, las fuerzas del entorno y la capacidad de las instituciones
van a ser elementos que van a variar. Como sostiene nuevamente Patton (1987), la significancia y la
fuerza de los patrones comunes del muestreo de variación máxima radica en que “emergen a pesar
de la heterogeneidad” (pág. 53).
Lugares
Teniendo en cuenta el tipo de muestreo propuesto, se va a comenzar con los lugares en los que se
va a realizar el trabajo de campo. Para esta tarea se hará uso de varios criterios de selección
combinados estratégicamente. Estos criterios son los siguientes:
Inclusión por defecto. La inclusión por defecto es aquella selección cuyos criterios son forzosos en el
sentido que pueden venir determinados de antemano (e.g. por los pliegos de la evaluación), por la
disponibilidad de casos o por las características del objeto de estudio.
Heterogeneidad. Con estos criterios se busca cumplir el objetivo del tipo de muestreo en el sentido
que se de variación entre las características de los diferentes casos. Para el caso de esta evaluación
se emplearán criterios de variación geográfica34, demográfica (tamaño de la ciudad y nivel de
ruralidad) y de tiempo creación de la entidad.
Teniendo en cuenta estos criterios, se procede por etapas a la selección de lugares. Siguiendo el
criterio de inclusión por defecto, se tiene que los siguientes departamentos están preseleccionados
en los pliegos de condiciones de la evaluación: para las CJ (que deben ser 5 en total), los
departamentos de Antioquia, Bolívar y Chocó; para los CCC (que deben ser 3 en total), los
departamentos de Arauca y Norte de Santander. Siguiendo con este nivel de desagregación, para
las CJ, apelando a su vez al criterio de variación geográfica, pueden proponerse los departamentos
adicionales de Guaviare (Amazonía) y Casanare (Orinoquía-Llanos). De esta manera, se tendrían CJ
ubicadas en departamentos pertenecientes a distintas regiones del país: Antioquia (Eje Cafetero y
Antioquia), Bolívar (Caribe), Chocó (Pacífico), Guaviare (Amazonía) y Casanare (Orinoquía-Llanos). El
mismo criterio se aplicaría en el caso de los CCC: aparte de Arauca (Orinoquía-Llanos) y Norte de
Santander (Santanderes), se propone el departamento de Nariño que, si bien se hace parte de la
región Pacífico, es un departamento ubicado al sur este del país.
Luego de seleccionar los departamentos a partir del criterio de variación geográfica, se barajan
otros criterios que permitan especificar municipios y, si es el caso, CJ y CCC en su interior. Sin
embargo, existen desde un comienzo circunstancias de inclusión forzosa que es necesario tener en
cuenta: el único municipio de Bolívar que cuenta con una CJ es Cartagena y de Guaviare, San José
del Guaviare; por lo tanto, estos municipios quedan automáticamente seleccionados, al igual que
Túquerres, Nariño, para el caso de los CCC. Ahora bien, aparte de estos municipios, se emplea a
34Para los criterios de variación geográfica se propondrá utilizar contar con variabilidad en las regiones del PND, no
obstante, no quiere decir que cada región será representada por un departamento o municipio.
Página 98 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
renglón seguido un criterio de variación demográfica, buscando que en la muestra de las CJ y CCC
queden casos de ciudades y aglomeraciones de varios tamaños, municipios rurales y municipios
rurales dispersos35.
Este ejercicio da como resultado la siguiente propuesta para las CJ: en Antioquia se selecciona el
municipio de Medellín, como caso de ciudad grande. Aunque las otras ciudades se escogieron por
defecto (Cartagena y Yopal), sus tamaños, economías y localización aseguran igualmente
heterogeneidad. Resta por seleccionar el municipio del Departamento del Chocó. Teniendo en
cuenta que San José del Guaviare es clasificado como municipio rural, se selecciona Carmén del
Darién como caso de municipio rural disperso. Para los CCC, teniendo en cuenta que Túquerres,
seleccionado por defecto, es un municipio clasificado como intermedio, queda por variar la muestra
con ciudades y municipios rurales. Cúcuta queda seleccionada automáticamente (no hay ciudades
en Arauca que tengan CCC) y, como caso de ruralidad, se propone el municipio de Arauquita. Con
esto queda completada la selección de municipios.
En algunos de ellos, la selección de las CJ y los CCC respectivos, vienen por defecto: solo hay una de
dichas entidades. Este es el caso de Carmen del Darién (Chocó), San José del Guaviare (Guaviare), y
Yopal (Casanare), con respecto a la muestra de CJ; los CCC, salen todos seleccionados por defecto:
solo hay uno en los respectivos municipios seleccionados. Queda entonces por escoger las CJ que se
van a visitar en Medellín y Cartagena. Se proponen en este punto como criterio la antigüedad:
escoger una CJ cuya creación sea lo más alejada posible en el tiempo y otra lo más cercana, con el
fin de tener entre la muestra entidades que están en momentos distintos de sus procesos de
consolidación y adaptación. Teniendo en cuenta este criterio, se propone la CJ de Chiquinquirá en
Cartagena (año 2000) y Veinte de Julio en Medellín (2014). Estas son las CJ más alejadas en el
tiempo entre aquellas que se ubican en los municipios mencionados.
Dicho todo lo anterior, la selección de casos se resume en el siguiente cuadro. Nótese que, tal y
como se propuso no existe un criterio geográfico o demográfico que sea común a todos los casos.
En este sentido, la muestra cumple con el propósito de garantizar el objetivo de la variación
máxima.
35 Se consultó para ello la clasificación de municipios según el nivel de ruralidad del DNP.
Página 99 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana
Centros de Convivencia
Criterio Casas de Justicia
Ciudadana
selección
Antioquia Chocó Bolívar Guaviare Casanare Arauca N. Stder Nariño
Hay que advertir que esta propuesta es una propuesta inicial, que puede ser modificada a medida
que avance la evaluación y se encuentren otros criterios razonables relacionados, por ejemplo, con
indicadores del SICJ.
Con respecto a los instrumentos que hay que aplicar en cada uno de los municipios que se van a
visitar, estos ya vienen distribuidos por defecto36, tal y como aparecen en los pliegos. En el nivel
nacional, se deben aplicar los siguientes instrumentos:
36 Hay que notar que la UT propone entrevistar dos actores más, USAID y OIM. La cooperación internacional ha sido
fundamental en la implementación del Programa. En el año 1995, la Agencia de los Estados Unidos para el Desarrollo
Internacional -USAID apoyó al Gobierno Nacional en la planeación, construcción e implementación de la primera Casa de
Justicia y actualmente, ha priorizado sus esfuerzos para apoyar el PNCJCCC en los departamentos de Chocó. Nariño,
Putumayo, Antioquia y Cauca como contribución a la construcción de una paz sostenible. Así mismo la Organización
Internacional para la Migraciones- OIM, en 2002 ejecutó los recursos proporcionados por USAID y brindó
acompañamiento técnico en la construcción e implementación del primer Centro de Convivencia Ciudadana. Además, ha
acompañado al Gobierno Nacional en varias estrategias de acceso a la justicia, como la Justicia Juvenil Restaurativa.
En el nivel territorial, por su parte, deben aplicarse en cada uno de los municipios seleccionados los
siguientes instrumentos:
Con respecto a la distribución anterior, hay que aclarar que las entidades concretas se
seleccionarían más adelante, cuando el equipo tenga acceso al directorio actualizado de las
entidades que hacen presencia en las CJ y en los CCC de cada territorio. Esto quiere decir,
igualmente, que esto esta selección está sujeta a la presencia efectiva de las entidades en los
municipios seleccionados. Sin embargo, antes que ser una debilidad, esto le añade fuerza a la idea
de heterogeneidad, pues es posible que no siempre se encuentren, para los temas propuestos por
defecto en los pliegos, las mismas entidades en los mismos municipios.
Resta por hacer explícitos los criterios de selección de las personas que van a participar en los
instrumentos. Al igual que en el caso de los lugares, existen unos criterios por defecto relacionados
con el cargo y las características de los informantes (aquellos conocidos en la literatura cualitativa
como informantes clave, es decir, que tengan un conocimiento o una experiencia suficiente para
hablar de los temas en cuestión). A estos criterios se les va a añadir, en los casos que aplique, el
género y la etnia. A continuación se presenta el cruce entre estos criterios y los instrumentos que se
van a aplicar.
• Problemas de orden público. Es importante mencionar que es posible que el desarrollo del
trabajo de campo se de en zonas o municipios en los que se presentan problemas de orden
público. Esto puede presentar riesgos para la seguridad de las personas involucradas en la
evaluación y por lo tanto es importante tomar medidas de mitigación de riesgo en este
aspecto.
• Los funcionarios que participan de las entrevistas individuales y grupales y demás
instrumentos de recolección grupal. Los retos asociados a este grupo no solo implica la
continuidad de los programas en los contextos locales teniendo en cuenta los cambios de
gobierno, así como el conocimiento limitado por parte de nuevos funcionarios, sino que
también incluye los retos asociados a coordinación de agendas y la disposición de brindar
información en actividades grupales.
• Los usuarios de las CJ y CCC. La dificultad para contactar y convocar a la población usuaria
de las CJ y CCC, teniendo en cuenta que han acudido como víctimas de hechos delictivos y
no quieren exponer sus experiencias. Asimismo, es importante mencionar cómo se van a
manejar estas experiencias durante el desarrollo de los talleres.
• Los no usuarios de las CJ y CCC que servirán de control para los experimentos. Este grupo
presenta dos retos importantes: la consecución de información que permita seleccionar a
las personas adecuadas para el grupo control, y su sensibilización teniendo en cuenta que
no perciben ningún vínculo o compromiso con el PNCJCCC.
En caso de que las autoridades reporten condiciones que pongan en riesgo la integridad y la labor
del equipo de la evaluación, se aplazará la visita a la zona o el municipio correspondiente y se
realizará un seguimiento semanal de la situación para determinar la posibilidad de ejecutar el
trabajo de campo. Si tras un mes no se presenta una mejoría, se solicitará a las autoridades una
comunicación escrita que exponga la situación de orden público, para justificar y definir el
reemplazo de la CJ y CCC con el Comité Técnico de la evaluación.
Durante el trabajo de campo todas las actividades se realizarán en el casco urbano de los
municipios y se propenderá por usar los espacios disponibles en las CJ o CCC. En caso de que
algunas de las personas seleccionadas para los talleres y los experimentos habiten en zonas rurales,
se asumirá el pago de su transporte hasta el lugar de ejecución de las actividades. No obstante, las
CJ y CCC suelen operar de manera sectorizada, por lo que se anticipa que, de presentarse estos
casos, se tratará de excepciones.
Además de tener en cuenta los factores contextuales que puedan afectar el orden público, la
estrategia para abordar este reto y disminuir los riesgos incluirá medidas preventivas y reactivas (en
caso de una alteración) para el equipo de investigadores. Por consiguiente, antes de comenzar el
trabajo de campo se realizará una capacitación que incluirá un módulo sobre el tema y cada
investigador recibirá una cartilla con el protocolo de seguridad. El protocolo con las
recomendaciones y procedimientos incluidos en la capacitación y la cartilla se presenta en la
siguiente tabla:
Aspectos generales
o Carné de la EPS
o Carné de la empresa o entidad (si aplica)
Actitud y presentación personal
En caso de que el equipo en campo no se reporte durante un día, ni sea posible establecer
comunicación, las personas en la dirección y coordinación del trabajo de campo emitirán una alerta
a las autoridades locales.
Por lo anterior, al comenzar la estrategia de acercamiento a estos actores se tomarán medidas para
verificar que la persona a entrevistar sea el informante idóneo: alguien con conocimiento del
programa y su desarrollo y articulación interinstitucional. Así, la estrategia de acercamiento a la
institucionalidad contemplará comunicaciones oficiales del DNP presentando el estudio, así como
realizar llamadas telefónicas en las que se preguntará brevemente cuál es la relación del
funcionario seleccionado con el PNCJCCC y cuánto tiempo lleva en el cargo. Como medida de
respaldo, se enviará por correo electrónico una lista general de los temas que se abordarán, para
que las personas conozcan el alcance del ejercicio y, de ser necesario, preparen información
adicional. Así se verificará la idoneidad de cada uno de los entrevistados. En caso de que los
funcionarios actuales no tengan conocimientos suficientes sobre el PNCJCCC, se solicitará su apoyo
para contactar a los funcionarios salientes, después de obtener el visto bueno del CTS.
Por otra parte, es importante tener en cuenta que las entrevistas se aplicarán de manera grupal, lo
cual puede generar retos adicionales frente a dos aspectos. Por un lado, es necesario coordinar una
fecha y horario en la que todos los funcionarios de las entidades involucradas en un tema tengan
disponibilidad. Para ello se realizará el agendamiento con al menos una semana de anticipación y se
destinarán dos investigadores para que asistan a cada CJ y CCC, permitiendo flexibilidad en los
horarios e incluso la realización simultánea de las entrevistas (siempre y cuando no haya
funcionarios que deban estar en dos entrevistas diferentes).
El segundo aspecto está relacionado con uno de los principales temas de interés de la evaluación: la
articulación institucional. Es posible que la relación entre algunas entidades no fluya
adecuadamente o incluso que se presenten conflictos entre funcionarios, así que algunos de ellos
pueden no estar dispuestos a expresar con total sinceridad sus opiniones en presencia de los
demás. Por lo tanto, en primer lugar, se aclarará que la entrevista no está interesada en
señalamientos individuales ni en evaluar a las personas. No obstante, se dará la posibilidad de hacer
un segundo contacto donde se provea información por correo electrónico u otro canal, en el que
los funcionarios podrán dirigir sus opiniones o comentarios garantizando la total confidencialidad
de la información. Es importante mencionar que el uso del correo electrónico permitirá disponer de
la información en formato escrito, lista para ser incluida y codificada en la unidad hermenéutica.
Las razones por las que las personas acuden a las CJ y CCC son variadas, desde problemas civiles,
conflictos entre vecinos y pérdida de documentos hasta conflictos familiares y problemas penales
como el hurto o el abuso sexual (Carvajal, 2016). Esto quiere decir que para algunas personas su
paso por las CJ y CCC puede haberse reducido a una consulta sencilla, mientras que para otras
puede significar rememorar un evento traumático. No obstante, tanto para unas personas como
para otras, es probable que se haya tratado de unas experiencias relacionadas con situaciones,
como mínimo, incómodas o desagradables. Por consiguiente, uno de los principales retos para el
trabajo de campo es el contacto y la convocatoria de los usuarios de las CJ y CCC, tanto para el
desarrollo de los talleres participativos como para los experimentos. Igualmente, durante el
desarrollo de los talleres también se constituye un reto el manejo de estas experiencias, de modo
que su relato no interfiera con el levantamiento de la información que incumbe a la evaluación ni
con el bienestar de los participantes.
Ante este escenario, la estrategia de acercamiento a los usuarios se realizará a través de las CJ y
CCC. Para ello, el primer paso será solicitar los listados de usuarios incluidos en el SICJ o en el
registro de cada CJ y CCC. Esto con el fin de identificar a las personas que cumplan con las
características que requieren las muestras de las sesiones experimentales y los talleres
participativos. En caso de que los listados y la información de contacto de las personas estén
desactualizados, se consultará con el Comité Técnico de la evaluación la posibilidad de cotejarlos
con las bases de datos del SISBEN, Departamento de Prosperidad Social y Red Unidos, por
mencionar algunas. Para ello se redactará una solicitud formal presentando los objetivos de la
evaluación y de las actividades, así como las entidades a cargo y el uso estricto que se dará a la
información.
Además de la muestra mínima para el desarrollo de las sesiones grupales, al seleccionar a los
participantes se incluirá una sobre muestra. Dado que una parte de los usuarios registrados en las
CJ y CCC se acercan solamente a resolver dudas o recibir orientaciones, en las bases de datos se
revisarán las variables que permitan seleccionar a las personas que hayan tenido un mayor contacto
o involucramiento con los diferentes procesos desarrollados en las CJ y CCC. También se revisará el
SICJ o los archivos de las CJ y CCC para verificar que las personas seleccionadas no hayan estado
involucradas en el mismo proceso jurídico, pues sería altamente probable que surgiera algún tipo
de malestar si son convocadas simultáneamente personas en conflicto o víctimas y victimarios.
El proceso de selección de los usuarios participantes iniciará de manera paralela con la prueba
piloto. La estrategia de acercamiento con población usuaria iniciará con una comunicación
telefónica y otra por correo electrónico con el personal de las CJ y CCC. Por ambos canales se
presentará el objetivo de la evaluación, las entidades a cargo, las actividades a desarrollar y la
solicitud de la información recién descrita. No obstante, de presentarse algún problema en el
contacto, la solicitud o el envío de la información, un supervisor de campo visitará la CJ y CCC
respectiva. Esto aprovechando la presencia de Ipsos en 18 ciudades del país, desde las cuales será
posible desplazarse con facilidad.
Como se mencionó anteriormente, es probable que gran parte de los usuarios no estén interesados
en asistir a compartir sus experiencias o participar de los experimentos. Por ende, el contacto inicial
se realizará a través de personas que tengan un relativo nivel de confianza con las personas de la
comunidad. Tal puede ser el caso de los conciliadores en equidad, quienes actúan como
mediadores escogidos por los mismos miembros de las comunidades y por lo tanto cuentan con
legitimidad entre la población. De acuerdo con la Ley 23 de 2001 (citada en Cuellar, 2018) los
conciliadores en equidad son líderes comunitarios con cualidades humanas como la capacidad de
dialogar, a través de las cuales se fortalece la convivencia y el tejido social. Su misión es justamente
crear canales de comunicación entre el entorno social y las instituciones (Cuellar, 2018).
Tanto para el contacto que realizarán los conciliadores en equidad, como para introducir cada una
de los talleres y experimentos con los usuarios, se elaborará un guion de sensibilización adicional al
formato de consentimiento informado. Su principal propósito será estimular su participación al
aclarar el propósito de las actividades, el tipo de información que se recolectará y la relevancia de la
Por lo anterior, le solicitamos que tenga en cuenta que queremos conocer su opinión sobre los
servicios de las CJ y CCC independientemente de si el dictamen o el resultado del proceso lo
favoreció o era el que usted esperaba.
Para su tranquilidad, le aseguramos que las otras personas involucradas en el proceso en el que usted
tomó parte no estarán presentes en las actividades de la evaluación en las que participará.
Con su participación permitirá recoger información útil para formular recomendaciones que ayuden a
mejorar el acceso de las personas a la justicia, la convivencia ciudadana y la solución de conflictos en su
comunidad.
Para sesiones experimentales: Si decide asistir a la sesión tendrá la posibilidad de participar en un juego
en el que podrá obtener ganancias en dinero.
Para talleres participativos: En agradecimiento por su tiempo y participación, al final de la sesión recibirá
un bono Big Pass equivalente a una suma de dinero.
No obstante, además de los puntos mencionados en este guion, al contactar a los usuarios y al
iniciar cada sesión se realizará el proceso de consentimiento informado. Para ello se utilizará un
formato escrito que será leído y explicado a los participantes, en el cual se incluirán los siguientes
puntos:
El reto derivado de las posibles experiencias negativas de las personas en las CJ y CCC no se limita al
proceso de contacto y convocatoria. El desarrollo de los talleres constituye un reto mayor debido a
que, a pesar del guion de sensibilización, pueden emerger relatos sobre experiencias que generen
malestar entre los participantes. Esto teniendo en cuenta que las razones por las que las personas
acuden a las CJ y CCC pueden implicar temáticas sensibles relacionadas con controversias o
conflictos sociales; situaciones que causen estigmatización al revelarse o situaciones consideradas
como privadas (Lee, 1993, citado en Powell, McArthur, Chalmers, Graham, Moore, Spriggs & Taplin,
2018).
Por lo tanto, como una primera medida preventiva se solicitará a las CJ y CCC un espacio cerrado,
privado y sin interferencias para realizar los talleres y sesiones experimentales. Además, se hará
énfasis en que los investigadores de la UT no están vinculados en ningún sentido con las CJ y CCC, y
por consiguiente, la información reportada no tendrá ninguna repercusión en el proceso jurídico de
cada persona. Otras acciones a las que se recurrirá para promover la confianza serán:
Frente al último punto, la naturaleza de la misión que cumplen las CJ y CCC implica que es
prácticamente un requisito adoptar un enfoque de acción sin daño, a partir del cual no se
exacerben los conflictos que enfrentan las comunidades en cada zona o municipio del país (Vela,
Rodríguez, Rodríguez & García, 2011). Por ende, con la información suministrada previamente por
las CJ y CCC para la selección de las muestras, los investigadores encargados de visitar cada
municipio deberán realizar una revisión breve que tenga en cuenta los elementos señalados a
continuación.
Identificar entidades presentes en cada CJ y CCC, principales razones por las que la población
general de usuarios acude a ellas y razones específicas por las que acuden los usuarios
seleccionados para las actividades de la evaluación.
Conectores Divisores
Factores que conectan o unen a las personas: Factores de tensión o división entre las
personas:
• Instituciones (ej. instituciones que • Instituciones (ej. figuras del gobierno y
estimulan el respeto, la paz y la el Estado asociadas a la polarización
convivencia). política).
• Actitudes (ej. confianza, solidaridad o • Actitudes (ej. comportamientos
generosidad). violentos para la resolución de
• Valores e intereses (ej. cuidado de las conflictos).
niñas y niños). • Valores e intereses (ej. sistemas de
• Experiencias (ej. capital social o creencias que legitiman la
sentido de pertenencia a una discriminación hacia grupos
comunidad). específicos).
• Experiencias.
3. Consideración del impacto de la acción (evaluación)
Consideración de los conectores y divisores que pueden llegar a ser abordados durante los
talleres participativos, de modo que sea posible establecer principios compartidos por los
asistentes (que promueven la convivencia al tiempo que facilitan el desarrollo de la sesión) y
elementos externos a la evaluación que puedan vulnerar u ofender a los participantes y
perjudicar el desarrollo de los talleres.
Fuente: elaboración propia a partir de Vela, Rodríguez, Rodríguez & García (2011).
Sobre el enfoque de acción sin daño es pertinente aclarar que se busca fortalecer las capacidades
para la paz y la convivencia y evitar la exacerbación de conflictos. En otras palabras, no se busca
evitar las discrepancias en las opiniones o criterio de los participantes.
Un último reto implícito en los talleres participativos será el mantenimiento de una discusión
colectiva entre los participantes. Para ello será necesario tener en cuenta la diversidad del grupo,
por ejemplo, en términos de edad, educación u ocupación. También deberá considerarse que, pese
a la utilidad de los relatos o historias para aterrizar y concretar la discusión, es importante que esta
vaya más allá de lo anecdótico. La intención es que los talleres participativos permitan entablar un
diálogo y que los mismos participantes elaboren sus propias conclusiones e interpretaciones de
manera conjunta, aunque posteriormente los investigadores analicen la información.
Para conformar el grupo control de las sesiones experimentales será necesario contactar y convocar
a población no usuaria del PNCJCCC. Este proceso implica considerar una estrategia que permita
abordar dos retos: la consecución de información que permita seleccionar a personas adecuadas
para el grupo control y su sensibilización, teniendo en cuenta que no perciben ningún vínculo o
compromiso con el programa. Dado que la UT enfrentó con éxito un reto similar para el desarrollo
de las sesiones experimentales en la evaluación del Programa Familias en Acción, la estrategia
descrita a continuación incluirá algunos procedimientos probados recientemente en campo, los
cuales guiaran la estrategia de acercamiento con este grupo.
1. Solicitud de bases de datos o listados del SISBEN al DNP y Red Unidos al Departamento de
Prosperidad Social, mediante una comunicación formal con la presentación de la
evaluación, las entidades a cargo (DNP, Ministerio de Justicia y UT) y el uso que se dará a la
información.
2. Definición de características de los participantes del grupo de tratamiento (usuarios),
incluyendo su municipio, barrio o zona, edad, género y puntaje SISBEN.
3. Búsqueda de potenciales participantes del grupo control (no usuarios) con características
similares a las del grupo de tratamiento (no usuarios) y emparejamiento.
4. Selección de no usuarios con sobre muestra (incluso mayor a la sobre muestra de usuarios),
considerando que su tasa de inasistencia suele ser más alta por no percibir ningún tipo de
vínculo o compromiso con el PNCJCCC (según la experiencia adquirida en la convocatoria de
la evaluación de Familias en Acción).
5. Contacto de enlaces del Departamento de Prosperidad Social en el nivel local para solicitar
su apoyo en dos procedimientos:
• Verificación de la actualización de los teléfonos o datos de contacto de los no usuarios,
teniendo en cuenta que los listados del nivel local suelen estar más actualizados que los
del nivel nacional)
• Contacto y sensibilización inicial de los no usuarios, presentando preliminarmente el
propósito de las actividades.
6. Contacto telefónico de los no usuarios a partir de un guion de sensibilización similar al
previamente utilizado por la UT para la convocatoria de no usuarios a las sesiones
experimentales de la evaluación de Familias en Acción (ver siguiente recuadro).
Usted ha sido invitado(a) a hacer parte de una sesión de economía experimental que tiene una duración
aproximada de 2h30 y se realizará el día _______ en _________ (lugar de la actividad) en la
ciudad/municipio de __________. Su participación en esta actividad es voluntaria y al final le entregarán
un bono como incentivo por haber participado.
Para esta actividad se hará usos de tabletas. Habrá personal de apoyo que lo ayudará durante la sesión.
Recogiendo los puntos mencionados a lo largo de esta sección, además del repaso detallado de la
evaluación y de los diferentes instrumentos, la capacitación para los investigadores incluirá los
siguientes temas:
Cronograma
A continuación se presenta el cronograma de la evaluación, el cual se espera desarrollar en 9 meses:
Mes Noviembre Diciembre Enero Febrero Marzo Abril Mayo Junio Julio
Semanas 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
Referencias
Alonso, L. E. (2007). Sujetos y discurso: el lugar de la entrevista abierta en las prácticas de la
sociología cualitativa. En J. M. Delgado y J. M. Gutiérrez (Coord.), Métodos y técnicas
cualitativas de investigación en ciencias sociales (pp. 225-240). España: Síntesis.
Berg, J., J. Dickhaut y K. McCabe (1995) “Trust, reciprocity and social history” Games and Economic
Behavior, Vol. 10
Bhagavan, M., & Virgin, I. (2004). Generic Aspects of Institutional Capacity Development in
Developing Countries. (S. E. I. Institute, Ed.) Recuperado el 13 Noviembre de 2019, de
www.sei.se:
https://pdfs.semanticscholar.org/ecd7/3f3b451762ff60123ce6e801ffd80cac6559.pdf
Bicchieri, C. and Xiao, E., (2009). “Do the right thing: but only if others do so”, Journal of Behavioral
Decision Making, 22(2), pp.191-208.
Bicchieri, C., (2016). Norms in the wild: How to diagnose, measure, and change social norms. Oxford
University Press.
Blanco, M., Engelmann, D. and Normann, H.T., 2011. “A within-subject analysis of other-regarding
preferences”. Games and Economic Behavior, 72(2), pp.321-338.
Brink, H.I. 2003. Fundamentals of research methodology for health care professionals. Cape Town:
Juta & Company.
Carvajal, A. (2016). Programa Nacional de Casas de Justicia: Una Esperanza de verdadera justicia.
Universidad Pontificia Bolivariana.
Congreso de Colombia (2000). Decreto 1477 de 2000. Decreto Por El Cual Se Adopta El Programa
Nacional Casas de Justicia. Diario Oficial 44.113.
Cuellar, A.D. (2018). La conciliación en equidad como mecanismo de acceso a la justicia: Casa de
Justicia de la localidad de Kennedy en Bogotá. Pontifica Universidad Javeriana.
Denzin, N. K. y Lincoln, Y. S. (2005). The SAGE Handbook of Qualitative Research. Londres: Sage.
Dohmen, T., Falk, A., Huffman, D., Sunde, U., Schupp, J. and Wagner, G.G., (2011). “Individual risk
attitudes: Measurement, determinants, and behavioral consequences”. Journal of the
European Economic Association, 9(3), pp.522-550.
Freeze, R. D., & Raschke, R. L. (2007, June). An Assessment of Formative and Reflective Constructs
in IS Research. In ECIS (pp. 1481-1492).
Fundación Ideas Para la Paz (2015). Institucionalidad Socavada. Análisis transversal Justicia Local,
Territorio y Conflicto.
García, M., Espinosa, R., Lalinde, S., Arroyave, L & Villadiego, C (2015). Casas de Justicia. Una Buena
Idea Mal Administrada. Centro de Estudios de Derecho, Justicia y Sociedad, Dejusticia.
Glaser, B. G., y Strauss, A. L. (1967). The discovery of Grounded Theory: Strategies for qualitative
research. New York: Aldine.
Güth, Werner, Rolf Schmittberger, and Bernd Schwarze. "An experimental analysis of ultimatum
bargaining." Journal of economic behavior & organization 3.4 (1982): 367-388.
Hilton, A. 2003. Should qualitative and quantitative studies be triangulated? International Society of
Nurses.
Isaac, R.M., Walker, J. (1988). “Group size effects in public goods provision: The voluntary
contributions mechanism”. Quarterly Journal of Economics 103, 179–199.
Kohler, C. (2008). Narrative Analysis. En The SAGE Encyclopedia of Qualitative Research Methods
(pp. 539-540). California, SAGE Publications.
Krupka, E.L. and Weber, R.A., 2013. Identifying social norms using coordination games: Why does
dictator game sharing vary? Journal of the European Economic Association, 11(3), pp.495-
524.
La Rota, M., Lalinde, S., Santa mora, S. & Uprimny, R (2014). Ante la Justicia. Necesidades Jurídicas y
Acceso a Justicia en Colombia. Centro de Estudios de Derecho, Justicia y Sociedad,
Dejusticia.
Ledyard, O., (1995). Public goods: some experimental results. Handbook of experimental
economics, 1.
Lusthaus, C., Anderson, G., & Murphy, E. (1995). Institutional Assessment : A Framework for
Strengthening Organizational Capacity for IDRC's Research Partners. Ottawa: International
Development Research Centre.
Mann, H. B., and D. R. Whitney. (1947). “On a test whether one of two random variables is
stochastically larger than the other”. Annals of Mathematical Statistics 18: 50-60.
Merlinsky, G. (2006). La entrevista como forma de conocimiento y como texto negociado. Cinta
Moebio, 27, 248-255. Recuperado de http://www.moebio.uchile.cl/27/merlinsky.html
Ministerio de Justicia y del Derecho (2012). Programa Nacional de Casas de Justicia. Cartilla “La
Justicia entra por casa”.
Ministerio de Justicia y del Derecho (2015). Documento de Política. Acceso a la Justicia Alternativa,
Programas Nacionales de Casas de Justicia y Centros de Convivencia y Ciudadana.
Ministerio de Justicia y del Derecho (2015). Guía de Implementación Del Programa Nacional De
Casas De Justicia y Centros De Convivencia Ciudadana, “Donde los Valores Ciudadanos
Construyen Paz”.
Ministerio de Justicia y del Derecho (2017). ABC, Plan Decenal del Sistema de Justicia 2017-2027.
Ministerio de Justicia y del Derecho (2017). Plan Decenal Del Sistema De Justicia 2017-2027.
Actuaciones de Policía Judicial y Apoyo Técnico Científico a la Administración de Justicia.
Ministerio de Justicia y del Derecho (2018). Informe de Rendición de Cuentas, Programa Nacional
de Casas de Justicia y Convivencia Ciudadana 2017-2018.
Organisation for Economic Co-operation and Development-OECD. (2010). Glossary of Key Terms in
Evaluation and Results Based Management. Recuperado de:
https://www.oecd.org/dac/evaluation/2754804.pdf
Ostrom, E. (2005). Understanding Institutional Diversity. Princeton and Oxford: Princeton University
Press.
Patton, M. Q., 1987. How to Use Qualitative Methods in Evaluation. Newbury Park(California): Sage.
Powell, M. A., McArthur, M., Chalmers, J., Graham, A., Moore, T., Spriggs, M., & Taplin, S. (2018).
Sensitive topics in social research involving children. International Journal of Social Research
Methodology. https://doi.org/10.1080/13645579.2018.1462882
Ramalingam, B.; Jones, H.; Reba, T. and Young, J. (2008). Exploring the science of complexity : Ideas
and implications for development and humanitarian efforts. ODI Working Paper 285.
London, UK, Overseas Development Institute. Retrieved from the World Wide Web:
http://www.odi.org.uk/resources/odi-publications/working-papers/285-
sciencecomplexity.pdf
Ricoeur, P. (1998). Tiempo y narración. (Vol. 1: “Configuración del tiempo en el relato histórico”).
México: Siglo XXI.
Rogers, P. J. (2008). ‘Using Programme Theory to Evaluate Complicated and Complex Aspects of
Interventions’. In: Evaluation, vol. 14, no. 1, p. 29-48.
Saldaña, J. (2016) The coding manual for qualitative researchers. London: Sage.
Secretaría Distrital de Bogotá (2005). Convenio Interadministrativo 01-09-2005. Convenio Local Para
El Desarrollo y Puesta En Funcionamiento Del Programa De Casas De Justicia y Convivencia
Ciudadana En Bogotá D.C.
Selten, Reinhard, and Rolf Stoecker. "End behavior in sequences of finite Prisoner's Dilemma
supergames A learning theory approach." Journal of Economic Behavior & Organization 7.1
(1986): 47-70.
Snowden, D. J. and Boone, M. E. (2007). ‘A Leader’s Framework for Decision Making’. In: Harvard
Business Review, November 2007. Retrieved 19 March 2009 from the World Wide Web :
http://www.mpiweb.org/CMS/uploadedFiles/Article%20for%20Marketing%20-
%20Mary%20Boone.pdf
Turner, P., & Turner, S. (2009). Triangulation in practice. Virtual Reality, 13(3), 171-181.
Uprimny, R. & Guzmán, D (2007). Centro De Estudios De Derecho, Justicia y Sociedad Experiencias
Exitosas De Lucha Contra La Impunidad.
USAID (2012). Manual De Procesos y Procedimientos Del Programa Nacional De Casas De Justicia.
Vargas, Juan, Megan Rounseville, Jorge Silva, Diana Ortiz and Adrienne Hathaway (2019) “The
Twists and Turns in the Road to Justice in Colombia”, unpublished manuscript.
Vela, M.M., Rodríguez, J.E., Rodríguez, A.L. & García, L.M. (2011). Acción sin daño como aporte a la
construcción de paz: propuesta para la práctica. Fundación para la cooperación Synergia,
Universidad Nacional de Colombia, Agencia Suiza para el Desarrollo y la Cooperación,
Agencia Alemana para la Cooperación Internacional, Programa de las Naciones Unidas para
el Desarrollo.
Walker, J. y E. Ostrom (2002) “Conclusions” Chapter 15 in Ostrom, E. and J. Walker (eds.), Trust and
Reciprocity: Interdisciplinary Lessons from Experimental Research, Russell Sage Foundation,
New York: 323–351.
Weyers, M., Strydom, H., & Huisamen, A. (2008). Triangulation in social work research: the theory
and examples of its practical application. Social Work/Maatskaplike Werk, 44(2).